CN108369799B - 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、系统和过程 - Google Patents

采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、系统和过程 Download PDF

Info

Publication number
CN108369799B
CN108369799B CN201680069714.5A CN201680069714A CN108369799B CN 108369799 B CN108369799 B CN 108369799B CN 201680069714 A CN201680069714 A CN 201680069714A CN 108369799 B CN108369799 B CN 108369799B
Authority
CN
China
Prior art keywords
music
subsystem
generation
synthesis
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680069714.5A
Other languages
English (en)
Other versions
CN108369799A (zh
Inventor
安德鲁·H·西尔弗斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaters Corp
Original Assignee
Chaters Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chaters Corp filed Critical Chaters Corp
Publication of CN108369799A publication Critical patent/CN108369799A/zh
Application granted granted Critical
Publication of CN108369799B publication Critical patent/CN108369799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/021Background music, e.g. for video sequences, elevator music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/105Composing aid, e.g. for supporting creation, edition or modification of a piece of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111Automatic composing, i.e. using predefined musical rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111Automatic composing, i.e. using predefined musical rules
    • G10H2210/115Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/341Rhythm pattern selection, synthesis or composition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring
    • G10H2240/305Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Toys (AREA)

Abstract

自动音乐合成和生成机器、引擎、系统和方法以及架构允许包括音乐合成机器人系统的任何人在不拥有任何音乐理论或实践知识或者音乐专业知识或其他创造性努力的情况下立即创建独特且有专业品质的音乐,同步到包括但不限于视频、摄影、幻灯片和任何已有音频格式的任何类别的媒体内容以及任何对象、实体和/或事件,其中,所述系统用户仅需要待在将由本发明的所述自动音乐合成和生成系统最终合成的音乐作品中音乐地表达的自己的个人情感和/或艺术观念知识。

Description

采用基于语言学和/或基于图形图标的音乐体验描述符的自 动音乐合成和生成的机器、系统和过程
技术领域
本发明涉及帮助个人、个人团体以及儿童和企业等创建针对各种应用的原始音乐而不需要具有如通常被现有技术需要的特殊音乐理论或实践知识的新的且改进的方法和装置。
背景技术
视频和图形艺术创建者很难在他们面临的时间、法律和预算约束内找到针对其内容的合适的音乐。进一步地,在数小时或数天搜索合适的音乐之后,许可限制、非排他性和不可变交付物通常使将音乐合并到数字内容中的过程受挫。在他们的计划中,内容创建者经常使用“商品音乐”,商品音乐是价值在于功能性用途的音乐,而不在于对其进行制作的创造性和协作性,这一点不同于“艺术音乐”。
目前,商品音乐市场价值30亿美元并且由于使用逐年制作的商品音乐的内容量的增加以及内容创建者数量的技术使能的激增而正在日益增长。从自由职业视频编辑者、制作者和消费者内容创建者到广告和数字品牌代理以及其他专业内容创建公司,已经存在对音乐发现和合并到数字媒体中的问题的解决方案的极大需求。
实际上,使用计算机和算法来帮助创建和合成音乐已经从事了几十年,但仍未取得任何重大成功。早在2000年调研了现有技术水平并描述了其在“算法合成”上的进展的David Cope的2000年的里程碑式书“算法作曲家(The Algorithmic Composer)”中(如他所说的)包括其发展其被称为ALICE(算法上集成的合成环境)的交互式音乐合成系统。
在这本著作中,David Cope描述了他的ALICE系统可以如何用于帮助作曲家以作曲家的风格合成和生成新音乐,并且从已经合成的先前音乐中提取音乐智慧以便提供作曲家之前不具有的有用级别的帮助。在过去的15年内,David Cope已经在此领域中改进了其产品,并且其产品的令人印象深刻的主体向音乐家提供许多兴趣工具,所述兴趣工具用于扩充音乐家的能力以便根据其独特风格基于从艺术家的音乐合成中提取音乐智慧的最大努力来生成音乐。然而,已经清楚的是,这种改进未能满足提供使非音乐家能够自动地合成和生成能够满足快速增长的商品音乐市场的需要和需求的独特音乐作品的任何适当的方式。
2004年,教授Heinrich Taube通过劳特利奇出版社(Routledge)出版了其著作“来自元级的音符:对计算机合成的介绍”(348页),呈现为通过使用计算机和以通用Lisp(Lisp的方言)编程的、被称为通用音乐(COMMON MUSIC)的面向对象的音乐合成软件学习音乐合成的手册。在“来自元级的音符”中,教授Taube解释了在计算机辅助的合成中,计算机促进合成任务,如计算预先合成的数据、事件编辑、演奏重放等。在一些情况下,在作曲家有合成想法而不是合成形式化的表示之前或之后应用计算机。教授Taube进一步解释了术语自动合成可以应用于被设计用于“独立地”合成音乐的计算机系统。如David Cope的音乐智能实验等软件以及一些类型的声音设施是这类系统的示例。基于计算机的合成指使用计算机明确地表示比演奏分数更高级的合成想法。明确的元级表示指构成作品(作品的合成)的关系和过程被表示在机器内部、脱离考虑它们的作曲家。这是来自元级的音符的核心主题。如由教授Taube在来自元级的音符中描述的,在1908年期间,Lisp采用被称为面向对象的编程的强大方法论对真实世界应用进行建模。在面向对象的编程中,根据属于对象系统的类别和方法对兴趣域进行建模或表示。教授Taube的通用音乐(CM)软件系统使用对象系统表示其数据和行为。在通用音乐的情况下,应用域是音乐合成,并且对象建模涉及声音生成期间的合成结构及其行为的表示。在通用音乐软件应用中,隐马尔可夫模型和其他基于概率的模型广泛地用于为自动音乐合成、合成中的数据对象之间的转变、以及用于在不同应用中生成音乐的自动系统提供元级模型。
此外,在过去几十年里,已经提出和/或发展了许多其他音乐合成系统,所述音乐合成系统采用不同技术,如隐马尔可夫模型、生成文法、转移网络、混乱和自相似 (分形)、遗传算法、元胞自动机、神经网络和人工智能(AI)方法。这些系统中的许多系统试图在计算机算法的帮助下合成音乐,而一些甚至似乎以自动方式合成和生成音乐。
然而,由这种自动音乐合成系统产生的音乐的质量对于在商业市场或试图向媒体相关产品、特殊事件等增加价值的消费者市场中找到可接受用途来说是相当差的。因此,用机器产生极好的音乐的梦想迄今为止尚未得到满足,尽管某一天通过许多努力会实现这一点。
因此,已经采用利用适合于在当代市场中使用和销售的计算机或机器辅助的音乐合成的许多折中方案。
例如,在赫伯格(Herberger)等人(分配给出版商)的题为“System and Method ofAutomatically Creating An Emotional Controlled Soundtrack(自动创建情感控制的影视原声的系统和方法)”的美国专利号7,754,959中提供了用于使数字视频编辑软件的用户能够自动创建受情感控制的影视原声,所述影视原声与在基础视频产品的场景中的整体情感或情绪相匹配。如所公开的,用户将能够通过将情感标签定位到视频产品中来控制对影视原声的生成,所述情感标签与每种场景的普通情绪相对应。随后的影视原声步骤利用这些标签来为视频产品准备音乐伴奏,所述音乐伴奏通常与其屏幕上活动相匹配,并且使用多个预先录制的循环(和音轨),所述预先录制的循环中的每一个具有与其相关联的至少一种音乐风格。如所公开的,从以下各项组成的组中选择与情感标签相关联的情绪:快乐、悲伤、浪漫、兴奋、恐怖、紧张、疯狂、沉思、生气、神经质以及狂喜。如所公开的,从以下各项组成的组中选择与所述多个预先录制的音乐环相关联的风格:摇滚、摇摆乐、爵士、华尔兹、迪斯科、拉丁、乡村、福音、拉格泰姆、卡里普索、雷盖音乐、东方、节奏布鲁斯、萨尔萨、嘻哈、说唱、桑巴、柴迪科、布鲁斯以及古典乐。
尽管使用情感标签来为媒体帧配乐的一般概念是让人叹服的,但是用于合成和生成音乐作品的自动方法和装置(如由Herberger等人在美国专利号7,754,959中公开和教导的)在大多数环境中既不令人满意也不可行,并且使此系统在几乎任何商品音乐市场中非常受限于有用的应用。
同时,存在尝试满足快速增长的商品音乐市场的需求的多个公司,尽管没有取得很大的成功。
对Score Music Interactive(配乐交互)公司的XHail系统的概述
具体地,位于爱尔兰韦克斯福德县戈里镇的市集广场的Score MusicInteractive (作为Xhail交易)公司提供了XHail系统,所述系统允许用户遵循美国专利号7,754,959中提出的准线创建预先录制的音频循环和音轨的新颖组合。
目前可用作β版基于web的软件,XHail系统允许受过音乐教育的个体基于描述性标签创建现有音乐循环的独特组合。为了合理使用XHail系统,用户必须理解音乐创建过程,包括但不限于:(i)当一起演奏时知道哪些乐器工作良好,(ii)知道乐器的音频等级应当如何彼此均衡,(iii)知道如何使用不同乐器调色板制作音乐轮廓,(iv) 知道如何识别每个可能的乐器或声音和音频发生器,所述乐器或声音和音频发生器包括但不限于管弦乐和合成的乐器、音效和声波发生器,以及(v)拥有音乐领域的标准或平均水平知识。
尽管XHail系统似乎速度突然地将现有音乐循环结合到内部新颖组合中,但仍需要大量时间和努力以便将现有音乐循环的所生成组合修改为高雅音乐作品。需要额外的时间和努力来将音乐组合同步到现有视频中。由于XHail系统使用预先创建的“音乐循环”作为其组合过程的原始素材,因此所述系统受限于其系统数据库中的循环数量以及每个独立创建的音乐循环的质量。进一步地,由于每个循环的原创性的所有权、版权和其他法律指定物至少部分地由每个循环的独立创建者持有,并且因为XHail不控制和创建整个创建过程,所以XHail系统的用户在每次在组合中使用现有循环时对其循环创建者中的每一个具有法律和财政义务。
尽管对于那些指望替代内容创建过程中的作曲家的人来说XHail系统似乎是音乐发现和合并的可能解决方案,但是人们认为那些期望创建艺术音乐的人将通常找到艺术家来创建所述艺术音乐并且将不丧失人类艺术家对机器的创造力,无论其可能具有多大的能力。进一步地,所创建的音乐的许可过程是复杂的,递送材料是不可改变的,需要对音乐理论和当前音乐软件的理解以便完全理解和使用所述系统,并且可能更重要的是,XHail系统不具有在用户特定和/或用户广泛基础上学习和改进的能力。
对JukeDeck公司的Scorify系统的概述
作为使用人工智能(AI)生成针对视频的独特音乐作品,美国专利号9,361,869 中总体上描述了由剑桥毕业生艾德雷克斯(Ed Rex)和帕特里克斯托布斯(Patrick Stobbs)创立的位于英格兰伦敦的JukeDeck公司的Scorify系统。Scorify系统允许视频创建者将计算机生成的音乐添加到其视频中。Scorify系统受限于可以与其系统一起使用预先创建的视频的长度。Scorify的独特用户输入是基础风格/类型标准。目前, Scorify的可用风格为:高科技舞曲、爵士、布鲁斯、8-Bit以及极简音乐,具有可选的子风格乐器指定以及普通音乐速度指导。通过要求用户选择特定乐器和速度指定, Scorify的系统固有地要求其用户理解古典音乐术语并且能够识别每个可能乐器或声音和音频发生器,包括但不限于管弦乐和合成的乐器、音效和声波发生器。
Scorify的系统缺乏允许任何用户传达他的或她的关于待由系统创建的音乐作品的期望和/或意图的充分供应。进一步地,由Scorify系统支持的单独乐器的音频质量很好地保持在专业标准之下。
进一步地,Scorify系统不允许用户独立于视频创建音乐、创建针对除了视频之外的任何媒体的音乐并且保存或访问使用独立于创建其所使用的内容的视频创建的音乐。
尽管Scorify系统似乎提供对市场问题的非常初级且有限的解决方案,但是所述系统不具有在用户特定和/或用户广泛基础上学习和改进的能力。而且,Scorify系统和音乐递送机制不足以允许创建者创建准确反映其期望的内容,并且一旦所创建的音乐存在,就不存在手动或自动编辑或改进所创建的音乐的方法。
对SmartSound(智能语音)公司的SonicFire Pro系统的概述
来自美国南卡罗来纳州博福特的SmartSound公司的SonicFire Pro系统允许用户购买并使用针对其视频内容的预先创建的音乐。目前可用作基于web和基于台式机的应用,SonicFire Pro系统以针对其用户的有限可定制选项提供使用预先创建的音乐的库存音乐库。通过要求用户选择特定乐器和音量指定,SonicFire Pro系统固有地要求其用户具有以下能力:(i)识别每个可能乐器或声音和音频发生器,包括但不限于管弦乐和合成的乐器、音效和声波发生器,以及(ii)拥有关于每个单独乐器应当如何与作品中的每个其他乐器均衡的专业知识。由于音乐是预先创建的,因此对每件音乐作品存在有限的“变化”选项。进一步地,因为每件音乐作品针对每个用户不是有组织地创建的(即,在逐音符和/或逐和弦的基础上),所以存在提供给用户的有限的音乐量。所述过程是相当费力的并且在选择预先创建的音乐作品、添加有限的可定制特征以及然后指定音乐作品的长度时花费大量时间。
SonicFire Pro系统似乎提供对市场的受限于可以创建的内容量的解决方案以及下限,价格低于所述下限时,预先创建的音乐出于经济维持原因而无法运行。进一步地,在有限内容供应的情况下,针对每个用户的音乐缺乏独特性以及完整的可定制性。SonicFire Pro系统不具有在用户特定和/或用户广泛基础上的任何自我学习或改进能力。此外,使用软件来发现和合并预先创建的音乐的过程可能花费大量时间,并且所产生的已发现音乐仍然受严格的许可和法律要求的限制,所述要求可能通过使用预先创建的音乐而创建。
其他库存音乐库
库存音乐库是预先创建的音乐的集合,通常在线可用,所述集合可用于许可。在这些音乐库中,通常用相关描述符标记预先创建的音乐以便允许用户通过键盘搜索音乐作品。更显著地,所有库存音乐(有时被称为“免版税音乐”)是预先创建的并且缺乏用于创建音乐的任何用户输入。在找到针对其内容的适当音乐作品之前,用户必须浏览可能成百上千个单独音频轨道。
包含和展示SmartSound的SonicFire Pro系统的非常类似的特性、能力、限制、缺点和弊端的库存音乐的附加示例包括例如Audio Socket(音频插座)、Free Music Archive(免费音乐档案)、Friendly Music(友好音乐)、Rumble Fish(斗鱼)以及Music Bed(音乐床)。
以上描述的现有技术仅部分地解决了对商品音乐的市场需求,因为发现合适的音乐的时间长度、将音乐合并到内容中的许可过程和成本、以及不可改变递送选项(通常单一立体音频文件)充当远远不够的解决方案。
进一步地,特定级别的音乐理论背景和/或教育的需求增加了任何内容创建者对其完全潜能使用当前系统所必需的训练层。
此外,以上描述的现有技术系统是不学习、适应以及自我改进的静态系统,因为它们被其他人使用并且相比于体验与专业作曲家一起工作的系统不接近提供“白手套”服务。
因此,鉴于现有技术及其缺点和弊端,在本领域存在对新的且改进的信息处理系统和方法的巨大需求,所述系统和方法使个体以及其他信息系统在不拥有任何音乐知识、理论和专业知识的情况下自动地合成和生成音乐作品以便在为不同类别的媒体产品以及如场合可能建议或需要的支持和/或庆祝事件、组织、品牌、家族等配乐时使用,同时克服了现有技术系统、方法和技术的缺点和弊端。
发明内容
因此,本发明的主要目标是提供一种新的且改进的自动音乐合成和生成系统和机器以及信息处理架构,所述信息处理架构允许任何人在不拥有任何音乐理论或实践知识或者音乐专业知识或其他创造性努力的情况下立即创建独特且有专业品质的音乐,具有(但不要求)同步到包括但不限于视频、摄影、幻灯片和任何已有音频格式的任何类别的媒体内容以及任何对象、实体和/或事件的选项。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,系统用户仅需要待在将由本发明的所述自动音乐合成和生成系统最终合成的音乐作品中音乐地表达的个人自己的情感和/或艺术观念知识。
本发明的另一个目标是提供一种支持用于创建音乐、完全改变和改进专业媒体作曲家的传统合成过程的新颖过程的自动音乐合成和生成系统。
本发明的另一个目标是提供一种用于使用自动音乐合成和生成系统创建音乐的新颖过程,所述新颖过程直观地作出创建音乐作品所必需的音乐和非音乐决策中的所有决策并且学习、编写合成过程并将所述合成过程形式化到不断学习和演化的系统中,所述不断学习和演化的系统彻底改进了最复杂且具创造性的人类努力之一——合成和创建音乐。
本发明的另一个目标是提供一种用于使用由系统用户供应的音乐体验描述符以及时间和空间(T&S)参数驱动的自动虚拟乐器音乐合成技术合成和创建音乐的新颖过程,以便自动地合成和生成与专业音乐作曲家跨任何比较的或竞争的范围合成和生成的音乐竞争的音乐。
本发明的另一个目标是提供一种自动音乐合成和生成系统,其中,系统的音乐精神和智力被体现到根据本发明的信息处理原理在系统内支持的专业信息组、结构和过程内。
本发明的另一个目标是提供一种自动音乐合成和生成系统,其中,支持自动学习能力,从而使得系统的音乐精神可以响应于与系统用户的交互而随时间转换、调整和演化,所述系统用户可以包括单独用户以及整个用户群体,从而使得系统的音乐精神和存储器不限于单一个体的智力和/或情感能力、而是开放的,以便响应于所有碰巧使用系统并与系统交互的人的转换性力量而发展。
本发明的另一个目标是提供一种新的且改进的自动音乐合成和生成系统,所述系统支持高度直观、自然且易于使用的图形界面(GUI),所述图形界面提供非常快速的音乐合成以及非常高的产品功能。
本发明的另一个目标是提供一种新的且改进的自动音乐合成和生成系统,所述系统允许系统用户能够以对用户自然的方式描述包括但不限于用户想要音乐传送的文本、图像、语言、语音、菜单选项、时间、音频文件、视频文件或其他描述性机构和 /或优选的音乐风格和/或优选的音乐定时和/或这三种输入类别的任何单一的、成对的或其他的组合。
本发明的另一个目标是提供一种支持自动虚拟乐器音乐合成的自动音乐合成和生成过程,所述自动虚拟乐器音乐合成由系统用户供应的基于语言学和/或基于图形图标的音乐体验描述符驱动,其中,基于语言学的音乐体验描述符以及视频、音频记录、图像或事件标记作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来使用虚拟乐器音乐合成生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由所述系统用户接口供应回至系统用户。
本发明的另一个目标是提供一种支持使用自动虚拟乐器音乐合成的自动音乐合成和生成系统,所述自动虚拟乐器音乐合成由系统用户供应的基于语言学和/或基于图形图标的音乐体验描述符驱动,其中,(i)在所述过程的第一步骤期间,系统用户访问自动音乐合成和生成系统,并且然后选择待用由自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记, (ii)系统用户然后向其自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便由系统用户基于为 (即,应用于)所选媒体或事件标记配乐的所输入音乐描述符使用自动虚拟乐器音乐合成方法合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示/表演。
本发明的另一个目标是提供一种支持自动虚拟乐器音乐合成的自动音乐合成和生成乐器系统,所述自动虚拟乐器音乐合成由使用在紧凑便携式外壳中提供的文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符驱动,所述紧凑便携式外壳可以在几乎任何想得到的用户应用中使用。
本发明的另一个目标是提供一种支持自动音乐合成和生成引擎的玩具乐器,所述自动音乐合成和生成引擎支持自动虚拟乐器音乐合成,所述自动虚拟乐器音乐合成由玩所述玩具乐器的儿童或成年人选择的基于图标的音乐体验描述符驱动,其中,触摸屏显示器被提供用于从在所述玩具乐器内的存储设备内维护的视频库或从连接至互联网的本地或远程视频文件服务器中选择和加载视频,并且儿童然后可以从物理或虚拟键盘或类似系统接口处选择音乐体验描述符(例如,情感描述符图标和风格描述符图标)以便允许一个或多个儿童合成和生成针对所选视频的一个或多个分段场景的自定义音乐。
另一个目标是提供一种自动玩具音乐合成和生成乐器系统,其中,基于图形图标的音乐体验描述符和视频被选择为通过自动玩具音乐合成和生成乐器系统的系统用户接口(即,触摸屏键盘)的输入,并且由其自动音乐合成和生成引擎用来自动地生成经配乐的视频故事,所述视频故事然后经由所述系统用户接口供应回至所述系统用户以供重放和回顾。
本发明的另一个目标是提供一种电子信息处理和显示系统,出于支持其系统用户的创造性和/或娱乐需求的目的,在其电子信息处理和显示系统架构内集成基于SOC 的自动音乐合成和生成引擎。
本发明的另一个目标是提供一种支持自动虚拟乐器音乐合成的基于SOC的音乐合成和生成系统,所述自动虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动,其中,基于语言学的音乐体验描述符以及视频、音频文件、图像、幻灯片或事件标记作为输入通过系统用户接口被供应,并且由自动音乐合成和生成引擎用来生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由所述系统用户接口供应回至系统用户。
本发明的另一个目标是提供一种企业级基于互联网的音乐合成和生成系统,由具有可操作地连接至互联网基础设施的web服务器、应用服务器和数据库(RDBMS) 服务器的数据处理中心支持,并且可由客户机、社交网络服务器和基于web的通信服务器访问,并且允许具有基于web的浏览器的任何人访问网站(例如,YouTube、Vimeo 等)、社交网络、社交消息传送网络(例如,Twitter)和其他基于互联网的性能上的自动音乐合成和生成服务以便允许用户用使用虚拟乐器音乐合成技术自动合成的音乐配乐视频、图像、幻灯片、音频文件和其他事件,所述虚拟乐器音乐合成技术由使用文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符驱动。
本发明的另一个目标是提供一种由企业级系统支持的自动音乐合成和生成过程,其中,(i)在所述过程的第一步骤期间,系统用户访问自动音乐合成和生成系统,并且然后选择待用由自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示。
本发明的另一个目标是提供一种基于互联网的自动音乐合成和生成平台,所述平台被部署以使得移动和台式客户机可以使用在互联网上支持的文本、SMS和电子邮件服务通过由用户使用本发明的自动音乐合成和生成引擎以及图形用户界面添加已合成音乐来扩充,所述图形用户界面在创建文本、SMS和/或电子邮件文档(即,消息)的同时由所述客户机支持,从而使得用户可以容易地选择基于图形和/或基于语言学的情感和风格描述符以便在生成针对这种文本、SMS和电子邮件消息的已合成音乐作品时使用。
本发明的另一个目标是一种在支持本发明的自动音乐合成和生成引擎的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机),其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、Samsung Android Galaxy等)中期望的特征的其他技术,并且其中,运行客户应用,所述客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建基于web(即,html)的文档以及创建并插入通过从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品,从而使得音乐作品可以被递送至远程客户并且使用在嵌入的URL上操作的传统基于web的浏览器体验,根据所述嵌入的URL,所述嵌入的音乐作品通过web、应用和数据库服务器被服务。
本发明的另一个目标是提供一种基于互联网的自动音乐合成和生成系统,所述系统支持使用自动虚拟乐器音乐合成,所述自动虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动以便向文本、SMS和电子邮件文档/消息添加已合成音乐,其中,基于语言学或基于图标的音乐体验描述符作为通过系统用户接口的输入由系统用户供应,并且由自动音乐合成和生成引擎用来生成经配乐的文本文档或消息,所述经配乐的文本文档或消息被生成用于在结束和传输之前由系统用户经由所述系统用户接口进行预览。
本发明的另一个目标是提供一种使用基于web的系统的自动音乐合成和生成过程,所述自动音乐合成和生成过程支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动以便自动且立即创建经配乐的文本、SMS、电子邮件、PDF、Word和/或html文档,其中,(i)在所述过程的第一步骤期间,系统用户访问自动音乐合成和生成系统,并且然后选择待配乐(例如,扩充)有由本发明的自动音乐合成和生成系统生成的音乐的文本、SMS或电子邮件消息或者Word、PDF或HTML文档,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选消息或文档上配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于消息或文档的已合成和已生成音乐,或者拒绝所述音乐并向系统提供反馈,包括提供不同音乐体验描述符以及用于基于更新的音乐体验描述符输入重新合成音乐的请求,并且(v)系统将所接受的已合成音乐与消息或文档结合,以便创建新文件供分配和显示。
本发明的另一个目标是提供一种基于AI的自主音乐合成、生成和演奏系统,用于在人类音乐家乐队演奏一组真实和/或合成乐器时使用,所述系统采用所述自动音乐合成和生成引擎的修改版本,其中,所述基于AI的系统接收来自其周围乐器和音乐家的音乐信号并缓冲和分析这些乐器,并且响应于此可以实时合成和生成将扩充由所述音乐家乐队演奏的音乐的音乐,或者可以记录、分析和合成被记录用于由所述人类音乐家随后重放、回顾和考虑的音乐。
本发明的另一个目标是提供一种自主音乐分析、合成和演奏乐器,所述乐器具有紧凑坚固的可运输外壳,所述外壳包括:LCD触摸类型显示屏、内置立体麦克风设置、用于接收从系统环境中的乐器组产生的音频信号的一组音频信号输入连接器、用于接收来自系统环境中的乐器组的MIDI输入信号的一组MIDI信号输入连接器、用于将音频输出信号递送至音频信号前置放大器和/或放大器的音频输出信号连接器、 WIFI和BT网络适配器以及相关联的信号天线结构、以及针对用户操作模式的一组功能按钮,所述用户操作模式包括:(i)引导模式,其中,所述乐器系统响应于其在音乐会话期间从其(本地或远程)音乐环境接收和分析的音乐信息流而自主地在音乐上进行引导,(ii)跟随模式,其中,所述乐器系统响应于其在音乐会话期间从其(本地或远程)音乐环境中的乐器接收和分析的音乐而自主地在音乐上跟随,(iii)合成模式,其中,所述系统基于其在音乐会话期间从其(本地或远程)环境中的乐器接收和分析的音乐而自动地合成音乐,以及(iv)演奏模式,其中,所述系统响应于在音乐会话期间从其环境接收和分析的音乐信息而实时地自主地演奏自动合成的音乐。
本发明的另一个目标是提供一种自动音乐合成和生成乐器系统,其中,从系统环境中的一组乐器中产生的音频信号以及MIDI输入信号由乐器系统接收,并且针对音高事件以及旋律和节奏结构的出现而在时域和/或频域上实时分析这些信号,从而使得系统可以从此信息中自动地抽象化出音乐体验描述符,以便在使用本发明的自动音乐合成和生成引擎生成自动音乐合成和生成时使用;
本发明的另一个目标是提供一种使用系统的自动音乐合成和生成过程,其中,(i)在所述过程的第一步骤期间,系统用户针对自动音乐合成和生成乐器系统选择引导或跟随操作模式,(ii)在会话之前,所述系统然后与由一队音乐家在音乐会话期间在创造性环境中演奏的一组乐器接口连接,(iii)在会话期间,系统接收在会话期间从乐器组产生的音频和/或MIDI数据信号,并且针对音高和节奏数据以及旋律结构分析这些信号,(iv)在会话期间,所述系统从抽象化的音高、节奏和旋律数据中自动地生成音乐描述符,并且使用音乐体验描述符在实时的基础上针对每个会话合成音乐,并且(v)在已经选择了演奏模式的情况下,所述系统自动地生成针对会话的已合成音乐,并且在已经选择了合成模式的情况下,在会话期间合成的音乐被存储用于随后由所述音乐家乐队访问和回顾。
本发明的另一个目标是提供一种新颖的自动音乐合成和生成系统,所述自动音乐合成和生成系统支持虚拟乐器音乐合成以及对使用文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符和歌词(LYRIC)或单词描述符的使用,从而使得系统用户可以根据本发明的原理进一步将歌词应用于待从情感上用已合成音乐来为视频中的一个或多个场景配乐。
本发明的另一个目标是提供这种自动音乐合成和生成系统,所述自动音合成和生成系统支持虚拟乐器音乐合成,所述虚拟乐器音乐合成由系统用户使用真实或虚拟键盘接口选择的基于图形图标的音乐体验描述符驱动,并且所述系统示出了集成在系统总线架构周围的其各部件,如多核CPU、多核GPU、程序存储器(DRAM)、视频存储器(VRAM)、硬盘驱动器、LCD/触摸屏显示面板、麦克风/扬声器、键盘、WIFI/ 蓝牙网络适配器、音高识别模块/板、以及电源和分配电路系统。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,基于语言学和/或基于图形的音乐体验描述符(包括歌词输入)以及其他媒体(例如,视频记录、直播视频广播、视频游戏、幻灯片、音频记录或事件标记)被选择作为通过系统用户接口(即,触摸屏键盘)的输入,其中,媒体可以被系统自动分析以便提取音乐体验描述符(例如,基于场景图像和/或信息内容),并且之后由其自动音乐合成和生成引擎用来生成经配乐的媒体,所述媒体然后经由系统用户接口或其他装置供应回至系统用户。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,系统用户接口被提供用于传输由系统用户提供给子系统的键入的、说出的或演唱的单词或歌词输入,在所述子系统中,实时音高事件、节奏和韵律分析被执行以便自动地捕获用于在本发明的音乐合成和生成过程期间修改系统操作参数的数据。
本发明的另一个目标是提供这种自动音乐合成和生成系统过程,其中,主要步骤涉及支持使用语言学音乐体验描述符(可选地歌词输入)和虚拟乐器音乐合成,其中, (i)在所述过程的第一步骤期间,系统用户访问自动音乐合成和生成系统,并且然后选择待用由其自动音乐合成和生成引擎生成的音乐来配乐的媒体,(ii)系统用户选择提供给系统的自动音乐合成和生成引擎以应用于待配乐的所选媒体的音乐体验描述符(以及可选地歌词),(iii)系统用户启动自动音乐合成和生成引擎以便基于为所选媒体配乐的所提供音乐描述符合成和生成音乐,并且(iv)系统将已合成音乐与所选媒体结合,以便创建合成媒体文件供显示和享受。
本发明的另一个目标是提供一种自动音乐合成和生成引擎,所述自动音乐合成和生成引擎包括系统架构,所述系统架构被分成两个非常高级的“音乐格局”分类,即: (i)音高格局子系统C0,包括:普通音高生成子系统A2、旋律音高生成子系统A4、配器子系统A5和控制器代码创建子系统A6;以及(ii)节奏格局子系统,包括:普通节奏生成子系统A1、旋律节奏生成子系统A3、配器子系统A5和控制器代码创建子系统A6。
本发明的另一个目标是提供一种包括系统架构的自动音乐合成和生成引擎,所述系统架构包括:基于用户GUI的输入子系统A0、普通节奏子系统A1、普通音高生成子系统A2、旋律节奏生成子系统A3、旋律音高生成子系统A4、配器子系统A5、控制器代码创建子系统A6、数字作品创建子系统A7、以及反馈和学习子系统A8。
本发明的另一个目标是提供一种包括集成在一起的多个子系统的自动音乐合成和生成系统,其中,基于用户GUI的输入输出子系统(B0)允许系统用户选择一个或多个音乐体验描述符以便传输至描述符参数捕获子系统B1进行处理并且传输到分配给在系统内的各子系统中维护的表并加载到其中的基于概率的系统操作参数中,并且进行随后的子系统建立并在本发明的自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供一种包括集成在一起的多个子系统的自动音乐合成和生成系统,其中,描述符参数捕获子系统(B1)与基于用户GUI的输入输出子系统接口连接以便接收和处理所选音乐体验描述符从而生成基于概率的系统操作参数集进而分配给在其中的各子系统内维护的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用风格参数捕获子系统(B37),其中,系统用户向风格参数捕获子系统提供示例性“风格类型”音乐体验描述符——例如,流行——以便进行处理并转换到参数转换引擎中,从而生成基于概率的参数表,所述基于概率的参数表然后分配给其中的各子系统并且进行随后的子系统建立并在本发明的自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用定时参数捕获子系统(B40),其中定时参数捕获子系统(B40) 向定时生成子系统(B41)提供定时参数以分配给系统中的各子系统并且进行随后子系统配置并在本发明的自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用参数转换引擎子系统(B51),其中,音乐体验描述符参数和定时参数子系统被自动地转换成基于概率的系统操作参数集,所述基于概率的系统操作参数集针对由系统用户提供的特定用户供应的音乐体验描述符和定时信号参数集而生成。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用定时生成子系统(B41),其中,定时参数捕获子系统(B40)向定时生成子系统(B41)提供定时参数(例如,作品长度)以便生成与以下各项有关的定时信息:(i)待合成的作品的长度,(ii)音乐作品的开始,(iii)音乐作品的停止, (iv)音乐作品的音量的增大,以及(v)音乐作品中的待在本发明的自动音乐合成和生成过程期间创建的重音。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用长度生成子系统(B2),其中,作品的由系统用户指定的时间长度被提供给长度生成子系统(B2)并且此子系统生成待在本发明的自动音乐合成和生成过程期间合成的音乐作品的开始和停止位置。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用速度生成子系统(B3),其中,基于提供给此子系统的作品时间长度和音乐体验参数来计算作品的速度(即,BPM),其中,合成速度以每分钟节拍数(BPM)测量并且在本发明的自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用拍子生成子系统(B4),其中,基于提供给此子系统的作品时间长度和音乐体验参数来计算作品的拍子,其中,合成速度以每分钟节拍数(BPM)测量并且在本发明的自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中在本发明的自动音乐合成和生成引擎中使调生成子系统(B5),其中,基于提供给系统的音乐体验参数来计算作品的调,其中,在本发明的自动音乐合成和生成过程期间选择和使用合成调。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用节拍计算器子系统(B6),其中,基于提供给系统的作品长度以及由系统计算的速度来计算作品中节拍数量,其中,在本发明的自动音乐合成和生成过程期间使用合成节拍数量。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用小节计算器子系统(B8),其中,基于作品中的节拍数量和作品的所计算拍子来计算作品中的小节数量,其中,在本发明的自动音乐合成和生成过程期间使用作品中的拍子。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用调性生成子系统(B7),其中,使用在子系统内维护的基于概率的调性参数表以及由系统用户提供给系统的音乐体验描述符来选择作品的调性,并且其中,在本发明的自动音乐合成和生成过程期间使用所选调性。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用歌曲形式生成子系统(B9),其中,使用在子系统内维护的基于概率的歌曲形式子乐句参数表以及由系统用户提供给系统的音乐体验描述符来选择歌曲形式,并且其中,在本发明的自动音乐合成和生成过程期间使用所选歌曲形式。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用子乐句长度生成子系统(B15),其中,使用在子系统内维护的基于概率的子乐句长度参数表以及由系统用户提供给系统的音乐体验描述符来选择子乐句长度,并且其中,在本发明的自动音乐合成和生成过程期间使用所选子乐句长度。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用和弦长度生成子系统(B11),其中,使用在子系统内维护的基于概率的和弦长度参数表以及由系统用户提供给系统的音乐体验描述符来选择和弦长度,并且其中,在本发明的自动音乐合成和生成过程期间使用所选和弦长度。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用独特子乐句生成子系统(B14),其中,使用在子系统内维护的基于概率的独特子乐句参数表以及由系统用户提供给系统的音乐体验描述符来选择独特子乐句,并且其中,在本发明的自动音乐合成和生成过程期间使用所选独特子乐句。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用子乐句中和弦数量计算子系统(B16),其中,使用计算出的独特子乐句来计算子乐句中和弦数量,并且其中,在本发明的自动音乐合成和生成过程期间使用子乐句中和弦数量。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用乐句长度生成子系统(B12),其中,使用乐句长度分析器来测量乐句的长度,并且其中,在本发明的自动音乐合成和生成过程期间使用(小节数量中的)乐句的长度。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用独特乐句生成子系统(B10),其中,使用乐句分析器来确定独特乐句数量,并且其中,在本发明的自动音乐合成和生成过程期间使用独特乐句数量。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用乐句中和弦数量计算子系统(B13),其中,确定乐句中和弦数量,并且其中,在本发明的自动音乐合成和生成过程期间使用乐句中和弦数量。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用初始普通节奏生成子系统(B17),其中,使用初始和弦根表、和弦功能表以及和弦功能调性分析器来确定初始和弦,并且其中,在本发明的自动音乐合成和生成过程期间使用初始和弦。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用子乐句和弦进行生成子系统(B19),其中,使用和弦根表、和弦功能根修改器表、当前和弦功能表值以及节拍根修改器表和节拍分析器来确定子乐句和弦进行,并且其中,在本发明的自动音乐合成和生成过程期间使用子乐句和弦进行。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用乐句和弦进行生成子系统(B18),其中,使用子乐句分析器来确定乐句和弦进行,并且其中,在本发明的自动音乐合成和生成过程期间使用改进的乐句。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用和弦转位生成子系统(B20),其中,使用初始和弦转位表以及和弦转位表来确定和弦转位,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的和弦转位。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用旋律子乐句长度生成子系统(B25),其中,使用基于概率的旋律子乐句长度表来确定旋律子乐句长度,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的旋律子乐句长度。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用旋律子乐句生成子系统(B24),其中,使用基于概率的子乐句旋律布局表来确定子乐句旋律布局,并且其中,在本发明的自动音乐合成和生成过程期间使用所选子乐句旋律布局。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用旋律乐句长度生成子系统(B23),其中,使用子乐句旋律分析器来确定旋律乐句长度,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的旋律乐句长度。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用旋律独特乐句生成子系统(B22),其中,使用独特旋律乐句分析器来确定独特旋律乐句,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的独特旋律乐句。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用旋律长度生成子系统(B21),其中,使用乐句旋律分析器来确定旋律长度,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的乐句旋律。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用旋律音符节奏生成子系统(B26),其中,使用基于概率的初始音符长度表以及基于概率的初始、第二和第n个和弦长度表来确定旋律音符节奏,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的旋律音符节奏。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用初始音高生成子系统(B27),其中,使用基于概率的初始音符长度表以及基于概率的初始、第二和第n个和弦长度表来确定初始音高,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的旋律音符节奏。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用子乐句音高生成子系统(B29),其中,使用基于概率的和弦音符表、基于概率的和弦修改器表以及基于概率的跳跃反转修改器表来确定子乐句音高,并且其中,在本发明的自动音乐合成和生成过程期间使用所产生的子乐句音高。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用乐句音高生成子系统(B28),其中,乐句音高使用子乐句旋律分析器来确定并且在本发明的自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用音高八度生成子系统(B30),其中,使用基于概率的旋律音符八度表来确定音高八度,在本发明的自动音乐合成和生成过程期间使用所产生的音高八度。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用乐器法子系统(B38),其中,基于由系统用户提供的音乐体验描述符(例如,风格描述符)使用基于概率的乐器表来确定乐器法,并且其中,在本发明的自动音乐合成和生成过程期间使用乐器法。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用乐器选择器子系统(B39),其中,作品乐器选择使用基于概率的乐器选择表来确定并且在本发明的自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用配器生成子系统(B31),其中,在子系统中采用的基于概率的参数表(即,乐器配器优化表、乐器能量表、钢琴能量表、乐器功能表、钢琴手功能表、钢琴调音表、钢琴节奏表、第二音符右手表、第二音符左手表、钢琴动态表等)针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用以便生成正在合成的音乐作品的一部分。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用控制器代码生成子系统(B32),其中,在子系统中采用的基于概率的参数表(即,乐器、乐器组和作品宽度控制器代码表)针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用以便生成正在合成的音乐作品的一部分。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用数字音频检索器子系统(B33),其中,数字音频(乐器音符)文件在本发明的自动音乐合成和生成过程期间被定位和使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用数字音频样本管理器子系统(B34),其中,被定位的数字音频(乐器音符)文件在本发明的自动音乐合成和生成过程期间根据音乐作品在正确的时间和空间中组织。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用作品整合器子系统(B35),其中,数字音频文件被整合和操纵成可接受由系统用户使用的一种或多种形式。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用作品格式转换器子系统(B50),其中,完成的音乐作品被转换成在本发明的自动音乐合成和生成过程期间请求的期望的备选格式。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用作品递送器子系统(B36),其中,数字音频文件被合并成待在本发明的自动音乐合成和生成过程期间递送至系统用户的数字音频文件。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在本发明的自动音乐合成和生成引擎中使用反馈子系统(B42),其中,在本发明的自动音乐合成和生成过程期间(i)数字音频文件和附加作品格式被分析用于确定和确认所请求的作品的所有属性被准确递送,(ii)数字音频文件和附加作品格式被分析用于确定和确认音乐作品的独特性,并且(iii)系统用户分析音频文件和/或附加作品格式。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用音乐可编辑性子系统(B43),其中,在本发明的自动音乐合成和生成过程期间执行用于重新开始、重新运行、修改和/或重新创建系统的请求。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用偏好保存器子系统(B44),其中,音乐体验描述符、参数表和参数被修改成反映用户和自主反馈以便在本发明的未来自动音乐合成和生成过程期间引起更积极接收的作品。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用音乐内核(例如,“DNA”)生成子系统(B45),其中,在以下方面确定音乐作品的音乐“内核”:(i)旋律(子乐句旋律音符选择顺序),(ii)和声 (即,乐句和弦进行),(iii)速度,(iv)音量,和/或(v)配器,从而使得此音乐内核可以在本发明的未来自动音乐合成和生成过程期间使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用用户品味生成子系统(B46),其中,基于系统用户反馈和自主作品分析确定系统用户的音乐品味,以便在本发明的自动音乐合成和生成过程期间针对音乐合成改变或修改风格和音乐体验描述符、参数和表值时使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用群众品味聚合器子系统(B47),其中,群众的音乐品味被聚合并且改变成风格、音乐体验描述符,并且参数表概率作为对其的响应可以在本发明的自动音乐合成和生成过程期间被修改;
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎中使用用户偏好子系统(B48),其中,系统用户偏好(例如,风格和音乐体验描述符、表参数)在本发明的自动音乐合成和生成过程期间被确定和使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎中使用群众偏好子系统(B49),其中,用户群众偏好(例如,风格和音乐体验描述符、表参数)在本发明的自动音乐合成和生成过程期间被确定和使用。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的速度生成子系统(B3)中维护基于概率的参数表,其中,对于由系统支持的每个情感描述符,为由系统支持的每个速度(每分钟节拍)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的长度生成子系统(B2)中维护基于概率的参数表,其中,对于由系统支持的每个情感描述符,为由系统支持的每个长度(秒)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的拍子生成子系统(B4)中维护基于概率的参数表,其中,对于由系统支持的每个情感描述符,为由系统支持的每个拍子提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的调生成子系统(B5)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每种调提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的调性生成子系统(B7)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每种调性(大调、自然小调、和声小调、旋律小调、多利亚(Dorian)、弗里几亚(Phrygian)、利底亚(Lydian)、混合利底亚(Mixolydian)、爱奥利亚(Aeolian)和洛克利亚(Locrian))提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表;
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的歌曲形式生成子系统(B9)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每种歌曲形式(即,A,AA, AB,AAA,ABA,ABC)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表;
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的子乐句长度生成子系统(B15)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个子乐句长度(即,小节)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的和弦长度生成子系统(B11)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个初始和弦长度和第二和弦长度提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的初始普通节奏生成子系统(B17)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个根音符(即,由音乐字母指示)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的子乐句和弦进行生成子系统(B19)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个原始和弦根 (即,由音乐字母指示)和小节中即将到来的节拍提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的和弦转位生成子系统(B20)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个转位和原始和弦根 (即,由音乐字母指示)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的旋律子乐句长度进行生成子系统(B25)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个原始和弦根 (即,由音乐字母指示)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的旋律音符节奏生成子系统(B26)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个初始音符长度和第二和弦长度提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的初始音高生成子系统(B27)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个音符(即,由音乐字母指示)提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的子乐句音高生成子系统(B29)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个原始音符(即,由音乐字母指示)和跳跃反转提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的旋律子乐句长度进行生成子系统(B25)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的旋律开始进入子乐句的时间长度提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的旋律音符节奏生成子系统(B25)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个初始音符长度、第二和弦长度(即,小节)和第n个和弦长度提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的初始音高生成子系统(B27)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个音符提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的子乐句音高生成子系统(B29)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个原始音符和跳跃反转提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用跳跃反转和这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的音高八度生成子系统(B30)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,提供一组概率测量,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的乐器选择器子系统(B39)中维护基于概率的参数表,其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个乐器提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在其自动音乐合成和生成引擎的配器生成子系统(B31)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个乐器提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在自动音乐合成和生成引擎的控制器代码生成子系统(B32)中维护基于概率的参数表,并且其中,对于由系统用户选择的每个音乐体验描述符,为由系统支持的每个乐器提供概率测量,并且在本发明的自动音乐合成和生成过程期间使用这些参数表。
本发明的另一个目标是提供这种自动音乐合成和生成系统,其中,在系统已经接收到来自系统用户的其音乐体验描述符输入并且系统已经被自动安排和配置成其操作模式之后,定时控制子系统用于生成发送至每个子系统的定时控制脉冲信号,其中,根据本发明的原理自动合成和生成音乐。
本发明的另一个目标是提供一种使用实时音高事件分析子系统以自动方式自动地合成和生成音乐的新颖系统和方法。
本发明的另一个目标是提供这种自动音乐合成和生成系统,所述系统支持包括以下步骤的过程:(a)向自动音乐合成和生成系统的系统用户接口提供音乐体验描述符 (例如,包括“情感类型”音乐体验描述符和“风格类型”音乐体验描述符);(b) 向系统的系统用户接口提供针对待用由系统合成和生成的音乐来配乐的视频或媒体对象中的一个或多个场景的歌词输入(例如,以键入的、说出的或演唱的格式);(c) 基于时域和/或频域技术,使用对键入的/说出的/演唱的歌词或单词(针对已配乐媒体的特定帧)的实时节奏、音高事件和韵律分析,使用实时音高事件分析子系统来处理提供给所述系统用户接口的所述歌词输入;(d)使用实时音高事件分析子系统从经分析的歌词输入中提取高分辨率时间线上的音高事件、节奏信息和旋律信息,并且用与这种检测到的事件何时发生有关的定时信息进行编码;并且(e)向自动音乐合成和生成引擎提供所提取的信息以便在约束自动系统的各子系统中采用的基于概率的参数表时使用。
本发明的另一个目标是提供一种支持创建和管理本发明的自动音乐合成和生成系统网络的参数转换引擎子系统内的参数配置的分布式、可远程访问的基于GUI的工作环境,其中,远程地位于全球任何地方的系统设计器登录到系统网络中,并且访问基于GUI的工作环境并创建以下两者之间的参数映射配置:(i)可以由系统用户选择的不同可能情感类型、风格类型和定时/空间参数集,以及(ii)相应基于概率的音乐理论系统操作参数集,优选地在参数表中维护以便永久地存储在本发明的自动音乐合成和生成系统网络上支持的参数转换引擎子系统及其相关联的参数表档案数据库子系统中。
本发明的另一个目标是以音乐合成机器人的形式提供新颖自动音乐合成和生成系统,所述系统用于响应于情感和风格类型音乐体验描述符而生成自动合成的音乐作品的乐谱表示,并且产生自动合成的音乐作品供其他人享受。
然而,本发明的另一个目标是提供新颖自动音乐合成和生成系统,所述系统用于响应于情感和风格类型音乐体验描述符而生成自动合成的音乐作品的乐谱表示,并且将这种表示转换成MIDI控制信号以便驱动和控制一个或多个基于MIDI的乐器,所述乐器产生自动合成的音乐作品供其他人享受。
本发明的这些或其他目标将在下文并且鉴于本发明的所附权利要求书而变得明显。
附图说明
当结合附图阅读时将更完全地理解本大明的目的,在附图中:
图1是示意性表示,展示了本发明的自动音乐合成和生成系统(即,机器)的高级系统架构,所述自动音乐合成和生成系统支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动,并且其中,基于语言学的音乐体验描述符以及视频、音频记录、图像或事件标记作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的媒体 (例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户接口供应回至系统用户;
图2是流程图,展示了涉及执行本发明的一般自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动,并且其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示;
图3示出了根据本发明的第一说明性实施例的自动音乐合成和生成乐器系统的预期图,所述自动音乐合成和生成乐器系统支持虚拟乐器音乐合成,所述虚拟乐器音乐合成由使用在紧凑便携式外壳中提供的文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符驱动;
图4是本发明的第一说明性实施例的自动音乐合成和生成乐器系统的说明性实施方式的示意图,所述自动音乐合成和生成乐器系统支持虚拟乐器音乐合成,所述虚拟乐器音乐合成由使用文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符驱动,所述自动音乐合成和生成乐器系统示出了集成在系统总线架构周围的基于 SOC的子架构的各种部件和其他系统部件;
图5是第一说明性实施例的自动音乐合成和生成乐器系统的高级系统框图,所述自动音乐合成和生成乐器系统支持虚拟乐器音乐合成,所述虚拟乐器音乐合成由使用文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符驱动,其中,基于语言学的音乐体验描述符以及视频、音频记录、图像或事件标记作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户接口供应回至系统用户;
图6是流程图,展示了涉及执行本发明的第一说明性实施例的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程支持使用基于语言学和/或基于图形图标的音乐体验描述符以及使用图3至图5中示出的乐器系统进行的虚拟乐器音乐合成,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且 (v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示;
图7示出了支持本发明的第二说明性实施例的自动音乐合成和生成引擎的玩具乐器的预期图,所述玩具乐器使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于图标的音乐体验描述符驱动,其中,触摸屏显示器被提供用于从库中选择和加载视频,并且儿童可以然后从物理键盘处选择音乐体验描述符(例如,情感描述符图标和风格描述符图标)以便允许儿童合成和生成针对所选视频的分段场景的自定义音乐;
图8是本发明的第二说明性实施例的自动音合成和生成乐器系统的说明性实施方式的示意图,所述自动音合成和生成乐器系统支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由系统用户使用键盘接口选择的基于图形图标的音乐体验描述符驱动,并且所述系统示出了集成在系统总线架构周围的基于SOC的子架构的各部件(如与硬盘驱动器(SATA)接口连接的多核CPU、多核GPU、程序存储器(DRAM)、视频存储器(VRAM))、LCD/触摸屏显示面板、麦克风/扬声器、键盘、WIFI/蓝牙网络适配器、以及电源和分配电路系统;
图9示出了第二说明性实施例的自动玩具音乐合成和生成玩具乐器系统的高级系统框图,其中,基于图形图标的音乐体验描述符和视频被选择为通过系统用户接口(即,触摸屏键盘)的输入,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的视频故事,所述视频故事然后经由系统用户接口供应回至系统用户;
图10是流程图,展示了涉及执行本发明的第二说明性实施例的玩具音乐合成和生成系统内的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程支持使用利用图7至图9中示出的乐器系统进行的虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于图形图标的音乐体验描述符驱动,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成引擎生成的音乐来配乐的视频,(ii)系统用户选择待提供给系统的自动音乐合成和生成引擎的基于图形图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成引擎以便基于为所选视频媒体配乐的所输入音乐描述符合成和生成音乐,并且(iv)系统将已合成音乐与所选视频结合,以便创建视频文件供显示和享受;
图11是根据本发明的第三说明性实施例的电子信息处理和显示系统的透视图,所述电子信息处理和显示系统集成了结式系统内的本发明的基于SOC的自动音乐合成和生成引擎,支持其系统用户的创造性和/或娱乐需求;
图11A是示意性表示,展示了本发明的基于SOC的音乐合成和生成系统的高级系统架构,所述基于SOC的音乐合成和生成系统支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动,并且其中,基于语言学的音乐体验描述符以及视频、音频记录、图像、幻灯片或事件标记作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户接口供应回至系统用户;
图11B是图11和图11A中展示的系统的示意性表示,所述系统包括与支持控制等的一个或的多个总线架构集成的基于SOC的子系统架构(包括示出与固态(DRAM) 硬盘驱动器接口连接的多核CPU、多核GPU、程序存储器(RAM)和视频存储器 (VRAM))、LCD/触摸屏显示面板、麦克风扬声器、键盘或小键盘、WIFI/蓝牙网络适配器和3G/LTE/GSM网络适配器;
图12是流程图,展示了涉及执行本发明的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程使用图11和图11A中示出的基于SOC的系统,所述自动音乐合成和生成过程支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动,并且其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为在所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示;
图13是本发明的第四说明性实施例的企业级基于互联网的音乐合成和生成系统的示意性表示,所述企业级基于互联网的音乐合成和生成系统由具有可操作地连接至互联网基础设施的web服务器、应用服务器和数据库(RDBMS)服务器的数据处理中心支持,并且可由客户机、社交网络服务器和基于web的通信服务器访问,并且允许具有基于web的浏览器的任何人访问网站上(例如,YouTube、Vimeo等上)的自动音乐合成和生成服务以便使用虚拟乐器音乐合成以及使用文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符用音乐配乐视频、图像、幻灯片、音频记录和其他事件;
图13A是示意性表示,展示了由图13中示出的系统支持的自动音乐合成和生成过程的高级系统架构,所述自动音乐合成和生成过程支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动,其中,基于语言学的音乐体验描述符以及视频、音频记录、图像或事件标记作为输入通过基于web的系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户接口被供应回至系统用户;
图13B是示例性计算服务器机器的系统架构的示意性表示,所述计算服务器机器中的一个或多个可以用于实施图13和图13A中展示的企业级自动音乐合成和生成系统;
图14是流程图,展示了涉及执行本发明的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程由图13和图13A中展示的系统支持,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录 (即,播客)、幻灯片、照片或图像、或者事件标记,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示;
图15A是由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,其中,界面对象被显示用于:(i)作为本发明的自动音乐合成和生成过程中的第一步,选择用于上传到系统中的视频,并且(ii)合成允许系统用户启动本发明的自动音乐合成和生成系统的仅音乐选项;
图15B是由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,当系统用户选择图15A的GUI中的“选择视频”对象时,其中,所述系统允许用户从若干不同本地和远程文件存储位置(例如,本地相簿、云上的共享托管文件夹、以及来自个人的智能电话相机卷的本地相簿)中选择视频文件;
图15C是由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,其中,所选视频被显示用于根据本发明的原理进行配乐;
图15D是由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,其中,系统用户从音乐情感/音乐风格/音乐发现(Music Spotting)菜单中选择类别“音乐情感”以便显示四个示例性情感类别(即,戏剧、动作、喜剧和惊悚),从所述情感类别中选择和表征系统用户搜索的音乐体验;
图15E是响应于系统用户选择音乐情感类别——戏剧而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕;
图15F是响应于系统用户选择音乐情感类别——戏剧而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,并且其中,系统用户已经随后选择了戏剧类别的情感——快乐的、浪漫的以及鼓舞人心的以便为所选视频配乐;
图15G是响应于系统用户选择音乐情感类别——动作而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕;
图15H是响应于系统用户选择音乐情感类别——动作而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,并且其中,系统用户已经随后选择了动作类别的情感——搏动的以及间谍以便为所选视频配乐;
图15I是响应于系统用户选择音乐情感类别——喜剧而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕;
图15J是响应于系统用户选择音乐情感类别——戏剧而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,并且其中,系统用户已经随后选择了喜剧类别的情感——古怪的以及闹剧以便为所选视频配乐;
图15K是响应于系统用户选择音乐情感类别——惊悚而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕;
图15L是响应于系统用户选择音乐情感类别——惊悚而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,并且其中,系统用户已经随后选择了惊悚类别的情感——沉思的、令人不安的以及神秘的以便为所选视频配乐;
图15M是响应于系统用户完成对音乐情感类别的选择而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,向系统用户显示消息——“准备好创建你的音乐,按压“合成”来设置Amper以进行工作或者按压“取消”来编辑你的选择”;
图15N是由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,其中,系统用户从音乐情感/音乐风格/音乐发现菜单中选择类别“音乐风格”以便显示二十(20)种风格(即,流行、摇滚、嘻哈等),从所述风格中选择和表征系统用户搜索的音乐体验;
图15O是响应于系统用户选择音乐风格类别——流行和钢琴而由图13至图14 中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕;
图15P是响应于系统用户完成对音乐风格类别的选择而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,向系统用户显示消息——“准备好创建你的音乐,按压“合成”来设置Amper以进行工作或者按压“取消”来编辑你的选择”;
图15Q是由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,其中,系统用户从音乐情感/音乐风格/音乐发现菜单中选择类别“音乐发现”以便显示六种命令,在音乐发现功能期间系统用户可以从所述命令中选择——“开始”、“停止”、“打击”、“淡入”、“淡出”以及“新情绪”命令;
图15R是响应于系统用户从功能菜单中选择“音乐发现”而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,示出了“开始”、“停止”以及为所选视频配乐的命令,如所示出的;
图15S是响应于完成音乐发现功能而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕,向系统用户显示消息——“准备好创建音乐,按压“合成”来设置Amper以进行工作或者按压“取消”来编辑你的选择”;
图15T是响应于系统用户按压“合成”按钮而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕;
图15U是当系统用户的已合成音乐已经准备好被回顾时由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕;
图15V是由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,在音乐合成已经生成并且准备好针对所选视频预览之后,其中,系统用户被提供有用于编辑针对音乐作品设置的音乐体验描述符并且重新编译音乐合成、或者接受所述生成的已合成音乐作品并且将音频与视频混合以生成经配乐视频文件的选项;
图16是根据本发明的第五说明性实施例的自动音乐合成和生成系统的透视图,其中,基于互联网的自动音乐合成和生成平台被部署以使得移动和台式客户机可以同样使用在互联网上支持的文本、SMS和电子邮件服务通过由用户使用本发明的自动音乐合成和生成引擎以及图形用户界面添加已合成音乐来扩充,所述图形用户界面在创建文本、SMS和/或电子邮件文档(即,消息)的同时由所述客户机支持,从而使得用户可以容易地选择基于图形和/或基于语言学的情感和风格描述符以便在生成针对这种文本、SMS和电子邮件消息的已合成音乐作品时使用;
图16A是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第一示例性客户应用,所述第一示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建文本或SMS消息以及创建并插入通过从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品;
图16B是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第二示例性客户应用,所述第二示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建电子邮件文档以及创建并嵌入在其中通过用户根据本发明的原理从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格类型描述符而创建的已合成音乐作品;
图16C是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第二示例性客户应用,所述第二示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建 Microsoft Word、PDF或图像(例如,jpg或tiff)文档以及创建并插入通过从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品;
图16D是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第二示例性客户应用,所述第二示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建基于web(即,html)的文档以及创建并插入通过从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品,从而使得音乐作品可以被递送至远程客户并且使用在嵌入的URL上操作的传统基于web的浏览器体验,根据所述嵌入的URL,所述嵌入的音乐作品通过web、应用和数据库服务器被服务;
图17是在图16A、图16B、图16C和图16D中展示的系统中部署的每个客户机的系统架构的示意性表示,所述系统架构包括围绕系统总线架构的与系统总线架构集成的子系统模块,包括:多核CPU、多核GPU、程序存储器(RAM)、视频存储器 (VRAM)、硬盘驱动器(SATA驱动器)、LCD/触摸屏显示面板、麦克风扬声器、键盘、WIFI/蓝牙网络适配器、和3G/LTE/GSM网络适配器;
图18是示意性表示,展示了本发明的基于互联网的音乐合成和生成系统的高级系统架构,所述基于互联网的音乐合成和生成系统支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动以便向文本、SMS和电子邮件文档/消息添加已合成音乐,其中,基于语言学或基于图标的音乐体验描述符作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的文本文档或消息,所述经配乐的文本文档或消息被生成用于在结束和传输之前由系统用户经由所述系统用户接口进行预览;
图19是流程图,展示了涉及执行本发明的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程使用图16至图18中示出的基于web的系统,所述自动音乐合成和生成过程支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动以便创建经配乐的文本、SMS、电子邮件、PDF、Word和/或html文档,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待配乐(例如,扩充)有由本发明的自动音乐合成和生成系统生成的音乐的文本、SMS或电子邮件消息或者Word、 PDF或HTML文档,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选消息或文档配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于消息或文档的已合成和已生成音乐,或者拒绝所述音乐并向系统提供反馈,包括提供不同音乐体验描述符以及用于基于更新的音乐体验描述符输入重新合成音乐的请求,并且(v)系统将所接受的已合成音乐与消息或文档结合,以便创建新文件供分配和显示;
图20是具有包围基于AI的自主音乐合成和合成演奏系统的真实或合成乐器的人类音乐家乐队的示意性表示,所述系统采用本发明的自动音乐合成和生成引擎的修改版本,其中,基于AI的系统接收来自其周围乐器和音乐家的音乐信号并缓冲和分析这些乐器,并且响应于此可以实时合成和生成将扩充由音乐家乐队演奏的音乐的音乐,或者可以记录、分析和合成被记录用于由人类音乐家随后重放、回顾和考虑的音乐;
图21是自主音乐分析、合成和演奏乐器系统的示意性表示,所述系统具有紧凑坚固的可运输外壳,所述外壳包括:LCD触摸类型显示屏、内置立体麦克风设置、用于接收从系统环境中的乐器组产生的音频信号的一组音频信号输入连接器、用于接收来自系统环境中的乐器组的MIDI输入信号的一组MIDI信号输入连接器、用于将音频输出信号递送至音频信号前置放大器和/或放大器的音频输出信号连接器、WIFI 和BT网络适配器以及相关联的信号天线结构、以及针对用户操作模式的一组功能按钮,所述用户操作模式包括:(i)引导模式,其中,所述乐器系统响应于其在音乐会话期间从其(本地或远程)音乐环境接收和分析的音乐信息流而自主地在音乐上进行引导,(ii)跟随模式,其中,所述乐器系统响应于其在音乐会话期间从其(本地或远程)音乐环境中的乐器接收和分析的音乐而自主地在音乐上跟随,(iii)合成模式,其中,所述系统基于其在音乐会话期间从其(本地或远程)环境中的乐器接收和分析的音乐而自动地合成音乐,以及(iv)演奏模式,其中,所述系统响应于其在音乐会话期间从其环境接收和分析的音乐信息而实时地自主地演奏自动合成的音乐;
图22是示意性表示,展示了图21中示出的自主音乐分析、合成和演奏乐器系统的高级系统架构,其中,从系统环境中的一组乐器中产生的音频信号以及MIDI输入信号由乐器系统接收,并且针对音高事件和旋律结构的出现而在时域和/或频域上实时分析这些信号,从而使得系统可以从此信息中自动地抽象化出音乐体验描述符,以便在使用本发明的自动音乐合成和生成引擎生成自动音乐合成和生成时使用;
图23是图20和图21中展示的乐器系统的系统架构的示意性表示,所述系统架构包括围绕系统总线架构的与系统总线架构集成的子系统模块安排,包括:多核CPU、多核GPU、程序存储器(DRAM)、视频存储器(VRAM)、硬盘驱动器(SATA驱动器)、LCD/触摸屏显示面板、立体麦克风、音频扬声器、键盘、WIFI/蓝牙网络适配器、和3G/LTE/GSM网络适配器;
图24是流程图,展示了涉及执行本发明的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程使用图20至图23中示出的系统,其中,(i)在所述过程的第一步骤期间,系统用户针对本发明的自动音乐合成和生成乐器系统选择引导或跟随操作模式,(ii)在会话之前,所述系统然后与由一队音乐家在音乐会话期间在创造性环境中演奏的一组乐器接口连接,(iii)在会话期间,所述系统接收在会话期间从乐器组产生的音频和/或MIDI数据信号,并且针对音高数据和旋律结构分析这些信号,(iv)在会话期间,所述系统从抽象化的音高和旋律数据中自动地生成音乐描述符,并且使用音乐体验描述符在实时的基础上针对会话合成音乐,并且(v)在已经选择了演奏模式的情况下,所述系统生成已合成音乐,并且在已经选择了合成模式的情况下,在会话期间合成的音乐被存储用于随后由所述音乐家乐队访问和回顾;
图25A是本发明的在本文的本发明的各实施例中采用的自动音乐合成和生成引擎的高级系统图,包括被配置成如所示出的:基于用户GUI的输入子系统、普通节奏子系统、普通节奏生成子系统、旋律节奏生成子系统、旋律音高生成子系统、配器子系统、控制器代码创建子系统、数字作品创建子系统、以及反馈和学习子系统;
图25B是高级系统图,展示了本发明的系统包括两个非常高级的“音乐格局”分类,即:(i)音高格局子系统C0,包括:普通音高生成子系统A2、旋律音高生成子系统A4、配器子系统A5和控制器代码创建子系统A6;以及(ii)节奏格局子系统 C1,包括:普通节奏生成子系统A1、旋律节奏生成子系统A3、配器子系统A5和控制器代码创建子系统A6;
图26A、图26B、图26C、图26D、图26E、图26F、图26G、图26H、图26I、图26J、图26K、图26L、图26M、图26N、图26O和图26P一起提供了详细的系统图,示出了图25A和图25B中的每个子系统,所述每个子系统与根据本发明的原理的其他子系统一起配置,从而使得将提供给基于用户GUI的输入输出系统B0的音乐描述符分配给其适当子系统以便在本发明的自动音乐合成和生成过程中使用;
图27A示出了在本发明的自动音乐合成和生成引擎E1中使用的基于用户GUI 的输入输出子系统(B0)的示意性表示,其中,系统用户向输入输出系统B0提供音乐体验描述符——例如,快乐——以便分配给描述符参数捕获子系统B1,其中,基于概率的表由图27B3B中示出的参数转换引擎子系统B51生成和维护,以便在其中的各子系统中分配和加载,从而在随后子系统建立以及自动音乐合成和生成时使用;
图27B1和图27B2一起示出了在本发明的自动音乐合成和生成引擎中使用描述符参数捕获子系统(B1)的示意性表示,其中,系统用户向描述符参数捕获子系统提供示例性“情感类型”音乐体验描述符——快乐——以便分配给在本文的各子系统中采用的基于概率的参数表,并且进行随后的子系统建立并在本发明的自动音乐合成和生成过程期间使用;
图27B3A、图27B3B和图27B3C一起提供了在本发明的自动音乐合成和生成引擎中使用的配置有参数捕获子系统(B1)的参数转换引擎子系统(B51)、风格参数捕获子系统(B37)和定时参数捕获子系统(B40)的示意性表示,所述子系统用于接收情感类型和风格类型音乐体验描述符和定时/空间参数以便处理和转换成音乐理论系统操作参数,从而以表类型数据结构分配给说明性实施例的系统中的各子系统;
图27B4A、图27B4B、图27B4C、图27B4D和图27B4E一起提供了示意性映射表示,所述示意性映射表示指定在本发明的自动音乐合成和生成系统的子系统内采用的特定音乐理论系统操作参数(SOP)表的位置;
图27B5是在本发明的自动音乐合成和生成引擎中使用的参数表处置和处理子系统(B70)的示意性表示,其中,多个情感/风格特定音乐理论系统操作参数(SOP) 表从参数转换引擎子系统B51中接收并且使用参数表处理方法M1、M2或M3之一进行处置和处理,以便以更方便且更容易在本发明的系统的子系统内处理和使用的形式生成系统操作参数表;
图27B6是在本发明的自动音乐合成和生成系统中使用的参数表档案数据库子系统(B80)的示意性表示,所述子系统用于对系统用户账户简况、品味和偏好以及针对系统上的系统用户音乐合成请求而生成的情感/风格索引系统操作参数(SOP)表进行存储和归档;
图27C1和图27C2一起示出了在本发明的自动音乐合成和生成引擎中使用的风格参数捕获子系统(B37)的示意性表示,其中,在子系统中采用的基于概率的参数表针对示例性“风格类型”音乐体验描述符——流行——建立并且在本发明的自动音乐合成和生成过程期间使用;
图27D示出了在本发明的自动音乐合成和生成引擎中使用的定时参数捕获子系统(B40)的示意性表示,其中,定时参数捕获子系统(B40)向定时生成子系统(B41) 提供定时参数以分配给系统中的各子系统并且进行随后子系统配置并在本发明的自动音乐合成和生成过程期间使用;
图27E1和图27E2一起示出了在本发明的自动音乐合成和生成引擎中使用的定时生成子系统(B41)的示意性表示,其中,定时参数捕获子系统(B40)向定时生成子系统(B41)提供定时参数(例如,作品长度)以便生成与以下各项有关的定时信息:(i)待合成的作品的长度,(ii)音乐作品的开始,(iii)音乐作品的停止,(iv) 音乐作品的音量的增大,以及(v)音乐作品中的待在本发明的自动音乐合成和生成过程期间创建的重音;
图27F示出了在本发明的自动音乐合成和生成引擎中使用的长度生成子系统(B2)的示意性表示,其中,作品的由系统用户指定的时间长度被提供给长度生成子系统(B2)并且此子系统生成待在本发明的自动音乐合成和生成过程期间合成的音乐作品的开始和停止位置;
图27G示出了在本发明的自动音乐合成和生成引擎中使用的速度生成子系统(B3)的示意性表示,其中,基于提供给此子系统的作品时间长度和音乐体验参数来计算作品的速度(即,BPM),其中,合成速度以每分钟节拍数(BPM)测量并且在本发明的自动音乐合成和生成过程期间使用;
图27H示出了在本发明的自动音乐合成和生成引擎中使用的拍子生成子系统(B4)的示意性表示,其中,基于提供给此子系统的作品时间长度和音乐体验参数来计算作品的拍子,其中,合成速度以每分钟节拍数(BPM)测量并且在本发明的自动音乐合成和生成过程期间使用;
图27I示出了在本发明的自动音乐合成和生成引擎中使用的调生成子系统(B5)的示意性表示,其中,基于提供给系统的音乐体验参数来计算作品的调,其中,在本发明的自动音乐合成和生成过程期间选择和使用合成调;
图27J示出了在本发明的自动音乐合成和生成引擎中使用的节拍计算器子系统(B6)的示意性表示,其中,基于提供给系统的作品长度以及由系统计算的速度来计算作品中节拍数量,其中,在本发明的自动音乐合成和生成过程期间使用合成节拍数量;
图27K示出了在本发明的自动音乐合成和生成引擎中使用的小节计算器子系统(B8)的示意性表示,其中,基于作品中的节拍数量以及作品的所计算拍子来计算作品中小节数量,其中,在本发明的自动音乐合成和生成过程期间使用作品中的拍子;
图27L示出了在本发明的自动音乐合成和生成引擎中使用的调性生成子系统(B7)的示意性表示,其中,作品的调性数量使用子系统内采用的针对由系统用户提供给系统的示例性“情感类型”音乐体验描述符——快乐的基于概率的调性参数表来选择,并且其中,在本发明的自动音乐合成和生成过程期间使用所选调性;
图27M1和图27M2一起示出了在本发明的自动音乐合成和生成引擎中使用的歌曲形式生成子系统(B9)的示意性表示,其中,歌曲形式使用子系统内采用的针对由系统用户提供给系统的示例性“情感类型”音乐体验描述符——快乐——的基于概率的歌曲形式子乐句参数表来选择,并且其中,在本发明的自动音乐合成和生成过程期间使用所选歌曲形式;
图27N示出了在本发明的自动音乐合成和生成引擎中使用的子乐句长度成子系统(B15)的示意性表示,其中,子乐句长度使用子系统内采用的针对由系统用户提供给系统的示例性“情感类型”音乐体验描述符——快乐——的基于概率的子乐句长度参数表来选择,并且其中,在本发明的自动音乐合成和生成过程期间使用所选子乐句长度;
图27O1、图27O2、图27O3和图27O4一起示出了在本发明的自动音乐合成和生成引擎中使用的和弦长度生成子系统(B11)的示意性表示,其中,和弦长度使用子系统内采用的针对由系统用户提供给系统的示例性“情感类型”音乐体验描述符的基于概率的和弦长度参数表来选择,并且其中,在本发明的自动音乐合成和生成过程期间使用所选和弦长度;
图27P示出了在本发明的自动音乐合成和生成引擎中使用的独特子乐句成子系统(B14)的示意性表示,其中,独特子乐句使用子系统内采用的针对由系统用户提供给系统的“情感类型”音乐体验描述符——快乐——的基于概率的独特子乐句参数表来选择,并且其中,在本发明的自动音乐合成和生成过程期间使用所选独特子乐句;
图27Q示出了在本发明的自动音乐合成和生成引擎中使用的子乐句中和弦数量计算子系统(B16)的示意性表示,其中,使用计算出的独特子乐句来计算子乐句中和弦数量,并且其中,在本发明的自动音乐合成和生成过程期间使用子乐句中和弦数量;
图27R示出了在本发明的自动音乐合成和生成引擎中使用的乐句长度生成子系统(B12)的示意性表示,其中,使用乐句长度分析器来测量乐句的长度,并且其中,在本发明的自动音乐合成和生成过程期间使用(小节数量中的)乐句的长度;
图27S示出了在本发明的自动音乐合成和生成引擎中使用的独特乐句生成子系统(B10)的示意性表示,其中,使用乐句分析器来确定独特乐句数量,并且其中,在本发明的自动音乐合成和生成过程期间使用独特乐句数量;
图27T示出了在本发明的自动音乐合成和生成引擎中使用的乐句中和弦数量计算子系统(B13)的示意性表示,其中,确定乐句中和弦数量,并且其中,在本发明的自动音乐合成和生成过程期间使用乐句中和弦数量;
图27U示出了在本发明的自动音乐合成和生成引擎中使用的初始普通节奏生成子系统(B17)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,基于概率的初始和弦根表以及基于概率的和弦功能表)在本发明的自动音乐合成和生成过程期间使用;
图27V1、图27V2和图27V3一起示出了在本发明的自动音乐合成和生成引擎中使用的子乐句和弦进行生成子系统(B19)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,和弦根表、和弦功能根修改器以及节拍根修改器表)在本发明的自动音乐合成和生成过程期间使用;
图27W示出了在本发明的自动音乐合成和生成引擎中使用的乐句和弦进行生成子系统(B18)的示意性表示,其中,使用子乐句分析器来确定乐句和弦进行,并且其中,在本发明的自动音乐合成和生成过程期间使用改进的乐句;
图27X1、图27X2和图27X3一起示出了在本发明的自动音乐合成和生成引擎中使用的和弦转位生成子系统(B20)的示意性表示,其中,和弦转位使用针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,初始和弦转位表以及和弦转位表)来确定并且在本发明的自动音乐合成和生成过程期间使用;
图27Y示出了在本发明的自动音乐合成和生成引擎中使用的旋律子乐句长度生成子系统(B25)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,旋律长度表)在本发明的自动音乐合成和生成过程期间使用;
图27Z1和图27Z2一起示出了在本发明的自动音乐合成和生成引擎中使用的旋律子乐句生成子系统(B24)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,子乐句旋律布局表) 在本发明的自动音乐合成和生成过程期间使用;
图27AA示出了在本发明的自动音乐合成和生成引擎中使用的旋律乐句长度生成子系统(B23)的示意性表示,其中,旋律乐句长度使用子乐句旋律分析器来确定,并且在本发明的自动音乐合成和生成过程期间使用;
图27BB示出了在本发明的自动音乐合成和生成引擎中使用的旋律独特乐句生成子系统(B22)的示意性表示,其中,独特旋律乐句使用独特旋律乐句分析器来确定,并且在本发明的自动音乐合成和生成过程期间使用;
图27CC示出了在本发明的自动音乐合成和生成引擎中使用的旋律长度生成子系统(B21)的示意性表示,其中,旋律长度使用乐句旋律分析器来确定,并且在本发明的自动音乐合成和生成过程期间使用;
图27DD1、图27DD2和图27DD3一起示出了在本发明的自动音乐合成和生成引擎中使用的旋律音符节奏生成子系统(B26)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,初始音符长度表以及初始和第二和弦长度表)在本发明的自动音乐合成和生成过程期间使用;
图27EE示出了在本发明的自动音乐合成和生成引擎中使用的初始音高生成子系统(B27)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,初始旋律表)在本发明的自动音乐合成和生成过程期间使用;
图27FF1、图27FF2和图27FF3一起示出了在本发明的自动音乐合成和生成引擎中使用的子乐句音高生成子系统(B29)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,旋律音符表和和弦修改器表、跳跃反转修改器表、以及跳跃激励修改器表)在本发明的自动音乐合成和生成过程期间使用;
图27GG示出了在本发明的自动音乐合成和生成引擎中使用的乐句音高生成子系统(B28)的示意性表示,其中,乐句音高使用子乐句旋律分析器来确定,并且在本发明的自动音乐合成和生成过程期间使用;
图27HH1和图27HH2一起示出了在本发明的自动音乐合成和生成引擎中使用的音高八度生成子系统(B30)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,旋律音符八度表) 在本发明的自动音乐合成和生成过程期间使用;
图27II1和图27II2一起示出了在本发明的自动音乐合成和生成引擎中使用的乐器法子系统(B38)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,乐器表)在本发明的自动音乐合成和生成过程期间使用;
图27JJ1和图27JJ2一起示出了在本发明的自动音乐合成和生成引擎中使用的乐器选择器子系统(B39)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,乐器选择表)在本发明的自动音乐合成和生成过程期间使用;
图27KK1、图27KK2、图27KK3、图27KK4、图27KK5、图27KK6、图27KK7、图27KK8和图27KK9一起示出了在本发明的自动音乐合成和生成引擎中使用的配器生成子系统(B31)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,乐器配器优化表、乐器能量表、钢琴能量表、乐器功能表、钢琴手功能表、钢琴调音表、钢琴节奏表、第二音符右手表、第二音符左手表、钢琴动态表等)在本发明的自动音乐合成和生成过程期间使用;
图27LL示出了在本发明的自动音乐合成和生成引擎中使用的控制器代码生成子系统(B32)的示意性表示,其中,在子系统中采用的针对示例性“情感类型”音乐体验描述符——快乐——的基于概率的参数表(即,乐器、乐器组和作品宽度控制器代码表)在本发明的自动音乐合成和生成过程期间使用;
图27MM示出了在本发明的自动音乐合成和生成引擎中使用的数字音频检索器子系统(B33)的示意性表示,其中,数字音频(乐器音符)文件在本发明的自动音乐合成和生成过程期间被定位和使用;
图27NN示出了在本发明的自动音乐合成和生成引擎中使用的数字音频样本管理器子系统(B34)的示意性表示,其中,被定位的数字音频(乐器音符)文件在本发明的自动音乐合成和生成过程期间根据音乐作品在正确的时间和空间中组织;
图27OO示出了在本发明的自动音乐合成和生成引擎中使用的作品整合器子系统(B35)的示意性表示,其中,子乐句音高使用基于概率的旋律音符表、基于概率的和弦修改器表和基于概率的跳跃反转修改器表来确定,并且在本发明的自动音乐合成和生成过程期间使用;
图27OO1示出了在本发明的自动音乐合成和生成引擎中使用的作品格式转换器子系统(B50)的示意性表示,其中,完成的音乐作品被转换成在本发明的自动音乐合成和生成过程期间请求的期望的备选格式;
图27PP示出了在本发明的自动音乐合成和生成引擎中使用的作品递送子系统(B36)的示意性表示,其中,数字音频文件被合并成待在本发明的自动音乐合成和生成过程期间递送至系统用户的数字音频文件;
图27QQ1、图27QQ2和图27QQ3一起示出了在本发明的自动音乐合成和生成引擎中使用的反馈子系统(B42)的示意性表示,其中,在本发明的自动音乐合成和生成过程期间(i)数字音频文件和附加作品格式被分析用于确定和确认所请求的作品的所有属性被准确递送,(ii)数字音频文件和附加作品格式被分析用于确定和确认音乐作品的独特性,并且(iii)系统用户分析音频文件和/或附加作品格式;
图27RR示出了在本发明的自动音乐合成和生成引擎中使用的音乐可编辑性子系统(B43)的示意性表示,其中,在本发明的自动音乐合成和生成过程期间执行用于重新开始、重新运行、修改和/或重新创建系统的请求;
图27SS示出了在本发明的自动音乐合成和生成引擎中使用的偏好保存器子系统(B44)的示意性表示,其中,音乐体验描述符和参数表被修改成反映用户和自主反馈以便在本发明的未来自动音乐合成和生成过程期间引起更积极接收的作品;
图27TT示出了在本发明的自动音乐合成和生成引擎中使用的音乐内核(即, DNA)生成子系统(B45)的示意性表示,其中,在以下方面确定音乐作品的音乐“内核”(即,DNA):(i)旋律(子乐句旋律音符选择顺序),(ii)和声(即,乐句和弦进行),(iii)速度,(iv)音量,和(v)配器,从而使得此音乐内核可以在本发明的未来自动音乐合成和生成过程期间使用;
图27UU示出了在本发明的自动音乐合成和生成引擎中使用的用户品味生成子系统(B46)的示意性表示,其中,基于系统用户反馈和自主作品分析确定系统用户的音乐品味,以便在本发明的自动音乐合成和生成过程期间针对音乐合成改变或修改音乐体验描述符、参数和表值时使用;
图27VV示出了在本发明的自动音乐合成和生成引擎中使用的群众品味聚合器子系统(B47)的示意性表示,其中,群众的音乐品味被聚合并且改变成音乐体验描述符,并且表概率作为对其的响应可以在本发明的自动音乐合成和生成过程期间被修改;
图27WW示出了在本发明的自动音乐合成和生成引擎中使用的用户偏好子系统(B48)的示意性表示,其中,系统用户偏好(例如,音乐体验描述符、表参数)在本发明的自动音乐合成和生成过程期间被确定和使用;
图27XX示出了在本发明的自动音乐合成和生成引擎中使用的群众偏好子系统(B49)的示意性表示,其中,用户群众偏好(例如,音乐体验描述符、表参数)在本发明的自动音乐合成和生成过程期间被确定和使用;
图28A示出了在本发明的自动音乐合成和生成引擎的速度生成子系统(B3)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐的、悲伤的、生气的、害怕的、爱情,并且在本发明的自动音乐合成和生成过程期间使用;
图28B示出了在本发明的自动音乐合成和生成引擎的长度生成子系统(B2)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐的、悲伤的、生气的、害怕的、爱情,并且在本发明的自动音乐合成和生成过程期间使用;
图28C示出了在本发明的自动音乐合成和生成引擎的拍子生成子系统(B4)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐的、悲伤的、生气的、害怕的、爱情,并且在本发明的自动音乐合成和生成过程期间使用;
图28D示出了在本发明的自动音乐合成和生成引擎的调生成子系统(B5)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28E示出了在本发明的自动音乐合成和生成引擎的调性生成子系统(B7)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28F示出了在本发明的自动音乐合成和生成引擎的歌曲形式生成子系统(B9)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F 中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28G示出了在本发明的自动音乐合成和生成引擎的子乐句长度生成子系统(B15)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28H示出了在本发明的自动音乐合成和生成引擎的和弦长度生成子系统(B11)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F 中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28I示出了在本发明的自动音乐合成和生成引擎的初始普通节奏生成子系统(B17)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28J1和图278J2一起示出了在本发明的自动音乐合成和生成引擎的子乐句和弦进行生成子系统(B19)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28K示出了在本发明的自动音乐合成和生成引擎的和弦转位生成子系统(B20)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F 中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28L1示出了在本发明的自动音乐合成和生成引擎的旋律子乐句长度进行生成子系统(B25)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图 32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28L2示出了在本发明的自动音乐合成和生成引擎的旋律子乐句生成子系统(B24)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28M示出了在本发明的自动音乐合成和生成引擎的旋律音符节奏生成子系统(B26)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28N示出了在本发明的自动音乐合成和生成引擎的初始音高生成子系统(B27)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F 中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28O1、图28O2和图28O3一起示出了在本发明的自动音乐合成和生成引擎的子乐句音高生成子系统(B29)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28P示出了在本发明的自动音乐合成和生成引擎的音高八度生成子系统(B30)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F 中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28Q1A和图28Q1B一起示出了在本发明的自动音乐合成和生成引擎的乐器子系统(B38)中维护的基于概率的乐器表的示意性表示,所述参数表被配置成在图32A 至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28Q2A和图28Q2B一起示出了在本发明的自动音乐合成和生成引擎的乐器选择器子系统(B39)中维护的基于概率的乐器选择器表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28R1、图28R2和图28R3一起示出了在本发明的自动音乐合成和生成引擎的配器生成子系统(B31)中维护的基于概率的参数表和基于能量的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐,并且在本发明的自动音乐合成和生成过程期间使用;
图28S示出了在本发明的自动音乐合成和生成引擎的控制器代码生成子系统(B32)中维护的基于概率的参数表的示意性表示,所述参数表被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐——以及在图33A至图32F中的风格描述符表中指定的风格类型音乐体验描述符——流行,并且在本发明的自动音乐合成和生成过程期间使用;
图29A和图29B一起示出了定时控制图的示意性表示,所述定时控制图展示了在系统已经从系统用户处接收到其音乐体验描述符输入并且系统已经自动安排和配置成其操作模式之后,特定定时控制脉冲信号发送至图26A至图26P中示出的系统图中的每个子系统框图的时间顺序,其中,音乐根据本发明的原理自动合成和生成;
图30A、图30B、图30C、图30D、图30E、图30F、图30G、图30H、图30I 和图30J一起示出了描述由在此描述的本发明的说明性实施例的自动合成和生成系统内的每个子系统支持的输入和输出数据信号的性质和各种可能格式的表的示意性表示,其中,每个子系统在表中由其框名称或标识符(例如,B1)标识;
图31是描述示例性数据格式表的示意性表示,所述示例性数据格式由各种数据输入和输出信号(例如,文本、和弦、音频文件、二进制、命令、拍子、图像、时间、音高、数字、调性、速度、字母、语言学、语音、MIDI等)支持,所述各种数据输入和输出信号穿过在本发明的自动音乐合成和生成系统中采用的各种特定配置信息处理子系统;
图32A、图32B、图32C、图32D、图32E和图32F一起提供了描述示例性分层“情感”描述符组的表的示意性表示,所述示例性分层“情感”描述符组根据主要、次要和第三情感安排,所述情感作为“音乐体验描述符”被系统用户支持用于提供为对本发明的说明性实施例的自动音乐合成和生成系统的输入;
图33A、图33B、图33C、图33D和图33E一起提供了描述示例性“风格”音乐体验描述符(MUSEX)组的表,所述示例性“风格”音乐体验描述符组被系统用户支持用于提供为对本发明的说明性实施例的自动音乐合成和生成系统的输入;
图34是本发明的自动音乐合成和生成系统网络的示意性表示,所述系统网络包括可操作地连接至本发明的自动音乐合成和生成引擎(E1)的多个远程系统设计器客户工作站,其中,其参数转换引擎子系统和其相关联的参数表档案数据库子系统被维护,并且其中,每个工作站客户系统支持基于GUI的工作环境以便创建和管理参数转换引擎子系统内的“参数映射配置(PMC)”,其中,远程地位于全球任何地方的系统设计器登录到系统网络中,并且访问基于GUI的工作环境并创建以下两者之间的参数映射配置(PMC):(i)可以由系统用户选择的不同可能情感类型、风格类型和定时/空间参数集,以及(ii)相应基于概率的音乐理论系统操作参数集,优选地在参数表中维护以便永久地存储在参数转换引擎子系统及其相关联的参数表档案数据库子系统中;
图35A是由图34中示出的系统网络支持的基于GUI的工作环境的示意性表示,其中,系统设计器具有以下选项:(i)管理现有参数映射配置,以及(ii)创建新参数映射配置,以用于加载并且永久存储在参数转换引擎子系统B51中,所述参数转换引擎子系统进而生成图28A至图28S中表示的(多个)相应的基于概率的音乐理论系统操作参数(SOP)表,并且将相同内容加载在本发明的经部署的自动音乐合成和生成系统中采用的各子系统内;
图35B是由图35A中示出的系统网络支持的基于GUI的工作环境的示意性表示,其中,系统设计器选择(i)管理现有参数映射配置,并且呈现已经创建并加载到本发明的系统的参数转换引擎子系统B51中的永久存储设备中的当前创建的参数映射配置列表;
图36A是由图35A中示出的系统网络支持的基于GUI的工作环境的示意性表示,其中,系统设计器选择(i)创建新参数映射配置;
图36B是由图35A中示出的系统网络支持的基于GUI的工作环境的示意性表示,其中,向系统设计师呈现了在创建以下两者之间的参数映射配置时使用的基于GUI 的工作表:(i)可能系统用户可选情感/风格/定时参数集,以及在图28A至图28S中表示的(多个)相应的基于概率的音乐理论系统操作参数(SOP)表组,以用于生成并加载到本发明的经部署的自动音乐合成和生成系统中采用的各子系统内;
图37是本发明的自动音乐合成和生成乐器系统的第七替代性实施例的预期图,所述自动音乐合成和生成乐器系统支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由使用文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符和歌词单词描述符驱动,从而使得系统用户可以根据本发明的原理进一步将歌词应用于待从情感上用已合成音乐为视频中的一个或多个场景配乐;
图38是本发明的自动音合成和生成乐器系统的第七说明性实施例的示例性实施方式的示意图,所述自动音合成和生成乐器系统支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由使用键盘接口选择的基于图形图标的音乐体验描述符驱动,并且所述系统示出了集成在系统总线架构周围的各部件,如多核CPU、多核GPU、程序存储器(DRAM)、视频存储器(VRAM)、硬盘驱动器(SATA)、LCD/触摸屏显示面板、麦克风/扬声器、键盘、WIFI/蓝牙网络适配器、音高识别模块/板、以及电源和分配电路系统;
图39是第七说明性实施例的自动音乐合成和生成系统的高级系统框图,其中,基于语言学和/或基于图形的音乐体验描述符(包括歌词输入)以及其他媒体(例如,视频记录、幻灯片、音频记录或事件标记)被选择作为通过系统用户接口B0(即,触摸屏键盘)的输入,其中,媒体可以被系统自动分析以便提取音乐体验描述符(例如,基于场景图像和/或信息内容),并且之后由本发明的自动音乐合成和生成引擎E1 用来生成经配乐的媒体、音乐文件和/或硬拷贝活页乐谱,所述媒体、音乐文件和/或硬拷贝活页乐谱然后经由系统输入子系统B0的接口供应回至系统用户;
图39A是传输由系统用户提供给实时音高事件分析子系统B52的键入的、说出的或演唱的语音或歌词输入的系统用户接口的示意性框图,所述系统用户接口支持具有时间编码的多路复用器,其中,实时音高事件、节奏和韵律分析被执行用于生成针对键入的、说出的和演唱的歌词的三(3)个不同音高事件流,所述音高事件流分别随后用于在本发明的音乐合成和生成过程期间修改系统中的参数;
图39B是图39A中示出的子系统中采用的实施音高事件分析子系统B52的详细示意性框图,包括子部件:歌词输入处理器;音高事件输出处理器;词汇字典;以及元音格式分析器;和关于经编程的处理器配置的模式控制器;
图40是流程图,描述了以自动方式使用由系统用户供应给图37至图39B中示出的本发明的自动音乐合成和生成系统的歌词输入合成和生成音乐的方法,其中,所述过程包括:(a)向自动音乐合成和生成系统的系统用户接口提供音乐体验描述符,(b) 向系统的系统用户接口提供针对待用由系统合成和生成的音乐来配乐的视频或媒体对象中的一个或多个场景的歌词输入(例如,以键入的、说出的或演唱的格式),(c) 基于时域和/或频域技术,使用对键入的/说出的/演唱的歌词的实时节奏、音高事件和韵律分析来处理提供给系统用户接口的歌词输入,(d)从经分析的歌词输入中提取时间线上的音高事件,并且用与这种检测到的音高事件何时发生有关的定时信息进行编码,(e)向自动音乐合成和生成引擎提供所提取的音高事件以便在约束自动系统的各子系统中采用的基于概率的参数表时使用;
图41是流程图,展示了涉及执行本发明的第七说明性实施例的音乐合成和生成系统内的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由语言学(包括歌词)音乐体验描述符驱动,其中,在所述过程的第一步骤期间,(a)系统用户访问自动音乐合成和生成系统,并且然后选择待用由其自动音乐合成和生成引擎生成的音乐来配乐的媒体,(b) 系统用户选择提供给系统的自动音乐合成和生成引擎以应用于待配乐的所选媒体的音乐体验描述符(以及可选地歌词),(c)系统用户启动自动音乐合成和生成引擎以便基于为所选媒体配乐的所提供音乐描述符合成和生成音乐,并且(d)系统将已合成音乐与所选媒体结合,以便创建媒体文件供显示和享受;
图42是流程图,描述了在处理情感快乐的(例如,查尔斯斯特劳斯(CharlesStrouse)的“Put On A Happy Face(面带微笑)”)键入的歌词表达(单词组)特性的方法中涉及的高级步骤,所述键入的歌词表达特性被提供为到系统的键入的歌词输入,以便从检测到的元音格式中自动地抽象出音符(例如,音高事件)来帮助待合成的音乐作品的音乐体验描述连同提供给系统的情感和风格类型的音乐体验描述符;
图43是流程图,描述了在处理情感快乐的(查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)说出的歌词表达特性的方法中涉及的高级步骤,所述说出的歌词表达特性被提供为到系统的说出的歌词输入,以便从检测到的元音格式中自动地抽象出音符(例如,音高事件)来帮助待合成的音乐作品的音乐体验描述连同提供给系统的情感和风格类型的音乐体验描述符;
图44是流程图,描述了在处理情感快乐的(查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)演唱的歌词表达特性的方法中涉及的高级步骤,所述演唱的歌词表达特性被提供为到系统的演唱的歌词输入,以便从检测到的元音格式中自动地抽象出音符(例如,音高事件)来帮助待合成的音乐作品的音乐体验描述连同提供给系统的情感和风格类型的音乐体验描述符;
图45是在图44中的框E处的演唱的歌词表达内使用自动元音格式分析方法自动识别的音符的乐谱的示意性表示;
图46是流程图,描述了在处理情感悲伤的或忧伤的(伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere Over The Rainbow(彩虹之上)”)键入的歌词表达特性的方法中涉及的高级步骤,所述键入的歌词表达特性被提供为到系统的键入的歌词输入,以便从检测到的元音格式中自动地抽象出音符(例如,音高事件)来帮助待合成的音乐作品的音乐体验描述连同提供给系统的情感和风格类型的音乐体验描述符;
图47是流程图,描述了在处理情感悲伤的或忧伤的(伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere Over The Rainbow(彩虹之上)”)说出的歌词表达特性的方法中涉及的高级步骤,所述说出的歌词表达特性被提供为到系统的说出的歌词输入,以便从检测到的元音格式中自动地抽象出音符(例如,音高事件)来帮助待合成的音乐作品的音乐体验描述连同提供给系统的情感和风格类型的音乐体验描述符;
图48是流程图,描述了在处理情感悲伤的或忧伤的(伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere Over The Rainbow(彩虹之上)”)演唱的歌词表达特性的方法中涉及的高级步骤,所述演唱的歌词表达特性被提供为到系统的演唱的歌词输入,以便从检测到的元音格式中自动地抽象出音符(例如,音高事件)来帮助待合成的音乐作品的音乐体验描述连同提供给系统的情感和风格类型的音乐体验描述符;
图49是在图48中的框E处的演唱的歌词表达内使用自动元音格式分析方法自动识别的音符的乐谱的示意性表示;并且
图50是参照图26A至图26P提供由本发明的各系统支持的自动音乐合成和生成过程的概述的高级流程图组,展示了由系统提供用于支持本发明的自动音乐合成和生成过程的高级系统架构。
具体实施方式
参照附图,贯穿其附图示出的相似结构和元件应当使用相同附图标记指示。
对本发明的自动音乐合成和生成系统的概述以及对不同应用中的其自动音乐合 成和生成引擎的使用
图1示出了本发明的自动音乐合成和生成系统S1的高级系统架构,所述自动音乐合成和生成系统支持使用虚拟乐器音乐合成,所述虚拟乐器音乐合成由基于语言学和/或基于图形图标的音乐体验描述符驱动,其中,基于语言学的音乐体验描述符以及媒体作品(例如,视频、音频文件、图像)或事件标记作为通过系统用户输入输出 (I/O)接口B0的输入由系统用户供应,并且由本发明的自动音乐合成和生成引擎 E1(图25A至图33E中展示的)用来生成经配乐的媒体(例如,视频、播客、音频文件、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户(I/O)接口 B0供应回至系统用户。下文中将更加技术详细地描述此新颖系统及其支持信息过程的细节。
本发明的自动音乐合成和生成系统的架构受发明人的合成针对不同类别媒体(包括电影、视频游戏等)的乐谱的真实世界体验的启发。如图25A和图25B中所展示的,本发明的系统包括多个更高级子系统,所述更高级子系统特别包括:输入子系统 A0、普通节奏子系统A1、普通节奏生成子系统A2、旋律节奏生成子系统A3、旋律音高生成子系统A4、配器子系统A5、控制器代码创建子系统A6、数字作品创建子系统A7、以及反馈和学习子系统A8。如图27B1和图27B2中示出的示意图中所展示的,这些高级子系统A0至A7中的每一个包括一组子系统,并且这些子系统中的许多子系统维护由转换引擎子系统B51生成和加载的基于概率的系统操作参数表 (即,结构)。
图2示出了用于使用由基于语言学和/或基于图形图标的音乐体验描述符驱动的自动虚拟乐器音乐合成执行本发明的一般自动音乐合成和生成过程的主要步骤。如本文所使用的,术语“虚拟乐器音乐合成”指使用从真实或虚拟乐器中记录(使用本文所公开的技术)的数字音频采样音符、和弦和音符序列在逐音符和逐和弦的基础上创建音乐作品。此音乐合成方法与音乐的许多循环和音轨被预先记录和存储在存储器存储设备(例如,数据库)中并且随后被访问并结合在一起以创建音乐作品的方法在根本上不同,因为不存在对此现有合成方法中使用的音乐成分中的音符和和弦的基础音乐理论特征描述/说明。作为鲜明对比,对由本发明的系统/机器自动合成和生成的音乐作品内的每个音乐事件(例如,音符、和弦、乐句、子乐句、节奏、节拍、小节、旋律和音高)的严格音乐理论规范必须由系统在整个音乐合成/生成过程期间维护,以便根据本发明的原理实践虚拟乐器音乐合成方法。
如图2中所示出的,在自动音乐合成过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示。
自动音乐合成和生成系统是包括许多子系统的复杂系统,其中,复杂的计算器、分析器和其他专业机器用于支持高度专业化的生成过程,所述生成过程支持本发明的自动音乐合成和生成过程。这些成分中的每一个在本发明的音乐合成和生成引擎系统 (即,引擎)的特定部分中发挥重要作用,并且将每个成分结合到自动音乐合成和生成引擎中的完整要素的芭蕾舞中创建真实大于其部分的任何或所有之和的值。下文在图27A至图27XX中提供了对这些子系统成分中的每一个的结构和功能目的的简明和详细描述。
如图26A至图26P中所示出的,图25A和图25B中指定的高级子系统中的每一个由具有待在本发明的高度复杂自动音乐合成和生成系统内执行的非常特定功能的一个或多个高度专业化子系统实现。在优选实施例中,系统采用和实施自动虚拟乐器音乐合成技术,其中,来自各类别型的乐器的经采样音符和和弦以及音符序列被数字地采样并表示为数据库中的数字音频样本,并且根据由本发明的系统合成和生成的音乐作品进行组织。响应于已经供应给图27A中展示的基于GUI的输入输出子系统的基于语言学和/或基于图形图标的音乐体验描述符(包括图32A、图32B、图32C、图 32D、图32E和图32F中展示的情感类型描述符以及图33A至图33E中展示的风格类型描述符)而反映系统用户期望的情感和风格需求,系统在本发明的自动音乐合成和生成过程期间自动执行所述情感和风格需求。
在图27A中,将音乐体验描述符以及可选地时间和空间参数(指定待用已合成音乐来配乐的任何形式的媒体的时间和空间需求)提供给由输入输出子系统B0支持的基于GUI的接口。将输入输出子系统B0的输出提供给自动音乐合成和生成引擎中的其他子系统B1、B37和B40,如图26A至图26P中所示出的。
如图27B1和图27B2中所示出的,描述符参数捕获子系统B1与图27B3B中示意性展示的参数转换引擎子系统B51接口连接,其中,将音乐体验描述符(例如,图 32A、图32B、图32C、图32D、图32E和图32F中展示的情感类型描述符以及图33A、图33B、图33C、图33D和图33E中展示的风格类型描述符)以及可选地定时(例如,开始、停止和打击定时位置)和/或空间说明(例如,照片幻灯片中的幻灯片号21) 提供给子系统B0的系统用户接口。这些音乐体验描述符由参数转化引擎B51自动转换成在可编程音乐理论参数表中维护的系统操作参数(SOP)值,所述可编程音乐理论参数表被生成、分配并且然后加载到系统的各子系统中并且由各子系统使用。出于说明和简单阐明的目的,音乐体验描述符——快乐——被用作系统用户输入选项,如图28A至图28S中所展示的。然而,仅出于说明目的,图28A至图28P中展示了与五个示例性情感类型音乐体验描述符相对应的SOP参数表。应理解的是,子系统中的这种SOP表的尺寸包括:(i)对于对相应子系统中的情感类型描述符进行结构化或标尺寸的概率SOP表,与系统用户所选的一样多的情感类型音乐体验描述符,以及 (ii)对于对相应子系统中的风格类型描述符进行结构化或标尺寸的概率SOP表,与系统用户所选的一样多的风格类型音乐体验描述符。
下文将参照图27B3A、图27B3B和图27B3C以及本文所公开的相关附图描述这种非音乐系统用户参数被转换或以其他方式映射到系统中采用的各种系统操作参数 (SOP)表的基于概率的系统操作参数所借助的原理。与之相关地,这将有助于展示子系统B51中的参数转换引擎的负荷将如何根据由子系统B0中的音乐体验描述符接口支持的自由度而增加。
考虑示例性系统,在所述示例性系统中,系统支持一组N个不同情感类型音乐体验描述符(Ne)以及一组M个不同风格类型音乐体验描述符(Ms),系统用户可以在系统用户接口子系统B0处从所述描述符中进行选择。而且,考虑系统用户自由地从N个不同情感类型音乐体验描述符(Ne)组中仅选择一个情感描述符并且从M个不同风格类型音乐体验描述符(Ms)组中仅选择一个风格类型描述符的情况。在此高度受限的情况下,系统用户可以选择N个独特情感类型音乐体验描述符(Ne)中的任何一个以及M个不同风格类型音乐体验描述符(Ms)中的仅一个,图27B3A、图 27B3B和图27B3C的参数转换引擎子系统B51将需要生成Nsopt=Ne!/(Ne-r)!re!x Ms!/(Ms-rs)!rs!个独特概率系统操作参数(SOP)表组,如图28A至图28S中所展示的,以便在每个自动音乐合成过程期间分配给并加载到其对应子系统中,其中,Ne是情感类型音乐体验描述符的总数,Ms是风格类型音乐体验描述符的总数,re是针对情感选择的音乐体验描述符的数量,并且rs是针对风格选择的音乐体验描述符的数量。对于 re=1并且rs=1的情况,以上基于阶乘的组合公式减少为Nsopt=Ne x Me。如果Ne= 30xMe=10,则转换引擎将具有生成300个不同概率系统操作参数表组的能力,以便支持30个不同情感描述符组以及10个风格描述符组,据此,当使用音乐体验描述符配置自动音乐合成和生成系统以便根据本发明的原理使用系统的示例性实施例创建音乐时,系统用户可以选择一(1)个情感描述符和一(1)个风格描述符。
在系统用户自由地从n个独特情感类型音乐体验描述符(ne)组中选择多达两(2)个独特情感类型音乐体验描述符并且从m个不同风格类型音乐体验描述符(Ms)组中选择两(2)个独特风格类型音乐体验描述符的情况下,则图27B3A、图27B3B和图27B3C的转换引擎必须生成Nsopt=Ne!/(Ne-2)!2!x Ms!/(Ms-2)!2!个不同概率系统操作参数表(SOPT)组,如图28A至图28S中所展示的,以便在本发明的每个自动音乐合成过程期间分配给并加载到其对应子系统中,其中,Ne是情感类型音乐体验描述符的总数,Ms是风格类型音乐体验描述符的总数,re=2是针对情感选择的音乐体验描述符的数量,并且rs=2是针对风格选择的音乐体验描述符的数量。如果Ne=30xMe=10,则参数转换引擎子系统B51将具有生成Nsopt=30!/(30-2)!2!x 10!/(10-2)!2!个不同概率系统操作参数表组的能力,以便支持30个不同情感描述符组以及10个风格描述符组,据此,当使用音乐体验描述符对自动音乐合成和生成系统进行编程以便根据本发明的原理使用系统的示例性实施例创建音乐时,系统用户可以选择一个情感描述符和一个风格描述符。在以上给出的说明性示例中,以上基于阶乘的组合公式提供了对多少不同概率系统操作参数表组将需要在不同输入的完整操作范围内由转换引擎生成的引导,所述不同输入可以针对情感类型音乐体验描述符、Ms数量的风格类型音乐体验描述符、可以针对情感选择的re数量的音乐体验描述符、以及可以针对风格选择的rs数量的音乐体验描述符而选择。应理解的是,可以根据需要选择设计参数 Ne、Ms、re和rs以满足期望系统用户基础针对待设计、制造和分配供商业使用的基于任何特定自动音乐合成和生成系统的产品的情感和艺术需求。
尽管上文已经特别参照可以由转换引擎子系统B51生成的表组的期望大小而探究了概率系统操作表的数量特性,但是将适当的是,参照图27B3A、图27B3B和图 27B3C以及图28A至图28S在稍后时刻讨论存在于以下两者之间的数量关系:(i)由本发明的系统的系统用户接口支持的音乐体验描述符以及定时和空间参数,与(ii) 在图28A至图28S中展示的基于概率的系统操作参数表(SOPT)中反映的音乐理论概念,以及这些数量关系可以如何用于选择针对每个基于概率的系统操作参数表组的特定概率值,在每个自动音乐合成和生成过程像时钟机构那样在本发明的系统内执行之前所述基于概率的系统操作参数表必须在转换引擎内生成并且分配给并加载到各子系统中。
关于对系统内的子系统的整体定时和控制,应当参照图29A和图29B中阐述的系统定时图,所述系统定时图展示了每个子系统在每次执行自动音乐合成和生成过程期间针对提供给系统的给定系统用户所选音乐体验描述符以及定时和/或空间参数集的定时。
如图29A和图29B中所示出的,系统开始于B1接通,接受来自系统用户的输入,之后是与B37、B40和B41类似的过程。此时,参与瀑布式创建过程,并且系统以顺序方式启动、参与和脱离平台的每个组件。如图29A和图29B中描述的,贯穿整个合成过程,每个组件不需要保持接通或活跃地参与。
由图30、图30A、图30B、图30C、图30D、图30E、图30F、图30G、图30H、图30I和图30J形成的表描述了自动音乐合成和生成系统的每个组件的(多个)输入和输出信息格式。再次,这些格式与音乐合成的真实世界方法直接相关。每个组件具有允许系统中的随后组件准确运行的不同输入和输出组。
图26A至图26P展示了自动音乐合成和生成系统内以及之外的信息输入的流程和处理。开始于用户向框1、37、40和41输入,每个组件子系统有方法地作出决策,影响其他作决策组件/子系统,并且允许系统迅速地进行其音乐创建和生成过程。在图26A至图26P以及本文的其他附图中,实线(当与另一条线交叉时变虚以指示不与交叉的线结合)连接单独组件,并且三角形指定过程的流程,其中,过程在线上的三角形尖的方向上移动并且离开垂直于线的三角形边。不与任何虚线指示相交的线表示信息和/或过程的组合和/或分离,再次,在线上的三角形指定的方向上移动。
对本发明的由图26A至图26P中展示的自动音乐合成和生成系统的架构组件支持 的自动音乐合成和生成过程的概述
此时将有助于指图50中阐述的高级流程图,所述高级流程图提供了对由本发明的在此公开和教导的各系统支持的自动音乐合成和生成过程的概述。结合此过程,还应当参照图26A至图26P来跟随由系统提供用于支持本发明的自动音乐合成和生成过程的相应高级系统架构,所述自动音乐合成和生成过程执行上述虚拟乐器音乐合成方法。
如图50的框A中指示的以及图26A至图26D中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第一阶段涉及接收情感类型和风格类型以及可选地定时类型参数作为针对系统用户期望由本发明的机器自动合成和生成的音乐作品的音乐描述符。典型地,音乐体验描述符通过基于GUI的系统用户I/O子系统B0提供,尽管应理解的是,此系统用户接口不需要基于GUI并且可以使用EDI、XML、 XML-HTTP和其他类型的信息交换技术,所述信息交换技术需要机器到机器或计算机到计算机通信来支持作为机器或基于计算机的机器的系统用户、请求来自在实践此公开的本发明的原理的机器的自动音乐合成和生成服务。
如图50的框B中指示的以及图26D至图26J中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第二阶段涉及使用用于生成针对待合成的音乐作品的普通节奏的普通节奏子系统A1。所述过程的此阶段涉及使用以下子系统:长度生成子系统B2;速度生成子系统B3;拍子生成子系统B4;调生成子系统B5;节拍计算器子系统B6;调性生成子系统B7;小节计算器子系统B8;歌曲形式生成子系统B9;子乐句长度生成子系统B15;子乐句中和弦数量计算器子系统B16;乐句长度生成子系统B12;独特乐句生成子系统B10;乐句中和弦数量计算器子系统B13;和弦长度生成子系统B11;独特子乐句生成子系统B14;乐器法子系统B38;乐器选择器子系统B39;以及定时生成子系统B41。
如图50的框C中指示的以及图26J至图26K中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第三阶段涉及使用用于生成正在合成的音乐作品的和弦的普通音高生成子系统A2。所述过程的此阶段涉及使用以下子系统:初始普通节奏生成子系统B17;子乐句和弦进行生成子系统B19;乐句和弦进行生成子系统 B18;和弦转位生成子系统B20。
如图50的框D中指示的以及图26K至图26L中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第四阶段涉及使用用于生成正在合成的音乐作品的旋律节奏的旋律节奏生成子系统A3。所述过程的此阶段涉及使用以下子系统:旋律子乐句长度生成子系统B25;旋律子乐句生成子系统B24;旋律乐句长度生成子系统B23;旋律独特乐句生成子系统B22;旋律长度生成子系统B21;旋律音符节奏生成子系统B26。
如图50的框E中指示的以及图26L至图26M中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第五阶段涉及使用用于生成正在合成的音乐作品的旋律音高的旋律音高生成子系统A4。所述过程的此阶段涉及以下子系统:初始音高生成子系统B27;子乐句音高生成子系统B29;乐句音高生成子系统B28;以及音高八度生成子系统B30。
如图50的框F中指示的以及图26M中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第六阶段涉及使用用于生成正在合成的音乐作品的配器的配器子系统A5。所述过程的此阶段涉及配器生成子系统B31。
如图50的框G中指示的以及图26M中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第七阶段涉及使用用于合成针对音乐作品的控制器代码的控制器代码合成子系统A6。所述过程的此阶段涉及控制器代码生成子系统B32。
如图50的框H中指示的以及图26M和图26N中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第八阶段涉及使用用于创建数字音乐作品的数字作品创建子系统A7。所述过程的此阶段涉及使用以下子系统:数字音频样本检索器子系统B333;数字音频样本管理器子系统B34;作品整合器子系统B35;作品格式转换器子系统B50;以及作品递送器子系统B36。
如图50的框I中指示的以及图26N、图26O和图26P中反映的,根据本发明的说明性实施例的自动音乐合成和生成过程的第九阶段涉及使用用于支持系统的反馈和学习循环的反馈和学习子系统A8。所述过程的此阶段涉及使用以下子系统:反馈子系统B42;音乐可编辑性子系统B43l;偏好保存器子系统B44;音乐内核子系统 B45;用户品味子系统B46;群众品味子系统B47;用户偏好子系统B48;以及群众偏好子系统B49。
对本发明的自动音乐合成和生成系统的第一说明性实施例的说明
图3示出了根据本发明的第一说明性实施例的自动音乐合成和生成乐器系统,所述自动音乐合成和生成乐器系统支持虚拟乐器(例如,采样乐器)音乐合成并且使用基于语言学的音乐体验描述符,所述基于语言学的音乐体验描述符使用在紧凑便携式外壳中提供的文本键盘和/或语音识别接口产生。
图4是本发明的第一说明性实施例的自动音乐合成和生成乐器系统的说明性实施方式的示意图,所述自动音乐合成和生成乐器系统支持虚拟乐器(例如,采样乐器) 音乐合成使用基于语言学的音乐体验描述符,所述基于语言学的音乐体验描述符使用文本键盘和/或语音识别接口产生,所述自动音乐合成和生成乐器系统示出了集成在系统总线架构周围的各种部件。
通常,图3中示出的自动或自动化音乐合成和生成系统(包括图26A至图33E 中示出的以及上文指定的其之间协作的子系统中的所有)可以使用数字电子电路、模拟电子电路或数字和模拟混合电子电路来实施,所述电路特别被配置和编程用于实现待由自动音乐合成和生成系统支持的功能和操作模式。数字集成电路(IC)可以包括低功率和混合(即,数字和模拟)信号系统,所述信号系统采用电子电路系统和乐器制造工艺中熟知的方式在芯片(即,片上系统或SOC)实施方式上实现、用硅制造。这种实施方式还可以包括使用多CPU和多GPU,如可能是基于本发明的系统的特定产品设计所需要或期望的。对于这种数字集成电路(ID)实施方式的细节,可以参考本领域任意数量的公司和专家,包括:Cadence DesignSystems,Inc.、Synopsis Inc.、 Mentor Graphics,Inc.以及其他电子设计自动化公司。
出于说明目的,系统的数字电路系统实施方式被示出为配置在SOC或类似数字集成电路周围的组件的架构。如所示出的,系统包括各种部件,包括:包括多核CPU、多核GPU、程序存储器(DRAM)和视频存储器(VRAM)的SOC子架构;硬盘驱动器(SATA);LCD/触摸屏显示面板;麦克风/扬声器;键盘;WIFI/蓝牙网络适配器;音高识别模块/板;以及电源和分配电路系统;如所示出的,所有部件都被集成在系统总线结构周围并且支持控制器芯片。
多核CPU的主功能是用于执行加载到程序存储器(例如,微代码)中的程序指令,而多核GPU将通常接收并执行来自多核CPU的图形指令,尽管在程序指令和图形指令两者都可以在单个IC设备内实现的情况下,多核CPU和GPU都可以实现为混合多核CPU/GPU芯片,但其中支持计算和图形流水线以及用于LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备还有WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的接口电路系统。LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备以及WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的目的将是支持和实施由系统接口子系统B0以及系统中采用的其他子系统支持的功能。
图5示出了第一说明性实施例的自动音乐合成和生成乐器系统,所述自动音乐合成和生成乐器系统支持虚拟乐器(例如,采样乐器)音乐合成并且使用基于语言学的音乐体验描述符,所述基于语言学的音乐体验描述符使用文本键盘和/或语音识别接口产生,其中,基于语言学的音乐体验描述符以及视频、音频记录、图像或事件标记作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户接口供应回至系统用户。
图6描述了涉及执行本发明的第一说明性实施例的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程支持使用基于语言学和/或基于图形图标的音乐体验描述符以及使用图3至图5中示出的乐器系统进行的虚拟乐器(例如,采样乐器)音乐合成,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记, (ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示。
对本发明的第一说明性实施例的自动音乐合成和生成系统的操作模式的说明
图3至图6中示出的第一说明性实施例的自动音乐合成和生成系统可以以各种操作模式操作,包括:(i)手动模式,其中,人类系统用户向自动音乐合成和生成系统提供音乐体验描述符和定时/空间参数输入;(ii)自动模式,其中,一个或多个计算机控制的系统自动地向自动音乐合成和生成系统供应音乐体验描述符以及可选地定时/空间参数以便在没有人类系统用户交互的情况下自主地控制对自动音乐合成和生成系统的操作;以及(iii)混合模式,其中,人类系统用户和一个或多个计算机控制的系统向自动音乐合成和生成系统提供音乐体验描述符以及可选地定时/空间参数。
对本发明的自动音乐合成和生成系统的第二说明性实施例的说明
图7示出了支持本发明的第二说明性实施例的自动音乐合成和生成引擎的玩具乐器,所述玩具乐器使用虚拟乐器音乐合成以及基于图标的音乐体验描述符,其中,触摸屏显示器被提供用于从库中选择和加载视频,并且儿童可以然后从物理键盘处选择音乐体验描述符(例如,情感描述符图标和风格描述符图标)以便允许儿童合成和生成针对所选视频的分段场景的自定义音乐。
图8是本发明的第二说明性实施例的自动音合成和生成乐器系统的说明性实施方式的示意图,所述自动音合成和生成乐器系统支持虚拟乐器(例如,采样乐器)音乐合成以及使用基于图形图标的音乐体验描述符,所述基于图形图标的音乐体验描述符使用键盘接口来选择,所述系统示出了集成在系统总线架构周围的各种部件,如多核CPU、多核GPU、程序存储器(DRAM)、视频存储器(VRAM))、硬盘驱动求器 (SATA)、LCD/触摸屏显示面板、麦克风/扬声器、键盘、WIFI/蓝牙网络适配器、以及电源和分配电路系统。
通常,图7中示出的自动或自动化音乐合成和生成系统(包括图26A至图33E 中示出的以及上文指定的其之间协作的子系统中的所有)可以使用数字电子电路、模拟电子电路或数字和模拟混合电子电路来实施,所述电路特别被配置和编程用于实现待由自动音乐合成和生成系统支持的功能和操作模式。数字集成电路(IC)可以包括低功率和混合(即,数字和模拟)信号系统,所述信号系统采用电子电路系统和乐器制造工艺中熟知的方式在芯片(即,片上系统或SOC)实施方式上实现、用硅制造。这种实施方式还可以包括使用多CPU和多GPU,如可能是基于本发明的系统的特定产品设计所需要或期望的。对于这种数字集成电路(ID)实施方式的细节,可以参考本领域任意数量的公司和专家,包括:Cadence DesignSystems,Inc.、Synopsis Inc.、 Mentor Graphics,Inc.以及其他电子设计自动化公司。
出于说明目的,系统的数字电路系统实施方式被示出为配置在SOC或类似数字集成电路周围的组件的架构。如所示出的,系统包括各种部件,包括:包括多核CPU、多核GPU、程序存储器(DRAM)和视频存储器(VRAM)的SOC子架构;硬盘驱动器(SATA);LCD/触摸屏显示面板;麦克风/扬声器;键盘;WIFI/蓝牙网络适配器;音高识别模块/板;以及电源和分配电路系统;如所示出的,所有部件都被集成在系统总线结构周围并且支持控制器芯片。
多核CPU的主功能是用于执行加载到程序存储器(例如,微代码)中的程序指令,而多核GPU将通常接收并执行来自多核CPU的图形指令,尽管在程序指令和图形指令两者都可以在单个IC设备内实现的情况下,多核CPU和GPU都可以实现为混合多核CPU/GPU芯片,但其中支持计算和图形流水线以及用于LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备还有WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的接口电路系统。LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备以及WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的目的将是支持和实施由系统接口子系统B0以及系统中采用的其他子系统支持的功能。
图9示出了第二说明性实施例的自动玩具音乐合成和生成玩具乐器系统的高级系统框图,其中,基于图形图标的音乐体验描述符和视频被选择为通过系统用户接口 (即,触摸屏键盘)的输入,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的视频故事,所述视频故事然后经由系统用户接口供应回至系统用户。
图10是流程图,展示了涉及执行本发明的第二说明性实施例的玩具音乐合成和生成系统内的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程支持使用基于图形图标的音乐体验描述符以及使用图7至图9中示出的乐器系统进行的虚拟乐器音乐合成,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成引擎生成的音乐来配乐的视频,(ii)系统用户选择待提供给系统的自动音乐合成和生成引擎的基于图形图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成引擎以便基于为所选视频媒体配乐的所输入音乐描述符合成和生成音乐,并且(iv)系统将已合成音乐与所选视频结合,以便创建视频文件供显示和享受。
对本发明的第二说明性实施例的自动音乐合成和生成系统的操作模式的说明
图7至图10中示出的第二说明性实施例的自动音乐合成和生成系统可以以各种操作模式操作,包括:(i)手动模式,其中,人类系统用户向自动音乐合成和生成系统提供音乐体验描述符和定时/空间参数输入;(ii)自动模式,其中,一个或多个计算机控制的系统自动地向自动音乐合成和生成系统供应音乐体验描述符以及可选地定时/空间参数以便在没有人类系统用户交互的情况下自主地控制对自动音乐合成和生成系统的操作;以及(iii)混合模式,其中,人类系统用户和一个或多个计算机控制的系统向自动音乐合成和生成系统提供音乐体验描述符以及可选地定时/空间参数。
对本发明的自动音乐合成和生成系统的第三说明性实施例的说明
图11是根据本发明的第三说明性实施例的电子信息处理和显示系统的透视图,所述电子信息处理和显示系统集成了结式系统内的本发明的基于SOC的自动音乐合成和生成引擎,支持其系统用户的创造性和/或娱乐需求。
图11A是示意性表示,展示了本发明的基于SOC的音乐合成和生成系统的高级系统架构,所述基于SOC的音乐合成和生成系统支持使用基于语言学和/或基于图形图标的音乐体验描述符和虚拟乐器音乐合成,其中,基于语言学的音乐体验描述符以及视频、音频记录、图像、幻灯片或事件标记作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户接口供应回至系统用户。
图11B示出了图11和图11A中展示的系统,所述系统包括与支持控制等的一个或的多个总线架构集成的基于SOC的子系统架构(包括与固态(DRAM)硬盘驱动器接口连接的多核CPU、多核GPU、程序存储器(RAM)和视频存储器(VRAM))、 LCD/触摸屏显示面板、麦克风扬声器、键盘或小键盘、WIFI/蓝牙网络适配器和 3G/LTE/GSM网络适配器。
通常,图11中示出的自动或自动化音乐合成和生成系统(包括图26A至图33D 中示出的以及上文指定的其之间协作的子系统中的所有)可以使用数字电子电路、模拟电子电路或数字和模拟混合电子电路来实施,所述电路特别被配置和编程用于实现待由自动音乐合成和生成系统支持的功能和操作模式。数字集成电路(IC)可以包括低功率和混合(即,数字和模拟)信号系统,所述信号系统采用电子电路系统和乐器制造工艺中熟知的方式在芯片(即,片上系统或SOC)实施方式上实现、用硅制造。这种实施方式还可以包括使用多CPU和多GPU,如可能是基于本发明的系统的特定产品设计所需要或期望的。对于这种数字集成电路(ID)实施方式的细节,可以参考本领域任意数量的公司和专家,包括:Cadence DesignSystems,Inc.、Synopsis Inc.、 Mentor Graphics,Inc.以及其他电子设计自动化公司。
出于说明目的,系统的数字电路系统实施方式被示出为配置在SOC或类似数字集成电路周围的组件的架构。如所示出的,系统包括各种部件,包括:包括多核CPU、多核GPU、程序存储器(DRAM)和视频存储器(VRAM)的SOC子架构;硬盘驱动器(SATA);LCD/触摸屏显示面板;麦克风/扬声器;键盘;WIFI/蓝牙网络适配器;音高识别模块/板;以及电源和分配电路系统;如所示出的,所有部件都被集成在系统总线结构周围并且支持控制器芯片。
多核CPU的主功能是用于执行加载到程序存储器(例如,微代码)中的程序指令,而多核GPU将通常接收并执行来自多核CPU的图形指令,尽管在程序指令和图形指令两者都可以在单个IC设备内实现的情况下,多核CPU和GPU都可以实现为混合多核CPU/GPU芯片,但其中支持计算和图形流水线以及用于LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备还有WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的接口电路系统。LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备以及WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的目的将是支持和实施由系统接口子系统B0以及系统中采用的其他子系统支持的功能。
图12描述了涉及执行本发明的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程使用图11和图11A中示出的基于SOC的系统,所述自动音乐合成和生成过程支持使用基于语言学和/或基于图形图标的音乐体验描述符和虚拟乐器音乐合成,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记,(ii) 系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示。
对本发明的第三说明性实施例的自动音乐合成和生成系统的操作模式的说明
图11至图12中示出的第三说明性实施例的自动音乐合成和生成系统可以以各种操作模式操作,包括:(i)手动模式,其中,人类系统用户向自动音乐合成和生成系统提供音乐体验描述符和定时/空间参数输入;(ii)自动模式,其中,一个或多个计算机控制的系统自动地向自动音乐合成和生成系统供应音乐体验描述符以及可选地定时/空间参数以便在没有人类系统用户交互的情况下自主地控制对自动音乐合成和生成系统的操作;以及(iii)混合模式,其中,人类系统用户和一个或多个计算机控制的系统向自动音乐合成和生成系统提供音乐体验描述符以及可选地定时/空间参数。
对本发明的自动音乐合成和生成系统的第四说明性实施例的说明
图13是本发明的第四说明性实施例的企业级基于互联网的音乐合成和生成系统的示意性表示,所述企业级基于互联网的音乐合成和生成系统由具有可操作地连接至互联网基础设施的web服务器、应用服务器和数据库(RDBMS)服务器的数据处理中心支持,并且可由客户机、社交网络服务器和基于web的通信服务器访问,并且允许具有基于web的浏览器的任何人访问网站上(例如,YouTube、Vimeo等上)的自动音乐合成和生成服务以便使用虚拟乐器音乐合成以及使用文本键盘和/或语音识别接口产生的基于语言学的音乐体验描述符用音乐配乐视频、图像、幻灯片、音频记录和其他事件。
图13A是示意性表示,展示了由图13中示出的系统支持的自动音乐合成和生成过程的高级系统架构,所述自动音乐合成和生成过程支持使用基于语言学和/或基于图形图标的音乐体验描述符和虚拟乐器音乐合成,其中,基于语言学的音乐体验描述符以及视频、音频记录、图像或事件标记作为输入通过基于web的系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的媒体(例如,视频、播客、图像、幻灯片等)或事件标记,所述媒体或事件标记然后经由系统用户接口供应回至系统用户。
图13B示出了示例性计算服务器机器的系统架构,所述计算服务器机器中的一个或多个可以用于实施图13和图13A中展示的企业级自动音乐合成和生成系统。
图14是流程图,展示了涉及执行由图13和图13A中展示的系统支持的自动音乐合成和生成过程的主要步骤,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待用由本发明的自动音乐合成和生成系统生成的音乐来配乐的视频、音频记录(即,播客)、幻灯片、照片或图像、或者事件标记,(ii)系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选媒体或事件标记配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于为媒体或事件标记配乐的已合成和已生成音乐,并且鉴于系统用户主观地经历的所产生的音乐体验,向系统提供关于系统用户对所产生音乐的评级和/或音乐偏好的反馈,并且(v)系统将所接受的已合成音乐与所选媒体或事件标记结合,以便创建视频文件供分配和显示。
对本发明的第四说明性实施例的自动音乐合成和生成系统的操作模式的说明
图13至图15V中示出的第四说明性实施例的自动音乐合成和生成系统可以以各种操作模式操作,包括:(i)配乐媒体模式,其中,人类系统用户向自动音乐合成和生成系统提供音乐体验描述符和定时/空间参数输入以及媒体作品(例如,视频、幻灯片等),以使得其可以根据系统用户提供的指令自动地生成被配乐成所述音乐作品的音乐作品;以及(ii)仅合成音乐模式,其中,人类系统用户向自动音乐合成和生成系统提供音乐体验描述符和定时/空间参数输入,以使得其可以自动地生成被配乐以用于由系统用户使用的音乐作品。
针对由本发明的第四说明性实施例的自动音乐合成和生成系统支持的各种操作 模式的图形用户界面(GUI)的说明
图15A是由图13和图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,其中,界面对象被显示用于通过分别选择以下图形图标之一使系统参与如上述其配乐媒体操作模式或其仅合成音乐操作模式:(i)如本发明的自动音乐合成和生成过程中的第一步骤,“选择视频”以将视频上传到系统中,并且然后自动地合成和生成如被配乐成已上传视频的音乐;或者(ii)“仅音乐”以便使用本发明的自动音乐合成和生成系统仅合成音乐。
对配乐写媒体模式的说明
用户决定用户是否想要结合视频或其他媒体合成音乐,然后用户将具有参与以下描述并在图15A至图15V中表示的工作流的选项。以下将描述此工作流的细节。
当系统用户选择图15A的GUI中的“选择视频”对象时,图15B中示出的示例性图形用户界面(GUI)屏幕由图13至图14中展示的系统生成和服务。在此操作模式中,系统允许用户从若干不同本地和远程文件存储位置(例如,相簿、托管在云上的共享文件夹以及来自个人的智能电话相机卷的相簿)中选择视频文件或其他媒体对象(例如,幻灯片、照片、音频文件或播客等),如图15B和图15C中所示出的。如果用户决定使用此模式结合视频或其他媒体创建音乐,则系统用户将具有参与支持这种所选选项的工作流的选项。
使用图15D中示出的GUI屏幕,其中,系统用户从音乐情感/音乐风格/音乐发现菜单中选择类别“音乐情感”以便显示四个示例性情感类别(即,戏剧、动作、喜剧和惊悚),从所述情感类别中选择和表征系统用户搜索的音乐体验。
图15E示出了响应于系统用户选择音乐情感类别——戏剧而由图13至图14中展示的系统生成和服务的示例性GUI屏幕。图15F示出了响应于系统用户选择音乐情感类别——戏剧而由图13至图14中展示的系统生成和服务的示例性GUI屏幕,并且其中,系统用户已经选择了戏剧类别的情感——快乐的、浪漫的以及鼓舞人心的以便为所选视频配乐。
图15G示出了响应于系统用户选择音乐情感类别——动作而由图13至图14中展示的系统生成和服务的示例性GUI屏幕。图15H示出了响应于系统用户选择音乐情感类别——动作而由图13至图14中展示的系统生成和服务的示例性GUI屏幕,并且其中,系统用户已经选择了两种动作类别的情感——搏动的以及间谍以便为所选视频配乐。
图15I示出了响应于系统用户选择音乐情感类别——喜剧而由图13至图14中展示的系统生成和服务的示例性GUI屏幕。图15J是响应于系统用户选择音乐情感类别——戏剧而由图13至图14中展示的系统生成和服务的示例性图形用户界面(GUI) 屏幕,并且其中,系统用户已经选择了喜剧类别的情感——古怪的以及闹剧以便为所选视频配乐。
图15K示出了响应于系统用户选择音乐情感类别——惊悚而由图13至图14中展示的系统生成和服务的示例性GUI屏幕。图15L示出了响应于系统用户选择音乐情感类别——惊悚而由图13至图14中展示的系统生成和服务的示例性图形用户界面 (GUI)屏幕,并且其中,系统用户已经选择了惊悚类别的情感——沉思的、令人不安的以及神秘的以便为所选视频配乐。
此时应当注意的是,虽然第四说明性实施例示出了固定情感类型音乐体验描述符组以表征待由本发明的系统合成和生成的音乐的情感品质,但是应理解的是,通常本发明的音乐合成系统可以容易地被适配用于支持选择和输入各种各样的情感类型描述符,如例如,语言学描述符(例如,单词)、图像、和/或情感、形容词或用户想要用音乐表达以传达将在待由本发明的系统合成和生成的音乐中表达的情感品质的其他描述符的类似表示。
图15M示出了响应于系统用户完成对音乐情感类别的选择而由图13至图14中展示的系统生成和服务的示例性GUI屏幕,向系统用户显示消息——“准备好创建你的音乐,按压“合成”来设置Amper以进行工作或者按压“取消”来编辑你的选择”。
在工作流的此阶段,系统用户可以选择合成,并且系统将仅基于由系统用户提供给系统接口的情感类型音乐体验参数来自动地合成和生成音乐。在这种情况下,系统将选择风格类型参数以便在自动音乐合成和生成系统期间使用。替代性地,系统用户具有选择取消的选项,以便允许用户编辑其选择并且将音乐风格参数添加到音乐合成说明中。
图15N示出了当用户选择取消之后从音乐情感/音乐风格/音乐发现菜单中选择音乐风格按钮时由图13至图14中展示的系统生成和服务的示例性GUI屏幕,由此显示二十(20)种风格(即,流行、摇滚、嘻哈等),从所述风格中选择和表征系统用户搜索的音乐体验。
图15O是由图13至图14中展示的系统生成和服务的示例性GUI屏幕,其中,系统用户已经选择了音乐风格类别——流行和钢琴。
此时应当注意的是,虽然第四说明性实施例示出了固定风格类型音乐体验描述符组以表征待由本发明的系统合成和生成的音乐的风格品质,但是应理解的是,通常本发明的音乐合成系统可以容易地被适配用于支持选择和输入各种各样的风格类型描述符,如例如,语言学描述符(例如,单词)、图像、和/或情感、形容词或用户想要用音乐表达以传达将在待由本发明的系统合成和生成的音乐中表达的风格品质的其他描述符的类似表示。
图15P是响应于系统用户已经选择了音乐风格类别——流行和钢琴而由图13至图14中展示的系统生成和服务的示例性GUI屏幕。在工作流的此阶段,系统用户可以选择合成,并且系统将仅基于由系统用户提供给系统接口的情感类型音乐体验参数来自动地合成和生成音乐。在这种情况下,系统将使用由系统用户选择用于在自动音乐合成和生成系统期间使用的情感类型和风格类型音乐体验描述符两者。替代性地,系统用户具有选择取消的选项,以便允许用户编辑其选择并且将音乐发现参数添加到音乐合成说明中。
图15Q是由图13至图14中展示的系统生成和服务的示例性GUI屏幕,允许系统用户从音乐情感/音乐风格/音乐发现菜单中选择类别“音乐发现”以便显示六种命令,在音乐发现功能期间系统用户可以从所述命令中选择。
图15R是响应于系统用户从功能菜单中选择“音乐发现”而由图13至图14中展示的系统生成和服务的示例性GUI屏幕,示出了为所选视频配乐的“开始”、“停止”、“打击”、“淡入”、“淡出”和“新情绪”标记,如所示出的。
在此说明性实施例中,“音乐发现”功能或模式允许系统用户传达音乐事件的定时参数,用户想要用音乐表示所述音乐事件以便传达包括但不限于音乐开始、停止、描述符变化、风格变化、音量变化、结构变化、乐器法变化、分离、组合、复制和粘贴。在图26A至图26D中的子系统框40和41中表示此过程。如下文将更详细描述的,本发明的自动音乐合成和生成系统内的转换引擎B51接收定时参数信息以及情感类型和风格类型的描述符参数,并且使用框1和框37指示的子系统生成图28A至图 28S中反映的分配给其对应子系统的适当基于概率的系统操作参数表组。
图15S是响应于完成音乐发现功能而由图13至图14中展示的系统生成和服务的示例性GUI屏幕,向系统用户显示消息——“准备好创建音乐,按压“合成”来设置Amper以进行工作或者按压“取消”来编辑你的选择”。此时,系统用户具有选择合成的选项,所述选项将使用由系统用户供应给系统的音乐体验描述符和定时参数启动自动音乐合成和生成系统。替代性地,系统用户可以选择取消,因此,系统将回到显示如图15D中示出的或类似形式的GUI屏幕,在所述屏幕中,显示了所有三个主要功能菜单:音乐情感、音乐风格和音乐发现。
图15T示出了响应于系统用户按压“合成”按钮而由图13至图14中展示的系统生成和服务的示例性GUI屏幕,指示音乐正被乐句“跳跃音乐”合成和生成。在确认用户请求系统生成音乐作品之后,用户的客户系统将所述请求在本地或外部地传输至音乐合成和生成系统,因此满足所述请求。所述系统生成音乐作品并且将所述音乐在本地或外部地传输至用户。
图15U示出了当系统用户的已合成音乐已经准备好被回顾时由图13至图14中展示的系统生成和服务的示例性GUI屏幕。图15V示出了响应于系统用户选择GUI 屏幕中的“您的音乐已准备好”对象而由图13至图14中展示的系统生成和服务的示例性GUI屏幕。
在所述过程的此阶段,系统用户预览已经创建的音乐。如果使用视频或其他媒体创建了音乐,则音乐可以同步到预览中的此内容。
如图15V中所示出的,在音乐合成已经生成并且准备好针对所选视频进行预览之后,系统用户被提供有若干选项:
(i)编辑针对音乐作品的音乐体验描述符组并且重新编译音乐合成;
(ii)接受生成的已合成音乐作品,并且将音频与视频混合以便生成经配乐的视频文件;并且
(iii)选择由本发明的自动音乐合成和生成系统支持的其他选项。
如果用户想要向系统重新提交针对音乐的相同请求并且接收不同音乐作品,则系统用户可以选择这样做。如果用户想要改变用户请求的所有或部分,则用户可以作出这些修改。如果用户想要这样做,则用户可以作出附加请求。用户可以选择平衡和混合项目中的音频中的一些或所有,在所述项目上用户运行包括但不限于内容中预先存在的音频以及已经由平台生成的音乐。用户可以选择编辑已经创建的音乐作品。
用户可以编辑已经创建的音乐,插入、移除、调整或以其他方式改变定时信息。用户还可以编辑音乐结构、音乐的配器,和/或保存或合并作品的音乐内核或音乐基因。用户可以调整音乐的速度和音高。这些变化中的每一个可以在音乐作品水平上应用或者与特定子集、乐器和/或其组合相关。用户可以选择下载和/或分配媒体,其中,用户已经以所述媒体开始并使用平台合成所述媒体。
用户可以选择下载和/或分配媒体,其中,用户已经以所述媒体开始并使用平台合成所述媒体。
假如在图15S中示出的GUI屏幕处,系统用户决定选择取消,则系统生成和递送如图15D中示出的具有完整功能菜单的GUI屏幕,所述完整功能菜单允许系统用户关于如以上讨论和描述的音乐情感描述符、音乐风格描述符和/或音乐发现参数进行编辑。
对仅合成音乐系统操作模式的说明
如果用户通过选择图15A的GUI屏幕中的仅音乐来决定独立地创建具有任何附加内容的音乐,则不需要图15B、图15C、图15Q、图15R和图15S中示出的GUI 屏幕中描述和表示的工作流,尽管这些修饰特征在用户想要传达用户想要用音乐表示以传达的音乐事件的定时参数时可能仍然被使用。
图15B是当系统用户选择图15A的GUI中的“仅音乐”对象时由图13至图14 中展示的系统生成和服务的示例性图形用户界面(GUI)屏幕。在操作模式中,系统允许用户选择情感和风格描述符参数和定时信息以便由系统用来自动地合成和生成表达音乐体验描述符中反映的品质的音乐作品。在此模式中,普通工作流与配乐媒体模式下的工作流相同,除了针对上述音乐发现的配乐命令将通常不被支持之外。然而,系统用户将能够如将在一些音乐形式中期望的那样输入定时参数信息。
对本发明的自动音乐合成和生成系统的第五说明性实施例的说明
图16示出了根据本发明的第五说明性实施例的自动音乐合成和生成系统。在此说明性实施例中,基于互联网的自动音乐合成和生成平台被部署,从而使得移动和台式客户机可以同样使用在互联网上支持的文本、SMS和电子邮件服务通过由用户使用本发明的自动音乐合成和生成引擎和图形用户界面添加自动合成的音乐而扩充,所述图形用户界面在创建文本、SMS和/或电子邮件文档(即,消息)的同时由所述客户机支持。使用这些接口以及所支持的功能,远程系统用户可以容易地选择基于图形和/或基于语言学的情感和风格描述符以便在生成用于插入文本、SMS和电子邮件消息以及不同文档和文件类型中的已合成音乐作品时使用。
图16A是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第一示例性客户应用,所述第一示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建文本或SMS消息以及创建并插入通过从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品。
图16B是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第二示例性客户应用,所述第二示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建电子邮件文档以及创建并嵌入在其中已经通过用户根据本发明的原理从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品。
图16C是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第二示例性客户应用,所述第二示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建 Microsoft Word、PDF或图像(例如,jpg或tiff)文档以及创建并插入通过从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品。
图16D是在图16中展示的系统网络中部署的移动客户机(例如,支持互联网的智能电话或平板计算机)的透视图,其中,客户机被实现为具有以下各项的移动计算机器:触摸屏界面、存储器架构、中央处理器、图形处理器、接口电路系统、用于支持各种通信协议的网络适配器、以及用于支持现代智能电话设备(例如,Apple iPhone、 Samsung AndroidGalaxy等)中期望的特征的其他技术,并且其中,运行第二示例性客户应用,所述第二示例性客户应用向用户提供虚拟键盘,所述虚拟键盘支持创建基于web(即,html)的文档以及创建并插入通过从菜单屏幕中选择基于语言学和/或基于图形图标的情感描述符以及风格描述符而创建的已合成音乐作品,从而使得音乐作品可以被递送至远程客户并且使用在嵌入的URL上操作的传统基于web的浏览器体验,根据所述嵌入的URL,所述嵌入的音乐作品通过web、应用和数据库服务器被服务。
图17是在图16A、图16B、图16C和图16D中展示的系统中部署的每个客户机的系统架构的示意性表示,所述系统架构包括围绕系统总线架构的与系统总线架构集成的子系统模块,包括:多核CPU、多核GPU、程序存储器(RAM)、视频存储器 (VRAM)、硬盘驱动器(SATA驱动器)、LCD/触摸屏显示面板、麦克风扬声器、键盘、WIFI/蓝牙网络适配器、和3G/LTE/GSM网络适配器。
图18是示意性表示,展示了本发明的基于互联网的音乐合成和生成系统的高级系统架构,所述基于互联网的音乐合成和生成系统支持使用基于语言学和/或基于图形图标的音乐体验描述符以及虚拟乐器音乐合成,以便向文本、SMS和电子邮件文档/消息添加已合成音乐,其中,基于语言学或基于图标的音乐体验描述符作为输入通过系统用户接口被供应,并且由本发明的自动音乐合成和生成引擎用来生成经配乐的文本文档或消息,所述经配乐的文本文档或消息被生成用于在结束和传输之前由系统用户经由所述系统用户接口进行预览。
图19是流程图,展示了涉及执行本发明的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程使用图16至图18中示出的基于web的系统,所述自动音乐合成和生成过程支持使用基于语言学和/或基于图形图标的音乐体验描述符以及虚拟乐器音乐合成,以便创建经配乐的文本、SMS、电子邮件、PDF、Word和/或html 文档,其中,(i)在所述过程的第一步骤期间,系统用户访问本发明的自动音乐合成和生成系统,并且然后选择待配乐(例如,扩充)有由本发明的自动音乐合成和生成系统生成的音乐的文本、SMS或电子邮件消息或者Word、PDF或HTML文档,(ii) 系统用户然后向系统的自动音乐合成和生成引擎提供基于语言学和/或基于图标的音乐体验描述符,(iii)系统用户启动自动音乐合成和生成系统以便基于为所选消息或文档配乐的所输入音乐描述符合成和生成音乐,(iv)系统用户接受产生用于消息或文档的已合成和已生成音乐,或者拒绝所述音乐并向系统提供反馈,包括提供不同音乐体验描述符以及用于基于更新的音乐体验描述符输入重新合成音乐的请求,并且 (v)系统将所接受的已合成音乐与消息或文档结合,以便创建新文件供分配和显示。
对本发明的自动音乐合成和生成系统的第七说明性实施例的说明
图20是具有包围基于AI的自主音乐合成和合成演奏系统的真实或合成乐器的音乐家乐队的示意性表示,所述系统采用本发明的自动音乐合成和生成引擎的修改版本,其中,基于AI的系统接收来自其周围乐器和音乐家的音乐信号并缓冲和分析这些乐器,并且响应于此可以实时合成和生成将扩充由音乐家乐队演奏的音乐的音乐,或者可以记录、分析和合成被记录用于由人类音乐家随后重放、回顾和考虑的音乐。
图21是自主音乐分析、合成和演奏乐器的示意性表示,具有紧凑坚固的可运输外壳,所述外壳包括:LCD触摸类型显示屏、内置立体麦克风设置、用于接收从系统环境中的乐器组产生的音频信号的一组音频信号输入连接器、用于接收来自系统环境中的乐器组的MIDI输入信号的一组MIDI信号输入连接器、用于将音频输出信号递送至音频信号前置放大器和/或放大器的音频输出信号连接器、WIFI和BT网络适配器以及相关联的信号天线结构、以及针对用户操作模式的一组功能按钮,所述用户操作模式包括:(i)引导模式,其中,所述乐器系统响应于其在音乐会话期间从其(本地或远程)音乐环境接收和分析的音乐信息流而自主地在音乐上进行引导,(ii)跟随模式,其中,所述乐器系统响应于其在音乐会话期间从其(本地或远程)音乐环境中的乐器接收和分析的音乐而自主地在音乐上跟随,(iii)合成模式,其中,所述系统基于其在音乐会话期间从其(本地或远程)环境中的乐器接收和分析的音乐而自动地合成音乐,以及(iv)演奏模式,其中,所述系统响应于其在音乐会话期间从其环境接收和分析的音乐信息而实时地自主地演奏自动合成的音乐。
图22展示了图21中示出的自动音乐合成和生成乐器系统的高级系统架构。如图22中所示出的,从系统环境中的一组乐器中产生的音频信号以及MIDI输入信号由乐器系统接收,并且针对音高事件和旋律结构的出现在时域和/或频域上实时分析这些信号。此分析和处理的目的是为使得系统可以从此信息中自动地抽象化出音乐体验描述符,以便在使用本发明的自动音乐合成和生成引擎生成自动音乐合成和生成时使用。
图23是图20和图21中展示的系统的系统架构的示意性表示,所述系统架构包括围绕系统总线架构的与系统总线架构集成的子系统模块安排,包括:多核CPU、多核GPU、程序存储器(DRAM)、视频存储器(VRAM)、硬盘驱动器(SATA驱动器)、 LCD/触摸屏显示面板、立体麦克风、音频扬声器、键盘、WIFI/蓝牙网络适配器、和 3G/LTE/GSM网络适配器。
通常,图20和图21中示出的自动或自动化音乐合成和生成系统(包括图26A 至图33E中示出的以及上文指定的其之间协作的子系统中的所有)可以使用数字电子电路、模拟电子电路或数字和模拟混合电子电路来实施,所述电路特别被配置和编程用于实现待由自动音乐合成和生成系统支持的功能和操作模式。数字集成电路(IC) 可以是低功率和混合(即,数字和模拟)信号系统,所述信号系统采用电子电路系统和乐器制造工艺中熟知的方式在芯片(即,片上系统或SOC)实施方式上实现、用硅制造。这种实施方式还可以包括使用多CPU和多GPU,如可能是基于本发明的系统的特定产品设计所需要或期望的。对于这种数字集成电路(ID)实施方式的细节,可以参考本领域任意数量的公司和专家,包括:CadenceDesign Systems,Inc.、Synopsis Inc.、Mentor Graphics,Inc.以及其他电子设计自动化公司。
出于说明目的,系统的数字电路系统实施方式被示出为配置在SOC或类似数字集成电路周围的组件的架构。如所示出的,系统包括各种部件,包括:包括多核CPU、多核GPU、程序存储器(DRAM)和视频存储器(VRAM)的SOC子架构;硬盘驱动器(SATA);LCD/触摸屏显示面板;麦克风/扬声器;键盘;WIFI/蓝牙网络适配器;音高识别模块/板;以及电源和分配电路系统;如所示出的,所有部件都被集成在系统总线结构周围并且支持控制器芯片。
多核CPU的主功能是用于执行加载到程序存储器(例如,微代码)中的程序指令,而多核GPU将通常接收并执行来自多核CPU的图形指令,尽管在程序指令和图形指令两者都可以在单个IC设备内实现的情况下,多核CPU和GPU都可以实现为混合多核CPU/GPU芯片,但其中支持计算和图形流水线以及用于LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备还有WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的接口电路系统。LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备以及WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的目的将是支持和实施由系统接口子系统B0以及系统中采用的其他子系统支持的功能。
图24是流程图,展示了涉及执行本发明的自动音乐合成和生成过程的主要步骤,所述自动音乐合成和生成过程使用图20至图23中示出的系统,其中,(i)在所述过程的第一步骤期间,系统用户针对本发明的自动音乐合成和生成乐器系统选择引导或跟随操作模式,(ii)在会话之前,所述系统然后与由一队音乐家在音乐会话期间在创造性环境中演奏的一组乐器接口连接,(iii)在会话期间,系统接收在会话期间从乐器组产生的音频和/或MIDI数据信号,并且针对音高数据和旋律结构分析这些信号, (iv)在会话期间,所述系统从抽象化的音高和旋律数据中自动地生成音乐描述符,并且使用音乐体验描述符在实时的基础上针对会话合成音乐,并且(v)在已经选择了演奏模式的情况下,所述系统生成已合成音乐,并且在已经选择了合成模式的情况下,在会话期间合成的音乐被存储用于随后由所述音乐家乐队访问和回顾。
对本发明的自动音乐合成和生成引擎的说明性实施例的说明
图25A示出了本发明的在本文的本发明的各实施例中采用的自动音乐合成和生成引擎(E1)的高级系统图。如所示出的,引擎E1包括如所示出那样配置的:基于用户GUI的输入子系统A0、普通节奏子系统A1、普通节奏生成子系统A2、旋律节奏生成子系统A3、旋律音高生成子系统A4、配器子系统A5、控制器代码创建子系统A6、数字作品创建子系统A7、以及反馈和学习子系统A8。
图25B示出了较高级系统图,展示了本发明的系统包括两个非常高级子系统,即:(i)音高格局子系统C0,包括:普通音高生成子系统A2、旋律音高生成子系统A4、配器子系统A5和控制器代码创建子系统A6,以及(ii)节奏格局子系统C1,包括:普通节奏生成子系统A1、旋律节奏生成子系统A3、配器子系统A5和控制器代码创建子系统A6。
在此阶段,适当的是,讨论与将在实践本发明的自动音乐合成和生成系统的各实施例时有助于理解的重要音乐理论概念有关的一些重要定义和术语。然而,应注意的是,尽管本发明的系统具有非常复杂且昂贵的系统架构,但是这种特征和方面本质上对所有系统用户是透明的,允许他们本质上不具有音乐理论知识并且不具有音乐体验和/或天赋。为了使用本发明的系统,系统用户所需要的所有是具有:(i)对他们的系统用户想要在自动合成的音乐作品中传达哪类别型的情感的感觉,和/或(ii)对他们希望或认为音乐作品应当跟随什么音乐风格的感觉。
在最顶级,“音高格局”C0是包含音乐作品内所有事件在空间上的安排的术语。这些事件经常如下组织,尽管并不总是:在高级时,由音乐作品的调和调性;在中等级时,由音乐作品的结构、形式和乐句;并且在低等级时,由所述音乐作品的每个乐器、参与者和/或其他成分的事件的特定组织。图25B中示出的示意性表示中指示了在系统内可用以支持音高格局管理的各种子系统资源。
类似地,“节奏格局”C1是包含音乐作品内所有事件在时间上的安排的术语。这些事件经常如下组织,尽管并不总是:在高级时,由音乐作品的速度、拍子和长度;在中等级时,由音乐作品的结构、形式和乐句;并且在低等级时,由所述音乐作品的每个乐器、参与者和/或其他成分的事件的特定组织。图25B中示出的示意性表示中指示了在系统内可用以支持音高格局管理的各种子系统资源。
存在若干在本发明的自动音乐合成和生成系统中采用的音高和节奏格局子系统架构内扮演重要角色的其他高级概念。
具体地,“旋律音高”是包含音乐作品内所有事件在空间上的安排的术语,所述所有事件或者独立地或者与其他事件合作地构成正在合成的音乐作品的旋律和/或任何旋律素材的部分。
“旋律节奏”是包含音乐作品内所有事件在时间上的安排的术语,所述所有事件或者独立地或者与其他事件合作地构成正在合成的音乐作品的旋律和/或任何旋律素材的部分。
针对正在合成的音乐作品的“配器”是用于描述操纵、安排和/或改编音乐作品的术语。
针对正在合成的音乐作品的“控制器代码”是用于描述与音乐表达有关的信息,所述信息通常与实际音符、节奏和乐器法分开。
正在合成的“数字音乐作品”是用于描述音乐作品的数字表示或数字和模拟的组合表示,但是不单独以模拟方式。
图26A至图26P一起示出了图25中的每个子系统如何根据本发明的原理与其他子系统一起配置,从而使得提供给基于用户GUI的输入/输出子系统A0/B0的音乐体验描述符被分配给其适当子系统以进行处理并在本发明的自动音乐合成和生成过程中使用,本文对此进行了更技术细节地描述。此时适当的是,识别和描述服务以实施本发明的自动音乐合成和生成系统(S)内的高级子系统A0至A8的子系统B0至B52 中的每一个。
更具体地,如图26A至图26D中所示出的,基于GUI的输入子系统A0包括:基于用户GUI的输入输出子系统B0;描述符参数捕获子系统B1;参数转换引擎子系统B51;风格参数捕获子系统B37;以及定时参数捕获子系统B40。这些子系统接收和处理经由系统用户或即将由端系统应用调用的其他方法或方式提供给系统A0的所有音乐体验参数(例如,情感描述符、风格描述符和定时/空间描述符)。
如图27D、图26E、图26F、图26G、图26H、图26I和图27J中所示出的,用于生成待合成的音乐作品的普通节奏的普通节奏生成子系统A1包括以下子系统:长度生成子系统B2;速度生成子系统B3;拍子生成子系统B4;节拍计算器子系统B6;小节计算器子系统B8;歌曲形式生成子系统B9;子乐句长度生成子系统B15;子乐句中和弦数量计算器子系统B16;乐句长度生成子系统B12;独特乐句生成子系统 B10;乐句中和弦数量计算器子系统B13;和弦长度生成子系统B11;独特子乐句生成子系统B14;乐器法子系统B38;乐器选择器子系统B39;以及定时生成子系统B41。
如图27J和图26K中所示出的,用于生成正在合成的音乐作品的和弦(即,音高事件)的普通音高生成子系统A2包括:调生成子系统B5;调性生成子系统B7;初始普通节奏生成子系统B17;子乐句和弦进行生成子系统B19;乐句和弦进行生成子系统B18;和弦转位生成子系统B20;乐器法子系统B38;乐器选择器子系统B39。
如图26K和图26L中所示出的,用于生成正在合成的音乐作品的旋律节奏的旋律节奏生成子系统A3包括:旋律子乐句长度生成子系统B25;旋律子乐句生成子系统B24;旋律乐句长度生成子系统B23;旋律独特乐句生成子系统B22;旋律长度生成子系统B21;旋律音符节奏生成子系统B26。
如图26L和图27M中所示出的,用于生成正在合成的音乐作品的旋律音高的旋律音高生成子系统A4包括:初始音高生成子系统B27;子乐句音高生成子系统B29;乐句音高生成子系统B28;以及音高八度生成子系统B30。
如图26M中所示出的,用于生成正在合成的音乐作品的配器的配器子系统A5 包括:配器生成子系统B31。
如图26M中所示出的,用于创建正在合成的音乐作品的控制器代码的控制器代码创建子系统A6包括:控制器代码生成子系统B32。
如图26M和图26N中所示出的,用于创建正在合成的数字音乐作品的数字作品创建子系统A7包括:数字音频样本音频检索器子系统B33;数字音频样本管理器子系统B34;作品整合器子系统B35;作品格式转换器子系统B50;以及作品递送器子系统B36。
如图26N、图26O和图26P中所示出的,用于支持系统的反馈和学习循环的反馈和学习子系统A8包括:反馈子系统B42;音乐可编辑性子系统B43;偏好保存器子系统B44;音乐内核子系统B45;用户品味子系统B46;群众品味子系统B47;用户偏好子系统B48;以及群众偏好子系统B49。
如图26N、图26O和图26P中所示出的,用于支持系统的反馈和学习循环的反馈和学习子系统A8包括:反馈子系统B42;音乐可编辑性子系统B43;偏好保存器子系统B44;音乐内核子系统B45;用户品味子系统B46;群众品味子系统B47;用户偏好子系统B48;以及群众偏好子系统B49。已经对系统中采用的子系统进行概述,此时适当的是,更加详细地描述存在于子系统当中的输入和输出端口关系,如图26A 至图26P中清楚示出的。
如图26A至图26J中所示出的,系统用户通常使用本领域熟知的LCD屏、键盘或麦克风语音识别接口向基于GUI的输入输出子系统B0提供如情感、风格和定时类型音乐体验描述符等输入。进而,如所示出的,来自基于GUI的输入和输出子系统 B0的各种数据信号输出作为输入数据信号被提供给描述符参数捕获子系统B1、参数转换引擎子系统B51、风格参数捕获子系统B37以及定时参数捕获子系统B40。(情感)描述符参数捕获子系统B1接收单词、图像和/或将由待合成的音乐作品产生的音乐体验的其他表示,并且这些被捕获情感类型音乐体验参数然后被优选地存储在本地数据存储设备(例如,本地数据库、DRAM等)中用于随后传输至其他子系统。风格参数捕获子系统B17接收单词、图像和/或将由待合成的音乐作品产生的音乐体验的其他表示,并且这些被捕获风格类型音乐体验参数然后被优选地同样存储在本地数据存储设备(例如,本地数据库、DRAM等)中用于随后传输至其他子系统。在音乐发现特征由系统用户启用或访问并且定时参数被传输至输入子系统B0的情况下,定时参数捕获子系统B40将启用其他子系统(例如,子系统A1、A2等)来支持这种功能。如下文将特别参照图27B3A至图27B3C和图27B4A至图27B4E以及其他附图更加技术上详细描述的,参数转换引擎子系统B51接收单词、图像和/或将由待合成的音乐作品产生的音乐体验参数的其他表示,并且这些情感类型、风格类型和定时类型音乐体验参数由引擎子系统B51转换以便基于所提供的系统用户输入生成基于概率的系统操作参数表组用于随后分配给对应子系统并加载到所述对应子系统内。
已经提供了对系统中采用的子系统的概述,此时适当的是,更加详细地描述存在于子系统当中的输入和输出端口关系,如图26A至图26P中清楚示出的。
对输入子系统B0内的子系统当中的输入和输出端口连接的说明
如图26A至图26J中所示出的,系统用户通常使用本领域熟知的LCD屏、键盘或麦克风语音识别接口向基于GUI的输入输出子系统B0提供如情感、风格和定时类型音乐体验描述符等输入。进而,如所示出的,来自对情感和风格音乐描述符以及定时参数进行编码的基于GUI的输入和输出子系统B0的各种数据信号输出作为输入数据信号被提供给描述符参数捕获子系统B1、参数转换引擎子系统B51、风格参数捕获子系统B37以及定时参数捕获子系统B40。
如图26A至图26J中所示出的,(情感)描述符参数捕获子系统B1接收单词、图像和/或将由待合成的音乐作品产生的音乐体验的其他表示,并且这些被捕获情感类型音乐体验参数然后被优选地存储在本地数据存储设备(例如,本地数据库、DRAM 等)中用于随后传输至其他子系统。
如图26A至图26J中所示出的,风格参数捕获子系统B17接收单词、图像和/或将由待合成的音乐作品产生的音乐体验的其他表示,并且这些被捕获风格类型音乐体验参数然后被优选地存储在本地数据存储设备(例如,本地数据库、DRAM等)中用于随后传输至其他子系统。
在“音乐发现”特征由系统用户启用或访问并且定时参数被传输至输入子系统 B0的情况下,定时参数捕获子系统B40将启用其他子系统(例如,子系统A1、A2 等)来支持这种功能。
如图26A至图26J中所示出的,参数转换引擎子系统B51接收单词、图像和/或将由待合成的音乐作品反映的音乐体验参数和定时参数的其他表示,并且这些情感类型、风格类型和定时类型音乐体验参数由参数转换引擎子系统B51自动且透明地转换以便基于所提供的系统用户输入生成作为输出的基于概率的系统操作参数表组,所述基于概率的系统操作参数表组随后分配给对应子系统并加载到所述对应子系统内,如下文将特别参照图27B3A至图27B3C和图27B4A至图27B4E以及其他附图更加技术上详细描述的。
对普通节奏生成子系统A1内的子系统当中的输入和输出端口连接的说明
如图26A至图26J中所示出的,普通节奏生成子系统A1生成待合成的音乐作品的普通节奏。
如图26A至图26J中所示出的,基于用户GUI的输入输出子系统B0的数据输入端口可以由LCD触摸屏显示面板、键盘、麦克风以及本领域熟知的各类别型的数据输入设备来实现。如所示出的,来自基于用户GUI的输入输出子系统B0的数据输出连接至(情感类型)描述符参数捕获子系统B1、参数转换引擎子系统B51、风格参数捕获子系统B37和定时参数捕获子系统B40的数据输入端口。
如图26A至图26P中所示出的,参数转换引擎子系统B51的数据输入端口连接至群众品味子系统B47的输出数据端口以及用户偏好子系统B48的数据输入端口,充当数据反馈路径。
如图26A至图26P中所示出的,参数转换引擎B51的数据输出端口连接至(情感类型)描述符参数捕获子系统B1和风格参数捕获子系统B37的数据输入端口。
如图26A至图26F中所示出的,风格参数捕获子系统B37的数据输出端口连接至乐器法子系统B38和子乐句长度生成子系统B15的数据输入端口。
如图26A至图26G中所示出的,定时参数捕获子系统B40的数据输出端口连接至定时生成子系统B41和长度生成子系统B2、速度生成子系统B3、拍子生成子系统 B4和调生成子系统B5的数据输入端口。
如图26A至图26G中所示出的,(情感类型)描述符参数捕获子系统B1和定时参数捕获子系统B40的数据输出端口连接至(i)长度生成子系统B2的数据输入端口以进行结构控制,(ii)速度生成子系统B3的数据输入端口以进行速度控制,(iii)拍子生成子系统B4的数据输入端口以进行拍子控制,以及(iv)调生成子系统B5的数据输入端口以进行调控制。
如图26E中所示出的,长度生成子系统B2和速度生成子系统B3的数据输出端口连接至节拍计算器子系统B6的数据输入端口。
如图26E至图26K中所示出的,节拍计算器子系统B6和拍子生成子系统B4的数据输出端口连接至小节计算器子系统B8的数据输入端口。
如图26E、图26F、图26G和图26H中所示出的,小节计算器B8的输出数据端口连接至歌曲形式生成子系统B9和独特子乐句生成子系统B14的数据输入端口。
如图26G中所示出的,调生成子系统B5的输出数据端口连接至调性生成子系统 B7的数据输入端口。
如图26G至图26J中所示出的,调性生成子系统B7的数据输出端口连接至初始普通节奏生成子系统B17和子乐句和弦进行生成子系统B19的数据输入端口。
如图26E1、图26H和图26I中所示出的,歌曲形式子系统B9的数据输出端口连接至子乐句长度生成子系统B15、和弦长度生成子系统B11和乐句长度生成子系统 B12的数据输入端口。
如图26G、图26H、图26I和图26J中所示出的,子乐句长度生成子系统B15的数据输出端口连接至独特子乐句生成子系统B14的输入数据端口。如所示出的,独特子乐句生成子系统B14的输出数据端口连接至子乐句中和弦数量计算器子系统B16 的数据输入端口。如所示出的,和弦长度生成子系统B11的输出数据端口连接至乐句中和弦数量计算器子系统B13。
如图26H中所示出的,子乐句中和弦数量计算器子系统B16的数据输出端口连接至乐句长度生成子系统B12的数据输入端口。
如图26E、图26H、图26I和图26J中所示出的,乐句长度生成子系统B12的数据输出端口连接至独特乐句生成子系统B10的输入数据端口。
如图26J中所示出的,独特乐句生成子系统B10的数据输出端口连接至乐句中和弦数量计算器子系统B13的数据输入端口。
对普通音高生成子系统A2内的子系统当中的输入和输出端口连接的说明
如图26J和图26K中所示出的,普通音高生成子系统A2生成正在合成的音乐作品的和弦。
如图26G至图26J中所示出的,初始和弦生成子系统B17的数据输出端口连接至子乐句和弦进行生成子系统B19的数据输入端口,所述数据输入端口还连接至调性生成子系统B7的输出数据端口。
如图26J中所示出的,子乐句和弦进行生成子系统B19的数据输出端口连接至乐句和弦进行生成子系统B18的数据输入端口。
如图26J和图26K中所示出的,乐句和弦进行生成子系统B18的数据输出端口连接至和弦转位生成子系统B20的数据输入端口。
对旋律节奏生成子系统A3内的子系统当中的输入和输出端口连接的说明
如图26K和图26L中所示出的,旋律节奏生成子系统A3生成正在合成的音乐作品的旋律节奏。
如图26J和图26K中所示出的,和弦转位进行生成子系统B20的数据输出端口连接至旋律子乐句长度生成子系统B18的数据输入端口。
如图26K中所示出的,和弦转位生成子系统B20的数据输出端口连接至旋律子乐句长度生成子系统B25的数据输入端口。
如图26K中所示出的,旋律子乐句长度生成子系统B25的数据输出端口连接至旋律子乐句生成子系统B24的数据输入端口。
如图26K中所示出的,旋律子乐句生成子系统B24的数据输出端口连接至旋律乐句长度生成子系统B23的数据输入端口。
如图26K中所示出的,旋律乐句长度生成子系统B23的数据输出端口连接至旋律独特乐句生成子系统B22的数据输入端口。
如图26K和图26L中所示出的,旋律独特乐句生成子系统B22的数据输出端口连接至旋律长度生成子系统B21的数据输入端口。
如图26L中所示出的,旋律长度生成子系统B21的数据输出端口连接至旋律音符节奏生成子系统B26的数据输入端口。
对旋律音高生成子系统A4内的子系统当中的输入和输出端口连接的说明
如图26L至图26N中所示出的,旋律音高生成子系统A4生成正在合成的音乐作品的旋律节奏。
如图26L中所示出的,旋律音符节奏生成子系统B26的数据输出端口连接至初始音高生成子系统B27的数据输入端口。
如图26L中所示出的,初始音高生成子系统B27的数据输出端口连接至子乐句音高生成子系统B29的数据输入端口。
如图26L中所示出的,子乐句音高生成子系统B29的数据输出端口连接至乐句音高生成子系统B28的数据输入端口。
如图26L和图26M中所示出的,乐句音高生成子系统B28的数据输出端口连接至音高八度生成子系统B30的数据输入端口。
对配器子系统A5内的子系统当中的输入和输出端口连接的说明
如图26M中所示出的,配器子系统A5生成正在合成的音乐作品的配器。
如图26D和图26M中所示出的,音高八度生成子系统B30和乐器选择器子系统 B39的数据输出端口连接至配器生成子系统B31的数据输入端口。
如图26M中所示出的,配器生成子系统B31的数据输出端口连接至控制器代码生成子系统B32的数据输入端口。
对控制器代码创建子系统A6内的子系统当中的输入和输出端口连接的说明
如图26M中所示出的,控制器代码创建子系统A6创建正在合成的音乐作品的控制器代码。
如图26M中所示出的,配器生成子系统B31的数据输出端口连接至控制器代码生成子系统B32的数据输入端口。
对数字作品创建子系统A7内的子系统当中的输入和输出端口连接的说明
如图26M和图26N中所示出的,数字作品创建子系统A7创建数字音乐作品。
如图26M中所示出的,控制器代码生成子系统B32的数据输出端口连接至数字音频样本音频检索器子系统B33的数据输入端口。
如图26M和图26N中所示出的,数字音频样本音频检索器子系统B33的数据输出端口连接至数字音频样本管理器子系统B34的数据输入端口。
如图26N中所示出的,数字音频样本管理器子系统B34的数据输出端口连接至作品整合器子系统B35的数据输入端口。
如图26N中所示出的,作品整合器子系统B35的数据输出端口连接至作品格式转换器子系统B50的数据输入端口。
如图26N中所示出的,作品格式转换器子系统B50的数据输出端口连接至作品递送器子系统B36和反馈子系统B42的数据输入端口。
对反馈和学习子系统A8内的子系统当中的输入和输出端口连接的说明
如图26N、图26O和图26P中所示出的,反馈和学习子系统A8支持系统的反馈和学习循环。
如图26N中所示出的,作品递送器子系统B36的数据输出端口连接至反馈子系统B42的数据输入端口。
如图26N和图26O中所示出的,反馈子系统B42的数据输出端口连接至音乐可编辑性子系统B43的数据输入端口。
如图26O中所示出的,音乐可编辑性子系统B43的数据输出端口连接至偏好保存器子系统B44的数据输入端口。
如图26O中所示出的,偏好保存器子系统B44的数据输出端口连接至音乐内核(DNA)子系统B45的数据输入端口。
如图26O中所示出的,音乐内核(DNA)子系统B45的数据输出端口连接至用户品味子系统B46的数据输入端口。
如图26O中所示出的,用户品味子系统B46的数据输出端口连接至群众品味子系统B47的数据输入端口。
如图26O和图26P中所示出的,群众品味子系统B47的数据输出端口连接至用户偏好子系统B48和群众偏好子系统B49的数据输入端口。
如图26A至图26P中所示出的,音乐可编辑性子系统B43、偏好保存器子系统 B44、音乐内核(DNA)子系统B45、用户品味子系统B46和群众品味子系统B47的数据输出端口提供给用户偏好子系统B48和群众偏好子系统B49以及参数转换引擎子系统B51的数据输入端口,作为如图26A至图26P中所示出的第一数据反馈回路的部分。
如图26N至图26P中所示出的,音乐可编辑性子系统B43、偏好保存器子系统 B44、音乐内核(DNA)子系统B45、用户品味子系统B46和群众品味子系统B47、以及用户偏好子系统B48和群众偏好子系统B49的数据输出端口提供给(情感类型) 描述符参数捕获子系统B1、风格描述符捕获子系统B37和定时参数捕获子系统B40 的数据输入端口,作为如图26A至图26P中所示出的第二数据反馈回路的部分。
对使用本发明的自动音乐合成和生成系统实施较高(A)级子系统的较低(B)级子 系统以及对每个B级子系统中采用的参数表的快速识别的说明
参照图27B3A、图27B3B和图27B3C,示出了示意性表示,展示了被供应情感、风格和定时/空间参数集的系统用户如何经由参数转换引擎子系统B51映射到存储在参数表中的系统操作参数集中,所述参数表被加载到跨本发明的系统的对应子系统中。而且,图27B4A、图27B4B、图27B4C、图27B4D和图27B4E中展示的示意性表示还提供展示哪些较低B级子系统用于实施系统架构内的特定较高A级子系统以及系统内的哪些B级子系统中采用哪些参数表的映射。这些子系统和参数将在下文更加技术上详细地指明。
对在本发明的自动音乐合成和生成系统内的各子系统的经编程表内维护的基于 概率的系统操作参数的说明
在图28A至图28S中指定的各子系统的经编程表内维护的基于概率的系统操作参数(SOP)在本发明的自动音乐合成和生成系统内扮演重要角色。此时适当的是,更加详细地描述这些:(i)这些系统操作参数(SOP)表,(ii)它们包含的信息元素, (iii)它们表示的音乐理论对象,(iv)它们在其对应子系统内执行的功能,以及(v) 这种信息对象如何在子系统中用于期望的目的。
对速度生成子系统(B3)内的速度生成表的说明
图28A示出了在本发明的自动音乐合成和生成引擎的速度生成子系统(B3)中维护的基于概率的参数表。如图28A中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符(例如,从图32A至图32F中的情感描述符表中选择的快乐、悲伤、生气、害怕、爱情),为系统支持的每个速度(每分钟节拍)提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
速度生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多个)速度。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用速度生成表,并且通过图27G中展示的引导随机过程,子系统作出关于将使用表中的什么(多个)值和/或(多个)参数的(多个)确定。
对长度生成子系统(B2)内的长度生成表的说明
图28B示出了在本发明的自动音乐合成和生成引擎的长度生成子系统(B2)中维护的基于概率的参数表。如图28B中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符(例如,从图32A至图32F中的情感描述符表中选择的快乐、悲伤、生气、害怕、爱情),为系统支持的每个长度(秒)提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
长度生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多个)长度。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用长度生成表,并且通过图27F中展示的引导随机过程,子系统B2作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和 /或(多个)参数的(多个)确定。
对拍子生成子系统(B4)内的拍子生成表的说明
图28C示出了在本发明的自动音乐合成和生成引擎的拍子生成子系统(B4)中维护的基于概率的拍子生成表。如图28C中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符(例如,从图32A至图32F中的情感描述符表中选择的快乐、悲伤、生气、害怕、爱情),为系统支持的每种拍子提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
拍子生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多种)拍子。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用拍子生成表,并且通过图27H中展示的引导随机过程,子系统B4作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和 /或(多个)参数的(多个)确定。
像所有系统操作参数(SOP)表一样,参数转换引擎子系统B51生成针对在系统用户输入子系统B0处选择的可能音乐体验描述符中的所有的概率加权的速度参数表。考虑这些输入,此子系统B4创建作品的(多种)拍子。例如,具有输入描述符“快乐”、三十秒长度以及每分钟六十个节拍的速度的作品可能具有:三分之一概率使用4/4拍(每小节四个四分音符)、三分之一概率使用6/8拍(每小节六个八分音符) 以及三分之一概率使用2/4速度(每小节两个四分音符)。如果音乐中存在多个乐节、音乐定时参数、和/或开始和停止,则可以选择多种拍子。
在情感和风格描述符与拍子之间存在密切的关系。例如,经常使用3/4拍来演奏华尔兹,而经常使用2/4拍来演奏进行曲。系统的拍子表是音乐体验和/或风格与递送素材的拍子之间的文化关联的反映。
然而,乐曲的(多种)拍子可以与情感和风格描述符输入无关并且是单独存在的以对齐具有特定定时请求的音乐的小节和/或节拍。例如,如果特定速度的音乐作品需要在作品中的某时刻重音,所述重音可能以其他方式发生在4/4小节的第四节拍与下一个4/4小节的第一节拍之间的中途,则将期望的重音之前的单个小节的拍子改成 7/8可能反而造成重音正好发生在小节的第一节拍上,这会然后使其自身适用于与小节的强拍一致的更多音乐重音。
对调生成子系统(B5)内的调生成表的说明
图28D示出了在本发明的自动音乐合成和生成引擎的调生成子系统(B5)中维护的基于概率的参数表。如图28D中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每种调提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
调生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多种)调。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用调生成表,并且通过图27I中展示的引导随机过程,子系统B5作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或 (多个)参数的(多个)确定。
对调性生成子系统(B7)内的调性生成表的说明
图28E示出了在本发明的自动音乐合成和生成引擎的调性生成子系统(B7)中维护的基于概率的参数表。如图28E中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每种调性(即,大调、自然小调、和声小调、旋律小调、多利亚(Dorian)、弗里几亚(Phrygian)、利底亚(Lydian)、混合利底亚(Mixolydian)、爱奥利亚(Aeolian)、洛克利亚(Locrian))提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
调性生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多种)调性。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用调性生成表,并且通过图27L中展示的引导随机过程,子系统B7作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和 /或(多个)参数的(多个)确定。
对歌曲形式生成子系统(B9)内的参数表的说明
图28F示出了在本发明的自动音乐合成和生成引擎的歌曲形式生成子系统(B9)中维护的基于概率的参数表。如图28F中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每种歌曲形式(即,A,AA, AB,AAA,ABA,ABC)以及每种子乐句形式(a,aa,ab,aaa,aba,abc)提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
歌曲形式生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多种)歌曲形式。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用歌曲形式生成表,并且通过图27M1和图27M2中展示的引导随机过程,子系统B9作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
子乐句生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多个)子乐句。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用歌曲形式生成表,并且通过图27M1和图27M2中展示的引导随机过程,子系统B9作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对子乐句长度生成子系统(B15)内的参数表的说明
图28G示出了在本发明的自动音乐合成和生成引擎的子乐句长度生成子系统(B15)中维护的基于概率的参数表。如图28G中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个子乐句长度(即,小节)提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
子乐句长度生成表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多个)长度或(多个)音长。通过将适当参数集加载到由子系统B1、B37、 B40和B41确定的各子系统中来使用子乐句长度生成表,并且通过图27N中展示的引导随机过程,子系统B15作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对和弦长度生成子系统(B11)内的参数表的说明
图28H示出了在本发明的自动音乐合成和生成引擎的和弦长度生成子系统(B11)中维护的基于概率的参数表。如图28H中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个初始和弦长度和第二和弦长度提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
初始和弦长度表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多个)和弦或(多个)流行和声的持续时间。通过加载如由子系统B1、B37、 B40和B41确定的适当参数集来使用初始和弦长度表,并且通过引导随机过程,子系统作出关于将使用表中的什么(多个)值和/或(多个)参数的(多个)确定。
第二和弦长度表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的(多个)非初始和弦或(多个)流行和声的持续时间。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用第二和弦长度表,并且通过图28O1、图28O2和图28O3中展示的引导随机过程,子系统B11作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对普通节奏生成子系统(B17)内的参数表的说明
图28I示出了在本发明的自动音乐合成和生成引擎的普通节奏生成子系统(B17)中维护的基于概率的参数表。如图28I中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个根音符(即,由音乐字母指示)提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
初始和弦根表的主要功能是提供框架以确定作品、乐节、乐句或其他结构的(多个)初始和弦的根音符。通过将适当参数集加载到由子系统B1、B5、B7和B37确定的各子系统中来使用初始和弦根表,并且通过引导随机过程,子系统B17作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/ 或(多个)参数的(多个)确定。
和弦功能表的主要功能是提供框架以确定一个或多个和弦的音乐功能。通过加载如由B1、B5、B7和B37确定的适当参数集来使用和弦功能表,并且通过图27U中展示的引导随机过程,子系统B17作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对子乐句和弦进行生成子系统(B19)内的参数表的说明
图28J1和图28J2示出了在本发明的自动音乐合成和生成引擎的子乐句和弦进行生成子系统(B19)中维护的基于概率的参数表。如图28J1和图28J2中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个原始和弦根(即,由音乐字母指示)和小节中即将到来的节拍提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
和弦功能根修改器表的主要功能是提供框架以便以因果方式将(多个)未来和弦根音符确定连接至当前正被确定的(多个)和弦功能。通过将适当参数集加载到由子系统B1、B5、B7和B37确定的各子系统中来使用和弦功能根修改器表,并且通过引导随机过程,子系统B19作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
当前和弦功能的主要功能与和弦功能表相同。当前和弦功能表与和弦功能表相同。
节拍根修改器表的主要功能是提供框架以便以因果方式将(多个)未来和弦根音符确定连接至当前正被确定的(多个)和弦根和(多个)功能的时间上的安排。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用节拍根修改器表,并且通过图27V1、图27V2和图27V3中展示的引导随机过程,子系统 B19作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对和弦转位生成子系统(B20)内的参数表的说明
图28K示出了在本发明的自动音乐合成和生成引擎的和弦转位生成子系统(B20)中维护的基于概率的参数表。如图28K中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个转位和原始和弦根(即,由音乐字母指示)提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
初始和弦转位表的主要功能是提供框架以确定作品、乐节、乐句或其他结构的(多个)初始和弦的转位。通过加载如由B1、B37、B40和B41确定的适当参数集来使用初始和弦转位表,并且通过引导随机过程,子系统B20作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的 (多个)确定。
和弦转位表的主要功能是提供框架以确定作品、乐节、乐句或其他结构的(多个)非初始和弦的转位。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用和弦转位表,并且通过图27X1、图27X2和图27X3中展示的引导随机过程,子系统B20作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对旋律子乐句长度进行生成子系统(B25)内的参数表的说明
图28L1示出了在本发明的自动音乐合成和生成引擎的旋律子乐句长度进行生成子系统(B25)中维护的基于概率的参数表。如图28L1中所示出的,对于由系统支持的被配置成在图32A至图32F中的情感描述符表中指定的示例性情感类型音乐体验描述符——快乐——的每个情感类型音乐体验描述符,为系统支持的旋律开始进入子乐句的每个1/4音符数量提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
旋律长度表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多个)长度和/或(多个)节奏值。通过将适当参数集加载到由子系统B1、B37、B40 和B41确定的各子系统中来使用旋律长度表,并且通过图27Y中展示的引导随机过程,子系统B25作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对旋律子乐句生成子系统(B24)内的参数表的说明
图28L2示出了在本发明的自动音乐合成和生成引擎的旋律子乐句长度生成子系统(B24)中维护的基于概率的参数表的示意性表示。如图28L2中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的进入子乐句的每个1/4音符提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
子乐句旋律布局表的主要功能是提供框架以确定旋律或其他音乐事件的时间上的(多个)位置。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用子乐句旋律布局表,并且通过图27Z1和图27Z2中展示的引导随机过程,子系统B24作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对旋律音符节奏生成子系统(B26)内的参数表的说明
图28M示出了在本发明的自动音乐合成和生成引擎的旋律音符节奏生成子系统(B26)中维护的基于概率的参数表。如图28M中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个初始音符长度和第二和弦长度提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
初始音符长度表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的(多个)初始音符的持续时间。通过将适当参数集加载到由子系统B1、B37、 B40和B41确定的各子系统中来使用初始音符长度表,并且通过图27DD1、图27DD2 和图27DD3中展示的引导随机过程,子系统B26作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对初始音高生成子系统(B27)内的参数表的说明
图28N示出了在本发明的自动音乐合成和生成引擎的初始音高生成子系统(B27)中维护的基于概率的参数表。如图28N中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个音符(即,由音乐字母指示) 提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用此基于概率的参数表。
初始旋律表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多种)初始旋律和/或(多种)旋律素材的(多个)音高。通过将适当参数集加载到由子系统B1、B5、B7和B37确定的各子系统中来使用旋律长度表,并且通过图27EE 中展示的引导随机过程,子系统B27作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对子乐句音高生成子系统(B29)内的参数表的说明
图28O1、图28O2和图28O3示出了在本发明的自动音乐合成和生成引擎的子乐句音高生成子系统(B29)中维护的基于概率的系统操作参数(SOP)表。如图28O1、图28O2和图28O3中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每个原始音符(即,由音乐字母指示)以及跳跃反转提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
旋律音符表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多种)旋律和/或(多种)旋律素材的(多个)音高。通过将适当参数集加载到由子系统B1、B5、B7和B37确定的各子系统中来使用旋律音符表,并且通过图27FF1、图 27FF2和图27FF3中展示的引导随机过程,子系统B29作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的 (多个)确定。
和弦修改器表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构的(多种)旋律和/或(多种)旋律素材的(多个)音高。通过将适当参数集加载到由子系统B1、B5、B7和B37确定的各子系统中来使用旋律音符表,并且通过图27FF1、图27FF2和图27FF3中展示的引导随机过程,子系统B29作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
跳跃反转修改器表的主要功能是提供框架以影响音乐作品、乐节、乐句或其他结构的(多种)旋律和/或(多种)旋律素材的(多个)音高。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用跳跃反转修改器表,并且通过图 27FF1、图27FF2和图27FF3中展示的引导随机过程,子系统B29作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
跳跃激励修改器表的主要功能是提供框架以影响音乐作品、乐节、乐句或其他结构的(多种)旋律和/或(多种)旋律素材的(多个)音高。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用跳跃激励修改器表,并且通过图 27FF1、图27FF2和图27FF3中展示的引导随机过程,子系统B29作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对音高八度生成子系统(B30)内的参数表的说明
图28P示出了在本发明的自动音乐合成和生成引擎的音高八度生成子系统(B30)中维护的基于概率的参数表。如图28P中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,提供一组概率测度以便在本发明的自动音乐合成和生成过程期间使用。
旋律音符八度表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的(多个)音符的(多个)特定频率。通过将适当参数集加载到由子系统B1、B37、 B40和B41确定的各子系统中来使用旋律音符八度表,并且通过图27HH1和图27HH2 中展示的引导随机过程,子系统B30作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对乐器子系统(B38)内的参数表的说明
图28Q1A和图28Q1B示出了在本发明的自动音乐合成和生成引擎的乐器子系统(B38)中维护的基于概率的乐器表。如图28Q1A和图28Q1B中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每种乐器提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
乐器表的主要功能是提供框架以存储乐器的本地库,根据所述本地库,乐器选择器子系统B39可以在音乐合成过程的随后阶段期间作出选择。子系统B38内不存在引导随机过程,也不存在关于应当从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的任何(多个)确定。这种决策发生在乐器选择器子系统B39内。
对乐器选择器子系统(B39)内的参数表的说明
图28Q2A和图28Q2B示出了在本发明的自动音乐合成和生成引擎的乐器选择器子系统(B39)中维护的基于概率的乐器乐节表。如图28Q1A和图28Q1B中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每种乐器提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些基于概率的参数表。
乐器选择表的主要功能是提供框架以确定将在音乐作品、乐节、乐句或其他结构中使用的一种或多种乐器。通过将适当参数集加载到由子系统B1、B37、B40和B41 确定的各子系统中来使用乐器选择表,并且通过图27JJ1和图27JJ2中展示的引导随机过程,子系统B39作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对配器生成子系统(B31)内的参数表的说明
图28R1、图28R2和图28R3示出了在本发明的自动音乐合成和生成引擎的如在图27KK1值图27KK9中展示的配器生成系统(B31)中维护的基于概率的参数表。如图28R1、图28R2和图28R3中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每种乐器提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些参数表。
乐器配器优化表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的顺序和/或过程。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用乐器配器优化表,并且通过图27KK1中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
乐器功能表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的每种乐器的音乐功能。通过加载如由B1和B37确定的适当参数集来使用乐器功能表,并且通过图27KK1中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
钢琴手功能表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的钢琴的每个手的音乐功能。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用钢琴手功能表,并且通过图27KK2和图27KK3中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
钢琴调音表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的钢琴的每个手的每个音符的调音。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用钢琴调音表,并且通过图27KK3中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
钢琴节奏表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的钢琴的每个事件在时间上的安排。通过将适当参数集加载到由子系统B1、B37、B40 和B41确定的各子系统中来使用钢琴节奏表,并且通过图27KK3中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
第二音符右手表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的钢琴的右手的每个非初始事件在时间上的安排。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用第二音符右手表,并且通过图27KK3 和图27KK4中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
第二音符左手表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的钢琴的左手的每个非初始事件在时间上的安排。通过将适当参数集加载到由子系统B1、B37、B40和B41确定的各子系统中来使用第二音符左手表,并且通过图27KK4 中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
第三音符右手表的主要功能是提供框架以确定音乐作品、乐节、乐句或(多个) 其他结构中的钢琴的右手中的第三音符的节奏长度。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用第三音符右手长度表,并且通过图27KK4和图27KK5中展示的引导随机过程,子系统B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个) 确定。
钢琴动态表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的钢琴的音乐表达。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用钢琴调音表,并且通过图27KK6和图27KK7中展示的引导随机过程,子系统 B31作出关于将从参数表中选择并在本发明的自动音乐合成和生成过程期间使用什么(多个)值和/或(多个)参数的(多个)确定。
对控制器代码生成子系统(B32)内的参数表的说明
图28S示出了在本发明的自动音乐合成和生成引擎的如图27LL中展示的控制器代码生成子系统(B32)中维护的基于概率的参数表。如图28S中所示出的,对于由系统支持并且由系统用户选择的每个情感类型音乐体验描述符,为系统支持的每种乐器提供概率测度,并且在本发明的自动音乐合成和生成过程期间使用这些参数表。
乐器控制器代码表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的乐器的音乐表达。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用乐器控制器代码表,并且通过引导随机过程的过程,作出关于将使用什么 (多个)值和/或(多个)参数的(多个)确定。
乐器组控制器代码表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的乐器组的音乐表达。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用乐器组控制器代码表,并且通过引导随机过程的过程,作出关于将使用什么(多个)值和/或(多个)参数的(多个)确定。
作品宽度控制器代码表的主要功能是提供框架以确定音乐作品、乐节、乐句或其他结构中的整体音乐表达。通过将适当参数集加载到由子系统B1和B37确定的各子系统中来使用作品宽度控制器代码表,并且通过图27LL中展示的引导随机过程的过程,作出关于将使用什么(多个)值和/或(多个)参数的(多个)确定。
向本发明的自动音乐合成和生成系统内的子系统分配基于概率的系统操作参数 (SOP)的方法
存在不同方法,借助于所述方法,由参数转换引擎子系统B51生成的基于概率的音乐理论参数可以在由本发明的自动音乐合成和生成系统的对应子系统支持的自动音乐合成过程期间传送至所述对应子系统并在其中进行访问。以下将详细描述若干不同方法。
根据贯穿本发明的说明性实施例描述的第一优选方法,以下操作以有组织的方式发生:
(i)系统用户向系统输入子系统B0提供一组情感和风格类型音乐体验描述符(例如,快乐和流行)和定时/空间参数(t=32秒),所述音乐体验描述符和定时/空间参数然后传送至参数转换引擎子系统B51;
(ii)参数转换引擎子系统B51自动地仅生成与快乐情感描述符和流行风格描述符相对应的那些基于概率的参数表组,并且将这些音乐理论参数集织到其对应情感/ 风格特定参数表(或其他适合数据的结构,如列表、阵列等)中;并且
(iii)子系统B1、B37和B51中的任何一个或多个用于将来自子系统B51的基于概率的情感/风格特定参数表传送至其目标子系统,其中,这些情感/风格特定参数表被加载到所述子系统中以便根据图29A和图29B中描述的定时控制过程在本发明的自动音乐合成过程的执行循环中的特定时间/阶段处进行访问和使用。
使用此第一方法,不需要将情感和风格类型音乐体验参数传送至采用基于概率的参数表的众多子系统中的每一个。原因是,因为所述子系统加载有包含音乐理论参数值的情感/风格特定参数表,所述音乐理论参数值试图实施系统用户期望的并且由系统用户选择且供应给系统接口的情感类型和风格类型音乐体验描述符表征的音乐体验。因此,在此方法中,系统用户的音乐体验描述符不需要传输经过参数转换引擎子系统B51,因为从此子系统B51中生成的音乐理论参数表固有地包含由系统用户选择的情感和风格类型音乐体验描述符。将需要借助于如贯穿附图展示的定时参数捕获子系统B40将来自系统用户的定时/空间参数传输至特定子系统。
根据第二优选方法,以下操作将以有组织的方式发生:
(iii)在系统配置和建立期间,参数转换引擎子系统B51用于自动地生成与可用于由系统用户在基于GUI的输入输出子系统B0处选择的情感描述符和风格描述符中的所有相对应的所有可能的(即,容许的)基于概率的参数表组,并且然后将这些音乐理论参数集织到其对应情感/风格参数表(或其他适合数据的结构,如列表、阵列等)中;
(ii)在系统配置和建立期间,子系统B1、B37和B51用于跨系统数据总线将所有一般基于概率的参数表组传送至其对应目标子系统,在所述对应目标子系统中,其加载到存储器中;
(iii)在系统运行和使用期间,系统用户向系统输入子系统B0提供特定情感和风格类型音乐体验描述符(例如,快乐和流行)和定时/空间参数(t=32秒)组,所述音乐体验描述符和定时/空间参数然后由参数捕获子系统B1、B37和B40接收;
(iv)在系统运行和使用期间,参数捕获子系统B1、B37和B40将这些情感描述符和风格描述符(由系统用户选择)传送至系统中的各子系统;并且
(v)在系统运行和使用期间,传输至子系统的情感描述符和风格描述符然后由每个子系统用于访问仅与所选情感和风格描述符(例如,快乐和流行)有关的一般基于概率的参数表的特定部分,以便根据图29A和图29B中描述的定时控制过程在本发明的自动音乐合成过程的执行循环中的特定时间/阶段处访问和使用。
使用此第二方法,需要将情感和风格类型音乐体验参数符传送至采用基于概率的参数表的众多子系统中的每一个。原因是,因为子系统需要具有关于哪些包含音乐理论参数值的情感/风格特定参数表应当在子系统内的自动音乐合成过程期间被访问和使用的信息。因此,在此第二方法中,系统用户的情感和风格音乐体验描述符必须通过参数捕获子系统B1和B37传输至系统中的各子系统,因为一般音乐理论参数表不包含由系统用户选择的情感和风格类型音乐体验描述符。而且当使用此第二方法时,将需要借助于如贯穿附图展示的定时参数捕获子系统B40将来自系统用户的定时/空间参数传输至特定子系统。
尽管上述方法是优选的,但是应理解的是,其他方法可以用于实践用于根据本发明的精神自动地合成和生成音乐的自动系统和方法。
对本发明的自动音乐合成系统中采用的B级子系统以及在本发明的自动音乐合成 和生成过程的执行期间由每个子系统支持并且在每个子系统内执行的特定信息处理操作 的说明
现在将参照图27A至图27XX中阐述的示意性说明对本发明的系统(S)及其引擎(E1)中采用的每个B级子系统以及由每个子系统在此处的自动音乐合成和生成过程的每个完整循环期间支持的特定信息处理操作和功能的更加详细技术说明。
显然,将通过考虑系统响应于系统用户提供以下系统输入而使用自动虚拟乐器音乐合成方法在逐音符、逐和弦的基础上生成完整音乐作品的示例来给出对每个子系统以及在自动音乐合成过程期间执行的操作的描述:(i)情感类型音乐描述符=快乐; (ii)风格类型描述符=流行;以及(iii)定时参数t=32秒。
如在附图中所示出的,示例性自动音乐合成和生成过程开始于图27F中示出的长度生成子系统B2,并且通过完成合成示例性音乐作品的图27KK9继续进行,并且在控制器代码生成子系统生成用于音乐合成的控制器代码信息的图27LL中恢复,并且图27MM中示出的子系统B33至图27PP中的子系统B36完成生成用于递送至系统用户的已合成数字音乐作品。此整个过程在子系统控制子系统B60(即,子系统控制子系统A9)下控制,在所述子系统控制子系统中,如图29A和图29B中展示的以时钟机构方式生成和分配定时控制数据信号。
而且,尽管子系统B1、B37、B40和B41不有助于在自动音乐合成过程期间生成音乐事件,但是这些子系统执行涉及收集、管理和分配从系统用户捕获的并且然后以用户透明的方式供应给参数转换引擎子系统B51的情感、风格和定时/空间参数的基本功能,其中,这些供应的音乐体验和定时/空间参数集自动地转换并映射到在表或其他合适的数据/信息结构中组织的相应音乐理论系统操作参数集中,所述其他合适的数据/信息结构在如图25A中展示的子系统控制子系统B60的控制下被分配给并加载到其对应子系统中。子系统控制子系统B60的功能是生成如图29A和图29B中展示的定时控制数据信号,所述功能是响应于系统用户输入到输入输出子系统B0而使每个子系统在特定时刻处于运行中,精确地与其他子系统协作,从而使得子系统的输入和输出数据端口之间的数据流路径中的所有以适当的时间顺序启用,从而使得每个子系统具有执行其操作并且贡献于本发明的自动音乐合成和生成过程所需要的必要数据。尽管在图26A至图26P中展示的B级子系统架构处未示出控制数据流线,但是在图25A中示出的相应模型中展示了这种控制数据流路径,其中,输入子系统A0 的输出端口连接至子系统控制子系统A9的输入端口,并且子系统A9的输出数据端口提供给子系统A1至A8的输入数据端口。相应数据流路径在B级示意性表示处存在,但是为了清楚的说明并为示出。
对基于用户GUI的输入输出子系统(B0)的说明
图27A示出了在本发明的自动音乐合成和生成引擎和系统(E1)中使用的基于用户GUI的输入输出子系统(B0)的示意性表示。在运行期间,系统用户与系统的 GUI或其他支持的接口机构交互以便传达他的、她的或它的(多个)期望的音乐体验描述符(例如,情感描述符和(多个)风格描述符)和/或定时信息。在说明性实施例和示例性说明中,(i)将情感类型音乐体验描述符=快乐提供给引擎的输入输出系统B0以便分配给(情感)描述符参数捕获子系统B1,(ii)将风格类型音乐体验描述符=流行提供给引擎的输入输出系统B0以便分配给风格参数捕获子系统B37,并且(iii)将定时参数t=32秒提供给引擎的输入输出系统B0以便分配给定时参数捕获子系统B40。这些子系统进而将供应的音乐体验参数和定时/空间数据组传送至图 27B3A、图27B3B和图27B3C中示出的参数转换引擎子系统B51的输入数据端口,其中,参数转换引擎子系统B51然后生成适当的基于概率的参数编程表组以便随后分配并加载到跨系统的各子系统中以在准备执行的自动音乐合成和生成过程中使用。
对描述符参数捕获子系统(B1)的说明
图27B1和图27B2示出了在本发明的自动音乐合成和生成引擎中使用的(情感类型)描述符参数捕获子系统(B1)的示意性表示。描述符参数捕获子系统B1充当允许用户指定他的或她的优选情感、情绪和/或针对音乐的其它描述符的输入机构。其是交互式子系统,用户对所述交互式子系统具有创造性控制,所述控制在所述子系统的边界内设置。
在说明性示例中,系统用户向描述符参数捕获子系统B1提供示例性“情感类型”音乐体验描述符——快乐。这些参数由参数转换引擎B51用于生成基于概率的参数编程表以便随后分配给其中的各子系统,并且进行随后的子系统建立并在本发明的自动音乐合成和生成过程期间的使用。
一旦输入了参数,参数转换引擎子系统B51就生成系统操作参数表,并且然后子系统51将相关数据表、数据集和其他信息加载到跨系统的其他子系统中的每一个中。情感类型描述符参数可以由系统用户手动地或半自动地或者由子系统自身自动地输入到子系统B51。在处理输入参数时,子系统51可以将情感描述符参数提炼(即,解析和转换)成如图30至图30J中描述的描述符的任何组合。而且,当提供基于文本的情感描述符时,以简短的叙述形式来说,描述符参数捕获子系统B1可以解析和分析供应的文本叙述中的单词并将其转译成具有如图30至图30J中展示的情感描述符库中的入口的情感类型描述符单词,所以通过转译过程,实际上任何单词组可以用于表达寄存在图30至图30J的情感描述符库中的一个或多个情感类型音乐描述符并且用于描述系统用户想要由本发明的系统自动合成的音乐类别。
优选地,所提炼的描述符的数量在一和十之间,但是所述数量可以并且将从实施例到实施例、从应用到应用变化。如果存在多个所提炼的描述符且有必要,则参数转换引擎子系统B51可以通过组合先前存在的数据表、数据集和其他信息来创建新参数数据表、数据集和其他信息以便准确地表示所输入的描述符参数。例如,描述符参数“快乐”可以加载与大调和弱拍速度有关的参数数据集。将参照以下更加详细描述的参数转换引擎子系统B51更加详细地描述此转换和映射过程。
除了执行上文指定的音乐理论和信息处理功能之外,当有必要或有用时,系统 B1还可以帮助参数转换引擎系统B51将基于概率的音乐理论系统操作参数(SOP) 表(或类似数据结构)传送至贯穿本发明的自动音乐合成和生成系统部署的各子系统。
对风格参数捕获子系统(B37)的说明
图27C1和图27C2示出了在本发明的自动音乐合成和生成引擎和系统中使用的风格参数捕获子系统(B37)的示意性表示。风格参数捕获子系统B37充当允许用户指定他的或她的音乐作品的(多个)优选风格参数的输入机构。其是交互式子系统,用户对所述交互式子系统具有创造性控制,所述控制在所述子系统的边界内设置。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。音乐元素(旋律、节奏、和声、动态、形式等)的风格或特性方式的表示是任何音乐作品的基本构建块。在图27C1和图27C2的说明性示例中,子系统中采用的基于概率的参数编程表针对示例性“风格类型”音乐体验描述符=流行而建立并且在本发明的自动音乐合成和生成过程期间使用。
风格类型描述符参数可以由系统用户手动地或半自动地或者由子系统自身自动地输入。一旦参数被输入,参数转换引擎子系统B51就接收来自B37的用户的音乐风格输入并且通常通过分析存在并关于当前提供的风格描述符的表组来生成跨系统的剩余部分的相关概率表。如果请求多个描述符,则参数转换引擎子系统B51生成反映所提供的风格描述符的组合的系统操作参数(SOP)表,并且然后子系统B37将这些参数表加载到其对应子系统中。
在处理输入参数时,参数转换引擎子系统B51可以将输入参数提炼成如图33A 至图33E中描述的风格的任何组合。所提炼的风格的数量可能在一和十之间。如果存在多个所提炼的风格且有必要,则参数转换子系统B51可以通过组合先前存在的数据表、数据集和其他信息来创建新参数数据表、数据集和其他信息以便生成准确地表示所输入的描述符参数的系统操作参数表。
除了执行上文指定的音乐理论和信息处理功能之外,当有必要或有用时,子系统B37还可以帮助参数转换引擎系统B51将基于概率的音乐理论系统操作参数(SOP) 表(或类似数据结构)传送至贯穿本发明的自动音乐合成和生成系统部署的各子系统。
对定时参数捕获子系统(B40)的说明
图27D示出了本发明的自动音乐合成和生成引擎(E1)中使用的定时参数捕获子系统(B40)。定时参数捕获子系统B40在本地决定定时生成子系统B41是否被加载和使用,或者正被创建的音乐作品是否将是由系统自身内的过程确定的特定预设长度。定时参数捕获子系统B40确定定时参数将针对音乐作品创建的方式。如果用户选择手动地输入定时参数,则某个用户界面将对用户可用。如果用户不选择手动地输入定时参数,则某个用户界面可能对用户不可用。如图27E1和图27E2中所示出的,当音乐开始时、当音乐停止时,当音乐音量增大和减小时并且在音乐重音将沿着针对音乐合成表示的时间线发生时,子系统B41允许对正在合成的音乐作品的长度的定时的说明。在运行期间,定时参数捕获子系统(B40)向定时生成子系统(B41)提供定时参数以便分配给系统中的各子系统,并且进行随后的子系统建立并在本发明的自动音乐合成和生成过程期间使用。
除了执行上文指定的音乐理论和信息处理功能之外,当有必要或有用时,子系统B40还可以帮助参数转换引擎系统B51将基于概率的音乐理论系统操作参数(SOP) 表(或类似数据结构)传送至贯穿本发明的自动音乐合成和生成系统部署的各子系统。
对本发明的参数转换引擎(PTE)(B51)的说明
如图27B3A、图27B3B和图27B3C中所展示的,参数转换引擎子系统B51被示出集成有用于分别处理由系统用户通过子系统B0供应的情感类型、风格类型和定时类型参数的子系统B1、B37和B40。参数转换引擎子系统B51通过接受来自子系统 B1、B37和B40的(多个)系统用户输入描述符和参数并且将这些参数(例如,(多个)输入)转换成系统将在其使用本文所公开的虚拟乐器音乐合成技术自动地合成和生成音乐期间使用的基于概率的系统操作参数表来执行本质功能。下文将参照图 27B3A至图27B3C更加详细地描述由参数转换引擎子系统(B51)用于处理任何音乐体验(例如,情感和风格)描述符以及定时和/或空间参数集以便在创建独特音乐作品时使用的经编程方法,其中,在输入子系统B0的系统用户接口处从可用菜单中选择的音乐体验描述符(例如,情感和风格描述符)以及定时和空间参数被自动地转换成相应基于概率的系统操作参数(SOP)表组,所述基于概率的系统操作参数表组在音乐合成和生成过程期间被加载到系统中的对应子系统中并在其中使用。
如以下将更加详细解释的,在子系统B51中支持的此参数转换过程采用在系统的子系统内维护的基于概率的系统操作参数(SOP)表内表示和表征的音乐理论概念,并且在执行由图29A和图29B中阐述的定时控制图中展示的定时信号控制的时间序列过程期间控制其操作。下文将详细地描述用于在设计、构造和操作参数转换引擎子系统(B51)时使用的各种参数转换原理和实践。
除了执行上文指定的音乐理论和信息处理功能之外,参数转换引擎系统B51完全能够将基于概率的音乐理论系统操作参数(SOP)表(或类似数据结构)传送至贯穿本发明的自动音乐合成和生成系统部署的各子系统。
对参数表处置和处理子系统(B70)的说明
通常,需要系统管理由系统用户选择的多个情感类型和风格类型音乐体验描述符以便产生用于在本发明的系统的子系统内使用的相应基于概率的音乐理论参数集。参数表处置和处理子系统B70的主要功能是如以下详细描述的在全局或局部层面解决此需要。
图27B5示出了结合本发明的自动音乐合成和生成引擎使用的参数表处置和处理子系统(B70)。参数表处置和处理子系统(B70)的主要功能是判定是否需要任何(多个)系统参数表转换以便以更方便且更容易在本发明的系统的子系统内处理和使用的形式产生系统参数表。参数表处置和处理子系统(B70)通过以下各项执行其功能: (i)从参数转换引擎子系统B51的数据输出端口中接收多个(即,一个或多个)情感/风格特定音乐理论系统操作参数(SOP)表,(ii)使用以下描述的参数表处理方法 M1、M2或M3之一处理这些参数表,并且(iii)以更方便且更容易在本发明的系统的子系统内处理和使用的形式生成系统操作参数表。
通常,存在实践本发明的此方面的两种不同方法:(i)如与配置有如图26A至图26J中示出的参数转换引擎子系统B51的参数表处置和处理子系统B70一起示出的,以全局方式执行参数表处置和转换处理操作;或者(ii)如与配置有如图28A至图28S 中所示出的支持基于概率的系统操作参数表的每个子系统的输入数据端口的参数表处置和处理子系统B70一起示出的,在每个子系统内,以局部方式执行参数表处置和转换处理操作。出于说明的目的,本文示出了两种方式。然而,以下将参照图26A 至图26J中示出和展示的全局实施方式描述参数表处置和处理子系统B70的细节。
如图26A至图26J中所示出的,参数表处置和处理子系统(B70)的数据输入端口连接至参数表处置和处理子系统B70的输出数据端口,而子系统B70的数据输出端口连接至(i)参数表档案数据库子系统B80,并且还连接至(ii)采用图28A至图 28S和本文公开的其他附图中展示的子系统B2、B3、B4、B5、B7、B9、B15、B11、 B17、B19、B20、B25、B26、B24、B27、B29、B30、B38、B39、B31、B32和B41 的参数表的输入数据端口。
如图27B5中所示出的,参数表处置和处理子系统B70接收一个或多个情感/风格索引系统操作参数表,并且根据具体情况判定是否需要系统输入(即,参数表)转换。在仅接收到单一情感/风格索引系统参数表的情况下,将不可能需要转换,并且因此系统参数表通常以穿过的方式传输至子系统B70的数据输出端口。在接收到两个或更多个情感/风格索引系统参数表的情况下,则可能的是,这些参数表将需要或受益于转换过程,因此子系统B70支持三种不同方法M1、M2和M3以便对在其数据输入端口处接收到的系统参数表进行操作,从而将这些参数表转换成更适合子系统内的最佳使用的形式的参数表。
存在三种考虑的实例情境以及用于在以下情况下使用的伴随规则:多个情感/风格音乐体验描述符提供给输入子系统B0,并且多个情感/风格索引系统参数表由参数转换引擎子系统B51自动地生成。
考虑第一种实例情境,其中,采用方法M1,子系统B70在多个情感/风格索引系统参数表当中作出确定,并且决定使用情感/风格索引系统参数表中的仅一个。
在情境方法1中,子系统B70认识到,或者在特定实例中或者作为整体趋势,在响应于输入到子系统B0的多个音乐体验描述符而生成的多个参数表当中,这些描述符索引参数表中的单一参数表可能被最佳利用。
作为示例,如果快乐的、充满活力的以及积极的都作为情感类型音乐体验描述符而输入,则针对充满活力生成的(多个)系统参数表可能提供必要的音乐框架以响应于所有三个输入,因为充满活力的包含快乐的和积极的。另外,如果圣诞节、假期以及冬天都作为风格类型音乐体验描述符而输入,则针对圣诞节的(多个)表可能提供必要的音乐框架以响应于所有三个输入。
进一步地,如果兴奋的和神经质的都作为情感类型音乐体验描述符而输入并且如果系统用户指定的兴奋:10分之9,其中,10是最大兴奋并且0是最小兴奋,以及神经质:10分之2,其中,10是最大神经质并且0是最小神经质(由此,可以通过但不限于在线上移动滑块或者通过以百分比输入到文本字段中来图形地传送每个描述符的量),则针对兴奋的(多个)系统参数表可能提供必要的音乐框架以响应于两个输入。在这些示例中的所有三个示例中,作为子集以及因此附加描述符的更特殊版本的音乐体验描述符被选择作为其(多个)表可能被使用的音乐体验描述符。
考虑第二种实例情境,其中,采用方法M2,子系统B70在多个情感/风格索引系统参数表当中作出确定,并且决定使用多个情感/风格描述符索引系统参数表的组合。
在情境方法2中,子系统B70认识到,或者在特定实例中或者作为整体趋势,在由子系统B51响应于输入到子系统B0的多个情感/风格描述符而生成的多个情感/风格描述符索引系统参数表当中,这些描述符索引系统参数表中的一些或所有的组合可能被最佳利用。根据方法M2,这种系统参数表的组合可能通过采用包括但不限于(多个)(加权)平均以及仅特定表中的(多个)特定描述符表主导的功能而创建。
作为示例,如果快乐的、充满活力的以及积极的都作为情感描述符而输入,则针对所有三个描述符的(多个)系统参数表可能一起很好的工作以便提供必要的音乐框架从而通过对每个子系统表中的数据求平均(使用同量加权)来响应于所有三个输入。另外,如果圣诞节、假期和冬天都作为风格描述符而输入,则针对所有三个的(多个) 表可能提供必要的音乐框架以便通过使用针对普通节奏生成子系统A1的圣诞节表、针对普通应该生成子系统A2的假期表以及针对控制器代码和所有其他子系统的假期和冬天系统参数表的组合来响应于所有三个输入。进一步地,如果兴奋的和神经质的都作为情感类型音乐体验描述符而输入并且如果系统用户指定的兴奋:10分之9,其中,10是最大兴奋并且0是最小兴奋,以及神经质:10分之2,其中,10是最大神经质并且0是最小神经质(由此,可以通过但不限于在线上移动滑块或者通过以百分比输入到文本字段中来图形地传送每个描述符的量),则采用加权平均的(多个)表中的权重可能受用户的说明水平的影响。在这些示例中的所有三个示例中,描述符不仅被分类为(多个)集和(多个)子集,还通过其到彼此的整体情感和/或风格谱内的关系分类。
考虑第三种实例情境,其中,采用方法M3,子系统B70在多个情感/风格索引系统参数表当中作出确定,并且决定不使用多个情感/风格描述符索引系统参数表中的任何。在情境方法3中,子系统B70认识到,或者在特定实例中或者作为整体趋势,在由子系统B51响应于输入到子系统B0的多个情感/风格描述符而生成的多个情感/ 风格描述符索引系统参数表当中,情感/风格索引系统参数表中的任何都没有被最佳利用。
作为示例,如果快乐的和悲伤的都作为情感描述符而输入,则系统可以确定针对如躁郁的(多个)单独描述符的(多个)表可能一起很好的工作以便提供必要的音乐框架来响应于两个输入。作为示例,如果原声的、独立音乐的以及民谣的都作为风格描述符而输入,则系统可以确定针对如钢琴、吉他、小提琴和班卓琴的(多个)单独描述符的(多个)表可能一起很好的工作以便提供必要的音乐框架(可能跟随以上方法2中描述的(多个)途径)来响应于输入。进一步地,如果兴奋的和神经质的都作为情感描述符而输入并且如果系统用户指定的兴奋:10分之9,其中,10是最大兴奋并且0是最小兴奋,以及神经质:10分之8,其中,10是最大神经质并且0是最小神经质(由此,可以通过但不限于在线上移动滑块或者通过以百分比输入到文本字段中来图形地传送每个描述符的量),则系统可以确定对这些输入的适当描述是恐慌的,并且缺乏针对恐慌的已有系统参数表组可以利用(可能类似)现有描述符的系统参数表以便自主地创建新描述符的表组,然后使用(多个)子系统的(多个)过程中的这些新系统参数表。
在这些示例中的所有示例中,子系统B70认识到存在或者可以创建(多个)附加或替代性描述符,所述描述符的相应系统参数表可以(一起)用于提供最终创建满足系统用户的(多个)意图的音乐作品的框架。
对参数表档案数据库子系统(B80)的说明
图27B6示出了在本发明的自动音乐合成和生成系统中使用的参数表档案数据库子系统(B80)。此子系统B80的主要功能是永久存储并归档用户账户简况、品味和偏好以及针对单独系统用户和系统用户群众生成的所有情感/风格索引系统操作参数 (SOP)表,所述内容已经对系统进行音乐合成请求并且已经响应于提供给系统的情感/风格/定时参数而提供关于系统合成的音乐作品的反馈。
如图27B6中所示出的,被实现为关系数据库管理系统(RBMS)、非关系数据库系统或其他数据库技术的参数表档案数据库子系统B80根据如图27B6中展示的数据库方案将数据存储在说明性实施例的表结构中。
如所示出的,基于GUI的输入输出子系统B0的输出数据端口连接至参数表档案数据库子系统B80的输出数据端口以便接收来自使用系统GUI接口的系统用户的数据库请求。如所示出的,涉及反馈和学习操作的子系统B42至B48的输出数据端口可操作地连接至参数表档案数据库子系统B80的数据输入端口以便发送针对归档的参数表的请求、访问数据库以修改数据库和参数表并且执行涉及系统反馈和学习操作的操作。如所示出的,参数表档案数据库子系统B80的数据输出端口可操作地连接至涉及反馈和学习操作的系统B42至B48的数据输入端口。而且,如图26A至图26P 中所示出的,参数表处置和处理子系统B7的输出数据端口连接至参数表档案数据库子系统B80的数据输入端口,以便对由此子系统B80处置、处理和产生用于未来分析、使用和处理的所有参数表的副本进行归档。
通常,尽管所有数据集、表和类似结构将全局地存储在参数表档案数据库子系统B80中,但是应当理解的是,系统还将支持子系统内的局部永久数据存储,如支持在本发明的系统上的自动音乐合成和生成过程期间在本文以高速和可靠方式执行的专业信息处理操作所需要的。
对定时生成子系统(B41)的说明
图27E1和图27E2示出了在本发明的自动音乐合成和生成引擎中使用的定时生成子系统(B41)。通常,定时生成子系统B41确定音乐作品的定时参数。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。包括但不限于或者指定音乐作品开始、停止、调整、重音、改变音量、改变形式、改变旋律、改变和弦、改变乐器法、改变配器、改变拍子、改变速度和/或改变描述符参数的定时参数是任何音乐作品的基本构建块。
定时参数捕获子系统B40可以被看作创建正被创建的音乐作品的定时映射,包括但不限于:作品的(多个)描述符、(多种)风格、描述符变化、风格变化、乐器变化、普通定时信息(开始、暂停、打击点、停止)、拍子(变化)、速度(变化)、调 (变化)、调性(变化)控制代码信息以及音频混合。此映射可以完全由用户、完全由子系统或者以用户与子系统之间的合作来创建。
更具体地,定时参数捕获子系统(B40)向定时生成子系统(B41)提供定时参数(例如,作品长度)以便生成与以下各项有关的定时信息:(i)待合成的作品的长度,(ii)音乐作品的开始,(iii)音乐作品的停止,(iv)音乐作品的音量的增大,以及(v)音乐作品中的待在本发明的自动音乐合成和生成过程期间创建的任何重音。
例如,系统用户可以请求音乐作品在某一点处开始、在几秒之后调整、在更久之后改变速度、暂停、恢复并且然后以大重音结束。将此信息传输至系统的子系统的剩余部分以便允许准确且成功的实施用户请求。可能还存在允许作品尽可能成功地创建的用户和系统输入的组合,包括当用户可以选择音乐的开始点但未能输入到停止点时的情境。在没有任何用户输入的情况下,系统将创建逻辑和音乐停止点。第三,在没有任何用户输入的情况下,系统可以尝试地创建整个定时参数集以便准确地递送其相信用户所期望的。
对长度生成子系统(B2)的说明
图27F示出了在本发明的自动音乐合成和生成引擎和系统中使用的长度生成子系统(B2)。通常,长度生成子系统B2确定正被生成的音乐作品的长度。长度是任何音乐作品的基本构建块。此信息基于用户输入(如果给出)、或计算确定的(多个) 值、或两者的组合。作品的由系统用户指定的时间长度被提供给长度生成子系统(B2) 并且此子系统生成待在本发明的自动音乐合成和生成过程期间合成的音乐作品的开始和停止位置。
在说明性实施例中,长度生成子系统B2获得来自子系统B41的定时映射信息并且确定音乐作品的长度。默认地,如果音乐作品被创建以伴随任何先前存在的内容,则音乐作品的长度将等于先前存在的内容的长度。如果用户想要手动地输入期望的长度,则用户可以以任何时间格式(如[小时:分钟:秒])插入期望的长度或者可以通过将数字里程碑(包括但不限于“音乐开始”和“音乐停止”)放置在图形地显示的时间线上来虚拟地输入期望的长度。此过程可以被重复或由子系统自身自主地完成。例如,使用系统的系统接口的用户可以沿着图形地显示的时间线选择某个点以便请求 (i)“音乐”开始,以及(ii)音乐持续三十秒,并且然后请求(通过系统接口)子系统在适当时间处自动地创建“音乐停止”里程碑。
如图27F中所示出的,长度生成子系统B2接收由系统用户选择的长度(或者以其他方式由系统自动指定的)作为输入并且使用此信息确定音乐作品沿着在系统的存储器结构中维护的乐谱表示的开始点。如图27F中所示出的,来自长度生成子系统 B2的输出被示出为沿着在合成的音乐作品的时间线的单一点。
对速度生成子系统(B3)的说明
图27G示出了在本发明的自动音乐合成和生成引擎中使用的速度生成子系统 B3。通常,速度生成子系统B3确定音乐作品完成时将具有的(多个)速度。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。音乐作品被执行或演奏的速度或速率是任何音乐作品的基本构建块。原则上,基于作品时间长度以及由(多个)系统用户提供给此子系统并且在本发明的自动音乐合成和生成过程期间使用的音乐体验参数来计算作品的速度(即,以每分钟节拍或BPM测量)。
如图27G中所示出的,速度生成子系统B3由图28A中示出的速度参数表和参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。如图28A 中所示出的,不同概率表(即,子表)由子系统B51针对每个潜在情感类型音乐体验描述符生成,在说明性实施例中,系统用户可以在过程的音乐体验说明阶段期间使用基于GUI的输入输出子系统B0选择所述情感类型音乐体验描述符。仅出于说明目的,尽管图28A、图28B和图28C针对系统用户可能已经选择的可能情感的宽阵列示出了示例性概率(音乐理论)系统操作参数(SOP)表,但是将理解的是,仅与实际上由系统用户选择的情感类型和风格类型描述符相对应的系统操作参数表将实际上由参数转换引擎子系统B51生成,并且然后在执行本发明的自动音乐合成过程期间分配给其对应子系统并加载到其中。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权速度参数表。在图27G中,在子系统B3中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分,如图 27G的底部展示的乐谱表示中展示的。
如图27G中所展示的,使用随机数生成器从加载到子系统B3中的基于概率的调性参数表中选择在合成的音乐作品的速度,在说明性实施例中,所述随机数生成器决定将选择来自参数表中的哪个参数。然而,在替代性实施例中,如图37至图49中所示出的,当歌词或语言/语音/歌曲/音乐输入由系统支持时,子系统内的参数选择机制可以使用更先进的方法。例如,在这种情况下,每个子系统内的参数选择机制可以基于在子系统内建立的与由来自系统用户的系统接收的歌词或其他语言/语音/歌曲输入的实际音高、节奏和/或和声特征有关的标准作出对参数值的选择。这种变化和修改将有效地约束在自动音乐合成过程期间在每个子系统内可用的决策路径,但同时允许正在合成的音乐如可能在许多应用中需要或期望的从商品类型音乐转变成更加艺术类型的音乐。
考虑长度生成子系统B2的输出,速度生成子系统创建作品的(多个)速度。例如,具有输入情感类型描述符“快乐”以及三十秒长度的作品可能具有:三分之一概率使用每分钟六十个节拍的速度、三分之一概率使用每分钟八十个节拍的速度以及三分之一概率使用每分钟一百个节拍的速度。如果音乐中存在多个乐节和/或开始和停止,则可以选择音乐定时参数和/或可能被选择的多个速度以及调节乐节之间的速度的速度曲线。此曲线可以持续极大时间量(例如,许多小节)或者可能不持续任何时间(例如,速度的瞬间变化)。
如图27G中所示出的,速度生成子系统B3由图28G中示出的速度表和参数选择机制(例如,以上描述的随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户使用输入子系统B0选择的各种音乐体验描述符的概率加权速度参数表。在图27G中,在子系统B3中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分。使用在子系统 B3内建立的基于概率的速度参数表选择作品的速度。如图27G中所示出的,来自速度生成子系统B3的输出是全休止符,在示例性音乐作品中,指示将存在每分钟60 个节拍。不存在在自动音乐合成过程的此阶段处确定的拍子分配。
对拍子生成子系统(B4)的说明
图27H示出了在本发明的自动音乐合成和生成引擎和系统中使用的拍子生成子系统(B4)。拍子或者提供音乐的拍子或节拍的重读或重音的循环模式是任何音乐作品的基本构建块。通常,拍子生成子系统确定正被生成的音乐作品的(多个)拍子。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。通常,基于作品时间长度以及提供给此子系统的音乐体验描述符来计算正在合成的音乐作品的拍子,其中,合成速度以每分钟节拍数(BPM)测量并且在本发明的自动音乐合成和生成过程期间使用。
如图27H中所示出的,拍子生成子系统B4由图28C中示出的拍子参数表和参数选择机制(例如,以上描述的随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户使用输入子系统B0选择的各种音乐体验描述符的概率加权参数表。在图27H中,在子系统B11中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分,如图27H的底部展示的乐谱表示中展示的。使用在子系统B4内建立的基于概率的拍子参数表选择作品的拍子。如图27H中所指示的,来自拍子生成子系统B4的输出是全休止符,在示例性音乐作品中,指示将存在60个四分音符以及4/4定时。显然,4/4定时指正在合成的音乐作品将需要在作品的每个小节期间演奏四(4)个四分音符。
对调生成子系统(B5)的说明
图27I示出了在本发明的自动音乐合成和生成引擎中使用的调生成子系统(B5)。调或者定义特定调性的特定音阶或音符序列是任何音乐作品的基本构建块。通常,调生成子系统B5确定正被生成的音乐作品的调。调生成子系统B5确定音乐作品将具有什么(多种)调。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。而且,作品的调基于由(多个)系统用户提供给系统的音乐体验参数来计算。合成调被选择并在本发明的自动音乐合成和生成过程期间使用。
如图27I中所示出的,此子系统由图28D中示出的调参数表和参数选择机制(例如,以上描述的随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对从输入子系统B0选择的各种音乐体验描述符的概率加权调参数表。在图27I中,在子系统B5中采用的基于概率的调参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分。使用在子系统B5内建立的基于概率的调参数表选择作品的调。如图27I中所示出的,来自调生成子系统B5的输出被指示为应用于由系统管理的乐谱表示的调符号。
对节拍计算器子系统(B6)的说明
图27J示出了在本发明的自动音乐合成和生成引擎中使用的节拍计算器子系统(B6)。节拍计算器子系统确定音乐作品中的节拍数量。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。节拍或者音乐的可以由指挥的手或指挥棒的上升或下降、由节拍器或由音乐中的重音指示的有规律的拍子是任何音乐作品的基本构建块。作品中的节拍数量基于提供给系统的作品长度以及由系统计算的速度来计算,其中,在本发明的自动音乐合成和生成过程期间使用合成节拍数量。
如图27J中所示出的,节拍计算器子系统B6由图27J中示意性展示的节拍计算机制支持。此子系统B6通过将作品的长度乘以作品的速度的导数或者通过将作品的每个乐节的长度乘以相应乐节的速度的导数并将结果相加来计算音乐作品中的节拍数。例如,具有每分钟六十个节拍的速度和4/4拍子的三十秒音乐作品将具有[30秒* 1/每分钟60个节拍]三十节拍,其中,每个节拍表示每个小节中的单个四分音符。节拍计算器子系统B6的输出是正在合成的音乐作品中的经计算的节拍数。如图27J中所示出的,案例32节拍已经被计算,如示出为在正被系统管理的乐谱表示上表示的。
对小节计算器子系统(B8)的说明
图27K示出了在本发明的自动音乐合成和生成引擎和系统中使用的小节计算器子系统(B8)。小节计算器子系统B8确定音乐作品中的完整和不完整小节的数量。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。小节或者音乐作品的包含固定节拍数量的最小韵律分类的标记是任何音乐作品的基本构建块。作品中的小节数量基于作品中的节拍数量以及作品的所计算的拍子来计算,其中,在本发明的自动音乐合成和生成过程期间使用作品中的拍子。
如图27K中所示出的,小节计算器子系统B8由图27K中示意性展示的节拍计算机制支持。在仅具有一个拍子的作品中,此子系统将每件音乐作品中的节拍数除以作品的(多个)拍子的分子来确定音乐作品中有多少小节。例如,具有每分钟六十个节拍的速度和4/4拍子以及因此三十个节拍的三十秒音乐作品将具有[30/4]七个半节拍,其中,每个节拍表示每个小节中的单个四分音符。小节计算器子系统B8的输出是正在合成的音乐作品中的经计算的小节数。如图27K中所示出的,在示例中,8拍子已经被示出为在正被系统管理的乐谱表示上表示。
对调性生成子系统(B7)的说明
图27L示出了在本发明的自动音乐合成和生成引擎和系统中使用的调性生成子系统(B7)。调性或者音乐作品的围绕基于大调、小调或其他音阶的主音的主要组织是任何音乐作品的基本构建块。调性生成子系统确定音乐作品的一种或多种调性。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27L中所示出的,此子系统B7由图28E中示出的调性参数表和参数选择机制(例如,以上描述的随机数生成器、或基于歌词输入的参数选择器)支持。
每个参数表包含和为1的概率。每个特定概率包含0-1域的特定部分。如果随机数在概率的特定部分内,则其被选择。例如,如果两个参数A和B,每个具有50%的机会被选择,则如果随机数落入0-5之间,其将选择A,并且如果其落入5-1之间,其将选择B。
使用在子系统B7内建立的基于概率的调性参数表选择作品的调性的数量。参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权调性参数表。在图27L中,在子系统B7中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分,如图27L的底部展示的乐谱表示中展示的。
考虑提供给子系统B0的所有系统用户输入,此系统B7创建作品的(多种)调性。例如,具有输入描述符“快乐”、三十秒长度、每分钟六十个节拍的速度、4/4拍子以及C调的作品可能具有三分之二概率使用大调调性或者三分之一概率使用小调调性。如果音乐中存在多个乐节、音乐定时参数、和/或开始和停止,则可以选择多种调性。调性生成子系统B7的输出是正在合成的音乐作品的所选调性。在示例中,图27L中选择“大调音阶”调性。
对歌曲形式生成子系统(B9)的说明
图27M1和图27M2示出了在本发明的自动音乐合成和生成引擎中使用的歌曲形式生成子系统(B9)。形式或者音乐作品的结构是任何音乐作品的基本构建块。歌曲形式生成子系统确定音乐作品的歌曲形式。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27M1和图27M2中所示出的,此子系统由图28F中示出的歌曲形式参数表和歌曲形式子乐句表以及参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
通常,使用在子系统B9内建立的基于概率的歌曲形式子乐句参数表选择歌曲形式。参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权歌曲形式参数。在图27M1和图27M2中,在子系统 B9中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分,如附图的底部展示的乐谱表示中展示的。
考虑提供给子系统B0的所有系统用户输入,子系统B9创建作品的歌曲形式。例如,具有输入描述符“快乐”、三十秒长度、每分钟六十个节拍的速度以及4/4拍子的作品可能有三分之一概率为ABA形式(或替代性地被描述为主歌副歌主歌),三分之一概率为AAB形式(或替代性地被描述为主歌主歌副歌),或者三分之一概率为AAA形式(或替代性地被描述为主歌主歌主歌)。进一步地,歌曲形式的每个乐节可以具有多个子乐节,从而使得初始乐节A可以包括子乐节“aba”(跟随先前描述的相同可能概率和描述)。更进一步地,每个子乐节可以具有多个主题,从而使得子乐节“a”可以包括主题“i,ii,iii”(跟随先前描述的相同可能概率和描述)。
所有音乐具有某种形式,即使所述形式是空的、未被组织的、或不存在的。流行音乐传统上具有包括序曲、主歌、副歌、桥接、独奏、终曲等形式元素。每种形式元素可以使用字母来表示以便帮助以简明方式传达整体作品的形式,从而使得具有形式主歌副歌主歌的歌曲还可以被表示为ABA。歌曲形式乐句还可以具有在乐句自身内向歌曲提供结构的子乐句。如果主歌或A乐节由两个重复的诗节构成,则子乐句可能为“aa”。
如图27M1和图27M2中所示出的,歌曲形式生成子系统B9接收和加载来自子系统B51的歌曲形式表作为输入。尽管使用随机数生成器从歌曲形式表中选择歌曲形式,但是应理解的是,可以在如图37至图49中示出的其他系统实施例中使用其他基于歌词输入的机制。此后,歌曲形式子乐句参数表被加载,并且随机数生成器以并行方式选择,使用随机数生成器,子乐句被选择用于乐句的第一和第二子乐句乐节,但是应理解的是,可以采用其他选择机制。来自歌曲形式生成子系统B9的输出是所选歌曲形式和所选子乐句。
对子乐句长度生成子系统(B15)的说明
图27N示出了在本发明的自动音乐合成和生成引擎和系统中使用的子乐句长度(节奏长度)生成子系统(B15)。节奏或者将时间间隔细分成限定的、可重复的模式或音乐的实时受控移动是任何音乐作品的基本构建块。子乐句长度生成子系统B15 确定正在合成的音乐作品中的每个子乐句(替代性地被描述为子乐节或主题)的长度或节奏长度。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27N中所示出的,子乐句长度(节奏长度)生成子系统B15由图28G中示出的子乐句长度(即,节奏长度)参数表和参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权子乐句长度参数表组。在图27N中,在子系统B11 中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分,如图27N的底部展示的乐谱表示中展示的。
子乐句长度生成子系统(B15)确定正在合成的音乐作品的每个乐句内的子乐句的长度(即,节奏长度)。由以下各项来确定这些长度:(i)乐句的整体长度(即,与200秒的乐句相比,2秒的乐句将具有更少的子乐句选项),(ii)作品的定时必要性,以及(iii)情感类型和风格类型音乐体验描述符。
考虑提供给子系统B0的所有系统用户输入,此系统B15创建作品的子乐句长度。例如,30秒的音乐作品可以具有四个各自为7.5秒的子乐节、三个10秒的子乐节、或五个为4、5、6、7和8秒的子乐节。
例如,如子乐句长度生成子系统(B15)中所示出的,子乐句长度表被加载,并且对于所选歌曲形式中的每个子乐句,子系统B15以并行方式选择每个子乐句的长度小节并且创建子乐句长度(即,节奏长度)表作为来自子系统的输出,如图27N的底部阐述的音乐乐曲表示中展示的。
对和弦长度生成子系统(B11)的说明
图27O1、图27O2、图27O3和图27O4示出了在本发明的自动音乐合成和生成引擎和系统中使用的和弦长度生成子系统(B11)。节奏或者将时间间隔细分成限定的、可重复的模式或音乐的实时受控移动是任何音乐作品的基本构建块。和弦长度生成子系统B11确定音乐作品中的每个和弦的节奏(即,(多个)默认和弦长度)。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27O1和图27O4中所示出的,和弦长度生成子系统B11由图28H中示出的和弦长度参数表和如以上描述的参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
通常,基于由系统用户提供给系统的音乐体验描述符使用在子系统内建立的基于概率的和弦长度参数表选择和弦长度。在本发明的自动音乐合成和生成过程期间使用所选和弦长度,以便生成正在合成的音乐作品的一部分,如图27O4的底部展示的乐谱表示中所展示的。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权和弦长度参数表组。在图27O1至图27O4中,在子系统B11中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用,以便生成正在合成的音乐作品的一部分,如附图的底部展示的乐谱表示中展示的。
子系统B11使用系统用户供应的音乐体验描述符和定时参数以及加载到子系统B11的参数表来创建贯穿作品的的和弦长度(通常,尽管不必要,根据节拍和小节)。例如,4/4小节中的和弦可以持续两个节拍,并且基于此信息,下一个和弦可以持续 1个节拍,并且基于此信息,小节中的最后和弦可以持续1个节拍。第一和弦也可以持续一个节拍,并且基于此信息,下一个和弦可以持续3个节拍。
如图27O1至图27O4中所示出的,图28H中示出的和弦长度表从子系统B51处加载,并且以并行方式,使用初始和弦长度表确定第一子乐句a的初始和弦长度,并且使用初始和弦长度表和第二和弦长度表两者确定第一子乐句a的第二和弦长度,如所示出的。同样地,使用初始和弦长度表确定第二子乐句b的初始和弦长度,并且使用初始和弦长度表和第二和弦长度表两者确定第二子乐句b的第二和弦长度。针对案例中的所选歌曲形式ABA中的每个乐句重复此过程。如所示出的,对于所选歌曲形式中的乐句ABA,来自和弦长度生成子系统B11的输出是子乐句和弦长度组。这些子乐句和弦长度在图27O4中示出的乐谱表示上图形地表示。
对独特子乐句生成子系统(B14)的说明
图27P示出了在本发明的自动音乐合成和生成引擎和系统中使用的独特子乐句生成子系统(B14)。独特子乐句生成子系统B14确定正在合成的音乐作品中的每个乐句中有多少独特子乐句。此信息基于用户输入(如果给出)、或计算确定的(多个) 值、或两者的组合,并且是任何音乐作品的基本构建块。
如图27P中所示出的,此子系统B14由子乐句分析器和和弦长度分析器支持。独特子乐句生成子系统B20中的子乐句分析器的主要功能是确定一个或多个子乐句的功能和可能衍生物。在运行期间,子乐句分析器使用作品、乐节、乐句或音乐作品的其他长度的速度、拍子、形式、(多种)和弦、(多种)和声和结构来确定其输出。独特子乐句生成子系统B20中的和弦长度分析器的主要功能是确定和弦和/或子乐句的长度。在运行期间,和弦长度分析器使用作品、乐节、乐句或音乐作品的其他长度的速度、拍子、形式、(多种)和弦、(多种)和声和结构来确定其输出。
如图27P中所示出的,独特子乐句生成子系统B14使用子乐句分析器和和弦长度分析器来自动地分析从子乐句长度(节奏长度)生成子系统B15产生的数据输出 (即,子乐句长度小节组)以便生成作品中的独特子乐句数列表。例如,如果30秒音乐作品具有7.5秒子乐句,则可能存在四个各自出现一次的独特子乐句、三个独特子乐句(其中的两个各自出现一次并且其中的一个出现两次)、两个各自出现两次的独特子乐句或者一个出现四次的独特子乐句,并且独特子乐句生成子系统B14将在本发明的自动音乐合成和生成过程期间自动地作出这种确定。
对子乐句中和弦数量计算子系统(B16)的说明
图27Q示出了在本发明的自动音乐合成和生成引擎和系统中使用的子乐句中和弦数量计算子系统(B16)。子乐句中和弦数量计算器确定每个子乐句中有多少个和弦。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合,并且是任何音乐作品的基本构建块。使用经计算的独特子乐句来计算子乐句中和弦数量,并且其中,在本发明的自动音乐合成和生成过程期间使用子乐句中和弦数量。
如图27Q中所示出的,此子系统B16由和弦计数器支持。在运行期间,子系统 B16组合来自子系统B11、B14和B15的输出以便计算每个子乐句中有多少个和弦。例如,如果两小节子乐句中的每个和弦长度为一小节长,则子乐句中存在两个和弦,并且此数据将被产生作为来自子乐句中和弦数量计算子系统B16的输出。
对乐句长度生成子系统(B12)的说明
图27R示出了在本发明的自动音乐合成和生成引擎和系统中使用的乐句长度生成子系统(B12)的示意性表示。节奏或者将时间间隔细分成限定的、可重复的模式或音乐的实时受控移动是任何音乐作品的基本构建块。乐句长度生成子系统B12确定音乐作品中的每个乐句的长度或节奏。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。使用乐句长度分析器测量乐句的长度,并且然后在本发明的自动音乐合成和生成过程期间使用(多个小节中的)乐句的长度。
如图27R中所示出的,此子系统B12由乐句长度分析器支持。乐句长度分析器的主要功能是确定乐句的长度和/或节奏值。乐句长度分析器考虑所有子乐句的(多个)长度和/或(多个)节奏值以及音乐作品、乐节、乐句或(多个)附加节段的其他结构元素以便确定其输出。
考虑从子系统B1、B31和/或B40中接收的输入,子系统B12创建正被自动合成的音乐作品的乐句长度。例如,一分钟音乐作品可以具有两个三十秒乐句或三个二十秒乐句。先前创建的子乐节的长度用于通知每个乐句的长度,如一个或多个子乐节的组合创建乐句的长度。输出乐句长度在图27R中示出的乐谱表示上图形地展示。
对独特乐句生成子系统(B10)的说明
图27S示出了在本发明的自动音乐合成和生成引擎中使用的独特乐句生成子系统(B10)。乐句或者经常被认为是音乐的相关划分的音乐单元是任何音乐作品的基本构建块。独特乐句生成子系统B10确定多少个独特乐句将被包括在音乐作品中。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。使用子系统B10内的乐句分析器确定独特乐句数量,并且然后在本发明的自动音乐合成和生成过程期间使用独特乐句数量。
如图27S中所示出的,子系统B10由乐句(长度)分析器支持。乐句长度分析器的主要功能是确定乐句的长度和/或节奏值。乐句长度分析器考虑所有子乐句的(多个)长度和/或(多个)节奏值以及音乐作品、乐节、乐句或(多个)附加节段的其他结构元素以便确定其输出。
在独特乐句生成子系统(B10)内,乐句分析器分析从子系统B12供应的数据以便生成待合成的作品中的独特乐句或乐节数量的列表。如果一分钟音乐作品具有15 秒乐句,则可能存在四个各自出现一次的独特乐句、三个独特乐句(其中的两个各自出现一次并且其中的一个出现两次)、两个各自出现两次的独特乐句或者一个出现四次的独特乐句,并且此数据将被产生作为来自子系统B10的输出。
对乐句中和弦数量计算子系统(B13)的说明
图27T示出了在本发明的自动音乐合成和生成引擎中使用的乐句中和弦数量计算子系统(B13)。乐句中和弦数量计算器确定每个乐句中有多少个和弦。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合,并且是任何音乐作品的基本构建块。
如图27T中所示出的,子系统B13由和弦计数器支持。和弦计数器的主要功能是确定乐句中的和弦数量。子系统B13内的和弦计数器通过将每个乐句长度除以乐句内的和弦的节奏和/或长度来确定每个乐句中的和弦数量。例如,具有自始至终具有一致的一个四分音符和弦长度的4/4拍子的每分钟60个节拍的速度的30秒乐句将具有乐句中的三十个和弦。乐句中的经计算的和弦数量然后被提供作为来自子系统B13 的输出,并且在本发明的自动音乐合成和生成过程期间使用。
对初始普通节奏生成子系统(B17)的说明
图27U示出了在本发明的自动音乐合成和生成引擎和系统中使用的初始普通节奏生成子系统(B17)。和弦或者两个或更多个音符(通常至少三个)同时的声音是任何音乐作品的基本构建块。初始普通节奏生成子系统B17确定正在合成的音乐作品的初始和弦或(多个)音符。此信息基于用户输入(如果给出)、或计算确定的(多个) 值、或两者的组合。
如图27U中所示出的,初始普通节奏生成子系统B17由图28I中示出的初始和弦根音符表和图28I中示出的和弦功能表、和弦调性分析器以及上述参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。和弦功能调性分析器的主要功能是确定和弦或其他和声素材的调性并且因此确定包括在调性中的音高。在运行期间,和弦功能调性分析器考虑和弦或和声的(多种)调、(多个)音乐功能和(多个)根音符以便确定其调性。
参数转换引擎子系统B51生成针对由系统用户选择的并且供应给输入子系统B0的各种音乐体验描述符的概率加权根音符数据集以及和弦功能(即,参数表)。在图 27U中,在子系统27U中采用的基于概率的参数表(即,基于概率的初始和弦根表和基于概率的和弦功能表)针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在自动音乐合成和生成过程期间使用。
子系统B17使用由子系统B51生成和加载的参数表以便选择作品的初始和弦。例如,在C大调“快乐的”音乐作品中,可能存在三分之一概率初始和弦为C大调三和弦,三分之一概率初始和弦为G大调三和弦,以及三分之一概率初始和弦为F 大调三和弦。
如图27U中所示出的,子系统B17访问初始和弦根音符表并且使用随机数生成器和其他参数选择机制来选择初始和弦根(例如,在案例中,初始和弦根=7)。此后,子系统B17访问图28I中示出的和弦功能表,并且使用随机数生成器或其他参数选择机制来选择初始和弦功能(例如,在案例中,初始和弦功能=1)。然后子系统 B17使用和弦功能分析器来考虑和弦或和声的(多种)调、(多个)音乐功能和(多个)根音符以便确定初始和弦功能的调性。如所示出的,大调三和弦被标识为初始和弦功能调性,并且初始和弦被标识为G大调三和弦,其在图27U中示出的乐谱表示上示出。
对子乐句和弦进行生成子系统(B19)的说明
图27V1、图27V2和图27V3示出了在本发明的自动音乐合成和生成引擎中使用的子乐句和弦进行生成子系统(B19)。和弦或者两个或更多个音符(通常至少三个) 同时的声音是任何音乐作品的基本构建块。子乐句和弦进行生成子系统B19确定针对音乐作品的每个子乐句的和弦进行将是什么。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27V1、图27V2和图27V3中所示出的,子乐句和弦进行生成子系统B19 由和弦根表、和弦功能根修改器表、和弦根修改器表、当前功能表、以及图28J1和图28J2中示出的节拍根修改器表、节拍分析器、以及参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)。节拍分析器的主要功能是及时确定当前或 (多个)未来音乐事件的位置。节拍分析器使用作品、乐节、乐句或其他结构的速度、拍子和形式来确定其输出。
参数转换引擎子系统B51生成针对由系统用户选择的并供应给输入子系统B0的各种音乐体验描述符的概率加权子乐句和弦进行参数表组。在子系统中采用的基于概率的参数表(即,和弦根表、和弦功能根修改器表和节拍根修改器表)针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
如图27V1和图27V2中所示出的,子系统B19访问由子系统B51生成和加载的和弦根表,并且使用随机数生成器或合适的参数选择机制来选择作品的初始和弦。例如,在C大调“快乐的”音乐作品中,其中初始子乐句和弦为C大调,可能存在三分之一概率下一个和弦为C大调三和弦,三分之一概率下一个和弦为G大调三和弦,以及三分之一概率下一个和弦为F大调三和弦。此模型考虑每种可能的之前结果和所有可能的未来结果以便确定每个和弦被选择的概率。此过程从每个子乐句的开始重复到每个子乐句的结束。
如图27V2和图27V3中指示的,子系统B19访问加载到子系统中的和弦功能修改器表并且向和弦根表中的原始根音符列增加或减去值。
然后,如图27V2和图27V3中指示的,子系统B19如示出的访问加载到子系统 B19中的节拍根修改器表,并且通过考虑作品、乐节、乐句或其他结构的速度、拍子和形式使用节拍分析器及时确定当前或(多个)未来事件的位置,并且然后选择节拍根修改器。在案例中,小节中即将到来的节拍等于2。
子系统B19然后将节拍根修改器表值加到和弦根表中的原始根音符列值或从中减去节拍根修改器表值。
如图27V3中所示出的,使用随机数生成器或其他参数选择机制,子系统B19选择下一个和弦根。
开始于和弦功能根修改器表,重复上述过程直到已经选择了所有和弦。
如图27V3中所示出的,已经由子乐句和弦进行生成子系统B19自动选择的和弦在正在合成的音乐作品的乐谱表示上图形地示出。
对乐句和弦进行生成子系统(B18)的说明
图27W示出了在本发明的自动音乐合成和生成引擎和系统中使用的乐句和弦进行生成子系统(B18)。和弦或者两个或更多个音符(通常至少三个)同时的声音是任何音乐作品的基本构建块。乐句和弦进行生成子系统B18确定音乐作品中的每个乐句的和弦,除了初始和弦或(多个)音符之外。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。通常,使用子乐句分析器确定乐句和弦进行,并且其中,在本发明的自动音乐合成和生成过程期间使用改进的乐句,以便生成正在合成的音乐作品的一部分,如附图的底部展示的乐谱表示中所展示的。
如图27W中所示出的,乐句和弦进行生成子系统B18由子乐句(长度)分析器支持。子乐句(长度)分析器的主要功能是及时确定当前或(多个)未来音乐事件的位置。节拍分析器使用作品、乐节、乐句或其他结构的速度、拍子和形式来确定其输出。
在运行期间,乐句和弦进行生成子系统B18接收来自初始和弦生成子系统B17 的输出并从每个子乐句中修改、改变、添加和删除和弦以便生成每个乐句的和弦。例如,如果乐句由两个各自包含完全相同的和弦进行的子乐句组成,则可能存在一半概率第二子乐句中的第一和弦被改变用于创建针对乐句的更加音乐的和弦进行(跟随由子系统B51创建和加载的数据集和参数表)以及一半概率子乐句和弦进行保持不改变。
对和弦转位生成子系统(B20)的说明
图27X1、图27X2和图27X3示出了在本发明的自动音乐合成和生成引擎中使用的和弦转位生成子系统(B20)。和弦转位生成子系统B20确定音乐作品中的每个和弦的转位。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。转位或者和弦的音符的位置是任何音乐作品的基本构建块。使用初始和弦转位表和和弦转位表确定和弦转位。
如图27X1和图27X2中所示出的,此子系统B20由图28K中示出的初始和弦转位表与和弦转位表以及参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权和弦转位参数表组。在图27X1至图27X3中,子系统中采用的基于概率的参数表(即,初始和弦转位表和和弦转位表)针对示例性“情感类型”音乐体验描述符——快乐——而建立。
如图27X1和图27X2中所示出的,子系统B20接收来自子系统B19的输出作为输入,并且访问图28K中示出并由子系统B51加载的初始和弦转位表和和弦转位表。子系统B20使用随机数生成器或其他参数选择机制确定针对作品中的每个和弦的初始转位。
例如,如果C大调三和弦位于根位置(C,E,G)中并且下一个和弦是G大调三和弦,则可能存在三分之一概率G大调三和弦位于根位置中,三分之一概率G大调三和弦位于第一转位(E,G,C)中,以及三分之一概率G大调三和弦位于第二转位(G,C,E)中。
如图27X3中所示出的,在已经确定初始和弦的转位之后,重复和弦转位选择过程直到已经选择了所有和旋转位。所有先前转位确定影响所有未来转位确定。音乐作品、乐句、子乐句、和小节中的即将到来的和弦转位影响未来可能选择什么和弦转位的默认格局。
如图27X3中所示出的,经转位和弦的最终列表被示出为在位于图27X3的底部的乐谱表示中图形地显示。
对旋律子乐句长度生成子系统(B25)的说明
图27Y示出了在本发明的自动音乐合成和生成引擎中使用的旋律子乐句长度生成子系统(B25)。节奏或者将时间间隔细分成限定的、可重复的模式或音乐的实时受控移动是任何音乐作品的基本构建块。旋律子乐句长度生成子系统B25确定音乐作品中的每个旋律子乐句的长度或节奏。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27Y中所示出的,此子系统B25由图28L1中示出的旋律长度表和参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权子乐句长度数据集(即,参数表)。在图27Y中,子系统中采用的基于概率的参数编程表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
在运行期间,子系统B25使用所有先前独特子乐句长度输出作为输入结合由子系统B51加载的旋律长度参数表来确定每个子乐句旋律的长度。
如图27Y中指示的,子系统B25使用随机数生成器或其他参数选择机制来选择正在合成的音乐作品中的每个子乐句的旋律长度。例如,在5秒的子乐句中,可能存在一半概率贯穿整个子乐句,旋律与此子乐句一起发生,以及一半概率旋律完全不与此子乐句一起发生。如所示出的,旋律长度选择过程在过程中针对每个子乐句a,b 和c执行。
如在案例中所示出的,子系统B25的输出是分配给正在合成的音乐的一组旋律,即:a子乐句被分配有等于6/4的“d”长度;b子乐句被分配有等于7/4的“e”长度;并且,c子乐句被分配有等于6/4的“f”长度。
对旋律子乐句长度生成子系统(B24)的说明
图27Z1和图27Z2示出了在本发明的自动音乐合成和生成引擎中使用的旋律子乐句生成子系统(B24)。旋律或者包括模式、节奏和音高以便被安排用于实现乐型的一系列音调是任何音乐作品的基本构建块。旋律子乐句生成子系统确定音乐作品中的旋律中有多少个旋律子乐句。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27Z1和图27Z2中所示出的,旋律子乐句生成子系统B24由图28L2中示出的子乐句旋律布局表和以上描述的参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权旋律子乐句长度参数表组。在图27Z1中,子系统B24 中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
如图27Z1和图27Z2中所示出的,对于每个子乐句旋律d、e和f,旋律子乐句生成子系统B24访问子乐句旋律布局表,并且使用上文讨论的随机数生成器或其他参数选择机制选择子乐句旋律布局。
如案例中所示出的,子系统B24可以选择具有以下情况的表参数:一半概率在具有2个各自由三个5秒子乐句组成的乐句的30秒长度的作品中,所述三个5秒子乐句中的每一个可以包含B25中确定的特定长度的旋律。这是实例,存在一半概率所有三个子乐句的旋律长度可能包括在第一乐句的旋律长度中,以及一半概率三个子乐句的总旋律长度中的仅一个可能包括在第一乐句的总旋律长度中。
如图27Z1和图27Z2中所示出的,子系统B24从参数表中作出选择,从而使得子乐句旋律长度d应当开始进入子乐句的3个四分音符,子乐句旋律长度e应当开始进入子乐句的2个四分音符,并且子乐句旋律长度f应当开始进入子乐句的3个四分音符。子乐句的这些开始位置是旋律子乐句生成子系统B24的输出,并且在图27Z2 的底部阐述的针对由本发明的自动音乐合成过程合成的音乐作品的乐谱表示中的第一五线谱中展示。
对旋律乐句长度生成子系统(B23)的说明
图27AA示出了在本发明的自动音乐合成和生成引擎(E1)和系统中使用的旋律乐句长度生成子系统(B23)。旋律或者包括模式、节奏和音高以便被安排用于实现乐型的一系列音调是任何音乐作品的基本构建块。旋律乐句长度生成子系统B23确定音乐作品中的每个旋律乐句的长度或节奏。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。在本发明的自动音乐合成和生成过程期间使用旋律的所产生的乐句长度。
如图27AA中所展示的,旋律乐句长度生成子系统B23由子乐句旋律分析器支持。子乐句旋律分析器的主要功能是确定(多个)经修改的子乐句结构以便改变音乐作品的重要成分从而改进乐句旋律。子乐句旋律分析器考虑音乐作品、乐节、乐句或(多种)附加节段的旋律、和声和(多个)基于时间的结构以便确定其输出。通过检查节奏、和声以及它们存在于其中的全部音乐内容并且将它们改变或调整成更好地符合其内容来修改乐句旋律。
如图27AA中所示出的,旋律乐句长度生成子系统B23将子系统B24的输出转换成更大乐句级旋律素材。使用所有先前乐句和子乐句输出作为输入结合由子系统 B51加载的数据集和表,此子系统B23具有创建具有30秒长度的旋律作品的能力,所述30秒长度具有三个10秒乐句,所述三个10秒乐句中的每一个可以包含如子系统B24中确定的特定长度的旋律。所有三个乐句的所有三个旋律长度可以包括在作品的旋律长度中,或者三个乐句的总旋律长度中的仅一个可以包括在作品的总旋律长度中。存在旋律乐句结构中的许多可能变体,仅受用于生成正由本发明的系统(即,自动音乐合成和生成机器)合成的音乐作品的乐句和子乐句结构的语法约束。
如图27AA中所示出的,对于案例而言,旋律乐句长度生成子系统B23输出(i) 旋律乐句长度,以及(ii)当对于旋律子乐句d、e和f中的每一个而言旋律开始形成针对由本发明的自动系统合成的音乐作品的更大乐句级旋律素材作品时,进入子乐句的四分音符的数量。
然后在自动音乐合成和生成过程期间使用所产生的旋律乐句长度以便生成正在合成的音乐作品,如图27AA中的过程图的底部展示的乐谱表示的第一五线谱中展示的。
对旋律独特乐句生成子系统(B22)的说明
图27BB示出了在本发明的自动音乐合成和生成引擎中使用的独特乐句生成子系统(B22)。旋律或者包括模式、节奏和音高以便被安排用于实现乐型的一系列音调是任何音乐作品的基本构建块。旋律独特乐句生成子系统确定多少个独特旋律乐句将被包括在音乐作品中。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。使用独特旋律乐句分析器确定独特旋律乐句。此过程采用所有先前乐句和子乐句子系统的输出并且在确定需要为作品创建多少个独特旋律乐句时创建子系统B21需要以进行操作的音乐和非音乐数据。
如图27BB中所示出的,旋律独特乐句生成子系统B22由独特旋律乐句分析器支持,所述独特旋律乐句分析器使用音乐作品中的(多种)旋律和其他音乐事件确定和标识作品、乐节、乐句或其他音乐结构中的旋律或其他音乐事件的“独特”实例。独特旋律乐句是不同于其他旋律乐句的旋律乐句。
独特旋律乐句分析器比较音乐作品的作品、乐节、乐句或其他结构的旋律和其他音乐事件中的所有以便针对其数据输出确定独特旋律乐句。
如图27BB中所示出的,子系统B22使用独特旋律乐句分析器确定和标识供应给子系统B22的输入端口的旋律乐句d、e和f中的旋律或其他音乐事件的独特实例。
如图27BB中所示出的,来自旋律独特乐句生成子系统B22的输出是两(2)个独特旋律乐句。
然后在本发明的自动音乐合成和生成过程的随后阶段期间使用所产生的独特旋律乐句。
对旋律长度生成子系统(B21)的说明
图27CC示出了在本发明的自动音乐合成和生成引擎中使用的旋律长度生成子系统(B21)。旋律或者包括模式、节奏和音高以便被安排用于实现乐型的一系列音调是任何音乐作品的基本构建块。旋律长度生成子系统确定音乐作品中旋律的长度。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。使用乐句旋律分析器确定旋律长度。
如图27CC中所示出的,旋律长度生成子系统B21由乐句旋律分析器支持用于确定(多个)经修改的乐句结构以改变音乐作品的重要成分从而改进作品旋律。通常,所有乐句可以被修改用于创建改进的作品旋律。乐句旋律分析器考虑音乐作品、乐节、乐句或(多种)附加节段的旋律、和声(和弦)和(多个)基于时间的结构(速度、拍子)以便确定其输出。例如,乐句旋律分析器可以确定30秒音乐作品具有六个5 秒子乐句和三个各自由两个子乐句组成的10秒乐句。替代性地,乐句旋律分析器可以确定旋律为30秒且出现多于一次。
如图27CC中所示出的,子系统B21使用乐句旋律分析器来确定和标识具有旋律乐句d和e中的经修改的乐句结构的乐句旋律以便形成新乐句旋律d、d+e和e,如图 27CC中示出的乐谱表示中示出的。
然后在自动音乐合成和生成过程期间使用所产生的乐句旋律以便生成正在合成的音乐作品的更大部分,如图27CC中的过程图的底部展示的乐谱表示的第一五线谱中展示的。
对旋律音符节奏生成子系统(B26)的说明
图27DD1、图27DD2和图27DD3示出了在本发明的自动音乐合成和生成引擎中使用的旋律音符节奏生成子系统(B26)。节奏或者将时间间隔细分成限定的、可重复的模式或音乐的实时受控移动是任何音乐作品的基本构建块。旋律音符节奏生成子系统确定音乐作品的(多种)默认旋律音符节奏将是什么。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27DD1、图27DD2和图27DD3中所示出的。旋律音符节奏生成子系统B26 由图28M中示出的初始音符长度参数表以及初始和第二和弦长度参数表以及上文讨论的参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权参数表组。如图27DD1、图27DD2和图27DD3中所示出的,子系统中采用的基于概率的参数编程表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
如图27DD1至图27DD3中所示出的,子系统B26使用由子系统B51、B40和 B41加载的参数表选择旋律的初始节奏并且创建作品中的旋律(或多种旋律)的整个节奏素材。例如,在作为4/4拍中的一小节的旋律中,可能存在三分之一概率初始节奏可以持续两个节拍,并且基于此信息,下一个和弦可以持续1个节拍,并且基于此信息,小节中的最后和弦可以持续1个节拍。第一和弦也可以持续一个节拍,并且基于此信息,下一个和弦可以持续3个节拍。此过程继续直到作品的整个旋律素材已经被有节奏地创建并且正等待将音高素材分配给每个节奏。
显然,每个旋律音符的节奏取决于所有先前旋律音符的节奏;同一小节、乐句、和子乐句中的其他旋律音符的节奏;以及未来可能出现的旋律音符的旋律节奏。每个之前旋律音符节奏确定是针对特定旋律音符节奏的决策考虑的因素,从而使得第二旋律音符节奏受第一旋律音符节奏的影响,第三旋律音符节奏受第一和第二旋律音符节奏的影响,等等。
如图27DD1至图27DD3中所示出的,子系统B26管理多阶段过程:(i)选择旋律的初始节奏,并且(ii)创建正由自动音乐合成机器合成的作品中的旋律(或多种旋律)的整个节奏素材。
如图27DD1和图27DD2中所示出的,此过程涉及通过采用随机数生成器并将其结果映射到相关概率表中来选择初始音符长度(即,音符节奏)。在第一阶段期间,子系统B26使用随机数生成器(如上文所描述的)或如上文所讨论的其他参数选择机制从已经加载到子系统中的初始音符长度表中选择旋律乐句d的初始音符长度。然后,如图27DD2和图27DD3中所示出的,使用子系统B26,使用相同方法以及初始和第二和弦长度参数表,选择旋律乐句d的第二音符长度以及然后第三音符长度。所述过程继续直到旋律乐句长度充满四分音符。以下更加详细地描述了此过程。
如图27DD2中所示出的,通过首先选择表的与初始音符长度过程的结果匹配的列并且然后采用随机数生成器并将其结果映射到相关概率表来选择第二音符长度。在第二阶段期间,子系统B26开始将音符放入旋律子乐句d-e直到旋律开始,并且所述过程继续直到旋律乐句d-e充满音符。
如图27DD3中所示出的,通过首先选择表的与初始和第二音符长度过程的结果匹配的列并且然后采用随机数生成器并将其结果映射到相关概率表来选择第三音符长度。一旦旋律乐句d-e充满音符,子系统B26就在最终阶段期间开始将音符填充到旋律乐句e,并且所述过程继续直到旋律乐句e充满音符。
如图27DD1至图27DD3中所示出的,子系统B26然后从经填充的乐句长度d、 d-e和e中选择作品旋律节奏。所产生的作品旋律节奏然后准备在本发明的自动音乐合成和生成过程期间使用并且在图27DD3的底部展示的乐谱表示的第一五线谱中展示。
对初始音高生成子系统(B27)的说明
图27EE示出了在本发明的自动音乐合成和生成引擎中使用的初始音高生成子系统(B27)。音高或者使其成为可识别音调的特定声音质量是任何音乐作品的基本构建块。初始音高生成子系统确定针对音乐作品的旋律的初始音高将是什么。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27EE中所示出的,初始音高生成子系统B27由图28N中示出的初始旋律参数表和如下文讨论的参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权初始音高数据集(即,参数表)。在图27EE中,子系统中采用的基于概率的参数编程表(例如,初始音高表)针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
通常,初始音高生成子系统B27使用来自其他子系统B26的数据输出以及由子系统B51加载的参数表来选择作品中的旋律(或多种旋律)的初始音高。例如,在C 大调“快乐的”音乐作品中,可能存在三分之一概率初始音高为“C”,三分之一概率初始音高为“G”,以及三分之一概率初始音高为“F”。
如图27EE中指示的,子系统B27使用如以上讨论的随机数生成器或其他参数选择机制从加载到子系统内的初始旋律表中选择初始旋律音符。在案例中,已经由子系统B27从表中选择初始旋律音符=7。
如图27EE中所示出的,在自动音乐合成和生成过程期间使用所选初始音高(即,初始旋律音符)以便生成正在合成的音乐作品的一部分,如图27EE中示出的过程图的底部展示的乐谱表示的第一五线谱中展示的。
对子乐句音高生成子系统(B29)的说明
图27FF1、图27FF2和图27FF3示出了在本发明的自动音乐合成和生成引擎中使用的子乐句音高生成子系统(B29)的示意性表示。子乐句音高生成子系统B29确定音乐作品的子乐句音高。此信息基于用户输入(如果给出)、或计算确定的(多个) 值、或两者的组合。音高或者使其成为可识别音调的特定声音质量是任何音乐作品的基本构建块。
如图27FF1、图27FF2和图27FF3中所示出的,子乐句音高生成子系统(B29) 由旋律音符表、和弦修改器表、跳跃反转修改器表以及图28O1、图28O2和图28O3 中示出的跳跃激励修改器表、以及如上文详细讨论的参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权参数表数据集。如图27FF1中所示出的,子系统B29 中采用的基于概率的参数编程表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
此子系统B29使用先前子系统以及由子系统B51加载的参数表来创建作品的子乐句中的旋律(或多种旋律)的音高素材。
例如,在作为4/4拍中具有初始音高“C”(针对1个节拍)的一小节的旋律中,可能存在三分之一概率下一个音高可以为“C”(针对1个节拍),并且基于此信息,下一个音高为“D”(针对1个节拍),并且基于此信息,小节中的最后音高可以为“E” (针对1个节拍)。子乐句的每个音高取决于所有先前音符的音高;同一小节、乐句、和子乐句中的其他音符的音高;以及未来可能出现的音符的音高。每个之前音高确定是针对特定音符音高的决策考虑的因素,从而使得第二音符音高受第一音符音高的影响,第三音符音高受第一和第二音符音高的影响,等等。此外,所选择音高下面的和弦影响可能音高选项的格局。例如,相比于在不同和弦出现的时间期间,在由音符C E G组成的C大调和弦出现的时间期间,音符音高将更可能从此和弦中选择音符。而且,音符的音高支持从上升或下降路径改变方向,并且支持从一个音符跳跃到另一个音符,而不是以步进式方式继续。子系统B29运行以便执行这种改进的音高素材生成功能。
如图27FF1、图27FF2和图27FF3中所示出的,子系统29使用如上文讨论的随机数生成器或其他合适的参数选择机制从每个子乐句中的旋律音符参数表中选择音符(即,音高事件)以便生成正在合成的音乐作品的子乐句旋律。
如图27FF1和图27FF2中所示出的,子系统B29基于在旋律音符被选择的同时出现什么和弦而使用和弦修改器表来改变旋律音符表中的概率。旋律音符表的顶行表示基础和弦的根音符,左列上的三个字母缩写表示和弦调性,这两个指定的交叉单元表示将被修改的音高类别,并且概率变化列表示音高类别将在旋律音符表中被修改的量。
如图27FF2和图27FF3中所示出的,子系统B29基于(多个)先前音符之间的距离(以半音测量)而使用跳跃反转修改器表来改变旋律音符表中的概率。
如图27FF2和图27FF3中所示出的,子系统B29基于(多个)先前音符之间的距离(以半音测量)以及这些距离出现的时间标而使用跳跃激励修改器表来改变旋律音符表中的概率。
在自动音乐合成和生成过程期间使用音乐作品的所产生的子乐句音高(即,音符)以便生成正在合成的音乐作品的一部分,如图27FF3中阐述的过程图的底部展示的乐谱表示的第一五线谱中展示的。
对乐句音高生成子系统(B28)的说明
图27GG示出了在本发明的自动音乐合成和生成引擎中使用的乐句音高生成子系统(B28)的示意性表示。音高或者使其成为可识别音调的特定声音质量是任何音乐作品的基本构建块。乐句音高生成子系统B28确定音乐作品中的旋律的音高,除了(多个)初始音高之外。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27GG中所示出的,此子系统由子乐句旋律分析器和参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
子乐句旋律分析器的主要功能是确定(多个)经修改的子乐句结构以便改变音乐作品的重要成分。子乐句旋律分析器考虑音乐作品、乐节、乐句或(多种)附加节段的旋律、和声和(多个)基于时间的结构以便确定其输出。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权旋律音符节奏参数表组。如图27GG中所示出的,子系统B29中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
乐句音高生成子系统B28使用子乐句旋律分析器将B29的输出转换成更大乐句级音高素材。子乐句旋律分析器的主要功能是确定(多种)旋律或其他旋律素材的功能和可能衍生物。旋律子乐句分析器使用作品、乐节、乐句或音乐作品的其他长度的速度、拍子、形式、(多种)和弦、(多种)和声、(多种)旋律和结构来确定其输出。
使用所有先前乐句和子乐句输出作为输入结合由子系统B51加载的数据集和参数表,此子系统B28可以创建一半概率在包括两个完全相同的子乐句的旋律中,第二次出现的子乐句旋律中的音符可以被改变用于创建更音乐乐句级的旋律。通过检查节奏、和声以及它们存在于其中的全部音乐内容并且将它们改变或调整成更好地符合其内容来修改子乐句旋律。
此过程继续直到已经创建整个旋律素材的音高信息(即,音符)。在本发明的自动音乐合成和生成过程期间使用所确定的乐句音高,以便生成正在合成的音乐作品的一部分,如图27GG的过程图中阐述的乐谱表示中所展示的。
在本发明的自动音乐合成和生成过程期间使用音乐作品的所产生的乐句音高以便生成正在合成的音乐作品的一部分,如图27GG中阐述的过程图的底部展示的乐谱表示的第一五线谱中展示的。
对音高八度生成子系统(B30)的说明
图27HH1和图27HH2示出了在本发明的自动音乐合成和生成引擎中使用的音高八度生成子系统(B30)的示意性表示。频率或者音乐音高的每秒振动数量(通常以赫兹(Hz)测量)是任何音乐作品的基本构建块。音高八度生成子系统B30确定音乐作品中的每个音符和/或和弦的八度以及因此音高的特定频率。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合。
如图27HH1和图27HH2中所示出的,音高八度生成子系统B30由图28P中示出的旋律音符八度表和如上文描述的参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。
参数转换引擎子系统B51生成针对由系统用户选择的并提供给输入子系统B0的各种音乐体验描述符的概率加权旋律音符八度参数表组。在图27HH1和图27HH2中,子系统中采用的基于概率的参数表针对示例性“情感类型”音乐体验描述符——快乐——而建立并且在本发明的自动音乐合成和生成过程期间使用。
如图27HH1和图27HH2中所示出的,结合被加载的音符组使用旋律音符八度表来基于每个音符与音乐作品中的其他旋律音符和/或和声结构的关系确定每个音符的频率。通常,可能存在作品中从0到不及无限数量中的任何数量的旋律。系统自动地确定每个音乐合成和生成循环的此数量。
例如,对于音符“C”,可能存在三分之一概率C等于钢琴键盘上的第四个C,三分之一概率C等于钢琴键盘上的第五个C,或者三分之一概率C等于钢琴键盘上的第五个C。
在本发明的自动音乐合成和生成过程期间使用音乐作品中的音符和和弦的音高的所产生的频率以便生成正在合成的音乐作品的一部分,如图27HH2中阐述的过程图的底部展示的乐谱表示的第一五线谱中展示的。
对乐器法子系统(B38)的说明
图27II1和图27II2示出了在本发明的自动音乐合成和生成引擎中使用的乐器法子系统(B38)。乐器法子系统B38确定乐器以及可以在音乐作品中利用的其他音乐声和/或设备。此信息基于用户输入(如果给出)、或计算确定的(多个)值、或两者的组合,并且是任何音乐作品的基本构建块。
如图27II1和图27II2中所示出的,此子系统B38由图28Q1A和图28Q1B中示出的乐器表支持,所述乐器表不是基于概率的,而是指示与图28Q2A和图28Q2B中示出的乐器选择表分离的乐器的所有概率、支持被选择的这些乐器选项中的任何的概率的普通表。
参数转换引擎子系统B51生成针对可从GUI中选择的由输入子系统B0支持的各种“风格类型”音乐体验描述符的乐器数据集(即,参数表)。在图27II1和图27II2 中,子系统中采用的参数编程表针对示例性“风格类型”音乐体验描述符——流行——而建立并且在本发明的自动音乐合成和生成过程期间使用。例如,风格参数“流行”可以加载包括钢琴、原声吉他、电吉他、爵士鼓、电贝司和/或女主唱的数据集。
在本发明的自动音乐合成和生成过程期间使用为音乐作品选择的乐器和其他音乐声,以便生成正在合成的音乐作品的一部分。
对乐器选择器子系统(B39)的说明
图27JJ1和图27JJ2示出了在本发明的自动音乐合成和生成引擎中使用的乐器选择器子系统(B39)的示意性表示。乐器选择器子系统B39确定乐器以及将在音乐作品中利用的其他音乐声和/或设备。此信息基于用户输入(如果给出)、或计算确定的 (多个)值、或两者的组合,并且是任何音乐作品的基本构建块。
如图27JJ1和图27JJ2中所示出的,乐器选择器子系统B39由图28Q2A和图28Q2B 中示出的乐器选择表和参数选择机制(例如,随机数生成器、或基于歌词输入的参数选择器)支持。使用乐器选择器子系统B39,如下为每个正在合成的音乐作品选择乐器。乐器选择表中的每个乐器组具有特定概率被选择用于参与正在合成的音乐作品,并且这些概率独立于其他乐器组。在每个乐器组内,乐器的每种风格以及每个乐器具有特定概率被选择用于参与作品,并且这些概率独立于其他概率。
参数转换引擎子系统B51生成针对可从输入子系统B0中选择的各种音乐体验描述符的概率加权乐器选择数据集(即,参数)表。在图27JJ1和图27JJ2中,子系统中采用的基于概率的系统参数表针对示例性“情感类型”音乐体验描述符——快乐——和“风格类型”音乐体验描述符——流行——而建立并且在本发明的自动音乐合成和生成过程期间使用。
例如,具有包括钢琴、原声吉他、电吉他、爵士鼓、电贝司和/或女主唱的数据集的风格类型音乐体验参数“流行”可以具有三分之二概率每个乐器被单独选择用于在音乐作品中使用。
在情感和风格描述符与演奏音乐的乐器之间存在密切关系。例如,摇滚音乐作品可以具有吉他、鼓和键盘乐器,而古典音乐作品可以具有弦乐器、木管乐器和铜管乐器。因此,当系统用户选择摇滚音乐作为风格时,乐器选择表将这种乐器示出为可能选择。
在本发明的自动音乐合成和生成过程期间使用由乐器选择器子系统B39为音乐作品选择的乐器和其他音乐声以便生成正在合成的音乐作品的一部分。
对配器生成子系统(B31)的说明
图27KK1至图27KK9合起来示出了本发明的自动音乐合成和生成引擎B31中使用的配器生成子系统(B31)。用于乐器合奏表演的音乐作品配器或者安排是任何音乐作品的基本构建块。根据通常使用如由图27JJ1的底部还有图27KK6的顶部处的乐谱表示示出的主旋律谱(或类似)表示来表示的所合成的音乐作品,配器生成子系统 B31确定将由所选择的乐器演奏什么音乐(即音符或音高集),这段音乐是从已经由自动音乐合成过程自动地合成的音乐作品中衍生出来的。针对每个选择的乐器所配器或安排的音乐可以通过选择的乐器组合确定音乐作品的配器。
如图27KK1至图27KK9中所示出的,配器生成子系统(B31)是由以下部件支持的:(i)如图28R1、图28R2和图28R3中所示出的乐器配器优先级表、乐器功能表、钢琴手功能表、钢琴调音表、钢琴节奏表、初始钢琴节奏表、第二音符右手表、第二音符左手表、第三音符右手长度表、和钢琴动态表;(ii)图27KK3中展示的钢琴音符分析器,图27KK7中展示的系统分析器,图27KK9中展示的主配器分析器;以及(iii)如以上详细描述的参数选择机制(例如,随机数生成器、或基于歌词输入端的参数选择器)。这将有助于简要地描述子系统B31中采用的音乐数据分析器的功能。
如将在下文中更详细地解释,图27KK3中展示的钢琴音符分析器的主功能是用于分析和弦的音高成员和钢琴每个手的功能,并且然后确定钢琴上的什么音高是在可能可由每个手演奏的音符的范围内,所述音高同时与由钢琴演奏的之前的音符和可以由钢琴演奏的任何可能的未来的音符有关。
图27KK7中展示的系统分析器的主功能是用于分析一首、一节、一句、或所合成的音乐作品的其他长度的全部节奏、和声、以及音色相关信息,以便确定和调整乐器配器的节奏和音高从而避免、改善、和/或解决潜在的配器矛盾。
同样,图27KK9中展示的主配器分析器的主功能是用于分析一首、一段、一句、或所合成的音乐作品的其他长度的全部节奏、和声、以及音色相关信息,以便确定和调整作品配器的节奏和音高从而避免、改善、和/或解决潜在的配器矛盾。
通常,在情感和风格描述符与演奏音乐的乐器、还有在作品期间选择乐器表演的音乐之间存在密切的关系。例如,以摇滚风格配器的音乐作品可以具有与以古典风格配器的同一音乐作品完全不同的声音。然而,音乐作品的配器可以与情感和风格描述符输入无关并且是单独存在的以产生定时请求。例如,如果音乐作品需要在某一时刻重音而不管目前的配器,大声碰撞打击乐器诸如铙钹可以成功地完成此定时请求,使其自身根据用户请求支持更多的音乐配器。
由于具有所有子系统,参数转换引擎子系统B51生成以上识别的可能乐器演奏法参数表的概率权重集,用于由系统用户选择的和提供至输入子系统B0的各种音乐体验描述符。在图27KK1至图27KK9中,配器生成子系统B51中采用的基于概率的参数编程表(即,乐器配器优先级表、乐器能量表、钢琴能量表、乐器功能表、钢琴手功能表、钢琴调音表、钢琴节奏表、第二音符右手表、第二音符左手表、钢琴动态表) 设置用于示例性“情感类型”描述符-快乐-和“风格型类”描述符-流行音乐-并且在本发明的自动音乐合成和生成过程期间被使用。此音乐体验描述符信息是基于用户输入(如果给出)、或计算确定的(多个)值、或两者结合。
如图27KK1和图27KK2中所展示的,基于来自子系统B37、B38、和B39的输入,配器生成子系统B51可以使用随机数生成、或其他参数选择机制来确定特定数量的特定风格音乐类别的乐器被利用在此作品中,并且这些乐器应该以指定顺序进行配器。例如,流行音乐风格的所合成音乐作品可以具有一半的概率是总共4种乐器以及一半的概率是总共5种乐器。如果选择4种乐器,则作品可以具有乐器配器优先级表,所述乐器配器优先级表包含一半的概率是所述乐器为钢琴、原声吉他、爵士鼓、及贝司,还有一半的概率是所述乐器为钢琴、原声吉他、电吉他、及贝司。在图27KK1 中,针对六(6)种示例性乐器配器示出了不同的优先级设置。如所示出的,在实例的情况中,使用随机数生成器来作出所选择的乐器配器的排序,从而提供:钢琴、电贝司1和小提琴。
图27KK1至图27KK7中展示的流程图描述了钢琴-将被配器的第一乐器-的配器过程。如所示出的,钢琴配器过程中的步骤包括:钢琴/乐器功能选择、钢琴调音选择、钢琴节奏长度选择、及钢琴动态选择,用于分配给所述钢琴的音乐作品中的每个音符。以下将描述这些步骤的细节。
如图27KK1和图27KK2中展示的,配器生成子系统B51访问预加载乐器功能表,并且使用随机功能生成器(或其他参数选择机制)选择乐器功能用于正在合成的音乐作品的每个部分(例如,乐句旋律、作品旋律等)。来自配器过程的此步骤的结果包括将功能(例如,主要旋律、次要旋律、主要和声、次要和声或伴奏)分配给音乐作品的每个部分。这些功能代码或标记将被用在如以下详细描述的配器过程的随后阶段中。
在配器中重要的是在一件音乐作品或一节音乐中创建各个乐器和乐器组的功能的清晰的层次结构,因为与如果用作伴奏的乐器相比,用作主要旋律乐器的乐器的配器可能很不相同。“乐器功能”的实例被展示在图27KK1中示出的乐器功能表中,并且包括例如:主要旋律;次要旋律;主要和声;次要和声;及伴奏。然而理解的是,存在可以由被用于配器特定的所合成音乐作品的乐器所支持的更多乐器功能。例如,在使用钢琴、原声吉他、爵士鼓、及贝司的“快乐”C大调音乐作品的小节中,子系统B31可以为钢琴分配旋律、为原声吉他分配和弦的支持性弹奏模式、为爵士鼓分配弱拍节奏、和为贝司分配和弦进行的最低转位模式的音符。通常,每个乐器的指定配器的概率直接受所述乐器以及所述作品中所有其他乐器的前面的配器的影响。
因此,配器生成子系统B31配器先前合成的音乐素材,所述素材包括但不限于用于针对所述作品选择的指定乐器的和弦进行和旋律素材(即,图27KK5和图27KK6 中示出的“主旋律谱”乐谱表示的前两个阶段中展示的)。为案例中的乐器(即,小提琴(Vln.)、钢琴(Pno.)、及电贝司(E.B.))所配器的音乐应该被分别表示在图27KK6、 27KK7和图27KK8中的乐谱表示的第三、第四/第五和第六阶段上,所述阶段是为在本发明的自动音乐合成和生成过程期间的音乐配器产生和维护的。显然,在图27KK1 至图27KK9中展示的案例中,子系统B31已经自动作出了以下乐器功能分配:(i) 主要旋律功能被分配给小提琴(Vln.),其中,针对此乐器功能的配器的音乐将被从第一和第二阶段中陈述的主旋律谱音乐合成中衍生出来,并且然后沿着图27KK6中示出的音乐表示的第三阶段被表示;次要旋律功能被分配给钢琴(Pno.)的右手(RH) 而主要和声功能被分配给钢琴的左手(LH),其中,其针对这些乐器功能配器的音乐将被从第一和第二阶段中陈述的主旋律谱音乐合成中衍生出来,并且然后沿着图 27KK6中示出的音乐表示的第四和第五阶段被表示;并且次要和声功能被分配给电贝司(E.B.),其中,针对此乐器功能配器的音乐将被从第一和第二阶段中陈述的主旋律谱音乐合成中衍生出来,并且然后沿着图27KK6中示出的音乐表示的第六阶段被表示。
针对眼前的案例,乐器配器的顺序已经被选择为:(1)钢琴使用钢琴的RH和 LH乐器分别执行次要旋律和主要和声功能;(2)小提琴执行主要旋律功能;以及(3) 电贝司(E.B.)执行主要和声功能。因此,子系统B31将针对选择的乐器组以此指定的顺序生成配器的音乐,尽管事实是小提琴已经被选择用于执行配器的音乐的主要旋律功能。同样,指出的是多种乐器可以执行同一个乐器功能(即,钢琴和小提琴二者都可以执行主要旋律功能),并且如果当子系统B31应该在配器子过程的乐器功能步骤期间作出此决定,在本发明的整个自动音乐合成过程内。当子系统B31将在配器过程期间预先进行乐器功能分配时,注意的是子系统B31将使用其以上讨论的系统和主分析器用于在完成时自动分析整个音乐配器,并且所述子系统基于由本发明的系统合成的音乐作品的主旋律谱音乐表示来确定这对于为特定的乐器作出新的乐器功能分配和再生成配器的音乐是否有意义。取决于如何由子系统B31作出特定概率的或随机的决定,在针对由本发明的自动音乐合成系统合成的音乐作品产生可接受的音乐配器之前,可能需要经过图27KK1至图27KK9中表示的过程的若干个完整循环。本发明的这个和其他方法将在下文中变得更加显而易见。
如在图27KK1至图27KK9的流程图中示出的,一旦确定每个乐器的功能,则子系统B31前进到下载指定功能乐器功能表(例如,钢琴手功能表)以支持(i)基于每个乐器的性质以及通常如何演奏所述乐器来确定乐器演奏或执行其功能的方式,和 (ii)生成从用于所合成的音乐作品的主旋律谱乐谱中表示的每个音符衍生出来的音乐(例如,单音、双音、旋律、和弦),从而针对执行其选择的乐器功能的乐器合成配器的音乐作品。在图27KK2中示出的实例中,为案例中选择的乐器功能(即:次要旋律)下载基于概率的钢琴手功能表。为了清楚地说明,当只有基于概率的钢琴手功能(参数)表被示出在图27KK2中时,理解的是乐器配器子系统B31将可以针对其他乐器功能(即:主要旋律)的每一个获得基于概率的钢琴手功能表;主要和声;次要和声;及伴奏。同样,理解的是乐器配器子系统B31将针对可由子系统B31选择的每个可能的乐器功能获得一组基于概率的乐器功能表,用于参与到配器过程中的每个乐器。
例如,考虑通常使用左手和右手演奏的钢琴乐器。在此情况下,华尔兹风格的钢琴伴奏(3/4拍号下的)可以具有左手演奏每个强拍和右手演奏钢琴配器的音乐作品的每个第二和第三拍。由乐器配器子系统B31执行对钢琴的这种指定乐器功能分配: (i)处理合成的音乐作品的主旋律谱中的每个音符(表示在图27KK6中的乐谱表示的第一和第二阶段),以及(ii)针对钢琴的右手(RH)和左手(LH)乐器产生配器的音乐,并且在图27KK1和图27KK3中示出的钢琴手功能表中表示此配器的音乐。使用如上文中描述的钢琴手功能表、及随机数生成器,子系统B31处理主旋律谱乐谱中的每个音符并且针对钢琴的右手和左手乐器产生音乐。
对于钢琴乐器,由子系统B31如下执行所发生的配器音乐生成过程。针对主旋律谱乐谱中的第一个音符,子系统B31(i)涉及钢琴手功能表的RH部分中指示的概率,而且使用随机数生成器(或其他参数选择机制)从RH功能表中选择将被生成和添加至钢琴的RH乐器的阶段的旋律、单音或和弦,如图27KK6中示出的第四阶段所指示的;并且之后立即(ii)涉及钢琴手功能表的LH部分中指示的概率,而且使用随机数生成器(或其他参数选择机制)从RH功能表中的选定行中选择将被生成和添加至钢琴的LH乐器的阶段的旋律、单音(没有旋律)、双音、或和弦,如图27KK6中示出的第五阶段所指示的。显然,双音(或双音)是两个音符或音高的集合,而和弦具有三个或更多个音符,但是在某些场景中音乐家可能会认为双音是和弦-或者是替代和弦的表演。非常常见的双音符“和弦”是完美的五度音程。因为音程是两个音高之间的距离,所以双音可以由其表示的音程来分类。当双音的音高连续发生时,它们形成了旋律音程。当它们同时发生时,它们形成了和音音程。
如图27KK1和图27KK2中示出的,乐器配器子系统31基于目前合成的音乐作品来确定哪个先前生成的音符是用于钢琴的右手和左手部分可能的音符。此功能是由子系统B31使用钢琴音符分析器分析和弦的音高成员(音符)和钢琴的每个手所选择的功能来实现的,并且然后同时关于由钢琴演奏的任何先前的音符和可以由钢琴演奏的任何可能的未来音符来确定钢琴上的什么音高(即,与钢琴调相关联的音符)是在可能可由每个手演奏的音符的范围内的(即左手可以获得钢琴上的较低频率音符,而右手可以获得钢琴上的较高频率音符)。通常不可由特定的人手(RH或LH)在钢琴上演奏的这些音符被从钢琴合成的音乐作品中过滤掉或移除,而可演奏的音符应该保留在于钢琴音乐配器相关联的数据结构中。
如图27KK3和图27KK4中示出的,当针对每个钢琴手生成音符时,子系统B31 于是执行钢琴调音,所述钢琴调音是影响钢琴合成的音乐作品中音符(即音高)的垂直间隔和顺序的过程。例如,乐器调音影响哪个音符在和弦的顶部或中间,哪个音符是重复的,和每个音符在哪个倍频程中。钢琴调音是由子系统B31访问钢琴调音表实现的,示意性地在图27KK1和图27KK2中展示为简化的两行表,而事实上,在乐器配器过程的此阶段所述表将是包含许多行和列的复杂的表,所述行和列容纳有表示钢琴可以演奏存在于钢琴配器的音乐中的每个音乐项目(例如,单音(没有旋律)、和弦、双音或旋律)的各种方式的参数。如钢琴调音表中示出的,常规地乐谱上的这十二个音符或音高中的每一个被表示为从0至11的数,其中,音符C被指定为数字0, C升音被指定为1,以此类推。尽管图27KK3的示例性钢琴调音表仅示出了用于可能发生在配器的音乐作品中的单音(没有旋律)事件的可能的LH和RH组合,但是理解的是,实际上此钢琴调音表将包含用于可能发生在钢琴配器的音乐中的许多其他可能的音乐事件(例如,和弦、双音、及旋律)的调音参数,如本领域内众所周知的。
当已经如以上描述的确定了乐器即将演奏钢琴配器的音乐中生成的音符的方式时,子系统B31使用图27KK4和图27KK5中示出的钢琴节奏表确定包括音符长度或持续时间(即,音符节奏)的特性,并且继续指定配器的音乐作品的音符持续时间直到钢琴配器已满。如图27KK5中示出的,使用尽可能多阶段的存储器执行钢琴音符节奏(即,音符长度)规范过程,并且数据处理将允许在本发明的系统内。在说明性实施例中,子系统B31内支持三个阶段用于使用以下各项顺序地处理初始(第一个) 音符、第二个(相继的)音符和第三个(相继的)音符:(i)具有左手和右手部件的基于概率的初始钢琴节奏(音符长度)表,(ii)具有左手和右手部件的第二钢琴节奏 (音符长度)表,(iii)具有左手和右手部件的第三钢琴节奏(音符长度)表,如图 27KK4和图27KK5中示出的。显然,针对此三阶随机模型,包含在右手第二钢琴节奏(音符长度)表中的概率值取决于可能由钢琴的右手乐器演奏和由子系统B31观察到的初始音符,而包含在右手第三钢琴节奏(音符长度)表中的概率值取决于可能由钢琴的右手乐器演奏和由子系统B31观察到的初始音符。同样,包含在左手第二钢琴节奏(音符长度)表中的概率值取决于可能由钢琴的左手乐器演奏和由子系统B31 观察到的初始音符,而包含在左手第三钢琴节奏(音符长度)表中的概率值取决于可能由钢琴的左手乐器演奏和由子系统B31观察到的初始音符。
如果更高阶随机模型被用于钢琴音符节奏(即,音符长度)控制,则第四阶以及也许更高阶的钢琴(音符)节奏(音符长度)表将被用于执行子系统B31内支持的配器过程。来自音符处理的此阶段的结果是钢琴配器的音乐作品中的指定音符长度或持续时间的音符,如图27KK6中示出的乐谱表示中所展示的。
不论所使用的随机模型的阶,乐器配器子系统B31将需要确定针对给定乐器每首配器的音乐作品中的适当的音符长度(即,音符节奏)。所以,例如,继续先前的实例,如果钢琴的左手乐器演奏几个强拍音符,则其可以演奏八个音符或半个音符持续时间的一些音符。每个音符长度取决于所有先前的音符的音符长度;在同一小节、乐句、和子乐句中的其他音符的音符长度;以及可能在将来发生的音符的音符长度。每个之前音符长度确定是决定特定音符长度的因素,以使得第二音符长度受第一音符长度的影响,第三音符长度受第一和第二音符长度的影响,等等。
已经确定了钢琴配器的音符长度之后,由子系统B31执行的下一个步骤是确定如由在图27KK6中示出的流程图中指示的钢琴动态表表示的钢琴乐器的“动态”。通常,动态涉及音乐合成的响度或柔和度,并且钢琴或乐器动态涉及如何演奏钢琴或乐器以便在演奏配器的音乐作品时为由乐器生成的声音强度赋予特定动态特性。这种动态特性将包括响度和柔和性、以及当正在进行合成时来自乐器的音量随时间推移而增大或减小的速度。如在图27KK7的流程图中陈述的钢琴动态表中反映的,在过去的大约几百年里已经针对钢琴开发了几个“动态”的传统等级,即:(i)弱(柔和);中弱;中强。在每种情况下,乐器动态涉及如何由本发明的自动音乐合成及生成系统、或任何合成系统演奏或执行乐器,其中,所述系统可以集成并且请求根据本发明的原理来合成、生成和执行音乐。
如图27KK6中示出的,使用图28R1、图28R2和图28R3中示出的钢琴动态表和随机数生成器(或其他参数选择机制)来确定钢琴乐器的动态,以便为由钢琴的右手乐器和随后的钢琴的左手乐器演奏的第一个音符选择钢琴动态。为了解释的简化和清楚,尽管图27KK6中示出的钢琴动态表被示出为第一阶随机模型,理解的是实际上钢琴动态表(以及大多数乐器动态表)将被建模和实施为第n阶随机过程,其中,每个音符动态取决于所有先前的音符的音符动态;在同一小节、乐句、和子乐句中的其他音符的音符动态;以及可能在将来发生的音符的音符动态。每个之前音符动态确定是决定特定音符动态的因素,以使得第二音符动态受第一音符动态的影响,第三音符动态受第一和第二音符动态的影响,等等。在一些情况下,钢琴动态表将被编程以使得一些实例中在指定小节或多个小节、或曲调或者多个曲调、或子乐句或者多个子乐句、或整个曲目上存在音量的逐渐增大或减小。在其他实例中,钢琴动态表将被编程以使得在其他实例中钢琴音符动态将从一个指定小节变化至另一个小节、或者从一个曲调变化为另一个曲调、或从一个子乐句变化至另一个子乐句、或者从一个曲目越过另一个曲目。通常,乐器表演的动态将总是在改变,但是经常通过指导遵循古典乐理论经典的指示来确定的。已经从本发明公开的教学中收益的那些本领域技术人员将容易想到可以如何针对目前的任何特定应用来设计这种钢琴动态表。
此钢琴动态过程重复操作在针对钢琴的右手乐器的图27KK7中的乐谱表示的第四阶段中表示的配器的钢琴音乐中的下一个音符上,和重复操作在针对钢琴的左手乐器的图27KK7中的乐谱表示的第五阶段中表示的配器的钢琴音乐中的下一个音符上。动态过程被重复并且在钢琴配器中的所有音符上操作直到所有钢琴动态已经被选择和赋予给分配至钢琴的作品的每个部分中的所有钢琴音符。如所示出的,图27KK-7 的顶部中展示了具有针对钢琴的动态标记(例如,p、mf、f)的结果乐谱表示。
如图27KK7中指示的,整个子系统B31重复以上乐器配器过程用于下一个乐器 (例如,电贝司1),以使得电贝司配器的音乐被生成和存储在系统的存储器内,如图27KK8中示出的乐谱表示的第六阶段中所表示的。
如图27KK7和图27KK8中示出的,当配器电贝司乐器时,子系统B31使用系统分析器自动地检验先前配器的乐器之间的矛盾。如所示出的,系统分析器调整子系统 B31中使用的各种表中的概率,以便移除已配器的乐器之间的可能矛盾。已配器的乐器之间的可能矛盾的实例可以包括,例如:当乐器被配器进与先前的乐器冲突的音高范围中时(即,乐器演奏与作出低质量配器的另一个乐器完全相同的音高/频率);其中乐器被配器进与先前的乐器冲突的动态(即,所有乐器都轻声地演奏而有一个乐器现在非常大声地演奏);以及其中乐器被配器去做实际上不可能由真实音乐家根据先前的配器而做的一些事(即,单个打击乐器乐手不能够一次演奏8个爵士鼓)。图 27KK8示出了针对由电贝司(E.B)乐器演奏的修正的乐器演奏法的乐谱表示。
如图27KK8的底部处所示出的,子系统B31重复以上的配器过程用于音乐合成的乐器组中的下一个乐器(即小提琴)。在图27KK9的流程图中陈述的最顶端乐谱表示中示出的第三阶段中陈述了由小提琴演奏的配器的音乐的乐谱表示。
如图27KK9中示出的,当配器完成时,配器生成子系统B13使用主配器分析器来修改和改进生成的配器,并且修正任何音乐的或非音乐的错误和/或低效率。在此实例中,已经移除了图27KK9中的钢琴配器的第二和第三低音谱号阶段中的倍频程音符,如图27KK9中陈述的流程图的下部部分中陈述的最终乐谱表示中所示出的,所述倍频程音符在配器过程的此阶段结束时产生。
在本发明的自动音乐合成和生成过程期间使用为音乐作品的乐器演奏法选择的乐器和其他乐声,以便生成正在合成的音乐作品的一部分,如图27KK9的底部处展示的乐谱表示中所展示的。
对控制器代码生成子系统(B32)的说明
图27LL示出了本发明的自动音乐合成和生成引擎中使用的控制器代码生成子系统(B32)。包括但不限于转调、换气、延持、滑音、音量、相位位置、腔调、连音、混响、颤音、合唱、频率截止的控制器代码、或音乐指令是任何数字音乐作品的基本构建块。显然,控制器代码(CC)被用于控制落在乐器配器子系统B31的控制范围之外的所配器的音乐合成的各种性能和特性,在任何给定的配器的音乐作品中存在的音符和音乐结构中。因此,当乐器配器子系统B31采用第n阶随机模型(即,概率参数表)来为任何配器的音乐作品控制性能功能,诸如例如,乐器功能、音符长度(即,音符节奏)和乐器调音时,控制器代码生成子系统B31采用第n阶随机模型(即,概率参数表)来控制配器的音乐作品的其他特性,即:转调、换气、延持、滑音、音量、相位位置、腔调、连音、混响、颤音、合唱、频率截止、及其他特性。在替代性实施例中,由控制器代码生成子系统B32支持的一些控制功能可以在乐器配器子系统B31 中实施,并且反之亦然。然而,本文中公开的说明性实施例为优选实施例,由于由本发明的自动音乐合成和生成系统采用的受管理资源的优雅层次结构。
控制器代码生成子系统B32确定将被用在正在合成和生成的音乐作品中的每个音符的控制器代码和/或类似信息。子系统B32确定和生成“控制器代码”信息用于正在合成的音乐的音符及和弦。此信息是基于系统用户输入(如果给出)、或计算确定的(多个)值、或两者结合。
如图27LL中示出的,控制器代码生成子系统B32由图28S中示出的控制器代码参数表、和下文中详细描述的参数选择机制(例如,随机数生成器、或基于歌词输入端的参数选择器)支持。控制器代码数据的形式通常按0至127的数值范围给出。音量(CC 7)为0意指存在最小音量,而音量为127则意指存在最大音量。相位(CC 10) 为0意指信号被猛烈地摇到左边,64意指摇到中央,而127意指猛烈地摇到右边。
每个乐器、乐器组、和作品具有不同的被选择以供使用的处理效果、控制代码数据、和/或其他音频/乐器数字接口操纵工具的指定的独立概率。使用每个所选择的操纵工具,子系统B32于是确定所选择的根据将以何种方式影响和/或改变音乐作品、乐节、乐句、或其他(多个)结构;音乐结构将如何彼此影响;以及如何合成改进控制器代码根据正在操纵的音乐素材的操纵格局。
参数转换引擎子系统B51产生可能的控制器代码(即,参数)表的概率权重数据集,用于由系统用户选择的和提供至输入子系统B0的各种音乐体验描述符。在图 27LL中,子系统中采用的基于概率的参数编程表(即,乐器、乐器组、和作品宽度控制器代码表)被设置用于在本发明的自动音乐合成和生成过程期间使用的示例性“情感类型”音乐体验描述符-快乐-和“风格类型”音乐体验描述符-流行音乐。
控制器代码生成子系统B32使用乐器、乐器组和作品宽度控制器代码参数表和从子系统B1、B37、B38、B39、B40、和/或B41下载的数据集。如图27LL中示出的,用于小提琴乐器的乐器和作品宽度控制器代码(CC)表具有用于控制诸如以下参数的概率参数:混响;延迟;摇拍;颤音等。尽管控制器代码生成器系统B31在图27LL 中被示出为第一阶随机模型,但是理解的是实际上由参数转换引擎子系统B51生成的和在子系统B32中下载的每个乐器、乐器组、和作品宽度控制器代码表将被建模和实施为第n阶随机过程,其中,用于给定音符的应用的每个控制器代码表取决于:用于所有先前音符的控制器代码表;用于在同一小节、乐句、和子乐句中的其他音符的控制器代码表;以及用于可能在将来发生的音符的控制器代码表。
通常,在情感和风格描述符与通知如何演奏音乐的控制器代码信息之间存在密切的关系。例如,以摇滚风格配器的音乐作品可以具有大量的延迟和混响,而歌手可以将颤音结合到表演中。然而,用于生成音乐作品的控制器代码信息可以与情感和风格描述符输入无关并且是单独存在的以产生定时请求。例如,如果一件音乐作品需要在某一时刻重音而不管目前的配器,则控制器代码信息中发生的改变(诸如,从一贯的延迟移动到完全没有延迟)可以成功地完成此定时请求,使其自身根据用户请求支持更多的音乐配器。
如下文中所描述的,将在本发明的自动音乐合成和生成过程期间使用为音乐作品的乐器演奏法选择的控制器代码。
对数字音频样品产生子系统及其在子系统B33和B34中的使用的说明
本文中描述的本发明的自动音乐合成和生成(即,产生)系统利用数字合成(即,虚拟)乐器或虚拟乐器的库针对每首合成的音乐作品产生在乐谱表示中指定的单个音符的数字音频样本。这些数字合成(即,虚拟)乐器应该被称为数字音频样本产生子系统,而不管可以被用于产生表示所合成的音乐作品中的单个音符的每个数字音频样本的实际技术。
通常,为了从由系统合成的任何音乐作品中生成音乐,子系统B33和B34需要乐器库用于自动地理解由指定在合成的音乐作品的乐谱表示中的虚拟乐器演奏的音乐事件(例如,音高事件诸如音符、和节奏事件)。存在可用于合成、设计和维护乐器库、及乐声库的许多不同的技术,所述技术用于与本发明的自动音乐合成和生成系统一起使用,即:数字音频采样合成法;部分音色合成法,频率调制(FM)合成法;和其他形式的虚拟乐器合成技术。
数字音频采样合成法涉及记录声源(诸如,真实乐器或其他音频事件)和以智能的方式组织这些样本以在本发明的系统中使用。具体地,每个音频样本包含单个音符、或和弦、或一组预定义音符。每个音符、和弦和/或预定义音符组被以宽范围的不同音量、不同速度、不同连断、及不同效果等来记录,以使得每个可能的用例的自然记录被捕获和可用于所采样的乐器库中。每个记录被操纵成指定音频文件格式并且被使用具有识别信息的控制数据来命名和标记。每个记录然后优选地被保存和存储在数据库系统中,所述数据库系统维持在自动音乐合成和生成系统内或可由自动音乐合成和生成系统访问。例如,在具有88个调(即,音符)的声学钢琴上,不希望具有超过 10,000个单独的数字音频样本,所述数字音频样本合起来构成全数字采样钢琴乐器。在音乐生成期间,这些数字采样音符被实时访问用于生成由系统合成的音乐。在本发明的系统内,这些数字音频样本充当由子系统B33和B34检索和组织的数字音频文件,如以下详细描述的。
使用在20世纪80年代由新英格兰数字合成器部分音色音乐合成器系统推广的部分音色合成法,沿着可以由任何给定的被建模(用于部分音色合成库)的乐器演奏的乐谱的每个音符被采样,并且其部分音色部件被存储在数字存储器中。然后在音乐产生/生成期间,当沿着在给定的倍频程中演奏音符时,在模拟电路中每个部分音色部件被自动地从其部分音色通道读出并且被添加到一起,而所有其他通道用于合成音符。部分音色通道被读出和组合的速度确定了生成的音符的音高。在通过引用结合的 US专利号4,554,855;4,345,500;和4,726,067中传授了部分音色合成技术。
使用最先进的虚拟乐器合成法,诸如,由MOTU的MachFive 3通用采样器和虚拟乐器设计工具支持的,音乐家可以合成定制的声音库用于几乎任何真实的或可想象的虚拟乐器,以支持本发明的系统中的音乐生产(即,生成)。
存在已经开发用于音符和乐器合成的其他技术(诸如,FM合成),并且这些技术可以被发现被采用在各种商业产品中用于虚拟乐器设计和音乐生产。
对数字音频检索器子系统(B33)的说明
图27MM示出了本发明的自动音乐合成和生成引擎中使用的数字音频检索器子系统(B33)。表示在不同时间点处取得的音频信号的幅值的数字音频样本、或离散值 (数字)是任何音乐作品的基本构建块。数字音频样本检索器子系统B33在已经由系统合成出来的配器的音乐作品中检索需要的单独的数字音频样本。数字音频检索器子系统(B33)被用于定位和检索包含有在本发明的自动音乐合成和生成过程期间生成的每个乐器音符的光谱能量的数字音频文件。本领域已知的各种技术可以被用于实施本发明的系统中的此子系统B33。
对数字音频样本管理器子系统(B34)的说明
图27NN示出了本发明的自动音乐合成和生成引擎中使用的数字音频样本管理器子系统(B34)。数字音频样本管理器子系统B34组织和安排由数字音频样本检索器子系统B33检索的数字音频样本-数字音频乐器音符文件,并且以沿着根据音乐作品的时间线的正确的时间和空间顺序来组织这些文件,以使得当从时间线的开始合并和执行或演奏时,整个音乐作品被准确地和可听见地传输并且可以被其他人听到。简而言之,数字音频样本管理器子系统B34确定了音乐作品中每个音频文件的时间和空间的正确布局。当累积地观看时,这些音频文件创建已经被创建或合成/生成的音乐作品的准确的音频表示。此子系统B34的模拟是遵循(用于音乐作品的)非常具体的计划并且合成与所述计划的(多个)简图及(多个)附图匹配的(多个)物理结构的过程。
作品合并器子系统(B35)的说明
图27OO示出了本发明的自动音乐合成和生成引擎中使用的作品合并器子系统(B35)。可以被重复播放的数字音频文件、或捕获的录音是任何录制音乐作品的基本构建块。作品合并器子系统B35从由子系统B34中获得的单独的音频文件的有组织集合中收集数字音频样本,并且将这些数字音频文件合并或组合至包含相同或更大信息量的一个或不止一个数字音频文件中。此过程涉及检查并确定用于使波形、控制器代码和/或其他操纵工具数据与必须彼此流畅地连接的音频文件的附加特征匹配的方法。将由作品合并器子系统B35合并的此数字音频样本是基于用户输入(如果给出)、或计算确定的(多个)值、或两者结合。
对作品格式转换器子系统(B50)的说明
图27OO1示出了本发明的自动音乐合成和生成引擎(E1)中使用的作品格式转换器子系统(B50)。作品格式转换器子系统B50分析数字作品的音频和文本表示,并且如由系统用户或系统包含所请求地合成新格式的作品。这种新格式可以包括但不限于MIDI、视频、备选音频、图像、和/或备选文本格式。子系统B50将完整的音乐作品转换成在本发明的自动音乐合成和生成过程期间请求的期望的备选格式。
对作品递送子系统(B36)的说明
图27PP示出了本发明的自动音乐合成和生成引擎中使用的作品递送子系统(B36)。作品递送子系统B36通常通过系统接口子系统B0将(多个)格式化的数字音频文件从系统传输至请求所述信息和/或(多个)文件的系统用户(或人类或计算机)。
对反馈子系统(B42)的说明
图27QQ1、图27QQ2、和图27QQ3示出了本发明的自动音乐合成和生成引擎中使用的反馈子系统(B42)。如所示出的,反馈子系统B42的输入和输出数据端口被配置有图26A至图26P中示出的数据输入和输出端口。反馈子系统B42的主要目的是接收用户和/或计算机反馈,用于在实时或准实时的基础上提高由使用本发明的音乐合成自动化技术的系统自动创建的音乐作品的质量、准确度、乐感、及其他元素。
通常,在系统操作期间,反馈子系统B42允许范围从非常具体到非常模糊的输入,并且因此作用于此反馈。例如,用户可以提供信息,或者系统可以根据其一致而确定所生成的作品应该例如,(i)更快(即,加快了速度),(ii)更加强调特定音乐体验描述符,改变时间参数,(iii)以及包括指定乐器。此反馈可以通过反馈请求的先前计算的列表给出、或者通过开端的反馈形式给出,并且可以作为任何话语、图像、或其他反馈的表示被接收。
如图27QQ1、图27QQ2和图27QQ3中示出的,作品反馈子系统B42从其数据输入端口接收各种数据,并且此数据被子系统B42中支持的作品反馈分析器自动地分析。通常,作品反馈分析器考虑到所有可用的输入,包括但不限于对质量和准确度的自动或人工智能测量以及对质量和准确度的人类或人工辅助测量,并且确定对经分析的合成的音乐作品的适当响应。来自作品反馈分析器的数据输出可以被限制为简单的二进制响应,而且可以是复杂的,诸如动态多变量和多状态响应。然后,分析器确定如何基于这些输入和分析最好地修改音乐作品的节奏、和声、及其他值。使用本发明的系统反馈体系结构,任何合成的音乐作品中的数据可以在整首音乐、乐节、乐句、或其他结构的合成之后被传输,或者可以在合成音乐的同时传输音乐作品。
如图27QQ1中示出的,反馈子系统B41执行自动确认分析。自动确认分析是质量保障/自身检验过程,其中,系统检查被合成的音乐作品,将其与初始系统输入进行比较,并且确认所请求的作品的全部属性已经被成功地合成和递送,以及确认最终作品是独特的。例如,如果快乐的音乐作品以小调结尾,则分析将输出失败的确认并且将重新合成所述作品。此过程对于确保被发送至用户的所有音乐作品的充分质量来说是重要的,并且将符合或超过用户的期望。
如图27QQ1中示出的,反馈子系统B42分析数字音频文件和附加的作品格式用于在本发明的自动音乐合成和生成过程期间确定和确认:(i)所请求的作品的所有属性被准确递送,(ii)数字音频文件和附加作品格式被分析用于确定和确认音乐作品的“独特性”,以及(iii)系统用户分析音频文件和/或附加作品格式。独特的作品就是不同于所有其他作品的作品。可以通过将音乐作品的所有属性与所有其他音乐作品的所有属性进行比较以寻找可以使新作品的独特性无效的存在的音乐作品来测量。
如图27QQ1、图27QQ2和图27QQ3中指示的,如果音乐作品独特性没有被成功确认,则反馈子系统B42修改输入的音乐体验描述符和/或子系统理论音乐参数,并且然后重启自动音乐合成和生成过程以重新合成音乐作品。如果音乐作品的独特性被成功确认,则反馈子系统B42执行用户确认分析。用户确认分析是反馈和编辑过程,其中,用户接收由系统合成的音乐作品并且确定接下来怎么做:接收当前作品,基于相同的输入请求新的作品,或者基于修改的输入请求新的或修改的作品。本系统的关键是允许已创建作品的可编辑性,等同于提供反馈至人类作曲家并且使所述作曲家开始制定变更请求。
此后,如图27QQ2中示出的,系统用户分析音频文件和/或附加作品格式并且确定是否有必要进行反馈。为了执行此分析,系统用户可以:(i)部分地或整体地听(多首)作品或音乐,(ii)查看分数文件(用标准MIDI惯例表示),或以其他方式(iii) 与音乐作品进行交互,其中,可以使用颜色、味道、身体感觉等来传达音乐,以上的所有将允许用户体验音乐作品。
在不确定反馈是否为必要的情况下,于是系统用户或者:(i)继续当前的音乐作品,或者(ii)使用完全相同的用户提供的输入音乐体验描述符和时间/空间参数用于使用系统合成新的音乐作品。在确定反馈是必要的情况下,于是系统用户提供/供应期望的反馈至系统。这种系统用户反馈可以采用文本、语言学/语言、图像、语音、目录、音频、视频、音频/视频(AV)等的形式。
在系统用户希望经由输入输出子系统B0的GUI提供反馈至系统的情况下,于是系统用户将通过支持例如五个下拉菜单的系统菜单得到多个反馈选项。
如图22QQ2和图27QQ3中示出的,第一下拉菜单为系统用户提供以下菜单选项:(i)加速;(ii)改变重音位置;(Iii)修改描述符等等。系统用户可以作出这些选择中的任何一个并且然后请求系统使用这些新参数再生成新的合成的音乐作品。
如图27QQ2和图27QQ3中示出的,第二下拉菜单为系统用户提供以下菜单选项:(i)用新的乐节替换作品的乐节;(ii)当新乐节遵循当前参数时,则修改输入描述符和/或子系统参数表,然后重启系统并且重新合成作品或音乐;以及(iii)当新乐节遵循修改的和/或新的参数时,则修改输入描述符和/或子系统参数表,然后重启系统并且重新合成作品或音乐。系统用户可以作出这些选择中的任何一个并且然后请求系统再生成新的合成的音乐作品。
如图27QQ2和图27QQ3中示出的,第三下拉菜单为系统用户提供以下选项:(i) 将多首作品组合成更少的作品;(ii)指定应该组合哪些音乐作品以及每个作品的哪些部分;(iii)系统组合所指定的选择;以及(iv)使用转变点分析器并且重新合成乐节和或作品之间的转变从而合成更流畅的转变。系统用户可以作出这些选择中的任何一个并且然后请求系统再生成新的合成的音乐作品。
如图27QQ2和图27QQ3中示出的,第四下拉菜单为系统用户提供以下选项:(i) 将作品分解为多个作品;(ii)在当前的多个作品中为每个作品指定期望的开始和终止乐节;(iii)自动生成每个新作品;以及(iv)使用分解作品分析器并且重新合成每个新作品的开头和结尾以便合成更流畅的开头和结尾。系统用户可以作出这些选择中的任何一个并且然后请求系统再生成新的合成的音乐作品。
如图27QQ2和图27QQ3中示出的,第四下拉菜单为系统用户提供以下选项:(i) 一次比较多个作品;(ii)选择作品用于比较;(iii)选择作品用于比较;(iv)多个作品被彼此同步对正;(v)比较每个作品,以及(vi)选择偏好的作品。系统用户可以作出这些选择中的任何一个并且然后请求系统再生成新的合成的音乐作品。
对音乐可编辑性子系统(B43)的说明
图27RR示出了本发明的自动音乐合成和生成引擎E1中使用的音乐可编辑性子系统(B43)。音乐可编辑性子系统B43允许生成的音乐被编辑和被修改直到最终用户或计算机满意所述结果。子系统B43或用户可以改变输入,并且作为响应,来自子系统B43的输入和输出结果及数据可以修改音乐作品。音乐可编辑性子系统B43包含来自子系统B42的信息,并且还允许包括单独的、非反馈相关的信息。例如,系统用户可以改变每个单独的乐器和/或整件音乐作品的音量,改变作品的乐器演奏法和配器,修改描述符、风格输入、和/或生成所述作品的定时参数,并且进一步如所期望的剪辑音乐作品。系统用户还可以在本发明的自动音乐合成和生成过程期间请求重启、重播、修改和/或重新合成系统。
对偏好保存器子系统(B44)的说明
图27SS示出了本发明的自动音乐合成和生成引擎E1中使用的偏好保存器子系统(B44)。偏好保存器子系统B44修改和/或改变、并且然后保存已更改的基于概率的参数表、逻辑、和/或系统中使用的其他元素,并且将此数据分配给所述系统的子系统,为了或用于更好地反映系统用户的偏好。这允许根据期望的改变再生成作品并且允许作品允许子系统调整数据集、数据表、及其他信息以更准确地反映向前移动的用户的音乐和非音乐偏好。
如图27SS中示出的,子系统B44由上文中详细描述的反馈分析器、速度参数表和经修改的速度参数表、以及参数选择机制(例如,随机数生成器、或基于歌词输入端的参数选择器)支持。
反馈分析器的主要功能是确定用于音乐作品、乐节、乐句、或其他(多个)结构的分析与改进的手段。反馈分析器考虑到旋律、和声、和(多个)基于时间的结构以及基于用户或计算机的输入(音乐的和非音乐的两者)用于确定其输出。
如图27SS中反映的实例中示出的,系统用户已经提供了音乐的“作品应该更快”的反馈。响应于此系统用户反馈,子系统B44调整基于概率的速度参数表以使得速度被调整用于更好地反映系统用户的(多个)期望。
如图27SS中示出的,子系统B44然后使用经修改的速度参数表和随机数生成器来为音乐作品选择新的速度,并且因此其速度比初始速度(例如,85BPM)更快。这些改变和偏好然后被保存到用户的单独的配置文件,并且当用户继续使用系统时将被调用和重新使用以及可能重新修改。
对音乐内核(DNA)生成子系统(B45)的说明
图27TT示出了本发明的自动音乐合成和生成引擎中使用的音乐内核(DNA)生成子系统(B45)。音乐内核(DNA)子系统B45分析、提取、并保存可以将音乐作品从任何其他音乐作品中区分开来的音乐作品的元素。音乐内核(DNA)生成子系统 B45使用(音乐的)DNA分析器来执行其功能,所述分析器接收作为音乐作品的所有元素的输入,并且使用音乐理论基础和过滤器用于确定其输出,所述输出是被视为对音乐作品的DNA很重要的所有事件的组织集。使用此输入数据,DNA分析器识别并隔离指定的节奏、和声、相关音色、或是独立地或者与其他事件相结合在音乐作品中扮演重要角色的其他音乐事件。这些事件还可以是音乐作品的高度识别特征,诸如旋律或节奏主题。
通常,子系统B45在以下方面确定音乐作品的音乐“内核”:(i)旋律(子乐句旋律音符选择顺序),(ii)和声(即,乐句和弦进行),(iii)速度,(iv)音量,和(v) 配器,以使得此音乐内核可以在本发明的未来自动音乐合成和生成过程期间被使用。此信息稍后可以被用于完全或不完全准确地复制音乐作品。
例如,子系统B45可以保存音乐作品的旋律和所有相关的旋律及节奏素材,以使得用户稍后可以使用保存的旋律来合成新的作品。其还可以分析并保存来自B32的信息,用于复制作品的生产环境和数据。
对用户品味生成子系统(B46)的说明
图27SUU示出了本发明的自动音乐合成和生成引擎中使用的用户品味生成子系统(B46)。所述子系统基于系统用户反馈和自动作品分析来确定系统用户的音乐品味,并且此音乐品味信息被用于改变或修改音乐体验描述符、参数和表值、逻辑顺序、和 /或用于音乐合成的其他系统元素,以便或用于更好地反映用户的偏好。
通常,子系统B46分析用户的个人音乐和非音乐品味并修改数据集、数据表、和用于合成音乐作品的其他信息,以便在将来更准确地和更快速地满足用户的请求。例如,此子系统可以分辨当生成悲伤的音乐时用户的“快乐”音乐请求是最满意的,尽管这不是系统认为应该是的情况。在这种情况下,系统可以修改所有相关的子系统和数据,以使得当作出“快乐”请求时为此用户生成悲伤的音乐。这些改变和偏好然后被保存到用户的单独的配置文件,并且当用户继续使用系统时将被调用和重新使用以及可能重新修改。
如图27UU中示出的,子系统B46采用用户品味分析器和跨越系统的各种参数表来执行其功能。
如图27UU中示出的,用户品味分析器执行自动作品分析,并且子系统B46使用系统用户反馈来改变系统用户的系统描述符、参数和表值,用于更好地反映系统用户的偏好。
如图27UU中示出的,针对用户通过请求回顾由描述符ROMANTIC表征的音乐作品来提供反馈的情况,系统可以返回被表征为ROMANTIC的系统用户的歌曲。如所示出的,考虑到由系统用户合成的第一作品包含弦乐器并且系统用户提供反馈至子系统B46的案例,所述反馈为:更少的花样。
作为响应,子系统B46执行其功能并且作品被合成。所合成的第二作品使用电吉他替代了弦乐器。作为响应,系统用户提供反馈至子系统B46:更具有浪漫色彩。作为响应,子系统B46执行其功能并且作品被合成。所合成的第三作品添加了钢琴至电吉他,并且系统用户提供反馈至子系统B46:完美的。作为响应,子系统B46使用浪漫描述符为此系统用户修改乐器演奏法参数表,以便增加在乐器演奏法过程期间使用电吉他和钢琴的概率,以及减小使用弦乐器的概率。
对群众品味聚合器子系统(B47)的说明
图27VV示出了本发明的自动音乐合成和生成引擎中使用的群众品味聚合器子系统(B47)。群众品味子系统B47分析所有用户的个人音乐和非音乐品味并修改数据集、数据表、和用于合成音乐作品的其他信息,以便在将来更准确地和更快速地满足所有用户请求。通常,子系统B47聚合群众的音乐品味和对音乐体验描述符的改变,并且可以响应于此在本发明的自动音乐合成和生成过程期间修改表概率。
例如,此子系统可以分辨当生成悲伤的音乐时整个用户库的“快乐”音乐请求是最满意的,尽管这不是系统认为应该是的情况。在这种情况下,系统可以修改所有相关的子系统和数据,以使得当由个人用户作出“快乐”请求时为整个用户库生成悲伤的音乐。这些改变和偏好然后被保存在群众水平上,并且当系统用户继续使用系统时将被调用和重新使用以及可能重新修改。
如图27VV中示出的,群众品味子系统B47采用群众品味聚合器用于辅助编制和组织所有用户反馈和包括描述符、参数表值、和其他反馈。
在图27VV的流程图中,考虑了针对音乐体验描述符:浪漫的案例。在图27VV 中示出的此实例中,群众已经提供了关于音乐作品的乐器演奏法的反馈。反作用于此反馈,群众品味子系统B47调整系统中(多个)乐器演奏法子系统内的概率参数表中的速度,以更好地反映用户的(多个)期望。如所示出的,用户1的反馈是她/他不喜欢弦乐器,而喜欢电吉他以及类似的钢琴。用户s的反馈是她/他不喜欢弦乐器,而喜欢电吉他以及类似的风琴。用户s的反馈是她/他不喜欢弦乐器,而喜欢原声吉他以及类似的钢琴。作为响应,子系统B47为选择浪漫音乐体验描述符的用户针对乐器演奏法表中的速度修改概率参数,以便在乐器演奏法过程期间增加电吉他和钢琴被选择的概率并且减小弦乐器被选择的概率。
如图27VV中示出的,在此案例中,子系统B47针对系统用户选择ROMANTIC 作出对乐器演奏法参数表的以下修改:(i)减小在乐器演奏法期间选择弦乐器类别的概率;(ii)增加选择吉他类别的概率,并且在此类别内大大增加选择电吉他的概率以及稍微减小选择原声吉他的概率;以及(iii)增加选择键盘乐器类别的概率,并且在这类别中显著地增加选择钢琴的概率以及稍微减小选择风琴的概率。
如所示出的,使用子系统B47,系统用户和计算机反馈两者都被用于确认和/或修改概率表、逻辑顺序、和/或系统的其他元素,以便或用于更好地反映用户群众的偏好。
对用户偏好子系统(B48)的说明
图27WW示出了本发明的自动音乐合成和生成引擎中使用的用户偏好子系统(B48)。用户偏好子系统B48保存来自所有系统部件的每个用户的相关数据和偏好,以便在将来准确地和快速地满足任何用户请求。然后在本发明的自动音乐合成和生成过程期间使用这些系统用户偏好(例如,音乐体验描述符、表参数)。
如图27WW中示出的,子系统B48接收并保存(从基于GUI子系统B0选择的) 系统用户音乐体验描述符参数、参数表值和其他偏好作为输入,用于将来由系统用来更好地满足系统用户偏好。
如图27WW中指示的,在操作期间,子系统B48将从子系统B1、B37、B40和/ 或B41下载的基于概率的默认参数表改变为用户指定的经修改的默认参数表,以使得经修改的默认表将更准确地和更高效地满足指定系统用户请求。
对群众偏好子系统(B49)的说明
图27XX示出了本发明的自动音乐合成和生成引擎中使用的群众偏好子系统(B49)。群众偏好子系统B49保存来自所有系统部件的所有用户的相关数据和偏好,以便在将来准确地和快速地满足任何用户请求。群众偏好子系统修改和/或改变概率表、逻辑顺序、和/或系统的其他元素,以便或用于更好地反映群众偏好。对群众偏好(例如,音乐体验描述符、表参数)的这些改变然后被保存到(多个)群众配置文件,并且当用户继续使用系统时将被调用和重新使用以及可能重新修改。
如图27XX中示出的,子系统B49接收并保存(从基于GUI子系统B0选择的) 系统用户音乐体验描述符参数、参数表值和其他偏好作为输入,用于将来由系统用来更好地满足群众偏好。
如图27XX中指示的,在操作期间,子系统B49将从子系统B1、B37、B40和/ 或B41下载的基于概率的默认参数表改变为用户群众指导的经修改的默认参数表,以使得经修改的默认表将更准确地和更高效地满足指定用户群众请求。
本发明的参数转换引擎子系统(B51)中采用的参数转换原理的概述
当实践本发明的系统和方法时,系统设计师和工程师在根据本发明的原理来设计、构造和操作参数转换引擎子系统B51时将利用以下描述的各种原理。本发明的实质是使得或者授权系统用户(例如,人类以及先进的计算机器)指定待合成音乐的情感、风格和定时方面而不需要音乐或音乐理论的任何正式知识。然而,为了实现此目标,本发明的系统需要采用在参数转换引擎B51内强烈实践的强大的和丰富的音乐理论概念和原理,其中,系统用户输入被转换成概率权重音乐理论参数,所述功率权重音乐理论参数被下载到系统操作参数(SOP)表中并且跨它们专门设计用于而且需要适当的系统操作的各种子系统分布以及被下载在这些子系统中。
将音乐体验参数转换成维持在子系统B2的参数表中的基于概率的系统操作参数
如果用户提供作品长度,则不使用长度参数表。如果用户不提供作品长度,则系统参数表确定作品长度。如果音乐被合成用于为当前的内容伴奏,则长度默认为当前内容的长度。如果音乐不是合成用于为当前的内容伴奏,则基于具有基于音乐情感和风格描述符输入的长度和概率的概率表来决定长度。例如,摇滚歌曲可能有50%的机会具有三分钟的长度,25%的机会具有两分钟的长度,以及25%的机会具有四分钟的长度;而古典歌曲可能有50%的机会具有六分钟的长度,25%的机会具有五分钟的长度,以及25%的机会具有七分钟的长度。
将音乐体验参数转换成维持在子系统B3的参数表中的基于概率的系统操作参数
通常,在情感和风格描述符与速度之间存在密切的关系。例如,经常以中的到快的速度来演奏被分类为快乐的音乐,而经常以较慢的速度来演奏被分类为悲伤的音乐。系统的速度表是音乐体验和/或风格与递送素材的速度之间的文化关联的反映。速度对于被递送的内容的媒介也是不可知的,因为以快的方式所说的语音经常被感知为匆忙的或激昂的,而以慢的方式所说的语音经常被感知为从容的或平静的。
然而,音乐作品的(多种)速度可以与情感和风格描述符输入无关并且是单独存在的以对正具有特定定时请求的音乐的小节和/或节拍。例如,如果特定速度的音乐作品需要在作品中的某时刻重音,所述重音可能以其他方式发生在小节的第四节拍与下一个小节的第一节拍之间的某个地方,则在期望的重音之前增加小节的速度可能反而造成重音正好发生在小节的第一节拍上,这会使其自身支持与小节的强拍一致的更多的音乐重音。
将音乐体验参数转换成维持在子系统B4的参数表中的系统操作参数表
在情感和风格描述符与拍子之间存在密切的关系。例如,经常使用3/4拍来演奏华尔兹,而经常使用2/4拍来演奏进行曲。系统的拍子表是音乐体验和/或风格与递送素材的拍子之间的文化关联的反映。
然而,乐曲的(多种)拍子可以与情感和风格描述符输入无关并且是单独存在的以对齐具有特定定时请求的音乐的小节和/或节拍。例如,如果特定速度的音乐作品需要在作品中的某时刻重音,所述重音可能以其他方式发生在4/4小节的第四节拍与下一个4/4小节的第一节拍之间的中途,则将期望的重音之前的单个小节的拍子改成 7/8可能反而造成重音正好发生在小节的第一节拍上,这会然后使其自身适用于与小节的强拍一致的更多音乐重音。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B4中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数(SOP)表中的某些音乐理论参数(即,值)之间定义或创建“转换映射”(即,统计学或理论关系)时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B5的参数表中的基于概率的系统操作参数
在情感和风格描述符与调之间存在密切的关系。例如,经常以没有或只有几个升调(例如,C、G、D、A、E)的调来演奏流行音乐;而经常以具有几个或更多降调 (例如,F、Bb、Eb、Ab)的调来演奏史诗音乐。系统的调表是音乐体验和/或风格与递送素材的调之间的文化关联的反映。
然而,音乐作品的(多个)调可以与情感和风格描述符输入无关并且是单独存在的以反映定时请求。例如,如果某时刻需要提升作品的紧张度,则将调调高至小三度可以实现此结果。此外,某些乐器在某些调执行的更好,并且调的确定可以考虑可能以某种风格演奏什么乐器。例如,可能以古典风格演奏小提琴,以没有或只有几个升调的调比以具有任何降调的调来合成音乐作品更为优选。
考虑到所有的系统用户通过子系统B0选择输入,调生成子系统B5合成作品的 (多个)调。例如,具有“快乐”输入描述符、三十秒长度、每分钟六十节拍的速度、和4/4拍子的作品可以具有三分之一的概率使用C调(或1,以1至12的音阶;或0,以1至11的音阶),三分之一的概率使用G调(或8,以1至12的音阶;或7,以1 至11的音阶),或三分之一的概率使用A调(或10,以1至12的音阶;或9,以1 至11的音阶)。如果音乐中存在多个乐节、音乐定时参数、和/或起点和终点,则可以选择多种调。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B5中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数(SOP)表中的某些音乐理论参数(即,值)之间定义或创建“转换映射”(即,统计学或理论关系)时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B7的参数表中的基于概率的系统操作参数
在情感和风格描述符与调性之间存在密切的关系。例如,经常使用大调调性来演奏快乐的音乐;而经常使用小调调性来演奏悲伤的音乐。系统的调表是音乐体验和/ 或风格与递送素材的调性之间的文化关联的反映。
然而,音乐作品的(多个)调性可以与情感和风格描述符输入无关并且是单独存在的以反映定时请求。例如,如果某时刻需要从紧张的乐段转换至欢庆的乐段,则将调性从小调改变成大调可以实现此结果。
用户不需要知道或选择将被合成的音乐作品的调性。调性具有与文化经典的之间关联,并且填充此表的参数和概率基于对此历史的深层知识和理解。例如,经常以大调调性合成快乐的音乐,经常以小调调性合成悲伤的音乐,以及经常以柔和的调性合成俏皮的音乐。用户音乐情感和风格描述符输入负责确定哪种调性是音乐作品的可能选项以及每个概率将可能是多少。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B7中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数(SOP)表中的某些音乐理论参数(即,值)之间定义或创建“转换映射”(即,统计学或理论关系)时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B9的参数表中的基于概率的系统操作参数
所有音乐具有某种形式,即使所述形式是空的、未被组织的、或不存在的。流行音乐习惯上具有形式元素包括序曲、诗歌、合唱、桥段、独奏、终曲等。同样,歌曲形式乐句具有在乐句本身中为歌曲提供结构的子乐句。
音乐的每种风格已经建立了容易与风格相关联的形式结构。除了流行音乐外,古典奏鸣曲可以具有呈现发展再现(当然,这是简化的)的形式,其中再现部是呈现部的修改表示。这可以被表示为ABA’,其中,‘表示初始的“A”素材的修改表示。
歌曲形式还由音乐作品的长度确定。音乐作品越长,则作品形式更灵活并且具有更多的选项。相反,5秒钟的音乐作品可能实际上只有几个有限的形式选项(经常是单个A的形式)。此外,定时事件可以影响歌曲形式。如果需要表示音乐作品中的巨大转变,则包含合唱或B乐节可以有效地创建此转变。
情感同样也可以影响歌曲形式。例如,被描述为情歌的歌曲根据文化经典可以具有与它们相关联的典型的形式;而被描述为凯尔特音乐的歌曲可以具有很不相同的歌曲形式。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B9中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B15的参数表中的基于概率的系统操作参数
通常,由以下各项来确定子乐句长度:(i)乐句的整个长度(即,与200秒钟的乐句相比,2秒钟的乐句将具有更少的子乐句选项),(ii)作品的定时必要性(即,参数),以及(iii)风格和情感类型音乐体验描述符。
子乐句长度的数量、长度、和概率取决于作品长度并且取决于当合成音乐作品时先前提到的特性的哪些组合一起配合的最好的知识。子乐句长度受到由系统用户提供的情感和风格描述符的影响。例如,快乐类型的音乐可能需要更短的子乐句长度,而悲伤类型的音乐可能需要更长的子乐句长度。
子乐句的数量越多,则每个子乐句具有很大长度的可能越小。并且子乐句的数量越少,则每个子乐句具有很大长度的可能越大。
子乐句还必须符合在音乐作品和特定乐句的长度内,以便决定某些子乐句,未来子乐句决定和相关参数可以被修改用于反映可用的剩余长度。
还可以关于用户请求的定时信息来构造子乐句,以使得音乐自然地符合用户的请求。例如,如果用户请求在音乐中的改变恰好是作品的2个小节,则第一子乐句长度可以是两个小节的长度,这由子乐句长度为两个小节长度的完全100%的概率造成。
此参数转换引擎子系统B51基于系统中的所有先前过程的输入来分析所有的系统用户输入参数,并且然后生成和下载SOP表中的节奏和长度的概率权重数据集。考虑到这些输入,此系统合成作品的子乐句长度。例如,30秒的音乐作品可以具有四个各自为7.5秒的子乐节、三个10秒的子乐节、或五个为4、5、6、7和8秒的子乐节。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B15中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B11的参数表中的基于概率的系统操作参数
在情感和风格描述符与和弦长度之间存在密切的关系。例如,激昂的音乐可能会具有频繁改变的很短的和弦长度,而沉思的音乐可能具有不那么频繁改变的很长的和弦长度。系统的长度表是音乐体验和/或风格与递送素材的调性之间的文化关联的反映。
此外,每个和弦的长度取决于所有先前和弦的长度;在同一小节、乐句、和子乐句中的其他和弦的长度;以及可能在将来发生的和弦的长度。每个之前和弦长度确定是决定特定和弦长度的因素,使得第二和弦长度受第一和弦长度的影响,第三和弦长度受第一和第二和弦长度的影响,等等。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B11中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B17的参数表中的基于概率的系统操作参数
在情感和风格描述符与初始和弦之间存在密切的关系。例如,传统的音乐作品可能以与所述音乐作品的调相同的根音符开始;而更加在框架之外的音乐作品可能以与所述作品的调特别不同的根音符开始。
一旦选定根音符,则必须确定和弦的功能。最常见的,和弦的功能是当以所选择的调和调性的自然音阶合成出三和弦时会发生的事。例如,C大调的C和弦会经常充当I和弦,而C大调的G和弦会经常充当V和弦。一旦确定和弦的功能,则特定和弦音符被指定。例如,当C和弦被确定用于充当I和弦时,则音符被确定为C E G,并且当D和弦被确定用于充当ii和弦时,则音符被确定为D F A。
音乐作品的初始和弦根音符基于对系统的情感和风格描述符输入。音乐经典已经针对将出现在不同类型音乐中的某些初始根音符合成了文化期望。例如,流行音乐经常以0的根开始,在C大调的调中的,C的根。一旦选定初始根音符,则必须决定将包含初始根音符的和弦的功能。在C大调的调中,C的根音符可能合理地具有基于所述根来建立的大调或小调三和弦。这会导致“I”大调和弦或“i”小调和弦的功能。此外,“I”大调和弦可以实际上充当“V/V”大调和弦,其中虽然“V/V”大调和弦听起来与“I”大调和弦完全相同,但是其功能不同以及目的也不同。一旦决定此功能,现在就知道了初始和弦,因为和弦的功能把将构成所述和弦的音符告知系统。例如,任何“I”大调三和弦将由音阶的根、第三、及第五音符构成,或者在C大调的调中,C大调三和弦可以由音符C、E、和G构成。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B17中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B19的参数表中的基于概率的系统操作参数
在情感和风格描述符与和弦进行之间存在密切的关系。例如,流行音乐作品可以具有C A F G的子乐句和弦进行;而福音音乐作品可以具有C F C F的子乐句和弦进行。
此外,进行的和弦根取决于所有先前和弦的和弦根;在同一小节、乐句、和子乐句中的其他和弦的和弦根;以及可能在将来发生的和弦的和弦根。每个之前和弦根确定是决定特定和弦根的因素,使得第二和弦根受第一和弦根的影响,第三和弦根受第一和第二和弦根的影响,等等。
一旦确定和弦根,则如以上描述地确定和弦的功能。然后和弦的功能将直接影响和弦根表以更改将来可能选择什么和弦根的默认格局。例如,充当I和弦的C大调的调中的C大调和弦将遵循默认格局;而充当V/IV和弦的C大调的调中的C大调和弦将遵循引导可能是IV和弦的下一个和弦的经更改的格局(或合理地替代或变更)。
此外,音乐作品、乐句、子乐句、和小节中的即将到来的和弦的位置影响将来可能选择什么和弦根的默认格局。例如,在乐句结尾处强拍之前的和弦可以确保随后的和弦是I和弦或是准确地解析和弦进行的其他和弦。
基于迄今为止的音乐文化经典,情感和风格描述符可以表明音乐作品中的某些和弦关联或和弦进行或者由这些和弦关联或和弦进行表示。为了决定接下来应该选择什么和弦,首先以与B17的方式相似的方式来决定随后的和弦根。已经针对每个可能的起源和弦根建立了每个可能的随后和弦根的概率,并且这些概率明确基于由用户选择的情感和风格描述符。
接下来,并且同样以与B17的方式相似的方式选择和弦的功能。和弦的功能将影响可能遵循什么和弦,并且因此和弦功能根变音符表基于选择什么功能来提供对和弦根表的概率的改变。以此方式,和弦功能将直接影响接下来选择什么和弦根。
接下来,考虑和弦的时间和空间位置,因为此因素与选择什么和弦根音符具有密切的关系。基于小节(将为所述小节选择和弦)中的即将到来的节拍,进一步修改和弦根音符表参数。一次又一次重播此循环直到已经为音乐作品选择所有和弦。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B19中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
在情感和风格描述符与和弦进行之间存在密切的关系。例如,流行音乐作品可以具有C A F G的子乐句和弦进行;而福音音乐作品可以具有C F C F的子乐句和弦进行。
此外,进行的和弦根取决于所有先前和弦的和弦根;在同一小节、乐句、和子乐句中的其他和弦的和弦根;以及可能在将来发生的和弦的和弦根。每个之前和弦根确定是决定特定和弦根的因素,使得第二和弦根受第一和弦根的影响,第三和弦根受第一和第二和弦根的影响,等等。
一旦确定和弦根,则如以上描述地确定和弦的功能。然后和弦的功能将直接影响和弦根表以更改将来可能选择什么和弦根的默认格局。例如,充当I和弦的C大调的调中的C大调和弦将遵循默认格局;而充当V/IV和弦的C大调的调中的C大调和弦将遵循引导可能是IV和弦的下一个和弦的经更改的格局(或合理地替代或变更)。
此外,音乐作品、乐句、子乐句、和小节中的即将到来的和弦的位置影响将来可能选择什么和弦根的默认格局。例如,在乐句结尾处强拍之前的和弦可以确保随后的和弦是I和弦或是准确地解析和弦进行的其他和弦。
将音乐体验参数转换成维持在子系统B20的参数表中的基于概率的系统操作参数
在体验(即,情感)和风格描述符与和弦转位之间存在密切的关系。例如,摇滚音乐作品可以具有主要主音的和弦转位;而古典音乐作品可以具有由更多的主音、第一转位、和第二转位的各种混合组成的和弦转位。
确定初始和弦的转位。向前移动,所有先前的转位确定影响所有将来的转位确定。音乐作品、乐句、子乐句、和小节中的即将到来的和弦转位影响将来可能选择什么和弦转位的默认格局。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B_20中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B25的参数表中的基于概率的系统操作参数
在情感和风格描述符与旋律长度之间存在密切的关系。例如,古典音乐作品可以具有长的旋律长度(这适合于较长形式的古典音乐);而流行音乐作品可以具有较短的旋律长度(这适合于较短形式的流行音乐)。对旋律长度的一个重要考虑是确定子乐句中旋律开始的位置。旋律在子乐句中开始的越晚,则旋律可能越短。
此外,旋律子乐句长度可以与情感和风格描述符输入无关并且是单独存在的以对正具有特定定时请求的音乐的小节和/或节拍。例如,如果音乐作品需要在作品中的某时刻重音,所述重音可能以其他方式发生在子乐句中间的某个地方,则在这个位置开始旋律可以合成可能否则需要另外的作品操纵来合成的更多的音乐重音。
基于由用户提供的音乐情感和风格描述符来确定旋律子乐句长度。旋律子乐句长度的数量、长度、和概率取决于作品长度、独特子乐句、乐句长度,并且取决于当合成音乐作品时先前提到的特性的哪些组合一起配合的最好的知识。
旋律子乐句的数量越多,则每个子乐句具有很大长度的可能越小。并且旋律子乐句的数量越少,则每个子乐句具有很大长度的可能越大。
旋律子乐句还必须符合在音乐作品和特定乐句的长度内,以便确定某些旋律子乐句,未来旋律子乐句决定和相关参数可以被修改用于反映可用的剩余长度。
还可以关于用户请求的定时信息来构造旋律子乐句,以使得音乐自然地符合用户的请求。例如,如果用户请求在音乐中的改变恰好是作品的3个小节,则第一旋律子乐句长度可以是三个小节的长度,这由旋律子乐句长度为两个小节长度的完全100%的概率造成。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B25中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B26中的基于概率的系统操作参数
在情感和风格描述符与旋律音符节奏之间存在密切的关系。例如,激昂的音乐可能具有频繁改变的很短的旋律音符节奏,而沉思的音乐可能具有不那么频繁改变的很长的和弦长度。系统的节奏表是音乐体验和/或风格与递送素材的调性之间的文化关联的反映。
此外,每个旋律音符的节奏取决于所有先前旋律音符的节奏;同一小节、乐句、和子乐句中的其他旋律音符的节奏;以及未来可能出现的旋律音符的旋律节奏。每个之前旋律音符节奏确定是针对特定旋律音符节奏的决策考虑的因素,从而使得第二旋律音符节奏受第一旋律音符节奏的影响,第三旋律音符节奏受第一和第二旋律音符节奏的影响,等等。
此外,每个旋律音符的长度取决于所有先前旋律音符的长度;在同一小节、乐句、和子乐句中的其他旋律音符的长度;以及可能在将来发生的旋律音符的长度。每个之前旋律音符长度确定是决定特定旋律音符长度的因素,使得第二旋律音符长度受第一旋律音符长度的影响,第三旋律音符长度受第一和第二旋律音符长度的影响,等等。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B26中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B29的参数表中的基于概率的系统操作参数
在情感和风格描述符与音高之间存在密切的关系。例如,流行音乐作品可以具有很大程度上是自然音阶的音高;而前卫的音乐作品可以具有对它们与作品的调或者甚至彼此的关系不可知的音高。
子乐句的每个音高取决于所有先前音符的音高;同一小节、乐句、和子乐句中的其他音符的音高;以及未来可能出现的音符的音高。每个之前音高确定是针对特定音符音高的决策考虑的因素,从而使得第二音符音高受第一音符音高的影响,第三音符音高受第一和第二音符音高的影响,等等。
此外,所选择音高下面的和弦影响可能音高选项的格局。例如,相比于在不同和弦出现的时间期间,在由音符C E G组成的C大调和弦出现的时间期间,音符音高将更可能从此和弦中选择音符。
而且,音符的音高支持从上升或下降路径改变方向,并且支持从一个音符跳跃到另一个音符,而不是以步进式方式继续。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被下载到子系统B29中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间定义或创建转换映射时,将由(多个)系统设计师使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B30的参数表中的基于概率的系统操作参数
情感和风格描述符与音高频率之间存在密切的关系。例如,忧郁的音乐作品可能具有在频率范围内较低的音高,而充满活力的音乐作品可能具有频率范围内较高的音高。
子乐句的每个音高频率取决于所有先前音符的音高频率;在同一小节、乐句、和子乐句中的其他音符的音高频率;以及可能在将来发生的音符的音高频率。把每个前述音高频率确定是决定特定音符的音高频率的因素,以使得第二音符音高频率受第一音符音高频率的影响,第三音符音高频率受第一和第二音符音高频率的影响,等等。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被加载到子系统B30中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间限定或创建转换映射时,将由(多个)系统设计器使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B39的参数表中的基于概率的系统操作参数
在情感和风格描述符与演奏音乐的乐器之间存在密切关系。例如,摇滚音乐作品可以具有吉他、鼓和键盘乐器,而古典音乐作品可以具有弦乐器、木管乐器和铜管乐器。
情感和风格描述符与音乐作品的乐器或音乐作品的片段之间存在密切关系。例如,流行音乐很可能具有吉他、低音提琴、键盘乐器和打击乐器,而古典音乐可能具有弦乐器、铜管乐器和木管乐器。另外,不同类型的流行音乐或不同的音乐情感和风格描述符可能在每种乐器类别中具有不同类型的乐器,使得强劲流行音乐可能具有电吉他,而平静流行音乐可能具有木吉他。
另外,当作品使用乐器将包含作品中的所有乐器时,所有乐器可能并不总是所有的时间都在一起演奏。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被加载到子系统B39中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间限定或创建转换映射时,将由(多个)系统设计器使用上述原理和考虑。
对填充子系统B31的参数表中的系统操作参数表的音乐体验参数进行转换
在情感和风格描述符与演奏音乐的乐器之间存在密切关系。例如,以摇滚风格配器的音乐作品可以具有与以古典风格配器的同一音乐作品完全不同的声音。
另外,音乐作品的配器可以与情感和风格描述符输入无关,并且单独存在以影响定时请求。例如,如果音乐作品需要在某一时刻重音而不管目前的配器,大声碰撞打击乐器诸如铙钹可以成功地完成此定时请求,使其自身根据用户请求支持更多的音乐配器。
在配器中重要的是在一件音乐作品或一节音乐中创建各个乐器和乐器组的功能的清晰的层次结构,因为与如果用作伴奏的乐器相比,用作主要旋律乐器的乐器的配器可能很不相同。在确定乐器的功能之后,可以确定其中乐器演奏的方式。例如,以华尔兹风格(在3/4拍号下)的钢琴伴奏可能使左手演奏每个强拍并且右手演奏每个第二和第三拍。在确定了乐器将进行演奏的方式之后,可以确定包括音符长度的具体细节。例如,继续先前示例,如果钢琴的左手弹奏在强拍上,则其可以弹奏八分音符或半音符。
每个音符长度取决于所有先前的音符的音符长度;在同一小节、乐句、和子乐句中的其他音符的音符长度;以及可能在将来发生的音符的音符长度。每个之前音符长度确定是决定特定音符长度的因素,以使得第二音符长度受第一音符长度的影响,第三音符长度受第一和第二音符长度的影响,等等。
还应当确定种乐器的动态以创建有效的配器。乐器表演的动态将不断地变化,但经常通过引导遵循古典音乐理论大炮的指示来确定。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被加载到子系统B31的并且在本发明的自动音乐合成和生成系统期间使用的系统操作参数表中某些音乐理论参数之间限定或创建转换映射时,将由(多个)系统设计器使用上述原理和考虑。
将音乐体验参数转换成维持在子系统B32的参数表中的基于概率的系统操作参数
情感和风格描述符与通知如何演奏音乐的控制器代码信息之间存在密切的关系。例如,以摇滚风格配器的音乐作品可以具有大量的延迟和混响,而歌手可以将颤音结合到表演中。
进一步,音乐作品的控制器代码信息可能与情感和风格描述符输入无关,并且单独存在以影响定时请求。例如,如果一件音乐作品需要在某一时刻重音而不管目前的配器,则控制器代码信息中发生的改变(诸如,从一贯的延迟移动到完全没有延迟) 可以成功地完成此定时请求,使其自身根据用户请求支持更多的音乐配器。
当在(i)由(多个)系统用户供应至系统的输入输出子系统B0的情感、风格及定时/空间参数的某些可允许组合与(ii)存储在被加载到子系统B32中并且在本发明的自动音乐合成和生成系统期间被使用的系统操作参数表中的某些音乐理论参数之间限定或创建转换映射时,将由(多个)系统设计器使用上述原理和考虑。
对本发明的自动音乐合成和生成系统的特定部分的定时进行控制
图29A和29B阐述了定时控制简图的示意性表示,所述定时控制简图展示了向图26A至26P中示出的系统框图中的每个子系统框图发送特定定时控制脉冲的时间序列。注意的是,定时事件的此序列发生在系统已经从系统用户接收到其音乐体验描述符输入之后,并且在其操作模式下系统已经被自动地安排和配置,其中,音乐根据本发明的原理自动合成和生成。
由本发明的说明性实施例支持的输入和输出数据信号的自然和各种可能格式
图30至图30J当根据图30被组合在一起时,阐述了表的示意性表示,所述表描述了由本文中所描述的本发明的说明性实施例的自动音乐合成和生成系统内的每个子系统支持的输入和输出数据信号的性质和各种可能格式,其中,在表中由其框名称或标识符(例如,B1)来标识每个子系统。
图31是描述了由各种数据输入和输出信号(例如,文字、和弦、音频文件、二进制、命令、速度、图像、时间、音高、数字、调性、速度、字母、语言、语音、 MIDI等)支持的示例性数据格式的表的示意性表示,所述各种数据输入和输出信号通过在本发明的自动音乐合成和生成系统中采用的各种特定配置信息处理子系统。
对由本发明的自动音乐合成和生成系统支持的音乐体验描述符的说明
图32A至32F示出了描述根据初级、二级和三级情感来安排的“情感”描述符的示例性层次集合的表。这些情感类型描述符作为系统用户的“音乐体验描述符”而被支持,以提供为对本发明的说明性实例的自动音乐合成和生成系统的系统用户输入。
图33A、33B、33C、33D和33E结合在一起提供描述“风格”描述符的示例性集合的表,所述风格描述符作为系统用户的音乐体验描述符而被支持,以提供为本发明的说明性实施例的自动音乐合成和生成系统的输入。
用于创建和管理本发明的自动音乐合成和生成系统的参数转换引擎子系统B51内 的参数配置的系统网络工具
图34示出了本发明的自动音乐合成和生成系统网络,包括(i)可操作地连接至本发明的自动音乐合成和生成引擎(E1)的多个远程系统设计器客户端工作站 (DWS)。如在其他图中所示出的,在引擎E1中维护参数转换引擎子系统B51以及其相关联的参数表存档数据库子系统B80。每个工作站客户端系统(DWS)支持用于创建和管理参数转换引擎子系统B51内的“参数映射配置(PMC)”的基于GUI的工作环境,任何说明性实施例的基于GUI的工作环境都在设计和制造中。使用此系统网络,使远程位于全球任何地方的一个或多个系统设计器可以登录到系统网络中,并访问基于GUI的网络环境,并且可以创建在以下两者之间的“参数映射配置”:(i) 可以由系统用户选择的不同可能情感类型、风格类型和定时/空间参数的集合以及(ii) 相应基于概率的音乐理论系统操作参数集,优选地在参数表中维护以便永久存储在参数转换引擎子系统B51以及其相关联的参数表存档数据库子系统B80内。
这些参数映射配置工具用于在系统设计阶段对参数转换引擎子系统B52进行配置,并且因此,程序在系统参数表集中为本文所描述的系统用户输入的各种可能的组合限定或设置概率参数。更具体地,这些系统设计器工具使(多个)系统设计器能够在执行自动音乐合成和生成过程之前,限定选择情感/风格/定时参数的系统用户与最终被分布到并且加载到子系统中的参数表中的音乐理论系统操作参数(SOP)之间的概率关系。系统设计器的这种前期参数映射配置对系统操作施加了约束,并且在每个子系统(例如,随机数发生器或者用户提供的歌词或旋律输入数据集)内采用的参数选择机制由每个子系统用于对关于如何将在本发明的自动音乐合成和生成过程期间由系统最终合成和生成音乐作品的特定部分来作出局部决定。
如在图35A中示出的,由图34中示出的系统网络支持的基于GUI的网络环境向系统设计器提供以下选择:(i)管理现有的参数映射配置,以及(ii)创建新的参数映射配置,以用于加载并且永久存储在参数转换引擎子系统B51中。进而,参数转换引擎子系统B51生成图28A至图28S中表示的(多个)相应的基于概率的音乐理论系统操作参数(SOP)表,并且将相同内容加载在本发明部署的自动音乐合成和生成系统中采用的各种子系统内;
如图35B所示出的,系统设计器选择(i)由图35A示出的GUI来管理现有参数映射配置,并且向其呈现已经创建并且加载到本发明的系统的参数转换引擎子系统 B51中的永久存储器中的当前创建的参数映射配置的列表。
如在图36A中示出的,系统设计器选择(i)由图35A中示出的GUI屏幕来创建新的参数映射配置。
如图36B所示出的,向系统设计师呈现基于GUI的工作表,为在在以下两者之间创建参数映射配置:(i)可能系统用户可选情感/风格/定时参数集合以及在图28A 至28S中表示的(多个)相应的(多个)基于概率的音乐理论系统操作参数(SOP) 表集,以供加载到在本发明部署的自动音乐合成和生成系统中采用的各种子系统内。使用图35B中示出的示例性的基于GUI的工作表,系统设计器或其一起工作的团队的任务是为可以由任何给定系统用户选择的情感/风格/定时参数的每种可能集合创建图28A至28S中展示的主要基于概率的系统操作参数(SOP)表集中的每个音乐理论SOP表的概率值的相应集。
通常,将需要为配置具有参数转换能力的参数转换引擎子系统B51而生成的基于概率的SOP表的可能组合的数值将是相当大的,并且将取决于可以由系统用户为根据本发明的原理部署的任何给定系统设计而选择的可能情感类型和风格类型音乐体验描述符的大小。在上文已经讨论并建模这种可能组合的规模。
在图34至图36B中展示的这些工具仅仅是系统设计专家可以在文本公开的本发明的自动音乐合成和生成系统内添加和体现其音乐合成专长、知识和专门技术的说明性示例。典型地,由(多个)系统设计器和(多个)工程师使用被适配用于操纵参数和数据集的技术来将这种专长、知识和/或专门技术转移至由音乐合成机器支持的数字和/或模拟电路系统,所述参数和数据集合维持在与系统中的各种子系统相关联的各种系统操作参数(SOP)表中,如本文所描述的。鉴于本文阐述的本发明公开内容,其他技术和方法对本领域的这些技术人员来说是容易的。
使用歌词和/或音乐输入来影响在参数转换引擎子系统B51中生成的基于概率的 系统操作参数表的配置,并且从在本发明的系统中采用的各种子系统中采用的基于概率的 系统操作参数表中选择参数值的替代方法
贯穿说明性实施例,示出的随机数生成器,用于从本发明的自动音乐合成和生成系统的各种子系统中采用的各种基于概率的音乐理论系统操作参数表中选择参数值。然而,将理解的是,非随机参数值选择机制可以用在自动音乐合成和生成过程期间。这种机制可以在参数转换引擎子系统B51内被全局地实现,或者在采用基于概率的参数表的每个子系统内被局部地实现。
在全局方法的情况下,参数转换引擎子系统B51(或其他专用子系统)可以响应于音高信息来自动调整图27B3A至图27B3C中示出的某个参数表的参数值权重,所述音高信息由音高和节奏提取子系统B2自动地从系统用户提供的歌词输入或音乐输入(例如,有曲调的哼唱或吹口哨)中提取。在这种全局方法中,随机数生成器可以用于从歌词/音乐偏斜参数表中或如以下结合实施方式的局部方法描述的歌词/音乐响应参数值划分机制等替代参数机制中选择参数值。
在局部方法的情况下,图37中示出的系统中采用的实时音高事件分析子系统B52可以用于从提供歌词或音乐的系统用户中捕获实时音高和节奏信息,所述实时音高和节奏信息然后(单独或与选择的音乐体验和定时参数一起)被提供给在每个子系统(代替随机数生成器)中支持的歌词/音乐响应参数值选择机制。参数值选择机制接收从系统用户提取的音高和节奏信息,并且可以使用其形成关于应当选择基于概率的参数表中的那些参数值的决策标准。理想地,将作出选择,使得由此产生的合成音乐将与由实时音高事件分析子系统B52提取的音高和节奏信息相对应。
在全局或局部的这两种方法中,根据歌词和/或其他(多种)输入媒体(例如,哼唱、口哨、点弦等),本发明的系统可以使用例如图37至图49中的实时音高事件分析子系统B52将系统用户输入提提炼成乐旨级输入节奏、音高和节奏/音高。在一些情况下,这种歌词/音乐输入可以充当连同情感类型和风格类型音乐体验描述符一起的补充音乐体验描述符;或者在其他情况下,这种歌词/音乐输入可以充当不具有情感和/或风格描述符的主要音乐体验描述符。实时音高事件分析子系统B52然后可以分析乐旨内容以标识模式、趋势、偏好和/或素材中的其他有意义的关系。参数转换引擎子系统B51然后可以将这些关系转换成图28A至图28S中展示的基于概率的系统操作参数表的参数值或值范围偏好。然后,所述系统可以更可能从(参数已经被创建和/或加载的)系统操作表中选择(多个)特定值,所述特定值反映对歌词/音乐输入素材的分析,使得随后创建的音乐作品反映对输入素材的分析。
这将对讨论一些类型的当由系统用户从歌词/音乐输入中提取时的音高和节奏信息有帮助,所述音高和节奏信息通常将使用在本发明的这种替代实施例中提及的歌词上或音乐上响应参数选择机制来影响某些参数表中的参数值的选择。这些案例将应用于以上所讨论的实施全局方法和局部方法两者。
例如,在输入素材由高频率的短而快节奏素材组成的情况下,则节奏相关子系统(即,在图27B3A到图27B3C中展示的B2、B3、B4、B9、B15、B11、B25和B26) 可能更有可能选择16分音符节奏值和8分音符节奏值或者参数表中的输入素材可能会影响的其他值。考虑以下节奏相关示例:(ⅰ)系统用户以快而短节奏素材演唱旋律可能会使子系统B26中的概率发生变化并且着重强调十六分音符和八分音符选项; (ⅱ)系统用户以3种相同节奏的重复模式演唱华尔兹可能会使子系统B4中的概率发生变化并且着重强调3/4拍或6/8拍选项;(ⅲ)系统用户以遵循合唱诗节形式演唱歌曲可能会使子系统B9中的概率发生变化并且着重强调ABA形式选项;(iv)系统用户以非常快节奏演唱旋律可能会使子系统B3中的概率发生变化并且着重强调更快速度选项;以及(v)系统用户以缓慢变化基本隐含的和声进行演唱旋律可能会使子系统B11中的概率发生变化并且着重强调较长和弦长度选项。
在输入素材由包括小调的音高组成的情况下,则音高相关子系统(即,在图27B3A、图27B3B、和图27B3C中展示的B5、B7、B17、B19、B20、B27、B29、和B30)可以更可能选择(多个)小调和相关小调和弦以及和弦进行或输入素材可能影响的其他值。考虑以下音高相关示例:(ⅰ)系统用户演唱遵循小调调性的旋律可能会使子系统B7中的概率发生变化并且着重强调小调调性选项;(ⅱ)系统用户演唱以音高D为中心的旋律可能会使子系统B27中的概率发生变化并且着重强调D音高选项;(ⅲ)系统用户演唱遵循以E为中心的基本隐含的和声进行旋律可能会使子系统B17中的概率发生变化并且着重强调E根音符选项;(iv)系统用户演唱遵循低音高范围的旋律可能会使子系统B30中的概率发生变化并且着重强调较低音高八度选项;以及(v)系统用户演唱遵循以音高D F#和A为中心的基本隐含的和声进行的旋律可能会使子系统B5中的概率发生变化并且着重强调D调选项。
在系统用户输入素材遵循特定风格或采用特定控制器代码选项的情况下,然后在图27B3A、27B3B和27B3C中展示的乐器子系统B38和B39和控制器代码子系统 B32可能更有可能分别选择某些乐器和/或特定控制器代码选项。考虑以下示例:(i) 系统用户演唱遵循流行风格的旋律可能使子系统B39中的概率发生变化并且着重强调流行乐器选项;以及(ii)系统用户演唱模仿延迟效果的旋律可能使子系统B32中的概率发生变化并且着重强调延迟和相关控制器代码选项。
同样,在系统用户输入素材遵循或模仿演奏相同内容的特定乐器和/或方法的情况下,然后在图27B3A、图27B3B、和图27B3C中展示的配器子系统B31可能更有可能选择某些配器选项。考虑以下配器相关的示例:(i)系统用户以(多种)乐器的 (多种)模仿音乐表演演唱旋律可能使子系统B31中的概率发生变化并且着重强调作品的配器以反映用户输入;(ii)如果系统用户正在演唱琵音旋律,则子系统B31可以着重强调作品的琶音或类似配器;(iii)系统用户以执行不同音乐功能的模仿乐器演唱旋律可能会使子系统B31中的概率发生变化并且着重强调与如由系统用户模仿的每种乐器相关的音乐功能选项;以及(iv)如果系统用户正在以小提琴的风格演唱旋律与以吉他的风格伴奏之间交替,则子系统B31可能着重强调作品的(多种)相关或类似乐器的这些音乐功能。
对本发明的自动音乐合成和生成系统的第七说明性实施例的说明
图37示出了本发明的自动音乐合成和生成乐器系统的第七替代实施例,所述自动音乐合成和生成乐器系统支持由基于语言学的或基于图形图标的音乐体验描述符驱动的虚拟乐器音乐合成,并且可选地是由系统用户以根据具体情况输入文本串、说出词语或演唱歌词的形式向输入输出子系统B0提供的歌词(词串)表达。如本文所使用的,术语“虚拟乐器音乐合成(virtual-instrument music synthesis)”指使用已经使用一个或多个虚拟乐器产生的数字音频音符、和弦和音符序列在逐个音符和逐个和弦的基础上创建音乐作品,所述虚拟乐器使用例如包括本文所公开的数字音频采样技术的各种音乐和乐器合成技术来创建。
在图37中示出的这种说明性实施例中,可以使用文字键盘/小键盘、音频麦克风、语音识别接口和/或允许系统用户向系统传达音乐描述符的情感、风格和定时类型的其他适当系统用户接口来产生此用户输入。使用此系统配置,系统用户可以根据本发明的原理进一步将例如键入的、说出的和/或演唱的歌词(例如,一个或多个词短语) 应用于将使用合成音乐来为配乐视频或照片幻灯片中的一个或多个场景配乐。
如在本文中进一步详细解释的,歌词当由系统用户应用于特定场景时将以取决于歌词是否为键入的、说出的或演唱的不同方式来处理,以便提取允许沿着支持首字放大或开始旋律结构的时间线自动检测音高事件的元音共振峰。这种音高事件可以用于通知和约束参数转换引擎子系统B51使用的音乐体验描述符和定时/空间参数,以便基于音乐体验描述符的完成集合来生成包括定时参数和歌词的系统操作参数,所述系统操作参数可以作为输入由系统用户提供至系统接口子系统B0。
如图38所展示的,自动音乐合成和生成乐器系统支持由使用键盘接口、麦克风、触摸屏接口或语音识别接口选择的基于图形图标的音乐体验描述符来驱动的虚拟乐器音乐合成。
通常,图37中示出的自动或自动化音乐合成和生成系统(包括图26A至图33E 中示出的以及上文指定的其之间协作的子系统中的所有)可以使用数字电子电路、模拟电子电路或数字和模拟混合电子电路来实施,所述电路特别被配置和编程用于实现待由自动音乐合成和生成系统支持的功能和操作模式。数字集成电路(IC)可以包括低功率和混合(即,数字和模拟)信号系统,所述信号系统采用电子电路系统和乐器制造工艺中熟知的方式在芯片(即,片上系统或SOC)实施方式上实现、用硅制造。这种实施方式还可以包括使用多CPU和多GPU,如可能是基于本发明的系统的特定产品设计所需要或期望的。对于在这种数字集成电路(IC)实施方式的细节,可以参考本领域任意数量的公司和专家,包括:Cadence DesignSystems,Inc.、Synopsis Inc.、 Mentor Graphics,Inc.以及其他电子设计自动化公司。
出于说明目的,系统的数字电路系统实施方式被示出为配置在SOC或类似数字集成电路周围的组件的架构。如所示出的,系统包括各种部件,包括:包括多核CPU、多核GPU、程序存储器(DRAM)和视频存储器(VRAM)的SOC子架构;硬盘驱动器(SATA);LCD/触摸屏显示面板;麦克风/扬声器;键盘;WIFI/蓝牙网络适配器;音高识别模块/板;以及电源和分配电路系统;如所示出的,所有部件都被集成在系统总线结构周围并且支持控制器芯片。
多核CPU的主功能是用于执行加载到程序存储器(例如,微代码)中的程序指令,而多核GPU将通常接收并执行来自多核CPU的图形指令,尽管在程序指令和图形指令两者都可以在单个IC设备内实现的情况下,多核CPU和GPU都可以实现为混合多核CPU/GPU芯片,但其中支持计算和图形流水线以及用于LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备还有WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的接口电路系统。LCD/触摸屏显示面板、麦克风/扬声器、键盘或小键盘设备以及WIFI/蓝牙(BT)网络适配器和音高识别模块/电路系统的用途是将用于支持和实现由系统接口子系统B0支持的功能,但是可以用于对与图37至图39 示出的系统中采用的相同的其他子系统进行实施。
在图39中示出的自动音乐合成和生成系统中,包括歌词输入和其他媒体(例如,视频录制、放映幻灯片、音频录制或其他事件标记)的基于语言和/或图形的音乐体验描述符通过系统用户接口B0被选择为输入。根据本发明的一个个实施例,由子系统B0支持的系统用户接口可以使用支持与图15A至图15V所示出的这些类似的GUI 屏幕的触摸屏幕键盘来实现,但预计将在风格和格式上不同。音乐体验描述符和媒体被提供给系统用户接口B0并且然后由系统(例如,使用基于AI图像和音处理方法) 自动分析,以提取体验描述符(例如,基于场景影响和/或提供的媒体内容中的情感信息内容)。在这之后,向系统提供的音乐体验描述符以及机器提取的音乐体验描述符由在系统(S)内的自动音乐合成和生成引擎(E1)用于自动地生成经配乐的媒体,然后所述经配乐的媒体经由系统用户接口提供回至系统用户以供随后的访问、分配和使用。
如图39A中所示出的,系统输入输出接口B0允许系统用户以由系统支持的任何自然语言中的键入词、说出词和/或演唱语音的形式向系统传输歌词输入。通常,支持世界上主要语言中的所有语言(例如,英语、西班牙语、法语、汉语、日语、俄语等)。如所示出的,系统支持三种不同模式的歌词输入处理,每种模式都被优化以处理提供给实时音高事件分析子系统B52的歌词输入的形式(例如,图形化的串、表示说出歌词的声学信号以及表示演唱歌词的声学信号)。歌词输入的模式(例如,1–键入歌词、2–说出歌词以及3–演唱歌词)可以由系统用户根据基于GUI的系统输入输出子系统B0来选择。这种歌词输入被提供至支持具有时间编码的多路复用器的实时音高事件分析子系统B52,,以用于将输出从子系统B52传输至参数转换引擎子系统 B51。在实时音高事件分析子系统B52内,对由系统用户提供的歌词输入执行实时音高事件、节奏和韵律分析,以便分别针对键入、说出和演唱歌词来生成三(3)种不同音高事件流。随后,这些输出用于在本发明的音乐合成和生成过程期间修改系统中的系统操作参数。
图39B示出了图39A中示出的子系统中采用的实时音高事件分析子系统B52,如包括以下子部件:歌词输入处理器,用于处理由系统用户提供的不同形式的歌词输入;音高事件输出处理器,用于处理由子系统B52生成的不同音高事件输出流;词汇字典,用于对由系统支持的语言中的每个词进行存储语言信息和模型;和元音格式分析器,用于分析包含在经处理的歌词输入中的元音格式;以及模式控制器,用于控制子系统B52的歌词输入模式,所述模式控制器关于使用在子系统B52内采用的各种部件来处理歌词输入的程序处理器而被配置。
在图40中,在此描述了一种使用实时音高事件分析系统B52以自动方式合成和生成音乐的方法。如所示出的,所述方法包括以下一系列步骤:(a)向自动音乐合成和生成系统的系统用户接口提供音乐体验描述符(例如,包括如在图32A至32F中示出的“情感类型”音乐体验描述符以及如图33A至33E中示出的“风格类型”音乐体验描述符);(b)向系统的系统用户接口提供针对待用由系统合成和生成的音乐来配乐的视频或媒体对象中的一个或多个场景的歌词输入(例如,以键入的、说出的或演唱的格式);(c)基于时域和/或频域技术,使用实时音高事件分析子系统B52来处理使用对键入/说出/演唱歌词或词语(针对经配乐媒体的某些帧)的实时节奏、音高事件和韵律分析向系统用户接口提供的歌词输入;(d)使用实时音高事件分析系统 B52从经分析的歌词输入中提取高分辨率时间线上的音高事件、节奏信息和韵律信息,并且使用与这种检测到的事件何时发生有关的定时信息进行编码;并且(e)向自动音乐合成和生成引擎E1提供所提取的音高事件、节奏和韵律信息以便在约束自动系统的各种子系统中采用的基于概率的系统操作参数(SOP)表时使用。这将对以下更详细地讨论的这些步骤中的每个步骤有帮助。
在图40的步骤A中,可以以各种方式向自动音乐合成和生成系统的系统用户接口提供音乐体验描述符(例如,包括如在图32A至图32F中示出的“情感类型”音乐体验描述符以及如图33A至图33E中示出的“风格类型”音乐体验描述符)。可以使用适当的GUI屏幕以LCD触摸屏显示的方式提供这种信息输入。可替代地,音乐体验描述符可以由键盘数据输入、语音识别或在数据输入和处理领域已知的其他方法来提供。
图40的步骤B中,可以以各种方式向系统的系统用户接口提供歌词输入(例如,以键入、说出或演唱格式),以用于使用由系统合成和生成的音乐来配乐的视频或媒体对象中的一个或多个场景。这种歌词信息可以通过麦克风、语音识别、键入键盘数据输入或在数据输入和处理领域已知的其他方法的方式来提供,其中优选地,系统用户可以说出和演唱针对期望媒体作品或乐段的歌词,为此歌词旨在发送针对有待由本发明的系统合成和生成的音乐中的至少有限数量音符的音调、节奏和旋律。
在图40的步骤C中,基于时域和/或频域技术,向系统用户接口提供的歌词输入可以使用各类信号处理设备,优选地,使用(i)实时节奏、音高事件和键入/说出/演唱歌词或词语的韵律分析来处理。在说出或演唱歌词或词语被谱写成媒体作品或乐段的情况下,将使用高速数字信号处理(DSP)芯片来数字化和处理对应的语音信号,所述高速数字信号处理芯片被编程用于执行实时节奏、音高事件以及对键入/说出/演唱歌词或词语的韵律分析,通常采用元音共振峰分析和相关技术来确定歌词中元音的出现,以及其中的音高特性,所述音高特性被转换成对应音高的音符以从歌词输入中获取旋律感测。
图40的步骤D中,可以使用以上讨论的程序DSP芯片来实施从经分析的歌词输入中对高分辨率时间线上的音高事件、节奏信息和韵律信息进行的提取,其中,这种提取的音高和节奏信息可以使用定时信息来编码以精确地指示这种检测到的事件沿着时间线在何时发生。
在图40的步骤E中,提取的信息最终被提供给自动音乐合成和生成引擎内的参数转换引擎B51,并且在其内用于约束由参数转换引擎B51生成/更新的基于概率的参数表。
经分析的歌词输入的主要目的是允许图37中示出的系统的自动音乐合成和生成引擎E1中的参数转换引擎子系统B51使用这种自动地提取的音高事件、节奏和韵律信息来约束已经为由系统用户以及歌词输入提供的情感/风格音乐体验描述符的集合而配置的基于概率的系统操作参数(SOP)表。提取的音高事件可以在设置有助于指导生成由本发明的系统合成的音乐作品的曲调结构的音高相关参数表的概率时使用,使得所合成的音乐遵循并支持提供的歌词的旋律结构。节奏和/或韵律信息可以在设置有助于指导生成由本发明的系统合成的音乐作品的旋律乐句结构的音高相关参数表的概率时使用,使得所合成音乐遵循并支持提供的歌词的节奏结构。
图41描述了涉及图37中示出的第七说明性实施例的音乐合成和生成系统内执行自动音乐合成和生成处理的主要步骤,所述音乐合成和生成系统支持由语言(包括歌词)音乐体验描述符驱动的虚拟乐器音乐合成。如在图41中所指示的,方法包括以下步骤:(a)系统用户访问自动音乐合成和生成系统,并且然后选择使用由其自动音乐合成和生成引擎生成的音乐来配乐的媒体;(b)系统用户选择向系统的自动音乐合成和生成引擎提供的音乐体验描述符(并且可选地是歌词)以便应用于经配乐的所选媒体;(c)系统用户启动自动音乐合成和生成引擎以基于为所选媒体配乐的所提供音乐描述符来合成和生成音乐;(d)系统用户查看已经为经配乐媒体作品或事件标记合成的生成的音乐,并且或者鉴于由此产生的音乐体验来接受音乐和/或向与用户偏好有关的系统提供反馈,和/或对音乐描述符和参数进行修改并且要求系统重新生成修改后的音乐作品;并且(e)系统将合成的音乐作品与所选视频进行组合,以创建用于分布和显示的新的媒体文件。
为在图37至图38中示出的系统中的子系统B1的上下文中展示实时音高事件分析子系统B52的操作,这将对展示将如何由实时音高事件分析子系统B52处理示例性歌词的两个不同集,每个集其特征在于不同情感状态(例如,高兴和悲伤),以生成不同系列的音高事件,以便在驱动自动音乐合成和生成系统时使用。
现参照图42,示出了实时音高事件分析子系统B52,处理情感快乐的(例如查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)的键入的歌词表达(词语集合)特征,以基于元音格式的存在(分配给图形表示的元音)来导出从键入歌词中分离的对应的音高事件(例如,音符),并且然后这些音高事件被提供为歌词输入,以便有待合成的音乐作品的音乐体验描述,通常连同提供给系统的音乐体验描述符的情感和风格。
更具体地,图42描述了在图37的系统内执行的高层次步骤,同时执行处理由系统用户被提供为到系统中的键入歌词输入的键入歌词表达(词语集合)(在示例中的情感高兴(例如由查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)的特征)的方法。
如在图42的框A中示出的,实时音高事件分析子系统B52接收基于文字的歌词输入作为字素(或词素)串。
在图42中的框B处,子系统B52利用本地字典自动地将文本串转录成音素等效串。
在图42中的框C处,基于在音素串中的这些音素,子系统B52将呈现在音素串生成中的元音自动地转换成(默认)元音格式的串。优选地,在图39B的基于文字表示的词汇字典中列出了默认元音格式,同时使用元音共振峰分析器可以自动检测元音格式,所述元音共振分析器可以基于实时语音处理和应用语言领域中众所周知的实时光谱学和类似技术。
在图42的框D处,子系统B52然后自动地将检测到的元音格式转换成音符串(例如,在这种情况下音高事件不具有节奏信息)。
在图42中的框E处,子系统B52根据元音共振峰串来生成音符串(例如,音高事件数据)。
在图42中的框F处,子系统B52将(例如,与检测到的音高事件相关)音高事件数据传输至参数转换引擎(B51),以便鉴于已经提供给系统的音乐体验描述符的情感和风格类型,帮助为音乐体验描述符和说明而产生基于概率的系统操作参数。在此的目标是帮助合成的音乐作品的音乐体验描述并且在本发明的自动音乐合成过程中帮助驱动系统。这种音高事件信息然后被用在参数转换引擎子系统B51内,以在分布和加载整个系统之前生成SOP表,并且最终执行音乐合成和本发明的生成过程。
现参照图43,示出了实时音高事件分析子系统B52,处理情感高兴(例如查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)的说出歌词表达 (词语集合)特征,以基于存在的元音格式(分配给图形表示的元音)来导出从说出歌词中分离的对应的音高事件(例如,音符),并且然后这些音高事件被提供为歌词输入以帮助合成的音乐作品的音乐体验描述,通常连同提供给系统的音乐体验描述符的情感和风格。
更具体地,图43描述了在图37的系统内执行的高层次步骤,同时实践处理由系统用户提供为到系统中的键入歌词输入的说出歌词表达(词语集合)(在示例中的情感快乐(例如,由查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)的特征)的方法。
如图43的框A中示出的,实时音高事件分析子系统B52接收说出歌词输入作为声学信号。
在图43中的框B处,子系统B52使用A/D和数字信号处理技术自动地处理声学信号,以利用在本领域众所周知的本地字典和语音识别方法来生成音素等效串。
在图43中的框C处,基于在音素串中的这些音素,子系统B52自动地将呈现在音素串中的元音转换成(默认)元音格式串。优选地,在图39B的基于文字表示的词汇字典中列出了默认元音格式,同时使用元音共振峰分析器可以自动检测元音格式,所述元音共振分析器可以基于实时语音处理和应用语言领域中众所周知的实时光谱学和类似技术。
在图43的框D处,子系统B52然后自动地将检测到的元音格式转换成音符串(例如,在这种情况下音高事件具有节奏信息)。
在图43中的框E处,子系统B52根据元音共振峰串来生成音符串(例如,具有节奏数据的音高事件)。
在图43中的框F处,子系统B52将(例如,与检测到的音高事件和发出语音信号的节奏特征相关的)音高事件和节奏数据传输至参数转换引擎(B51),以便鉴于已经提供给系统的情感和风格类型的音乐体验描述符,来帮助为音乐体验描述符和说明而产生基于概率的系统操作参数。在此的目标是帮助合成的音乐作品的音乐体验描述并且在本发明的自动音乐合成过程中帮助驱动系统。然后在参数转换引擎子系统B51 内使用这种音高事件和捕获的节奏数据,以在跨系统分布和加载之前生成SOP表,并且最终执行本发明的音乐合成和生成过程。
现参照图44,示出了实时音高事件分析子系统B52,处理情感快乐(例如查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)的演唱歌词表达 (词语集合)特征,以基于存在的元音格式(分配给图形表示的元音)来导出从演唱歌词中分离的对应的音高事件(例如,音符),并且然后这些音高事件被提供为歌词输入以帮助合成的音乐作品的音乐体验描述,通常连同提供给系统的情感和风格类型的音乐体验描述符。
更具体地,图44描述了在图37的系统内执行的高层次步骤,同时实践处理由系统用户提供为到系统中的演唱歌词输入的演唱歌词表达(词语集合)(在示例中的情感快乐(例如,由查尔斯斯特劳斯(Charles Strouse)的“Put On A Happy Face(面带微笑)”)的特征)的方法。
如在图44的框A中示出的,实时音高事件分析子系统B52接收演唱歌词输入作为被不断缓冲和处理的声学信号。
在图44中的框B处,子系统B52使用A/D和其他数字信号处理技术自动地处理声学信号,以便利用本地字典来产生音素等效串。
在图44中的框C处,基于在音素串中的这些音素,子系统B52自动地将呈现在音素串中的元音转换成(默认)元音格式串。使用元音共振峰分析器可以自动检测元音格式,所述元音共振分析器可以基于实时语音处理和应用语言领域中众所周知的实时光谱学和类似技术。
在图44的框D处,子系统B52然后自动地将检测到的元音格式转换成音符串(例如,在这种情况下音高事件具有节奏信息)。
在图44的E框处,子系统B52然后根据检测到的元音格式自动地生成音符串(例如,在这种情况下音高事件具有节奏信息)。
在图44中的框F处,子系统B52将(例如,与检测到的音高事件和演唱歌词的节奏特征相关的)音高事件和节奏数据传输至参数转换引擎(B51),以便鉴于已经提供给系统的音乐体验描述符的情感和风格类型,帮助为音乐体验描述符和说明而产生基于概率的系统操作参数。在此的目标是帮助合成的音乐作品的音乐体验描述并且在本发明的自动音乐合成过程中帮助驱动系统。如上文所描述的,这种音高事件和捕获的节奏数据然后用在参数转换引擎子系统B51内,以自动地生成用于系统用户输入的基于概率的SOP表集,所述基于概率的SOP表受由子系统B52捕获的音高事件、节奏和韵律信息约束。
图45示出了在图44中的框E处的演唱歌词表达内使用自动元音格式分析以及本发明的其他方法自动识别的音符的乐谱。如所示出的,每个音符在与相应元音中的第一和第二共振峰的比率相对应的间隔内具有音高。
现参照图46,示出了实时音高事件分析子系统B52,处理情感悲伤的或忧伤的(例如,伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere Over TheRainbow(彩虹之上)”)的键入歌词表达(词语集合)特征,以基于元音格式的存在(分配给图形表示的元音)来导出从键入歌词中分离的对应的音高事件(例如,音符),并且然后这些音高事件被提供为歌词输入以帮助合成的音乐作品的音乐体验描述,通常连同提供给系统的情感和风格类型的音乐体验描述符。
更具体地,图46描述了在图37的系统内执行的高层次步骤,同时实践处理由系统用户提供为到系统中键入歌词输入的键入歌词表达(词语集合)(在示例中的情感悲伤的或忧伤的(伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere OverThe Rainbow(彩虹之上)”)的特征)的方法。
如在图46的框A中示出的,实时音高事件分析子系统B52接收基于文字的歌词输入作为字素(或词素)串。
在图46中的框B处,子系统B52利用本地字典自动地将文本串转录成音素等效串。
在图46中的框C处,基于在音素串中的这些音素,子系统B52将呈现在音素串生成中的元音自动地转换成(默认)元音格式的串。优选地,在图39B的基于文字表示的词汇字典中列出了默认元音格式,同时使用元音共振峰分析器可以自动检测元音格式,所述元音共振分析器可以基于实时语音处理和应用语言领域中众所周知的实时光谱学和类似技术。
在图46的框D处,子系统B52然后自动地将检测到的元音格式转换成音符串(例如,在这种情况下音高事件不具有节奏信息)。
在图46中的框E处,子系统B52根据元音共振峰串来生成音符串(例如,音高事件数据)。
在图46中的框F处,子系统B52将(例如,与检测到的音高事件相关)音高事件数据传输至参数转换引擎(B51),以便鉴于已经提供给系统的音乐体验描述符的情感和风格类型,帮助为音乐体验描述符和说明而产生基于概率的系统操作参数。在此的目标是帮助合成的音乐作品的音乐体验描述并且在本发明的自动音乐合成过程中帮助驱动系统。如上文所描述的,这种音高事件和捕获的节奏数据然后用在参数转换引擎子系统B51内,以自动地生成用于系统用户输入的基于概率的SOP表集,所述基于概率的SOP表受由子系统B52捕获的音高事件、节奏和韵律信息约束。
现参照图47,示出了实时音高事件分析子系统B52,处理情感悲伤的或忧伤的(例如,伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere Over TheRainbow(彩虹之上)”)的说出歌词表达(词语集合)特征,以基于存在的元音格式(分配给图形表示的元音)来导出从说出歌词中分离的对应的音高事件(例如,音符),并且然后这些音高事件被提供为歌词输入以帮助合成的音乐作品的音乐体验描述,通常连同提供给系统的情感和风格类型的音乐体验描述符。
更具体地,图47描述了在图37的系统内执行的高层次步骤,同时实践处理由系统用户提供为到系统中的键入歌词输入的说出歌词表达(词语集合)(在示例中的情感悲伤的或忧伤的(伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere OverThe Rainbow(彩虹之上)”)的特征)的方法。
如图47的框A中示出的,实时音高事件分析子系统B52接收说出歌词输入作为声学信号。
在图47中的框B处,子系统B52使用A/D和数字信号处理技术自动地处理声学信号,以利用在本领域众所周知的本地字典和语音识别方法来生成音素等效串。
在图47中的框C处,基于在音素串中的这些音素,子系统B52将呈现在音素串生成中的元音自动地转换成(默认)元音格式的串。优选地,在图39B的基于文字表示的词汇字典中列出了默认元音格式,同时使用元音共振峰分析器可以自动检测元音格式,所述元音共振分析器可以基于实时语音处理和应用语言领域中众所周知的实时光谱学和类似技术。
在图47的框D处,子系统B52然后自动地将检测到的元音格式转换成音符串(例如,在这种情况下音高事件具有节奏数据)。
在图47中的框E处,子系统B52根据元音共振峰串来生成音符串(例如,具有节奏数据的音高事件)。
在图47中的框F处,子系统B52将(例如,与检测到的音高事件和节奏特征相关的)音高事件数据传输至参数转换引擎(B51),以便鉴于已经提供给系统的情感和风格类型的音乐体验描述符的,帮助为音乐体验描述符和说明而产生基于概率的系统操作参数。在此的目标是帮助合成的音乐作品的音乐体验描述并且在本发明的自动音乐合成过程中帮助驱动系统。如上文所描述的,这种音高事件和捕获的节奏数据然后用在参数转换引擎子系统B51内,以自动地生成用于系统用户输入的基于概率的SOP 表集,所述基于概率的SOP表受由子系统B52捕获的音高事件、节奏和韵律信息约束。
现参照图48,示出了实时音高事件分析子系统B52,处理情感悲伤的或忧伤的(例如,伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere Over TheRainbow(彩虹之上)”)的演唱歌词表达(词语集合)特征,以基于存在的元音格式(分配给图形表示的元音)来导出从演唱歌词中分离的对应的音高事件(例如,音符),并且然后这些音高事件被提供为歌词输入以帮助合成的音乐作品的音乐体验描述,通常连同提供给系统的情感和风格类型的音乐体验描述符。
更具体地,图48描述了在图37的系统内执行的高层次步骤,同时实践处理由系统用户提供为到系统中的演唱歌词输入的演唱歌词表达(词语集合)(在示例中的情感悲伤的或忧伤的(伊普哈伯格(E.Yip Harburg)和哈罗德阿伦(Harold Arlen)的“Somewhere OverThe Rainbow(彩虹之上)”)的特征)的方法。
如在图48的框A中示出的,实时音高事件分析子系统B52接收演唱歌词输入作为被不断缓冲和处理的声学信号。
在图48中的框B处,子系统B52使用A/D和其他数字信号处理技术自动地处理声学信号,以便利用本地字典来产生音素等效串。
在图48中的框C处,基于在音素串中的音素,子系统B52根据呈现在音素串中的元音自动地生成(默认)元音格式串。使用可使用实时语音处理和应用语言领域中众所周知的实时光谱学和类似技术实现的子系统B52内的元音共振峰分析器(VFA) 自动地检测元音格式。
在图48的E框处,子系统B52然后根据检测到的元音格式自动地生成音符串(例如,在这种情况下音高事件具有节奏数据)。
在图48中的框F处,子系统B52将(例如,与检测到的音高事件和演唱歌词的节奏特征相关的)音高事件和节奏数据传输至参数转换引擎(B51),以便鉴于已经提供给系统的音乐体验描述符的情感和风格类型,帮助为音乐体验描述符和说明而产生基于概率的系统操作参数。在此的目标是帮助合成的音乐作品的音乐体验描述并且在本发明的自动音乐合成过程中帮助驱动系统。如上文所描述的,这种音高事件和捕获的节奏数据然后用在参数转换引擎子系统B51内,以自动地生成用于系统用户输入的基于概率的SOP表集,所述基于概率的SOP表受由子系统B52捕获的音高事件、节奏和韵律信息约束。
图49示出了在图49中的框E处的演唱歌词表达内使用自动元音格式分析以及本发明的其他方法自动识别的音符的乐谱。如所示出的,每个音符在与相应元音中的第一和第二共振峰的比率相对应的音阶上的间隔内具有音高。
在其他应用中采用本发明的自动音乐合成和生成引擎
本发明的自动音乐合成和生成引擎将用在除了本发明公开描述的这些之外的许多应用中。
例如,考虑系统用于提供无限期持续音乐或等待音乐(即流式音乐)的使用情况。在这种应用中,系统将用于创建明确或不明确长度的独特音乐。所述系统可以被配置用于传达音乐体验和风格的集合,并且可以对实时音频、视觉或文字输入作出反应以修改音乐,并且通过改变音乐努力使音频、视觉或文字输入符合所期望的编程音乐体验和风格。例如,所述系统可以在等待音乐中用于使消费者平静,在零售商店中用于诱导迫切感和需求感(进一步推动销售),或者在背景广告中用于使广告的音乐与内容的每个个体消费者更好地对齐。
另一个使用情况是系统用于在虚拟现实或其他社会环境中提供真实或虚拟现场谱写音乐的使用情况。在此,系统可以被配置用于传达音乐体验和风格的集合,并且可以对实时音频、视觉和文字输入作出反应。以这种方式,系统将能够“现场得分”对在体验约束下的一定程度的灵活性做的好的内容体验。例如,在视频游戏中,其中,通常存在进行游戏的很多不同的方式并且通过课程来推进,系统将能够在游戏播放时为其准确地创建音乐,而不是(依靠传统方法)依靠循环预先创建的音乐,直到某些触发点得到满足。系统还可以很好地应用在虚拟现实和混合现实模拟和体验中。
对本发明的说明性实施例的修改
本发明通过参考以上说明性实施例而被更详细地描述。然而,理解的是,具有从阅读本发明公开内容获益的本领域中普通技术人员将容易进行许多修改。
在可替代实施例中,根据本发明的原理,可以修改本发明的自动音乐合成和生成系统以支持常规以符号表示音乐信息的输入(诸如,例如音符、和弦、音高、旋律、节奏、速度和音乐的其他资格)进入到系统输入接口中,进而结合系统用户提供的其他音乐体验描述符处理和使用。
例如,在以上描述的本发明的可替代实施例中,系统可以被实现为独立的器具、乐器、嵌入式系统、企业级系统、分布式系统以及如嵌入在社交通信网络、电子邮件通信网络、SMS消息传递网络、电信系统等中的应用。这种替代系统配置将取决于使用本发明的原理和技术的特定终端用户应用以及产品和服务的目标市场。
而在此公开的优选实施例已经教导了虚拟乐器音乐合成的使用,以便生成在自动音乐作品中指定的听觉上实现的音符、和弦、节奏和其他事件,这与以现有技术系统的特征的方式将音乐循环串在一起形成鲜明对比,理解的是,本发明的自动音乐合成和生成系统可以被修改以适应由系统生成的乐谱表示,并且将这个级别的系统输入转换成驱动和控制一组或多组基于MIDI的乐器的MIDI控制信号,以便产生自动地合成的音乐以供他人欣赏。这种自动音乐合成和生成系统可以驱动如在派特麦席尼(Pat Metheny)的2010自动风琴项目期间展示的整个MIDI控制的乐器组。这种自动音乐合成和生成系统可在家庭和商业环境中使用,作为商业上可用的基于
Figure BDA0001677112050001271
Figure BDA0001677112050001272
MIDI的音乐生成系统的替代品。本发明的这些替代实施例被本文公开的系统和模型所包含,并且落入本发明的范围和精神之内。
然而,为实施本发明的各种自动音乐合成和生成机器、引擎、设备、乐器和机器人(即,系统),已经公开了很多不同的方式和手段,从本发明公开内容获益的本领域的其他技术人员可以使用其他可替代的方式和手段。
这些和所有其他这些修改和变化都被认为是在由针对发明的所附权利要求书所限定的本发明的范围和精神内。

Claims (51)

1.一种自动音乐合成和生成系统,用于使用由情感/风格索引的音乐理论系统操作参数控制的自动音乐合成和生成引擎来自动合成和生成数字音乐作品,所述情感/风格索引的音乐理论系统操作参数针对响应于系统用户供应的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集而合成和生成的每件数字音乐作品而产生,所述自动音乐合成和生成系统包括:
系统用户接口,用于使系统用户能够回顾和选择一个或多个情感类型和风格类型音乐体验描述符以及时间和/或空间参数;以及
自动音乐合成和生成引擎,可操作地连接至所述系统用户接口,并且包括一起协作以合成和生成一件或多件数字音乐作品的多个特定功能的子系统,其中,待合成和生成的每件所述数字音乐作品具有节奏格局和音高格局并且包含使用为所述数字音乐作品选择的一件或多件乐器的配器法来安排和演奏的一组音符,并且其中,所述多个特定功能的子系统包括节奏格局子系统和音高格局子系统;
其中,每个所述特定功能的子系统支持和采用情感/风格索引的音乐理论系统操作参数表以便在所述自动音乐合成和生成过程期间执行特定音乐理论操作;
其中,所述自动音乐合成和生成引擎包括一起协作以响应于在所述系统用户接口处由所述系统用户选择的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数而自动合成和生成一件或多件数字音乐作品的多个特定功能的子系统;
其中,所述特定功能的子系统包括:
参数转换子系统,用于从所述系统用户接口接收所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数,并且处理和转换所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数并产生基于情感/风格索引音乐理论的参数以便由采用情感/风格索引的音乐理论系统操作参数表的所述特定功能的子系统中的一个或多个在自动音乐合成和生成期间使用;
配器子系统,用于自动地给正在合成的所述数字音乐作品配器以便由一件或多件虚拟乐器的全体进行演奏;
其中,所述节奏格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述节奏格局,包括在时间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由音乐作品的速度、拍子和长度组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
其中,所述音高格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述音高格局,包括在空间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由所述数字音乐作品的调和调性组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
数字作品创建子系统,用于采用一项或多项自动音乐合成技术来创建所述数字音乐作品的数字版本;以及
反馈和学习子系统,用于支持所述自动音乐合成和生成系统内的反馈和学习循环,
其中,所述自动音乐合成和生成系统基于由所述系统用户提供给所述系统用户接口的评级和/或偏好自动地生成更新的音乐作品。
2.如权利要求1所述的自动音乐合成和生成系统,其中,所述系统用户接口接收从由视频、音频记录或图像组成的组中选择的数字媒体作品,并且所述自动音乐合成和生成系统生成所述数字音乐作品以便为所述数字媒体作品配乐并且然后将所述数字音乐作品和数字媒体作品重新结合以产生经配乐的数字媒体作品,所述经配乐的数字媒体作品经由所述系统用户接口被供应回至所述系统用户以供体验和回顾。
3.如权利要求1所述的自动音乐合成和生成系统,其中,所述自动音乐合成和生成引擎进一步包括控制器代码创建子系统,所述控制器代码创建子系统用于创建控制器代码以便控制正在合成的所述数字音乐作品的实际音符、节奏和乐器的表达。
4.如权利要求1所述的自动音乐合成和生成系统,其中,所述音乐合成包括使用已经使用一件或多件虚拟乐器产生的数字音频音符、和弦和音符序列在逐音符和逐和弦的基础上创建音乐作品,所述虚拟乐器使用包括数字音频采样技术的音乐和乐器合成技术来创建。
5.如权利要求3所述的自动音乐合成和生成系统,其中,所述节奏格局子系统包括用于生成正在合成的所述音乐作品的普通节奏的普通节奏生成子系统以及用于生成正在合成的所述音乐作品的旋律节奏的旋律节奏生成子系统;并且其中,所述音高格局子系统包括用于生成正在合成的所述音乐作品的和弦的普通音高生成子系统以及用于生成正在合成的所述音乐作品的旋律音高的旋律音高生成子系统。
6.如权利要求5所述的自动音乐合成和生成系统,其中,所述普通节奏生成子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:长度生成子系统、速度生成子系统、拍子生成子系统、调生成子系统、节拍计算器子系统、调性生成子系统、小节计算器子系统、歌曲形式生成子系统、子乐句长度生成子系统、子乐句中和弦数量计算器子系统、乐句长度生成子系统、独特乐句生成子系统、乐句中和弦数量计算器子系统、和弦长度生成子系统、独特子乐句生成子系统、乐器法子系统、乐器选择器子系统以及定时生成子系统。
7.如权利要求5所述的自动音乐合成和生成系统,其中,所述普通音高生成子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:初始和弦生成子系统、子乐句和弦进行生成子系统、乐句和弦进行生成子系统以及和弦转位生成子系统;并且其中,所述旋律节奏生成子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:旋律子乐句长度生成子系统、旋律子乐句生成子系统、旋律乐句长度生成子系统、旋律独特乐句生成子系统、旋律长度生成子系统以及旋律音符节奏生成子系统。
8.如权利要求5所述的自动音乐合成和生成系统,其中,所述旋律音高生成子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:初始音高生成子系统、子乐句音高生成子系统、乐句音高生成子系统以及音高八度生成子系统。
9.如权利要求5所述的自动音乐合成和生成系统,其中,所述配器子系统包括配器生成子系统。
10.如权利要求5所述的自动音乐合成和生成系统,其中,所述控制器代码创建子系统包括控制器代码生成子系统。
11.如权利要求3所述的自动音乐合成和生成系统,其中,所述数字作品创建子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:数字音频样本音频检索器子系统、数字音频样本管理器子系统、作品整合器子系统、作品格式转换器子系统以及作品递送器子系统。
12.如权利要求3所述的自动音乐合成和生成系统,其中,所述反馈和学习子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:反馈子系统、音乐可编辑性子系统、偏好保存器子系统、音乐内核子系统、用户品味子系统、群众品味子系统、用户偏好子系统以及群众偏好子系统。
13.如权利要求3所述的自动音乐合成和生成系统,其中,所述系统用户是从由人类和计算机系统组成的组中选择的。
14.如权利要求3所述的自动音乐合成和生成系统,其中,所述情感/风格索引的音乐理论参数中的一个或多个包括基于概率的音乐理论参数。
15.一种自动音乐合成和生成过程,用于使用由情感/风格索引的音乐理论系统操作参数控制的自动音乐合成和生成引擎来自动合成和生成数字音乐作品,所述情感/风格索引的音乐理论系统操作参数针对响应于系统用户供应的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集而合成和生成的每件数字音乐作品而产生,所述自动音乐合成和生成过程包括以下步骤:
(a)所述系统用户回顾和选择在系统用户接口上显示的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集,所述系统用户接口可操作地连接至根据多个特定功能的子系统构造的自动音乐合成和生成引擎,所述多个特定功能的子系统被配置用于响应于所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集自动地合成和生成数字音乐作品,
其中,待合成和生成的每件所述数字音乐作品具有节奏格局和音高格局并且包含使用为所述数字音乐作品选择的一件或多件乐器的配器法安排和演奏的一组音符,并且其中,所述多个特定功能的子系统包括:节奏格局子系统、音高格局子系统以及控制器代码创建子系统;
其中,每个所述特定功能的子系统支持和采用情感/风格索引的音乐理论系统操作参数表以便在所述自动音乐合成和生成过程期间执行特定音乐理论操作;
其中,所述自动音乐合成和生成引擎包括一起协作以响应于在所述系统用户接口处由所述系统用户选择的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数而自动合成和生成一件或多件数字音乐作品的多个特定功能的子系统;
(b)将所述情感类型和风格类型参数以及时间和/或空间参数集转换成情感/风格索引的音乐理论参数集以便由采用音乐理论系统操作参数表的所述多个特定功能的子系统中的一个或多个在自动音乐合成和生成期间使用;
(c)向所述自动音乐合成和生成引擎内的所述多个特定功能的子系统提供所述音乐理论参数集以便响应于在所述系统用户接口处由所述系统用户选择的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数而在自动合成和生成一件或多件数字音乐作品时使用;
(d)所述多个特定功能的子系统用于处理所述情感/风格索引的音乐理论参数集以便使用一种或多种自动音乐合成方法自动地合成和生成数字音乐作品,
其中,所述节奏格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述节奏格局,包括在时间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由音乐作品的速度、拍子和长度组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
其中,所述音高格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述音高格局,包括在空间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由所述数字音乐作品的调和调性组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织,并且
其中,所述控制器代码创建子系统被配置用于创建控制器代码以便控制正在合成的所述数字音乐作品的实际音符、节奏和乐器的表达;以及
(e)向所述系统用户递送所述数字音乐作品以供回顾和评价。
16.如权利要求15所述的自动音乐合成和生成过程,所述过程进一步包括:
(e)所述系统用户向所述系统用户接口提供反馈;以及
(f)使用所述反馈生成另一件数字音乐作品以供所述系统用户回顾和评价。
17.如权利要求15所述的自动音乐合成和生成过程,其中,所述系统用户接口包括与数据处理中心通信的客户机,所述数据处理中心包括可操作地连接至网络的多个web服务器、多个应用服务器和多个数据库服务器。
18.如权利要求15所述的自动音乐合成和生成过程,其中,所述情感/风格索引的音乐理论参数中的一个或多个包括基于概率的音乐理论参数。
19.如权利要求15所述的自动音乐合成和生成过程,其中,所述系统用户接口包括与数据处理中心通信的客户机,所述数据处理中心包括可操作地连接至网络的web服务器、应用服务器和数据库服务器。
20.如权利要求15所述的自动音乐合成和生成过程,其中,所述特定功能的子系统包括用于采用一项或多项自动音乐合成技术来创建所述数字音乐作品的数字版本的数字作品创建子系统。
21.如权利要求15所述的自动音乐合成和生成过程,其中,所述音乐合成包括使用已经使用一件或多件虚拟乐器产生的数字音频音符、和弦和音符序列在逐音符和逐和弦的基础上创建数字音乐作品,所述虚拟乐器使用包括数字音频采样技术的音乐和乐器合成技术来创建。
22.一种自动音乐合成和生成过程,用于使用由情感/风格索引的音乐理论系统操作参数控制的自动音乐合成和生成引擎来自动合成和生成数字音乐作品,所述情感/风格索引的音乐理论系统操作参数针对响应于系统用户供应的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集而合成和生成的每件数字音乐作品而产生,所述自动音乐合成和生成系统包括以下步骤:
(a)所述系统用户向系统用户接口提供情感类型和风格类型音乐体验描述符以及时间和/或空间参数集,所述系统用户接口可操作地连接至根据多个特定功能的子系统构造的自动音乐合成和生成引擎,所述多个特定功能的子系统被配置用于响应于所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集自动地合成和生成音乐作品,
其中,所述多个特定功能的子系统包括:节奏格局子系统、音高格局子系统、参数转换子系统以及控制器代码创建子系统;
(b)使用所述参数转换子系统自动且透明地将所述情感类型和风格类型参数以及时间和/或空间参数集转换成情感/风格索引的音乐理论参数集;
(c)向所述自动音乐合成和生成引擎内的所述多个特定功能的子系统提供所述情感/风格索引的音乐理论参数集以便在所述多个特定功能的子系统内的音乐理论系统参数表内加载;
(d)所述多个特定功能的子系统用于处理所述情感/风格索引的音乐理论参数集以便自动地合成和生成数字音乐作品,
其中,待合成和生成的每件所述数字音乐作品具有节奏格局和音高格局并且包含使用为所述数字音乐作品选择的一件或多件乐器的配器法安排和演奏的一组音符,
其中,所述节奏格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述节奏格局,包括在时间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由音乐作品的速度、拍子和长度组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织,
其中,所述音高格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述音高格局,包括在空间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由所述数字音乐作品的调和调性组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织,并且
其中,所述控制器代码创建子系统被配置用于创建控制器代码以便控制正在合成的所述数字音乐作品的实际音符、节奏和乐器的表达;
(e)向所述系统用户递送所述数字音乐作品以供回顾和评价;
(f)所述系统用户向所述自动音乐合成和生成引擎提供关于所产生的数字音乐作品的反馈;以及
(g)使用所述反馈生成另一件数字音乐作品以供所述系统用户回顾和评价。
23.一种由自动音乐合成和生成系统支持的自动音乐合成和生成过程,所述自动音乐合成和生成系统具有可操作地耦合至自动音乐合成和生成引擎的系统用户接口,所述自动音乐合成和生成引擎具有多个特定功能的子系统,包括:节奏格局子系统、音高格局子系统、参数转换子系统、控制器代码创建子系统和数字作品创建子系统,所述子系统一起协作并由针对响应于系统用户在所述自动音乐合成和生成过程期间供应给所述系统用户接口的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集而合成和生成的每件数字音乐作品而产生的情感/风格索引的音乐理论系统操作参数控制,所述自动音乐合成和生成过程包括:
(a)在所述系统用户接口处接收情感类型和风格类型以及可选地定时类型参数集作为所述数字音乐作品的音乐描述符,所述系统用户期望所述自动音乐合成和生成系统自动地合成和生成所述数字音乐作品;
(b)使用所述参数转换子系统来从所述系统用户接口接收所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数,并且处理和转换所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数并产生情感/风格索引的音乐理论系统操作参数以便在音乐理论系统操作参数表内加载并由所述特定功能的子系统在所述自动音乐合成和生成过程期间使用;
(c)使用所述节奏格局子系统来生成和管理正在合成的所述数字音乐作品的所述节奏格局,包括在时间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由音乐作品的速度、拍子和长度组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
(d)使用所述音高格局子系统来生成和管理正在合成的所述数字音乐作品的所述音高格局,包括在空间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由所述数字音乐作品的调和调性组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
(e)使用所述控制器代码创建子系统来创建控制器代码以便控制正在合成的所述数字音乐作品的实际音符、节奏和乐器的表达;
(f)使用所述数字作品创建子系统以便采用一项或多项自动虚拟乐器音乐合成技术来创建所述数字音乐作品;以及
(g)使用在所述特定功能的子系统内支持的所述音乐理论系统操作参数表内加载的所述情感/风格索引的音乐理论系统操作参数来控制所述特定功能的子系统,从而使得被合成和生成的所述数字音乐作品具有贯穿所述数字音乐作品的节奏格局和音高格局表达的情感和风格特性,如由所述系统用户供应的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集表示的。
24.如权利要求23所述的自动音乐合成和生成过程,其中,在步骤(a)期间,所述系统用户接口支持基于GUI的EDI、XML、XML-HTTP和其他类型的信息交换技术中的一项或多项以便支持作为机器或基于计算机的机器的系统用户、从所述机器请求自动音乐合成和生成服务。
25.如权利要求23所述的自动音乐合成和生成过程,其中,在步骤(c)期间,所述节奏格局子系统包括用于生成正在合成的所述音乐作品的普通节奏的普通节奏生成子系统以及用于生成正在合成的所述音乐作品的旋律节奏的旋律节奏生成子系统。
26.如权利要求23所述的自动音乐合成和生成过程,其中,在步骤(d)期间,所述音高格局子系统包括用于生成正在合成的所述音乐作品的和弦的普通音高生成子系统、以及用于生成正在合成的所述音乐作品的旋律音高的旋律音高生成子系统。
27.如权利要求23所述的自动音乐合成和生成过程,所述过程被配置为数字视频配乐工作站,其中,所述系统用户接口接收从由视频、音频记录或图像组成的组中选择的数字媒体作品,并且然后所述自动音乐合成和生成引擎生成所述数字音乐作品以便为所述数字媒体作品配乐并且然后将所述数字音乐作品与所述数字媒体作品自动结合以产生经配乐的数字媒体作品,其中,所述经配乐的数字媒体作品经由所述系统用户接口被供应回至所述系统用户以供体验和回顾。
28.如权利要求27所述的自动音乐合成和生成过程,其中,所述数字作品创建子系统包括用于将所述数字音乐作品递送至所述系统用户接口的作品递送子系统。
29.如权利要求23所述的自动音乐合成和生成过程,其中,所述多个特定功能的子系统进一步包括配器子系统,所述配器子系统被配置用于自动操纵、安排和/或改编正在合成的数字音乐作品供一件或多件虚拟乐器的全体进行演奏以提供所述数字音乐作品。
30.如权利要求23所述的自动音乐合成和生成过程,其中,所述系统用户是人类。
31.如权利要求23所述的自动音乐合成和生成过程,其中,所述系统用户是计算机系统。
32.如权利要求23所述的自动音乐合成和生成过程,其中,所述系统用户接口由可操作地连接至数字通信网络的客户系统支持,并且其中,所述自动音乐合成和生成系统由还可操作地连接至所述数字通信网络的应用服务器系统和数据库服务器系统支持。
33.如权利要求25所述的自动音乐合成和生成过程,其中,所述普通节奏生成子系统A1包括从由以下各项组成的组中选择的以下子系统中的一个或多个:长度生成子系统B2、速度生成子系统B3、拍子生成子系统B4、调生成子系统B5、节拍计算器子系统B6、调性生成子系统B7、小节计算器子系统B8、歌曲形式生成子系统B9、子乐句长度生成子系统B15、子乐句中和弦数量计算器子系统B16、乐句长度生成子系统B12、独特乐句生成子系统B10、乐句中和弦数量计算器子系统B13、和弦长度生成子系统B11、独特子乐句生成子系统B14、乐器法子系统B38、乐器选择器子系统B39以及定时生成子系统B41;并且
其中,所述旋律节奏生成子系统A3包括从由以下各项组成的组中选择的以下子系统中的一个或多个:旋律子乐句长度生成子系统B25、旋律子乐句生成子系统B24、旋律乐句长度生成子系统B23、旋律独特乐句生成子系统B22、旋律长度生成子系统B21以及旋律音符节奏生成子系统B26。
34.如权利要求26所述的自动音乐合成和生成过程,其中,所述旋律音高生成子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:初始音高生成子系统B27、子乐句音高生成子系统B29、乐句音高生成子系统B28以及音高八度生成子系统B30;并且其中,所述普通音高生成子系统包括从由以下各项组成的组中选择的以下子系统中的一个或多个:初始和弦生成子系统B17、子乐句和弦进行生成子系统B19、乐句和弦进行生成子系统B18以及和弦转位生成子系统B20。
35.如权利要求23所述的自动音乐合成和生成过程,其中,所述一项或多项自动音乐合成技术基于从由以下各项组成的组中选择的方法:数字音频采样合成法、部分音色合成法,频率调制合成法以及其他形式的虚拟乐器合成法。
36.如权利要求23所述的自动音乐合成和生成过程,其中,所述情感类型和所述风格类型音乐体验描述符被表示为(i)在图形用户界面表面中的至少一个上显示的语言元素和/或图形图标,以及(ii)承载语言表达的物理按钮。
37.一种自动音乐合成和生成系统,用于使用由情感/风格索引的音乐理论系统操作参数控制的自动音乐合成和生成引擎来自动合成和生成数字音乐作品,所述情感/风格索引的音乐理论系统操作参数针对响应于系统用户供应的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集而合成和生成的每件数字音乐作品而产生,所述自动音乐合成和生成系统包括:
系统用户接口,所述系统用户接口可操作地连接至根据多个特定功能的子系统构造的自动音乐合成和生成引擎,所述多个特定功能的子系统集成在一起并且被配置用于自动响应于由系统用户提供给所述系统用户接口的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集而自动合成和生成音乐作品,
其中,所述多个特定功能的子系统包括:节奏格局子系统、音高格局子系统、参数转换子系统以及控制器代码创建子系统;
其中,每个所述特定功能的子系统支持和采用情感/风格索引的音乐理论系统操作参数表以便在所述自动音乐合成和生成过程期间执行特定音乐理论操作;
其中,所述节奏格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述节奏格局,包括在时间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由音乐作品的速度、拍子和长度组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
其中,所述音高格局子系统被配置用于生成和管理正在合成的所述数字音乐作品的所述音高格局,包括在空间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由所述数字音乐作品的调和调性组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;以及
其中,所述参数转换子系统将所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集转换成情感/风格索引的音乐理论参数,并且然后将其分配给所述多个特定功能的子系统以便在自动音乐合成和生成期间使用,从而合成和生成数字音乐作品,所述数字音乐作品具有贯穿所述数字音乐作品的节奏格局和音高格局表达的情感和风格特性,如由所述系统用户供应给所述系统用户接口的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集表示的。
38.如权利要求37所述的自动音乐合成和生成系统,其中,所述情感类型和所述风格类型音乐体验描述符被表示为(i)在图形用户界面表面中的至少一个上显示的语言元素和/或图形图标,和/或(ii)承载语言表达的物理按钮。
39.如权利要求38所述的自动音乐合成和生成系统,其中,所述自动音乐合成和生成系统基于由所述系统用户提供给所述系统用户接口的反馈自动地生成更新的数字音乐作品。
40.一种自动音乐合成和生成系统,所述自动音乐合成和生成系统具有高级音乐格局组织并且被配置用于响应于由系统用户在自动音乐合成和生成过程期间供应的情感类型和风格类型音乐体验描述符以及时间和/或空间参数集自动地合成和生成数字音乐作品,所述自动音乐合成和生成系统包括:
系统用户接口,用于使系统用户能够回顾和选择一个或多个情感类型音乐体验描述符、一个或多个风格类型音乐体验描述符以及时间和/或空间参数;
自动音乐合成和生成引擎,可操作地连接至所述系统用户接口,用于接收在所述系统用户接口处由所述系统用户选择的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数;
其中,所述自动音乐合成和生成引擎包括一起协作以响应于在所述系统用户接口处由所述系统用户选择的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数而自动合成和生成一件或多件数字音乐作品的多个特定功能的子系统;
其中,所述多个特定功能的子系统包括:
节奏格局子系统,用于生成和管理正在合成的所述数字音乐作品的节奏格局,包括在时间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由音乐作品的速度、拍子和长度组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
音高格局子系统,用于生成和管理正在合成的所述数字音乐作品的音高格局,包括在空间上安排正在合成的所述数字音乐作品中的所有事件,并且可在高等级时由所述数字音乐作品的调和调性组织,在中等级时由所述数字音乐作品的结构、形式和乐句组织,以及在低等级时由每件乐器的事件的特定组织和/或正在合成的所述数字音乐作品的其他组件来组织;
控制器代码创建子系统,用于创建控制器代码以便控制正在合成的所述数字音乐作品的实际音符、节奏和乐器的表达;以及
数字作品创建子系统,用于采用一项或多项自动虚拟乐器音乐合成技术来创建所述数字音乐作品;
其中,在所述自动音乐合成和生成过程期间,所述多个特定功能的子系统由在所述多个特定功能的子系统内支持的音乐理论系统操作参数表内加载的情感/风格索引的音乐理论系统操作参数控制,而被合成和生成的所述数字音乐作品具有贯穿所述数字音乐作品的节奏格局和音高格局表达的情感和风格特性,如由所述系统用户供应的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集表示的。
41.如权利要求40所述的自动音乐合成和生成系统,其中,所述自动音乐合成和生成系统被配置为数字视频配乐工作站,其中,所述系统用户接口接收从由视频、音频记录或图像组成的组中选择的数字媒体作品,并且然后所述自动音乐合成和生成引擎生成所述数字音乐作品以便为所述数字媒体作品配乐,并且然后将所述数字音乐作品与所述数字媒体作品自动结合以产生经配乐的数字媒体作品,其中,所述经配乐的数字媒体作品经由所述系统用户接口被供应回至所述系统用户以供体验和回顾。
42.如权利要求40所述的自动音乐合成和生成系统,其中,所述节奏格局子系统包括用于生成正在合成的所述音乐作品的普通节奏的普通节奏生成子系统以及用于生成正在合成的所述音乐作品的旋律节奏的旋律节奏生成子系统;并且其中,所述音高格局子系统包括用于生成正在合成的所述音乐作品的和弦的普通音高生成子系统以及用于生成正在合成的所述音乐作品的旋律音高的旋律音高生成子系统。
43.如权利要求40所述的自动音乐合成和生成系统,其中,所述系统用户接口还使系统用户能够创建数字音乐作品。
44.如权利要求40所述的自动音乐合成和生成系统,其中,所述多个特定功能的子系统进一步包括配器子系统,所述配器子系统被配置用于自动操纵、安排和/或改编正在合成的数字音乐作品供一件或多件虚拟乐器的全体进行演奏以提供所述数字音乐作品。
45.如权利要求40所述的自动音乐合成和生成系统,其中,所述系统用户选自人类和计算机系统之一。
46.如权利要求40所述的自动音乐合成和生成系统,其中,所述情感/风格索引的音乐理论系统操作参数中的一个或多个包括基于概率的音乐理论系统操作参数。
47.如权利要求40所述的自动音乐合成和生成系统,其中,所述系统用户接口由可操作地连接至数字通信网络的客户系统支持,并且其中,所述自动音乐合成和生成系统由还可操作地连接至所述数字通信网络的应用服务器系统和数据库服务器系统支持。
48.如权利要求40所述的自动音乐合成和生成系统,其中,所述情感类型和风格类型音乐体验描述符被表示为在图形用户界面表面上显示的语言元素和/或图标,和/或承载语言表达的物理按钮。
49.如权利要求40所述的自动音乐合成和生成系统,其中,所述一项或多项自动音乐合成技术基于从由以下各项组成的组中选择的方法:数字音频采样合成法、部分音色合成法,频率调制合成法以及其他形式的虚拟乐器合成法。
50.如权利要求40所述的自动音乐合成和生成系统,所述系统进一步包括音乐可编辑性子系统,所述音乐可编辑性子系统与所述系统用户接口接口连接,允许系统用户通过以下各方式编辑和修改所生成的数字音乐作品:(i)使用所述系统用户接口编辑存储在参数存储子系统中的所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集,(ii)使用参数转换子系统将所述情感类型和风格类型音乐体验描述符以及时间和/或空间参数集转换成新情感/风格索引的音乐理论系统操作参数集以便存储在所述参数存储子系统中并加载到所述多个特定功能的子系统内,以及(iii)使用所述自动音乐合成和生成引擎来使用所述新情感/风格索引的音乐理论系统操作参数集生成新的数字音乐作品。
51.如权利要求50所述的自动音乐合成和生成系统,其中,所述系统用户使用所述音乐可编辑性子系统来编辑所述数字音乐作品,并且然后将已编辑数字音乐作品与数字媒体作品重新结合。
CN201680069714.5A 2015-09-29 2016-09-28 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、系统和过程 Active CN108369799B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/869,911 US9721551B2 (en) 2015-09-29 2015-09-29 Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
US14/869,911 2015-09-29
PCT/US2016/054066 WO2017058844A1 (en) 2015-09-29 2016-09-28 Machines, systems and processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptors

Publications (2)

Publication Number Publication Date
CN108369799A CN108369799A (zh) 2018-08-03
CN108369799B true CN108369799B (zh) 2022-11-18

Family

ID=58406521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680069714.5A Active CN108369799B (zh) 2015-09-29 2016-09-28 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、系统和过程

Country Status (10)

Country Link
US (20) US9721551B2 (zh)
EP (1) EP3357059A4 (zh)
JP (1) JP2018537727A (zh)
KR (1) KR20180063163A (zh)
CN (1) CN108369799B (zh)
AU (1) AU2016330618A1 (zh)
BR (1) BR112018006194A2 (zh)
CA (1) CA2999777A1 (zh)
HK (1) HK1257669A1 (zh)
WO (1) WO2017058844A1 (zh)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380371B (zh) * 2012-06-04 2020-03-20 索尼公司 用于生成输入音乐数据的伴奏的装置、系统和方法
US10741155B2 (en) 2013-12-06 2020-08-11 Intelliterran, Inc. Synthesized percussion pedal and looping station
US11688377B2 (en) 2013-12-06 2023-06-27 Intelliterran, Inc. Synthesized percussion pedal and docking station
US9905210B2 (en) 2013-12-06 2018-02-27 Intelliterran Inc. Synthesized percussion pedal and docking station
US9952748B1 (en) * 2014-03-28 2018-04-24 Google Llc Contextual recommendations based on interaction within collections of content
WO2015160728A1 (en) * 2014-04-14 2015-10-22 Brown University System for electronically generating music
US9747011B2 (en) 2014-09-16 2017-08-29 Google Inc. Continuation of playback of media content by different output devices
US10515615B2 (en) * 2015-08-20 2019-12-24 Roy ELKINS Systems and methods for visual image audio composition based on user input
US10854180B2 (en) 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
US9959343B2 (en) 2016-01-04 2018-05-01 Gracenote, Inc. Generating and distributing a replacement playlist
US20180226088A1 (en) * 2016-01-29 2018-08-09 G&C Interactive Co., Ltd. System for analyzing emotion of sound and method of the same
CN105788589B (zh) * 2016-05-04 2021-07-06 腾讯科技(深圳)有限公司 一种音频数据的处理方法及装置
CN106448630B (zh) * 2016-09-09 2020-08-04 腾讯科技(深圳)有限公司 歌曲的数字乐谱文件的生成方法和装置
US10659910B2 (en) * 2016-12-30 2020-05-19 Spotify Ab System and method for providing access to media content associated with events, using a digital media content environment
US10380983B2 (en) 2016-12-30 2019-08-13 Google Llc Machine learning to generate music from text
US10162812B2 (en) 2017-04-04 2018-12-25 Bank Of America Corporation Natural language processing system to analyze mobile application feedback
CN108806656B (zh) * 2017-04-26 2022-01-28 微软技术许可有限责任公司 歌曲的自动生成
CN108806655B (zh) * 2017-04-26 2022-01-07 微软技术许可有限责任公司 歌曲的自动生成
US10276213B2 (en) * 2017-05-22 2019-04-30 Adobe Inc. Automatic and intelligent video sorting
US10936653B2 (en) * 2017-06-02 2021-03-02 Apple Inc. Automatically predicting relevant contexts for media items
US10614786B2 (en) * 2017-06-09 2020-04-07 Jabriffs Limited Musical chord identification, selection and playing method and means for physical and virtual musical instruments
CN110870322B (zh) * 2017-07-14 2023-04-04 索尼公司 信息处理设备、信息处理方法
US10854181B2 (en) * 2017-07-18 2020-12-01 Vertical Craft, LLC Music composition tools on a single pane-of-glass
US10311843B2 (en) * 2017-07-18 2019-06-04 Vertical Craft Music composition tools on a single pane-of-glass
US10043502B1 (en) * 2017-07-18 2018-08-07 Vertical Craft, LLC Music composition tools on a single pane-of-glass
KR101942814B1 (ko) * 2017-08-10 2019-01-29 주식회사 쿨잼컴퍼니 사용자 허밍 멜로디 기반 반주 제공 방법 및 이를 위한 장치
WO2019046487A1 (en) 2017-08-29 2019-03-07 Intelliterran, Inc. APPARATUS, SYSTEM AND METHOD FOR MULTIMEDIA RECORDING AND RENDERING
US20190073606A1 (en) * 2017-09-01 2019-03-07 Wylei, Inc. Dynamic content optimization
CN109599079B (zh) * 2017-09-30 2022-09-23 腾讯科技(深圳)有限公司 一种音乐的生成方法和装置
US10504498B2 (en) 2017-11-22 2019-12-10 Yousician Oy Real-time jamming assistance for groups of musicians
CN108231048B (zh) * 2017-12-05 2021-09-28 北京小唱科技有限公司 修正音频节奏的方法及装置
WO2019121577A1 (en) * 2017-12-18 2019-06-27 Bytedance Inc. Automated midi music composition server
AU2019207800A1 (en) * 2018-01-10 2020-08-06 Qrs Music Technologies, Inc. Musical activity system
KR102553806B1 (ko) * 2018-01-23 2023-07-12 삼성전자주식회사 전자 장치, 콘텐츠 정보 제공 방법, 콘텐츠 정보 제공 시스템 및 컴퓨터 판독 가능 매체
GB201802440D0 (en) * 2018-02-14 2018-03-28 Jukedeck Ltd A method of generating music data
US11537428B2 (en) 2018-05-17 2022-12-27 Spotify Ab Asynchronous execution of creative generator and trafficking workflows and components therefor
US11403663B2 (en) 2018-05-17 2022-08-02 Spotify Ab Ad preference embedding model and lookalike generation engine
US11195211B2 (en) 2018-05-17 2021-12-07 Spotify Ab Systems, methods and computer program products for generating script elements and call to action components therefor
CN110555126B (zh) * 2018-06-01 2023-06-27 微软技术许可有限责任公司 旋律的自动生成
US10714065B2 (en) * 2018-06-08 2020-07-14 Mixed In Key Llc Apparatus, method, and computer-readable medium for generating musical pieces
WO2019239971A1 (ja) * 2018-06-15 2019-12-19 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
CN108831425B (zh) * 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
CN110858924B (zh) * 2018-08-22 2021-11-26 阿里巴巴(中国)有限公司 视频背景音乐的生成方法、装置及存储介质
KR102579452B1 (ko) 2018-09-05 2023-09-15 삼성전자주식회사 영상 표시 장치 및 그 동작방법
SE543532C2 (en) * 2018-09-25 2021-03-23 Gestrument Ab Real-time music generation engine for interactive systems
SE542890C2 (en) * 2018-09-25 2020-08-18 Gestrument Ab Instrument and method for real-time music generation
US11097078B2 (en) 2018-09-26 2021-08-24 Cary Kochman Method and system for facilitating the transition between a conscious and unconscious state
EP3644616A1 (en) 2018-10-22 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and operating method of the same
KR102184378B1 (ko) * 2018-10-27 2020-11-30 장순철 인공지능 악기 서비스 제공 시스템
WO2020085836A2 (ko) * 2018-10-27 2020-04-30 장순철 인공지능 악기 서비스 제공 시스템
CN109493839B (zh) * 2018-11-12 2024-01-23 平安科技(深圳)有限公司 基于语音合成的空气质量展示方法、装置及终端设备
US11328700B2 (en) * 2018-11-15 2022-05-10 Sony Interactive Entertainment LLC Dynamic music modification
WO2020102005A1 (en) 2018-11-15 2020-05-22 Sony Interactive Entertainment LLC Dynamic music creation in gaming
CN109684501B (zh) * 2018-11-26 2023-08-22 平安科技(深圳)有限公司 歌词信息生成方法及其装置
KR102495888B1 (ko) * 2018-12-04 2023-02-03 삼성전자주식회사 사운드를 출력하기 위한 전자 장치 및 그의 동작 방법
GB2581319B (en) * 2018-12-12 2022-05-25 Bytedance Inc Automated music production
US10748515B2 (en) 2018-12-21 2020-08-18 Electronic Arts Inc. Enhanced real-time audio generation via cloud-based virtualized orchestra
KR101987605B1 (ko) * 2018-12-28 2019-06-10 건국대학교 산학협력단 음악 감성 인식 방법 및 장치
JP2020106753A (ja) * 2018-12-28 2020-07-09 ローランド株式会社 情報処理装置および映像処理システム
JP7226709B2 (ja) * 2019-01-07 2023-02-21 ヤマハ株式会社 映像制御システム、及び映像制御方法
US11145283B2 (en) * 2019-01-10 2021-10-12 Harmony Helper, LLC Methods and systems for vocalist part mapping
WO2020154422A2 (en) * 2019-01-22 2020-07-30 Amper Music, Inc. Methods of and systems for automated music composition and generation
EP3916715A4 (en) * 2019-01-23 2022-10-19 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM
CN110085202B (zh) * 2019-03-19 2022-03-15 北京卡路里信息技术有限公司 音乐生成方法、装置、存储介质及处理器
US10896663B2 (en) * 2019-03-22 2021-01-19 Mixed In Key Llc Lane and rhythm-based melody generation system
JP7318253B2 (ja) * 2019-03-22 2023-08-01 ヤマハ株式会社 楽曲解析方法、楽曲解析装置およびプログラム
US10799795B1 (en) 2019-03-26 2020-10-13 Electronic Arts Inc. Real-time audio generation for electronic games based on personalized music preferences
US10790919B1 (en) 2019-03-26 2020-09-29 Electronic Arts Inc. Personalized real-time audio generation based on user physiological response
US10657934B1 (en) * 2019-03-27 2020-05-19 Electronic Arts Inc. Enhancements for musical composition applications
CN110085263B (zh) * 2019-04-28 2021-08-06 东华大学 一种音乐情感分类和机器作曲方法
US10643593B1 (en) 2019-06-04 2020-05-05 Electronic Arts Inc. Prediction-based communication latency elimination in a distributed virtualized orchestra
CN110233976B (zh) * 2019-06-21 2022-09-09 广州酷狗计算机科技有限公司 视频合成的方法及装置
CN110516110B (zh) * 2019-07-22 2023-06-23 平安科技(深圳)有限公司 歌曲生成方法、装置、计算机设备及存储介质
CN110444185B (zh) * 2019-08-05 2024-01-12 腾讯音乐娱乐科技(深圳)有限公司 一种音乐生成方法及装置
CN110602550A (zh) * 2019-08-09 2019-12-20 咪咕动漫有限公司 一种视频处理方法、电子设备及存储介质
US11308926B2 (en) * 2019-08-09 2022-04-19 Zheng Shi Method and system for composing music with chord accompaniment
US11720933B2 (en) * 2019-08-30 2023-08-08 Soclip! Automatic adaptive video editing
US20210090535A1 (en) * 2019-09-24 2021-03-25 Secret Chord Laboratories, Inc. Computing orders of modeled expectation across features of media
US10964299B1 (en) * 2019-10-15 2021-03-30 Shutterstock, Inc. Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions
US11037538B2 (en) * 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
US11024275B2 (en) * 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
CN111104964B (zh) * 2019-11-22 2023-10-17 北京永航科技有限公司 音乐与动作的匹配方法、设备及计算机存储介质
TWI722709B (zh) * 2019-12-10 2021-03-21 東海大學 智慧型聲音故事生成之方法及系統
CN111326132B (zh) * 2020-01-22 2021-10-22 北京达佳互联信息技术有限公司 音频处理方法、装置、存储介质及电子设备
US11615772B2 (en) * 2020-01-31 2023-03-28 Obeebo Labs Ltd. Systems, devices, and methods for musical catalog amplification services
WO2021159203A1 (en) * 2020-02-10 2021-08-19 1227997 B.C. Ltd. Artificial intelligence system & methodology to automatically perform and generate music & lyrics
CN115066681A (zh) * 2020-02-11 2022-09-16 艾米有限公司 音乐内容生成
US11875763B2 (en) * 2020-03-02 2024-01-16 Syntheria F. Moore Computer-implemented method of digital music composition
CN111383669B (zh) * 2020-03-19 2022-02-18 杭州网易云音乐科技有限公司 多媒体文件上传方法、装置、设备及计算机可读存储介质
KR20210158706A (ko) 2020-06-24 2021-12-31 현대자동차주식회사 차량 및 그 제어방법
KR20220000655A (ko) 2020-06-26 2022-01-04 현대자동차주식회사 주행음 라이브러리, 주행음 라이브러리 생성 장치 및 주행음 라이브러리를 포함하는 차량
KR20220000654A (ko) 2020-06-26 2022-01-04 현대자동차주식회사 차량 및 그 제어방법
US11929051B2 (en) * 2020-10-01 2024-03-12 General Motors Llc Environment awareness system for experiencing an environment through music
GB2602118A (en) * 2020-12-18 2022-06-22 Scored Tech Inc Generating and mixing audio arrangements
CN112785993B (zh) * 2021-01-15 2024-04-12 杭州网易云音乐科技有限公司 一种乐曲生成方法、装置、介质和计算设备
TWI784434B (zh) * 2021-03-10 2022-11-21 國立清華大學 使用對抗生成網路與逆增強式學習法的自動作曲系統及方法
US11244032B1 (en) * 2021-03-24 2022-02-08 Oraichain Pte. Ltd. System and method for the creation and the exchange of a copyright for each AI-generated multimedia via a blockchain
CN113096621B (zh) * 2021-03-26 2024-05-28 平安科技(深圳)有限公司 基于特定风格的音乐生成方法、装置、设备及存储介质
US11875764B2 (en) * 2021-03-29 2024-01-16 Avid Technology, Inc. Data-driven autosuggestion within media content creation
WO2022221716A1 (en) * 2021-04-15 2022-10-20 Artiphon, Inc. Multimedia music creation using visual input
US20220366881A1 (en) * 2021-05-13 2022-11-17 Microsoft Technology Licensing, Llc Artificial intelligence models for composing audio scores
CN113470601B (zh) * 2021-07-07 2023-04-07 南昌航空大学 一种自动作曲方法及系统
CN113516971B (zh) * 2021-07-09 2023-09-29 深圳万兴软件有限公司 歌词转换点检测方法、装置、计算机设备及存储介质
KR102497415B1 (ko) * 2021-08-03 2023-02-08 계명대학교 산학협력단 블록체인 기반 작곡 장치 및 그 제어 방법, 그리고 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
KR20240046523A (ko) * 2021-10-06 2024-04-09 엘지전자 주식회사 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법
JP7409366B2 (ja) 2021-12-15 2024-01-09 カシオ計算機株式会社 自動演奏装置、自動演奏方法、プログラム、及び電子楽器
JP7400798B2 (ja) 2021-12-15 2023-12-19 カシオ計算機株式会社 自動演奏装置、電子楽器、自動演奏方法、及びプログラム
AT525849A1 (de) * 2022-01-31 2023-08-15 V3 Sound Gmbh Steuervorrichtung
KR102562033B1 (ko) * 2022-03-21 2023-08-01 주식회사 워프 음원 데이터에 대한 마스터링을 수행하기 위한 방법, 서버 및 컴퓨터프로그램
WO2023235448A1 (en) * 2022-06-01 2023-12-07 Library X Music Inc. Automated original track generation engine
EP4312209A3 (en) * 2022-07-26 2024-02-21 Endel Sound GmbH Systems and methods for generating a continuous music soundscape using automatic composition
US20240127776A1 (en) * 2022-10-14 2024-04-18 Aimi Inc. Dynamic control of generative music composition
CN117995146A (zh) * 2022-10-31 2024-05-07 北京字跳网络技术有限公司 音乐创作方法、装置、电子设备及可读存储介质
CN117690416B (zh) * 2024-02-02 2024-04-12 江西科技学院 一种人工智能交互方法及人工智能交互系统

Family Cites Families (641)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1067959A (en) 1913-07-22 Alvy Cleveland Yerkey Blow-off valve.
US1029863A (en) 1912-06-18 A Gelien Gustave Lifting mechanism for mullers of ore-grinding pans.
US1038064A (en) 1912-09-10 Wilhelm Alhorn Converter for continuous current.
US1060039A (en) 1901-02-26 1913-04-29 Henry A Wise Wood Internal-progressive-combustion rotary motor.
US1031184A (en) 1904-02-25 1912-07-02 Empire Voting Machine Co Interlocking mechanism.
US1038747A (en) 1905-10-18 1912-09-17 Waterloo Threshing Machine Company Band-cutter and feeder.
US1036633A (en) 1908-01-09 1912-08-27 Jay M Johnson Wheel.
US1046024A (en) 1908-12-17 1912-12-03 Gen Electric Magnetic brake.
US1045990A (en) 1909-05-05 1912-12-03 Celluloid Co Acetyl-cellulose compound and method of making same.
US1017105A (en) 1909-07-22 1912-02-13 James Schuyler Lupton Plow.
US1016342A (en) 1910-03-10 1912-02-06 C H Cronin Bath-trap.
US1000212A (en) 1910-04-22 1911-08-08 Charles P Trimble Clamping device for building constructions.
US1028216A (en) 1910-06-08 1912-06-04 Griesheim Elektron Chem Fab Melting and casting magnesium and alloys thereof.
US1044580A (en) 1910-07-15 1912-11-19 John M Sailer Traction-engine.
US1025093A (en) 1910-10-15 1912-04-30 Herman Jordan Flying-machine.
US1009546A (en) 1910-10-24 1911-11-21 William D Miller Steering device for traction-engines.
US1007549A (en) 1910-11-04 1911-10-31 Martin Faussone Paper-cutter.
US1008957A (en) 1911-01-20 1911-11-14 George G Cox Portable bath-cabinet.
US1042394A (en) 1911-01-24 1912-10-29 Empire Duplex Gin Company Apparatus for treating lint.
US1010196A (en) 1911-02-07 1911-11-28 Ross Snodgrass Lid-lifter.
US1065793A (en) 1911-03-01 1913-06-24 Siemens Schuckertwerke Gmbh Distributing and mixing apparatus.
US1046799A (en) 1911-04-15 1912-12-10 Charles L Kaufman Animal-trap.
US1023512A (en) 1911-05-09 1912-04-16 Secondo Giletti Tile-press.
US1022306A (en) 1911-05-09 1912-04-02 Edward R Donahue Pull-line coupling.
US1010926A (en) 1911-05-17 1911-12-05 Edward V Lawrence Wagon-hitch.
US1069968A (en) 1911-06-26 1913-08-12 Edward E Wright Roller-skate.
US1020995A (en) 1911-07-19 1912-03-26 Morris E Leeds Temporary binder.
US1037275A (en) 1911-08-04 1912-09-03 Eric G Marin Automatic cut-off for gas.
US1026264A (en) 1911-09-20 1912-05-14 Andrew S Hokanson Portable tool-chest.
US1018553A (en) 1911-10-16 1912-02-27 Otto Cullman Differential device.
US1036026A (en) 1911-11-04 1912-08-20 Louie Carson Temple Adjusting device.
US1038748A (en) 1911-11-29 1912-09-17 Pratt & Cady Company Hydrant.
US1024838A (en) 1912-02-05 1912-04-30 Charles Edgerton Apparatus for extracting grease and oils.
US1041218A (en) 1912-02-28 1912-10-15 Oscar Blasius Device for centering music-rolls in musical instruments.
US1039674A (en) 1912-03-21 1912-09-24 Herman A Schatz Method of making hollow metallic balls.
US1033407A (en) 1912-03-27 1912-07-23 Onufar Jarosz Lifting device.
US1067237A (en) 1912-07-23 1913-07-15 Andrew G Brandt Milk-bottle.
US4108035A (en) 1977-06-06 1978-08-22 Alonso Sydney A Musical note oscillator
US4178822A (en) 1977-06-07 1979-12-18 Alonso Sydney A Musical synthesis envelope control techniques
US4279185A (en) 1977-06-07 1981-07-21 Alonso Sydney A Electronic music sampling techniques
JPS5941065B2 (ja) 1977-06-08 1984-10-04 株式会社日立製作所 逆止弁
US4356752A (en) 1980-01-28 1982-11-02 Nippon Gakki Seizo Kabushiki Kaisha Automatic accompaniment system for electronic musical instrument
US4345500A (en) 1980-04-28 1982-08-24 New England Digital Corp. High resolution musical note oscillator and instrument that includes the note oscillator
US4399731A (en) 1981-08-11 1983-08-23 Nippon Gakki Seizo Kabushiki Kaisha Apparatus for automatically composing music piece
US4554855A (en) 1982-03-15 1985-11-26 New England Digital Corporation Partial timbre sound synthesis method and instrument
US4731847A (en) 1982-04-26 1988-03-15 Texas Instruments Incorporated Electronic apparatus for simulating singing of song
JPH079586B2 (ja) 1984-12-29 1995-02-01 ヤマハ株式会社 電子楽器の自動伴奏装置
US4680479A (en) 1985-07-29 1987-07-14 New England Digital Corporation Method of and apparatus for providing pulse trains whose frequency is variable in small increments and whose period, at each frequency, is substantially constant from pulse to pulse
US4745836A (en) 1985-10-18 1988-05-24 Dannenberg Roger B Method and apparatus for providing coordinated accompaniment for a performance
US4771671A (en) 1987-01-08 1988-09-20 Breakaway Technologies, Inc. Entertainment and creative expression device for easily playing along to background music
US4926737A (en) * 1987-04-08 1990-05-22 Casio Computer Co., Ltd. Automatic composer using input motif information
US4982643A (en) * 1987-12-24 1991-01-08 Casio Computer Co., Ltd. Automatic composer
US5178150A (en) * 1991-02-25 1993-01-12 Silverstein Fred E Miniature ultrasound imaging probe
JP2616274B2 (ja) 1991-04-02 1997-06-04 ヤマハ株式会社 自動演奏装置
US5315057A (en) 1991-11-25 1994-05-24 Lucasarts Entertainment Company Method and apparatus for dynamically composing music and sound effects using a computer entertainment system
JP3271282B2 (ja) 1991-12-30 2002-04-02 カシオ計算機株式会社 自動メロディ生成装置
US5451709A (en) * 1991-12-30 1995-09-19 Casio Computer Co., Ltd. Automatic composer for composing a melody in real time
JPH05257465A (ja) 1992-03-11 1993-10-08 Kawai Musical Instr Mfg Co Ltd 楽器演奏者の特徴抽出再生装置
FR2691976B1 (fr) 1992-06-04 1995-07-13 Joel Sternheimer Procede de regulation epigenetique de la biosynthese des proteines par resonance d'echelle.
US20020177186A1 (en) 1992-06-04 2002-11-28 Joel Sternheimer Method for the regulation of protein biosynthesis
US5393926A (en) 1993-06-07 1995-02-28 Ahead, Inc. Virtual music system
KR0165271B1 (ko) 1993-06-30 1999-03-20 김광호 가라오케 텔레비젼의 메들리 기능 수행 여부 판단방법
JP2956429B2 (ja) 1993-07-16 1999-10-04 ヤマハ株式会社 自動編曲装置
US5675100A (en) * 1993-11-03 1997-10-07 Hewlett; Walter B. Method for encoding music printing information in a MIDI message
US5496962A (en) 1994-05-31 1996-03-05 Meier; Sidney K. System for real-time music composition and synthesis
US5521324A (en) 1994-07-20 1996-05-28 Carnegie Mellon University Automated musical accompaniment with multiple input sensors
EP0715295B1 (en) * 1994-11-29 2000-01-19 Yamaha Corporation Automatic playing apparatus substituting available pattern for absent pattern
WO1997002121A1 (en) 1995-01-26 1997-01-23 The Trustees Of The Don Trust Form for pre-cast building components
US5753843A (en) 1995-02-06 1998-05-19 Microsoft Corporation System and process for composing musical sections
JP3303617B2 (ja) 1995-08-07 2002-07-22 ヤマハ株式会社 自動作曲装置
US5693902A (en) 1995-09-22 1997-12-02 Sonic Desktop Software Audio block sequence compiler for generating prescribed duration audio sequences
US6006018A (en) 1995-10-03 1999-12-21 International Business Machines Corporation Distributed file system translator with extended attribute support
US5801694A (en) 1995-12-04 1998-09-01 Gershen; Joseph S. Method and apparatus for interactively creating new arrangements for musical compositions
IT1282613B1 (it) * 1996-02-13 1998-03-31 Roland Europ Spa Apparecchiatura elettronica per la composizione e riproduzione automatica di dati musicali
US5736666A (en) * 1996-03-20 1998-04-07 California Institute Of Technology Music composition
US6084169A (en) * 1996-09-13 2000-07-04 Hitachi, Ltd. Automatically composing background music for an image by extracting a feature thereof
US6012088A (en) 1996-12-10 2000-01-04 International Business Machines Corporation Automatic configuration for internet access device
US5958005A (en) 1997-07-17 1999-09-28 Bell Atlantic Network Services, Inc. Electronic mail security
US5913259A (en) 1997-09-23 1999-06-15 Carnegie Mellon University System and method for stochastic score following
JP3620240B2 (ja) * 1997-10-14 2005-02-16 ヤマハ株式会社 自動作曲装置および記録媒体
US6072480A (en) 1997-11-05 2000-06-06 Microsoft Corporation Method and apparatus for controlling composition and performance of soundtracks to accompany a slide show
US6103964A (en) 1998-01-28 2000-08-15 Kay; Stephen R. Method and apparatus for generating algorithmic musical effects
JPH11219443A (ja) 1998-01-30 1999-08-10 Konami Co Ltd キャラクタ画像の表示制御方法及び装置、記録媒体
JP3658977B2 (ja) 1998-02-10 2005-06-15 カシオ計算機株式会社 リズム合成装置
US6051770A (en) 1998-02-19 2000-04-18 Postmusic, Llc Method and apparatus for composing original musical works
US6122666A (en) 1998-02-23 2000-09-19 International Business Machines Corporation Method for collaborative transformation and caching of web objects in a proxy network
US6633908B1 (en) 1998-05-20 2003-10-14 International Business Machines Corporation Enabling application response measurement
US6175072B1 (en) 1998-08-05 2001-01-16 Yamaha Corporation Automatic music composing apparatus and method
AUPP547898A0 (en) 1998-08-26 1998-09-17 Canon Kabushiki Kaisha System and method for automatic music generation
JP3541706B2 (ja) * 1998-09-09 2004-07-14 ヤマハ株式会社 自動作曲装置および記憶媒体
JP3557917B2 (ja) * 1998-09-24 2004-08-25 ヤマハ株式会社 自動作曲装置および記憶媒体
FR2785438A1 (fr) 1998-09-24 2000-05-05 Baron Rene Louis Procede et dispositif de generation musicale
US6637020B1 (en) 1998-12-03 2003-10-21 International Business Machines Corporation Creating applications within data processing systems by combining program components dynamically
JP3533975B2 (ja) * 1999-01-29 2004-06-07 ヤマハ株式会社 自動作曲装置および記憶媒体
US6385581B1 (en) 1999-05-05 2002-05-07 Stanley W. Stephenson System and method of providing emotive background sound to text
US6462264B1 (en) 1999-07-26 2002-10-08 Carl Elam Method and apparatus for audio broadcast of enhanced musical instrument digital interface (MIDI) data formats for control of a sound generator to create music, lyrics, and speech
TW495735B (en) 1999-07-28 2002-07-21 Yamaha Corp Audio controller and the portable terminal and system using the same
US6606596B1 (en) 1999-09-13 2003-08-12 Microstrategy, Incorporated System and method for the creation and automatic deployment of personalized, dynamic and interactive voice services, including deployment through digital sound files
JP2001092456A (ja) 1999-09-24 2001-04-06 Yamaha Corp 演奏ガイド機能を備えた電子楽器および記憶媒体
US6487601B1 (en) 1999-09-30 2002-11-26 International Business Machines Corporation Dynamic mac allocation and configuration
US6392133B1 (en) 2000-10-17 2002-05-21 Dbtech Sarl Automatic soundtrack generator
US7268791B1 (en) 1999-10-29 2007-09-11 Napster, Inc. Systems and methods for visualization of data sets containing interrelated objects
US7711838B1 (en) 1999-11-10 2010-05-04 Yahoo! Inc. Internet radio and broadcast method
JP4329191B2 (ja) 1999-11-19 2009-09-09 ヤマハ株式会社 楽曲情報及び再生態様制御情報の両者が付加された情報の作成装置、特徴idコードが付加された情報の作成装置
US6366907B1 (en) 1999-12-15 2002-04-02 Napster, Inc. Real-time search engine
US7310629B1 (en) 1999-12-15 2007-12-18 Napster, Inc. Method and apparatus for controlling file sharing of multimedia files over a fluid, de-centralized network
US6363350B1 (en) 1999-12-29 2002-03-26 Quikcat.Com, Inc. Method and apparatus for digital audio generation and coding using a dynamical system
JP2000315081A (ja) * 2000-01-01 2000-11-14 Yamaha Corp 自動作曲装置及び方法並びに記憶媒体
JP3758450B2 (ja) * 2000-01-10 2006-03-22 ヤマハ株式会社 曲データ作成のためのサーバ装置、クライアント装置及び記録媒体
US6636247B1 (en) 2000-01-31 2003-10-21 International Business Machines Corporation Modality advertisement viewing system and method
JP3580210B2 (ja) 2000-02-21 2004-10-20 ヤマハ株式会社 作曲機能を備えた携帯電話機
JP3879357B2 (ja) 2000-03-02 2007-02-14 ヤマハ株式会社 音声信号または楽音信号の処理装置およびその処理プログラムが記録された記録媒体
US20020002899A1 (en) 2000-03-22 2002-01-10 Gjerdingen Robert O. System for content based music searching
GB0007318D0 (en) 2000-03-27 2000-05-17 Leach Jeremy L A system for generating musical sounds
US6654794B1 (en) 2000-03-30 2003-11-25 International Business Machines Corporation Method, data processing system and program product that provide an internet-compatible network file system driver
US6684238B1 (en) 2000-04-21 2004-01-27 International Business Machines Corporation Method, system, and program for warning an email message sender that the intended recipient's mailbox is unattended
US6865533B2 (en) 2000-04-21 2005-03-08 Lessac Technology Inc. Text to speech
US8352331B2 (en) 2000-05-03 2013-01-08 Yahoo! Inc. Relationship discovery engine
AT500124A1 (de) * 2000-05-09 2005-10-15 Tucmandl Herbert Anlage zum komponieren
US6865600B1 (en) 2000-05-19 2005-03-08 Napster, Inc. System and method for selecting internet media channels
JP3620409B2 (ja) * 2000-05-25 2005-02-16 ヤマハ株式会社 携帯通信端末装置
US6291756B1 (en) 2000-05-27 2001-09-18 Motorola, Inc. Method and apparatus for encoding music into seven-bit characters that can be communicated in an electronic message
JP3666364B2 (ja) * 2000-05-30 2005-06-29 ヤマハ株式会社 コンテンツ生成サービス装置、システム及び記録媒体
AU2001267815A1 (en) 2000-06-29 2002-01-08 Musicgenome.Com Inc. Using a system for prediction of musical preferences for the distribution of musical content over cellular networks
US7075000B2 (en) 2000-06-29 2006-07-11 Musicgenome.Com Inc. System and method for prediction of musical preferences
FI20001592A (fi) 2000-07-03 2002-04-11 Elmorex Ltd Oy Nuottipohjaisen koodin generointi
US6545209B1 (en) * 2000-07-05 2003-04-08 Microsoft Corporation Music content characteristic identification and matching
JP2002023747A (ja) * 2000-07-07 2002-01-25 Yamaha Corp 自動作曲方法と装置及び記録媒体
JP3707364B2 (ja) 2000-07-18 2005-10-19 ヤマハ株式会社 自動作曲装置、方法及び記録媒体
JP3666577B2 (ja) 2000-07-18 2005-06-29 ヤマハ株式会社 コード進行修正装置、コード進行修正方法及び同装置に適用されるプログラムを記録したコンピュータ読取り可能な記録媒体
US6384310B2 (en) * 2000-07-18 2002-05-07 Yamaha Corporation Automatic musical composition apparatus and method
JP2002032078A (ja) * 2000-07-18 2002-01-31 Yamaha Corp 自動作曲装置、方法及び記録媒体
US7089301B1 (en) 2000-08-11 2006-08-08 Napster, Inc. System and method for searching peer-to-peer computer networks by selecting a computer based on at least a number of files shared by the computer
JP3627636B2 (ja) * 2000-08-25 2005-03-09 ヤマハ株式会社 楽曲データ生成装置及び方法並びに記憶媒体
US6835884B2 (en) 2000-09-20 2004-12-28 Yamaha Corporation System, method, and storage media storing a computer program for assisting in composing music with musical template data
US6963839B1 (en) 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
EP1354318A1 (en) 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
US20020184128A1 (en) 2001-01-11 2002-12-05 Matt Holtsinger System and method for providing music management and investment opportunities
US6636855B2 (en) 2001-03-09 2003-10-21 International Business Machines Corporation Method, system, and program for accessing stored procedures in a message broker
US6888999B2 (en) 2001-03-16 2005-05-03 Magix Ag Method of remixing digital information
JP3680749B2 (ja) * 2001-03-23 2005-08-10 ヤマハ株式会社 自動作曲装置及び自動作曲プログラム
AU2002248102B2 (en) * 2001-03-27 2007-12-06 Tauraema Iraihamata Eruera Composition assisting device
US6388183B1 (en) 2001-05-07 2002-05-14 Leh Labs, L.L.C. Virtual musical instruments with user selectable and controllable mapping of position input to sound output
US6822153B2 (en) 2001-05-15 2004-11-23 Nintendo Co., Ltd. Method and apparatus for interactive real time music composition
US7003515B1 (en) 2001-05-16 2006-02-21 Pandora Media, Inc. Consumer item matching method and system
GB0113570D0 (en) 2001-06-04 2001-07-25 Hewlett Packard Co Audio-form presentation of text messages
JP3672245B2 (ja) 2001-06-15 2005-07-20 インターナショナル・ビジネス・マシーンズ・コーポレーション メール発信システム、メールサーバ、メール転送システム、メール転送方法、メール発信方法、メール配信方法、プログラム
US7188143B2 (en) 2001-07-06 2007-03-06 Yahoo! Inc. Messenger-controlled applications in an instant messaging environment
US7133900B1 (en) 2001-07-06 2006-11-07 Yahoo! Inc. Sharing and implementing instant messaging environments
AU2002355066B2 (en) 2001-07-19 2007-03-01 Nice Systems Ltd. Method, apparatus and system for capturing and analyzing interaction based content
GB0118448D0 (en) 2001-07-27 2001-09-19 Hewlett Packard Co Apparatus for composing a song and method
US7107234B2 (en) 2001-08-17 2006-09-12 Sony Corporation Electronic music marker device delayed notification
JP3753039B2 (ja) 2001-09-21 2006-03-08 ヤマハ株式会社 電子音楽装置
US6747201B2 (en) * 2001-09-26 2004-06-08 The Regents Of The University Of Michigan Method and system for extracting melodic patterns in a musical piece and computer-readable storage medium having a program for executing the method
JP3664126B2 (ja) * 2001-11-15 2005-06-22 ヤマハ株式会社 自動作曲装置
EP1326228B1 (en) 2002-01-04 2016-03-23 MediaLab Solutions LLC Systems and methods for creating, modifying, interacting with and playing musical compositions
US7394346B2 (en) 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US7027124B2 (en) * 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
DE60215296T2 (de) 2002-03-15 2007-04-05 Sony France S.A. Verfahren und Vorrichtung zum Sprachsyntheseprogramm, Aufzeichnungsmedium, Verfahren und Vorrichtung zur Erzeugung einer Zwangsinformation und Robotereinrichtung
US20030205124A1 (en) 2002-05-01 2003-11-06 Foote Jonathan T. Method and system for retrieving and sequencing music by rhythmic similarity
JP2003330464A (ja) 2002-05-14 2003-11-19 Casio Comput Co Ltd 自動演奏装置および自動演奏方法
JP2005530192A (ja) 2002-06-11 2005-10-06 ジャレット,ジャック・マリウス 音楽記譜システム
US7720910B2 (en) 2002-07-26 2010-05-18 International Business Machines Corporation Interactive filtering electronic messages received from a publication/subscription service
US20040024822A1 (en) 2002-08-01 2004-02-05 Werndorfer Scott M. Apparatus and method for generating audio and graphical animations in an instant messaging environment
US8053659B2 (en) 2002-10-03 2011-11-08 Polyphonic Human Media Interface, S.L. Music intelligence universe server
US7523174B2 (en) 2002-10-15 2009-04-21 International Business Machines Corporation Dynamic portal assembly
US20030159567A1 (en) * 2002-10-18 2003-08-28 Morton Subotnick Interactive music playback system utilizing gestures
US7928310B2 (en) 2002-11-12 2011-04-19 MediaLab Solutions Inc. Systems and methods for portable audio synthesis
US7026534B2 (en) * 2002-11-12 2006-04-11 Medialab Solutions Llc Systems and methods for creating, modifying, interacting with and playing musical compositions
US7169996B2 (en) 2002-11-12 2007-01-30 Medialab Solutions Llc Systems and methods for generating music using data/music data file transmitted/received via a network
US20140000440A1 (en) * 2003-01-07 2014-01-02 Alaine Georges Systems and methods for creating, modifying, interacting with and playing musical compositions
US7281160B2 (en) 2003-02-10 2007-10-09 Netezza Corporation Rapid regeneration of failed disk sector in a distributed database system
US7695284B1 (en) 2003-07-11 2010-04-13 Vernon Mears System and method for educating using multimedia interface
WO2005013629A1 (en) 2003-07-31 2005-02-10 Neomtel Co., Ltd. Method for providing multimedia message
JP2005055547A (ja) * 2003-08-07 2005-03-03 Yamaha Corp 音楽データ作成システム及びプログラム
US7105736B2 (en) 2003-09-09 2006-09-12 Igt Gaming device having a system for dynamically aligning background music with play session events
EP1664997A4 (en) 2003-09-10 2007-12-19 Yahoo Inc MUSIC PURCHASING AND PLAYING SYSTEM AND METHOD
CN100380367C (zh) * 2003-09-28 2008-04-09 诺基亚公司 具有音乐数据库的电子设备和形成音乐数据库的方法
US20130097302A9 (en) 2003-10-01 2013-04-18 Robert Khedouri Audio visual player apparatus and system and method of content distribution using the same
US20050076772A1 (en) * 2003-10-10 2005-04-14 Gartland-Jones Andrew Price Music composing system
US7728213B2 (en) 2003-10-10 2010-06-01 The Stone Family Trust Of 1992 System and method for dynamic note assignment for musical synthesizers
US20050086052A1 (en) 2003-10-16 2005-04-21 Hsuan-Huei Shih Humming transcription system and methodology
US7884274B1 (en) 2003-11-03 2011-02-08 Wieder James W Adaptive personalized music and entertainment
US7356572B2 (en) 2003-11-10 2008-04-08 Yahoo! Inc. Method, apparatus and system for providing a server agent for a mobile device
JP4199097B2 (ja) * 2003-11-21 2008-12-17 パイオニア株式会社 楽曲自動分類装置及び方法
WO2005057821A2 (en) * 2003-12-03 2005-06-23 Christopher Hewitt Method, software and apparatus for creating audio compositions
US8732221B2 (en) 2003-12-10 2014-05-20 Magix Software Gmbh System and method of multimedia content editing
JP4134904B2 (ja) 2003-12-26 2008-08-20 ヤマハ株式会社 電子音楽装置、音楽コンテンツ配信サーバ及び音楽コンテンツ処理プログラム
KR100604831B1 (ko) 2004-02-17 2006-07-28 삼성전자주식회사 오디오에 부가 영상과 문자를 동기시켜 재생하는오디오/비디오 재생 장치 및 그 방법
US7022907B2 (en) 2004-03-25 2006-04-04 Microsoft Corporation Automatic music mood detection
JP2005285038A (ja) 2004-03-31 2005-10-13 Nec Corp 携帯電話機、そのメッセージ作成方法及びプログラム
US7406505B2 (en) 2004-04-29 2008-07-29 International Business Machines Corporation Managing on-demand email storage
US20060015560A1 (en) 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
CA2569804A1 (en) 2004-06-14 2005-12-22 Condition30 Inc. Cellular automata music generator
US7529802B2 (en) 2004-06-16 2009-05-05 International Business Machines Corporation Method for performing multiple hierarchically tests to verify identity of sender of an email message and assigning the highest confidence value
US7893338B2 (en) 2004-07-15 2011-02-22 Creative Technology Ltd Method of composing music on a handheld device
GB0416448D0 (en) 2004-07-23 2004-08-25 Ibm Method and system for message notification in instant messaging
US7624149B2 (en) 2004-09-15 2009-11-24 Microsoft Corporation Instant messaging with audio
JP2006084749A (ja) * 2004-09-16 2006-03-30 Sony Corp コンテンツ生成装置およびコンテンツ生成方法
JP2008513866A (ja) 2004-09-17 2008-05-01 インターナショナル・ビジネス・マシーンズ・コーポレーション クライアント・プラットフォーム上でのポートレットの表示およびインストール
US7277016B2 (en) 2004-09-22 2007-10-02 International Business Machines Corporation System and method for disabling RFID tags
US7227074B2 (en) 2004-09-24 2007-06-05 Microsoft Corporation Transport control for initiating play of dynamically rendered audio content
EP1666967B1 (en) 2004-12-03 2013-05-08 Magix AG System and method of creating an emotional controlled soundtrack
US20060122840A1 (en) 2004-12-07 2006-06-08 David Anderson Tailoring communication from interactive speech enabled and multimodal services
JP2006171133A (ja) 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
US20060130635A1 (en) 2004-12-17 2006-06-22 Rubang Gonzalo R Jr Synthesized music delivery system
US20060243119A1 (en) 2004-12-17 2006-11-02 Rubang Gonzalo R Jr Online synchronized music CD and memory stick or chips
WO2006071876A2 (en) 2004-12-29 2006-07-06 Ipifini Systems and methods for computer aided inventing
US20060180007A1 (en) 2005-01-05 2006-08-17 Mcclinsey Jason Music and audio composition system
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US7478132B2 (en) 2005-01-24 2009-01-13 International Business Machines Corporation Dynamic email content update process
WO2006089555A1 (en) 2005-02-25 2006-08-31 Bang & Olufsen A/S Pervasive media information retrieval system
EP1703491B1 (en) 2005-03-18 2012-02-22 Sony Deutschland GmbH Method for classifying audio data
CN101203904A (zh) * 2005-04-18 2008-06-18 Lg电子株式会社 音乐谱写设备的操作方法
KR100731761B1 (ko) 2005-05-02 2007-06-22 주식회사 싸일런트뮤직밴드 인터넷을 통한 음악제작 시스템 및 방법
US7697923B2 (en) 2005-05-12 2010-04-13 Nokia Corporation System and method for providing an automatic generation of user theme videos for ring tones and transmittal of context information
US20070022732A1 (en) 2005-06-22 2007-02-01 General Electric Company Methods and apparatus for operating gas turbine engines
US20070044639A1 (en) 2005-07-11 2007-03-01 Farbood Morwaread M System and Method for Music Creation and Distribution Over Communications Network
CA2615659A1 (en) 2005-07-22 2007-05-10 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
US9042921B2 (en) 2005-09-21 2015-05-26 Buckyball Mobile Inc. Association of context data with a voice-message component
US7917148B2 (en) 2005-09-23 2011-03-29 Outland Research, Llc Social musical media rating system and method for localized establishments
US8176101B2 (en) 2006-02-07 2012-05-08 Google Inc. Collaborative rejection of media for physical establishments
ITMI20051812A1 (it) 2005-09-29 2007-03-30 Pasqua Roberto Della Servizio di messaggistica istantanea con categorizzazione delle icone emozionali
US20080212947A1 (en) 2005-10-05 2008-09-04 Koninklijke Philips Electronics, N.V. Device For Handling Data Items That Can Be Rendered To A User
US7844673B2 (en) 2005-10-24 2010-11-30 International Business Machines Corporation Filtering features for multiple minimized instant message chats
US7729481B2 (en) 2005-10-28 2010-06-01 Yahoo! Inc. User interface for integrating diverse methods of communication
US8166111B2 (en) 2005-11-08 2012-04-24 International Business Machines Corporation Method for correcting a received electronic mail having an erroneous header
KR100715949B1 (ko) 2005-11-11 2007-05-08 삼성전자주식회사 고속 음악 무드 분류 방법 및 그 장치
US7568010B2 (en) 2005-11-16 2009-07-28 International Business Machines Corporation Self-updating email message
US7396990B2 (en) 2005-12-09 2008-07-08 Microsoft Corporation Automatic music mood detection
US20070137463A1 (en) * 2005-12-19 2007-06-21 Lumsden David J Digital Music Composition Device, Composition Software and Method of Use
KR100658869B1 (ko) 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
CN1988512B (zh) 2005-12-23 2010-10-13 国际商业机器公司 支持基于应用的多媒体消息发送接收的设备、方法和系统
US9094806B2 (en) 2005-12-23 2015-07-28 International Business Machines Corporation MMS system to support message based applications
US20070174417A1 (en) 2006-01-20 2007-07-26 Bostick James E Integrated two-way communications between database client users and administrators
KR100822376B1 (ko) 2006-02-23 2008-04-17 삼성전자주식회사 곡명을 이용한 음악 주제 분류 방법 및 시스템
US7705231B2 (en) 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
US7491878B2 (en) 2006-03-10 2009-02-17 Sony Corporation Method and apparatus for automatically creating musical compositions
EP1841108B1 (en) 2006-03-28 2015-11-18 Yamaha Corporation Music processing apparatus and management method therefor
US7790974B2 (en) 2006-05-01 2010-09-07 Microsoft Corporation Metadata-based song creation and editing
US7424682B1 (en) 2006-05-19 2008-09-09 Google Inc. Electronic messages with embedded musical note emoticons
US8527905B2 (en) 2006-06-07 2013-09-03 International Business Machines Corporsation Providing archived web page content in place of current web page content
FR2903804B1 (fr) * 2006-07-13 2009-03-20 Mxp4 Procede et dispositif pour la composition automatique ou semi-automatique d'une sequence multimedia.
JP5225847B2 (ja) 2006-09-08 2013-07-03 パナソニック株式会社 情報処理端末、音楽情報生成方法、およびプログラム
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7902447B1 (en) * 2006-10-03 2011-03-08 Sony Computer Entertainment Inc. Automatic composition of sound sequences using finite state automata
KR20080043129A (ko) 2006-11-13 2008-05-16 삼성전자주식회사 음악의 무드를 이용한 사진 추천 방법 및 그 시스템
US8035490B2 (en) 2006-12-07 2011-10-11 International Business Machines Corporation Communication and filtering of events among peer controllers in the same spatial region of a sensor network
US20100043625A1 (en) 2006-12-12 2010-02-25 Koninklijke Philips Electronics N.V. Musical composition system and method of controlling a generation of a musical composition
US8880615B2 (en) 2006-12-15 2014-11-04 International Business Machines Corporation Managing a workflow using an instant messaging system to gather task status information
US7696426B2 (en) * 2006-12-19 2010-04-13 Recombinant Inc. Recombinant music composition algorithm and method of using the same
US8554868B2 (en) 2007-01-05 2013-10-08 Yahoo! Inc. Simultaneous sharing communication interface
US20080189171A1 (en) 2007-02-01 2008-08-07 Nice Systems Ltd. Method and apparatus for call categorization
WO2008101130A2 (en) 2007-02-14 2008-08-21 Museami, Inc. Music-based search engine
US8042118B2 (en) 2007-02-14 2011-10-18 International Business Machines Corporation Developing diameter applications using diameter interface servlets
JP4826508B2 (ja) 2007-02-27 2011-11-30 ヤマハ株式会社 再生装置および自動演奏装置
US7974838B1 (en) 2007-03-01 2011-07-05 iZotope, Inc. System and method for pitch adjusting vocals
US7949649B2 (en) 2007-04-10 2011-05-24 The Echo Nest Corporation Automatically acquiring acoustic and cultural information about music
US8073854B2 (en) 2007-04-10 2011-12-06 The Echo Nest Corporation Determining the similarity of music using cultural and acoustic information
US20090071315A1 (en) * 2007-05-04 2009-03-19 Fortuna Joseph A Music analysis and generation method
US8316146B2 (en) 2007-07-13 2012-11-20 Spotify Ab Peer-to-peer streaming of media content
EP2015542B1 (en) 2007-07-13 2013-01-16 Spotify AB Peer-to-peer streaming of media content
US11138261B2 (en) * 2007-07-18 2021-10-05 Donald Harrison Jr. Enterprises, Harrison Extensions, And Mary And Victoria Inc. Media playable with selectable performers
FR2919975B1 (fr) * 2007-08-10 2011-12-09 Voxler Procede pour composer automatiquement une sonnerie telephonique personnalisee a partir d'un enregistrement de voix fredonnee et telephone portable mettant en oeuvre ce procede
US8583615B2 (en) 2007-08-31 2013-11-12 Yahoo! Inc. System and method for generating a playlist from a mood gradient
US8058544B2 (en) * 2007-09-21 2011-11-15 The University Of Western Ontario Flexible music composition engine
US8631358B2 (en) 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US8494842B2 (en) 2007-11-02 2013-07-23 Soundhound, Inc. Vibrato detection modules in a system for automatic transcription of sung or hummed melodies
US7754955B2 (en) * 2007-11-02 2010-07-13 Mark Patrick Egan Virtual reality composer platform system
US7363344B1 (en) 2007-11-16 2008-04-22 International Business Machines Corporation Method for redirecting an instant message in response to a notification of a change in a first MAC address to a second MAC address of a recipient
US8143509B1 (en) 2008-01-16 2012-03-27 iZotope, Inc. System and method for guitar signal processing
US8595301B2 (en) 2008-01-25 2013-11-26 International Business Machines Corporation Message delivery in messaging networks
US7958156B2 (en) 2008-02-25 2011-06-07 Yahoo!, Inc. Graphical/rich media ads in search results
EP2096324A1 (de) 2008-02-26 2009-09-02 Oskar Dilo Maschinenfabrik KG Walzenlageranordnung
US20090238538A1 (en) 2008-03-20 2009-09-24 Fink Franklin E System and method for automated compilation and editing of personalized videos including archived historical content and personal content
KR101443637B1 (ko) 2008-05-20 2014-09-23 엘지전자 주식회사 이동 단말기 및 이동 단말기의 컨텐츠 생성 방법
US7919707B2 (en) 2008-06-06 2011-04-05 Avid Technology, Inc. Musical sound identification
JP5574474B2 (ja) * 2008-09-09 2014-08-20 株式会社河合楽器製作所 アドリブ演奏機能を有する電子楽器およびアドリブ演奏機能用プログラム
KR20110081840A (ko) 2008-10-06 2011-07-14 버전스 엔터테인먼트 엘엘씨, 어 캘리포니아 리미티드 라이어빌러티 컴퍼니 아바타들을 음악적으로 상호작용하게 하는 시스템
CN102177703A (zh) * 2008-10-07 2011-09-07 皇家飞利浦电子股份有限公司 用于生成要被显示而同时伴随有音频的多个图像的序列的方法和设备
KR101460612B1 (ko) 2008-10-10 2014-11-13 삼성전자주식회사 디지털 이미지 처리장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
US20110224969A1 (en) 2008-11-21 2011-09-15 Telefonaktiebolaget L M Ericsson (Publ) Method, a Media Server, Computer Program and Computer Program Product For Combining a Speech Related to a Voice Over IP Voice Communication Session Between User Equipments, in Combination With Web Based Applications
US8527877B2 (en) * 2008-11-25 2013-09-03 At&T Intellectual Property I, L.P. Systems and methods to select media content
GB2466028A (en) 2008-12-08 2010-06-09 Univ Cardiff High frequency measurement system
US8375309B2 (en) 2009-01-06 2013-02-12 International Business Machines Corporation Integration of collaboration systems in an instant messaging application
US20110142420A1 (en) 2009-01-23 2011-06-16 Matthew Benjamin Singer Computer device, method, and graphical user interface for automating the digital tranformation, enhancement, and editing of personal and professional videos
KR101114606B1 (ko) 2009-01-29 2012-03-05 삼성전자주식회사 음악 연동 사진 캐스팅 서비스 시스템 및 그 방법
EP2234024B1 (en) 2009-03-24 2012-10-03 Sony Corporation Context based video finder
EP2239727A1 (en) * 2009-04-08 2010-10-13 Yamaha Corporation Musical performance apparatus and program
US8026436B2 (en) 2009-04-13 2011-09-27 Smartsound Software, Inc. Method and apparatus for producing audio tracks
US8996538B1 (en) * 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
US9251776B2 (en) 2009-06-01 2016-02-02 Zya, Inc. System and method creating harmonizing tracks for an audio input
CA2996784A1 (en) 2009-06-01 2010-12-09 Music Mastermind, Inc. System and method of receiving, analyzing, and editing audio to create musical compositions
US9257053B2 (en) 2009-06-01 2016-02-09 Zya, Inc. System and method for providing audio for a requested note using a render cache
US20100319518A1 (en) 2009-06-23 2010-12-23 Virendra Kumar Mehta Systems and methods for collaborative music generation
US8566258B2 (en) * 2009-07-10 2013-10-22 Sony Corporation Markovian-sequence generator and new methods of generating Markovian sequences
US9076264B1 (en) 2009-08-06 2015-07-07 iZotope, Inc. Sound sequencing system and method
US9031243B2 (en) 2009-09-28 2015-05-12 iZotope, Inc. Automatic labeling and control of audio algorithms by audio recognition
US8644971B2 (en) 2009-11-09 2014-02-04 Phil Weinstein System and method for providing music based on a mood
US8359382B1 (en) 2010-01-06 2013-01-22 Sprint Communications Company L.P. Personalized integrated audio services
EP2378435B1 (en) 2010-04-14 2019-08-28 Spotify AB Method of setting up a redistribution scheme of a digital storage system
US9514476B2 (en) 2010-04-14 2016-12-06 Viacom International Inc. Systems and methods for discovering artists
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
EP2388954A1 (en) 2010-05-18 2011-11-23 Spotify Ltd DNS based error reporting
US20110316793A1 (en) 2010-06-28 2011-12-29 Digitar World Inc. System and computer program for virtual musical instruments
US9092759B2 (en) 2010-06-29 2015-07-28 International Business Machines Corporation Controlling email propagation within a social network utilizing proximity restrictions
US8627308B2 (en) 2010-06-30 2014-01-07 International Business Machines Corporation Integrated exchange of development tool console data
KR101679239B1 (ko) 2010-07-06 2016-11-24 삼성전자주식회사 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
US9679305B1 (en) 2010-08-29 2017-06-13 Groupon, Inc. Embedded storefront
US8489606B2 (en) 2010-08-31 2013-07-16 Electronics And Telecommunications Research Institute Music search apparatus and method using emotion model
US8521882B2 (en) 2010-09-15 2013-08-27 International Business Machines Corporation Client/subscriber rotation using select write calls for server resiliency
TWI457762B (zh) 2010-09-30 2014-10-21 Ibm 供閱讀電子書的電腦裝置與連結該電腦裝置之伺服器
US9153217B2 (en) 2010-11-01 2015-10-06 James W. Wieder Simultaneously playing sound-segments to find and act-upon a composition
US9117426B2 (en) 2010-11-01 2015-08-25 James W. Wieder Using sound-segments in a multi-dimensional ordering to find and act-upon a composition
US8868744B2 (en) 2010-11-24 2014-10-21 International Business Machines Corporation Transactional messaging support in connected messaging networks
SE535612C2 (sv) 2011-01-11 2012-10-16 Arne Wallander Förändring av ett ljuds upplevda styrkegrad medelst filtrering med en parametrisk equalizer
US20120259240A1 (en) 2011-04-08 2012-10-11 Nviso Sarl Method and System for Assessing and Measuring Emotional Intensity to a Stimulus
US8987571B2 (en) 2011-04-12 2015-03-24 Shmuel Ur Method and apparatus for providing sensory information related to music
US9049259B2 (en) 2011-05-03 2015-06-02 Onepatont Software Limited System and method for dynamically providing visual action or activity news feed
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8874026B2 (en) 2011-05-24 2014-10-28 Listener Driven Radio Llc System for providing audience interaction with radio programming
US9098579B2 (en) * 2011-06-07 2015-08-04 Kodak Alaris Inc. Automatically selecting thematically representative music
US8710343B2 (en) * 2011-06-09 2014-04-29 Ujam Inc. Music composition automation including song structure
US9262522B2 (en) 2011-06-30 2016-02-16 Rednote LLC Method and system for communicating between a sender and a recipient via a personalized message including an audio clip extracted from a pre-existing recording
CN103782342B (zh) 2011-07-26 2016-08-31 布克查克控股有限公司 电子文本的声道
JP6189317B2 (ja) 2011-11-29 2017-08-30 スポティファイ アーベー マルチ装置セキュアアプリケーション統合を用いるコンテンツプロバイダ
US9099064B2 (en) 2011-12-01 2015-08-04 Play My Tone Ltd. Method for extracting representative segments from music
US8586847B2 (en) 2011-12-02 2013-11-19 The Echo Nest Corporation Musical fingerprinting based on onset intervals
JP5966465B2 (ja) 2012-03-14 2016-08-10 カシオ計算機株式会社 演奏装置、プログラム及び演奏方法
US9158754B2 (en) 2012-03-29 2015-10-13 The Echo Nest Corporation Named entity extraction from a block of text
US9406072B2 (en) 2012-03-29 2016-08-02 Spotify Ab Demographic and media preference prediction using media content data analysis
US9547679B2 (en) 2012-03-29 2017-01-17 Spotify Ab Demographic and media preference prediction using media content data analysis
EP2831772A1 (en) 2012-03-29 2015-02-04 The Echo Nest Corporation Real time mapping of user models to an inverted data index for retrieval, filtering and recommendation
US8898766B2 (en) 2012-04-10 2014-11-25 Spotify Ab Systems and methods for controlling a local application through a web page
WO2013170368A1 (en) 2012-05-18 2013-11-21 Scratchvox Inc. Method, system, and computer program for enabling flexible sound composition utilities
US20130326354A1 (en) 2012-06-01 2013-12-05 James Anderson Systems and Methods for Selection and Personalization of Content Items
US9110955B1 (en) 2012-06-08 2015-08-18 Spotify Ab Systems and methods of selecting content items using latent vectors
US9503500B2 (en) 2012-06-08 2016-11-22 Spotify Ab Systems and methods of classifying content items
US9230218B2 (en) 2012-06-08 2016-01-05 Spotify Ab Systems and methods for recognizing ambiguity in metadata
US9369514B2 (en) 2012-06-08 2016-06-14 Spotify Ab Systems and methods of selecting content items
CN104412320B (zh) 2012-06-26 2017-11-17 雅马哈株式会社 使用音频波形数据的自动演奏技术
WO2014001607A1 (en) 2012-06-29 2014-01-03 Nokia Corporation Video remixing system
US9195383B2 (en) 2012-06-29 2015-11-24 Spotify Ab Systems and methods for multi-path control signals for media presentation devices
US10620797B2 (en) 2012-06-29 2020-04-14 Spotify Ab Systems and methods for multi-context media control and playback
US9165255B1 (en) * 2012-07-26 2015-10-20 Google Inc. Automatic sequencing of video playlists based on mood classification of each video and video cluster transitions
US8428453B1 (en) 2012-08-08 2013-04-23 Snapchat, Inc. Single mode visual media capture
JP5783206B2 (ja) * 2012-08-14 2015-09-24 ヤマハ株式会社 音楽情報表示制御装置およびプログラム
US8812144B2 (en) 2012-08-17 2014-08-19 Be Labs, Llc Music generator
US9263060B2 (en) 2012-08-21 2016-02-16 Marian Mason Publishing Company, Llc Artificial neural network based system for classification of the emotional content of digital music
US20140055633A1 (en) 2012-08-27 2014-02-27 Richard E. MARLIN Device and method for photo and video capture
US9367587B2 (en) 2012-09-07 2016-06-14 Pandora Media System and method for combining inputs to generate and modify playlists
TW201411601A (zh) 2012-09-13 2014-03-16 Univ Nat Taiwan 以情緒為基礎的自動配樂方法
US9373313B2 (en) * 2012-10-04 2016-06-21 Fender Musical Instruments Corporation System and method of storing and accessing musical performance on remote server
WO2014057356A2 (en) 2012-10-12 2014-04-17 Spotify Ab Systems and methods for multi-context media control and playback
WO2014064531A1 (en) 2012-10-22 2014-05-01 Spotify Ab Systems and methods for pre-fetching media content
GB201219521D0 (en) 2012-10-30 2012-12-12 Rex Edmund Generative scheduling method
US8775972B2 (en) 2012-11-08 2014-07-08 Snapchat, Inc. Apparatus and method for single action control of social network profile access
US9225310B1 (en) 2012-11-08 2015-12-29 iZotope, Inc. Audio limiter system and method
US20140139555A1 (en) 2012-11-21 2014-05-22 ChatFish Ltd Method of adding expression to text messages
US10600398B2 (en) 2012-12-05 2020-03-24 Sony Corporation Device and method for generating a real time music accompaniment for multi-modal music
US9071562B2 (en) 2012-12-06 2015-06-30 International Business Machines Corporation Searchable peer-to-peer system through instant messaging based topic indexes
US8798438B1 (en) * 2012-12-07 2014-08-05 Google Inc. Automatic video generation for music playlists
US8921677B1 (en) 2012-12-10 2014-12-30 Frank Michael Severino Technologies for aiding in music composition
US9047871B2 (en) 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
US9459768B2 (en) * 2012-12-12 2016-10-04 Smule, Inc. Audiovisual capture and sharing framework with coordinated user-selectable audio and video effects filters
US9620092B2 (en) 2012-12-21 2017-04-11 The Hong Kong University Of Science And Technology Composition using correlation between melody and lyrics
JP2014170146A (ja) 2013-03-05 2014-09-18 Univ Of Tokyo 日本語歌詞からの多重唱の自動作曲方法及び装置
JP6040809B2 (ja) 2013-03-14 2016-12-07 カシオ計算機株式会社 コード選択装置、自動伴奏装置、自動伴奏方法および自動伴奏プログラム
US8927846B2 (en) 2013-03-15 2015-01-06 Exomens System and method for analysis and creation of music
US20140289241A1 (en) 2013-03-15 2014-09-25 Spotify Ab Systems and methods for generating a media value metric
US9626436B2 (en) 2013-03-15 2017-04-18 Spotify Ab Systems, methods, and computer readable medium for generating playlists
WO2014144833A2 (en) 2013-03-15 2014-09-18 The Echo Nest Corporation Taste profile attributes
EP2976727A1 (en) 2013-03-18 2016-01-27 The Echo Nest Corporation Cross media recommendation
IES86526B2 (en) 2013-04-09 2015-04-08 Score Music Interactive Ltd A system and method for generating an audio file
US9787687B2 (en) 2013-04-10 2017-10-10 Spotify Ab Systems and methods for efficient and secure temporary anonymous access to media content
FR3004831B1 (fr) 2013-04-19 2022-05-06 La Gorce Baptiste De Controle numerique des effets sonores d'un instrument de musique.
US9369662B2 (en) * 2013-04-25 2016-06-14 Microsoft Technology Licensing, Llc Smart gallery and automatic music video creation from a set of photos
DK2808870T3 (en) 2013-05-30 2016-04-18 Spotify Ab Crowdsourcing remix rules for streamed music
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US20140368737A1 (en) 2013-06-17 2014-12-18 Spotify Ab System and method for playing media during navigation between media streams
US9510024B2 (en) 2014-09-12 2016-11-29 Spotify Ab System and method for early media buffering using prediction of user behavior
FR3008572B1 (fr) 2013-07-15 2015-09-04 Dassault Aviat Systeme de gestion d'un environnement cabine dans une plateforme, et procede de gestion associee
US20150026578A1 (en) 2013-07-22 2015-01-22 Sightera Technologies Ltd. Method and system for integrating user generated media items with externally generated media items
US9516082B2 (en) 2013-08-01 2016-12-06 Spotify Ab System and method for advancing to a predefined portion of a decompressed media stream
US9881645B2 (en) 2013-08-20 2018-01-30 Google Llc Systems, methods, and media for editing video during playback via gestures
US8914752B1 (en) 2013-08-22 2014-12-16 Snapchat, Inc. Apparatus and method for accelerated display of ephemeral messages
US9202448B2 (en) * 2013-08-27 2015-12-01 NiceChart LLC Systems and methods for creating customized music arrangements
US9350312B1 (en) 2013-09-19 2016-05-24 iZotope, Inc. Audio dynamic range adjustment system and method
US9654532B2 (en) 2013-09-23 2017-05-16 Spotify Ab System and method for sharing file portions between peers with different capabilities
US9529888B2 (en) 2013-09-23 2016-12-27 Spotify Ab System and method for efficiently providing media and associated metadata
US9451329B2 (en) 2013-10-08 2016-09-20 Spotify Ab Systems, methods, and computer program products for providing contextually-aware video recommendation
US9380059B2 (en) 2013-10-16 2016-06-28 Spotify Ab Systems and methods for configuring an electronic device
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
WO2015077795A1 (en) * 2013-11-25 2015-05-28 Perceptionicity Institute Corporation Systems, methods, and computer program products for strategic motion video
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
KR20150072597A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
TWI603213B (zh) 2014-01-23 2017-10-21 國立交通大學 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置
US9749378B2 (en) 2014-02-07 2017-08-29 Spotify Ab System and method for early media buffering using prediction of user behavior
US20160071549A1 (en) 2014-02-24 2016-03-10 Lyve Minds, Inc. Synopsis video creation based on relevance score
US20160080835A1 (en) * 2014-02-24 2016-03-17 Lyve Minds, Inc. Synopsis video creation based on video metadata
US10380649B2 (en) 2014-03-03 2019-08-13 Spotify Ab System and method for logistic matrix factorization of implicit feedback data, and application to media environments
US20160335266A1 (en) 2014-03-03 2016-11-17 Spotify Ab Systems, apparatuses, methods and computer-readable medium for automatically generating playlists based on taste profiles
US10872110B2 (en) 2014-03-03 2020-12-22 Spotify Ab Systems, apparatuses, methods and computer-readable medium for automatically generating playlists based on taste profiles
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US20150277707A1 (en) 2014-03-28 2015-10-01 Spotify Ab System and method for multi-track playback of media content
US9423998B2 (en) 2014-03-28 2016-08-23 Spotify Ab System and method for playback of media content with audio spinner functionality
US20170075468A1 (en) 2014-03-28 2017-03-16 Spotify Ab System and method for playback of media content with support for force-sensitive touch input
EP2925008A1 (en) 2014-03-28 2015-09-30 Spotify AB System and method for multi-track playback of media content
EP3074943A1 (en) 2014-04-03 2016-10-05 Spotify AB A system and method for locating and notifying a user of the music or other audio metadata
WO2015150522A1 (en) 2014-04-03 2015-10-08 O'driscoll Brendan A system and method of tracking music or other audio metadata from a number of sources in real-time on an electronic device
US20150289025A1 (en) 2014-04-07 2015-10-08 Spotify Ab System and method for providing watch-now functionality in a media content environment, including support for shake action
US10003840B2 (en) 2014-04-07 2018-06-19 Spotify Ab System and method for providing watch-now functionality in a media content environment
US20150293925A1 (en) 2014-04-09 2015-10-15 Apple Inc. Automatic generation of online media stations customized to individual users
US20150317680A1 (en) 2014-05-05 2015-11-05 Spotify Ab Systems and methods for delivering media content with advertisements based on playlist context and advertisement campaigns
GB201408257D0 (en) 2014-05-09 2014-06-25 Omnifone Ltd Rhythm metrics
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
KR20200033999A (ko) 2014-10-24 2020-03-30 스냅 인코포레이티드 메시지의 우선 순위 지정
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US10481959B2 (en) 2014-07-03 2019-11-19 Spotify Ab Method and system for the identification of music or other audio metadata played on an iOS device
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US9811413B2 (en) 2014-07-30 2017-11-07 Apple Inc. Orphan block management in non-volatile memory devices
CA2958251A1 (en) 2014-08-22 2016-02-25 Zya, Inc. System and method for automatically converting textual messages to musical compositions
US9402093B2 (en) 2014-09-03 2016-07-26 Spotify Ab Systems and methods for temporary access to media content
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US9565456B2 (en) 2014-09-29 2017-02-07 Spotify Ab System and method for commercial detection in digital media environments
US20160125078A1 (en) 2014-10-22 2016-05-05 Humtap Inc. Social co-creation of musical content
US10431192B2 (en) 2014-10-22 2019-10-01 Humtap Inc. Music production using recorded hums and taps
US20160133241A1 (en) 2014-10-22 2016-05-12 Humtap Inc. Composition engine
US20160124969A1 (en) 2014-11-03 2016-05-05 Humtap Inc. Social co-creation of musical content
US20160196812A1 (en) 2014-10-22 2016-07-07 Humtap Inc. Music information retrieval
US9554186B2 (en) 2014-10-29 2017-01-24 Spotify Ab Method and an electronic device for playback of video
US9015285B1 (en) 2014-11-12 2015-04-21 Snapchat, Inc. User interface for accessing media at a geographic location
JP6160599B2 (ja) * 2014-11-20 2017-07-12 カシオ計算機株式会社 自動作曲装置、方法、およびプログラム
JP6079753B2 (ja) * 2014-11-20 2017-02-15 カシオ計算機株式会社 自動作曲装置、方法、およびプログラム
US10775996B2 (en) 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
EP3035273B1 (en) 2014-12-18 2017-09-20 Spotify AB Modifying a streaming media service for a mobile radio device
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
USD768674S1 (en) 2014-12-22 2016-10-11 Snapchat, Inc. Display screen or portion thereof with a transitional graphical user interface
US20160189222A1 (en) 2014-12-30 2016-06-30 Spotify Ab System and method for providing enhanced user-sponsor interaction in a media environment, including advertisement skipping and rating
US9609448B2 (en) 2014-12-30 2017-03-28 Spotify Ab System and method for testing and certification of media devices for use within a connected media environment
US10956936B2 (en) 2014-12-30 2021-03-23 Spotify Ab System and method for providing enhanced user-sponsor interaction in a media environment, including support for shake action
US10587667B2 (en) 2014-12-30 2020-03-10 Spotify Ab Location-based tagging and retrieving of media content
US20160189249A1 (en) 2014-12-30 2016-06-30 Spotify Ab System and method for delivering media content and advertisements across connected platforms, including use of companion advertisements
US20160189232A1 (en) 2014-12-30 2016-06-30 Spotify Ab System and method for delivering media content and advertisements across connected platforms, including targeting to different locations and devices
US20160191997A1 (en) 2014-12-30 2016-06-30 Spotify Ab Method and an electronic device for browsing video content
US9112849B1 (en) 2014-12-31 2015-08-18 Spotify Ab Methods and systems for dynamic creation of hotspots for media control
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US9111164B1 (en) 2015-01-19 2015-08-18 Snapchat, Inc. Custom functional patterns for optical barcodes
US9773483B2 (en) 2015-01-20 2017-09-26 Harman International Industries, Incorporated Automatic transcription of musical content and real-time musical accompaniment
US9741327B2 (en) 2015-01-20 2017-08-22 Harman International Industries, Incorporated Automatic transcription of musical content and real-time musical accompaniment
US10609105B2 (en) 2015-01-29 2020-03-31 Spotify Ab System and method for streaming music on mobile devices
US9294425B1 (en) 2015-02-06 2016-03-22 Snapchat, Inc. Storage and processing of ephemeral messages
US20160247189A1 (en) 2015-02-20 2016-08-25 Spotify Ab System and method for use of dynamic banners for promotion of events or information
US20160249091A1 (en) 2015-02-20 2016-08-25 Spotify Ab Method and an electronic device for providing a media stream
US20160260140A1 (en) 2015-03-06 2016-09-08 Spotify Ab System and method for providing a promoted track display for use with a media content or streaming environment
US20160260123A1 (en) 2015-03-06 2016-09-08 Spotify Ab System and method for providing advertisement content in a media content or streaming environment
US9148424B1 (en) 2015-03-13 2015-09-29 Snapchat, Inc. Systems and methods for IP-based intrusion detection
US20160285937A1 (en) 2015-03-24 2016-09-29 Spotify Ab Playback of streamed media content
US9313154B1 (en) 2015-03-25 2016-04-12 Snapchat, Inc. Message queues for rapid re-hosting of client devices
US11003710B2 (en) 2015-04-01 2021-05-11 Spotify Ab Apparatus for recognising and indexing context signals on a mobile device in order to generate contextual playlists and control playback
EP3076353A1 (en) 2015-04-01 2016-10-05 Spotify AB Methods and devices for purchase of an item
US20160292771A1 (en) 2015-04-01 2016-10-06 Spotify Ab Methods and devices for purchase of an item
US20160294896A1 (en) 2015-04-01 2016-10-06 Spotify Ab System and method for generating dynamic playlists utilising device co-presence proximity
EP3215961A1 (en) 2015-04-01 2017-09-13 Spotify AB A system and method of classifying, comparing and ordering songs in a playlist to smooth the overall playback and listening experience
US9482882B1 (en) 2015-04-15 2016-11-01 Snapchat, Inc. Eyewear having selectively exposable feature
US9482883B1 (en) 2015-04-15 2016-11-01 Snapchat, Inc. Eyewear having linkage assembly between a temple and a frame
US10133918B1 (en) 2015-04-20 2018-11-20 Snap Inc. Generating a mood log based on user images
US9510131B2 (en) 2015-04-30 2016-11-29 Spotify Ab System and method for facilitating inputting of commands to a mobile device
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
US11088987B2 (en) 2015-05-06 2021-08-10 Snap Inc. Ephemeral group chat
EP3093786B1 (en) 2015-05-13 2017-06-21 Spotify AB Automatic login on a website by means of an app
US9635556B2 (en) 2015-05-13 2017-04-25 Spotify Ab Automatic login on a website by means of an app
US9668217B1 (en) 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
US10237320B2 (en) 2015-05-15 2019-03-19 Spotify Ab Playback of an unencrypted portion of an audio stream
US10082939B2 (en) 2015-05-15 2018-09-25 Spotify Ab Playback of media streams at social gatherings
US10719290B2 (en) 2015-05-15 2020-07-21 Spotify Ab Methods and devices for adjustment of the energy level of a played audio stream
US10298636B2 (en) 2015-05-15 2019-05-21 Pandora Media, Llc Internet radio song dedication system and method
US10620810B2 (en) 2015-05-15 2020-04-14 Spotify Ab Method and a system for performing scrubbing in a video stream
US9794309B2 (en) 2015-05-15 2017-10-17 Spotify Ab Method and a media device for pre-buffering media content streamed to the media device from a server system
US20160335046A1 (en) 2015-05-15 2016-11-17 Spotify Ab Methods and electronic devices for dynamic control of playlists
US10338794B2 (en) 2015-05-15 2019-07-02 Spotify Ab Playback of media streams in dependence of a time of a day
US20160337429A1 (en) 2015-05-15 2016-11-17 Spotify Ab Method and device for resumed playback of streamed media
US9978426B2 (en) 2015-05-19 2018-05-22 Spotify Ab Repetitive-motion activity enhancement based upon media content selection
US10372757B2 (en) 2015-05-19 2019-08-06 Spotify Ab Search media content based upon tempo
US9536560B2 (en) 2015-05-19 2017-01-03 Spotify Ab Cadence determination and media content selection
US9606620B2 (en) 2015-05-19 2017-03-28 Spotify Ab Multi-track playback of media content during repetitive motion activities
US9568994B2 (en) 2015-05-19 2017-02-14 Spotify Ab Cadence and media content phase alignment
US20160342687A1 (en) 2015-05-19 2016-11-24 Spotify Ab Selection and Playback of Song Versions Using Cadence
US10055413B2 (en) 2015-05-19 2018-08-21 Spotify Ab Identifying media content
US9563700B2 (en) 2015-05-19 2017-02-07 Spotify Ab Cadence-based playlists management system
US10025786B2 (en) 2015-05-19 2018-07-17 Spotify Ab Extracting an excerpt from a media object
US9563268B2 (en) 2015-05-19 2017-02-07 Spotify Ab Heart rate control based upon media content selection
US9570059B2 (en) 2015-05-19 2017-02-14 Spotify Ab Cadence-based selection, playback, and transition between song versions
US10101960B2 (en) 2015-05-19 2018-10-16 Spotify Ab System for managing transitions between media content items
US9448763B1 (en) 2015-05-19 2016-09-20 Spotify Ab Accessibility management system for media content items
GB2538994B (en) 2015-06-02 2021-09-15 Sublime Binary Ltd Music generation tool
USD766967S1 (en) 2015-06-09 2016-09-20 Snapchat, Inc. Portion of a display having graphical user interface with transitional icon
GB2581032B (en) 2015-06-22 2020-11-04 Time Machine Capital Ltd System and method for onset detection in a digital signal
US20160379611A1 (en) 2015-06-23 2016-12-29 Medialab Solutions Corp. Systems and Method for Music Remixing
US10021156B2 (en) 2015-06-24 2018-07-10 Spotify Ab Method and an electronic device for performing playback and sharing of streamed media
US10671234B2 (en) 2015-06-24 2020-06-02 Spotify Ab Method and an electronic device for performing playback of streamed media including related media content
US10679256B2 (en) 2015-06-25 2020-06-09 Pandora Media, Llc Relating acoustic features to musicological features for selecting audio with similar musical characteristics
US20170017993A1 (en) 2015-07-16 2017-01-19 Spotify Ab System and method of using attribution tracking for off-platform content promotion
US10993069B2 (en) 2015-07-16 2021-04-27 Snap Inc. Dynamically adaptive media content delivery
EP3326084A1 (en) 2015-07-19 2018-05-30 Spotify AB Systems, apparatuses, methods and computer-readable medium for automatically generating playlists based on playlists of other users
US9934467B2 (en) 2015-07-24 2018-04-03 Spotify Ab Automatic artist and content breakout prediction
US10334154B2 (en) 2015-08-31 2019-06-25 Snap Inc. Automated adjustment of digital image capture parameters
US10516906B2 (en) 2015-09-18 2019-12-24 Spotify Ab Systems, methods, and computer products for recommending media suitable for a designated style of use
JP6565530B2 (ja) 2015-09-18 2019-08-28 ヤマハ株式会社 自動伴奏データ生成装置及びプログラム
US10854180B2 (en) * 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
US20170092324A1 (en) 2015-09-30 2017-03-30 Apple Inc. Automatic Video Compositing
US10212171B2 (en) 2015-10-07 2019-02-19 Spotify Ab Dynamic control of playlists
US20170102837A1 (en) 2015-10-07 2017-04-13 Spotify Ab Dynamic control of playlists using wearable devices
US9715870B2 (en) 2015-10-12 2017-07-25 International Business Machines Corporation Cognitive music engine using unsupervised learning
WO2017070427A1 (en) 2015-10-23 2017-04-27 Spotify Ab Automatic prediction of acoustic attributes from an audio signal
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9589237B1 (en) 2015-11-17 2017-03-07 Spotify Ab Systems, methods and computer products for recommending media suitable for a designated activity
US9798823B2 (en) 2015-11-17 2017-10-24 Spotify Ab System, methods and computer products for determining affinity to a content creator
US10474321B2 (en) 2015-11-30 2019-11-12 Snap Inc. Network resource location linking and visual content sharing
US10198819B2 (en) 2015-11-30 2019-02-05 Snap Inc. Image segmentation and modification of a video stream
US10387478B2 (en) 2015-12-08 2019-08-20 Rhapsody International Inc. Graph-based music recommendation and dynamic media work micro-licensing systems and methods
US10423943B2 (en) 2015-12-08 2019-09-24 Rhapsody International Inc. Graph-based music recommendation and dynamic media work micro-licensing systems and methods
US20170161382A1 (en) 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
USD782520S1 (en) 2015-12-14 2017-03-28 Spotify Ab Display screen or portion thereof with transitional graphical user interface
USD782533S1 (en) 2015-12-14 2017-03-28 Spotify Ab Display panel or portion thereof with transitional graphical user interface
USD781906S1 (en) 2015-12-14 2017-03-21 Spotify Ab Display panel or portion thereof with transitional graphical user interface
US10115435B2 (en) 2015-12-14 2018-10-30 Spotify Ab Methods and systems for prioritizing playback of media content in a playback queue
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10348790B2 (en) 2015-12-22 2019-07-09 Spotify Ab Methods and systems for media context switching between devices using wireless communications channels
US10771521B2 (en) 2015-12-22 2020-09-08 Spotify Ab Methods and systems for overlaying and playback of audio data received from distinct sources
US20170188102A1 (en) 2015-12-23 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and electronic device for video content recommendation
FR3046172B1 (fr) 2015-12-24 2019-05-31 Guerbet Ligands macrocycliques avec groupement(s) picolinate(s), leurs complexes ainsi que leurs utilisations medicales
US10359918B2 (en) 2015-12-31 2019-07-23 Spotify Ab System and method for preventing unintended user interface input
US10387489B1 (en) 2016-01-08 2019-08-20 Pandora Media, Inc. Selecting songs with a desired tempo
US10623518B2 (en) 2016-02-04 2020-04-14 Spotify Ab System and method for ordering media content for shuffled playback based on user preference
US10089309B2 (en) 2016-02-05 2018-10-02 Spotify Ab System and method for load balancing based on expected latency for use in media content or other environments
US10659504B2 (en) 2016-02-19 2020-05-19 Spotify Ab System and method for client-initiated playlist shuffle in a media content environment
KR102110996B1 (ko) 2016-02-26 2020-05-14 스냅 인코포레이티드 미디어 컬렉션들의 생성, 큐레이션 및 프리젠테이션을 위한 방법들 및 시스템들
US10679389B2 (en) 2016-02-26 2020-06-09 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10285001B2 (en) 2016-02-26 2019-05-07 Snap Inc. Generation, curation, and presentation of media collections
US11023514B2 (en) 2016-02-26 2021-06-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US9851585B2 (en) 2016-02-29 2017-12-26 Snap Inc. Heat sink configuration for wearable electronic device
US9798514B2 (en) 2016-03-09 2017-10-24 Spotify Ab System and method for color beat display in a media content environment
US10623459B2 (en) 2016-03-09 2020-04-14 Spotify Ab System and method for use of cyclic play queues in a media content environment
US9659068B1 (en) 2016-03-15 2017-05-23 Spotify Ab Methods and systems for providing media recommendations based on implicit user behavior
WO2017165823A1 (en) 2016-03-25 2017-09-28 Tristan Jehan Media content items sequencing
US10270839B2 (en) 2016-03-29 2019-04-23 Snap Inc. Content collection navigation and autoforwarding
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10387106B2 (en) 2016-04-04 2019-08-20 Spotify Ab Media content system for enhancing rest
US10686899B2 (en) 2016-04-06 2020-06-16 Snap Inc. Messaging achievement pictograph display system
US11263532B2 (en) 2016-04-22 2022-03-01 Spotify Ab System and method for breaking artist prediction in a media content environment
US20170344539A1 (en) 2016-05-24 2017-11-30 Spotify Ab System and method for improved scalability of database exports
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10904168B2 (en) 2016-06-03 2021-01-26 Spotify Ab System and method for providing digital media content with a conversational messaging environment
WO2017214411A1 (en) 2016-06-09 2017-12-14 Tristan Jehan Search media content based upon tempo
US10984035B2 (en) 2016-06-09 2021-04-20 Spotify Ab Identifying media content
US9799312B1 (en) 2016-06-10 2017-10-24 International Business Machines Corporation Composing music using foresight and planning
US9531989B1 (en) 2016-06-17 2016-12-27 Spotify Ab Devices, methods and computer program products for playback of digital media objects using a single control input
US11507977B2 (en) 2016-06-28 2022-11-22 Snap Inc. Methods and systems for presentation of media collections with automated advertising
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
USD814493S1 (en) 2016-06-30 2018-04-03 Snap Inc. Display screen or portion thereof with a graphical user interface
US10623662B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10622023B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10609324B2 (en) 2016-07-18 2020-03-31 Snap Inc. Real time painting of a video stream
US20180025004A1 (en) 2016-07-19 2018-01-25 Eric Koenig Process to provide audio/video/literature files and/or events/activities ,based upon an emoji or icon associated to a personal feeling
US9825801B1 (en) 2016-07-22 2017-11-21 Spotify Ab Systems and methods for using seektables to stream media items
US20180025372A1 (en) 2016-07-25 2018-01-25 Snapchat, Inc. Deriving audiences through filter activity
US10860646B2 (en) 2016-08-18 2020-12-08 Spotify Ab Systems, methods, and computer-readable products for track selection
EP3285453B1 (en) 2016-08-19 2018-07-18 Spotify AB Modifying a streaming media service for a mobile radio device
USD814186S1 (en) 2016-09-23 2018-04-03 Snap Inc. Eyeglass case
US10628482B2 (en) 2016-09-30 2020-04-21 Spotify Ab Methods and systems for adapting playlists
US10229716B2 (en) 2016-09-30 2019-03-12 Spotify Ab Methods and systems for grouping playlist audio items
EP3310066A1 (en) 2016-10-14 2018-04-18 Spotify AB Identifying media content for simultaneous playback
USD830375S1 (en) 2016-10-28 2018-10-09 Spotify Ab Display screen with graphical user interface
USD825581S1 (en) 2016-10-28 2018-08-14 Spotify Ab Display screen with graphical user interface
USD815127S1 (en) 2016-10-28 2018-04-10 Spotify Ab Display screen or portion thereof with graphical user interface
USD829743S1 (en) 2016-10-28 2018-10-02 Spotify Ab Display screen or portion thereof with transitional graphical user interface
USD829742S1 (en) 2016-10-28 2018-10-02 Spotify Ab Display screen or portion thereof with transitional graphical user interface
USD815130S1 (en) 2016-10-28 2018-04-10 Spotify Ab Display screen or portion thereof with graphical user interface
USD815129S1 (en) 2016-10-28 2018-04-10 Spotify Ab Display screen or portion thereof with graphical user interface
USD825582S1 (en) 2016-10-28 2018-08-14 Spotify Ab Display screen with graphical user interface
USD815128S1 (en) 2016-10-28 2018-04-10 Spotify Ab Display screen or portion thereof with graphical user interface
USD824924S1 (en) 2016-10-28 2018-08-07 Spotify Ab Display screen with graphical user interface
US20180136612A1 (en) 2016-11-14 2018-05-17 Inspr LLC Social media based audiovisual work creation and sharing platform and method
US9904506B1 (en) 2016-11-15 2018-02-27 Spotify Ab Methods, portable electronic devices, computer servers and computer programs for identifying an audio source that is outputting audio
US9973635B1 (en) 2016-11-17 2018-05-15 Spotify Ab System and method for processing of a service subscription using a telecommunications operator
EP3324356A1 (en) 2016-11-17 2018-05-23 Spotify AB System and method for processing of a service subscription using a telecommunications operator
US20180150276A1 (en) 2016-11-29 2018-05-31 Spotify Ab System and method for enabling communication of ambient sound as an audio stream
EP3328090A1 (en) 2016-11-29 2018-05-30 Spotify AB System and method for enabling communication of ambient sound as an audio stream
US9934785B1 (en) 2016-11-30 2018-04-03 Spotify Ab Identification of taste attributes from an audio signal
US11354510B2 (en) 2016-12-01 2022-06-07 Spotify Ab System and method for semantic analysis of song lyrics in a media content environment
US10360260B2 (en) 2016-12-01 2019-07-23 Spotify Ab System and method for semantic analysis of song lyrics in a media content environment
US10203855B2 (en) 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
EP3444755A1 (en) 2016-12-28 2019-02-20 Spotify AB Machine readable code
EP3343483A1 (en) 2016-12-30 2018-07-04 Spotify AB System and method for providing a video with lyrics overlay for use in a social messaging environment
US11086936B2 (en) 2016-12-30 2021-08-10 Spotify Ab Media content item recommendation system
WO2018126279A1 (en) 2016-12-30 2018-07-05 Lyons Jessica Barbara Digital video file generation
EP3343484A1 (en) 2016-12-30 2018-07-04 Spotify AB System and method for association of a song, music, or other media content with a user's video content
EP3585007B1 (en) 2016-12-30 2021-02-17 Spotify AB System and method for use of a media content bot in a social messaging environment
US10728695B2 (en) 2016-12-30 2020-07-28 Spotify Ab System and method for use of crowdsourced microphone or other information with a digital media content environment
US10659910B2 (en) 2016-12-30 2020-05-19 Spotify Ab System and method for providing access to media content associated with events, using a digital media content environment
US10555166B2 (en) 2016-12-31 2020-02-04 Spotify Ab Vehicle detection for media content player
US10311012B2 (en) 2016-12-31 2019-06-04 Spotify Ab Media content playback with state prediction and caching
US10203216B2 (en) 2016-12-31 2019-02-12 Spotify Ab Duration-based customized media program
US10678497B2 (en) 2016-12-31 2020-06-09 Spotify Ab Display of cached media content by media playback device
US10489106B2 (en) 2016-12-31 2019-11-26 Spotify Ab Media content playback during travel
US10185538B2 (en) 2016-12-31 2019-01-22 Spotify Ab Media content identification and playback
US10747423B2 (en) 2016-12-31 2020-08-18 Spotify Ab User interface for media content playback
US11514098B2 (en) 2016-12-31 2022-11-29 Spotify Ab Playlist trailers for media content playback during travel
US10063608B2 (en) 2016-12-31 2018-08-28 Spotify Ab Vehicle detection for media content player connected to vehicle media content player
WO2018144367A1 (en) 2017-02-03 2018-08-09 iZotope, Inc. Audio control system and related methods
EP3577651A1 (en) 2017-02-06 2019-12-11 Kodak Alaris Inc. Method for creating audio tracks for accompanying visual imagery
US11138960B2 (en) 2017-02-14 2021-10-05 Cinesamples, Inc. System and method for a networked virtual musical instrument
USD847788S1 (en) 2017-02-15 2019-05-07 iZotope, Inc. Audio controller
US10412183B2 (en) 2017-02-24 2019-09-10 Spotify Ab Methods and systems for personalizing content in accordance with divergences in a user's listening history
US9742871B1 (en) 2017-02-24 2017-08-22 Spotify Ab Methods and systems for session clustering based on user experience, behavior, and interactions
US10223063B2 (en) 2017-02-24 2019-03-05 Spotify Ab Methods and systems for personalizing user experience based on discovery metrics
US9942356B1 (en) 2017-02-24 2018-04-10 Spotify Ab Methods and systems for personalizing user experience based on personality traits
WO2018226419A1 (en) 2017-06-07 2018-12-13 iZotope, Inc. Systems and methods for automatically generating enhanced audio output
WO2018226418A1 (en) 2017-06-07 2018-12-13 iZotope, Inc. Systems and methods for identifying and remediating sound masking
US10063600B1 (en) 2017-06-19 2018-08-28 Spotify Ab Distributed control of media content item during webcast
US10033474B1 (en) 2017-06-19 2018-07-24 Spotify Ab Methods and systems for personalizing user experience based on nostalgia metrics
US10338799B1 (en) 2017-07-06 2019-07-02 Spotify Ab System and method for providing an adaptive seek bar for use with an electronic device
US9948736B1 (en) 2017-07-10 2018-04-17 Spotify Ab System and method for providing real-time media consumption data
US20190018557A1 (en) 2017-07-13 2019-01-17 Spotify Ab System and method for steering user interaction in a media content environment
US10372489B2 (en) 2017-07-13 2019-08-06 Spotify Ab System and method for providing task-based configuration for users of a media application
US10475108B2 (en) 2017-07-24 2019-11-12 Spotify Ab System and method for generating a personalized concert playlist
US10066954B1 (en) 2017-09-29 2018-09-04 Spotify Ab Parking suggestions
KR102459109B1 (ko) 2018-05-24 2022-10-27 에이미 인코퍼레이티드 음악 생성기
US10657934B1 (en) 2019-03-27 2020-05-19 Electronic Arts Inc. Enhancements for musical composition applications
US11037538B2 (en) * 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
US11024275B2 (en) * 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system

Also Published As

Publication number Publication date
US20200168190A1 (en) 2020-05-28
US20200168197A1 (en) 2020-05-28
US11037539B2 (en) 2021-06-15
US20200168194A1 (en) 2020-05-28
US20170263227A1 (en) 2017-09-14
US20170263226A1 (en) 2017-09-14
JP2018537727A (ja) 2018-12-20
US20200168187A1 (en) 2020-05-28
US10262641B2 (en) 2019-04-16
US11468871B2 (en) 2022-10-11
US11030984B2 (en) 2021-06-08
HK1257669A1 (zh) 2019-10-25
US11430419B2 (en) 2022-08-30
US11017750B2 (en) 2021-05-25
EP3357059A4 (en) 2019-10-16
US11651757B2 (en) 2023-05-16
US11037541B2 (en) 2021-06-15
US20190279606A1 (en) 2019-09-12
KR20180063163A (ko) 2018-06-11
US9721551B2 (en) 2017-08-01
US11430418B2 (en) 2022-08-30
US10311842B2 (en) 2019-06-04
US11011144B2 (en) 2021-05-18
US20190304418A1 (en) 2019-10-03
US10467998B2 (en) 2019-11-05
US11037540B2 (en) 2021-06-15
EP3357059A1 (en) 2018-08-08
WO2017058844A1 (en) 2017-04-06
US20170263228A1 (en) 2017-09-14
US10672371B2 (en) 2020-06-02
US20200168189A1 (en) 2020-05-28
CA2999777A1 (en) 2017-04-06
US20200168192A1 (en) 2020-05-28
US20170092247A1 (en) 2017-03-30
US20200168193A1 (en) 2020-05-28
US20200168191A1 (en) 2020-05-28
US20200168196A1 (en) 2020-05-28
CN108369799A (zh) 2018-08-03
US20170263225A1 (en) 2017-09-14
US11657787B2 (en) 2023-05-23
BR112018006194A2 (pt) 2018-10-09
US10163429B2 (en) 2018-12-25
AU2016330618A1 (en) 2018-04-12
US20200168188A1 (en) 2020-05-28
US20180018948A1 (en) 2018-01-18
US11776518B2 (en) 2023-10-03
US20240062736A1 (en) 2024-02-22
US20200168195A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN108369799B (zh) 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、系统和过程
US10854180B2 (en) Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US20240038205A1 (en) Systems, apparatuses, and/or methods for real-time adaptive music generation
KR20240021753A (ko) 청각적으로 올바른 형태를 가지는 음악 작품을 자동으로 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210621

Address after: New York, USA

Applicant after: Chaters Corp.

Address before: New York, USA

Applicant before: Amper Music, Inc.

GR01 Patent grant
GR01 Patent grant