CN112997246A - 用于交互系统的实时音乐生成引擎 - Google Patents

Abstract

本发明涉及一种用于交互系统的实时音乐生成引擎，该实时音乐生成引擎包括音乐规则集(MRS和/或CA和/或PCU)单元(9)，该MRS单元被配置成将所述预定义的作曲者输入与实时控制信号组合成音乐信号；构造器自动机(CA)(11)，该CA被配置成基于由MRS和/或CA和/或PCU单元内的预定义的作曲者输入限定的规则定义，借助于音乐处理器来生成流畅的音乐片段；性能聚类单元(PCU)(13)，该PCU被配置成将来自CA(11)的流畅的音乐片段转换成对应的音乐控制信号，以供交互系统进行实时播放。

Description

用于交互系统的实时音乐生成引擎

技术领域

本公开涉及交互系统和软件中的音乐生成。更具体地，本发明涉及用于实时音乐生成而不是播放的系统和方法。

背景技术

诸如但不限于虚拟现实(VR)系统、增强现实(AR)系统、视频游戏、计算机游戏和移动游戏的交互系统通常包含旨在增强用户体验的音乐。交互性固有地使用户决定当前呈现哪个虚拟设定以及呈现多长时间，这意味着不存在可以预先与音乐中的对应事件或重音(accent)精确匹配的事件的预定义的定时提示，而其正是为什么电影的音乐可以与故事情节完美匹配的原因。在交互系统内更好地匹配音乐的一种方式将是实时生成音乐，就像剧院中的乐队能够立即对舞台上正在表达的内容作出反应。

现有技术

先前公开的交互系统通常以由交互系统中的参数触发的事件驱动方式通过播放预先作曲的循环(loop)的组合来构造伴随的音乐，从而导致取决于所述音乐循环的粒度和复杂度的不同级别的交互性。

发明内容

本公开的一个目的是提供用于在交互系统中实现实时交互音乐生成的实时音乐生成引擎和方法。

另一目的是提供一种包括在交互系统中实现实时交互音乐生成的指令的计算机程序产品。

根据本公开，上述目的可以全部或部分地通过根据所附权利要求所述的装置、系统以及方法来满足。根据本公开，在所附权利要求中、下面的描述中以及附图中阐述了各个特征和方面。

根据第一方面，提供了一种用于交互系统的实时音乐生成引擎，其中，所述音乐生成引擎和所述交互系统以通信的方式连接，以在所述音乐生成引擎与所述交互系统之间发送与音乐生成有关的参数。所述音乐生成引擎包括：音乐规则集(MRS)单元，所述MRS单元包括预定义的作曲者输入，所述MRS单元被配置成将所述预定义的作曲者输入与实时控制信号组合成音乐信号；构造器自动机(Constructor Automaton)(CA)，所述CA被配置成基于由所述MRS单元内的所述预定义的作曲者输入限定的规则定义，借助于音乐处理器来生成流畅的音乐片段；性能聚类单元(PCU)，所述PCU被配置成将来自所述CA的所述流畅的音乐片段转换成对应的音乐控制信号；其中，所述对应的音乐控制信号是乐器数字接口(MIDI)形式，或者借助于对在工作时连接至所述交互系统的至少一个音频块进行控制，所述交互系统将所述对应的音乐控制信号用于实时播放。

在示例性实施方式中，来自所述PCU的所述音乐控制信号被适配用于回送到经音乐训练的AI系统，以进行迭代训练和指导所述实时音乐生成。

在另一实施方式中，所述音乐引擎还包括遗传设计层(Genetic Design Layer)GDL，所述GDL被配置成基于所述实时控制信号或经音乐训练的AI系统内的预定义的音乐知识来使来自所述规则定义的音乐特征突变。

在又一实施方式中，所述CA还被配置成通过组合所述规则定义和来自所述GDL的新的突变的音乐特征来生成新的流畅音乐。

在示例性实施方式中，所述音乐生成引擎还包括音频分析块AAB，所述AAB被配置成对由所述交互系统正在播放的任何输出音频的频谱信息进行分析，并且所述PCU还被配置成按照借助于限制原本有模糊所述交互系统中的其它重要音频元素的风险的某些音符和/或乐器的使用来使所生成的音乐不干扰所述重要音频元素的方式对所述频谱信息做出响应。所述频谱信息可以是根据频谱密度分类的。

在另外的实施方式中，所述实时音乐生成引擎被配置成允许在运行期间的任何时间查看和调整所生成的音乐。

根据第二方面，提供了一种在用于交互系统的音乐生成引擎中生成实时音乐的方法，所述交互系统以通信的方式连接至所述音乐生成引擎，以在所述音乐生成引擎与所述交互系统之间发送与音乐生成有关的参数，其中，所述音乐生成引擎包括音乐规则集(MRS)单元、构造器自动机(CA)和性能聚类单元(PCU)，所述方法包括以下步骤：在所述MRS单元中取回预定义的作曲者输入；在所述MRS单元的存储器中存储根据所取回的预定义的作曲者输入的多个自适应规则定义；在所述MRS单元中接收实时控制信号；将所述预定义的作曲者输入与实时控制信号组合成音乐信号；借助于音乐处理器，在所述CA中，基于由所述预定义的作曲者输入限定的所述规则定义来生成流畅的音乐片段；以及在所述PCU中，将来自所述CA的所述流畅的音乐片段转换成对应的音乐控制信号，以供所述交互系统借助于对在工作时连接至所述交互系统的至少一个音频块进行控制来进行实时播放。

在示例性实施方式中，来自所述PCU的所述音乐控制信号被适配用于回送到经音乐训练的AI系统，以进行迭代训练和指导所述实时音乐生成。

在又一实施方式中，所述方法还包括：在所述音乐生成引擎内的遗传设计层GDL中，基于所述实时控制信号或经音乐训练的AI系统内的预定义的音乐知识来使来自所述规则定义的音乐特征突变。

在另一实施方式中，所述方法还包括：通过组合所述规则定义和来自所述GDL的新的突变的音乐特征来生成新的流畅音乐。

在另外的实施方式中，所述方法还包括：在所述音乐生成引擎内的音频分析块AAB中，对由所述交互系统正在播放的任何输出音频的频谱信息进行分析，并且在所述PCU中，按照借助于限制原本有模糊所述交互系统中的其它重要音频元素的风险的某些音符和/或乐器的使用来使所生成的音乐不干扰所述重要音频元素的方式对所述频谱信息做出响应。优选地，所述频谱信息可以是根据频谱密度分类的。

在其它实施方式中，所述方法还包括：在运行期间的任何时间查看和调整所生成的音乐。

根据第三方面，提供了一种包括计算机可读指令的计算机程序产品，当在计算机上执行时，所述计算机可读指令使得能够执行根据以上内容所述的方法。

附图说明

现在参照附图通过示例的方式对本发明进行描述，在附图中：

图1是根据本公开的用于交互系统的实时音乐生成引擎的示意图。

图2是根据本公开的交互系统中的游戏环境的示例。

图3是根据本公开的人工智能辅助作曲者(AIAC)中的回送机制的示例。

图4是根据本公开的遗传设计层的示意图。

图5是用于实时音乐生成的方法的示例。

图1示出了用于交互系统的实时音乐生成引擎的示例示意图。在一个示例中，音乐引擎包括音乐规则集(MRS)单元9、遗传设计层(GDL)5、构造器自动机(CA)11、性能聚类单元(PCU)13、回送单元15。音乐引擎可以从作曲者输入1、人工智能辅助作曲者(AIAC)3、音乐神经网络、遗传设计层(GDL)5接收实时控制信号。将在以下内容中描述作曲者输入1、AIAC 3、GDL和音乐神经网络。

借助于使用引擎的单独实例来制作作曲者输入1，所述引擎的单独实例使用但不限于虚拟工作室技术(VST)、独立的图形用户界面(GUI)创作软件、平板应用、本地或公共web服务器或并入有实时音乐生成引擎的任何其它软件。该输入用于限定最终音乐的音乐范围和偏好。该输入可以包含用于以直接操纵的方式设置MRS 9以及CA 11的设定、本地存储的设定、下载的社区制作的设定、预作曲音乐源数据的MIDI文件等的任何集合。

可以通过使用经音乐训练的人工智能辅助作曲者(AIAC)来进一步修改作曲者输入1。充当音乐家的这种AI可以基于某种深度学习和/或人工神经网络实现方式，诸如但不限于深度前馈、递归神经网络、深度卷积网络、液体状态机等。所述AI也可以基于其它结构，诸如但不限于有限状态机、马尔可夫链、玻尔兹曼机等。这些自主处理所基于的基础知识可以是常规音乐规则(诸如对位研究、Schenkerian分析和类似音乐处理)的混合以及每次生成的社区驱动投票(community driven voting per generation)或其它人类质量保证手段。所述知识也可以源自使用在线音乐库和流媒体服务，通过诸如但不限于以下方式大规模地对现有音乐进行的深度分析：使用神经网络和Haar级联、频谱/时域和频域的音高检测、现有应用编程接口(API)的每项服务的捎带或者使用内容ID系统(原本为版权标识而设计的)等的内容的快速傅里叶变换(FFT)/短时傅里叶变换(STFT)分析。此外，可以借助于音频分析、多调音频分析、包含有关某些音乐规则(诸如但不限于音阶、调、拍子、特征、乐器、流派、风格、范围、声域)的信息的元数据标签等，使用现有音乐库来训练所述AI。

GDL 5使用来自音乐规则集单元9的信息，并基于来自由事件驱动的实时控制信号或AIAC系统3内的大量预定义的音乐知识的所提供的激励来使该信息突变。例如，在音乐规则集单元9中限定的乐旨和节奏模式可以通过对数据稍作修改、突变和改进的神经网络。这意味着小的音乐定义和预定义块的库可以被延长成数小时的音乐素材。MRS单元9具有对不同音乐特征进行管理的多个块。在一个示例中，音乐规则集单元可以具有：处理调、拍和时间信号等的核心块；处理旋律、乐旨、和声、乐句以及和弦等的音高块；处理模式、节奏、律动等的节拍块；以及处理输出音频(例如，MIDI文件、音频循环等)的文件块。

各个音乐神经元501是独立的神经网络，所述神经网络针对特定于其用例的数据进行了训练。例如，针对源自MIDI数据的节奏模式的广泛目录训练节奏神经元，这样，该节奏神经元可以从小的限定库产生无限突变。这些突变将由于诸如用户请求或交互系统中的事件的实时激励而产生，并且可以是单个实时实例，或者是包含展示给构造器自动机11的数百种变化的按需突变遗传库。

构造器自动机11将使用来自MRS单元9的规则定义以及通过以下任一者获得的任何或所有添加项：实时作曲者输入、先前的作曲者输入、通过音乐神经元进行的实时AI处理、根据源自静态和流动(fluid)数据的知识进行的离线AI处理；从性能参数或源自交互系统的任何公共变量的回送的各个阶段。构造器自动机11在此用作通过使用多个不同构造块来构建流畅的音乐片段的层。不同块可以由被引导的作曲者输入详细地适配以严格地遵循预期作曲，或由AI驱动以进行自主作曲和过程音乐生成。在一个实施方式中，构造器自动机使用音乐处理器来生成音乐，下面将描述细节。

音乐处理器是提供经指导的自主音乐创作所需的各种构造块的子系统的集合。用户可以使用通过音乐引擎的API实现的模块化流程图GUI或者通过AIAC 3本身来直接影响音乐处理器。在一个示例中，音乐处理器包括诸如形式块(form block)、作曲者块和表达块的子系统。

形式块是音乐处理器的包含关于音乐规则集、音乐转调、和弦结构、对位等的信息、知识和指令的一个子集。在形式块内，作曲者和/或AI将限定对音乐结构的偏好和允许工具的画板，以实现给定目标，诸如音乐弧、节奏、一般形式偏好、和弦结构、时间签名等。例如，对调或和弦变化的请求或者甚至对完全不同的音乐部分的请求将由音乐处理器处理，并且将仅在满足一组条件之后发生；诸如，移动通过被认为是必要的多个调改变，以便使转调尽可能地音乐化。

作曲者块是音乐处理器的包含关于音乐规则集、音乐和节奏乐句、乐器、展示、MRS权重、编排等的信息、知识和指令的一个子集。作曲者块可以被形式块调用。作曲者块可以包含输入的midi区域、使用其它软件的离线作曲、用作旋律和和声创作的基础的预定义旋律、根据公共乐器的数据库限定或指定的编排偏好、应在什么乐器和范围中优先乐旨并将其连接至哪个激励(如在英雄或坏人等的主题中)的乐旨指派。

通过将构造自动机内部的音乐数据中继到性能聚类中，表达块充当音乐指挥。表达块将处理音乐数据人性化成较小声音的技巧、将基于来自交互系统的外部激励调整音乐的动态，从而根据场景的节奏(pacing)调整拍。

性能聚类单元13包含多个部分，在一个示例中，所述部分是MIDI块、音频块和滤波器块，所述部分将音乐信号转换成对应的音乐控制信号，以供交互系统借助于对至少一个音频块进行控制来进行实时播放。基于来自构造自动机11的指令，乐器/乐器组将演奏MIDI块内的音符，这允许：将MIDI输出指导到未并入交互系统内的其它装置；用于迭代训练目的和作为实时音乐生成的指导的到AI的回送；不同乐器的MIDI多调表达(MPE)映射。音符信息和MPE映射被传递到包含将播放音乐音符的乐器(采样器或合成器)的实例的音频块17。作为实体的音频块17被认为是可以在空间上自由地定位在交互系统的声级内的声音对象。来自音频块17的所得音频可以进一步由滤波器块的成员处理，所述滤波器块可以包含与交互系统中的实时音乐生成引擎捆绑在一起的数字信号处理器(DSP)滤波器、第三方VST效果或由父主机展示的音频效果。

在任何运行时间，任何交互系统中的实时音乐生成引擎的内部实例可以被新的主导者(master)实例覆盖，在这种情况下，音乐生成、分析和性能将由新的主导者控制。主导者是主机内的实时音乐生成引擎的单独实体，诸如但不限于平板控制应用、VST-乐器、单独的交互系统、本地和/或公共web服务器、实时音乐生成引擎的授权套件或并入实时音乐生成引擎的任何其它软件。

这种现场创作模式允许即使在部署的交互介质中，作曲者、音乐家、音频设计者、内容创作者等以容易的方式实时改变他们的作曲。这极大地改进了迭代处理并且允许微调音乐以更详细地适合给定实例，所有这些都绕过了用于离线播放的再现音频文件的标准工作流程。

通过使各个音乐事件(诸如个体音符触发、和弦变化、拍变化、时间签名变化、形式变化以及系统中几乎每一个其它参数)展示给交互系统，针对制作音乐反应内容，可能性是很大的。制作音乐反应内容的当前技术主要基于使用FFT来确定在音乐和类似物中在何处发生节拍的频谱分析，或来自与线性固定内容同步的预编程触发器。在本发明的一个实施方式中，音乐生成引擎具有任何和每一个音乐事件，其可以在交互系统中驱动您希望的任何内容，诸如但不限于粒子系统、游戏逻辑、着色器呈现、程序系统等。

在运行期间的任何时间，交互系统可以访问实时音乐生成引擎的所展示的API并且发送激励请求以便触发音乐响应。激励可以连接至任何预定义的接收器。激励也可以是单个字节的数据、数字范围、数据向量、高级语义指令等。除了与接收器进行通信之外，使用API可以直接控制实时音乐生成引擎的参数。

在一个实施方式中，交互系统可以包括接收器。接收器是可限定的数据入口，其基于用户/作曲者/人工智能辅助作曲者的决定和定义来将一个或多个音乐处理器分组在一起。可以使用多种不同方法来配置接收器。在任何一个连接的实例中使用实时音乐生成引擎的GUI，用户可以拖放模块化构造块，各个模块化构造块包含用于特定音乐处理器的指令，该指令又反馈到构造自动机中，以及激励新的音乐数据的生成，该新的音乐数据在音乐规则集单元中具有继承的音乐特征和突变的音乐特征(在下文中可以称为音乐DNA)。接收器可以用于直接映射到交互系统内的参数。例如，由接收器接收的单个触发事件可以通过触发连锁反应来改变整个作曲；由接收器接收的浮动值可以以小的增量逐渐改变音乐；由接收器接收的浮动值可以详尽无遗地控制单个乐器等。接收器也可以由AIAC以编程的方式生成，或者作为预设在在线社区之间共享。

此外，音乐引擎可以包括未来快速前进预览单元(FFFP)。FFFP被配置成基于音乐规则集单元9、音乐DNA 309和构造自动机11的现状来在未来时间产生音乐。实质上，这允许作曲者预览将来任何时间点时的音乐听起来如何，同时在现在进行调整和作曲。类似于混沌理论，任何时间点的任何小的变化将对经过该点的一切事物具有很大的影响。使用FFFP单元，作曲者可以与生成系统协作以非线性方式作曲，这具有能够保存任何未来结果并用作新的遗传库或音乐处理器的基础的附加益处。

当在离线模式下使用时，这为电影作曲者创建了一个全新的范例，其中代替手动计算拍和时间签名来仅仅确保电影中的关键时刻(称为节拍)在音乐中被适当地同步和强调，电影作曲者可以通过限定关键点开始并在该关键点周围作曲，同时观看和听到在该关键点周围展开的音乐。为了实现这一点，与在声音域中实时播放相反，实时音乐生成引擎将生成处理快进X个刻点(tick)。

在一个实施方式中，来自交互系统的输出音频可以回送到AIAC 3中，以使用FFT分析频谱内容。可以使用来自交互系统的任何和所有音频流。基于分析，AIAC 3可以以来自交互系统的声音效果不干扰有组织地生成的音乐的频谱内容的方式微调乐器。

根据频谱密度对由FFT产生的频谱信息进行分类，并将该频谱信息用于确定是否包含人类语音或其它预定义的重要音频元素(例如，赛车视频游戏中的汽车引擎)或通常根据频谱密度进行分类。这与包含所有已知乐队和声学乐器的乐器范围和音色的乐器知识库的内容进行比较。在使用电子的和合成的声音的情况下，基于在多个不同八度处的波形和滤波器的合成器使用来生成频率分布。基于该知识，系统将限制乐器播放将在声学上与重要声音竞争的音符。音符将被静音、转置成不同八度、移动至频率响应更适合的其它乐器或者被重新作曲成完全不同的音符。此外，这还可以触发未来形式的完全再乐器化或重构的连锁反应。

典型的用例场景将是确定是否正在发出人类语音(基于通常针对人类语音的频率内容特征)，并避免播放具有与语音冲突的音色和范围的乐器，从而增加所说单词的清晰度。作为比较，当前技术依赖于DSP效果(诸如音乐的压缩或均衡)，以便让语音通过，这不利地影响音乐的音波质量和感知。相同的过程也可以用于所有其它类型的声音效果(例如采用振鸣引擎，并且在音乐混合中为该声音留下空间)，以确保所得最终音频混合是干净且平滑的。

由于系统被设计用于连续的双向通信，所以对于基于当前在音乐中发生的内容来限制某些声音效果的播放而言，相同的音频分析方法是可行的。

在一个实施方式中，实时音乐生成引擎使用用于确定随时间推移的和弦结构、旋律主题以及和声的音高跟踪、使用利用多种分析方法的多调分离进行分析。一种这样的方法将是具有快速傅立叶变换以确定最突出的乐器的基频(f0)并将可能源于这样的基频的谐波关联到所述乐器的作曲。相关谐波将根据自然谐波系列的组合以及由通常在基频的频率范围内演奏乐器的假设影响的音色的加权来确定。乐器的进一步分离将遵循类似模式，其中从频谱幅度分析找到附加基频，其中附加基频具有如下频率内容，该频率内容偏离可能是先前更强的基频的谐波。当确定音高和乐器时，该分析还考虑立体声/多通道分离。

图2示出了根据本公开的交互系统中的游戏环境的示例。在该示例中，交互环境是赛车游戏，其中音乐引擎可以基于例如但不限于赛车的速度、电动机的声音等来生成实时音乐。

图3示出了AIAC 3中的回送机制的示例。在音乐生成期间，来自CA 11或PCU13的任何回送阶段可以被输入到AIAC 3，以用于迭代训练目的和作为实时音乐生成的指导。AIAC3的训练处理可以基于用户输入评估和回送，然后知识作为训练结果存储在AIAC 3中。回送还可以用于数据域和音频域的分析。然后基于新的知识或监督评估的AIAC 3可以指导GDL5、CA 11或PCU 13生成新的音乐片段。GDL 5、CA 11或PCU 13的输出也可以再次回送到AIAC3。以这种方式，可以根据用户的需要或环境以交互方式调整所生成的音乐。

图4是根据本公开的遗传设计层5的示意性示例。音乐DNA 309使用来自MRS单元9的输入，MRS单元9可以具有核心块301、音高块303、节拍块305和文件块307。音乐DNA 309的输出由音乐神经元5和神经网络315处理。神经网络315的输出是隐藏层7的输入，隐藏层7基于输入、AIAC 3的知识和MRS权重来使音乐DNA309突变。突变的音乐DNA 309将被输出到CA11，以通过组合规则定义和来自GDL5的新的突变的音乐特征来生成新的流畅的音乐片段。

图5是用于实时音乐生成的方法的示例。在该方法开始时，在S101，MRS单元9取回作曲者输入，在S103，将基于作曲者输入获得自适应规则定义701的集合并将其存储在MRS单元9的存储器中。然后在S105，MRS从存储器选择规则定义的集合。在S107，MRS单元9接收实时控制信号，并在S109组合该控制信号和所选择的规则定义。输出音乐信号6被输出到CA11。在S113，CA 11将生成流畅的音乐片段，并且CA 11的输出音乐将是PCU 13的输入。在S115，PCU 13将流畅的音乐片段转换成对应的音乐控制信号，以供交互系统借助于对在工作时连接至所述交互系统的至少一个音频块进行控制来进行实时播放。如果需要播放输出音频信号10，则音频信号10将被回送到AIAC或CA，并且在S117，将使音乐特征突变，并且处理返回到S109，以生成音乐的音乐片段。

RID 23是指用于间接地以及直接地控制当前由系统生成的音乐的数据入口。如本领域技术人员所公知的，术语实时是相对术语，指的是在系统内非常快速地进行响应的事物。在数字系统中，没有这种即时的事物，因为始终存在由门、触发器、子系统时钟、固件以及软件引起的延迟。为了避免疑惑，在本公开的范围内的术语实时是描述当与音乐时标(诸如小节或次小节)相比时立即或非常快地出现的事件。这样的RID可以是但不限于虚拟参数(诸如视频游戏中的参数)、一个或更多个触摸屏、手势传感器(诸如摄像头或基于激光的传感器)、陀螺仪和其它运动跟踪系统、眼球跟踪装置、人声输入系统(诸如音高检测器、自动调音器等)、模仿乐器或形成新类型乐器的专用硬件、网络命令、人工智能输入等。RID块可以被配置成与系统中的其它块异步地运行，由此，由RID块生成的控制信号可以与音乐时标异步。

在一个实施方式中，RID 23是子系统，该子系统接收来自一个或更多个虚拟数据入口的输入，诸如但不限于交互应用中的参数、人工智能(AI)算法或实体、远程音乐家网络、循环处理器、多维循环处理器、一个或更多个随机生成器以及这些项的任何组合。

在另一实施方式中，RID 23可以连接至经音乐训练的AIAC。充当音乐家的这种AI可以基于某种深度学习和/或人工神经网络实现方式，诸如但不限于深度前馈、递归神经网络、深度卷积网络、液体状态机等。所述AI也可以基于其它结构，诸如但不限于有限状态机、马尔可夫链、玻尔兹曼机等。这些自主处理所基于的基础知识可以是常规音乐规则(诸如对位研究、Schenkerian分析和类似音乐处理)的混合以及每次生成的社区驱动投票或其它人类质量保证手段。所述知识也可以源自使用在线音乐库和流媒体服务，通过诸如但不限于以下方式大规模地对现有音乐进行的深度分析：使用神经网络和Haar级联、频谱/时域和频域的音高检测、API的每项服务的捎带或者使用内容ID系统(原本为版权标识而设计的)等的内容的FFT/STFT分析。此外，可以借助于音频分析、多调音频分析、包含有关某些音乐规则(诸如但不限于音阶、调、拍子、特征、乐器、流派、风格、范围、声域)的信息的元数据标签等，使用现有音乐库来训练所述AI。

在又一实施方式中，RID 23可以是最终用户输入装置，诸如但不限于鼠标和键盘、操纵杆、赛车方向盘、模拟和数字控制器、Microsoft Kinect游戏控制器、虚拟现实或增强现实界面、陀螺仪运动传感器、基于摄像头的运动传感器、面部识别装置、3D摄像头、测距摄像头、立体摄像头、激光扫描仪、基于信标的空间跟踪(诸如来自Valve的Lighthouse技术)或者提供最终用户并且可选地还有最终用户周围环境的空间读数的其它装置。

在又一实施方式中，控制信号被来自一个或更多个音乐家的远程网络的控制输入所代替或加以补充。将这种远程控制信号的数据速率保持到最小，以避免过度延迟，这种过度延迟会使远程音乐家输入变得非常困难。本公开自然地解决了这种数据速率问题，因为音乐是由在各个远程音乐家位置中运行相同的MRS单元9和/或CA 11和/或PCU 13设定的系统的各个单独实例实时生成的，因此不需要跨网络传输音频数据，而这种跨网络传输音频数据需要比远程控制信号的数据速率高很多倍的数据速率。此外，来自远程音乐家的所述输入以及音符触发信号需要进行同步，以使所生成的音乐的完整片段一致。在这个实施方式中，远程系统的时钟全部被同步。这种同步可以通过网络时间协议(NTP)、简单网络时间协议(SNTP)、精确时间协议(PTP)等来实现。跨网络的时钟同步被认为是本领域技术人员已知的。音乐家是指通过操纵对RID23的输入来影响通过所公开的系统实时生成的音乐的任何人或任何事物。

在又一实施方式中，远程音乐家的以及如上所述的本公开的系统的实例的网络是基于5G或其它未来通信标准或者专注于低延迟而非高带宽的网络技术来构建的。

在另一实施方式中，控制信号对应于从音乐家使用的触摸屏的形式的RID 23接收的光标状态。所述光标状态可以包含与屏幕上的位置有关的信息，因为X坐标和Y坐标以及Z坐标可以对应于屏幕上的压力的量。可以将这些控制信号值(X，Y，Z)发送至MRS单元9和/或CA 11和/或PCU 13，并且无论何时被更新都会进行重新发送。当控制信号2被更新时，MRS单元9和/或CA 11和/或PCU 13可以根据系统定时以及预定义的音乐规则来使所述控制信号的定时同步。将所述控制信号2映射至MRS单元9和/或CA 11和/或PCU 13内的音乐规则的一种方式是让X控制节奏强度(诸如但不限于脉冲密度)，并且让Y控制音调音高(诸如但不限于音高或和弦)，以及让Z控制该音高、和弦等的速度。所述速度可以但不限于控制由音频生成器块17演奏的对应虚拟乐器的击打、响度、环音(envelope)、延音(sustain)、音频样本选择、效果等。

在又一实施方式中，RID 23可以包括运动传感器(诸如但不限于MicrosoftKinect游戏控制器、虚拟现实或增强现实界面、陀螺仪运动传感器、基于摄像头的运动传感器)、面部识别装置、3D摄像头、测距摄像头、立体摄像头、激光扫描仪、基于信标的空间跟踪(诸如来自Valve的Lighthouse技术)或者提供音乐家并且可选地还有音乐家周围环境的空间读数的其它装置。可以将一个或更多个所得三维位置指示用作控制信号，并且在通过MRS单元9和/或CA 11和/或PCU 13映射至音乐参数时，可以根据上面的描述解释为X坐标、Y坐标以及Z坐标。

也可以通过不太复杂的二维输入装置(诸如但不限于数字摄像头)，借助于计算机视觉，通过诸如像素簇的质心跟踪的方法、Haar级联图像分析、针对视觉输入进行了训练的神经网络或者类似方法来建立这种空间跟踪，并由此生成一个或更多个光标位置以用作控制信号。

在又一实施方式中，RID 23可以是专用硬件，诸如但不限于新型乐器、传统乐器的复制品、DJ设备、现场音乐混音设备或者生成被用作控制信号的对应X、Y、Z光标数据的类似装置。

实时音乐生成引擎也可以用在传统的线性作曲设定中，并且它不是必须与交互系统结合使用。

将理解，本领域技术人员将容易想到附加优点和修改。因此，本文所呈现的公开及其更广泛的方面不限于本文中示出和描述的具体细节和代表性实施方式。因此，在不脱离由所附权利要求及其等同物限定的总体发明构思的精神或范围的情况下，可以包括许多修改、等同物以及改进。

Claims (17)

1.一种用于交互系统的实时音乐生成引擎，其中，所述音乐生成引擎和所述交互系统以通信的方式连接，以在所述音乐生成引擎与所述交互系统之间发送与音乐生成有关的参数，所述实时音乐生成引擎包括：

-音乐规则集MRS单元(9)，所述MRS单元包括预定义的作曲者输入，

-实时控制信号，所述实时控制信号被配置成驱动受所述预定义的作曲者输入约束的所述音乐生成引擎；

-构造器自动机CA(11)，所述CA被配置成基于由所述MRS单元(9)内的所述预定义的作曲者输入限定的规则定义，借助于音乐处理器来生成流畅的音乐片段；

-性能聚类单元PCU(13)，所述PCU被配置成将来自所述CA(11)的所述流畅的音乐片段转换成对应的音乐控制信号；其中，

所述音乐控制信号是MIDI形式，或者

借助于对在工作时连接至所述交互系统的至少一个音频块(17)进行控制，所述交互系统将所述音乐控制信号用于实时播放。

2.根据权利要求1所述的实时音乐生成引擎，其中，所述音乐规则集MRS单元(9)是实时自适应的。

3.根据权利要求1所述的实时音乐生成引擎，其中，来自所述PCU(13)的所述音乐控制信号被适配用于回送到经音乐训练的AI系统(3)，以进行迭代训练和指导所述实时音乐生成。

4.根据前述权利要求中任一项所述的实时音乐生成引擎，其中，所述音乐引擎还包括：

-遗传设计层GDL(5)，所述GDL被配置成基于所述实时控制信号或经音乐训练的AI系统(3)内的预定义的音乐知识来使来自所述规则定义的音乐特征突变。

5.根据权利要求4所述的实时音乐生成引擎，其中，所述CA(11)还被配置成通过组合所述规则定义和来自所述GDL(5)的新的突变的音乐特征来生成新的流畅音乐。

6.根据前述权利要求中任一项所述的实时音乐生成引擎，其中，所述音乐引擎还包括：

-音频分析块AAB，所述AAB被配置成对由所述交互系统正在播放的任何输出音频的频谱信息进行分析；

并且所述PCU(13)还被配置成按照借助于限制原本有模糊所述交互系统中的其它重要音频元素的风险的某些音符和/或乐器的使用来使所生成的音乐不干扰所述重要音频元素的方式对所述频谱信息做出响应。

7.根据权利要求6所述的实时音乐生成引擎，其中，所述频谱信息是根据频谱密度分类的。

8.根据前述权利要求中任一项所述的实时音乐生成引擎，其中，所述引擎被配置成允许在运行期间的任何时间查看和调整所生成的音乐。

9.一种在用于交互系统的音乐生成引擎中生成实时音乐的方法，所述交互系统以通信的方式连接至所述音乐生成引擎，以在所述交互系统与所述音乐生成引擎之间发送与音乐生成有关的参数，其中，所述音乐生成引擎包括音乐规则集MRS单元(9)、构造器自动机CA(11)和性能聚类单元PCU(13)，所述方法包括：

-在所述MRS单元(9)中取回预定义的作曲者输入；

-在所述MRS单元(9)的存储器中存储根据所取回的预定义的作曲者输入的多个自适应规则定义；

-在所述MRS单元(9)中接收实时控制信号；

-驱动受所述预定义的作曲者输入约束的所述音乐生成引擎；

-借助于音乐处理器，在所述CA(11)中，基于由所述预定义的作曲者输入限定的所述规则定义来生成流畅的音乐片段；

-在所述PCU(13)中，将来自所述CA(11)的所述流畅的音乐片段转换成对应的音乐控制信号，以供所述交互系统借助于对在工作时连接至所述交互系统的至少一个音频块进行控制来进行实时播放。

10.根据权利要求9所述的方法，其中，所述音乐规则集MRS单元(9)是实时自适应的。

11.根据权利要求9所述的方法，其中，来自所述PCU(13)的所述音乐控制信号被适配用于回送到经音乐训练的AI系统(3)，以进行迭代训练和指导所述实时音乐生成。

12.根据前述权利要求中任一项所述的方法，其中，所述方法还包括：

在所述音乐生成引擎内的遗传设计层GDL(5)中，基于所述实时控制信号或经音乐训练的AI系统(3)内的预定义的音乐知识来使来自所述规则定义的音乐特征突变。

13.根据权利要求12所述的方法，其中，所述方法还包括：

通过组合所述规则定义和来自所述GDL(5)的新的突变的音乐特征来生成新的流畅音乐。

14.根据前述权利要求中任一项所述的方法，其中，所述方法还包括：

-在所述音乐生成引擎内的音频分析块AAB中，对由所述交互系统正在播放的任何输出音频的频谱信息进行分析；

并且在所述PCU(13)中，按照借助于限制原本有模糊所述交互系统中的其它重要音频元素的风险的某些音符和/或乐器的使用来使所生成的音乐不干扰所述重要音频元素的方式对所述频谱信息做出响应。

15.根据权利要求14所述的方法，其中，所述频谱信息是根据频谱密度分类的。

16.根据前述权利要求中任一项所述的方法，其中，所述方法还包括：在运行期间的任何时间查看和调整所生成的音乐。

17.一种包括计算机可读指令的计算机程序产品，当在计算机上执行时，所述计算机可读指令使得能够执行根据权利要求9至16中任一项所述的方法。

Images