CN109478398B - 控制方法以及控制装置 - Google Patents

控制方法以及控制装置 Download PDF

Info

Publication number
CN109478398B
CN109478398B CN201780044768.0A CN201780044768A CN109478398B CN 109478398 B CN109478398 B CN 109478398B CN 201780044768 A CN201780044768 A CN 201780044768A CN 109478398 B CN109478398 B CN 109478398B
Authority
CN
China
Prior art keywords
event
performance
coefficient
musical instrument
sounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780044768.0A
Other languages
English (en)
Other versions
CN109478398A (zh
Inventor
前泽阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN109478398A publication Critical patent/CN109478398A/zh
Application granted granted Critical
Publication of CN109478398B publication Critical patent/CN109478398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental

Abstract

事件的动作方式的控制方法，具有：受理与演奏中的第1事件有关的检测结果的步骤；决定用于表示演奏中的第2事件对于第1事件的追随程度的追随系数的步骤；以及基于追随系数，决定第2事件的动作方式的步骤。

Description

控制方法以及控制装置
技术领域
本发明涉及控制方法以及控制装置。
背景技术
已知如下技术：基于表示演奏中的发声的声音信号，估计演奏者的演奏在乐谱上的位置(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1:(日本)特开2015-79183号公报
发明内容
发明所要解决的技术问题
另外，在演奏者和自动演奏乐器等进行合奏的合奏系统中，例如进行如下处理：基于演奏者的演奏在乐谱上的位置的估计结果，预测自动演奏乐器发出下一个声音的事件的定时。但是，在这种合奏系统中，不能够调整演奏者的演奏和自动演奏乐器的演奏的同步程度。
本发明是鉴于上述情况而完成的，其所要解决的一个课题在于，提供能够调整演奏者的演奏和自动演奏乐器的演奏的同步程度的技术。
用于解决课题的手段
本发明所涉及的控制方法，其特征在于，具有：受理与演奏中的第1事件有关的检测结果的步骤；决定用于表示所述演奏中的第2事件相对于所述第1事件的追随程度的追随系数的步骤；以及基于所述追随系数，决定所述第2事件的动作方式的步骤。
此外，本发明所涉及的控制装置，其特征在于，具有：受理部；受理与演奏中的第1事件有关的检测结果；系数决定部，决定用于表示所述演奏中的第2事件相对于所述第1事件的追随程度的追随系数；以及动作决定部，基于所述追随系数，决定所述第2事件的动作方式。
附图说明
图1是表示实施方式所涉及的合奏系统1的结构的一例的框图。
图2是例示定时控制装置10的功能结构的框图。
图3是例示定时控制装置10的硬件结构的框图。
图4是例示定时控制装置10的动作的时序图。
图5是用于说明发声位置u[n]以及观测噪声q[n]的说明图。
图6是例示变形例5所涉及的结合系数γ的决定方法的流程图。
图7是例示定时控制装置10的动作的流程图。
具体实施方式
<1.结构>
图1是表示本实施方式所涉及的合奏系统1的结构的框图。合奏系统1是用于人类演奏者P和自动演奏乐器30进行合奏的系统。即，在合奏系统1中，自动演奏乐器30配合演奏者P的演奏而进行演奏。合奏系统1具有定时控制装置10、传感器组20、以及自动演奏乐器30。在本实施方式中，设想演奏者P以及自动演奏乐器30合奏的乐曲为已知的情况。即，定时控制装置10存储了用于表示演奏者P以及自动演奏乐器30要合奏的乐曲的乐谱的乐曲数据。
演奏者P演奏乐器。传感器组20检测与演奏者P的演奏有关的信息。在本实施方式中，传感器组20例如包含放置于演奏者P之前的麦克风。麦克风收集从由演奏者P演奏的乐器中发出的演奏声，并将收集到的演奏声变换为声音信号而输出。
定时控制装置10是追随演奏者P的演奏而控制自动演奏乐器30演奏的定时的装置。定时控制装置10基于从传感器组20供给的声音信号，进行如下3个处理：(1)乐谱中的演奏的位置的估计(有的情况下称为“演奏位置的估计”)，(2)在自动演奏乐器30的演奏中应进行下一次发声的时刻(定时)的预测(有的情况下称为“发声时刻的预测”)，以及，(3)对于自动演奏乐器30的演奏命令的输出(有的情况下称为“演奏命令的输出”)。这里，演奏位置的估计是指估计演奏者P以及自动演奏乐器30的合奏在乐谱上的位置的处理。发声时刻的预测是指，使用演奏位置的估计结果，预测自动演奏乐器30应进行下一次发声的时刻的处理。演奏命令的输出是指，根据预测的发声时刻而输出对于自动演奏乐器30的演奏命令的处理。另外，演奏中的演奏者P的发声为“第1事件”的一例，演奏中的自动演奏乐器30的发声为“第2事件”的一例。在以下，有时将第1事件以及第2事件统称为“事件”。
自动演奏乐器30是能够根据由定时控制装置10供给的演奏命令，不需要人类的操作而进行演奏的乐器，其一例是自动演奏钢琴。
图2是例示定时控制装置10的功能结构的框图。定时控制装置10具有存储部11、估计部12、预测部13、输出部14、以及显示部15。
存储部11存储各种数据。在本例中，存储部11存储乐曲数据。乐曲数据至少包含表示由乐谱指定的发声的定时以及音高的信息。乐曲数据所示的发声的定时例如以在乐谱中被设定的单位时间(其一例是32分音符)为基准来表示。乐曲数据中除了由乐谱指定的发声的定时以及音高，还可以包含用于表示由乐谱指定的音长、音色、以及音量中的至少1个的信息。作为一例，乐曲数据是MIDI(乐器数字接口(Musical Instrument DigitalInterface))形式的数据。
估计部12解析所输入的声音信号，并估计演奏在乐谱中的位置。估计部12首先，从声音信号中提取与开始(onset)时刻(发声开始时刻)以及音高有关的信息。接下来，估计部12根据提取出的信息，计算表示演奏在乐谱中的位置的概率性的估计值。估计部12输出通过计算得到的估计值。
在本实施方式中，估计部12输出的估计值中包含发声位置u、观测噪声q、以及发声时刻T。发声位置u是在演奏者P或者自动演奏乐器30的演奏中发出的声音在乐谱中的位置(例如，第5小节的第2拍)。观测噪声q是发声位置u的观测噪声(概率性的波动)。发声位置u以及观测噪声q例如以在乐谱中被设定的单位时间为基准来表示。发声时刻T是在演奏者P的演奏中观测到发声的时刻(时间轴上的位置)。另外在以下的说明中，将与在乐曲的演奏中在第n个发声的音符对应的发声位置表示为u[n](n是满足n≧1的自然数)。其他估计值也是同样的。
预测部13通过将从估计部12供给的估计值作为观测值来使用，从而进行在自动演奏乐器30的演奏中应进行下一次发声的时刻的预测(发声时刻的预测)。在本实施方式中设想将预测部13使用所谓的卡尔门滤波器来进行发声时刻的预测的情况作为一例。
另外，在以下，在进行与本实施方式所涉及的发声时刻的预测有关的说明之前，先进行与相关技术所涉及的发声时刻的预测有关的说明。具体而言，作为相关技术所涉及的发声时刻的预测，说明使用了回归模型的发声时刻的预测和使用了动态模型的发声时刻的预测。
首先，说明相关技术所涉及的发声时刻的预测中，使用了回归模型的发声时刻的预测。
回归模型是使用演奏者P以及自动演奏乐器30的发声时刻的历史来估计下一次发声时刻的模型。回归模型例如由下式(1)来表示。
[数1]
这里，发声时刻S[n]是自动演奏乐器30的发声时刻。发声位置u[n]是演奏者P的发声位置。在式(1)所示的回归模型中，设想使用“j+1”个观测值来进行发声时刻的预测的情况(j是满足1≦j<n的自然数)。另外，在式(1)所示的回归模型所涉及的说明中，设想能够区分演奏者P的演奏声和自动演奏乐器30的演奏声的情况。矩阵Gn以及矩阵Hn是相当于回归系数的矩阵。矩阵Gn以及矩阵Hn以及系数αn中的下标n表示矩阵Gn以及矩阵Hn以及系数αn是与第n个演奏的音符对应的要素。即，在使用式(1)所示的回归模型的情况下，能够设定矩阵Gn以及矩阵Hn以及系数αn以使得其与乐曲的乐谱所包含的多个音符一一对应。换言之，能够根据乐谱上的位置而设定矩阵Gn以及矩阵Hn以及系数αn。因此，根据式(1)所示的回归模型，能够根据乐谱上的位置来进行发声时刻S的预测。
接下来，说明相关技术所涉及的发声时刻的预测中，使用了动态模型的发声时刻的预测。
动态模型一般而言，例如通过以下处理，更新用于表示成为动态模型的预测对象的动态系统的状态的状态向量V。
具体而言，第一，动态模型使用作为用于表示动态系统随时间的变化的理论上的模型的状态迁移模型，根据变化前的状态向量V，预测变化后的状态向量V。第二，动态模型使用作为用于表示状态向量V和观测值的关系的理论上的模型的观测模型，根据基于状态迁移模型的状态向量V的预测值，预测观测值。第三，动态模型基于由观测模型预测出的观测值和从动态模型的外部实际供给的观测值，计算观测残差。第四，动态模型通过使用观测残差来校正基于状态迁移模型的状态向量V的预测值，计算更新后的状态向量V。由此，动态模型更新状态向量V。
在本实施方式中，作为一例，设想状态向量V是包含演奏位置x和速度v作为其要素的向量的情况。这里，演奏位置x是指表示演奏者P或者自动演奏乐器30的演奏在乐谱中的位置的估计值的状态变量。此外，速度v是指演奏者P或者自动演奏乐器30的演奏在乐谱中的速度(拍子)的估计值的状态变量。但是，状态向量V也可以包含演奏位置x以及速度v以外的状态变量。
在本实施方式中，作为一例，设想状态迁移模型由以下的式(2)表示，并且观测模型由以下的式(3)表示的情况。
[数2]
V[n]＝AnV[n-1]+e[n]…(2)
[数3]
u[n]＝OnV[n]+q[n]…(3)
这里，状态向量V[n]是包含与第n个演奏的音符对应的演奏位置x[n]以及速度v[n]的多个状态变量作为要素的k维向量(k是满足k≥2的自然数)。过程噪声e[n]是表示伴随使用了状态迁移模型的状态迁移的噪声的k维的向量。矩阵An是表示与状态迁移模型中的状态向量V的更新有关的系数的矩阵。矩阵On是表示在观测模型中，观测值(在本例中是发声位置u)和状态向量V的关系的矩阵。另外，附加于矩阵或变量等各种要素的下标n表示该要素是与第n个音符对应的要素。
式(2)以及(3)例如能够具体化为以下的式(4)以及式(5)。
[数4]
[数5]
u[n]＝x[n]+q[n]…(5)
如果根据式(4)以及(5)得到演奏位置x[n]以及速度v[n]，则能够根据下式(6)得到未来的时刻t中的演奏位置x[t]。
[数6]
x[t]＝x[n]+v[n](t-T[n])…(6)
通过将式(6)的运算结果应用于以下的式(7)，能够计算自动演奏乐器30应当发出第(n+1)个音符的声音的发声时刻S[n+1]。
[数7]
动态模型具有能够进行根据乐谱上的位置的发声时刻S的预测的优点。此外，动态模型具有不需要事先的参数调整(学习)来作为原则的优点。
另外，在合奏系统1中，有时存在想要调整演奏者P的演奏和自动演奏乐器30的演奏的同步程度的期望。换言之，在合奏系统1中，有时存在想要调整自动演奏乐器30的演奏对于演奏者P的演奏的追随的程度的期望。
但是，在相关技术所涉及的回归模型中，为了满足该期望，例如在对演奏者P的演奏和自动演奏乐器30的演奏的同步的程度进行各种变更的情况下，需要分别关于可被变更的各种同步的程度进行事先的学习。在该情况下，存在事先的学习中的处理负荷增大的问题。
此外，在相关技术所涉及的动态模型中，为了满足该期望，例如，通过过程噪声e[n]等来调整同步的程度。但是，在该情况下，由于发声时刻S[n+1]是基于在发声时刻T[n]等的演奏者P的发声所涉及的观测值而计算的，所以有时也不能够灵活地调整同步的程度。
与此相对，本实施方式所涉及的预测部13以相关技术所涉及的动态模型为基础，并且通过与相关技术相比，能够更加灵活地调整自动演奏乐器30的演奏对于演奏者P的演奏的追随的程度的方式，从而预测发声时刻S[n+1]。以下，说明本实施方式所涉及的预测部13中的处理的一例。
本实施方式所涉及的预测部13更新表示与演奏者P的演奏有关的动态系统的状态的状态向量(称为“状态向量Vu”)和表示与自动演奏乐器30的演奏有关的动态系统的状态的状态向量(称为“状态向量Va”)。这里，状态向量Vu是包含作为用于表示演奏者P的演奏在乐谱中的估计位置的状态变量的演奏位置xu和作为用于表示演奏者P的演奏在乐谱中的速度的估计值的状态变量的速度vu作为要素的向量。此外，状态向量Va是包含作为用于表示自动演奏乐器30的演奏在乐谱中的位置的估计值的状态变量的演奏位置xa和作为用于表示自动演奏乐器30的演奏在乐谱中的速度的估计值的状态变量的速度va作为要素的向量。另外，在以下，将状态向量Vu所包含的状态变量(演奏位置xu以及速度vu)统称为“第1状态变量”，并将状态向量Va所包含的状态变量(演奏位置xa以及速度va)统称为“第2状态变量”。
本实施方式所涉及的预测部13，作为一例，使用以下的式(8)～式(11)所示的状态迁移模型来更新第1状态变量以及第2状态变量。其中，第1状态变量在状态迁移模型中，通过以下的式(8)以及式(11)而被更新。这些式(8)以及式(11)是将式(4)进行了具体化的式子。此外，第2状态变量在状态迁移模型中，取代上述的式(4)而通过以下的式(9)以及式(10)而被更新。
[数8]
xu[n]＝xu[n-1]+(T[n]-T[n-1])vu[n-1]+exu[n]…(8)
[数9]
xa[n]＝γ[n]{xa[n-1]+(T[n]-T[n-1])va[n-1]+exa[n]}
+(1-γ[n]){xu[n-1]+(T[n]-T[n-1Dvu[n-1]+exu[n]}…(9)
[数10]
va[n]＝va[n-1]+eva[n]…(10)
[数11]
vu[n]＝vu[n-1]+evu[n]…(11)
这里，过程噪声exu[n]是在通过状态迁移模型而更新演奏位置xu[n]的情况下产生的噪声，过程噪声exa[n]是在通过状态迁移模型而更新演奏位置xa[n]的情况下产生的噪声，过程噪声eva[n]是在通过状态迁移模型而更新速度va[n]的情况下产生的噪声，过程噪声evu[n]是在通过状态迁移模型更新速度vu[n]的情况下产生的噪声。此外，结合系数γ[n]是满足0≤γ[n]≤1的实数。另外，在式(9)中，对作为第1状态变量的演奏位置xu进行乘法运算的值“1-γ[n]”是“追随系数”的一例。
如式(8)以及式(11)所示，本实施方式所涉及的预测部13，使用作为第1状态变量的演奏位置xu[n-1]以及速度vu[n-1]来预测作为第1状态变量的演奏位置xu[n]以及速度vu[n]。另一方面，如式(9)以及式(10)所示，本实施方式所涉及的预测部13，使用作为第1状态变量的演奏位置xu[n-1]以及速度vu[n-1]和作为第2状态变量的演奏位置xa[n-1]以及速度va[n-1]中的一方或者双方，预测作为第2状态变量的演奏位置xa[n]以及速度va[n]。
此外，本实施方式所涉及的预测部13在作为第1状态变量的演奏位置xu[n]以及速度vu[n]的更新中，使用式(8)以及式(11)所示的状态迁移模型和式(5)所示的观测模型。另一方面，本实施方式所涉及的预测部13在作为第2状态变量的演奏位置xa[n]以及速度va[n]的更新中，使用式(9)以及式(10)所示的状态迁移模型，但不使用观测模型。
如式(9)所示，本实施方式所涉及的预测部13基于将第1状态变量(例如，演奏位置xu[n-1])乘以追随系数(1-γ[n])后的值和将第2状态变量(例如，演奏位置xa[n-1])乘以结合系数γ[n]后的值，预测作为第2状态变量的演奏位置xa[n]。因此，本实施方式所涉及的预测部13能够通过调整结合系数γ[n]的值，从而调整自动演奏乐器30的演奏对于演奏者P的演奏的追随程度。换言之，本实施方式所涉及的预测部13能够通过调整结合系数γ[n]的值，从而调整演奏者P的演奏和自动演奏乐器30的演奏的同步程度。另外，在将追随系数(1-γ[n])设定为大的值的情况下，与设定为小的值的情况相比，能够提高自动演奏乐器30的演奏对于演奏者P的演奏的追随性。换言之，在将结合系数γ[n]设定为大的值的情况下，与设定为小的值的情况相比，能够降低自动演奏乐器30的演奏对于演奏者P的演奏的追随性。
如以上所述，根据本实施方式，通过变更称为结合系数γ的单一的系数的值，能够调整演奏者P的演奏和自动演奏乐器30的演奏的同步程度。换言之，根据本实施方式，能够基于追随系数(1-γ[n])，能够调整演奏中的自动演奏乐器30的发声的方式(“第2事件的动作方式”的一例)。
预测部13具有受理部131、系数决定部132、状态变量更新部133、以及预测时刻计算部134。
受理部131受理与演奏的定时有关的观测值的输入。在本实施方式中，与演奏的定时有关的观测值中包含与演奏者P的演奏定时有关的第1观测值。但是，与演奏的定时有关的观测值中除了第1观测值，也可以包含与自动演奏乐器30的演奏定时有关的第2观测值。这里，第1观测值是指与演奏者P的演奏有关的发声位置u(以下，称为“发声位置uu”)以及发声时刻T的总称。此外，第2观测值是指与自动演奏乐器30的演奏有关的发声位置u(以下，称为“发声位置ua”)以及发声时刻S的总称。受理部131除了受理与演奏的定时有关的观测值，也受理与演奏的定时有关的观测值所附带的观测值的输入。在本实施方式中，附带的观测值是与演奏者P的演奏有关的观测噪声q。受理部131使所受理的观测值存储于存储部11。
系数决定部132决定结合系数γ的值。结合系数γ的值例如根据乐谱中的演奏的位置而预先被设定。本实施方式所涉及的存储部11例如存储将乐谱中的演奏的位置和与该演奏的位置对应的结合系数γ的值相关联的简档信息。然后，系数决定部132参照存储在存储部11中的简档信息，获取与乐谱中的演奏的位置对应的结合系数γ的值。然后，系数决定部132将根据简档信息而获取的值设定为结合系数γ的值。
另外，系数决定部132例如也可以将结合系数γ的值决定为与定时控制装置10的操作者(“用户”的一例)的指示对应的值。在该情况下，定时控制装置10具有用于受理表示来自操作者的指示的操作的UI(用户接口(User Interface))。该UI可以是软件的UI(经由通过软件来显示的画面的UI)，也可以是硬件的UI(调节器等)。另外，一般地，操作者与演奏者P是不同的人，但演奏者P也可以是操作者。
状态变量更新部133更新状态变量(第1状态变量以及第2状态变量)。具体而言，本实施方式所涉及的状态变量更新部133使用上述式(5)以及式(8)～式(11)，更新状态变量。更具体而言，本实施方式所涉及的状态变量更新部133使用式(5)、式(8)、以及式(11)，更新第1状态变量，并使用式(9)以及式(10)，更新第2状态变量。然后，状态变量更新部133输出更新后的状态变量。
另外，根据上述说明也可知，状态变量更新部133基于具有由系数决定部132决定出的值的结合系数γ，更新第2状态变量。换言之，状态变量更新部133基于追随系数(1-γ[n])，更新第2状态变量。由此，本实施方式所涉及的定时控制装置10基于追随系数(1-γ[n])，调整演奏中的自动演奏乐器30的发声的方式。
预测时刻计算部134使用更新后的状态变量，计算作为自动演奏乐器30的下一次发声的时刻的发声时刻S[n+1]。
具体而言，预测时刻计算部134首先通过对式(6)应用由状态变量更新部133更新了的状态变量，计算未来的时刻t中的演奏位置x[n]。更具体而言，预测时刻计算部134通过对式(6)应用由状态变量更新部133更新了的演奏位置xa[n]以及速度va[n]，计算未来的时刻t中的演奏位置x[n+1]。接下来，预测时刻计算部134使用式(7)来计算自动演奏乐器30应发出第(n+1)个音符的声音的发声时刻S[n+1]。
另外，预测时刻计算部134也可以通过对式(6)应用由状态变量更新部133更新了的演奏位置xu[n]以及速度vu[n]，计算未来的时刻t中的演奏位置x[n]。
输出部14根据从预测部13输入的发声时刻S[n+1]，对自动演奏乐器30输出与自动演奏乐器30接下来应发声的音符对应的演奏命令。定时控制装置10具有内部时钟(图示略)，测量时刻。演奏命令按规定的数据形式而被描述。规定的数据形式例如是指MIDI。演奏命令例如包含音符开启信息、音符编号、以及速度。
显示部15显示与演奏位置的估计结果有关的信息和与自动演奏乐器30的下一次发声时刻的预测结果有关的信息。与演奏位置的估计结果有关的信息例如包含乐谱、输入的声音信号的频谱图、以及演奏位置的估计值的概率分布中的至少1个。与下一次发声时刻的预测结果有关的信息例如包含状态变量。通过由显示部15显示与演奏位置的估计结果有关的信息和与下一次发声时刻的预测结果有关的信息，定时控制装置10的操作者(用户)能够掌握合奏系统1的动作状态。
图3是例示定时控制装置10的硬件结构的图。定时控制装置10是具有处理器101、存储器102、储存器103、输入输出IF104、以及显示装置105的计算机装置。
处理器101例如是CPU(中央处理单元(Central Processing Unit))，控制定时控制装置10的各部。另外，处理器101也可以取代CPU，或者除了CPU之外还进一步包含DSP(数字信号处理器(Digital Signal Processor))、FPGA(现场可编程门阵列(FieldProgrammable Gate Array))等可编程逻辑器件来构成。此外，处理器101也可以包含多个CPU(或者，多个可编程逻辑器件)。存储器102是非瞬时性的记录介质，例如是RAM(随机存取存储器(Random Access Memory))等易失性存储器。存储器102作为由处理器101执行后述的控制程序时的工作区域而发挥功能。储存器103是非瞬时性的记录介质，例如是EEPROM(电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory))等非易失性存储器。储存器103存储用于控制定时控制装置10的控制程序等各种程序，以及各种数据。输入输出IF104是用于与其他装置之间进行信号的输入或者输出的接口。输入输出IF104例如包含麦克风输入以及MIDI输出。显示装置105是输出各种信息的装置，例如包含LCD(液晶显示屏(Liquid Crystal Display))。
处理器101执行储存器103中存储的控制程序，并按照该控制程序而进行动作，从而作为估计部12、预测部13、以及输出部14发挥功能。存储器102以及储存器103的一方或者双方提供作为存储部11的功能。显示装置105提供作为显示部15的功能。
<2.动作>
图4是例示定时控制装置10的动作的时序图。图4的时序图例如以处理器101启动控制程序为契机而开始。
在步骤S1中，估计部12受理声音信号的输入。另外，在声音信号为模拟信号的情况下，例如通过设置于定时控制装置10中的DA变换器(图示略)变换为数字信号，该变换为数字信号的声音信号被输入到估计部12。
在步骤S2中，估计部12分析声音信号而估计乐谱中的演奏的位置。步骤S2所涉及的处理例如如下所示地进行。在本实施方式中，使用概率模型来描述乐谱中的演奏位置的迁移(乐谱时序)。通过对乐谱时序的描述使用概率模型，能够处理演奏的错误、演奏中的重复的省略、演奏中的拍子的波动、以及演奏中的音高或者发声时刻的不确定性等问题。作为描述乐谱时序的概率模型，例如使用隐式半马尔科夫模型(Hidden Semi-Markov Model，HSMM)。估计部12例如通过将声音信号分割为帧而实施恒Q变换从而得到频谱图。估计部12从该频谱图中提取开始(onset)时刻以及音高。估计部12例如通过延迟决策(Delayed-decision)来逐次估计用于表示乐谱中的演奏的位置的概率性的估计值的分布，并在该分布的峰值通过在乐谱上被视为开始(onset)的位置的时点，输出该分布的拉普拉斯近似以及1个或者多个统计量。具体而言，估计部12若检测到与乐曲数据上存在的第n个音符对应的发声，则输出检测到该发声的发声时刻T[n]和表示乐谱中该发声的概率性的位置的分布中的乐谱上的平均位置以及方差。乐谱上的平均位置是发声位置u[n]的估计值，方差是观测噪声q[n]的估计值。另外，发声位置的估计的详细内容例如记载在(日本)特开2015-79183号公报上。
图5是例示发声位置u[n]以及观测噪声q[n]的说明图。在图5所示的例子中，例示了乐谱上的1小节中包含4个音符的情况。估计部12计算与对应于该1小节所包含的4个音符的4个发声一一对应的概率分布P[1]～P[4]。然后，估计部12基于该计算结果，输出发声时刻T[n]、发声位置u[n]、以及观测噪声q[n]。
再次参照图4。在步骤S3中，预测部13使用从估计部12供给的估计值作为观测值，进行自动演奏乐器30的下一次发声时刻的预测。以下，说明步骤S3中的处理的细节的一例。
在步骤S3中，受理部131受理从估计部12供给的发声位置uu、发声时刻T、以及观测噪声q等观测值(第1观测值)的输入(步骤S31)。受理部131使这些观测值存储于存储部11。
在步骤S3中，系数决定部132决定用于状态变量的更新的结合系数γ的值(步骤S32)。具体而言，系数决定部132参照存储部11中存储的简档信息，获取与乐谱中当前的演奏的位置对应的结合系数γ的值，并将获取到的值设定为结合系数γ。由此，能够根据乐谱中的演奏的位置，调整演奏者P的演奏和自动演奏乐器30的演奏的同步程度。即，本实施方式所涉及的定时控制装置10对自动演奏乐器30，能够使其在乐曲的某部分执行追随着演奏者P的演奏的自动演奏，此外，在乐曲的其他部分不管演奏者P的演奏而执行主体的自动演奏。由此，本实施方式所涉及的定时控制装置10能够使自动演奏乐器30的演奏人性化。例如，本实施方式所涉及的定时控制装置10能够在演奏者P的演奏的拍子清楚的情况下，使自动演奏乐器30以诸如对于演奏者P的演奏的拍子的追随性变得比对于由乐曲数据预先确定的演奏的拍子的追随性高的拍子来执行自动演奏。此外，例如，本实施方式所涉及的定时控制装置10能够在演奏者P的演奏的拍子不清楚的情况下，使自动演奏乐器30以诸如对于由乐曲数据预先确定的演奏的拍子的追随性变得比对于演奏者P的演奏的拍子的追随性高的拍子来执行自动演奏。
在步骤S3中，状态变量更新部133使用被输入的观测值来更新状态变量(步骤S33)。如上所述，在步骤S33中，状态变量更新部133使用式(5)、式(8)、以及式(11)，更新第1状态变量，并使用式(9)以及式(10)，更新第2状态变量。此外，在步骤S33中，状态变量更新部133如式(9)所示，基于追随系数(1-γ[n])，更新第2状态变量。
在步骤S3中，状态变量更新部133对预测时刻计算部134输出在步骤S33中更新了的状态变量(步骤S34)。具体而言，本实施方式所涉及的状态变量更新部133在步骤S34中，对预测时刻计算部134输出在步骤S33中更新了的演奏位置xa[n]以及速度va[n]。
在步骤S3中，预测时刻计算部134将从状态变量更新部133输入的状态变量应用于式(6)以及式(7)，并计算应发出第(n+1)个音符的声音的发声时刻S[n+1](步骤S35)。具体而言，预测时刻计算部134在步骤S35中，基于从状态变量更新部133输入的演奏位置xa[n]以及速度va[n]，计算发声时刻S[n+1]。然后，预测时刻计算部134对输出部14输出通过计算得到的发声时刻S[n+1]。
若从预测部13输入的发声时刻S[n+1]到来，则输出部14向自动演奏乐器30输出与自动演奏乐器30接下来应发声的第(n+1)个音符对应的演奏命令(步骤S4)。另外，实际上，需要考虑输出部14以及自动演奏乐器30中的处理的延迟而在比由预测部13预测的发声时刻S[n+1]更早的时刻输出演奏命令，但这里省略该说明。自动演奏乐器30按照从定时控制装置10供给的演奏命令而发声(步骤S5)。
在预先被决定的定时，预测部13判断演奏是否结束。具体而言，预测部13例如基于由估计部12估计出的演奏位置而判断演奏的结束。在演奏位置到达了规定的终点情况下，预测部13判断为演奏结束。在预测部13判断为演奏结束了的情况下，定时控制装置10结束图4的时序图所示的处理。另一方面，在预测部13判断为演奏未结束的情况下，定时控制装置10以及自动演奏乐器30重复执行步骤S1～S5的处理。
另外，图4的时序图所示的定时控制装置10的动作也能够作为图7的流程图来表示。即，在步骤S1中，估计部12受理声音信号的输入。在步骤S2中，估计部12估计乐谱中的演奏的位置。在步骤S31中，受理部131受理从估计部12供给的观测值的输入。在步骤S32中，系数决定部132决定结合系数γ[n]。在步骤S33中，状态变量更新部133使用受理部131受理的观测值和由系数决定部132决定的结合系数γ[n]，更新状态向量V具有的各状态变量。在步骤S34中，状态变量更新部133对预测时刻计算部134输出在步骤S33中更新了的状态变量。在步骤S35中，预测时刻计算部134使用从状态变量更新部133输出的更新后的状态变量，计算发声时刻S[n+1]。在步骤S4中，输出部14基于发声时刻S[n+1]，对自动演奏乐器30输出演奏命令。
<3.变形例>
本发明并不限定于上述实施方式，能够进行各种变形实施。以下，说明若干变形例。也可以将以下变形例中的2个以上组合使用。
<3-1.变形例1>
成为基于定时控制装置10的定时控制的对象的装置(以下称为“控制对象装置”)并不限定于自动演奏乐器30。即，预测部13预测定时的“事件”并不限定于自动演奏乐器30的发声。控制对象装置例如也可以是生成与演奏者P的演奏同步地变化的影像的装置(例如，生成实时地变化的计算机图形的装置)，也可以是与演奏者P的演奏同步地使影像变化的显示装置(例如，放映机或者直接观看的显示屏)。在其他例子中，控制对象装置也可以是与演奏者P的演奏同步地进行跳舞等动作的机器人。
<3-2.变形例2>
演奏者P也可以不是人类。即，也可以将与自动演奏乐器30不同的其他自动演奏乐器的演奏声输入定时控制装置10。根据本例，在多个自动演奏乐器的合奏中，能够使一方的自动演奏乐器的演奏定时实时地追随另一方的自动演奏乐器的演奏定时。
<3-3.变形例3>
演奏者P以及自动演奏乐器30的数量在实施方式中进行了例示但并不限定于此。合奏系统1也可以包含演奏者P以及自动演奏乐器30的至少一方为2人(2台)以上。
<3-4.变形例4>
定时控制装置10的功能结构并不限定于实施方式中所例示。也可以省略图2中例示的功能要素的一部分。例如，定时控制装置10也可以不具有预测时刻计算部134。在该情况下，定时控制装置10可以只单单输出由状态变量更新部133更新了的状态变量。在该情况下，也可以在作为输入由状态变量更新部133更新了的状态变量的装置的定时控制装置10以外的装置中，计算下一次事件的定时(例如，发声时刻S[n+1])。此外，在该情况下，也可以在定时控制装置10以外的装置中，进行下一次事件的定时的计算以外的处理(例如，使状态变量可视化的图像的显示)。进一步在其他例子中，定时控制装置10也可以不具有显示部15。
<3-5.变形例5>
在上述实施方式以及变形例中，系数决定部132将结合系数γ决定为与乐谱中当前的演奏的位置对应的值，但本发明并不限定于这种方式。系数决定部132例如也可以将结合系数γ的值决定为预先确定的默认值、与乐谱的解析结果对应的值、或者与来自用户的指示对应的值。
图6是例示基于变形例5所涉及的系数决定部132的结合系数γ的决定方法的流程图。该流程图所涉及的各处理是在图4所示的步骤S32的处理中被执行的处理。
如图6所示，在步骤S32中，系数决定部132将结合系数γ[n]的值设定为默认值(步骤S321)。
在本变形例中，在存储部11中存储了与乐曲(或者乐谱中的演奏的位置)无关的结合系数γ[n]的默认值。系数决定部132在步骤S321中读取存储部11中存储的结合系数γ[n]的默认值，并将该读取的默认值设定为结合系数γ[n]的值。
在步骤S32中，系数决定部132解析乐谱，并将与该解析的结果对应的值设定为结合系数γ[n]的值(步骤S322)。
具体而言，在步骤S322中，首先，系数决定部132通过解析乐谱，计算表示演奏者P的发声的音符的密度对于表示自动演奏乐器30的发声的音符的密度的比率(以下，称为“音符密度比”)。接下来，系数决定部132将与计算出的音符密度比对应的值设定为结合系数γ[n]的值。换言之，系数决定部132基于音符密度比，决定追随系数(1-γ[n])。
例如，系数决定部132在音符密度比高于规定的阈值的情况下，设定结合系数γ[n]的值，使得与音符密度比为规定的阈值以下的情况相比，结合系数γ[n]的值变小。换言之，系数决定部132在音符密度比高于规定的阈值的情况下，设定结合系数γ[n]的值，使得与音符密度比为规定的阈值以下的情况相比，追随系数(1-γ[n])的值变大。即，系数决定部132在音符密度比高于规定的阈值的情况下，设定结合系数γ[n]的值，使得与音符密度比为规定的阈值以下的情况相比，自动演奏乐器30的演奏相对于演奏者P的演奏的追随性变高。
作为一例，系数决定部132可以如下式(12)所示，基于表示自动演奏乐器30的发声的音符的密度DAn和表示演奏者P的发声的音符的密度DUn，设定结合系数γ[n]的值。另外，在式(12)中，也可以设DAn为由自动演奏乐器30发出的声音的密度，设DUn为由演奏者P发出的声音的密度。
[数12]
在步骤S32中，系数决定部132解析乐谱，并判断自动演奏乐器30的演奏部分是否为主旋律(步骤S323)。对于自动演奏乐器30的演奏部分是否为主旋律的判断，使用公知的技术。
在判断为自动演奏乐器30的演奏部分是主旋律的情况下(S323：是)，系数决定部132使处理进入步骤S324。另一方面，在判断为自动演奏乐器30的演奏部分不是主旋律的情况下(S323：否)，系数决定部132使处理进入步骤S325。
在步骤S32中，系数决定部132将结合系数γ[n]的值更新为更大的值(步骤S324)。
例如，系数决定部132在步骤S324中，将结合系数γ[n]的值更新为比式(12)的右边所示的值更大的值。例如，系数决定部132可以通过将式(12)的右边所示的值加上一个预先被决定的非负的值，计算更新后的结合系数γ[n]。此外，例如，系数决定部132也可以通过将式(12)的右边所示的值乘以预先被决定的大于1的系数，计算更新后的结合系数γ[n]。另外，系数决定部132也可以决定更新后的结合系数γ[n]，使得其成为规定的上限值以下。
在步骤S32中，系数决定部132根据排练等中的用户的指示，更新结合系数γ[n]的值(步骤S325)。
在本变形例中，存储部11中存储了表示排练等中的用户的指示的内容的指示信息。指示信息例如包含用于确定掌握演奏的主导权的演奏部分的信息。用于确定掌握演奏的主导权的演奏部分的信息例如是指用于确定掌握演奏的主导权的演奏部分是演奏者P或者自动演奏乐器30的哪一个的信息。另外，用于确定掌握演奏的主导权的演奏部分的信息也可以根据乐谱中的演奏的位置而被设定。此外，指示信息在不存在排练等中的用户的指示的情况下，也可以是表示意为没有来自用户的指示的信息。
在步骤S325中，系数决定部132在指示信息是表示演奏者P掌握主导权的信息的情况下，将结合系数γ[n]的值更新为更小的值。另一方面，系数决定部132在指示信息是表示自动演奏乐器30掌握主导权的信息的情况下，将结合系数γ[n]的值更新为更大的值。此外，系数决定部132在指示信息是表示意为没有来自用户的指示的信息的情况下，不更新结合系数γ[n]的值。
这样，在图6的例子中，设想能够通过指示信息表示的用户的指示内容是如下3种内容：指示演奏者P掌握主导权的内容、指示自动演奏乐器30掌握主导权的内容、以及表示意为没有来自用户的指示的内容，但指示信息并不限定于这样的例子。能够通过指示信息表示的用户的指示内容也可以多于3种。例如，由指示信息表示的用户的指示内容可以是能够表示用于表示主导权的程度的多个等级(作为一例，是主导权大、中、以及小)的信息，也可以是从该多个等级中指定一个等级的内容。
在步骤S32中，系数决定部132将经由步骤S321～S325的处理而决定的结合系数γ[n]的值输出到状态变量更新部133(步骤S326)。
另外，在图6所示的例子中，作为用于决定结合系数γ[n]的判断要素，例示了“用户的指示(排练结果)”、“主旋律所涉及的演奏部分”、“音符密度比”、以及“默认值”这4个判断要素。此外，在图6所示的例子中，例示了该4个判断要素在结合系数γ[n]的决定中的优先顺序是“用户的指示”>“主旋律所涉及的演奏部分”>“音符密度比”>“默认值”这样的优先顺序的情况。
但是，本发明并不限定于这种方式。系数决定部132在决定结合系数γ[n]的情况下，也可以仅使用上述4个判断要素的一部分。即，系数决定部132决定结合系数γ[n]的处理，在图6所示的步骤S321～S326的处理中，只要至少包含步骤S321的处理、步骤S322的处理、步骤S323和S324的处理、以及步骤S325的处理中的至少1个处理、和步骤S326的处理即可。
此外，结合系数γ[n]的决定中的判断要素的优先顺序并不限定于图6所示的例子，也可以设为任意的优先顺序。例如，也可以设“主旋律所涉及的演奏部分”的优先顺序比“用户的指示”的优先顺序高，也可以设“音符密度比”的优先顺序比“用户的指示”的优先顺序高，也可以设“音符密度比”的优先顺序比“主旋律所涉及的演奏部分”的优先顺序高。换言之，图6所示的步骤S321～S326的处理可以适当地排序。
<3-6.变形例6>
在上述实施方式所涉及的动态模型中，使用单一时刻中的观测值(发声位置u[n]以及观测噪声q[n])来更新状态变量，但本发明并不限定于这种方式，也可以使用多个时刻中的观测值来更新状态变量。具体而言，例如，在动态模型中的观测模型中，也可以取代式(5)而使用下式(13)。
[数13]
这里，矩阵On是在观测模型中，表示多个观测值(在本例子中是发声位置u[n-1]、u[n-2]、...、u[n-j])和演奏位置x[n]以及速度v[n]的关系的矩阵。如本变形例所示，通过使用多个时刻中的多个观测值来更新状态变量，与使用单一时刻中的观测值来更新状态变量的情况相比，能够抑制观测值中产生的突发性的噪声对于发声时刻S[n+1]的预测的影响。
<3-7.变形例7>
在上述实施方式以及变形例中，使用第1观测值来更新状态变量，但本发明并不限定于这种方式，也可以使用第1观测值以及第2观测值双方来更新状态变量。
例如，在基于状态迁移模型的演奏位置xa[n]的更新中，也可以取代式(9)而使用以下的式(14)。另外，相对于在式(9)中，作为观测值，仅利用作为第1观测值的发声时刻T，在式(14)中，作为观测值，利用作为第1观测值的发声时刻T和作为第2观测值的发声时刻S。
[数14]
xa[n]＝γ[n]{xa[n-1]+(S[n]-S[n-1])ua[n-1]+exa[n]}
+(1-γ[n]){xu[n-1]+(T[n]-T[n-1])vu[n-1]+exu[n]}…(14)
此外，例如，在基于状态迁移模型的演奏位置xu[n]以及演奏位置xa[n]的更新中，也可以取代式(8)而使用以下的式(15)，并且取代式(9)而使用以下的式(16)。这里，在以下的式(15)以及式(16)中出现的发声时刻Z是指发声时刻S以及发声时刻T的总称。
[数15]
xu[n]＝xu[n-1]+(Z[n]-Z[n-1])vu[n-1]+exu[n]…(15)
xa[n]＝γ[n]{xa[n-1]+(Z[n]-Z[n-1])va[n-1]+exa[n]}
+(1-γ[n]){xu[n-1]+(Z[n]-Z[n-1])vu[n-1]+exu[n]}…(16)
此外，如本变形例所示，在状态迁移模型中，使用第1观测值以及第2观测值双方的情况下，在观测模型中，也可以使用第1观测值以及第2观测值双方。具体而言，在观测模型中，也可以通过除了使用将上述实施方式所涉及的式(5)具体化的式(17)，还使用以下的式(18)，从而更新状态变量。
[数16]
uu[n]＝xu[n]+q[n]…(17)
ua[n]＝xa[n]+q[n]…(18)
另外，如本变形例所示，在使用第1观测值以及第2观测值双方来更新状态变量的情况下，状态变量更新部133可以从受理部131受理第1观测值(发声位置uu以及发声时刻T)，并从预测时刻计算部134受理第2观测值(发声位置ua以及发声时刻S)。
<3-8.变形例8>
在上述实施方式以及变形例中，通过定时控制装置10，控制自动演奏乐器30的发声的时刻(定时)，但本发明并不限定于这种方式，也可以通过定时控制装置10，控制自动演奏乐器30的发声的音量。即，作为定时控制装置10的控制的对象的自动演奏乐器30的发声的方式，也可以是自动演奏乐器30的发声的音量。换言之，定时控制装置10也可以通过调整结合系数γ的值，从而调整自动演奏乐器30的演奏中的发声的音量相对于演奏者P的演奏中的发声的音量的追随性。
进一步，定时控制装置10也可以控制自动演奏乐器30的发声的时刻(定时)和自动演奏乐器30的发声的音量双方。
<3-9.变形例9>
在上述实施方式以及变形例中，预测时刻计算部134使用式(6)来计算未来的时刻t中的演奏位置x[t]，但本发明并不限定于这种方式。例如，状态变量更新部133也可以使用用于更新状态变量的动态模型来计算演奏位置x[n+1]。
<3-10.变形例10>
由传感器组20检测的演奏者P的举动，并不限定于演奏声。传感器组20也可以取代演奏声，或者除了演奏声之外还进一步检测演奏者P的动作。在该情况下，传感器组20具有照相机或者动作传感器。
<3-11.其他变形例>
估计部12中的演奏位置的估计的算法并不限定于实施方式所例示。只要能够基于预先被给予的乐谱以及从传感器组20输入的声音信号而估计乐谱中的演奏的位置，估计部12可以应用任意的算法。此外，从估计部12输入预测部13的观测值并不限定于实施方式所例示。只要与演奏的定时有关，可以向观测部13输入发声位置u以及发声时刻T以外的任意观测值。
在预测部13中使用的动态模型并不限定于实施方式所例示。在上述实施方式以及变形例中，预测部13不使用观测模型而更新状态向量Va(第2状态变量)，但也可以使用状态迁移模型以及观测模型双方来更新状态向量Va。
此外，在上述实施方式以及变形例中，预测部13使用卡尔门滤波器来更新状态向量Vu，但也可以使用卡尔门滤波器以外的算法来更新状态向量V。例如，预测部13也可以使用粒子滤波器来更新状态向量V。在该情况下，在粒子滤波器中被利用的状态迁移模型可以是上述式(2)、式(4)、式(8)、或者式(9)，也可以利用与他们不同的状态迁移模型。此外，在粒子滤波器中使用的观测模型可以是上述式(3)、式(5)、式(10)、或者式(11)，也可以利用与它们不同的观测模型。
此外，也可以取代演奏位置x以及速度v，或者除了演奏位置x以及速度v之外还进一步使用它们以外的状态变量。在实施方式中所示的数式仅为例示，本申请的发明并不限定于此。
构成合奏系统1的各装置的硬件结构并不限定于实施方式所例示。只要能够实现所请求的功能，具体的硬件结构可以是任意的。例如，也可以不是定时控制装置10通过单一的处理器101执行控制程序而作为估计部12、预测部13、以及输出部14来发挥功能，而是定时控制装置10具有分别对应于估计部12、预测部13、以及输出部14的多个处理器。此外，也可以是物理上的多个装置协同工作而作为合奏系统1中的定时控制装置10来发挥功能。
由定时控制装置10的处理器101执行的控制程序可以通过光盘、磁盘、半导体存储器等非瞬时性的存储介质来提供，也可以通过经由网络等通信线路的下载来提供。此外，控制程序不需要具备图4的全部步骤。例如，该程序也可以仅具有步骤S31、S33、以及S34。
<本发明的优选的方式>
由上述实施方式以及变形例的描述而掌握的本发明的优选的方式如以下所示。
<第1方式>
本发明的第1方式所涉及的控制方法，其特征在于，具有：受理与演奏中的第1事件有关的检测结果的步骤；决定用于表示演奏中的第2事件相对于第1事件的追随程度的追随系数的步骤；以及基于追随系数，决定第2事件的动作方式的步骤。
根据本方式，能够调整第2事件相对于第1事件的追随程度。
<第2方式>
本发明的第2方式所涉及的控制方法，其特征在于，具有：受理与演奏中的第1事件有关的第1观测值的步骤；使用第1观测值，更新与第1事件有关的第1状态变量的步骤；以及使用对更新后的第1状态变量乘以追随系数后的乘法值，更新与演奏中的第2事件有关的第2状态变量的步骤。
根据本方式，能够调整第2事件相对于第1事件的追随程度。
<第3方式>
本发明的第3方式所涉及的控制方法，是第1方式所涉及的控制方法，其特征在于，在决定追随系数的步骤中，将追随系数决定为与乐曲中的演奏的位置对应的值。
根据本方式，能够根据乐曲中的演奏的位置，调整第2事件相对于第1事件的追随程度。
<第4方式>
本发明的第4方式所涉及的控制方法，是第1方式所涉及的控制方法，其特征在于，在决定追随系数的步骤中，将追随系数决定为与第1事件所涉及的音符的密度相对于第2事件所涉及的音符的密度的比率对应的值。
根据本方式，能够根据第1事件相对于第2事件的音符的密度的比率，调整第2事件相对于第1事件的追随程度。
<第5方式>
本发明的第5方式所涉及的控制方法，是第4方式所涉及的控制方法，其特征在于，在决定追随系数的步骤中，在比率比规定的阈值大的情况下，与比率为规定的阈值以下的情况相比，使追随系数变大。
根据本方式，能够根据第1事件相对于第2事件的音符的密度的比率，调整第2事件相对于第1事件的追随程度。
<第6方式>
本发明的第6方式所涉及的控制方法，是第1方式所涉及的控制方法，其特征在于，在决定追随系数的步骤中，在第2事件是主旋律所涉及的事件的情况下，与第2事件不是主旋律所涉及的事件的情况相比，使追随系数变小。
根据本方式，能够根据第2事件是否为主旋律所涉及的事件，调整第2事件相对于第1事件的追随程度。
<第7方式>
本发明的第7方式所涉及的控制方法，是第1方式所涉及的控制方法，其特征在于，在决定追随系数的步骤中，将追随系数决定为与用户的指示对应的值。
根据本方式，能够根据用户的指示，调整第2事件相对于第1事件的追随程度。
<第8方式>
本发明的第8方式所涉及的控制方法，其特征在于，在第1乃至第7方式所涉及的控制方法中，第1事件以及第2事件是演奏中的发声的事件，追随系数表示第2事件所涉及的发声的定时相对于第1事件所涉及的发声的定时的追随程度，或者第2事件所涉及的发声的音量相对于第1事件所涉及的发声的音量的追随程度。
根据本方式，能够关于发声的定时或者发声的音量，调整第2事件相对于第1事件的追随程度。
<第9方式>
本发明的第9方式所涉及的控制方法，其特征在于，在第1或者第3乃至第7方式所涉及的控制方法中，第2事件是自动演奏乐器的发声的事件，并且具有基于被决定的动作方式，使自动演奏乐器发声的步骤。
根据本方式，能够调整自动演奏乐器的发声的事件相对于第1事件的追随程度。
<第10方式>
本发明的第10方式所涉及的控制方法，其特征在于，在第2方式所涉及的控制方法中，具有根据乐曲中的演奏的位置，决定追随系数的步骤。
根据本方式，能够根据乐曲中的演奏的位置，调整第2事件相对于第1事件的追随程度。
<第11方式>
本发明的第11方式所涉及的控制方法，其特征在于，在第2方式所涉及的控制方法中，具有根据第2事件所涉及的音符的密度相对于第1事件所涉及的音符的密度的比率而决定追随系数的步骤。
根据本方式，能够根据第1事件相对于第2事件的音符的密度的比率，调整第2事件相对于第1事件的追随程度。
<第12方式>
本发明的第12方式所涉及的控制方法，其特征在于，在第2方式所涉及的控制方法中，具有如下步骤：在第2事件是主旋律所涉及的事件的情况下，决定追随系数，使得与第2事件不是主旋律所涉及的事件的情况相比，追随系数变小。
根据本方式，能够根据第2事件是否为主旋律所涉及的事件，调整第2事件相对于第1事件的追随程度。
<第13方式>
本发明的第13方式所涉及的控制方法，其特征在于，在第2方式所涉及的控制方法中，具有将追随系数设定为与用户的指示对应的值的步骤。
根据本方式，能够根据用户的指示，调整第2事件相对于第1事件的追随程度。
<第14方式>
本发明的第14方式所涉及的控制方法，其特征在于，在第2或者第10乃至第13方式所涉及的控制方法中，第1事件以及第2事件是演奏中的发声的事件，第1状态变量以及第2状态变量是与演奏中的发声的定时或者音量有关的变量。
根据本方式，能够关于发声的定时或者发声的音量，调整第2事件相对于第1事件的追随程度。
<第15方式>
本发明的第15方式所涉及的控制方法，其特征在于，在第2或者第10乃至第14方式所涉及的控制方法中，第2事件是自动演奏乐器的发声的事件，并且具有在基于更新后的第2状态变量而决定的定时使自动演奏乐器发声的步骤。
根据本方式，能够调整自动演奏乐器的发声的事件相对于第1事件的追随程度。
<第16方式>
本发明的第16方式所涉及的控制装置，其特征在于，具有：受理部，受理与演奏中的第1事件有关的检测结果；系数决定部，决定用于表示演奏中的第2事件相对于第1事件的追随程度的追随系数；以及动作决定部，基于追随系数，决定第2事件的动作方式。
根据本方式，能够调整第2事件相对于第1事件的追随程度。
符号的说明
1…合奏系统，10…定时控制装置，11…存储部，12…估计部，13…预测部，14…输出部，15…显示部，20…传感器组，30…自动演奏乐器，101…处理器，102…存储器，103…储存器，104…输入输出IF，105…显示装置，131…受理部，132…系数决定部，133…状态变量更新部，134…预测时刻计算部。

Claims (9)

1.一种控制方法，其特征在于，具有：
受理与演奏中的第1事件有关的检测结果的步骤；
决定用于表示所述演奏中的第2事件相对于所述第1事件的追随程度的追随系数的步骤；
基于所述追随系数，决定所述第2事件的动作方式的步骤；以及
基于被决定的所述动作方式，使乐器发声的步骤，
在决定所述追随系数的步骤中，
将所述追随系数决定为与所述第1事件所涉及的音符的密度对于所述第2事件所涉及的音符的密度的比率对应的值，
所述第1事件是所述演奏中的发声的事件，
所述第2事件是由自动演奏乐器发声的事件。
2.如权利要求1所述的控制方法，其特征在于，
在决定所述追随系数的步骤中，
在所述比率比规定的阈值大的情况下，
与所述比率为规定的阈值以下的情况相比，
使所述追随系数变大。
3.如权利要求1所述的控制方法，其特征在于，
所述追随系数表示
所述第2事件所涉及的发声的定时相对于所述第1事件所涉及的发声的定时的追随程度，或者
所述第2事件所涉及的发声的音量相对于所述第1事件所涉及的发声的音量的追随程度。
4.如权利要求1所述的控制方法，其特征在于，
具有基于被决定的所述动作方式，使所述自动演奏乐器发声的步骤。
5.一种控制方法，其特征在于，具有：
受理与演奏中的第1事件有关的检测结果的步骤；
决定用于表示所述演奏中的第2事件相对于所述第1事件的追随程度的追随系数的步骤；
基于所述追随系数，决定所述第2事件的动作方式的步骤；以及
基于被决定的所述动作方式，使乐器发声的步骤，
在决定所述追随系数的步骤中，
在所述第2事件是主旋律所涉及的事件的情况下，
与所述第2事件不是主旋律所涉及的事件的情况相比，
使所述追随系数变小，
所述第1事件是所述演奏中的发声的事件，
所述第2事件是由自动演奏乐器发声的事件。
6.如权利要求5所述的控制方法，其特征在于，
所述追随系数表示
所述第2事件所涉及的发声的定时相对于所述第1事件所涉及的发声的定时的追随程度，或者
所述第2事件所涉及的发声的音量相对于所述第1事件所涉及的发声的音量的追随程度。
7.如权利要求5所述的控制方法，其特征在于，
具有基于被决定的所述动作方式，使所述自动演奏乐器发声的步骤。
8.一种控制装置，其特征在于，具有：
受理部，受理与演奏中的第1事件有关的检测结果；
系数决定部，决定用于表示所述演奏中的第2事件相对于所述第1事件的追随程度的追随系数；
动作决定部，基于所述追随系数，决定所述第2事件的动作方式；以及
发声部，基于被决定的所述动作方式，使乐器发声，
所述系数决定部将所述追随系数决定为与所述第1事件所涉及的音符的密度对于所述第2事件所涉及的音符的密度的比率对应的值，
所述第1事件是所述演奏中的发声的事件，
所述第2事件是由自动演奏乐器发声的事件。
9.一种控制装置，其特征在于，具有：
受理部，受理与演奏中的第1事件有关的检测结果；
系数决定部，决定用于表示所述演奏中的第2事件相对于所述第1事件的追随程度的追随系数；
动作决定部，基于所述追随系数，决定所述第2事件的动作方式；以及
发声部，基于被决定的所述动作方式，使乐器发声，
所述系数决定部在所述第2事件是主旋律所涉及的事件的情况下，与所述第2事件不是主旋律所涉及的事件的情况相比，使所述追随系数变小，
所述第1事件是所述演奏中的发声的事件，
所述第2事件是由自动演奏乐器发声的事件。
CN201780044768.0A 2016-07-22 2017-07-21 控制方法以及控制装置 Active CN109478398B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-144349 2016-07-22
JP2016144349 2016-07-22
PCT/JP2017/026525 WO2018016637A1 (ja) 2016-07-22 2017-07-21 制御方法、及び、制御装置

Publications (2)

Publication Number Publication Date
CN109478398A CN109478398A (zh) 2019-03-15
CN109478398B true CN109478398B (zh) 2023-12-26

Family

ID=60992633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780044768.0A Active CN109478398B (zh) 2016-07-22 2017-07-21 控制方法以及控制装置

Country Status (5)

Country Link
US (1) US10665216B2 (zh)
EP (1) EP3489944A4 (zh)
JP (1) JP6729699B2 (zh)
CN (1) CN109478398B (zh)
WO (1) WO2018016637A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018016636A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 タイミング予想方法、及び、タイミング予想装置
JP6631714B2 (ja) * 2016-07-22 2020-01-15 ヤマハ株式会社 タイミング制御方法、及び、タイミング制御装置
JP6642714B2 (ja) * 2016-07-22 2020-02-12 ヤマハ株式会社 制御方法、及び、制御装置
JP7243026B2 (ja) * 2018-03-23 2023-03-22 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
CN115244614A (zh) * 2020-03-17 2022-10-25 雅马哈株式会社 参数推论方法、参数推论系统及参数推论程序
JP2022075147A (ja) * 2020-11-06 2022-05-18 ヤマハ株式会社 音響処理システム、音響処理方法およびプログラム
CN112669798B (zh) * 2020-12-15 2021-08-03 深圳芒果未来教育科技有限公司 一种对音乐信号主动跟随的伴奏方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0527752A (ja) * 1991-04-05 1993-02-05 Yamaha Corp 自動演奏装置
CN1125009A (zh) * 1993-05-21 1996-06-19 库达音乐技术公司 智能伴奏装置与方法
CN1144369A (zh) * 1995-04-18 1997-03-05 德克萨斯仪器股份有限公司 音乐伴奏演奏装置的自动音调调整
JP2003091280A (ja) * 2002-07-22 2003-03-28 Yamaha Corp 音楽制御装置
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
CN104412320A (zh) * 2012-06-26 2015-03-11 雅马哈株式会社 使用音频波形数据的自动演奏技术
JP2015079183A (ja) * 2013-10-18 2015-04-23 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3567527B2 (ja) * 1995-04-19 2004-09-22 ヤマハ株式会社 鍵盤楽器
US7297856B2 (en) * 1996-07-10 2007-11-20 Sitrick David H System and methodology for coordinating musical communication and display
US6782299B1 (en) * 1998-02-09 2004-08-24 Sony Corporation Method and apparatus for digital signal processing, method and apparatus for generating control data, and medium for recording program
KR100424231B1 (ko) * 1999-03-08 2004-03-25 파이쓰, 인크. 데이터 재생 장치, 데이터 재생 방법 및 정보 단말기
JP4334096B2 (ja) * 1999-12-24 2009-09-16 ローランド株式会社 電子楽器の演奏位置検索装置
DE10164686B4 (de) * 2001-01-13 2007-05-31 Native Instruments Software Synthesis Gmbh Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
US7897865B2 (en) * 2002-01-15 2011-03-01 Yamaha Corporation Multimedia platform for recording and/or reproducing music synchronously with visual images
JP3835324B2 (ja) * 2002-03-25 2006-10-18 ヤマハ株式会社 楽曲再生装置
US7863513B2 (en) * 2002-08-22 2011-01-04 Yamaha Corporation Synchronous playback system for reproducing music in good ensemble and recorder and player for the ensemble
JP5654897B2 (ja) * 2010-03-02 2015-01-14 本田技研工業株式会社 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム
US9251773B2 (en) * 2013-07-13 2016-02-02 Apple Inc. System and method for determining an accent pattern for a musical performance
JP6296221B2 (ja) 2013-08-12 2018-03-20 ヤマハ株式会社 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム
JP6281211B2 (ja) 2013-08-28 2018-02-21 ヤマハ株式会社 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0527752A (ja) * 1991-04-05 1993-02-05 Yamaha Corp 自動演奏装置
CN1125009A (zh) * 1993-05-21 1996-06-19 库达音乐技术公司 智能伴奏装置与方法
CN1144369A (zh) * 1995-04-18 1997-03-05 德克萨斯仪器股份有限公司 音乐伴奏演奏装置的自动音调调整
JP2003091280A (ja) * 2002-07-22 2003-03-28 Yamaha Corp 音楽制御装置
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
CN104412320A (zh) * 2012-06-26 2015-03-11 雅马哈株式会社 使用音频波形数据的自动演奏技术
JP2015079183A (ja) * 2013-10-18 2015-04-23 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム

Also Published As

Publication number Publication date
US20190147837A1 (en) 2019-05-16
US10665216B2 (en) 2020-05-26
CN109478398A (zh) 2019-03-15
JPWO2018016637A1 (ja) 2019-01-24
JP6729699B2 (ja) 2020-07-22
WO2018016637A1 (ja) 2018-01-25
EP3489944A4 (en) 2020-04-08
EP3489944A1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
CN109478398B (zh) 控制方法以及控制装置
US10586520B2 (en) Music data processing method and program
CN109478399B (zh) 演奏分析方法、自动演奏方法及自动演奏系统
US10636399B2 (en) Control method and control device
US10650794B2 (en) Timing control method and timing control device
CN104021783B (zh) 语音合成方法和语音合成设备
US10699685B2 (en) Timing prediction method and timing prediction device
JP6801225B2 (ja) 自動演奏システムおよび自動演奏方法
US11967302B2 (en) Information processing device for musical score data
JP7383943B2 (ja) 制御システム、制御方法、及びプログラム
CN110959172B (zh) 演奏解析方法、演奏解析装置以及存储介质
JP2018146782A (ja) タイミング制御方法
JP6838357B2 (ja) 音響解析方法および音響解析装置
WO2023170757A1 (ja) 再生制御方法、情報処理方法、再生制御システムおよびプログラム
WO2024038560A1 (ja) 学習装置、推定装置、学習方法、及びプログラム
Canazza et al. Expressive Director: A system for the real-time control of music performance synthesis
JP2005308992A (ja) 学習支援システム
JPH06222763A (ja) 電子楽器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant