CN116940979A - 信号处理系统、信号处理方法及程序 - Google Patents

Abstract

信号处理系统是使播放装置追随于乐曲的播放而对时间序列信号进行播放的系统，具有：取得部，其取得所述乐曲的播放中的由利用者指示的指示位置；以及控制部，其与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

Description

信号处理系统、信号处理方法及程序

技术领域

本发明涉及对例如音响信号或影像信号等时间区域的信号(以下，称为“时间序列信号”)进行处理的技术。

背景技术

以往提出有对乐曲之中由利用者正在演奏的时间轴上的位置(以下，称为“演奏位置”)进行推定的各种技术。例如，在专利文献1中公开了通过对表示乐曲的演奏音的音响信号进行解析而推定演奏位置的技术。

专利文献1：日本特开2015－79183号公报

发明内容

存在例如使音响信号表示的音响、影像信号表示的影像的播放追随(同步)于利用者进行的演奏这样的诉求。考虑到以上的情况，本发明的一个方式的目的在于，例如使音响信号或影像信号等时间序列信号追随于利用者进行的动作。

为了解决以上的课题，本发明的一个方式涉及的信号处理系统使播放装置追随于乐曲的播放而对时间序列信号进行播放，在该信号处理系统中，具有：取得部，其取得所述乐曲的播放中的由利用者指示的指示位置；控制部，其与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

本发明的一个方式涉及的信号处理方法是使播放装置追随于乐曲的播放而对时间序列信号进行播放的方法，其中，取得所述乐曲的播放中的由利用者指示的指示位置，与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

本发明的一个方式涉及的程序使播放装置追随于乐曲的播放而对时间序列信号进行播放，该程序使计算机作为下述功能部起作用：取得部，其取得所述乐曲的播放中的由利用者指示的指示位置；以及

控制部，其与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

附图说明

图1是例示出第1实施方式涉及的演奏系统的结构的框图。

图2是例示出信号处理系统的功能结构的框图。

图3是取得部及确定部执行的处理的说明图。

图4是例示出控制处理的具体流程的流程图。

图5是对播放位置进行确定的确定处理的说明图。

图6是例示出确定处理的具体流程的流程图。

图7是例示出概率设定处理的一部分的具体流程的流程图。

图8是例示出概率设定处理的其他一部分的具体流程的流程图。

图9是发音间期间的说明图。

图10是例示出播放处理的具体流程的流程图。

图11是操作强度的说明图。

具体实施方式

A：第1实施方式

图1是例示出第1实施方式涉及的演奏系统100的结构的框图。演奏系统100是利用者用于演奏乐曲(以下，称为“目标乐曲”)的计算机系统，具有键盘乐器10和信号处理系统20。键盘乐器10和信号处理系统20例如通过有线或无线的方式而相互连接。

键盘乐器10是具有与不同的音高对应的多个键的电子乐器。利用者通过依次操作键盘乐器10的各键而对目标乐曲进行演奏。具体而言，利用者通过键盘乐器10对构成目标乐曲的多个演奏声部之中的特定的1个以上的演奏声部进行演奏。键盘乐器10对利用者所演奏的音高的音响(例如，乐器音)进行放音。另外，键盘乐器10与对应于利用者进行的演奏的音响的放音并行地，将表示该演奏的演奏数据D供给至信号处理系统20。演奏数据D是对与利用者所操作的键对应的音高和按键的强度进行指定的指示数据，是针对利用者对键盘乐器10的每次操作而生成的。即，演奏数据D的时间序列从键盘乐器10供给至信号处理系统20。演奏数据D例如是基于MIDI(Musical Instrument Digital Interface)标准的事件数据。

信号处理系统20具有控制装置21、存储装置22和放音装置23。信号处理系统20例如可以通过智能手机或平板终端等可移动型的信息装置、或个人计算机等可移动型或固定型的信息装置而实现。此外，信号处理系统20除了作为单体的装置而实现以外，还可以通过彼此分体地构成的多个装置而实现。另外，信号处理系统20可以搭载于键盘乐器10。

控制装置21由对信号处理系统20的各要素进行控制的单个或多个处理器构成。例如，控制装置21由CPU(Central Processing Unit)、SPU(Sound Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、或ASIC(Application Specific Integrated Circuit)等1种以上的处理器构成。

存储装置22是对控制装置21执行的程序和控制装置21使用的各种数据进行存储的单个或多个存储器。存储装置22例如由磁记录介质或半导体记录介质等公知的记录介质、或多种记录介质的组合构成。此外，可以将相对于信号处理系统20可拆装的可移动型的记录介质、或能够经由例如互联网等通信网而控制装置21执行写入或读出的记录介质(例如网络硬盘)作为存储装置22而利用。

存储装置22对表示目标乐曲的演奏音的音响信号X进行存储。音响信号X是表示目标乐曲的演奏音的波形的时间序列信号(即，样本序列)。具体而言，音响信号X表示通过目标乐曲的演奏而由各种乐器发音的乐音、或通过目标乐曲的歌唱而由歌唱者发音的歌唱语音。例如，音响信号X表示构成目标乐曲的多个演奏声部之中的除了利用者通过键盘乐器10而演奏的演奏声部以外的1个以上的演奏声部的演奏音。

放音装置23对由控制装置21指示的音响进行播放。放音装置23例如是扬声器或耳机。此外，可以将与信号处理系统20分体的放音装置23通过有线或无线的方式连接至信号处理系统20。

第1实施方式的控制装置21使放音装置23追随于利用者进行的目标乐曲的演奏而对音响信号X进行播放。具体而言，控制装置21对目标乐曲之中的与利用者进行的演奏对应的位置(演奏位置P[t])进行推定，使放音装置23对音响信号X之中的对应于与该位置相对应的时间轴上的位置(播放位置R[t])的部分Y进行播放。即，与利用者进行的目标乐曲的演奏相对应地，音响信号X在时间轴上伸缩(时域拉伸)。例如，在利用者进行的演奏的速度小于规定的标准速度(以下，称为“标准速度”)P0的情况下，音响信号X在时间轴上伸长。即，演奏位置P[t]的移动的速度越小，播放位置R[t]越以低速度在时间轴上移动，其结果，音响信号X在时间轴上伸长。另一方面，在利用者进行的演奏的速度超过标准速度P0的情况下，音响信号X在时间轴上缩短。即，演奏位置P[t]的移动的速度越大，播放位置R[t]越以高速度在时间轴上移动，其结果，音响信号X在时间轴上缩短。如以上所述，由放音装置23进行的音响信号X的播放追随于利用者进行的演奏，因此，形成由信号处理系统20和利用者恰似协调地合奏这样的气氛。

图2是例示出信号处理系统20的功能结构的框图。控制装置21通过执行在存储装置22存储的程序，实现用于追随于由利用者进行的键盘乐器10的演奏而对音响信号X进行播放的多个功能(解析部31、取得部32及控制部33)。

解析部31通过音响信号X的解析而生成指标W[n](Wa[n]、Wb[n]、Wc[n])。针对将音响信号X在时间轴上划分出的N个期间(以下，称为“单位期间”)U[1]～U[N]各自而生成指标W[n](n＝1～N)。各单位期间U[n]是规定长度的期间。记号n是指单位期间U[n]的编号(帧编号)。在时间轴上相前后的单位期间U[n-1]和单位期间U[n]局部地彼此重叠。但是，单位期间U[n-1]和单位期间U[n]可以不重叠而彼此连续。

各指标W[n]是单位期间U[n]内的与音响信号X的音响特性相关的变量(特征量)。解析部31在播放音响信号X之前，生成针对各单位期间U[n]的指标W[n](W[1]～W[N])，将各指标W[n]保存于存储装置22。具体而言，解析部31将有音指标Wa[n]、变动指标Wb[n]和发音点指标Wc[n]针对每个单位期间U[n]而进行计算，作为指标W[n]。

有音指标Wa[n]是以2值的方式表示在单位期间U[n]中音响信号X属于有音及无音的哪个的变量。即，有音指标Wa[n]在单位期间U[n]为有音的情况下，设定为数值“1”，在为无音的情况下，设定为数值“0”。对于有音指标Wa[n]的计算，利用公知的语音区间检测(VAD：Voice Activity Detection)。此外，在单位期间U[n]内音响信号X为有音的准确度(例如，0以上且1以下的数值)可以作为有音指标Wa[n]而利用。

变动指标Wb[n]是表示音响信号X的音响特性的变动的程度的变量。例如，相前后的单位期间U[n-1]及单位期间U[n]之间的音响特性的变动量作为单位期间U[n]的变动指标Wb[n]而计算。因此，音响信号X的音响特性越容易变动，变动指标Wb[n]设定为越大的数值。音响特性例如是音响信号X的强度谱或MFCC(Mel-Frequency Cepstrum Coefficients梅尔频率倒谱系数)等频率特性。此外，例如音响信号X的基本频率等音响特性的变动量可以作为变动指标Wb[n]而利用。对于变动指标Wb[n]的计算，例如利用离散傅里叶变换等公知的解析技术。音响特性容易变动是指音响信号X的音响特性容易不稳定地变动。因此，变动指标Wb[n]还可换称为音响信号X的音响特性的稳定性或不稳定性的指标。

发音点指标Wc[n]是以2值方式表示音响信号X的单位期间U[n]是否属于发音点的变量。发音点是开始音响信号X所包含的音响成分的发音的时间点(起音点)，还可换称为音响成分的上升沿的时间点(起音)。对于发音点指标Wc[n]的计算，任意地利用公知的解析技术。例如，将音响信号X的音量急剧地增加的时间点作为发音点而检测。此外，音响信号X的单位期间U[n]为发音点的准确度(例如0以上且1以下的数值)可以作为发音点指标Wc[n]而利用。

图3是与图2的取得部32及控制部33的处理的概要相关的说明图。取得部32按照时间经过而取得演奏位置P[t]。具体而言，取得部32通过对从键盘乐器10依次供给的演奏数据D的时间序列进行解析而对目标乐曲的演奏位置P[t]进行确定。记号t是指时间轴上的等间隔地设定的多个时间点的任意者。即，取得部32针对时间轴上的多个时间点t各自而确定演奏位置P[t]。时间点t由在时间轴上设定的各时间点的编号表现。演奏位置P[t]是指以音响信号X的起点作为基准的经过时间(例如秒)。由取得部32进行的演奏位置P[t]的确定与利用者进行的目标乐曲的演奏和音响信号X的播放并行地反复进行。演奏位置P[t]在时间轴上移动的速度是与利用者的演奏相对应的可变值。

第1实施方式的取得部32在时间轴上的各时间点t，对相对于该时间点t以规定长度d靠后方(forward)的时间点(t+d)的演奏位置P[t+d]进行推定(即预测)。规定长度d是与时间点t的整数个相当的规定的正数。对于由取得部32进行的演奏位置P[t]的推定，任意地采用公知的解析技术(评分校准技术)。例如，日本特开2016－099512号公报所公开的解析技术利用于演奏位置P[t]的推定。另外，取得部32可以利用深度神经网络(DNN)或隐马尔可夫模型(HMM)等统计性推定模型而对演奏位置P[t]进行推定。

图2的控制部33与演奏位置P[t]相对应地执行音响信号X的时间伸缩。第1实施方式的控制部33具有确定部331和播放部332。

图2的确定部331对与演奏位置P[t]相对应的播放位置R[t]进行确定。确定部331针对时间轴上的多个时间点t各自而确定播放位置R[t]。播放位置R[t]是以音响信号X的起点作为基准的经过时间(例如秒)。即，播放位置R[t]是指，在时间轴上的1个时间点t应当对音响信号X之中的从起点经过了时间R[t]的时间点进行播放。确定部331概略地根据演奏位置P[t]而确定播放位置R[t]，以使得播放位置R[t]与演奏位置P[t]近似并且针对音响信号X的播放音能维持听觉上的自然性。

在图3中图示出处理期间Q及解析期间q。处理期间Q是时间轴上的时间点t1和时间点t2之间的期间。时间点t1相当于音响信号X的播放中的当前的时间点。时间点t2位于时间点t1的后方。具体而言，时间点t2是相对于时间点t1以规定长度d靠后方的时间点t。即，处理期间Q是规定长度d的期间。如前述那样，在时间点t1，通过取得部32推定出至时间点(t1+d)为止的演奏位置P[t]。即，在时间点t1，针对将该时间点t1作为起点的处理期间Q内的各时间点t而推定出演奏位置P[t]。另一方面，在时间点t1到来的时间点，没有针对处理期间Q内的各时间点t而确定播放位置R[t]。此外，时间点t1是“第1时间点”的一个例子，时间点t2是“第2时间点”的一个例子。

解析期间q是时间点t1至时间点t3为止的期间。时间点t3位于时间点t1和时间点t2之间。具体而言，时间点t3是以小于规定长度d的个数的时间点t从时间点t1向后方的时间点t。即，解析期间q是处理期间Q之中的起点(t1)侧的一部分的期间。此外，在图3中，例示出时间点t3与时间点t1相比更靠近时间点t2的情况，处理期间Q内的时间点t3的位置是任意的。例如，可以将时间点t1的后一个时间点t设为时间点t3。时间点t3是“第3时间点”的一个例子。

确定部331针对推定出演奏位置P[t]的处理期间Q之中的解析期间q内的各时间点t的播放位置R[t]的时间序列，与该处理期间Q内的演奏位置P[t]的时间序列相对应地进行推定。即，针对时间轴上的每个解析期间q而确定与该解析期间q内的各时间点t对应的播放位置R[t]的时间序列。此外，在时间点t3为时间点t1的后一个时间点t的方式中，针对时间轴上的每个时间点t而确定播放位置R[t]。

但是，取得部32对演奏位置P[t]进行推定的精度在时间轴上越远离当前的时间点t1的时间点t越降低。考虑到以上的情况，在第1实施方式中，时间点t1至时间点t3为止的解析期间q内的播放位置R[t]的时间序列是与时间点t1至时间点t2为止的处理期间Q内的演奏位置P[t]的时间序列相对应地进行推定的。因此，降低处理期间Q之中的终点附近的期间的演奏位置P[t]的推定误差的影响(噪声)。即，与利用处理期间Q内的演奏位置P[t]的时间序列而确定该处理期间Q内的整体范围的播放位置R[t]的时间序列的结构相比，能够适当地确定播放位置R[t]。

图2的播放部332使放音装置23对音响信号X之中的与播放位置R[t]对应的部分Y进行播放。具体而言，播放部332在时间轴上的多个时间点t各自，使放音装置23对音响信号X之中的包含该时间点t的播放位置R[t]在内的部分Y进行播放。部分Y由音响信号X之中的与播放位置R[t]对应的期间内的样本的时间序列构成。此外，关于将音响信号X的部分Y从数字变换为模拟的D/A变换器、及将变换后的信号放大的放大器，为了方便而省略图示。在以下的说明中，设想将规定的时间长度(跳跃长度)Ht作为单位而播放音响信号X的情况。

图4是例示出控制装置21为了音响信号X的播放而执行的处理(以下，称为“控制处理”)S的具体流程的流程图。例如，将来自利用者的指示作为契机而开始控制处理S。如果开始控制处理S，则解析部31通过在存储装置22存储的音响信号X的解析，针对N个单位期间U[1]～U[N]各自而生成指标W[n](Wa[n]、Wb[n]、Wc[n])(Sa)。

确定部331通过音响信号X的解析而对转变概率τ[n1,n2]进行设定(Sb)。转变概率τ[n1,n2]是在时间轴上的1个时间点(t-1)处播放了音响信号X的单位期间U[n1]的情况下，在后一个时间点t处播放音响信号X的单位期间U[n2]的概率(n1，n2＝1～N)。即，转变概率τ[n1,n2]是指播放位置R[t]从音响信号X的单位期间U[n1]转变为单位期间U[n2]的准确度。确定部331针对从音响信号X的N个单位期间U[1]～U[N]选择2个单位期间U[n](U[n1]及U[n2])的所有组合而对转变概率τ[n1,n2]进行计算。此外，单位期间U[n2]是位于单位期间U[n1]的后方的单位期间U[n](n2＞n1)、或与单位期间U[n1]一致的单位期间U[n](n2＝n1)。转变概率τ[n1,n2]涉及的单位期间U[n1]和单位期间U[n2]在时间轴上越近，表示音响信号X的伸长的程度越大。另外，编号n1和编号n2共用的转变概率τ[n,n](n1＝n2)是指播放位置R[t]停留于该单位期间U[n]的准确度。如根据以上的说明所理解的那样，播放位置R[t]移动至时间轴上的后方。但是，也可以容许在时间轴回溯的方向(过去)的播放位置R[t]的移动。

此外，指标W[n]的计算(Sa)和转变概率τ[n1,n2]的设定(Sb)可以在开始控制处理S前执行。另外，指标W[n]的计算(Sa)和转变概率τ[n1,n2]的设定(Sb)的先后可以反转。指标W[n]及转变概率τ[n1,n2]存储于存储装置22。如果执行以上所说明的准备的处理(Sa，Sb)，则取得部32针对时间轴上的每个时间点t而对演奏位置P[t+d]进行推定(Sc)。

确定部331执行确定处理Sd。确定处理Sd是与音响信号X的各指标W[n]和处理期间Q内的演奏位置P[t]的时间序列相对应地确定解析期间q内的播放位置R[t]的时间序列的处理。针对时间轴上的每个解析期间q而执行确定处理Sd。播放部332使放音装置23对音响信号X之中的与由确定处理Sd确定出的各播放位置R[t]对应的部分Y进行播放(Se)。

控制装置21对规定的结束条件是否成立进行判定(Sf)。结束条件例如是接受到来自利用者的结束的指示、或者音响信号X的全部的播放已结束。在结束条件不成立的情况下(Sf：NO)，控制装置21使处理转入步骤Sc。即，演奏位置P[t+d]的推定(Sc)、解析期间q内的播放位置R[t]的确定(Sd)和音响信号X的部分Y的播放(Se)反复进行。另一方面，在结束条件已成立的情况下(Sf：YES)，控制装置21将控制处理S结束。

控制装置21在每次使处理转入步骤Sc时(Sf：NO)，将当前时间点的解析期间q(即，确定出播放位置R[t]的时间序列的期间)的终点作为起点而对后一个处理期间Q进行设定，进一步对该处理期间Q内的解析期间q进行设定。即，确定部331针对时间轴上的多个处理期间Q各自而对该处理期间Q之中的解析期间q内的播放位置R[t]的时间序列进行确定。

如以上说明的那样，在第1实施方式中，音响信号X之中的与对应于利用者的演奏位置P[t]的播放位置R[t]对应的部分Y由放音装置23进行播放。即，与利用者进行的目标乐曲的演奏相对应地，音响信号X在时间轴上进行伸缩。因此，能够使放音装置23进行的音响信号X的播放追随于利用者进行的目标乐曲的演奏。

以下对播放位置R[t]的确定进行详述。此外，在以下的说明中，利用函数F(P[t])和函数E(n)。函数F(P[t])是用于将演奏位置P[t](秒)变换为音响信号X的单位期间U[n]的编号n的函数，例如由以下的数式(1)表现。

[数式1]

F(P[t])＝round{P[t]·fs/H_n} (1)

数式(1)的记号round{}是指四舍五入。记号fs是音响信号X的采样频率。另外，记号Hn是成为音响信号X的解析的单位的时间长度(跳跃长度)。与音响信号X的播放相关的跳跃长度Ht超过与音响信号X的解析相关的跳跃长度Hb(Ht＞Hn)。

另一方面，函数E(n)是用于将单位期间U[n]的编号n变换为以音响信号X的起点作为基准的经过时间(例如秒)的函数，例如由以下的数式(2)表现。

[数式2]

E(n)＝n·H_n/fs (2)

图5是前述的确定处理Sd的说明图。在图5中图示出时间轴上的各时间点t(…，t-2，t-1，t，t+1，t+2，…)和音响信号X的各单位期间U[n](…，U[n-2]，U[n-1]，U[n]，U[n+1]，U[n+2]，…)。第1实施方式的确定处理Sd包含对由各单位期间U[n]和各时间点t的不同组合构成的最大似然的路径(以下，称为“最大似然路径”)C进行搜索的处理(以下，称为“路径搜索”)Sd2。最大似然路径C由与时间轴上的不同的时间点t对应的多个位置变量c[t]的时间序列表现。位置变量c[t]对音响信号X的N个单位期间U[1]～U[N]的任一者进行指定(c[t]＝1～N)。对于路径搜索Sd2，例如利用维特比算法或定向搜索等动态规划法。

图6是例示出确定处理Sd的具体流程的流程图。如果开始确定处理Sd，则确定部331针对处理期间Q内的各时间点t而对观测似然度L[t,n]进行计算(Sd1)。观测似然度L[t,n]是音响信号X的N个单位期间U[1]～U[N]之中的第n个单位期间U[n]应当在时间点t播放的似然度。即，观测似然度L[t,n]是指音响信号X的各单位期间U[n]属于时间点t的播放位置R[t]的准确度。

确定部331通过路径搜索Sd2对最大似然路径C进行推定。对于路径搜索Sd2，应用处理期间Q内的各时间点t的观测似然度L[t,n]和音响信号X的转变概率τ[n1,n2]。如以上说明的那样，在第1实施方式中，能够通过应用了音响信号X的每2个单位期间U[n](U[n1]，U[n2])的组合的转变概率τ[n1,n2]的路径搜索Sd2，适当地确定出播放位置R[t]的时间序列。

在路径搜索Sd2中，确定部331基于将处理期间Q的起点(时间点t1)的位置变量c[t1]和处理期间Q的终点(时间点t2)的位置变量c[t2]固定的约束条件对最大似然路径C进行搜索。具体而言，时间点t1的位置变量c[t1]将针对该时间点t1而推定出的演奏位置P[t1]固定为通过数式(1)的函数F(P[t])而变换出的数值F(P[t1])。另外，时间点t2的位置变量c[t2]将针对该时间点t2而推定出的演奏位置P[t2]固定为通过数式(1)的函数F(P[t])而变换出的数值F(P[t2])。

最大似然路径C如前述那样由与解析期间q内的不同的时间点t对应的位置变量c[t]的时间序列表现。确定部331通过函数E(n)对各位置变量c[t]所指定的单位期间U[n]的编号n进行变换，由此针对解析期间q内的各时间点t而对播放位置R[t]进行计算(Sd3)。即，第1实施方式的确定部331如图3所例示的那样，基于将解析期间q的时间点t1的播放位置R[t1]固定于该时间点t1的演奏位置P[t1]，将解析期间q的时间点t2的播放位置R[t2]固定于该时间点t2的演奏位置P[t2]的约束条件，对解析期间q内的播放位置R[t]的时间序列进行确定。根据以上的结构，降低在解析期间q内播放位置R[t]从演奏位置P[t]过度背离的可能性。

如以上说明的那样，在第1实施方式中，对播放位置R[t]的时间序列进行确定的路径搜索Sd2是针对时间轴上的每个处理期间Q而执行的。因此，即使在演奏位置P[t]的移动的速度不规则地变动的情况下，也能够确定出高精度地追随于利用者的演奏的播放位置R[t]。

以下，对观测似然度L[t,n]及转变概率τ[n1,n2]进行详述。

(1)观测似然度L[t,n]的计算(Sd1)

观测似然度L[t,n]如前述那样，是在时间轴上的各时间点t应当播放音响信号X的单位期间U[n]的似然度。确定部331针对时间轴上的多个时间点t各自，通过以下的数式(3)的运算对观测似然度L[t,n]进行计算。

[数式3]

L[t，n]＝Normal{n|F(P[t])，σ(Wb[n]，O)} (3)

数式(1)是指观测似然度L[t,n]按照将单位期间U[n]的编号n作为概率变量的正态分布(Normal)。观测似然度L[t,n]的概率分布的平均设定为将由取得部32推定出的演奏位置P[t]变换为单位期间U[n]的编号n的数值F(P[t])。即，观测似然度L[t,n]的概率分布的平均是与演奏位置P[t]相对应地设定的。根据以上的结构，降低在解析期间q内播放位置R[t]从演奏位置P[t]过度背离的可能性。

另外，观测似然度L[t,n]的概率分布的方差σ(Wb[n]，O)由将前述的变动指标Wb[n]和发音点组O作为变量的函数表现。发音点组O是与属于音响信号X的发音点的演奏位置P[t]对应的时间点t的集合。即，构成发音点组O的各时间点t对以下的数式(4a)及数式(4b)进行补充。

[数式4]

P[t]≠P[t-1] (4a)

Wc[F(P[t])]＝1 (4b)

数式(4a)是指时间点(t-1)的演奏位置P[t-1]和后一个时间点t的演奏位置P[t]不同。数式(4b)是指与演奏位置P[t]对应的单位期间U[n]的发音点指标Wc[F(P[t])]为表示属于发音点的数值“1”。

与观测似然度L[t,n]相关的概率分布的方差σ(Wb[n]，O)例如由以下的数式(5)表现。

[数式5]

数式(5)的记号ε为充分小的正数(ε＜＜1)。另外，数式(5)的函数I[c]是在条件c成立的情况下设定为数值“1”，在条件c不成立的情况下设定为数值“0”的指示函数(Indicator函数)。

如根据数式(5)所理解的那样，在时间点t属于发音点的情况下(t∈O)，消去数式(5)的右边的第2项，因此，方差σ(Wb[n]，O)设定为充分小的数值ε。另一方面，在时间点t不属于发音点的情况下，消去数式(5)的右边的第1项，因此，方差σ(Wb[n]，O)设定为与变动指标Wb[n]相对应的数值1/Wb[n]。时间点t属于发音点的情况下的方差σ(Wb[n]，O)的数值ε小于时间点t不属于发音点的情况下的方差σ(Wb[n]，O)的数值1/Wb[n]。时间点t属于发音点的情况下的概率分布的方差ε是“第1方差”的一个例子，时间点t不属于发音点的情况下的概率分布的方差1/Wb[n]是“第2方差”的一个例子。

因此，在属于发音点的时间点t(t∈O)，观测似然度L[t,n]在概率变量n的平均F(P[t])附近成为局部地较高的数值。即，在属于发音点的时间点t，播放位置R[t]与演奏位置P[t]近似或一致的可能性与播放位置R[t]从演奏位置P[t]背离的可能性相比充分高。因此，存在容易使音响信号X的播放追随利用者进行的目标乐曲的演奏这样的优点。

但是，如果将音响信号X之中的音响特性的变动显著的期间在时间轴上进行伸缩，则播放音有可能存在听觉上不自然的印象。另一方面，即使在音响信号X之中的音响特性稳定地维持的期间在时间轴上进行伸缩，播放音的听觉上的不自然性也难以显性化。

考虑到以上的倾向，第1实施方式的确定部331如根据前述的数式(5)所理解的那样，将时间点t不属于发音点的情况下的观测似然度L[t,n]的概率分布的方差σ(Wb[n]，O)设定为与变动指标Wb[n]相对应的数值。具体而言，变动指标Wb[n]越小，则方差σ(Wb[n]，O)设定为越大的数值。即，与时间点t属于发音点的情况相比，确定出从演奏位置P[t]背离的播放位置R[t]的可能性增加。如前述那样，音响信号X的音响特性越稳定地被维持，则变动指标Wb[n]设定为越小的数值。因此，越是音响信号X的音响特性稳定地被维持的期间(即，变动指标Wb[n]小的期间)，则播放位置R[t]从演奏位置P[t]背离的可能性越增加。根据以上的结构，实现如下倾向，即，音响信号X的音响特性稳定地被维持的期间在时间轴上容易伸缩，音响特性不稳定地变动的期间难以伸缩。因此，能够对听觉上自然的印象的播放音进行播放。

(2)转变概率τ[n1,n2]的计算(Sb)

转变概率τ[n1,n2]如前述那样，是指播放位置R[t]从音响信号X的单位期间U[n1]转变为后方的单位期间U[n2]的准确度。确定部331针对从音响信号X的N个单位期间U[1]～U[N]选择出2个单位期间U[n](U[n1]，U[n2])的所有组合，对转变概率τ[n1,n2]进行计算。

图7及图8例示出确定部331对转变概率τ[n1,n2]进行计算的处理(以下，称为“概率设定处理”)Sb的具体流程。如果开始概率设定处理Sb，则确定部331从音响信号X的N个单位期间U[1]～U[N]选择出2个单位期间U[n](U[n1]，U[n2])的组合(Sb1)。

确定部331对转变前的单位期间U[n1]是否属于发音间期间V的最后的单位期间U[n]进行判定(Sb2)。发音间期间V是将各发音点作为边界而将音响信号X在时间轴上划分出的期间。在图9图示出在时间轴上相前后的2个发音间期间V(V1，V2)，设想单位期间U[n1]位于发音间期间V1的末尾的情况(Sb2：YES)。

在转变前的单位期间U[n1]位于发音间期间V1的末尾的情况下(Sb2：YES)，确定部331对规定的条件是否成立进行判定(Sb3)。具体而言，确定部331对单位期间U[n1]和单位期间U[n2]一致的第1条件(n1＝n2)、或转变后的单位期间U[n2]是转变前的单位期间U[n1]的后一个单位期间U[n1+1]的第2条件是否成立进行判定。第1条件是指播放位置R[t]滞留于发音间期间V1的最后的单位期间U[n]。第2条件是指播放位置R[t]从发音间期间V1的最后的单位期间U[n]转变为后一个发音间期间V2内的单位期间U[n+1]。

在第1条件或第2条件成立的情况下(Sb3：YES)，确定部331按照以下的规则对转变概率τ[n1,n2]进行设定(Sb4)。具体而言，在第1条件成立的情况下，确定部331将转变概率τ[n1,n2](n1＝n2)设定为规定值αH。另一方面，在第2条件成立的情况下，确定部331将转变概率τ[n1,n2](n2＝n1+1)设定为规定值αL。规定值αH及规定值αL为规定的正数。规定值αH设定为比规定值αL充分大的数值(αH＞＞αL)。例如，规定值αH设定为“1”以下且充分接近“1”的正数，规定值αL设定为从“1”减去规定值αH的数值(αL＝1－αH)。

如根据以上的说明所理解的那样，播放位置R[t]停留于发音间期间V1的最后的单位期间U[n1]的转变概率τ[n1,n2](＝αH)充分超过播放位置R[t]从发音间期间V1的最后的单位期间U[n1]转变至后一个发音间期间V1的最开始的单位期间U[n2]的转变概率τ[n1,n2](＝αL)。根据以上的结构，抑制跨越音响信号X的发音点的播放位置R[t]的转变，因此降低与1个发音点对应的音响成分多次反复地播放的可能性。例如，降低音响信号X的播放音即歌唱语音以结巴(Stutter)的方式被聆听者感知到的可能性。即，能够对听觉上自然的印象的播放音进行播放。此外，在播放位置R[t]连续地滞留于1个单位期间U[n]的情况下，可以使音响信号X的播放音的音量随时间减小。

另一方面，在单位期间U[n1]不属于发音间期间V的最后的单位期间U[n]的情况下(Sb2：NO)、或规定的条件不成立的情况下(Sb3：NO)，确定部331如图8所例示的那样，对转变后的单位期间U[n2]相对于转变前的单位期间U[n1]在时间轴上是否处于规定的范围内进行判定(Sb5)。具体而言，确定部331对单位期间U[n2]是否位于将单位期间U[n1]设为起始端的规定长度Δn的范围内进行判定。在转变后的单位期间U[n2]的编号n2为编号n1以上且(n1+Δn)以下的情况下(n1≤n2≤n1+Δn)，该判定的结果为肯定。单位期间U[n2]的编号n2超过规定值(n1+Δn)的情况，是指播放位置R[t]从单位期间U[n1]过度地大幅向后方移动。

在单位期间U[n2]处于规定的范围内的情况下(Sb5：YES)，确定部331对在转变前的单位期间U[n1]及转变后的单位期间U[n2]这两者处音响信号X是否为无音进行判定(Sb6)。即，判定有音指标Wa[n1]及有音指标Wa[n2]这两者是否为表示无音的数值“0”。在单位期间U[n1]及单位期间U[n2]这两者为无音的情况下(Sb6：YES)，确定部331通过以下的数式(6)而对转变概率τ[n1,n2]进行设定(Sb7)。

[数式6]

r[n1,n2]＝β·I[]n1-n2<r0](6)

数式(6)的记号β是指规定的正数，记号τ0是指规定的阈值。如根据数式(6)所理解的那样，在编号n1和编号n2的差值的绝对值|n1-n2|小于阈值τ0的情况下，转变概率τ[n1,n2]设定为规定值β。另一方面，在绝对值|n1-n2|为阈值τ0以上的情况下，转变概率τ[n1,n2]设定为“0”。如根据以上的说明所理解的那样，在时间轴上的转变量|n1-n2|小于阈值τ0的范围内，将规定值β设为转变概率τ[n1,n2]而容许播放位置R[t]的转变。另一方面，禁止会使得时间轴上的转变量|n1-n2|超过阈值τ0的播放位置R[t]的转变(τ[n1,n2]＝0)。

另一方面，在单位期间U[n1]及单位期间U[n2]的一者或两者中音响信号X为有音的情况下(Sb6：NO)，确定部331通过以下的数式(7)而对转变概率τ[n1,n2]进行设定(Sb8)。

[数式7]

τ[n1，n2]＝Normal{n1-n2|P0，P0/Wb[n])} (7)

数式(7)是指转变概率τ[n1,n2]遵从将编号n1和编号n2的差值(n1-n2)作为概率变量的正态分布(Normal)。差值(n1-n2)相当于时间点(t-1)和时间点t之间的播放位置R[t]的移动量、即播放位置R[t]的移动速度。

转变概率τ[n1,n2]的概率分布的平均设定为前述的标准速度P0。标准速度P0相当于音响信号X的标准的播放速度，设定为规定的正数。具体而言，标准速度P0是指在音响信号X的播放位置R[t]以标准的速度在时间轴上移动的情况下，时间点(t-1)和时间点t之间的编号n的变化量。例如，标准速度P0设定为跳跃长度Hn相对于跳跃长度Ht之比(P0＝Hn/Ht)。

转变概率τ[n1,n2]的概率分布的方差设定为与变动指标Wb[n]相对应的数值P0/Wb[n1]。具体而言，变动指标Wb[n1]越小，则概率分布的方差P0/Wb[n1]设定为越大的数值。即，变动指标Wb[n1]越小，则播放位置R[t]的移动速度从标准速度P0背离的可能性越增加。如前述那样，音响信号X的音响特性越稳定地被维持，则变动指标Wb[n]设定为越小的数值。因此，例如，在音响信号X之中的音响特性稳定地被维持的期间(即变动指标Wb[n]小的期间)中，转变概率τ[n1,n2]的概率分布的方差P0/Wb[n1]设定为大的数值，其结果容许播放位置R[t]的移动速度从标准速度P0背离。另一方面，在音响信号X之中的音响特性不稳定地变动的期间(即，变动指标Wb[n]大的期间)，转变概率τ[n1.n2]的概率分布的方差P0/Wb[n1]设定为小的数值，其结果播放位置R[t]的移动速度维持为接近标准速度P0的速度。即，音响信号X的音响特性稳定地被维持的期间在时间轴上容易伸缩，音响特性不稳定地变动的期间难以伸缩。因此，能够对听觉上自然的印象的播放音进行播放。

此外，在单位期间U[n1]及单位期间U[n2]这两者中音响信号X为无音的情况下(Wa[n1]＝Wa[n2]＝0)的转变概率τ[n1,n2](＝β)超过在单位期间U[n1]及单位期间U[n2]的一者或两者中音响信号X为有音的情况下的转变概率τ[n1,n2]。基于以上的条件，与有音期间和无音期间之间的播放位置R[t]的转变、或有音期间内的播放位置R[t]的转变相比容易产生音响信号X之中的无音期间内的播放位置R[t]的转变。因此，与有音期间内的播放位置R[t]的转变频繁发生的方式相比，能够播放听觉上自然印象的播放音。

在单位期间U[n2]相对于单位期间U[n1]未处于规定的范围内的情况下(Sb5：NO)，确定部331将转变概率τ[n1,n2]设定为规定值γ(Sb9)。规定值γ设定为与数式(6)的规定值β相比充分小的正数。即，播放位置R[t]从单位期间U[n1]向规定的范围的外侧的单位期间U[n2]转变还容许与该范围内的播放位置R[t]的转变相比为低概率(规定值γ)。

如果通过以上的处理对当前的组合(U[n1]，U[n2])涉及的转变概率τ[n1,n2]进行计算(Sb4，Sb7，Sb8，Sb9)，则确定部331如图7所例示的那样，对是否针对从音响信号X的N个单位期间U[1]～U[N]选择出2个的所有的组合设定了转变概率τ[n1,n2]进行判定(Sb10)。在存在未设定的转变概率τ[n1,n2]的情况下(Sb10：NO)，确定部331使处理转入步骤Sb1。即，新选择未设定转变概率τ[n1,n2]的2个单位期间U[n](U[n1]，U[n2])(Sb1)，对该组合涉及的转变概率τ[n1,n2]进行设定(Sb2～Sb9)。另一方面，在设定了全部的转变概率τ[n1,n2]的情况下(Sb10：YES)，确定部331将概率设定处理Sb结束。

B：第2实施方式

在放音装置23所播放的音响信号X的音响和键盘乐器10所放音的音响之间音量背离的方式中，有可能无法生成两者间的音乐上的统一感。考虑到以上的情况，在第2实施方式中，使音响信号X的播放音的音量(以下，称为“播放音量”)与利用者进行的键盘乐器10的操作的强度(以下，称为“操作强度”)联动。具体而言，播放部332与利用者的操作强度相对应地对音响信号X的播放音量进行控制。播放部332以外的各要素的结构及动作与第1实施方式相同。因此，在第2实施方式中也实现与第1实施方式相同的效果。

图10是例示出第2实施方式的播放部332执行的处理(以下，称为“播放处理”)Se的具体流程的流程图。如果开始播放处理Se，则播放部332通过以下的数式(8a)及数式(8b)对操作强度Λ[k]进行计算(Se1)。操作强度Λ[k]是由演奏数据D指定的数值(力度)。

[数式8]

Λ[k]＝max{z[k],λ[k]} (8a)

z[k]＝exp{-a(t[k]-t[k-1])}·λ[k-1] (8b)

图11是操作强度Λ[k]的说明图。数式(8)的记号k是用于识别针对键盘乐器10的各次的操作(具体而言，按键)的编号。记号t[k]是指发生了操作k的时间点。如图11所例示的那样，设想在时间点t[k-1]发生了操作强度λ[k-1]的操作(k-1)、在时间点t[k-1]的后方的时间点t[k]发生了操作强度λ[k]的操作k的情况。操作k例如是操作(k-1)的后一个按键。时间点t[k-1]是“第1时间点”的一个例子，操作(k-1)是“第1操作”的一个例子。另外，时间点t[k]是“第2时间点”的一个例子，操作k是“第2操作”的一个例子。

如根据数式(8a)所理解的那样，播放部332选择操作强度z[k]和操作强度λ[k]之中较大的一者(max)作为时间点t[k]的操作强度Λ[k]。操作强度z[k]如根据数式(8b)所理解的那样，是使操作(k-1)的操作强度λ[k-1]从时间点t[k-1]至时间点t[k]为止随时间减小的强度。数式(8b)的记号λ是表示操作强度λ[k-1]随时间衰减的程度的规定的正数。操作强度z[k]是“第1强度”的一个例子，操作强度λ[k]是“第2强度”的一个例子。

如果通过以上的运算对操作强度Λ[k]进行计算，则播放部332与该操作强度Λ[k]相对应地对调整值G进行计算(Se2)。调整值G是与音响信号X之中的播放对象的部分Y相乘的系数(增益)。具体而言，播放部332通过以下的数式(9)对调整值G进行计算。

[数式9]

如根据数式(9)所理解的那样，调整值G在最小值0.3和最大值1之间的范围内与操作强度Λ[k]相对应地变化。具体而言，操作强度Λ[k]越大，调整值G设定为越大的数值。播放部332利用调整值G对音响信号X的播放音量进行调整(Se3)。具体而言，播放部332对音响信号X之中的与播放位置R[t]对应的部分Y乘以调整值G。如根据以上的说明所理解的那样，播放部332与操作强度Λ[k]相对应地对音响信号X的播放音量进行控制。第2实施方式的播放处理Se的具体例如以上所述。

在第2实施方式中，与使操作(k-1)的操作强度λ[k-1]直至时间点t[k]为止随时间减小的操作强度z[k]和该时间点t[k]的操作k的操作强度λ[k]之中较大的一者(即操作强度Λ[k])相对应地，对音响信号X的播放音量进行控制。因此，例如即使在操作强度λ[k]与操作强度λ[k-1]相比充分小的情况下，在使操作强度λ[k-1]直至时间点t[k]为止随时间减小的操作强度Λ[k]充分大的情况下，也充分地维持音响信号X的播放音量。因此，与每个操作的操作强度λ[k]相对应地对播放音量进行控制的结构相比，能够针对利用者的演奏而适当地对播放音量进行控制。

C：变形例

以下，例示出对以上例示的各方式附加的具体变形的方式。可以将从以下的例示任意选择出的2个以上的方式在不彼此矛盾的范围适当地合并。

(1)在前述的各方式中，例示出键盘乐器10，但利用者对目标乐曲进行演奏的乐器的种类不限定于键盘乐器10。例如，弦乐器、管乐器或打乐器等任意种类的乐器利用于由利用者进行的目标乐曲的演奏。例如，取得部32通过从任意的乐器供给的演奏数据D的解析而对演奏位置P[t]进行推定。另外，生成演奏数据D的装置可以是乐器以外的方式的装置。例如将智能手机或平板终端等信息装置、或者例如键盘等操作装置等接受由利用者进行的演奏的指示的任意方式的装置取代前述的键盘乐器10而利用。

此外，在前述的各方式中，例示出表示由利用者进行的演奏的指示的指示数据作为演奏数据D，但利用于演奏的解析(演奏位置P[t]的推定)的演奏数据D的种类不限定于指示数据。例如，表示通过利用者的演奏而发音的音响的波形的音响数据可以作为演奏数据D而利用于演奏的解析。

(2)在前述的各方式中，将处理期间Q的一部分作为解析期间q而确定出播放位置R[t]，但也可以将处理期间Q的全部作为解析期间q而由确定部331确定出播放位置R[t]。即，时间点t2和时间点t3可以在时间轴上一致，也可以省略处理期间Q和解析期间q的区别。

(3)在前述的各方式中，使观测似然度L[t,n]的概率分布的方差σ(Wb[n]，O)与变动指标Wb[n]相对应地变化，但也可以将观测似然度L[t,n]的概率分布的方差设定为不依赖于变动指标Wb[n]的规定值。同样地，在前述的各方式中，使转变概率τ[n1.n2]的概率分布的方差P0/Wb[n1]与变动指标Wb[n]相对应地变化，但也可以将转变概率τ[n1,n2]的概率分布的方差设定为不依赖于变动指标Wb[n]的规定值。

(4)可以将播放位置R[t]的移动速度限制在规定的范围内。例如，在时间点(t-1)和时间点t之间的播放位置R[t]的移动量超过规定的上限值的情况下，确定部331将播放位置R[t]设定为与该上限值对应的数值。另一方面，在时间点(t-1)和时间点t之间的播放位置R[t]的移动量小于规定的下限值的情况下，确定部331将播放位置R[t]设定为与该下限值对应的数值。根据以上的结构，能够抑制演奏位置P[t]和播放位置R[t]的过度背离。

(5)在演奏位置P[t]和播放位置R[t]的差值超过规定的阈值的情况下，确定部331可以将播放位置R[t]初始化为演奏位置P[t](R[t]＝P[t])。根据以上的结构，抑制播放位置R[t]和演奏位置P[t]的过度背离。另外，也可以在从将播放位置R[t]初始化为演奏位置P[t]的时间点起的规定期间内，使播放位置R[t]以标准速度P0进行变化。即，在该期间内可以不将演奏位置P[t]反映于播放位置R[t]。

(6)在前述的各方式中，通过存储于存储装置22的音响信号X的解析而由解析部31生成了指标W[n]，但在与音响信号X相关的指标W[n]事先存储于存储装置22的方式中，可以省略解析部31。例如，在与音响信号X相关的指标W[n]从外部装置提供至信号处理系统20的方式中，省略解析部31。

(7)对于前述的各方式的路径搜索Sd2，如前述的各方式的例示的那样，应用各种条件(以下，称为“搜索条件”)。搜索条件是与音响信号X的特性相对应地设定的条件。搜索条件除了与播放位置R[t]相关的约束条件以外，还包含应用于路径搜索Sd2的变量的数值。约束条件如前述所例示的那样，例如是将解析期间q的时间点t1的播放位置R[t1]固定于该时间点t1的演奏位置P[t1]、将解析期间q的时间点t2的播放位置R[t2]固定于该时间点t2的演奏位置P[t2]这样的条件。另外，作为应用于与路径搜索Sd2的变量相关的搜索条件，例示出观测似然度L[t,n]、转变概率τ[n1,n2]及变动指标Wb[t]等指标。即，应用于路径搜索Sd2的任意的变量包含于搜索条件的概念。

(8)在前述的各方式中，例示出取得部32对利用者的目标乐曲的演奏位置P[t]进行确定的方式，但利用于播放位置R[t]的确定的信息不限定于演奏位置P[t]。例如，可以将与针对鼠标或触摸面板等操作装置的操作相对应地在目标乐曲内变化的位置取代为演奏位置P[t]。例如，利用者针对目标乐曲而指示及变更的位置被置换为演奏位置P[t]。如根据以上的例示所理解的那样，利用于播放位置R[t]的确定的位置可以总括地表现为与利用者的动作相对应地在目标乐曲内在时间轴上变化的位置(以下，称为“指示位置”)。前述的各方式的演奏位置P[t]和通过针对操作装置的操作而由利用者指示的位置是指示位置的具体例。此外，作为为了指示位置的指示而由利用者使用的操作装置，例如可以利用与利用者的操作相对应地圆盘状的转盘旋转的DJ控制器。取得部32与转盘的旋转的角度相对应地对指示位置进行确定。

(9)在前述的各方式中，使表示目标乐曲的演奏音的音响信号X与利用者进行的键盘乐器10的演奏相对应地伸缩，但成为伸缩对象的时间序列信号不限定于音响信号X。例如，可以使表示与目标乐曲相关联的影像的影像信号与利用者的演奏相对应地在时间轴上伸缩。影像信号例如表示应当与目标乐曲的演奏并行地显示的动画等的影像。

在对影像信号进行处理的方式中，由取得部32进行的演奏位置P[t]的推定及由确定部331进行的播放位置R[t]的确定与前述的各方式相同。播放部332使显示装置对影像信号之中的与播放位置R[t]对应的部分进行显示。通过影像信号的解析而由解析部31计算的变动指标Wb[n]例如是表示影像信号的影像特性的变动的程度的变量。影像特性例如是图像的明度。另外，可以由解析部31计算表示在时间轴上相前后的图像的变化的指标(运动矢量)作为变动指标Wb[n]。

如根据以上的说明所理解的那样，成为信号处理系统20的处理对象的信号总括地表现为表示与目标乐曲相关的音响或影像的时间序列信号(例如，音响信号X或影像信号)。另外，播放部332是使播放装置对时间序列信号之中的与播放位置R[t]对应的部分进行播放的要素。播放装置包含对音响信号X表示的音响进行播放的放音装置23、或对影像信号表示的影像进行显示的显示装置。

(10)例如，可以通过与智能手机或平板终端等信息装置进行通信的服务器装置而实现信号处理系统20。例如，由与信息装置连接的键盘乐器10生成的演奏数据D从该信息装置发送至信号处理系统20。在信号处理系统20中，与前述的各方式同样地，执行由取得部32进行的演奏位置P[t]的推定和由确定部331进行的播放位置R[t]的确定。播放部332将音响信号X之中的与播放位置R[t]对应的部分Y发送至信息装置。信息装置具有对从信号处理系统20接收到的部分Y进行播放的放音装置23。在以上的结构中，也实现与前述的各方式相同的效果。由播放部332将音响信号X的部分Y发送至信息装置的动作表现为使信息装置对该部分进行播放的动作。

(11)前述的各方式涉及的信号处理系统20的功能如前述那样，通过构成控制装置21的单个或多个处理器和在存储装置22存储的程序的协同动作而实现。本发明涉及的程序可以以储存于计算机可读取的记录介质的方式提供而安装于计算机。记录介质例如是非临时性(non-transitory)的记录介质，优选是CD-ROM等光学式记录介质(光盘)，还包含半导体记录介质或磁记录介质等公知的任意形式的记录介质。此外，作为非临时性的记录介质，包含除了临时性的输送信号(transitory,propagating signal)以外的任意的记录介质，也可以不将易失性的记录介质除外。另外，在传送装置经由通信网而传送程序的结构中，在该传送装置，对程序进行存储的记录介质相当于前述的非临时性的记录介质。

D：附录

根据以上例示出的方式，例如掌握以下的结构。

本发明的一个方式(方式1)涉及的信号处理系统使播放装置追随于乐曲的播放而对时间序列信号进行播放，该信号处理系统具有：取得部，其取得所述乐曲的播放中的由利用者指示的指示位置；以及控制部，其与所述指示位置相对应地执行所述时间序列信号的时间伸缩。根据以上的方式，与乐曲的播放中的由利用者指示的指示位置相对应地使得时间序列信号进行时间伸缩(时域拉伸)。因此，能够使时间序列信号的播放追随于利用者的指示。

“指示位置”是在乐曲内由利用者指示的位置。具体而言，例示出与利用者的动作相对应地在乐曲内变化的位置作为“指示位置”。作为“指示位置”的典型例，例如是在乐曲内由利用者演奏的时间轴上的位置(演奏位置)。但是，反映于指示位置的利用者的动作不限定于“演奏”。例如，还设想与针对鼠标或触摸面板等操作装置的操作(“动作”的其他例)相对应地“指示位置”变化的方式。另外，对于“指示位置”，除了利用者在当前时间点进行指示的位置以外，还包含预测为利用者今后将指示的位置。

“时间序列信号”是成为播放对象的时间区域的信号。具体而言，“时间序列信号”例如是表示音响或影像的时间区域的信号。具体而言，表示乐曲的演奏音的音响信号、或表示应当与乐曲的演奏并行地显示的影像的影像信号是“时间序列信号”的典型例。因此，“播放装置”例如是对音响信号表示的音响进行放音的放音装置、或对影像信号表示的影像进行显示的显示装置。

“音响信号”表示的演奏音除了通过演奏而由乐器发音的乐音以外，还包含歌唱者发音的语音(歌唱语音)。音响信号表示的演奏音和通过利用者的演奏而发音的演奏音处于与共用的乐曲对应的关系，两者间的具体关系是任意的。例如，音响信号表示的演奏音的演奏声部和利用者演奏的演奏声部的异同是任意的。即，设想由利用者对乐曲的多个演奏声部之中的1个以上的演奏声部进行演奏的情况，音响信号表示该1个以上的演奏声部的演奏音、或除了该1个以上的演奏声部以外的1个以上的演奏声部的演奏音。

在方式1的具体例(方式2)中，所述时间序列信号是表示音响或影像的信号，所述取得部按照时间经过而取得多个指示位置，所述控制部通过路径搜索而执行所述时间伸缩，所述路径搜索应用了所述多个指示位置之中的不同的2个以上的指示位置和与所述时间序列信号的特性相对应的搜索条件。“搜索条件”是与时间序列信号的特性相对应地设定并应用于路径搜索的条件。“搜索条件”除了与播放位置相关的约束条件(例如方式7)以外，还包含应用于路径搜索的变量的数值(例如方式8、10、11)。

在方式1或2的具体例(方式3)中，所述乐曲的播放是所述利用者进行的所述乐曲的演奏。根据以上的方式，能够使时间序列信号的播放追随于利用者进行的乐曲的演奏。

“演奏”是指利用者使音乐进展的动作，是除了通过乐器等设备的操作使该乐器发音的动作(狭义的演奏)以外，还包含利用者对乐曲进行歌唱的动作的广义的概念。通过对利用者的演奏进行解析而确定指示位置(演奏位置)。“演奏的解析”例如通过对表示利用者的演奏的演奏数据进行解析而实现。演奏数据是表示利用者发出的演奏的指示的指示数据(例如MIDI数据)、或表示通过利用者的演奏而发音的音响的波形的音响数据(例如样本序列)。

在方式1的具体例(方式4)中，所述控制部包含：确定部，其对所述时间序列信号之中的与所述指示位置相对应的播放位置进行确定；以及播放部，其通过使播放装置对所述时间序列信号之中的与所述播放位置对应的部分进行播放而执行所述时间伸缩。根据以上的方式，通过使播放装置对时间序列信号之中的与播放位置对应的部分进行播放，实现追随于指示位置的变化的时间序列信号的时间伸缩。“播放位置”是时间序列信号的时间轴上的位置。

在方式4的具体例(方式5)中，所述取得部针对时间轴上的多个时间点各自而依次确定所述指示位置，所述确定部在时间轴上的多个处理期间各自中，通过执行路径搜索而对该处理期间之中的至少一部分的期间内的与不同的时间点对应的2个以上的播放位置的时间序列进行确定，所述路径搜索应用了针对所述多个时间点之中的该处理期间内的2个以上的时间点而分别确定出的2个以上的指示位置和与所述时间序列信号的特性相对应的搜索条件，所述播放部使所述播放装置对所述时间序列信号之中的与所述2个以上的播放位置各自对应的部分进行播放。根据以上的方式，对2个以上的播放位置的时间序列进行确定的路径搜索针对时间轴上的每个处理期间而执行，因此例如即使在指示位置的移动的速度不规则地变动的情况下，也能够确定高精度地追随于来自利用者的指示的播放位置。

在方式5的具体例(方式6)中，所述处理期间是所述多个时间点之中的第1时间点和位于所述第1时间点的后方的第2时间点之间的期间，所述处理期间之中的所述至少一部分的期间是从所述第1时间点至所述第1时间点和所述第2时间点之间的第3时间点为止的解析期间。根据以上的方式，从第1时间点至第3时间点为止的解析期间内的2个以上的播放位置的时间序列是与从第1时间点至第2时间点为止的处理期间内的指示位置的时间序列相对应地进行推定的。因此，能够降低处理期间内的终点附近的期间(例如，从第3时间点至第2时间点为止的期间)的指示位置的推定误差的影响(噪声)。即，与利用处理期间内的指示位置的时间序列而对该处理期间内的全体范围的播放位置的时间序列进行确定的结构相比，能够适当地确定播放位置。

在方式6的具体例(方式7)中，所述搜索条件包含将所述第1时间点的所述播放位置固定于该第1时间点的所述指示位置、将所述第2时间点的所述播放位置固定于该第2时间点的所述指示位置的条件。根据以上的方式，第1时间点的播放位置固定于该第1时间点的指示位置，第2时间点的播放位置固定于该第2时间点的指示位置。因此，降低在解析期间内播放位置从指示位置过度背离的可能性。

在方式5的具体例(方式8)中，所述搜索条件包含所述多个时间点各自的观测似然度，所述观测似然度是将所述时间序列信号在时间轴上划分出的多个单位期间各自属于该时间点的所述播放位置的准确度，所述观测似然度的概率分布由与所述指示位置相对应的平均进行规定。在以上的方式中，应用于路径搜索的观测似然度的概率分布的平均与指示位置相对应地设定。因此，降低在解析期间内播放位置从指示位置过度背离的可能性。

在方式8的具体例(方式9)中，所述时间序列信号是表示所述乐曲的演奏音的音响信号，所述多个时间点之中的所述指示位置与所述音响信号的发音点对应的时间点的所述观测似然度的概率分布由第1方差进行规定，所述多个时间点之中的所述指示位置与所述音响信号的发音点不对应的时间点的所述观测似然度的概率分布由超过所述第1方差的第2方差进行规定。根据以上的方式，针对与音响信号的发音点对应的时间点而利用于播放位置的确定的概率分布的方差(第1方差)小于针对与发音点不对应的时间点而利用于播放位置的确定的概率分布的方差(第2方差)。因此，在属于发音点的时间点，观测似然度成为在与指示位置相对应的数值附近局部地较高的数值。即，在属于发音点的时间点，播放位置与指示位置近似或一致的可能性与播放位置从指示位置背离的可能性相比更高。因此，存在使音响信号的播放容易追随于利用者的演奏的优点。

在方式8或9的具体例(方式10)中，所述搜索条件包含表示所述时间序列信号的特性的变动程度的变动指标，所述观测似然度的概率分布的方差与所述变动指标相对应地进行设定。根据以上的方式，与观测似然度的概率分布相关的方差与时间序列信号的变动指标相对应地进行设定。例如，在时间序列信号之中的特性不稳定地变动的时间点，方差设定为较小的数值，其结果，播放位置与指示位置近似。另一方面，在时间序列信号之中的特性的变动小的时间点，方差设定为较大的数值，其结果，容许从指示位置背离的播放位置的确定。即，能够播放听觉上自然的印象的播放音。

“变动指标”是与时间序列信号的特性的变动程度相对应的任意指标。特性的变动程度例如是特性变动的频次或特性的变动量。因此，变动指标还称为时间序列信号的特性的稳定性或不稳定性的指标。与音响信号相关的变动指标例如表示基本频率或频率特性(例如振幅谱或MFCC)等音响特性的变动程度。与影像信号相关的变动指标例如表示明度等影像特性的变动程度。

在特性的变动程度越大(即，在时间轴上特性越不稳定地变动)则变动指标设定为越大的数值的方式中，变动指标表现为表示特性的变动容易度的指标。另一方面，在特性的变动程度越小(即，在时间轴上特性越稳定地被维持)则变动指标设定为越大的数值的方式中，变动指标表现为表示特性的变动困难度的指标。

在方式4至10的任意者的具体例(方式11)中，所述搜索条件包含转变概率，该转变概率针对将所述时间序列信号在时间轴上划分出的多个单位期间之中的每2个单位期间的组合进行设定，表示所述播放位置在所述2个单位期间之间进行转变的准确度。根据以上的方式，通过应用了时间序列信号2的每2个单位期间的组合的转变概率的路径搜索，能够适当地确定播放位置的时间序列。

“2个单位期间”除了时间轴上的不同的2个单位期间以外，还包含时间轴上的共用的单位期间。在2个单位期间不同的情况下，转变概率是指播放位置在时间轴上进行移动的概率。另一方面，在2个单位期间共用的情况下，转变概率表示播放位置停留于时间轴上的1个单位期间的概率。

在方式11的具体例(方式12)中，所述时间序列信号是表示所述乐曲的演奏音的音响信号，在所述2个单位期间这两者中所述音响信号为无音的情况下的转变概率(第1转变概率)超过在所述2个单位期间的一者或两者中所述音响信号为有音的情况下的转变概率(第2转变概率)。根据以上的方式，与有音期间和无音期间之间的播放位置的转变、或有音期间内的播放位置的转变相比容易发生音响信号之中的无音期间内的播放位置的转变。因此，与有音期间内的播放位置的转变频繁发生的方式相比，能够播放听觉上自然的印象的播放音。

在方式12的具体例(方式13)中，在所述2个单位期间的一者或两者中所述音响信号为有音的情况下的所述转变概率的概率分布，由设定为规定值的平均和与表示所述音响信号的音响特性的变动程度的变动指标相对应的方差进行规定。在以上的方式中，转变概率的概率分布的方差与音响信号的变动指标相对应地进行设定。例如，在音响信号之中的音响特性稳定地被维持的期间中，将转变概率的概率分布的方差设定为较大的数值，其结果，容许播放位置的移动速度从规定值背离。另一方面，在音响信号之中的音响特性不稳定地变动的期间内，转变概率的概率分布的方差设定为较小的数值，其结果，播放位置的移动速度接近规定值。即，音响信号的音响特性稳定地被维持的期间在时间轴上容易伸缩，音响特性不稳定地变动的期间难以伸缩。因此，能够播放听觉上自然的印象的播放音。

在方式11至13的任意者的具体例(方式14)中，所述播放位置停留于将所述音响信号通过多个发音点在时间轴上划分出的多个发音间期间之中的第1发音间期间的最后的时间点的转变概率，超过所述播放位置从该最后的时间点转变为所述第1发音间期间的后一个第2发音间期间内的时间点的转变概率。在以上的方式中，抑制了跨越发音点的播放位置的转变，因此降低与1个发音点对应的音响成分被反复播放的可能性。即，能够生成听觉上自然的印象的播放音。

在方式4至14的任意者的具体例(方式15)中，所述指示位置是通过由所述取得部对所述利用者进行的所述乐曲的演奏进行解析而推定出的演奏位置。根据以上的方式，确定出利用者的乐曲的演奏位置作为指示位置。因此，能够使由播放装置进行的时间序列信号的播放追随于利用者进行的乐曲的演奏。

在方式15的具体例(方式16)中，所述播放部在所述演奏的第1时间点发生了第1操作、在经过所述第1时间点后的第2时间点发生了第2操作的情况下，选择使所述第1操作的强度从所述第1时间点至所述第2时间点为止随时间减小的第1强度和所述第2操作的第2强度之中较大的一者(即，最大值)，作为所述第2时间点的操作强度，与所述操作强度相对应地对所述时间序列信号的播放音的音量进行控制。在以上的方式中，与包含使第1操作的强度直至第2时间点为止随时间减小的第1强度和第2时间点的第2操作的第2强度在内的多个强度的最大值(控制值)相对应地，控制音响信号的播放音的音量。因此，例如即使在第2强度与第1强度相比充分小的情况下，在使第1强度直至第2时间点为止随时间减小的第1强度充分大的情况下，播放音的音量充分地得到维持。因此，与每个操作的强度相对应地对播放音的音量进行控制的结构相比，能够针对利用者的演奏而适当地对播放音的音量进行控制。

本发明的一个方式(方式17)涉及的信号处理方法是使播放装置追随于乐曲的播放而对时间序列信号进行播放的方法，其中，取得所述乐曲的播放中的由利用者指示的指示位置，与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

在方式17的具体例(方式18)中，所述时间序列信号是表示音响或影像的信号，在所述指示位置的取得中，按照时间经过而取得多个指示位置，在所述时间伸缩中，通过路径搜索而执行所述时间伸缩，所述路径搜索应用了所述多个指示位置之中的不同的2个以上的指示位置和与所述时间序列信号的特性相对应的搜索条件。乐曲的播放例如是利用者进行的所述乐曲的演奏。

本发明的一个方式(方式20)涉及的程序用于使播放装置追随于乐曲的播放而对时间序列信号进行播放，所述程序使计算机作为下述功能部起作用：取得部，其取得所述乐曲的播放中的由利用者指示的指示位置；以及控制部，其与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

标号的说明

100…演奏系统，10…键盘乐器，20…信号处理系统，21…控制装置，22…存储装置，23…放音装置，31…解析部，32…取得部，33…控制部，331…确定部，332…播放部。

Claims (20)

1.一种信号处理系统，其使播放装置追随于乐曲的播放而对时间序列信号进行播放，

在该信号处理系统中，具有：

取得部，其取得所述乐曲的播放中的由利用者指示的指示位置；以及

控制部，其与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

2.根据权利要求1所述的信号处理系统，其中，

所述时间序列信号是表示音响或影像的信号，

所述取得部按照时间经过而取得多个指示位置，

所述控制部通过路径搜索而执行所述时间伸缩，所述路径搜索应用了所述多个指示位置之中的不同的2个以上的指示位置和与所述时间序列信号的特性相对应的搜索条件。

3.根据权利要求1或2所述的信号处理系统，其中，

所述乐曲的播放是所述利用者进行的所述乐曲的演奏。

4.根据权利要求1所述的信号处理系统，其中，

所述控制部包含：

确定部，其对所述时间序列信号之中的与所述指示位置相对应的播放位置进行确定；以及

播放部，其通过使播放装置对所述时间序列信号之中的与所述播放位置对应的部分进行播放而执行所述时间伸缩。

5.根据权利要求4所述的信号处理系统，其中，

所述取得部针对时间轴上的多个时间点各自而依次确定所述指示位置，

所述确定部在时间轴上的多个处理期间各自中，通过执行路径搜索而对该处理期间之中的至少一部分的期间内的与不同的时间点对应的2个以上的播放位置的时间序列进行确定，所述路径搜索应用了针对所述多个时间点之中的该处理期间内的2个以上的时间点而分别确定出的2个以上的指示位置和与所述时间序列信号的特性相对应的搜索条件，

所述播放部使所述播放装置对所述时间序列信号之中的与所述2个以上的播放位置各自对应的部分进行播放。

6.根据权利要求5所述的信号处理系统，其中，

所述处理期间是所述多个时间点之中的第1时间点和位于所述第1时间点的后方的第2时间点之间的期间，

所述处理期间之中的所述至少一部分的期间是从所述第1时间点至所述第1时间点和所述第2时间点之间的第3时间点为止的解析期间。

7.根据权利要求6所述的信号处理系统，其中，

所述搜索条件包含将所述第1时间点的所述播放位置固定于该第1时间点的所述指示位置、将所述第2时间点的所述播放位置固定于该第2时间点的所述指示位置的条件。

8.根据权利要求5所述的信号处理系统，其中，

所述搜索条件包含所述多个时间点各自的观测似然度，

所述观测似然度是将所述时间序列信号在时间轴上划分出的多个单位期间各自属于该时间点的所述播放位置的准确度，

所述观测似然度的概率分布由与所述指示位置相对应的平均进行规定。

9.根据权利要求8所述的信号处理系统，其中，

所述时间序列信号是表示所述乐曲的演奏音的音响信号，

所述多个时间点之中的所述指示位置与所述音响信号的发音点对应的时间点的所述观测似然度的概率分布由第1方差进行规定，

所述多个时间点之中的所述指示位置与所述音响信号的发音点不对应的时间点的所述观测似然度的概率分布由第2方差进行规定，该第2方差超过所述第1方差。

10.根据权利要求8或9所述的信号处理系统，其中，

所述搜索条件包含表示所述时间序列信号的特性的变动程度的变动指标，

所述观测似然度的概率分布的方差与所述变动指标相对应地进行设定。

11.根据权利要求5至10中任一项所述的信号处理系统，其中，

所述搜索条件包含转变概率，该转变概率针对将所述时间序列信号在时间轴上划分出的多个单位期间之中的每2个单位期间的组合进行设定，表示所述播放位置在所述2个单位期间之间进行转变的准确度。

12.根据权利要求11所述的信号处理系统，其中，

所述时间序列信号是表示所述乐曲的演奏音的音响信号，

在所述2个单位期间这两者中所述音响信号为无音的情况下的转变概率超过在所述2个单位期间的一者或两者中所述音响信号为有音的情况下的转变概率。

13.根据权利要求12所述的信号处理系统，其中，

在所述2个单位期间的一者或两者中所述音响信号为有音的情况的所述转变概率的概率分布，由设定为规定值的平均和与表示所述音响信号的音响特性的变动程度的变动指标相对应的方差进行规定。

14.根据权利要求11至13中任一项所述的信号处理系统，其中，

所述播放位置停留于将所述音响信号通过多个发音点在时间轴上划分出的多个发音间期间之中的第1发音间期间的最后的时间点的转变概率，超过所述播放位置从该最后的时间点转变为所述第1发音间期间的后一个第2发音间期间内的时间点的转变概率。

15.根据权利要求4至14中任一项所述的信号处理系统，其中，

所述指示位置是通过由所述取得部对所述利用者进行的所述乐曲的演奏进行解析而推定出的演奏位置。

16.根据权利要求15所述的信号处理系统，其中，

所述播放部在所述演奏的第1时间点发生了第1操作、在经过所述第1时间点后的第2时间点发生了第2操作的情况下，选择使所述第1操作的强度从所述第1时间点至所述第2时间点为止随时间减小的第1强度和所述第2操作的第2强度之中较大的一者，作为所述第2时间点的操作强度，

与所述操作强度相对应地对所述时间序列信号的播放音的音量进行控制。

17.一种信号处理方法，其是使播放装置追随于乐曲的播放而对时间序列信号进行播放的方法，

该信号处理方法是由计算机实现的，

取得所述乐曲的播放中的由利用者指示的指示位置，

与所述指示位置相对应地执行所述时间序列信号的时间伸缩。

18.根据权利要求17所述的信号处理方法，其中，

所述时间序列信号是表示音响或影像的信号，

在所述指示位置的取得中，按照时间经过而取得多个指示位置，

在所述时间伸缩中，通过路径搜索而执行所述时间伸缩，所述路径搜索应用了所述多个指示位置之中的不同的2个以上的指示位置和与所述时间序列信号的特性相对应的搜索条件。

19.根据权利要求17或18所述的信号处理方法，其中，

所述乐曲的播放是所述利用者进行的所述乐曲的演奏。

20.一种程序，其用于使播放装置追随于乐曲的播放而对时间序列信号进行播放，

该程序使计算机作为下述功能部起作用：

取得部，其取得所述乐曲的播放中的由利用者指示的指示位置；以及

控制部，其与所述指示位置相对应地执行所述时间序列信号的时间伸缩。