CN110958899B - 用于重复性运动活动的增强性音乐 - Google Patents

Abstract

一种提供重复性运动治疗的方法，所述方法包括：提供对音频内容的访问；选择用于传送到患者的音频内容；对选定音频内容进行分析，所述分析识别所述选定音频内容的音频特征，并且提取所述选定音频内容的节奏性特征和结构性特征；对所述选定音频内容进行同步化适宜性分析；向所述选定音频内容生成一个或多个同步化辅助提示，所述一个或多个辅助提示包含添加到所述音频内容中的声音；在播放所述选定音频内容的同时将所述辅助提示应用于所述音频内容；评估对所述患者的治疗效果，其中当检测到治疗阈值时，所述选定音频内容继续播放，而当未检测到治疗阈值时，选择第二音频内容传送到所述患者。

Description

用于重复性运动活动的增强性音乐

相关申请的交叉引用

本申请根据35 USC 119(e)要求于2017年7月24日提交的临时申请第62/536,264号的权益和优先权，所述申请的全部内容并入本文。

技术领域

音乐同时增强了多个大脑区域。生理学研究表明，听觉节奏对运动系统具有深远影响。证据证明，听觉和运动系统在皮层水平、皮层下水平和脊髓水平上具有强连通性。在实践中，这种现象被称为同步化(entrainment)。由于认识到这些联系的丰富性，大量的临床研究已经研究了节奏和音乐通过神经学运动疗法对患有脑损伤的患者产生功能性变化的有效性。

自从这种疗法被正式开发以来，已经进行了大量研究来在临床上测试其有效性。一项针对发生脑血管意外的中风患者的研究旨在了解节奏性听觉刺激(RAS)对患者步态模式的影响。在建立6米的基线步行之后，将随后的步行试验与RAS相匹配。结果表明，大多数患者出现了听觉-运动同步。在RAS下，患者的步幅对称性和步幅长度明显改善(p<0.05)。而且，在患者的肌电图(EMG)记录中，轻瘫侧的肌肉活化得到改善。

在另一项研究中，中风患者经历了RAS治疗并且中风患者使用传统的物理疗法进行步态训练。结果表明，RAS组的步态速度和步幅长度明显改善。所述患者的步态速度提高了165％，而对照组提高了107％。此外，帕金森病患者在经历音乐治疗之后，其运动迟缓症状明显改善(p<0.0001)。已经分析了刺激性节奏的音乐对帕金森病患者的协调性的影响，并且在进行了3周的这种节奏性音乐治疗之后，患者展示出较长的步幅长度以及平均提高了25％的步态速度。

对患有帕金森病的患者的步态模式的节奏性听觉促进的研究示出了一致的步态改善。研究表明，加快音乐中的节奏显著提高了步态速度、节奏和步幅长度。这进一步验证了听觉节奏通过听觉和运动系统的节奏性联结来改善步态的有效性。与对照患者相比，经历音乐治疗的那些患者具有明显的改善，两组之间的EEG比较显示，经历神经学音乐治疗(NMT)的患者的皮层连接性更高且运动皮层被进一步激活。

还已经表明，由于通过网状脊髓连接的听觉-运动通路的存在，节奏在脑干水平上增强了大脑。已经通过脑桥核示出了小脑中的听觉投射。另外，下丘体是上升的听觉通路之一，其穿过丘脑到达基底神经节纹状体。基底神经节维持对皮层结构的关键投射，所述皮层结构包含辅助运动皮层和前运动皮层。而且，听觉联想区域投射回基底神经节会影响时序和顺序选择的功能。Moore等人2017年的研究证明了，通过提供由音乐提示的运动训练，促进了被称为弓形束的大脑区域的增厚和变化，所述大脑区域在运动计划中起着重要作用(Moore等人，2017年)。这些过程和通路证明了音乐疗法中的听觉节奏对运动输出的重大影响。

在整个历史中，音乐已被证明是一种跨文化的通用语言(Blacking，1976年)，并且具有向听众传达情感上的显著性而不受语言内容影响的能力。已经表明，即使在严重的脑外伤中，情感上显著的信息也能引起最大的行为改变。(Boly等人，2004年；Perrin等人，2006年；Machado等人，2007年)。最近的一项研究表明，与其它听觉输入(包含即兴的音乐、不喜欢的音乐、白色噪声和沉默)相比，在健康人和植物人中，现场优选音乐在唤醒和意识方面产生的认知反应水平最高(O'Kelly等人，2013年)。

本领域需要一种在疗程中使用音乐以通过诱导身体活动与音乐作品的同步化来改善某些身体功能(如步态、大肌肉群活动技能、节奏性言语、敏捷度、呼吸等)的技术。提供了一种技术，所述技术分析音频文件(如用户的优选音乐)、提取突出的音乐特征、确定所述音频文件在疗程中使用的适宜性并在必要时增强如节奏稳定性和节拍强度等同步化适宜性因子，以使所述音频文件能够在疗程中使用。

“节奏稳定性”是综合得分，所述综合得分将速度、拍号/拍子和节奏模式的变化考虑在内。“节拍强度”是指在节拍中出现的声音的感知响度(听众自然随音乐拍打的速率)，并以均方根(RMS)能量进行度量。拍子通常(但不一定)在打击乐器(如鼓)中进行。这些和其它适宜性因子将在第2节：同步化适宜性中进一步探讨。

录制的音乐通常含有动态方面，如变化的速度和拍号、节奏脉动弱或不存在节奏脉动的部分、渐进/渐出、切分音等，并且从头到尾很少具有同质且静态的特征。这些是富有表现力的音乐表演的固有组成部分，但在用于同步化时也会带来各种挑战。从最简单的角度来说，有效RAS刺激是以期望的速度以均匀的节拍间隔播放咔嚓声的节拍器；可能会让听众联想到优选音乐的有效但缺乏趣味性的音乐特征。同样，用于重复性运动活动的理想音乐选集也具有恒定、均匀的节拍间隔(在静态速度下)和强劲的节拍强度，如迈克尔杰克逊(Michael Jackson)的“比利吉恩(Billie Jean)”或马克荣森(Mark Ronson)的“上城放克乐(Uptown Funk)”。同步较弱的歌曲(“歌曲”被定义为长度不为零的音频内容)包含缺乏可辨别的节奏的歌曲(布莱尔伊诺(Brian Eno)的“星空下(Under Stars)”)或含有突然的速度调制的歌曲(保罗麦卡特尼(Paul McCartney)和风翼乐队(Wings)的“逃亡乐队(Band onthe Run)”)。另外，某些类型含有可识别的宏观趋势，所述宏观趋势可以提供分类数据(例如，嘻哈音乐通常被记录到鼓机上，因此提供较小的速度变化)。即使本文所述的技术在可寻址范围内包含这些复杂性，但其仍能够操纵用户的优选音乐以提高所述音乐对治疗疗程的适宜性。例如，通过辅助提示或音频信号的增强，可以改善音乐的节奏稳定性，以用于治疗性活动。

发明内容

所公开的主题的目的和优点将在以下说明中进行阐述并从中变得明显，并且将通过对所公开的主题的实践而获知。将通过在书面说明及其权利要求书以及附图中特别指出的方法和系统来实现和获得所公开的主题的另外的优点。

为了实现这些优点和其它优点并且根据所公开的主题的目的，如具体实施的和广泛描述的，所公开的主题包含一种提供重复性运动治疗的方法，所述方法包括：提供对音频内容的访问；选择用于传送到患者的音频内容；对选定音频内容进行分析，所述分析识别所述选定音频内容的音频特征，并且提取所述选定音频内容的节奏性特征和结构性特征；对所述选定音频内容进行同步化适宜性分析；向所述选定音频内容生成一个或多个同步化辅助提示，所述一个或多个辅助提示包含添加到所述音频内容中的声音；在播放所述选定音频内容的同时将所述辅助提示应用于所述音频内容；评估对所述患者的治疗效果，其中当检测到治疗阈值时，所述选定音频内容继续播放，而当未检测到治疗阈值时，选择第二音频内容传送到所述患者。

在一些实施例中，所述方法进一步包括更新音频内容存储库以整合来自评估步骤的反馈。

在一些实施例中，对所述选定音频内容进行分析包含向节拍跟踪算法提供边界。

在一些实施例中，所述音频内容包含音乐并且所述边界是音乐类型的速度的平均数。

在一些实施例中，对所述音频内容进行分析包含应用起音点检测函数(ODF)，以及将每个ODF的结果关联到音频信号的节拍时间。

在一些实施例中，所述方法进一步包含生成对所述选定音频内容的一个或多个修改，其中至少一个修改包含对所述音频内容的时序进行调整。

在一些实施例中，将所述音频内容流式传输给所述患者。

在一些实施例中，一种提供重复性运动治疗的方法包括：提供音频内容存储库；选择用于传送到患者的音频内容；对所述选定音频内容进行分析，所述分析识别所述选定音频内容的高级特征和低级特征；所述分析确定所述选定音频内容的速度；

对所述选定音频内容进行同步化分析，所述同步化分析将适宜性得分分配给多个音乐方面；向所述选定音频内容生成一个或多个同步化辅助提示，所述一个或多个辅助提示包含添加到所述选定音频内容中的声音；在播放所述选定音频内容的同时将所述一个或多个辅助提示应用于所述音频文件；评估对所述患者的治疗效果，其中当检测到治疗阈值时，所述选定音频内容继续播放，而当未检测到治疗阈值时，选择第二音频内容选集传送到所述患者；以及更新音频内容数据库以整合来自评估步骤的反馈。

在一些实施例中，所述同步化分析确定以下中的至少一项的同步化适宜性得分：平均速度、节拍强度、节拍时间置信度、节奏稳定性、拍号、速度感知置信度或有效持续时间。

在一些实施例中，生成一个或多个同步化辅助提示包含在所述选定音频内容的每一节拍上播放的单拍音乐提示。

在一些实施例中，将所述音乐提示传送到所述患者的单个耳朵中。

在一些实施例中，将所述音乐提示添加到所述音频内容的表现出低节奏稳定性的小节中。

在一些实施例中，所述方法进一步包括生成对所述选定音频内容的一个或多个修改，其中至少一个修改包含对所述音频内容的时序进行调整。

在一些实施例中，生成对第一音频内容的一个或多个修改包含向所述音频内容提供鼓加强。

在一些实施例中，生成对所述第一音频内容的一个或多个修改包含向所述音频内容提供结构性修改。

在一些实施例中，提供重复性运动治疗的方法包括：提供音频内容存储库；选择用于传送到患者的音频内容；对所述选定音频内容进行分析，所述分析识别所述音频内容的高级特征和低级特征；所述分析确定所述音频内容的速度；对所述音频内容进行同步化分析，所述同步化分析将适宜性得分分配给包含以下中的至少一项的方面：平均速度；速度变化；速度感知；拍号；节奏模式变化；贯穿所述音频内容的多个小节处的节奏部分的检测；以及第一个节拍和最后一个节拍在所述音频内容中的位置；向所述音频内容生成一个或多个同步化辅助提示，所述一个或多个辅助提示包含添加到所述音频内容中的声音，所添加的声音包含以下中的至少一项：在所述音频内容的四分之一音符上播放的单个敲击声；在所述音频内容的节拍及其细分节拍上播放的敲击声；与所述音频内容同步的鼓模式；以及对所述音频内容的节拍进行计数的语音。

在一些实施例中，所述重复性运动包含步行。

在一些实施例中，所述方法进一步包括基于患者节奏与所述音频内容的速度的关联性，将可同步性得分分配给所述音频内容。

在一些实施例中，在将一个或多个同步化辅助提示应用于所述音频内容之前和之后，确定可同步性得分。

应当理解，前文一般描述和下文详细描述均是示例性的，并且旨在提供对所要求保护的公开的主题的进一步解释。

包含了被纳入本说明书中且构成本说明书中的部分的附图，以展示所公开主题的方法和系统并提供对所公开主题的方法和系统的进一步理解。这些附图与说明一起用于解释所公开主题的原理。

附图说明

参考在下文中简要描述的附图提供了本文所述主题的各个方面、特征和实施例的详细描述。附图是说明性的并且不一定按比例绘制，为清楚起见放大了一些组件和特征。附图展示了本主题的各个方面和特征，并且可以全部或部分地说明本主题的一个或多个实施例或实例。

图1是根据本公开的计算机生成的分析的示例性实施例的流程图。

图2是根据本公开的用户验证的分析的示例性实施例的流程图。

图3是根据本公开的起音点检测和节拍跟踪的示例性实施例的流程图。

图4是根据本公开的同步化适宜性的示例性实施例的流程图。

图5是根据本公开的节拍强度的描绘。

图6是根据本公开的高节奏普遍性的描绘。

图7是根据本公开的低节奏普遍性的描绘。

图8是在播放迈克尔杰克逊的“比利吉恩”的示例性实施例期间的低速度移位(良好)的描绘。

图9是在播放比约克(Bjork)的“共同核心(Mutual Core)”的示例性实施例期间的高速度移位(不良)的描绘。

图10是根据本公开的示例性速度调制的描绘。

图11是根据本公开的不带辅助提示的示例性患者活动的描绘。

图12是根据本公开的带有辅助提示的示例性患者活动的描绘。

图13是根据本公开的在疗程期间生成辅助提示的示例性实施例的描绘。

图14是根据本公开的在节拍时间的敲击提示的示例性添加的描绘。

图15是根据本公开的鼓循环(预先量化)的示例性实施例的描绘。

图16是根据本公开的鼓循环(具有预先节拍量化)的示例性实施例的描绘。

图17是根据本公开的结构性修改的示例性实施例的描绘。

图18-23是根据本公开的各种治疗性活动的示例性实施例。

图24是根据本公开的机器学习模型创建过程的示例性实施例的描绘。

图25-34是根据本公开的小波变换的示例性实施例的描绘。

具体实施方式

现在将详细参考所公开的主题的示例性实施例，在附图中展示所述示例性实施例的实例。将结合对系统的详细描述来描述所公开的主题的方法和相应步骤。

所描述的过程可以遵循图1和图2中示出的两个不同步骤以及所述两个过程的组合。第一个过程是“计算机生成的分析”并且第二个过程是“用户驱动的分析”。

参考图1，“计算机生成的分析”具有以下步骤：

1.分析音频文件以获得高级特征和低级特征(1)

2.使用音频分析的结果以确定歌曲适用于同步化的程度(2)

3.使用音频分析和同步化适宜性分析以生成对音频的辅助的增强和/或修改(3)

4.将辅助的增强应用于现场同步化疗程，从而(如有必要)实时获得另外的辅助提示(4)

5.从结果中学习(机器学习后端)(5)

参考图2，“用户验证的分析”具有以下步骤：分析音频文件以获得高级特征和低级特征。使用用户选择的处于其原始状态(没有提示或修改)的音乐来运行疗程。如果用户能够与处于其原始状态的音乐同步，则无需修改；继续使用这首歌曲。如果用户无法与这首歌曲同步，则继续进行同步化适宜性步骤3-4以应用一个或多个适当的增强。记录来自疗程的数据以从结果中学习(5)。

(1)音频分析

高级分析

音频分析过程从提取关于唱片的高级情景信息(如类型、年份和来源)开始。可以将此信息应用于较低级别的分析(如下所述)，以通过考虑如何感知音乐来帮助产生更准确的结果。例如，其可以：

·基于类型的平均速度向节拍跟踪算法(参见下文的“节拍跟踪技术”)提供速度提示或所允许的速度上界和速度下界。例如，摇滚类型的歌曲通常具有重音8分音符小鼓弱拍，听者可能将所述弱拍感知为快进感觉。例如，约翰尼卡什(Johnny Cash)的“火圈(Ringof Fire)”可能被感知为105BPM或210BPM，并且了解类型情景可以引导节拍跟踪器选择处于典型的步行节奏范围内的较慢选项；

·例如，如果类型通常含有弱节拍强度、不规则拍号、低节奏稳定性(例如背景音乐、古典音乐、试验音乐)，则将歌曲标记为潜在地有问题的歌曲；

·基于类型惯例进行更准确的节拍跟踪和强拍估计。例如，在雷鬼音乐(reggae)中，节拍2和4通常比节拍1和3的音重。在这种情景下，告知节拍跟踪器寻找这些可能以其它方式被忽略的弱节拍。另一方面，在摇滚乐和流行乐中，强拍通常是在节拍2和4上而不在节拍1和3上；并且

·应用其它音乐分析规则，如起音点检测函数权重和信号预处理(参考下文的“节拍跟踪技术”)；

在扩充/增强步骤(下文)中，了解类型也可能是有用的，因为可以生成适合于情景的音乐提示。

另外，如果分析返回较低的同步化适宜性得分，了解用户的优选类型将允许推荐具有较高同步化适宜性得分的类似内容作为替代性选择。

用于获得高级别歌曲数据的方法包含：

·使用对如MFCC(梅尔频率倒谱系数)等一个或多个相关提取特征进行分析的经训练的分类模型(ML)；

·音频指纹识别服务(Gracenote、ARCloud、AcoustID等)；

·第三方音乐API元数据(Spotify、deezer等)；以及

·用户提供的元数据。

低级分析

为了进行音乐特征的提取，系统采用来自音乐信息检索(MIR)领域的信号处理技术。所述领域是旨在为音乐特征的自动化注释提供解决方案的活跃的研究领域，所述音乐特征包含音调、歌曲结构、速度、拍子、响度和节拍时间。此系统主要涉及到节奏、结构和能量特征的分析，因为这些是判断歌曲能否作为稳定且强劲的RAS刺激的最重要指标。在分析阶段期间提取的特征包含：

节奏性特征：

·平均速度(BPM)

·最小速度和最大速度(BPM)

·整首歌曲的局部速度值(瞬时BPM)

·节拍时间(MM:SS:MS值的升序列表，置信度值为(0.0-5.3))

·节拍响度(在节拍时间的RMS能量)

·小节强拍时间(对应于每一小节节拍的MM:SS:MS值的升序列表)

·一个或多个拍号(2/4、3/4、4/4、6/8等，以及其一个或多个MM:SS:MS时间范围)；

结构性特征：

·歌曲小节时间(一个或多个MM:SS:MS时间范围)；

·持续时间(MM:SS:MS)；

·第一个强拍的时间(MM:SS:MS)；

·最后一个强拍的时间(MM:SS:MS)；

·静音的检测(一个或多个MM:SS:MS时间范围)

·渐进/渐出小节的检测(一个或多个MM:SS:MS时间范围)

音频信号

·立体声音频文件(％)的左/右声道平衡(RMSE)。

节拍跟踪技术

节拍跟踪是提取节拍在歌曲中发生的时间(即人类听者直觉地伴着音乐用脚打拍子(或与音乐同步)的时刻)的列表的过程。这是系统的分析流水线中的关键部分，因为需要了解这些时间来测量患者如何有关于音乐的节拍行走(参见第4节：“运行同步化疗程”)。节拍跟踪系统通常分多个阶段实施：(1)起音点(本文中定义为正在播放的音乐事件(如音符或鼓声)变得可感知的时刻)的检测，接着是(2)分析阶段，所述分析阶段通过找到具有最显著周期性的起音点来确定起音点中哪一个是在节拍上发生的。

可以使用被称为起音点检测函数(ODF)的新颖函数在信号中检测起音点。在本领域中使用的大多数ODF通过识别跨频带的能量(频谱能量)的快速上升来检测起音点，所述频谱能量的快速上升通过窗口化分析方法(如短时傅里叶变换(STFT)或小波变换)将原始信号(时域)转换为时频域而完成。还存在其它方法，所述其它方法包含检测RMS能量波动(时域)。ODF在不同类型的信号上表现最佳，并且由于歌曲与歌曲之间固有的差异，因此不存在单个“最佳”的单独ODF能在所有情境下准确地检测起音点；音频信号可以代表单声道或多声道演奏，并且可以是敲击的、非敲击的、声调敲击的或声调非敲击的。例如，基于RMS能量的方法可能对具有明显敲击瞬变的单声道信号有效，但在更复杂的多声道信号和不具有强烈瞬变的信号上则表现较差。另一方面，基于频谱能量的ODF在计算上更昂贵，但能够有效地检测多声道信号中的起音点或不具有每个音符起始处的攻击/瞬变(即连奏音乐表演中的连音符)的低能量起音点。所述ODF对此系统特别重要，因为其允许在节拍强度低的优选音乐中检测起音点，并且一旦已经从这些检测中确定出节拍时间，就可以改善节拍强度(参见第3节：音轨增强)。关于示例ODF方法的更多信息，参见附录A：使用DWT(离散小波变换)的节拍检测实例。

此系统实施了一种使用ODF集合的灵活方法，每个ODF并行或顺序地生成其自身的检测集。这种自适应方法优于对单个ODF的依赖，并且允许在不需要人工注释的真值(ground truth)节拍估计值的情况下计算置信度小节。使用的ODF包含：频谱通量、超通量、RMS能量、高频含量和小波变换。在使用每个ODF处理信号之前，还可以实施任选的预处理步骤，如隔离/滤波某些频率，或将信号分解成单独的谐波/敲击信号并从所述敲击信号中检测起音点。在每个ODF完成其检测后，通过节拍跟踪算法对每组结果进行评估，所述节拍跟踪算法根据观察到的显著周期性估计节拍时间。然后，基于每对节拍之间的时序误差的直方图计算每组节拍时间之间的一致性水平。

基于一组高级别的情景和分析规则对一致性得分进行加权，所述分析规则优先考虑在对具有类似特征的歌曲的先前分析中已被观察到能够产生较高准确性的技术。例如，当分析来自可能含有显著弱拍的类型的音乐(如早期R&B、摇滚乐、斯卡(ska)、非洲流行乐(Afropop)等)时，使用能够检测音调变化的ODF(“复杂频谱差异”)比使用检测敲击弱拍的ODF(“高频含量”)观察到了更准确的节拍结果。在这种情况下，因为这些检测是估计节拍时间的基础，所以高频含量ODF更有可能估计实际上在整首歌曲的弱拍上的一组节拍时间。当计算来自候选中的最适节拍时间组时，可以将这一知识用作一系列权重。

这种方法如图3所示。

(2)同步化适宜性分析

以音频分析结果作为输入，分析以下方面，从而发现歌曲的优点和缺点并且计算出同步化适宜性(ES)得分(0.0-1.0)：平均速度、节拍强度、节拍时间置信度、节奏稳定性、拍号(概述性特征)、速度感知置信度和有效持续时间。这些结果将用于确定哪些音轨增强是必需的(如果有的话)。首先对原始音频信号进行ES分析，但是也可以在已应用增强后使用所述ES分析重新分析信号以检查ES得分影响。此技术也可以用于确定信号子段的ES，例如在移除不可用的前奏和收场曲作为结构性修改的一部分之后。

以下是同步化适宜性的等式，而来自分析的值的范围介于0-1之间。介于0.9-1之间的值是最好的，介于0.7-0.9之间的值是可用的，介于0.5-0.7之间的值可能需要预先增强，而小于0.5的值则被拒绝。此等式或此等式的变式用于对不同的音乐片段进行分类。拍号或平均速度数字表示为二进制0或1，这取决于这些数字是否在限定的边界中。在求和时，由y1、y2、y3、......yX表示的数字相加等于1，并且可以根据其它情景信息而变化。其它变量表示为0到1之间的范围，其中最佳值等于1并且最差值等于0。等式如下：

(拍号)*(平均速度)*(y1*节拍强度+y2*节拍时间置信度+y3*节奏稳定性+y4*速度感知+y5*节奏普遍性+y6*有效持续时间)

在描述同步化适宜性的图4中进一步定义了同步化适宜性等式的方面。

平均速度

以每分钟的节拍数(BPM)测量歌曲的平均速度。平均速度除了是重要的ES因子之外，其也是选择用于RAS疗程中的音乐的有用的选择标准。虽然此系统能够任意地对音乐进行时间扩展，但是音乐从其自然速度扩展得越远，效果就变得更加可感知，其中在歌曲的自然速度的20％内观察到最佳结果。因此，当选择用于RAS疗程的音乐时，自然速度理想地位于疗程节奏范围的20％以内。

平均速度介于60-130之间(典型的同步化范围)的歌曲的得分为1.0。在这些边界之外，得分呈对数地减少到20BPM，其中分配给40和150的得分为0.0。

增强策略：可以通过恒定因子对音乐进行时移，从而使平均BPM达到同步化范围或到达到用户的目标同步化节奏。

节拍强度

如图5描绘的，在检测到的节拍时间(歌曲中位)处的RMSE线性地缩放到0.0-1.0。更显著感知到的节拍响度更适合作为RAS刺激，其通常指示正通过打击乐部分播放的节拍。1是最大强度，0是最小强度。

以下实例(迈克尔杰克逊的“比利吉恩”)是如敲击频谱图内的能量所指示的高节拍强度的实例(将信号的敲击成分显示为能量竖直跨越多个频率点的瞬间)。

增强策略：在第3节中详细讨论了节拍强度的增强策略。这些策略包含在节拍时间添加音乐提示。

节拍时间置信度

基于源自每组ODF检测的节拍之间的一致性水平，从音乐分析的节拍跟踪阶段返回节拍时间置信度。由于多种方法检测到类似的显著节奏性脉冲，所以得分越高则适宜性越好，这通常表明歌曲具有明确的节奏性特征和时序特征。

节拍时间置信度得分映射到ES得分值，如下所示：0.0-1.5被认为是低置信度并且分配给其的得分为0。1.5-3.5指示良好置信度并且分配给其的得分为0.5。3.5-5.3指示最佳置信度并且分配给其的得分为1.0。

增强策略：作为(重新)分析和节拍跟踪改进(如ODF权重和预处理步骤)的意外的连带后果，置信度得分可能提高。

拍号

歌曲的平均拍号(概述性特征)。对于本质上是二段式的歌曲，建议使用二拍或四拍(例如，2/4、4/4、6/8)。如果歌曲具有所允许的拍号，则得分为1，否则得分为0。

增强策略：N/A。拍号是歌曲创作的主要部分，并且如果拍号有问题的话，则不应使用所述歌曲。

速度感知一致性

如观察到的用户同步化数据所确定的估计的速度的一致性水平。速度检测中的常见问题是其固有的主观性，并且已知的问题是“八度误差”，在所述“八度误差”中，一些听者检测节拍的速率可能是另一个听者的所述速率的一半或两倍。系统估计的速度应该与人类听者感知的速度相匹配。

潜在值为0或1，其中与速度一致为1，而一半时间和/或两倍时间为0。因为速度感知一致性很大程度上取决于用户观察的数据，所以最有可能在歌曲的重新分析中使用和考虑所述速度感知一致性。

增强策略：随着用户观察到的数据增加，此检测的准确性将提高。

节奏普遍性

存在明显节奏性元素的歌曲持续时间的百分比。因为节奏性部分有效地是RAS刺激，所以所述节奏性部分的存在有利于同步化。节奏性部分从歌曲中消失会打乱音乐流，并且使节拍时间更难被检测到(较低的节拍时间置信度得分)。用于测量歌曲内的普遍性的一种方法是检测敲击频谱图中敲击元素的存在(参见图6-8)。

得分范围为0.0(0％节奏普遍性)到1.0(100％节奏普遍性)。

增强策略：可以将提示添加到具有已知的置信节拍时间但节拍强度较低的小节中，从而提高节奏性部分的总体普遍性。

实例：

如前所述，“上城放克乐”从头到尾含有恒定的敲击部分，并且因此具有1.0的高节奏普遍性得分。特别关注的是敲击频谱图中的高幅度宽带尖峰。即使在尖峰幅度较低的前奏部分中(0:00-0:16)，敲击部分也是存在的并且是可辨别的。

如图9所示，具有低节奏普遍性的歌曲的实例是比约克(BjYork)的“共同核心”。这首歌具有两个截然不同的含有节奏性部分的小节，但是这两个小节仅占306秒的歌曲持续时间中的60秒(20％)，从而产生了0.2的低节奏普遍性得分。

有效持续时间

删除不合适的、不可寻址的小节之后，可用时间量(以秒为单位)必须至少持续60秒。此条件确保不使用极端案例的简短歌曲(汤姆威兹(Tom Waits)的“让我放下它(Let MeDown Up On It)”，其持续时间仅为0:53)，并且确保如果已应用了结构性修改，则存在足够的长度。

如果可用的歌曲持续时间大于或等于最小阈值60秒，则得分为1.0，否则为0.0。

增强策略：N/A。如果音频信号不够长而无法使用，则应使用另一种选择。

节奏稳定性

节奏稳定性是指示歌曲期间的速度/韵律方面的变化量的综合得分(0.0-1.0)，其考虑了速度移位、速度调制、拍号变化和节奏模式变化。

节奏稳定性的值介于0与1之间，其中1为最佳值且而0为最差值。较高的节奏稳定性表示波动较小，并且因此表示更适合在RAS疗程中使用的内容。等式包含乘以所有节奏稳定性因子A1、A2、A3......的相加等于1的x1、x2、x3、......xZ作为权重。A_Z是介于0与1之间的数字。

节奏稳定性＝x1*A1+x2*A2+x2*A3+x3*A3+......xZ*AZ

增强策略：

通过音频量化可以减少速度移位。可以跳过一个或多个有问题的小节，仅使用歌曲的一个或多个合适的小节。

节奏稳定性因子

1.速度移位-A1

其被测量为1.0-偏离中值节拍Δ的所允许的可感知变化范围内的节拍Δ时间的％，其中100％变化的得分为0(1.0-1.0)，而0％变化的得分为1.0(1.0-0.0)。

在任何人类音乐演奏中，一些速度波动是正常的，尤其是当没有使用节拍音轨或计算机排序的伴奏(例如，鼓机、数字音频工作站等)来进行录制时。较大的幅波动将导致速度稳定性得分低。莫比(Moby)的“千(Thousand)”是高速度变化的极端实例，其速度在整首歌期间不断变化，峰值大约为1,000BPM。

以下是可能出现的速度变化平缓的音乐学实例，如图8-图9中所示：

·渐慢(ritardando)：减速

·渐快(accelerando)：加速

·节奏自由(accelerando)：音乐家以自由的速度来表现演奏(速度可能随乐句的变化而波动)

2.速度调制-A2

当歌曲速度突然比原始速度加快或减慢了超过5％时，并且新速度是持续不变的。5％-25％范围内的速度变化被认为可以通过时移来解决：分配给0-5％的变化的得分为1。从5％到25％变化时得分线性下降，其中分配给25％及以上的得分为0。

一种类型的速度调制是“韵律调制”，其中通过将当前节拍或节拍的细分节拍的分组重新关联为另一个脉冲值来改变速度和/或拍子。在拱廊之火乐队(Arcade fire)的“夜幕降临(Here Comes the Night)”中可以听到这个类型的实例，在所述歌曲中，速度突然在4:36时从～95BPM改变为～145BPM，带来的影响是在95BPM下的3/16音符分组变为145BPM下的新四分之一音符(速度加快1.5倍)。

如图10中所示，速度调制的实例(与韵律脉冲无关)在以下保罗麦卡特尼和风翼乐队的“逃亡乐队”的速度谱图中示出。在2:14时，速度突然从81BPM改变为127BPM，加快了57％。线表示局部速度值。在这种情况下，可以做出结构上的修改，使歌曲的一部分可以在疗程中使用，即速度变化之前或之后的时间区域(参见下文第3节中的“结构性修改”)。

3.拍号变化-A3

拍号变化是指歌曲在任何持续时间内从一个拍号移位到另一首中曲。假设歌曲在4/4时间开始，则含有奇数节拍的单个小节(如3/4)将会使二段式乐章的左/右同步性与音乐的相位相反(假设乐句与小节结构对齐)。歌曲中的这种类型的移位是二进制不合格事件并且分配给其的得分为0。分配给不存在拍号变化的得分为1。

甲壳虫乐队(Beatles)的“幸福是一把温暖的枪(Happiness is a Warm Gun)”举例说明了有问题的拍号变化，因为这首歌曲在4/4时间开始，但后来移位到9/8和10/8时间中的交替小节。

4.节奏模式变化-A4

节奏模式变化是歌曲中的相邻模式的相似性的度量，并且可以用如去趋势波动分析(DFA)或前奏和起音点间隔的自相关等技术获得。节奏模式同质性高的歌曲具有更好的节奏稳定性。

给予具有完全同质性(100％)的歌曲的值为1，而给予不具有同质性(0％)的歌曲的值为0。注意，0的值在实践中是不实用的，因为随机同质性通常远大于30％。

可以通过用人员提供的训练数据来告知和编辑上述等式，所述人员按照自己对这些不同参数的观点来标记经分析的数据，对他们是否同意或不同意ES分析进行排序或者提供关于他们将如何按照这些不同参数对歌曲进行评级的详细信息。

(3)音轨增强

通过将音频分析与关于歌曲用于同步化的优点和缺点的知识相结合，可以通过辅助提示的创建、对音频信号的修改和歌曲结构的微小变化来提高歌曲的同步化适宜性。可以同时应用这些策略中的一种或多种策略(例如，提示在音乐被量化时可能覆盖音乐)。参见图1步骤3-4和图2步骤3-4。

音乐提示

广义上讲，“音乐提示”是在播放期间添加的声音，其扩充了原始歌曲。音乐提示的类型包含以下：

·单拍音乐提示，其在每一节拍(四分之一音符)上播放或在每一节拍加细分节拍(如八分音符或十六分音符)上播放。细分的音符可能有助于在缓慢速度下感知节拍之间的时间间隔，并且应该比在节拍上播放的音符弱(无重音)，从而确保所述节拍保持重音。这种提示可以是任何敲击声音，从标准节拍器木鱼或类似克拉维棍(clave)的“咔嚓声”到类型适当的敲击声或低频低音鼓。具有显著瞬变的无音调声音是优选的音色和形状，因为有音调的声音可能会导致使用户对音乐的享受感减损的不和谐音或使声音变得不可感知的弱起音点。可以在知道歌曲音调的情况下使用有音调的声音。

·鼓模式与原始歌曲的播放同步，其被实施为通过MIDI触发的个别节录或音频鼓循环。为了正确地同步长于一个节拍的鼓模式，除了剩余的小节节拍时间之外，必须知道小节-级别(“强拍(downbeat)”)时间。强拍充当锚点，从而使得模式与原始音乐实时同步。强拍也可充当参考点，以便在同步丢失时重新建立与歌曲的同步。

·在播放过程中对节拍进行语音计数或倒数到第一个节拍，从而将速度逐渐灌输给听者(“启动(priming)”)。语音也可以指示用户在开始重复性运动活动之前听一段时间的歌曲。

原始音频信号与前述音乐提示之间的混合平衡根据需要多少辅助而变化。当最初检测到不同步现象时，可以引入少量的提示(低于50％的平衡)，从而将原始音频作为主要刺激。如果所述不同步现象持续，则生成下一个增强，如音频引擎增加所述提示在音乐中的混合百分比的规则。同样，在成功同步一段时间后，可能的规则将是恢复到先前的提示混合级别，此时需要较少辅助。

下图示出了将音乐提示添加到音乐中的影响。

首先，图11示出了要求参与者随着具有低节拍强度的一段音乐的节拍行走的疗程的结果，并计算了其结果的图表(参见第4节)。如表示成功同步边界的水平中心带外的浅灰色圆点所示，准确性较差。在此疗程期间未应用辅助提示。

下一个图(图12)是同一受试者随着同样的歌曲移动，但是按照计算机生成的分析添加了音乐提示以增强节拍信号(参见图1)。如所观察到的，步行者的准确性提高，同时所述步行者还能听到其优选的一段音乐。

下一个图(图13)示出了在同步化疗程期间应用同步化辅助(参见图2)。此图示出了当用户动作不同步时(图B)，所述同步的移动平均数(图A)，如图C所示，当深灰色为良好并且当浅灰色(“NE”指示不同步)时，添加修正并记录所述修正。

可以通过以下方式添加提示：

首先，节拍位置处的音乐提示：在确定节拍信号的位置处添加音乐提示。所述音乐提示的添加提高了音乐信号的强度，从而提高了其用于治疗疗程中的能力。此过程在图14中示出。首先，加载原始音频信号。在这种情况下，原始信号是微弱的，如其较低的整体振幅所示。在这种情况下，简单的预处理步骤是应用归一化，这使信号振幅增加了恒定量。根据归一化的信号估计节拍时间，并且最后在节拍时间添加敲击提示以创建新的复合信号。

如上文在图6中所示，当人难以与节拍同步时，可以在歌曲期间做出添加音乐提示的决定。如上文在图5中所示，如果确定歌曲的节拍强度或节奏稳定性低，也可以提前做出这个决定。

第二，与脚步相同的一侧上的音乐提示：与上文类似，但是只将音乐提示添加到如传感器输入所确定的进行下一个动作的一侧(例如，如果预计迈右脚，则节拍器将在右耳的耳机中播放)。这增加了人的认知负荷，并且改善了人们对所述侧的节拍的感知。

第三，与脚步相反的一侧上的音乐提示：与上文类似，但是将音乐提示添加到与脚步侧相反的一侧的耳朵中。这通过用耳机隔离传送的声音来完成，然而也可以使用高保真环绕立体声系统来进行。其推动力将在下文的附录B“运动、音乐和大脑”中讨论。

第四，具有低节奏稳定性的音乐提示：将音乐提示添加到歌曲中节奏稳定性低的部分中。例如，添加提示以强调强节拍而不是使一些听者在同步情景中分心的切分音。

第五，启动提示：在疗程开始之前，播放报数提示(言语或节拍器)以将节拍逐渐灌输给听者，并且允许听者有效地预测其第一步。也可以实施伴随性语音提示来对节拍进行报数，从而给出与节拍相关的反馈并指示用户等待直到某段节拍完成。

音频信号修改

尽管音乐提示通过叠加另外的声音来扩充现有歌曲，但也可以通过直接处理音频信号来提高适宜性：

首先，通过均衡化(增加和减少谐波频谱中的频率)来强调歌曲的鼓声部分。这在节拍时间置信度低但鼓轨仍然清晰的情况下可能特别有效。可以对音频文件本身进行频率修改和重新渲染，或通过使用疗程的音频引擎将所述频率用作实时EQ。

第二，通过鼓加强技术强调歌曲的鼓声部分，由此，通过被训练成基于频谱内容识别个别鼓声的分类器模型来估计原始音频信号或单独的敲击音源中个别鼓声(底鼓、军鼓、踩钹(high hat)等)出现的时间戳。了解这些鼓声在原始歌曲中出现的时间，就可以生成加强音轨，并将其与原始歌曲混合以提高所播放的原始鼓模式的节拍强度。

第三，重新合成歌曲：提取敲击音源和谐波音源，然后将所述音源重新合成在一起，从而改变平衡来强调敲击音源以增加感知的节拍强度。

第四，量化音频以减少速度的微小波动并使节拍时序更精确。这可以通过将参考节拍位置与理想的恒定节拍时间的底层网格对齐从而对处于不同的韵律参考水平(节拍、小节等)的信号进行时间拉长来完成。例如，在现场鼓演奏中，可以将音频量化以确保低音鼓的敲击准确地出现在第一拍上，而军鼓的敲击准确地出现在第二拍和第四拍上。这在图15和16中举例说明。

观察瞬时BPM(60/节拍2-节拍1)如何受到鼓声部分中节拍时间间隔的变化的影响，首先以慢于目标的速率播放，然后加快。

应用预先节拍量化的过程可以消除这种波动，从而产生如图16所示的“扁平化”速度。

注意，以这种方式编程地改变音乐可能会消除音乐的音槽或“感觉”，并且根据所施加的量化量，用户可能会注意到不同，特别是对于熟悉的音乐。为了在识别出潜在的负面感知影响时适应这种技术，可以不同程度地应用量化(例如，朝着恒定的网格节拍时间进行的25％、50％、75％、100％的时间拉长)。

第五，基于峰值或平均RMS响度对歌曲进行归一化，从而增加信号的响度。这个步骤对于预处理轻柔的歌曲有用，并且使得在疗程播放列表中连续播放的歌曲具有大致相同的响度。基于信号的最大峰值应用归一化将保证歌曲的相对动态不受影响。

第六，如果歌曲含有极端的立体声声相，则缩短立体声图像的宽度(左/右音频信号分布的感知宽度)或者或创建将左声道和右声道结合的单声道混合。具体地，完全左或右混合的鼓声可能会分散注意力或者造成较低的节拍强度，如甲壳虫乐队的“漂泊者(Nowhere Man)”，在这首歌曲中，鼓轨几乎完全混合在左声道中。由于不应该假设所有听者的两只耳朵都具有相等或完全的听力，所以这也是重要的考虑因素。为了解决这个可及性考虑因素，可以将系统配置成逐个用户地混合到单声道。

结构性修改

也可以通过跳过歌曲中不可使用的区域来修改歌曲的结构从而改善同步化适宜性，前提是剩余的持续时间和结构仍然用作合适的刺激。通常，移除的小节出现在歌曲的开头或结尾，以便尽可能地保持歌曲处于其原始形式。不可使用的小节的实例包含：渐进/渐出、静音、如演讲或掌声等非音乐、自由节奏速度、单独的拍号变化以及没有节奏脉冲的小节。

图17中描绘的以下实例示出了如何通过结构性修改来解决同时含有渐进和渐出的歌曲(休易路易斯乐队(Huey Lewis and the News begins)的“时光倒流(Back inTime)”)。首先，在音乐分析期间将这些时间区域检测为RMS能量方向变化的连续序列。如下面的波形图所示，渐进发生在0:00-0:12而渐出发生在4:03-4:19。

可以通过以下方式改善这首歌曲以便在疗程中使用：(1)定位最接近这两个参考点的节拍时间并(2)将其提供给音频引擎作为提示点或者产生跳过这些时间区域的新版本的信号。实际上，歌曲接着会在第一个强节拍(0:12处的强拍)处开始，然后在信号渐变到静音(在4:03处开始)之前结束。

为了确保所述修改与音乐上相关的时序保持一致，必须检测节拍同步的歌曲小节的边界。在低级分析期间，将信号分段成感知上相关的歌曲小节，在摇滚和流行乐类型中，这些小节通常对应于如主歌、副歌、桥段等不同的小节。对于此项任务，可以使用一种基于同质性的方法(如使用MFCC进行聚类)，所述方法可以基于和声、音色和乐器有效地对小节进行分组。此过程作为窗口分析进行，并且因此检测到的分段边界将可能不与所感知的音乐小节的边界完全对齐。事先了解歌曲的节拍时间和拍子结构，就可以将分段边界调整为最接近的节拍或强拍。

可以通过对所产生的小节进行另外的同步化适宜性分析来评估省略一个或多个不可用的小节后的所产生的小节的适宜性。

(4)运行同步化疗程

在同步化疗程中使用的决策系统基于下文的图5-10，其表示其可以应用的许多不同类型的重复性运动活动，但不限于这些重复性运动活动。图示的活动是步行(图18)、大肌肉群运动动作(图19)、有节奏的说话(图20)、灵巧/精细的运动动作(图21)、口腔运动(图22)和呼吸锻炼(图23)。这包含将患者反应与歌曲的节拍进行比较。

这些流程图假设，完成同步化疗程需要传感器组件和系统、边缘处理组件、收集器组件、分析系统和音乐治疗决策中心。可以在各种硬件组件上提供这些组件。例如，在一个实施例中，传感器组件可以被佩戴在患者身上，而在另一个实施例中，所述传感器组件可以是光学测量系统。音乐治疗决策中心可以定位在本地服务器或远程服务器上。所有的组件都可以定位在单独的装置上。

同步化被描述为变量“同步化精度”，其是涉及脚步时间(如传感器系统所测量的)和节拍时间的测量值。这可以被提炼为两个脚步之间的时间相较于两个节拍之间的时间的比率。如图3所示，比率中的值1是可接受范围大约为所述数字的同步，所述图3示出了绿色圆点作为约1范围内的同步的脚步。其之所以存在是因为即使是最训练有素的音乐家也不能完全按照计算机系统计算出的节拍。此范围表示人眼通过观看某个人完成重复性运动活动感知为合拍的范围。节拍因子是用于针对在节拍的细分部分或不同变化处完成的疗程将此同步比率归一化回到1的数字。

在同步化疗程期间，可以由使用音乐进行重复性运动活动的领域中训练有素的人员生成另一数据集，当所述人员认为需要做出改变、同步化精度超出边界或需要注意的其它事项时，可以在数据中做标记。可以将此数据与歌曲一起保存，以便将此内容或类似内容告知未来的分析和同步化辅助提示。

(5)从疗程中学习

概述

通过使用源自特定的一段音乐上的同步化疗程的样本数据，可以使用评分机制衡量歌曲的可同步性(人将节奏和运动与一段音乐的速度相匹配的能力)，所述可同步性是对所述音乐在临床环境或性能增强环境中的有效性进行的一种测量。此外，当此类数据与音乐的其它经测量的属性进行卷积时，可以使用此类数据来创建机器学习算法，所述机器学习算法能够预测可同步性，从而预测未经测试的音乐的临床有效性。

疗程的结果

同步化疗程的一个结果(参见上述第4节-运行同步化疗程)是关于用户进行的每个活动的数据以及音乐中的每个节拍上的数据。对重复性运动的计算可以用于确定活动的所有片段的瞬时节奏，并且节拍数据可以用于确定音乐的所有片段的瞬时速度。将这两个数据集进行卷积会产生瞬时同步，其作为人的动作与音乐的节拍在疗程期间的每个时间点处的关联程度的得分。这可能是用于对疗程进行评分的一个因子。

同步化评分

离散度量用于对整个歌曲以及歌曲的单独定义的小节的可同步性进行评分。这些度量可以包含：

·瞬时同步化(“同步化精度”)

·同步化变化

·持续同步的动作的次数

·导入时间-在用户具有高同步化得分之前的时间量或动作量

采样分层

不同背景或条件的人对不同音乐情景的同步化有不同的倾向。通过对来自不同人群的数据进行适当分类，可以将机器学习算法训练成确定已定义类别的音乐的可同步性。

对音乐扩充的反馈

鉴于已经应用了特定歌曲在音乐增强之前和之后的时序可同步性得分，可以测量算法有效性。这种有效性测量可以向扩充系统提供反馈，并且确定扩充系统可以用来进一步扩充音乐以创建更同步的歌曲的向量。

机器学习系统

机器学习系统使用特征经提取的音乐并且将其与重复性运动数据、情景相关数据以及测得的同步化分数据进行比较。这些数据和其它数据的存在用于告知情景检测算法。对于疗程传感器融合的数据分析，最初可以利用马尔科夫(Markov)链使用患者特定性贝叶斯(Bayesian)推理模型。链的状态表示从疗程和基线疗程中捕获的特定响应模式。这一推论基于对在每个采样间隔处的响应的了解。

预测例程，即多层感知神经网络(MLPNN)使用具有顶层根节点的基于定向图节点的模型，所述顶层根节点预测到达后续节点并获得人的传感器融合的数据特征的要求。传感器融合的数据特征向量含有经时间序列处理的运动数据、拍号数据和其它情景相关数据。

系统可以使用几种深度学习神经网络或其它机器学习技术进行学习。在一个实例中，使用自适应径向基函数(RBF)模型生成器建立了非线性决策空间。可以使用RBF模型和/或k最近邻分类器来计算出新的向量。

ML模型创建的一个关键准备过程是特征工程化。这将包含属性缩放，所述属性缩放将数据放在包含零均值和单位变化的通用范围内。这允许将可能具有不同物理单位(如米、米/秒、米/秒²等)的特征放入通用的值范围。标准化是用于将数据缩放为零均值和单位变化的过程。这通过从采样数据值中减去所有采样数据的平均值并将其除以所有采样数据的方差来完成。

另外，在ML模型创建中，特征工程化过程是特征分解和聚合。在这个过程中，将数据压缩到少量的高描述性数据组件中。聚合是将多个特征组合成单个显著特征从而降低数据维度的过程。在图24所描绘的示例图中示出了模型创建过程。

附录A：使用DWT(离散小波变换)的节拍检测

以下分析展示了如何使用离散小波变换(DWT)来确定节拍强度和节奏稳定性。此项技术可以检测起音点事件，所述起音点事件可以用于节拍跟踪。这通过使用利用DWT系数的节拍直方图来完成。DWT从音符的起音点(如在速度节拍上的起音点)检测音频信号的快速变化。对于本发明，利用多贝西(Daubechies)db4小波的DWT有助于在每个子带上进行包络提取，然后对这些经提取的包络的总和执行自相关。图25描绘了多贝西db4小波。

自相关函数允许在10到240BPM范围内使用自相关的前五个峰值进行最大峰值选择和直方图创建。使用全波整流技术来完成从子带x[n]中进行包络提取，在所述技术中，从音频信号数据中创建绝对值，然后对其进行低通滤波、下采样以及去除平均值。图26是纵轴为强度且横轴为BPM的节拍直方图的实例。

图27-30示出了单独的极端例子场景的四个实例，将对所述情景进行分析以确定何时应添加音乐提示。

图27示出了因为x轴不规则和重复的缺乏(非自相似)而造成的低节奏稳定性的实例。在DWT图像中，x轴是时间，y轴是节拍频率，并且z轴是强度。

图28示出了高节奏稳定性的实例。在这个DWT图像中，在观察x轴时，人们可以观察到重复性(和自相似的)节拍模式。在这个DWT显示图中，x轴是时间，y轴是节拍频率，并且z轴是强度。

图29示出了振幅(y轴)和时间(x轴)下的低节拍强度的实例。

图30是上述自相似的低强度节拍的DWT显示图，其中x轴是时间，y轴是节拍频率，并且z轴是强度。

图31示出了振幅(y轴)和时间(x轴)下的高节拍强度的实例。

图32是上述自相似的高强度节拍的DWT显示图，其中x轴是时间，y轴是节拍频率，并且z轴是强度。

节拍分析的频率范围通常为0.25Hz到20Hz。节拍检测算法基于使用DWT将信号分解成多个八度频带。然后，分别提取每个频率的时域调幅包络。这通过对每个频率进行低通滤波、应用全波整流功能并且然后进行下采样来实现。然后将每个频率的调幅包络相加在一起，并且对此类数据应用自相关函数。自相关函数的峰值对应于信号包络的各种周期性。

图33中描绘了DWT节拍检测和直方图生成过程。

起音点检测将使用一些已知的方法，所述方法具有与本发明相关的一些另外的修改。所述方法将分析音频样本数据，从而寻找子带中的同时和奇点最大值，以将例如两个连续峰之间的距离确定为音频信号周期。这允许检测基线频率和下一个更强的频率。

以下信息涉及如何将DWT用于生物力学分析以便随后用于机器学习引擎。此实例示出了如何将DWT用于通过所捕获的生物力学数据来分析步态，DWT用于确定时频分解。利用具有小波的DWT，通过压缩和扩展多贝西db4小波在不同的刻度上分析生物力学数据，并通过延迟多贝西db4小波在不同的时间分析生物力学数据。刻度对应于频率，位置对应于时间。多贝西db4 DWT的结果为小波系数。通过使用DWT系数，建立了如图34所示的三维功率谱，所述三维功率谱示出了对生物力学数据的时间、生物力学频率和生物力学能量的分析。

附录B：运动、音乐和节拍

在人脑解剖学中，已知的是，大脑的右半球控制着身体的左侧，而大脑的左半球控制身体的右侧。因此，当发生对左半球的损伤时，通常会观察到身体右侧的缺陷，反之亦然。同样，通过大脑半球相反侧的主要听觉皮层对头部任一侧的外部听觉提示进行处理。因此，我们可以通过有意识地在任一侧放置听觉提示来使任意一个半球活跃。在动作的情况下，我们可以向不受影响的一侧提供听觉提示，从而改善受影响的一侧的动作。

相反，还已经证明，使用外部听觉提示可以使负责注意力的大脑区域活跃，所述区域包含顶叶和颞叶。因此，向受影响的一侧的耳朵提供听觉提示可以改善所述有效一侧的感官刺激和注意力。

早期研究显示了脊髓连接中的听觉-运动通路。通过这些通路的动作的启动和时序证明了运动系统与听觉系统联接以驱动动作模式的能力(Rossignol和Melville，1976年)。通过进一步的临床验证，这种联接被称为“同步化”。临床应用时已经表明，节奏性同步化可以改善步行的生物力学，所述生物力学包含神经系统疾病或损伤后的对称性、步幅长度、对称性、节奏和步态变化，所述神经系统疾病或损伤包含：中风、创伤性脑损伤、帕金森病和多发性硬化。

可以在硬件、软件或适合于应用的这些硬件和软件的任何组合中实现上述系统、装置、方法、过程等。硬件可以包含通用计算机和/或专用计算装置。这包含在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或其它可编程装置或处理电路以及内部和/或外部存储器中的实现。相反，这也可以包含一个或多个专用集成电路、可编程门阵列、可编程阵列逻辑组件或可以被配置成处理电子信号的任何一个或多个其它装置。应进一步理解的是，上述过程或装置的实现可以包含使用结构化编程语言(如C)、面向对象编程语言(如C++)或任何其它高级或低级编程语言(包含汇编语言、硬件描述语言和数据库编程语言和技术)创建的可以被存储、编译或解释以便在上述装置之一上运行的计算机可执行代码，以及处理器、处理器架构或不同硬件和软件组合的异构组合。在另一方面，方法可以体现在执行其步骤的系统中，并且可以以多种方式跨装置分布。同时，处理可以跨装置(如上述各种系统)分布，或者所有的功能都可以集成到专用的、独立的装置或其它硬件中。在另一方面，用于执行与上述过程相关的步骤的装置可以包含上述任何硬件和/或软件。所有此类排列和组合均旨在落入本公开的范围内。

本文公开的实施例可以包含计算机程序产品，所述计算机程序产品包括计算机可执行代码或计算机可使用代码，当在一个或多个计算装置上执行时，所述计算机可执行代码或计算机可使用代码进行其任何和/或所有步骤。代码可以以非瞬态的形式存储在计算机存储器中，所述计算机存储器可以是执行程序的存储器(如与处理器相关联的随机存取存储器)或存储装置，如磁盘驱动器、闪存或任何其它光学装置、电磁装置、磁性装置、红外装置或其它装置或装置的组合。在另一方面，上述任何系统和方法都可以体现在携带计算机可执行代码和/或来自计算机可执行代码的任何输入或输的任何合适的传输或传播介质中。

应理解的是，通过实例而非限制性的方式阐述了上述装置、系统和方法。在没有明确相反指示的情况下，可以在不脱离本公开范围的情况下对所公开的步骤进行修改、补充、省略和/或重新排列。许多变化、修改、添加和改进对于本领域的普通技术人员来说将是显而易见的。另外，上述说明和附图中的方法步骤的顺序或呈现并不旨在要求执行所述步骤的顺序，除非上下文明确地要求了顺序或以其它方式加以澄清。

本文描述的实施的方法步骤旨在包含使这些方法步骤得以执行的与以下权利要求书的专利性一致的任何合适的方法，除非上下文明确提供了不同的含义或以其它方式加以澄清。因此，例如，执行步骤X包含用于使另一当事方(如远程用户、远程处理资源(例如，服务器或云计算机)或机器)执行步骤X的任何合适的方法。类似地，执行步骤X、Y和Z可以包含指导或控制这些其它个体或资源的任何组合执行步骤X、Y和Z以获得这些步骤的益处的任何方法。因此，本文描述的实施的方法步骤旨在包含使一个或多个其它当事方或实体执行所述步骤的与以下权利要求书的专利性一致的任何合适的方法，除非上下文明确提供了不同的含义或以其它方式加以澄清。这些当事方或实体不需要处于任何其它当事方或实体的指导或控制下，并且不需要位于特定的管辖区域内。

还应当理解，通过实例的方式提供了上述方法。在没有相反明确指示的情况下，可以在不脱离本公开范围的情况下对所公开的步骤进行修改、补充、省略和/或重新排列。

Claims (17)

1.一种用于提供重复性运动治疗的系统，所述系统包括：

处理器；

非暂时性计算机可读存储介质，其与所述处理器通信地耦合；

数据库，所述处理器可访问所述数据库，并且所述数据库存储用于传送到患者的一条或多条音频内容；

通信接口，其被配置为在所述处理器和与患者相关联的音频输出设备以及与所述患者相关联的用于捕获所述患者的生物力学数据的传感器之间提供通信连接；

指令，其存储在所述存储介质上并且可由所述处理器执行，其中所述可执行指令将所述处理器配置为：

从所述数据库选择用于输出到所述患者的一条音频内容；

对选定音频内容进行分析，

所述分析包含识别所述选定音频内容的音频特征，并且

提取所述选定音频内容的节奏性特征和结构性特征；

对所述选定音频内容进行同步化适宜性分析；

基于所述同步化适宜性分析，向所述选定音频内容生成一个或多个同步化辅助提示，所述一个或多个辅助提示包含用于添加到所述选定音频内容中的声音；

在使用所述音频输出设备播放所述选定音频内容的同时将所述辅助提示应用于所述选定音频内容，从而使用所述音频输出设备播放用所述一个或多个辅助提示增强的所述选定音频内容；

基于在播放所述选定音频内容和所述一个或多个辅助提示时使用所述传感器捕获的所述患者的生物力学数据，评估所述选定音频内容和所述一个或多个辅助提示对所述患者的治疗效果，

其中当所述治疗效果满足治疗阈值时，所述处理器被配置为继续播放包含所应用的所述一个或多个辅助提示的所述选定音频内容，并且

其中当所述治疗效果不满足所述治疗阈值时，所述处理器被配置为重复以下操作中的一项或多项：选择一条音频内容，执行所述同步化适宜性分析和生成所述一个或多个同步化辅助提示。

2.根据权利要求1所述的系统，其中所述处理器被配置为更新音频内容的所述数据库以整合来自评估步骤的反馈。

3.根据权利要求1所述的系统，其中对所述选定音频内容进行的分析包含向节拍跟踪算法提供边界。

4.根据权利要求3所述的系统，其中所述音频内容包含音乐并且所述边界是音乐类型的速度的平均数。

5.根据权利要求1所述的系统，其中对所述音频内容进行的分析包含应用起音点检测函数即ODF。

6.根据权利要求5所述的系统，其中所述ODF将音频信号的时域变换为时频域。

7.根据权利要求1所述的系统，其中所述处理器进一步被配置为生成对所述选定音频内容的一个或多个修改，其中至少一个修改包含对所述音频内容的时序进行调整。

8.根据权利要求1所述的系统，其中将所述音频内容流式传输给所述患者。

9.一种用于提供重复性运动治疗的系统，所述系统包括：

处理器；

非暂时性计算机可读存储介质，其与所述处理器通信地耦合；

数据库，所述处理器可访问所述数据库，并且所述数据库存储用于传送到患者的一条或多条音频内容；

通信接口，其被配置为在所述处理器和与患者相关联的音频输出设备以及与所述患者相关联的用于捕获所述患者的生物力学数据的传感器之间提供通信连接；

指令，其存储在所述存储介质上并且可由所述处理器执行，其中所述可执行指令将所述处理器配置为：

从所述数据库选择用于使用所述音频输出设备输出到所述患者的一条音频内容；

对选定音频内容进行分析，

所述分析包含识别所述选定音频内容的音频特征，并且所述分析包含确定所述选定音频内容的速度；

基于在播放所述选定音频内容时使用所述传感器捕获的所述患者的生物力学数据，评估所述选定音频内容对所述患者的治疗效果，

其中当所述治疗效果满足治疗阈值时，所述处理器被配置为继续播放所述选定音频内容，并且

其中，响应于所述治疗效果不满足所述治疗阈值，所述处理器被配置为：

对所述选定音频内容进行同步化适宜性分析，所述同步化适宜性分析将适宜性得分分配给多个音乐方面；

向所述选定音频内容生成一个或多个同步化辅助提示，所述一个或多个辅助提示包含添加到所述选定音频内容中的声音；

在播放所述选定音频内容的同时将所述一个或多个辅助提示应用于所述选定音频内容；

基于在播放所述选定音频内容和一个或多个辅助提示时使用所述传感器捕获的所述患者的生物力学数据，评估所述选定音频内容和所述一个或多个辅助提示对所述患者的治疗效果；以及

更新音频内容的所述数据库以整合来自所述评估的反馈。

10.根据权利要求9所述的系统，其中所述处理器被配置为通过确定以下中的至少一项的同步化适宜性得分来执行所述同步化适宜性分析：平均速度、节拍强度、节拍时间置信度、节奏稳定性、拍号、速度感知置信度或有效持续时间。

11.根据权利要求9所述的系统，其中所述一个或多个同步化辅助提示包含在所述选定音频内容的每一节拍上播放的单拍音乐提示。

12.根据权利要求9所述的系统，其中所述一个或多个同步化辅助提示被进行以下中的一项或多项：传送到所述患者的单个耳朵中和添加到所述选定音频内容的表现出低节奏稳定性的小节中。

13.根据权利要求9所述的系统，其进一步包括生成对所述选定音频内容的一个或多个修改，其中至少一个修改包含对所述音频内容的时序进行调整。

14.根据权利要求13所述的系统，其中对所述选定音频内容的所述一个或多个修改包含以下中的一项或多项：向所述音频内容提供鼓加强；向所述音频内容提供结构性修改；以及扩展所述音频内容以改变所述速度。

15.一种用于提供重复性运动治疗的系统，所述系统包括：

处理器；

非暂时性计算机可读存储介质，其与所述处理器通信地耦合；

数据库，所述处理器可访问所述数据库，并且所述数据库存储用于传送到患者的一条或多条音频内容；

通信接口，其被配置为在所述处理器和与患者相关联的音频输出设备以及与所述患者相关联的用于捕获所述患者的生物力学数据的传感器之间提供通信连接；

指令，其存储在所述存储介质上并且可由所述处理器执行，其中所述可执行指令将所述处理器配置为：

从所述数据库选择用于输出到患者的一条音频内容；

对选定音频内容进行分析，

所述分析包含识别所述音频内容的音频特征并且所述分析包含确定

所述音频内容的速度；

对所述音频内容进行同步化适宜性分析，所述同步化适宜性分析包含将适宜性得分分配给包含以下中的至少一项的方面：

平均速度，

节拍强度，

速度变化，

速度感知，

拍号，

节奏模式变化，

歌曲持续时间，

贯穿所述音频内容的多个小节处的节奏部分的检测，以及

第一个节拍和最后一个节拍在所述音频内容中的位置；

基于所述同步化适宜性分析，向所述音频内容生成一个或多个同步化辅助提示，所述一个或多个辅助提示包含用于添加到所述选定音频内容中的声音，所添加的声音包含以下中的至少一项：

在所述音频内容的节拍上播放的单个敲击声，

在所述音频内容的节拍及其细分节拍上播放的敲击声，

与所述音频内容同步的鼓模式，以及

对所述音频内容的节拍进行计数的语音。

16.根据权利要求15所述的系统，其中所述处理器被配置为基于患者节奏与所述音频内容的所述速度的关联性，将可同步性得分分配给所述音频内容。

17.根据权利要求16所述的系统，其中在将一个或多个同步化辅助提示应用于所述音频内容之前和之后，确定可同步性得分。

Images