CN110352454A - 用于将来自感测单元的运动的至少一个检测到的力转换成听觉信号的仪器和方法 - Google Patents

Abstract

本发明涉及一种用于将来自感测单元的运动的至少一个检测到的力转换成听觉信号的仪器。仪器包括至少一个传感器，该至少一个传感器用于由至少一个检测到的力生成力信号。并且还包括处理单元，该处理单元被配置为将力信号转换成数字听觉信号。仪器还包括输出单元，该输出单元用于将数字听觉信号转换成听觉信号，并且该仪器的特征在于：数字听觉信号包括单个检测到的力的加速度、强度以及持续时间的信息。本发明还涉及用于将影响对象的至少一个检测到的力转换成听觉信号的方法以及根据本发明的仪器对于各种娱乐和/或治疗目的的使用。

Description

用于将来自感测单元的运动的至少一个检测到的力转换成听 觉信号的仪器和方法

技术领域

本发明涉及优选为了娱乐目的而将可检测力，特别是由对象运动引起的力，转换成听觉信号。根据独立权利要求的前序部分，本发明还具体涉及用于将至少一个检测到的力转换成听觉信号的仪器、运动传感器在该用途的使用以及用于将影响对象的至少一个检测到的力转换成听觉信号的相应方法。

背景技术

从娱乐业已知能够将由人的运动引起的检测到的力转换成数字信号的装置。现今的游戏控制台装配有一种或另一种控制器，该控制器能够将所述控制器的空间运动转换为由控制台处理的数字信号。这些控制器实现手势识别和运动感测，以与电子装置交互。

通常来说，控制器与诸如游戏控制台的基站保持无线连接，借助于该无线连接，发送从所述运动检测收集的信息。

尽管具有所有这些装置，但是一个主要问题是超过特定阈值的时延损害到游戏环境中的沉浸感。

电子娱乐装置领域中的一个另外应用是将可检测力信号转换成音频信号。US2012/0297961 A1公开了一种具有敲击垫和加速度计的键盘吉他控制器。键盘吉他包括正面上具有许多键的钢琴式键盘和从一侧延伸的颈部。进一步地，在键盘体的正面上设置许多鼓垫。键盘吉他还包括微处理器，该微处理器设置为扫描各个鼓垫的状态并生成与鼓垫状态对应的MIDI音符信号。该装置还包括加速度计，该加速度计向微处理器提供与键盘吉他的倾斜有关的信息。该信息被转换成MIDI连续控制器值，该值从键盘吉他输出，以控制外部合成器或计算机。所有这些功能在所述键盘吉他中实现，以提供更通用的乐器。

另一方面，US 2010/0132536 A1公开了文件创建过程和用于增加的音频交互的相应设备，该设备的目的在于使得诸如混合录音的音乐交互对于普通人更加直观且可接近。作为另一个目的，本发明的目的在于将音乐回放从像电视广播的单向静态环境变为交互式的、动态的和协作的娱乐体验。为此，音频波形歌曲与MIDI时间网格组合。作为特定方面，本发明还包括所谓的“交互式协作装置”。

该装置可以借助于将具有复古的文件格式的iPhone加速度计用于实现新的声音形式，来采取诸如iPhone的智能手机的形式。本文献所提出的具体示例是通过向特定音频信号的各运动轴线分配来使用iPhone的加速度计的三个轴线，该音频信号然后可以由iPhone沿该轴线的相应运动来触发。这仍然取决于在后台中处理的复古的合适歌曲。

因此，需要用于电子娱乐领域中的装置，这些装置使得能够将由所述装置的运动引起的可检测力转换成听觉信号。这种装置应优选地启用沉浸式声学体验并创建生动的声音体验，这与触发运动尽可能紧密地相关并且优选地根据用户自己的决定沿着预定的声音模式。

发明内容

因此，本发明的目的是提供一种用于将由装置的运动引起的至少一个检测到的力转换成听觉信号的仪器，该仪器克服了现有技术的至少一个缺点。尤其是，本发明的目的是提供有效并为用户提供提高的沉浸感的相应传感器的这种仪器、方法以及使用。本发明的特定和另外目的是提供可靠且制造成本低的这种装置。

传感器的这种仪器、方法以及使用根据独立权利要求的特征部分来提供。

本发明的一个方面是一种用于将来自感测单元的运动的至少一个检测到的力转换成听觉信号的仪器。该仪器包括至少一个传感器，该至少一个传感器用于从至少一个检测到的力生成力信号。所述至少一个传感器优选地包括在感测单元中。该仪器还包括处理单元，该处理单元被配置为将力信号转换为数字听觉信号。

处理单元也优选地包括在感测单元中。该仪器还包括输出单元，该输出单元用于将数字听觉信号转换成听觉信号。

输出单元也可以包括在感测单元中，但另选地可以以单独项的形式与感测单元分离。

在特定实施方式中，输出单元可以是具有输出听觉信号的相应装置的计算机系统(诸如笔记本、台式计算机、智能手机和/或平板电脑)的一部分。在其基本形式中，输出单元是具有将数字听觉信号转换成听觉信号的扬声器和相应接口的智能手机。在根据本发明的该仪器中，数字听觉信号包括与单个检测到的力的加速度、强度以及持续时间有关的信息。

在本发明的意义上，能够检测由运动引起的力的合适的至少一个传感器在其最基本的实现中可以是加速度计。优选地，加速度计应能够至少测量加速度计贴附的对象经受的加速度。加速度计具有惯量，该惯量的位移被测量为加速度计经受的加速度的指示，并且借助于用于将所检测机械运动转换成电信号的压电、压阻和/或电容元件变换成数字信号。

在本发明的语境下，数字听觉信号不需要包含音频数据。在最优选的实施方式中，数字听觉信号是用于控制音频信号生成元件的导引信号，甚至更优选地，数字听觉信号是MIDI信号。

在优选实施方式中，加速度计适于至少测量沿三个轴的加速度。

在特定实施方式中，数字听觉信号是8比特信号。

在特定实施方式中，所述仪器适于应用机器学习算法来识别预学的运动序列并将其转换成数字听觉信号，更具体地，处理器适于应用所述机器学习算法。比如，处理器可以适于通过分析力信号来识别仪器的运动序列，并且将该运动序列与预学的运动序列相匹配。在该特定示例中，预学的运动序列可以由多个参数构成，其中，这些参数基于由类似的力传感器检测的统计相关数量的参考运动生成。这些参数嵌入所述仪器和机器学习算法中，该仪器和机器学习方法用于将所检测的力信号和产生的运动序列与预学的力信号和运动序列匹配。在匹配时，处理器适于生成反映所述运动序列的特定数字听觉信号。

在特定实施方式中，所述仪器包括第一外壳和第二外壳，在第一外壳中，收容所述至少一个传感器和处理单元，在第二外壳中，收容输出单元。该仪器还包括数据交换单元，该数据交换单元用于在处理单元与输出单元之间传输所述数字听觉信号，同时优选地，数据交换单元适于在处理单元和输出单元之间无线地传输所述数字听觉信号。在特定实施方式中，所述数据交换单元适于在处理单元与输出单元之间无线传输所述数字听觉信号。在另外特定实施方式中，仪器包括用于在处理单元与输出单元之间传输所述数字听觉信号的端口。在特别优选的实施方式中，在处理单元与输出单元之间无线传输数字听觉信号基于蓝牙通信协议。

在另选实施方式中，传感器单元包括至少一个传感器，并且处理单元以及输出单元设置在单一外壳中，在该外壳中，设置根据本发明的仪器的所有部件。在该实施方式中，用于在处理单元与输出单元之间传输所述数字听觉信号的装置可以是两个单元之间的简单连接，诸如物理连接，和/或可以包括如上的无线通信装置。

在特定实施方式中，输出单元是智能手机。已经令人惊讶地发现，通过将8比特信号用作数字听觉信号，传感器上的力作用与听觉信号的实际输出之间的时延降低到这样的水平，以至于用户的沉浸感和由传感器的运动引起的音频反馈提供最佳可能融入。优选地，基于通过检测所述力信号生成的数字听觉信号，力感测与音频信号的输出之间的时延最大为30ms。

进一步发现，通过将8比特信号用作听觉数字信号，可以结合本发明的仪器使用更宽带宽的同等输出单元。这些输出单元可以被配置为根据用户的愿望提供一系列听觉信号。

在特定实施方式中，所述第一外壳和所述第二外壳被设置为可拆卸地彼此可组合。优选地，这两个外壳之一或两者装配有能够使其附接到另一个外壳的手段的元件。这种手段的示例可以是形状适配、卡扣配合、磁铁和/或钩和桩紧固件。

在该特定实施方式中，任一个或两个外壳可以装配有相应的正或负配合仪器，这些仪器使得用户能够以将它们保持在一起的方式组合两个外壳或者能够将两个外壳中的任意一个附接到另一个对象。已经发现，如果第一外壳可附接到比如经受运动的对象，则是特别优选的。在特定实施方式中，第一外壳可以装配有带或锁链，使得它可附接到人，优选地为柔软的延伸部，并且第一外壳提供由所述柔软延伸部的运动引起的力信号。

在特定实施方式中，第一外壳装配有使其可拆卸地附接到运动装置(诸如体育运动工具)的装置。从一个组选择的体育运动工具已经全部被发现提供力信号的尤其令人愉快的源泉，该组由以下内容构成：自行车、曲棍球棒、高尔夫球棒、棒球手套和球棒、足球守门员手套、跑鞋、击剑武器、滑雪板、滑雪单板、运动枪支、乒乓球或网球拍等，这些力信号可以借助于根据本发明的仪器转换成数字听觉信号并最终转换成听觉信号。

在特定实施方式中，所述仪器包括一个或多个能量源，尤其是一个或多个可再充电能量源。该仪器可以在任一个、两个或任意数量的外壳上装配有一个或多个USB或微USB可充电能量源，所述任一个、两个或任意数量的外壳组成根据本发明和之前描述的实施方式的任意一个的仪器的外壳。本领域技术人员可以从可用于微型装置和智能手机市场的锂离子电池选择合适的能量源。

在特定实施方式中，所述仪器包括至少一个通信系统，优选地是总线系统和相应的连接。在甚至更优选的实施方式中，所述仪器包括至少一个USB系统。

在特定实施方式中，处理单元被设置为通过以下方式将力信号转换成数字听觉信号：将第一数字信息归于力信号维度，将第二数字信息归于第二力信号维度，将第三数字信息归于第三力信号维度，并且尤其是，将第一数字信息归于加速度，将第二数字信息归于单个检测到的力的强度，并且将第三数字信息归于该力的持续时间。在该特定实施方式中，数字听觉信号可以包括8比特信号，诸如由上述三个值组成的MIDI信号。在本发明的潜在应用中，一系列的这种信号可以被转换成听觉信号的相应系列，使得产生使人想起由传感器检测的原始运动的声音。该听觉信号可以通过从预定的一组声音包选择来根据使用它的人的愿望在音调、节奏以及调制上进行选择，每个所述声音包包括关于如何将数字听觉信号转换成听觉信号的特定算法。最常见的是，这些数字听觉信号采取MIDI可处理信号的形式。

在特定实施方式中，输出单元还包括音频输出和/或音频输出连接器。音频输出比如可以在扬声器和/或放大器中。音频输出连接器的一个特别合适的示例可以是音频插孔。

在特定实施方式中，所述仪器包括存储介质，具体为用于存储数字听觉信号。存储单元可以适于存储如由传感器检测并由处理单元转换成数字听觉信号的数字听觉信号的序列，或者它可以装配有可归于数字听觉信号的一系列听觉信号，在由处理器产生特定数字听觉信号时，该数字听觉信号可以被输出。合适的存储介质还可以是可移除类型，例如存储卡和闪存卡，它们能够插入到所述仪器的任一个元件上的相应狭槽中。在特定示例中，这种可移除存储介质可以存储有特定预定选择的听觉信号，然后当检测到相应的数字听觉信号时输出所述特定预定选择的听觉信号，使得可以根据所检测的运动播放附带的情绪或声音类型。反过来也是可想到的，但或者可以与之前描述的实施方式结合使用。在该操作模式下，一系列数字听觉信号根据由传感器检测的运动序列记录到存储卡上。该记录然后可以传输到另一个装置或输出单元，并且被使得以听觉信号的形式输出。

在另一个特定实施方式中，存储介质适于以参数的形式存储预学的运动序列。在操作期间，处理器匹配运动序列并使用所存储的预学的运动序列来将其转换成数字听觉信号。这可以通过将机器学习算法用于将用户的运动序列匹配到预学的运动序列来进一步改善。通过使用预学的运动序列和机器学习算法，可以进一步降低力信号到数字听觉信号的转换中的时延。

在特定实施方式中，所述参数由能够检测力的传感器所检测的运动向量构成。在实践中，例如，传感器可以包括加速度计和磁强计，各加速度计和磁强计为特定的运动提供多达三个的输入向量，一个输入向量用于一个运动轴线。这些向量用于基于大量这种测量来定义一组参数并应用神经网络来计算它们。

这些参数然后用作嵌入在仪器的可执行软件中的固定常数，从而加速运动序列的识别并从中生成数字听觉信号。

在特定实施方式中，所述仪器可以包括多个存储介质，这些存储介质包括但不限于处理单元的操作以及所述仪器的各种电子部件的互操作性所需的存储缓冲器。

在特定实施方式中，存储缓冲器可以用于对要按顺序以听觉信号的形式输出的多个同时数字听觉信号定时。该操作模式使得能够将具有所有三个可记录轴线上的变化加速度的非常复杂运动转换成相应的声音合成。

在特定实施方式中，处理单元被配置为根据所定义算法将连续感测的力信号的序列转换成数字听觉信号的序列。比如，算法可以适于将预定第一音调的输出提供给特定力信号。例如，如果连续检测的力信号是向右的运动，则从第一音调开始的算法为第二所检测运动提供第二音调。如果运动相反是向左，则算法为其提供反映该向左运动的不同第二音调。凭借这种算法，不同类型的运动和相应的方向导致使得运动类型可识别的声音模式。在特定实施方式中，所述算法适于以可再现的方式向特定类型的运动提供相同的逻辑。在该实施方式中，基本相同的运动引起基本相同的听觉信号。另选地，可以对算法进行编程，以根据所定义的随机数的生成提供随机模式。在该实施方式中，两个相同或基本相同的运动提供不同的听觉信号。

在特定实施方式中，力传感器适于在至少三次访问时感测加速度。在特定实施方式中，所述仪器包括加速度计，该加速度计适于感测静态和/或动态加速度力，诸如重力、振动以及运动。

在特定实施方式中，该仪器包括多个传感器，这些传感器用于从多个检测到的力分别地且同时地生成力信号。然后，处理器可以被配置为将多个力信号融合成一个数字听觉信号。这种传感器比如可以是惯性传感器，该惯性传感器包括陀螺仪、加速度计以及磁强计，各传感器从单个运动收集数据。然后，该单个运动由根据本发明的仪器基于来自彼此协力工作的所有这些传感器的数据转化成听觉信号。

在特定实施方式中，处理器从每时间间隔处理的力信号生成数字听觉信号的串。大多数运动可以以特定时间间隔被分成一系列单独的加速度。这种连续的时间间隔可以由所述仪器登记，以遵循特定的间隔设置例程，因此导致反映一系列加速度和它们发生的相应时间间隔的听觉信号。换言之，特定时间间隔的一系列运动可以被处理成基于所处理的听觉数字信号输出的节奏。

在特定实施方式中，至少一个传感器是适于检测影响所述仪器的力的传感器，其中，力是影响所述仪器的运动和/或撞击。优选地，至少一个传感器是从由陀螺仪、加速度计和/或磁强计构成的组选择的传感器。特别合适的是包括所有上述传感器元件的传感器。

在本发明的实施方式中，处理单元被配置为基于所确定的转换协议来将力信号转换成数字听觉信号。该转换协议比如可以被配置为将特定MIDI声音归于特定类型的运动。

在优选实施方式中，所确定转换协议是来自一系列转换协议的预选转换协议。存储介质例如可以存储基于声音的类型(诸如爵士乐、摇滚乐、嘻哈)的一系列所确定转换协议，并且基于该选择产生适当的听觉信号。

在特定实施方式中，处理器适于对力信号分类，并且基于分类基于所确定的转换协议将力信号转换成数字听觉信号。例如，可以将所述仪器的突然减速检测为结实的对象对所述仪器的撞击，并且使得该仪器选择反映这种撞击的数字听觉信号，像例如敲锣或鼓声。

在特定实施方式中，处理器适于以5至35ms之间(尤其是10至20ms之间，更尤其是低于20ms)的时延将力信号转换成数字听觉信号。特别优选的是力信号检测与听觉信号输出之间的总时延不多于30ms。

在特定实施方式中，所述仪器包括另外的麦克风。可以调节该麦克风，以将环境声音记录到存储介质上，同时由所述仪器检测的运动也被记录在存储介质上。这对于该仪器用作增强现实使能器的应用特别有用。例如：可以记录网球比赛的声音，并基于源于运动的特定力信号的检测，由特定听觉信号进一步增强网球比赛的声音。根据本发明的传感器单元可以附接到网、运动员的球拍、他们的鞋、甚至地面的特定区域，并提供数字听觉信号，该信号转化成增强比赛的自然声音的听觉信号。

在特定实施方式中，麦克风被配置为提供它从输出单元记录的声音的实时传输，该实时传输与从基于由传感器单元检测的运动的数字听觉信号导出的听觉信号同时地进行。凭借这种工具，当所述仪器包括可与传感器单元分离并放置在不同位置中的输出单元时，可以在一定距离上监测并体验运动动作。

在特定示例中，拳击手套可以装配有传感器单元。输出单元将输出直接记录在手套上的声音，同时输出由传感器单元提供的增强，该传感器单元登记运动力，并且将其转换成数字听觉信号，该数字听觉信号可由输出单元读取，并且可以用于增强来自麦克风的现场声音的体验。

凭借根据本发明的仪器，提供了一种电子娱乐领域中的装置，该装置在其采用模式上是通用的，并且提供运动活动增强的融入程度。

在特定实施方式中，本发明可以用于在通常没有声音或声音是监测特定运动的唯一方式的环境中提供声音。

本发明的一个方面是如之前描述的仪器在白色手杖中的使用，以向人提供反映白色手杖的运动的听觉信号。在该实施方式中，感测单元可以安装在白色拐杖的尖端中或附近，而输出单元可以小心地放置在耳朵内部。两个单元之间的蓝牙连接将来自感测单元的数字听觉信号传输到耳朵麦克风，并且提供与白色手杖的振动、阻力以及运动有关的另外信息。借此，可以使得用于视力障碍人员的白色手杖提供更准确的另外信息，从而帮助视力障碍人员在环境中导航。在特定实施方式中，另外的麦克风检测并处理环境声音，或者提供相应的滤波器，诸如以增加操作白色手杖的人员的听觉感知手段。

本发明的一个方面是一种用于将影响对象的至少一个检测到的力转换成听觉信号的方法。优选地，所述听觉信号以某种方式反映触发它的所述力的性质和类型。该方法包括以下步骤：提供用于将至少一个检测到的力转换成听觉信号的仪器。

优选地，提供如上所述的仪器。

方法还包括以下步骤：将至少一个传感器和处理单元贴附到所述对象上，该至少一个传感器用于由至少一个检测到的力生成力信号，该处理单元被配置为将力信号转换成数字听觉信号。传感器和处理单元这两者是该仪器不可缺少的部分。

本发明的方法还包括以下步骤：用传感器感测影响所述对象的力，并且将所述力信号转换成数字听觉信号。优选地，所述数字听觉信号是MIDI信号，并且在更优选的实施方式中，发生该信号的时延低于30毫秒的阈值。

根据本发明的方法还包括以下步骤：借助于输出单元将数字听觉信号转换成听觉信号。

在特定实施方式中，提供将每个力信号归于特定数字听觉信号的算法。

本发明的一个方面是一种计算机程序产品，该计算机程序产品包括用于执行上述方法的计算机可执行指令。在特定实施方式中，计算机程序产品嵌入根据本发明的仪器中。

本发明的一个另外方面是适于由至少一个检测到的力生成力信号的运动传感器对于在所述仪器中生成力信号的使用，该仪器适于将所述力信号转换成数字听觉信号，该数字听觉信号可以由输出装置装换成听觉信号。优选地，所述传感器包括从一个组选择的一个或多个力检测传感器，该组由以下传感器构成：陀螺仪、加速度计、磁强计、罗盘、惯性传感器、绝对定向传感器和/或电磁传感器。

本发明的一个方面是如最初描述的仪器(尤其是用于将来自感测单元的运动的至少一个检测到的力转换成听觉信号的仪器)的使用，所述仪器包括至少一个传感器、处理单元、输出单元，该仪器的特征在于：数字听觉信号包括与加速度、单个检测到的力的强度以及持续时间有关的信息，并且所述仪器能够以低于30毫秒(优选地为低于20毫秒)的时延将至少一个检测到的力转换成听觉信号。

在本发明的语境下，增强现实可以被定义为伴随特定运动的自然发生的声音，该特定运动由于根据本发明的仪器产生的声音被丰富，但自然发生的声音源自所述仪器检测的运动，并基于由所述仪器检测的运动来处理。该听觉增强现实可以与比如由智能手机或虚拟现实视图器提供的视觉增强现实结合使用。

在特定实施方式中，所述仪器附接到一个对象上，该对象的运动将应反映在听觉信号中。

本发明的一个另外方面是使用如上的仪器用听觉信号补充用体育运动装置执行的运动。如上的仪器设置有用于将该仪器(尤其是这种仪器的感测单元)紧固到运动装置的手段，所述体育运动装置诸如曲棍球棒、棒球棒、乒乓球拍、击剑武器等。或者，用于补充体育运动装置的根据本发明的使用还可以通过为这种体育运动装置设置如上的与所述仪器有关的感测单元来实现。在该实施方式中，在感测单元中，至少一个传感器适于检测所述体育运动装置的运动。

本发明的一个另外方面是如上的仪器对于运动指导的使用。为此，如之前描述的借助于感测单元和相应的听觉信号或输出单元的输出来感测运动。处理单元可以被设置到所述特定运动边界，处理单元使得将运动转换成数字听觉信号，该数字听觉信号引起特定的声音模式，该声音模式向用户给予与他的运动是否在所述边界内执行有关的反馈。凭借该应用，可以用听觉反馈支持运动过程的协调，该听觉反馈可以实时发生并布置在运动的各位置。在特定示例中，对于在特定阈值内发生的运动，处理单元可以省略力信号到数字听觉信号的转换。如果超过该阈值(这意指运动太快或不在特定运动范围内)，则处理单元从所感测的力生成数字听觉信号，该数字听觉信号然后产生听觉信号形式的声音，该听觉信号提供给用户反馈，该反馈是关于确切时间点的并表明他离开了这样定义的边界的运动。

在该方面的特定实施方式中，处理单元将特定运动模式识别为由力传感器产生的下降。处理单元生成一系列数字听觉信号，这些信号对应于协调的听觉信号。如果运动偏离所述运动模式，则产生高音调，作为听觉信号，由此，向用户提供已经离开理想运动模式的反馈。

在该方面的特定实施方式中，多个感测单元适于测量多个对象(例如，各个感测单元独立测量)，测量所述对象的运动是否遵循特定模式。一种可能的应用是对多个运动的同步性进行实时审查。该应用对于跳舞特别令人关注。

在该方面的特定实施方式中，处理单元适于处理各源于独立力传感器的多个力信号，并且分析多个力信号是否遵循涉及彼此的特定预定关系。在该方面的另选实施方式中，处理单元适于分析来自多个感测单元的力信号，并且从单独感测生成多个数字听觉信号。

本发明的一个另外方面是如之前描述的仪器结合能够记录视觉图像的摄像机一起使用。在该使用的特别优选的实施方式中，摄像机是所谓的动作摄录像机，该摄录像机能够在运动被执行的同时登记并拍摄所述运动。在该实施方式中，本发明的仪器适于在由动作照相机执行并记录运动的同时协调来自运动的力信号到数字听觉信号的转换。由此，处理器适于将运动与特定声音模式联系起来。

凭借该使用，可以将来自运动的记录胶片与由听觉信号引起的音轨直接耦合，这些听觉信号由根据本发明的仪器结合装置的运动而产生。最终组合产物是视频和反映所记录视频的运动的单独声道的结合。

在特定实施方式中，如此产生的声道基于预定并且可以由用户选择的一组数字听觉信号生成。比如，可以从硬摇滚、爵士乐或嘻哈预定声道选择，由此，处理器基于感测单元检测的运动来生成反映所选音乐风格的数字听觉信号。

在本发明的特定实施方式中，特定运动模式归于特定的声音效果，并且随着它们被感测单元检测而动态地生成。根据感测单元的测量，诸如运动的速度或撞击强度的强度量还可以由输出单元的音量、音高或低音强度来反映。

在本使用的特定实施方式中，所述仪器适于可去除地附接到动作照相机，使得所述照相机执行的所有运动由感测单元记录并且可以由输出单元实时输出。

在该使用的特定实施方式中，根据本发明的仪器适于与视频文件登记同时地登记所述运动，使得可以直接处理并上传、回放或存储视频文件，以便将来使用。该应用使得能够从动作运动创建声道增强视频剪辑，这些视频剪辑不需要进一步的视频处理技术或声道的手动添加。

在该使用的特定实施方式中，处理器可以适于将由麦克风记录在所述仪器的声音进一步转换成数字听觉信号，这些数字听觉信号作为运动或为了记录目的而伴随由运动生成的声道。

在特别优选的实施方式中，用数字听觉信号增强由麦克风调节的现场声音，这些数字听觉信号由所述仪器附接的对象的运动引起。

该使用与使用动作照相机的所有领域(诸如骑自行车、滑降、滑雪、滑翔伞、跑步、游泳、放风筝等)相结合是特别令人关注的。在该使用的特定实施方式中，可由从处理器创建的数字听觉信号实现的预定声道为特定类型的运动做选择。可想到的是，所述仪器适于特定类型的运动或已经实现到相应的运动工具中。

在该使用的特定实施方式中，所述仪器包括另外的耳机，这些耳机与输出单元蓝牙连接或借助于电缆以及音频插孔与输出单元连接，使得用户可以实时和现场地体验输出单元的输出。

本发明的一个另外方面是为了健康目的如之前描述的仪器的使用。所述仪器可以与放松运动(诸如瑜伽或太极)一起使用，并且提供增强所述运动的放松和冥想深度的相应的冥想听觉信号轨道。

在该使用的特定实施方式中，所述仪器还装配有视图器，该视图器包括用于滤除环境声音的噪声滤波器。这使得放松运动的冥想练习能够通过在掩盖分散注意力的环境声音的同时仅听到从本发明的仪器生成的相应声音反馈来完全集中于运动。

本发明的仪器为了运动、医疗、娱乐以及放松目的的应用的带宽非常广。本发明的仪器的所有应用的共同之处在于：使得能够用声道实时伴奏运动，该声道反映所述运动的类型、强度以及方向。这提供了仪器和所述仪器的使用，该使用使得用户能够达到对动作中的高水平的融入，由此，提供在其应用领域中通用的娱乐装置。

对于本领域技术人员明显的是，所述特定实施方式中的任意一个可以以任何组合在根据本发明的仪器或仪器的使用中实现，只要它们不是相互排斥或明确地陈述为另选方案即可。

附图说明

在下文中，借助于示意图和具体示例进一步例示本发明，但不限于此。

示例和附图为本领域技术人员提供本发明的另外有利实施方式。

图1是示出了根据本发明的仪器的功能的示意框图。

具体实施方式

图1示意性示出了表示根据本发明的仪器10的两个功能模式的框图。如图1所示的仪器10可以分成感测单元11和在这种情况下的多个输出单元3。感测单元11包括传感器1或者在该具体示例的情况下为传感器阵列1，该传感器阵列包括九个轴传感器，各轴传感器具有用于加速度、旋转以及磁场的三个轴x、y、z。本领域中有合适的传感器，诸如来自博世(Bosch)的BNO 055，BNO 055提供具有集成加速度计、陀螺仪以及磁强计的绝对定向传感器，该传感器用于测量线性运动和重力、空间中的旋转速率(滚动、俯仰、偏航)、地面地磁场，并且装配有所有所需的传感器，这些传感器用于提供所述信息并将其处理成数字可读的力信号，该力信号然后由处理单元2处理，处理单元在该实施方式中形成感测单元11不可缺少的一部分。处理单元然后将由传感器1测量的力信号转换成数字听觉信号，该数字听觉信号然后由蓝牙模块15发送。在该特定示例中，蓝牙模型装配有用于处理力信号的所需微处理器，由此，处理单元2和蓝牙模块15可以都是同一集成模块的一部分。

在本示例中，来自蓝牙模块15的传输以MIDI格式的数字听觉信号的形式发生。

在第一操作模式下，输出单元可以与该感测单元组合，使得整个仪器成为一个整体。在本示例中，输出单元3可以与感测单元11一体地形成，或者它可以是单独的设备。在第二种情况下，输出单元3将需要另外的蓝牙模块，该蓝牙模块用于从感测单元11的蓝牙模块15接收数字听觉信号。输出单元3包括声音创建模块16和扬声器17。

另选地或附加地，输出单元3’的功能可以由智能手机执行。在该本示例中，智能手机采取输出单元3'的形式。智能手机装配有蓝牙模块15'，该蓝牙模块能够从感测单元11的蓝牙模块15接收为MIDI信号的形式的数字听觉信号。类似于单独的或一体输出单元3的功能，智能手机输出单元3'然后用声音创建模块16'处理MIDI文件，这借助于扬声器17'产生声音输出。除了由集成或单独输出单元3的最简单实施方式提供的功能之外，智能手机输出单元3’还可以装配有配置装置18，该配置装置18提供从预选范围的声音类型选择特定调制的机制，该特定调制然后可以借助于声音创建模块16’在MIDI文件上执行，这产生由扬声器17'输出的不同类型的声音。

该配置模块18可以借助于智能手机应用程序来被控制，该智能手机应用程序为用户提供增强的功能。通过使用另外的智能手机资源，变得可以提供用于适应声音文件的不同范围的配置。这可以以数字下载和/或预设和预配置声音模式的形式出现。当然，智能手机提供另外的功能，这些功能未在框图中示出，但在所有现代智能手机中是不可缺少的，例如由屏幕进行的视觉表示、存储器存储以及与互连网的无线或USB连接。

所述应用程序还可以提供直接操纵并调制声音的机制，同时声音被生成为使得能够与由根据本发明的仪器10处理的运动进一步交互。

在特定示例中，扬声器17、17’还配备有音频插孔，该音频插孔可以与相邻的扬声器或另外的扬声器连接。在所述仪器与动作照相机结合使用的特定示例中，音频输出插孔(outjack)可以用于连接仪器10与动作照相机的音频输入插孔(injack)，以便将由本发明的仪器10进行的声音处理直接提供到由动作照相机生成的胶片文件上。

在该具体示例中，被登记为来自运动感测单元的力的实际运动一直到在扬声器17处产生听觉信号之间的时延低于30毫秒。这使得能够深入再现到声音伴奏运动中。数字听觉信号的蓝牙传输具有15毫秒的最大时延，而力的检测和处理具有15毫秒的最大时延。

在特定示例中，在用于将力信号转换为数字听觉信号的处理器上运行的算法能够区分突发的突然运动和连续运动。在突发的突然运动的情况下，应保持时延尽可能低，以便借助于声音传达运动的突然性。然而，令人惊讶地发现，时延在连续运动的转换中更不具相关性。由此装配为区分突发的突然运动的处理器可以说出使突发的突然运动优先化的、将检测到的力信号转换成数字听觉信号中的相应优先级，从而，不危害再现。

在下文中，呈现了用于根据本发明的仪器的使用和实现的具体示例。

示例1：激光剑

在该具体示例中，根据本发明的仪器用于模拟激光剑。激光剑是一种在使用时发出独特的“嗖嗖”声的虚构且公知的流行媒体物品。在该示例中，根据本发明的仪器用于凭借一种物品来模拟该声音，所述物品是本发明的仪器可以可拆卸地附接到上面的任何物品。处理器尤其适于检测剑的虚构剑柄的运动、其位置、摆动剑、转动虚构剑柄，并且两把剑在其最基本的应用中对扫帚杆的撞击可以通过根据之前讨论的设置而附接到各感测元件10来使用。一个或多个输出单元3、3’然后可以适于产生相应的激光剑的声音。特别是关于剑，声音可以细分为连续的流体运动，该运动包括剑的剑柄的摆动和转动，以及与之形成对照的当两把光剑在战斗期间发生碰撞时的撞击。该应用中的处理器适于区分这两种类型的运动，并且为需要立即声音效果的运动(诸如剑对物品的撞击)提供特定优先级。诸如上面提到的传感器的常见可用传感器能够区分这种运动，并且提供使处理器执行其优先化所需的信息。

根据本发明的仪器的特定优点是，可以同时处理两把甚至更多光剑的声音，以便通过测量多个传感器的运动并提供相应声音反馈来增强用户体验并提供双激光剑舞动的再现。

该仪器可以装配有特定的软件产品和特定的声音文件，它们适于提供多普勒(Doppler)效应声音，光剑和激光剑的这些声音是公知的。

例2：乒乓球拍

在与具有上述激光剑的示例非常相似的该特定示例中，两个感测单元各与乒乓球拍附接或一体形成。另选地，乒乓球也可以装配有感测单元，但考虑到轻重量是乒乓球的特殊要求，装配到球拍可能更可取。

处理单元特别适于感测乒乓球的撞击、撞击强度、摆动速度和方向以及反手击球。在特定示例中，该声音可以采取像计算机游戏的拱廊的形式。这使得乒乓的观看和比赛更加有趣。

本发明的仪器的特定使用可以是训练目的。可以借助于根据本发明的仪器的运动检测和感测来监测特定击打运动的完善或对特定边界内的运动的非常灵敏的检测。在该示例中，比如用乒乓球拍侵入特定线可以引起倾斜声音，该声音通知用户或教练能够准确地回顾运动的事件。

示例3：声音绘画

在该示例中，一个或多个感测单元用于检测相对于起始位置的位置、运动的速度和感测单元的转动以及感测单元的拍打，以产生对应于特定运动模式的实时的声音。然后可以将舞蹈和/或艺术运动直接转换成对应的声音效果。

尤其对于声音绘画，可以应用机器学习来将力信号或一系列力信号匹配到预学的运动序列，并且生成反映所述运动序列的特定数字听觉信号。该仪器可以装配有多个预学的运动序列，每个运动序列代表跳舞运动，并且每个运动序列导致特定的听觉信号。

为此，可以通过用如上所述的仪器分析舞蹈运动来生成参数。这些参数可以在重复执行跳舞运动的同时由来自各种传感器装置(诸如，比如，这种仪器的加速度计、磁强计)的索引力信号产生。这些参数在嵌入到所述仪器的固件中之后可以与由舞蹈运动产生的力信号匹配，并且可以导致在检测运动并将该声音运动与预学的运动序列匹配以产生声音效果时的非常低的时延。为此，可以使用机器学习算法。

本领域技术人员可以从本发明的从属权利要求以及详细描述容易地导出根据本发明的仪器的另外有利实现。

Claims (21)

1.一种用于将来自感测单元的运动的至少一个检测到的力转换成听觉信号的仪器，该仪器包括：

a)至少一个传感器，该至少一个传感器用于由所述至少一个检测到的力生成力信号；

b)处理单元，该处理单元被配置为将所述力信号转换成数字听觉信号；

c)输出单元，该输出单元用于将所述数字听觉信号转换成听觉信号，并且

该仪器的特征在于：

所述数字听觉信号包括与单个检测到的力的加速度、强度以及持续时间有关的信息。

2.根据权利要求1所述的仪器，其中，所述处理单元适于尤其是通过应用机器学习算法来从所述力信号识别预学的运动序列，并且将所述运动序列转换成尤其是MIDI信号的数字听觉信号。

3.根据权利要求1或2所述的仪器，包括：第一外壳，在该第一外壳中，收容所述至少一个传感器和所述处理单元；第二外壳，在该第二外壳中，收容所述输出单元；以及数据交换单元，该数据交换单元用于在处理单元与输出单元之间传输所述数字听觉信号，尤其是用于在处理单元与输出单元之间无线地传输所述数字听觉信号。

4.根据权利要求1至3中任意一项所述的仪器，其中，所述第一外壳和所述第二外壳被设置为可拆卸地彼此可组合，尤其是借助于形状适配。

5.根据权利要求2至4中任意一项所述的仪器，其中，所述第一外壳和/或所述第二外壳具有用于将相应外壳附接到一个或多个第三装置的一个或多个固定装置。

6.根据权利要求1至5中任意一项所述的仪器，其中，所述仪器包括一个或多个能量源，尤其是一个或多个可再充电能量源。

7.根据权利要求1至6中任意一项所述的仪器，其中，所述仪器包括至少一个通信系统，尤其是总线系统和相应连接。

8.根据权利要求1至7中任意一项所述的仪器，其中，所述处理单元被设置为通过以下方式将所述力信号转换成数字听觉信号：将第一数字信息归于第一力信号维度，将第二数字信息归于第二力信号维度，将第三数字信息归于第三力信号维度，并且尤其是将第一数字信息归于单个检测到的力的加速度，将第二数字信息归于该力的强度，并且将第三数字信息归于该力的持续时间。

9.根据权利要求1至8中任意一项所述的仪器，其中，所述输出单元还包括音频输出和/或音频输出连接器。

10.根据权利要求1至9中任意一项所述的仪器，其中，所述仪器包括存储介质，尤其是用于存储数字听觉信号。

11.根据权利要求1至10中任意一项所述的仪器，其中，所述处理单元被配置为根据所定义算法将连续感测的力信号的序列转换成数字听觉信号的序列。

12.根据权利要求1至11中任意一项所述的仪器，其中，所述力传感器适于感测沿至少三个轴的加速度。

13.根据权利要求1至12中任意一项所述的仪器，包括多个传感器，每个传感器用于从多个检测到的力生成力信号，并且其中，所述处理器被配置为将所述多个力信号融合成一个数字听觉信号。

14.根据权利要求13所述的仪器，其中，所述处理器从每时间间隔处理的所述力信号生成数字听觉信号的串。

15.根据权利要求1至14中任意一项所述的仪器，其中，所述至少一个传感器是适于检测影响所述仪器的力的传感器，其中，所述力是影响所述仪器的运动和/或撞击，尤其是其中，所述至少一个传感器是从由陀螺仪、加速度计以及磁强计构成的组选择的传感器。

16.根据权利要求1至15中任意一项所述的仪器，其中，所述处理单元被配置为基于所确定的转换协议，尤其是预选择的确定的转换协议，来将所述力信号转换成数字听觉信号。

17.根据权利要求1至15中任意一项所述的仪器，其中，所述处理器适于对所述力信号分类，并且根据所述分类基于所确定的转换协议将所述力信号转换成数字听觉信号。

18.根据权利要求1至17中任意一项所述的仪器，其中，所述处理器适于以5至35ms之间，尤其是10至20ms之间，甚至低于20ms的时延将所述力信号转换成数字听觉信号。

19.适于由至少一个检测到的力生成力信号的运动传感器对于在仪器中生成力信号的使用，该运动传感器尤其是包括从以下组选择的一个或多个力检测传感器，该组由以下传感器构成：陀螺仪、加速度计、磁强计、罗盘、惯性传感器、绝对定向传感器和/或电磁传感器，所述仪器适于将所述力信号转换成数字听觉信号，该数字听觉信号能够由输出装置装换成听觉信号。

20.一种用于将影响对象的至少一个检测到的力转换成听觉信号的方法，

该方法包括以下步骤：

a)提供用于将至少一个检测到的力转换成听觉信号的仪器，尤其是根据权利要求1的仪器；

b)将至少一个传感器和处理单元贴附到所述对象上，该至少一个传感器用于由所述至少一个检测到的力生成力信号，

该处理单元被配置为将所述力信号转换成数字听觉信号，

所述至少一个传感器和处理单元都是该仪器一体形成部分；

c)用所述传感器感测影响所述对象的力，并且尤其是以20ms以下的时延将所述力信号转换成数字听觉信号；

d)借助于输出单元将所述数字听觉信号转换成听觉信号。

21.根据权利要求20所述的方法，其中，提供将各力信号归于数字听觉信号的算法。