CN102039042A - 动作协同运算装置和方法、程序、以及动作协同播放系统 - Google Patents

动作协同运算装置和方法、程序、以及动作协同播放系统 Download PDF

Info

Publication number
CN102039042A
CN102039042A CN201010514604XA CN201010514604A CN102039042A CN 102039042 A CN102039042 A CN 102039042A CN 201010514604X A CN201010514604X A CN 201010514604XA CN 201010514604 A CN201010514604 A CN 201010514604A CN 102039042 A CN102039042 A CN 102039042A
Authority
CN
China
Prior art keywords
information
user
action
users
arithmetic element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010514604XA
Other languages
English (en)
Other versions
CN102039042B (zh
Inventor
佐野茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102039042A publication Critical patent/CN102039042A/zh
Application granted granted Critical
Publication of CN102039042B publication Critical patent/CN102039042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0015Dancing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/40Acceleration
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50Wireless data transmission, e.g. by radio transmitters or telemetry
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00Sports without balls
    • A63B2244/22Dancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种动作协同运算装置和方法、程序、以及动作协同播放系统。所述动作协同运算装置包括:运动信息输入单元,用于输入从多个用户上分别装配的各个传感器装置提供的运动信息;以及运算单元,用于根据来自各个传感器装置的输入运动信息对表示多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算,并且基于协同信息生成用于对用户反馈输出的控制信息。

Description

动作协同运算装置和方法、程序、以及动作协同播放系统
技术领域
本发明涉及一种用于对表示多个用户的运动一致性的协同信息进行运算的动作协同运算装置和方法以及程序。另外,本发明涉及一种用于使用动作协同运算装置基于针对各个用户的动作协同信息执行播放的动作协同播放系统。
背景技术
在日本注册实用新型No.3083641中,公开了如下这种装置作为舞步练习机:通过由压力传感器检测舞蹈节奏的一致性并且将其通过LED显示而使得即使一个人也可以学习舞步。
在日本未审查专利申请公开No.2001-293246、日本注册实用新型No.3098422、日本未审查专利申请公开No.2007-293042、以及日本未审查专利申请公开No.2007-236765中,公开了一种针对节奏游戏和音乐游戏等中用户的输入时刻执行评估的装备,以及使用加速度传感器作为输入装置在人造乐器上演奏的装置等。
在日本专利No.3685731中,公开了一种把多个用户的各操控信息之间的相关性当作确定目标的装置。在此情形中,针对音乐伴奏的演奏评估多个用户的切换操控时刻。
发明内容
例如,在诸如多个用户所进行的舞蹈等协调运动的情形中,正在进行运动的人难以评估运动是否相互一致。到目前为止,由第三方检查运动,或者将运动拍摄成视频以供随后评估。
此处,这在排练舞蹈等以评估多个用户身体的运动同步或者把同步反馈给用户方面是有效的。
舞蹈等强调如何使多个人的运动相互一致,一种用于简单地评估多个人的协调性以及接收其反馈的系统使得可以迅速学习协调的动作。
另外,通过把这种系统应用于各种其它种类的体育运动、游戏和娱乐,认为该系统适合于功能熟练或者有助于乐趣的提升。
在相关领域中,在用户动作或运动的评估这一点上,如在上述专利文献中一样存在用于游戏机等中的技术。然而,根据日本注册实用新型No.3083641、日本未审查专利申请公开No.2001-293246、日本注册实用新型No.3098422、日本未审查专利申请公开No.2007-293042、以及日本未审查专利申请公开No.2007-236765中描述的技术,未评估例如诸如舞蹈等动作的多个用户的身体的动作同步性。
另外,根据日本专利No.3685731,评估多个用户的切换操控时刻。然而,这始终是评估操控时刻,而不是评估用户身体的动作同步性。
即,在多个用户所进行的舞蹈的情形中,不存在用于评估每个人是否与其他人同步舞蹈以及使得每个人识别评估结果的系统。
鉴于以上状况,期望使得可以提供如下这种装置和系统:可以通过把多个用户的动作同步性,例如身体运动的节奏和模式等,确定为协同信息并且向用户提供反馈来实现功能熟练或者提升乐趣。
根据本发明的一个实施例,提供了一种动作协同运算装置,包括:运动信息输入单元,用于输入从多个用户上分别装配的各个传感器装置提供的运动信息;以及运算单元,用于根据来自各个传感器装置的输入运动信息对表示多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算,并且基于协同信息生成用于对用户反馈输出的控制信息。
根据本发明的实施例的动作协同运算装置还包括记录单元;其中,记录单元记录从各个传感器装置输入到运动信息输入单元的运动信息,并且运算单元以预定间隔从记录单元读取运动信息以及执行协同信息的运算。
在根据本发明的实施例的动作协同运算装置中,运算单元根据从各个传感器装置提供的运动信息计算个体信息(例如,运动节奏、运动节拍、运动模式、运动的节奏模式、或者运动强度)作为各个用户的运动,并且通过使用个体信息的运算计算协同信息。
另外,在根据本发明的实施例的动作协同运算装置中,运算单元根据各个用户的个体信息确定所有用户的组的基本运动信息,以及通过使用基本运动信息和个体信息的运算计算协同信息。
在根据本发明的实施例的动作协同运算装置中,运算单元通过使用各个用户的个体信息的运算计算所有用户的整个组的协同信息。
在根据本发明的实施例的动作协同运算装置中,运算单元通过把各个用户的个体信息与指定用户的个体信息相比较来计算协同信息。
在根据本发明的实施例的动作协同运算装置中,运算单元通过把预设引导运动信息与各个用户的个体信息相比较来计算协同信息。
在根据本发明的实施例的动作协同运算装置中,运算单元生成用于对各个用户执行不同反馈输出的控制信息。
在根据本发明的实施例的动作协同运算装置中,运算单元生成用于对各个用户执行相同反馈输出的控制信息。
在根据本发明的实施例的动作协同运算装置中,运算单元生成用于向用户给出触觉推动的装置的驱动控制信息作为用于对用户反馈输出的控制信息。
根据本发明的另一个实施例,提供了一种能够执行信息输入/输出和运算处理的运算处理装置中的动作协同运算方法,所述动作协同运算方法包括以下步骤:输入从多个用户上分别装配的各个传感器装置提供的运动信息;根据来自各个传感器装置的输入运动信息对表示多个用户的身体或者身体一些部分的运动同步性的协同信息进行运算;并且基于协同信息生成用于对用户反馈输出的控制信息。
根据本发明的又一个实施例,提供了一种用于使得运算处理装置执行动作协同运算方法的程序。
根据本发明的又一个实施例,提供了一种动作协同播放系统,包括多个传感器装置、动作协同运算装置、以及反馈装置。多个传感器装置中的每一个传感器装置包括:检测单元,用于检测用户运动信息;以及输出单元,用于输出检测单元检测到的运动信息。反馈装置包括播放控制单元,用于基于控制信息控制用户的播放装置的驱动。
即,根据本发明的实施例,检测多个用户的动作作为运动信息,并根据针对各个用户检测到的运动信息获得表示多个用户的动作同步性的协同信息。协同信息意为表示各个用户的动作(例如,诸如舞蹈等的身体动作)是否彼此一致的信息为相关或差异。
另外,基于协同信息向各个用户给出反馈。例如,可以通过用户可以通过触觉感知识别的推动(振动等)把动作的“一致”、动作的“不一致”、或者动作的偏离程度通知用户。
根据本发明的实施例,通过以基于多个用户的运动的节奏、模式、以及强度等的协同信息为基础向用户给出反馈,用户在执行动作时知晓与其它用户的相关性(同步性)。相应地,变得可以迅速学习动作的协调性或者提升乐趣作为娱乐。
附图说明
图1是根据本发明的实施例的动作协同播放系统的框图;
图2是示出了根据本发明的实施例的动作协同运算的示例的说明图;
图3是示出了根据本发明的实施例的动作协同运算的示例的说明图;
图4是示出了根据本发明的实施例的动作协同运算的示例的说明图;
图5是示出了根据本发明的实施例的第一处理示例的流程图;
图6是根据本发明的实施例的基本运动节奏的设置的说明图;
图7是根据本发明的实施例的运动节拍的一致/不一致的说明图;
图8A和图8B是根据本发明的实施例的动作模式和节奏模式的说明图;
图9是示出了根据本发明的实施例的第二处理示例的流程图;
图10是示出了根据本发明的实施例的第三处理示例的流程图;以及
图11是示出了根据本发明的实施例的第四处理示例的流程图。
具体实施方式
1.系统配置
2.第一处理示例
3.第二处理示例
4.第三处理示例
5.第四处理示例
6.应用、修改以及程序
[1.系统配置]
图1是根据本发明的实施例的动作协同播放系统的框图。
此动作协同播放系统包括动作协同运算装置1、多个传感器装置2、反馈装置3、一个或多个播放装置4、以及引导装置5。
每个传感器装置2包括检测单元21和运动信息输出单元22。检测单元21例如可以是加速度传感器、压力传感器、角速度传感器、或者振动传感器等,并且根据运动等检测用户的动作、加速度。运动信息输出单元22实时地把检测单元21检测到的信号输出到动作协同运算装置1。
多个传感器装置2中的每一个传感器装置可以是装配在用户的身体上以由用户携带或者由用户拿在他的/她的手中的装置。另外,还认为传感器装置是用户在其上进行练习的椅子或支撑物的形式的。
在用户的身体上携带传感器装置的情形中,例如,认为传感器装置是可以通过装配系带和胶带等装配在诸如腕、踝、脖子、手臂、躯干、以及腿部等必要位置中的形式的。另外,传感器装置可以是装配在头部的耳机类型或帽子类型的。此外,传感器装置可以是戴在脖子上的围巾类型、用夹子装配在衣服上的类型、以及放入口袋中的类型的。
不论以任何类型,如果传感器装置2可以响应于用户身体的一部分(例如,手或者脚等)或者整个身体的运动检测运动信息则是足够的。
还认为传感器装置并非专用传感器装置,而是例如内置于远程控制器中的传感器装置2的形式的、用户携带的装置。
作为示例,可以把多个传感器装置2而非单个传感器装置2分别装配在用户的右手、左手、右脚以及左脚上。即,每个用户可以携带多个传感器装置2。
运动信息输出单元22根据检测单元21检测到的加速度或压力输出信号作为运动信息,并通过有线输出或无线输出(无线电波信号或者红外线信号等)执行与动作协同运算装置1的通信。
另外,多个用户并非必定在相同地点,例如,用户可以分别在远程地点。在此情形中,各传感器装置2可以通过网络通信把运动信息传输到动作协同运算装置1。
作为从运动信息输出单元22传输到动作协同运算装置1的数据的运动信息可以是检测单元21的检测值数据或者编码数据。
在此情形中,为了使动作协同运算装置1识别各个用户的运动信息,在传输的数据中包括传感器装置2的ID或者用户ID是适当的。
然而,在有线传输的情形中或者即使在通过调制频率的设置未使用ID的情况下,动作协同运算装置1也可以识别运动信息是从哪个传感器装置2传输的。
动作协同运算装置1包括动作信息输入单元14、记录单元15、运算单元11、以及控制信息输出单元13。根据动作协同运算装置1,在诸如CPU、RAM(随机存取存储器)、ROM(只读存储器)、以及输入/输出接口等硬件配置上实现动作信息输入单元14、记录单元15、运算单元11、以及控制信息输出单元13。相应地,可以把动作协同运算装置1配置成诸如个人计算机等的通用运算处理装置。当然,可以把动作协同运算装置1配置成专用装置。
运动信息输入单元14通过有线、无线、或者网络通信从各个传感器装置2接收运动信息。另外,运动信息输入单元14根据通信系统执行解调等。
把从各个传感器装置2接收到运动信息输入单元14中的运动信息记录在记录单元12中。记录单元12可以包括RAM、HDD(硬盘驱动器)、其它种类的记录媒体、以及它们的记录/播放处理系统。
记录单元12记录接收的运动信息,同时根据来自运算单元11的请求播放预定时段中来自各个传感器装置2的运动信息以把运动信息传输到运算单元11。
运算单元11如在后面要描述的第一至第四处理示例中一样使用运动信息执行运算处理。即,运算单元11根据来自各个传感器装置2的运动信息对表示多个用户的身体或者身体一些部分的同步性的协同信息进行运算,并且基于协同信息生成用于对用户反馈输出的控制信息。
例如,在运动信息是表示加速度传感器检测到的用户动作的信息的情形中,运算单元11能够通过使用加速度执行频谱分析或者自相关运算而根据加速度的波形峰值获得加速度的峰峰时间或者知晓运动的强度而非运动(在步行/跑动的情形中,脚跟的着地)的节奏、节拍、时刻或幅度值。
另外,可以根据加速度的已有波形模式知晓运动模式。
运算单元11可以基于加速度传感器检测到的运动节拍检测多个用户的动作是否相互一致或者动作是否存在于数百毫秒至数秒的预定范围中。
计算用户的动作同步性作为协同信息。
在后面要描述的详细示例中,使用表述“相关性”和“差异性”作为协同信息。相关性和差异性两者均为表示多个用户同步性的指标,它们的关系为:差异性=1/相关性。
具体地,例如,根据加速度传感器的运动信息对数百毫秒至数秒的时段评估运动节拍、运动强度、运动区域、以及运动模式,并确定针对时间序列的数个帧时段多个用户之间是否存在关系。把相关性和差异性表示成运动节拍、运动强度、运动范围、运动模式、协调人的数量、以及不协调人的数量的函数。
另外,运算单元11基于协同信息生成使得用户识别同步状况的用于反馈播放的控制信号。
在本发明的描述中,反馈播放意为通过触觉推动、视频、或者声音等向用户呈现用户动作之间的同步程度或者同步性的播放。
把运算单元11生成的用于反馈播放的控制信息从控制信息输出单元13提供给反馈装置3。
把反馈装置3配置成与动作协同运算装置1成整体或者与动作协同运算装置分开。特别地,反馈装置3是用于驱动播放装置4的装置,由于其必要性,它可以是与动作协同运算装置1分开的装置。即,在把反馈装置3安装在用户所在的位置中的意义上,可以把反馈装置3布置在被设置得与动作协同运算装置1相隔开的位置中。
反馈装置3包括控制信息输入单元3a和反馈播放控制单元3b。
控制信息输入单元3a从动作协同运算装置1的控制信息输出单元13接收和输入控制信息。
控制信息输出单元13与控制信息输入单元3a之间的通信可以是有线通信、无线通信、以及网络通信中的任何一项。如果把动作协同运算装置1和反馈装置3合并到设备中,则可以将通信实现为相应设备的内部控制信息的传输。
反馈播放控制单元3基于控制信息输入单元3a接收的控制信息控制播放装置4的驱动。
作为示例,播放装置4可以是向用户给出触觉推动的装置。例如,假定播放装置4是装配在用户的身体、手臂、腕、或者腿部等上以向用户给出节奏、振动、或者压力等的装置。在这种播放装置4的情形中,可以考虑把播放装置4和传感器装置2一体配置到装置中。
另外,播放装置4可以是视频监视器装置、音频扬声器装置或者耳机装置等,并且通过视频或音频呈现关于用户的信息。
即,播放装置4可以是用户的身体上携带的装置或者所谓的装配型装置。
另外,播放装置4可以针对每个用户或者针对所有用户执行播放,播放可以是触觉推动播放、音频播放、以及视频播放中的任何一种。
引导装置5是用于执行用户运算的引导输出的装置。引导装置5例如包括引导控制单元5a和引导播放单元5b。
引导控制单元5a控制引导播放的执行。引导播放向用户执行信息呈现作为引导。
在系统方面并不必定安装引导装置5。
例如,在集体舞的情形中,可以考虑引导装置5通过作为引导播放单元5b的音频扬声器装置或监视器装置播放舞蹈、音乐、以及视频等的节拍。在此情形中,不是把引导装置5当作系统配置设备,而是当作群组的音频装置或视频装置。
另一方面,还考虑与系统运算相关联地使用引导装置5。
例如,在播放装置4中,还考虑执行与反馈播放重叠的引导播放。
在此情形中,引导控制单元5a可以通过从动作协同运算装置1接收控制信息来执行预定控制,或者除了引导播放之外还请求反馈播放控制单元3b通过播放装置4执行播放运算。
在这种动作协同播放系统中,即使各个装置具有多种形状、布置或者整体/单独形成,也可以获得多个用户的全部身体或者身体一些部分的运动同步性作为协同信息,以及适当地执行对用户的反馈播放。为了实现相应运算,可以根据各用户所处的地点适当改变装置之间的通信类型和装置配置。
另外,根据系统运算的目的,诸如系统用于什么运动、以及要确定的是哪种同步等,适当地设置传感器装置2的配置(检测内容)、以及反馈播放类型等。
另外,可以考虑动作协同运算装置1的多种运算处理类型。在下文中,图2、图3、以及图4中示出了运算处理类型的示例。
图2示出了用户(用户A、B、以及C)中的每个用户上装配了一个传感器装置2的情形。在此情形中,动作协同运算装置1的运算单元11执行运算M1、M2、以及M3。
作为运算M1,运算单元11使用来自各个传感器装置2的运动信息执行用户A、B、以及C的个体信息运算。个体信息是通过评估各个用户的个人运动信息而获得的信息。例如,运算单元11确定每个用户的运动节奏、运动节拍、运动强度、运动模式、以及运动节奏模式。
接下来,运算单元11执行协同信息运算作为运算M2。即,运算单元11根据各个用户运动计算相关性或差异性,即通过个体信息运算获得的动作信息作为各个用户之间的同步性。
最后,运算单元11执行反馈控制运算作为运算M3。在运算M3中,运算单元11例如根据从运算M2获得的协同信息生成用于用户触觉推动播放的控制信息。在此情形中,可以生成针对各个用户的个体控制信息或者可以生成针对整个用户组的控制信息。
例如,作为个体控制信息,针对基本运动节奏为每个用户生成用于把各用户运动节奏的偏离状态表示成反馈播放的控制信息。
另外,作为针对整个组的控制信息,可以生成用于把一致状态或偏离状态表示成反馈播放的控制信息作为所有人的运动同步性。
图3示出了在每个用户上装配了多个传感器装置2的情形。作为示例,用户分别在他的/她的右手、左手、右脚、以及左脚上携带传感器装置2。相应地,各个传感器装置2分别输出运动信息作为右手的运动、左手的运动、右脚的运动、以及左脚的运动。
即使在此情形中,运算单元11也根据来自各个传感器装置2的运动信息执行个体信息运算作为运算M1A。然而,此情形中的个体信息运算为用于根据来自各个用户上装配的各个传感器装置2的运动信息获得身体各个部分的动作信息的运算。
即,运算单元11确定用户A的右手、左手、右脚、以及左脚的运动节奏、运动节拍、运动强度、运动模式。运算单元11还针对用户B确定这些内容。
随后,运算单元11执行用户信息运算作为以用户为单位的个体信息作为运算M1B。例如,运算单元11根据用户A的右手、左手、右脚、以及左脚的运动节奏计算用户的整体运动信息。例如,运算单元11获得整体运动的节奏或模式。
随后,运算单元11执行协同信息运算作为运算M2。即,运算单元11根据各个用户动作,即通过个体信息运算M1A和用户信息运算M1B获得的各个运动信息计算相关性或差异性作为各个用户之间的同步性。
最后,运算单元11执行反馈控制运算作为运算M3。在运算M3中,运算单元11例如根据从运算M2获得的协同信息生成用于用户触觉推动播放的控制信息。即使在此情形中,也可以生成针对各个用户的个体控制信息或者可以生成针对整个用户组的控制信息。
如图3中所示,可以考虑检测一个用户多个部分的动作作为运动信息,根据检测到的运动信息评估一个人的用户身体的复合运动,随后通过比较多个用户之间身体的复合运动执行协同信息运算。
以同样的方式,将如图4中所示的运算处理作为用户装配多个传感器装置2的示例。
如在图3的情形中一样,每个用户上装配了多个传感器装置2。
运算单元11根据来自传感器装置2的运动信息执行个体信息运算作为运算M1A。即,运算单元11执行运算以根据来自各个用户上装配的各个传感器装置2的运动信息获得运动节奏等作为身体各个部分的动作信息。
随后,运算单元11执行用户身体各个部分的协同信息运算作为运算M2A。
即,运算单元11比较各个用户右手的运动节奏。另外,运算单元11比较各个用户右脚的运动节奏。另外,运算单元11比较各个用户左脚的运动节奏。另外,运算单元11比较各个用户左手的运动节奏。
如上所述,运算单元11计算每个身体区域的动作的相关性或差异性。
随后,运算单元11执行用户的复合协同信息运算作为运算M2B。即,运算单元11使用各个用户的右手、右脚、左脚、以及左手的相关性或差异性值计算复合相关性或差异性。
最后,运算单元11执行反馈控制运算作为运算M3。在运算M3中,运算单元11例如根据从运算M2B获得的复合协同信息生成用于用户触觉推动播放的控制信息。即使在此情形中,也可以生成针对各个用户的个体控制信息或者可以生成针对整个用户组的控制信息。
如图4中所示,可以考虑检测一个用户的多个部分的动作作为运动信息,根据它们,对各个用户的身体部分运算协同信息,随后根据身体各个部分的协同信息,在多个用户之间执行协同信息运算。在此情形中,对身体各部分的相关性或差异性加权,随后执行复合协同信息运算。
上述示例只是运算技术的示例,可以考虑其它多种示例。按照传感器装置的种类、使用的传感器装置的数量、检测的内容、装配位置、运动的内容、以及反馈播放的目的等,可以选择运算技术。
[2.第一处理示例]
在下文中,将描述动作协同运算装置1的详细处理示例。假定动作协同播放系统在多个用户集体练习体操或舞蹈的情形中针对各个用户执行反馈播放。
图5示出了动作协同运算装置1的处理。
假定多个用户例如在用户携带或者用户上装配各个传感器装置2的情况下跳舞,如图2中所示。传感器装置2例如包括作为加速度传感器的检测单元21,并且通过运动信息输出单元22实时地输出检测到的加速度信息作为运动信息。
在图5的步骤F101中,动作协同运算装置1开始运动信息的记录。即,如果动作协同运算装置1的动作信息输入单元14从各个传感器装置2接收到运动信息,则动作协同运算装置1把接收的运动信息记录在记录单元12中。此后,连续执行这种记录处理。
在此情形中,记录来自各个传感器装置2的运动信息以使得辨别运动信息来自哪个传感器装置(哪个用户)。例如,如上所述,执行记录以使得传感器装置2的ID(识别信息)对应于各运动信息。
在步骤F102中,运算单元11针对记录单元12中记录的、来自各个传感器装置2的运动信息读取预定时段的运动信息。预定时段例如是诸如10秒、30秒、或者一分钟等的设定时段。
虽然图7中示出了时段t1、t2、t3等,但是运算单元11在优先时段t1中从记录单元12读取运动信息。
在步骤F103中,运算单元11使用从记录单元12读取的、来自各个传感器装置2的运动信息执行各个传感器装置2的用户的个体信息运算。此处,以执行运动节奏的评估为示例。
如果用户执行的运动是周期性运动,则可以使用节拍(例如,每分钟的拍数(BPM))作为运动节奏的评估。
例如,作为个体信息运算,根据加速度传感器等的运动信息评估此时对象时段(t1:例如,一分钟)中每个用户的节拍(BPM)。具体地,通过检测加速度传感器的峰值一分钟来计算节拍。可以通过执行加速度值的频谱分析或者其自相关运算进行峰值检测。
针对各个用户(来自各个传感器装置2的运动信息)执行上述计算。
在此情形中,可以考虑按照用户的动作、体操或舞蹈的种类、以及其它运动类型计算运动模式、节奏模式、或者运动强度而非运动节奏(节拍)。
例如,图8A示出了用户A和B的加速度传感器值。在各个用户上装配的每个传感器装置2上,装配X、Y、以及Z方向上的加速度传感器,获得图中实线、虚线、以及点划线所表示的波形作为各个方向上的加速度传感器值(运动信息)。可以通过加速度传感器值的已有波形模式知晓运动模式。
另外,图8B示出了用户A的节奏。例如,通过检测来自用户A上装配的传感器装置2的加速度传感器值的峰值,可以检测用户A的节奏模式。在此情形中,节奏模式不是作为节奏的简单节拍,而是表示各个拍子时刻之间的时长改变。
另外,虽然未示出,但是可以根据加速度传感器的波形幅度检测运动强度或强度模式。
在图5的步骤F103中,计算节拍(运动节奏)等作为每个用户的个体信息。
随后,在步骤F104中,运算单元11评估作为多个用户的组中的基本运动节奏。例如,在评估每个用户的节拍作为运动节奏的情形中,把作为节拍的比较基础的节拍确定为基本运动节奏。
此基本运动节奏是组中的代表性运动节奏。例如,针对步骤F103中计算的个体用户的运动节奏,辨别如图6中所示的分布。由于运动节奏(节拍(BPM))对于每个用户而言有些不同,所以获得如图6中所示的分布,并且把频率最高的节拍(即,用户数量最大的节拍)确定为基本运动节奏。
在此情形中,无论频率(用户的数量)如何,可以考虑把基本运动节奏评估为所有用户的节拍的平均值,或者通过把频率最高的节拍校正为平均值等来计算基本运动节奏。
无论如何,如果基本运动节奏是要评估节拍等,则所有用户期望与节拍一致是足够的。
在图5的步骤F105中,针对各个用户的运动节奏计算基本运动节奏和差异性。可以如下计算差异性。
首先,如果某个用户的运动节奏(节拍(BPM))高于基本运动节奏(节拍(BPM)),则假定“节拍α”是用户的运动节奏,“节拍β”是基本运动节奏。
另一方面,如果用户的运动节奏(节拍(BPM))低于基本运动节奏(节拍(BPM)),则假定“节拍α”是基本运动节奏,“节拍β”是用户的运动节奏。即,较快的一个为“节拍α”。
另外,如下获得差异性。
差异性=节拍α/节拍β-int(节拍α/节拍β)
此处,“int”表示整数值部分。
例如,如果假定某个用户的运动节奏的节拍=60,基本运动节奏的节拍=56,则差异性为60/56-int(60/56)。如果60/56=1.07,则int(60/56)为“1”,即1.07的整数部分。
相应地,获得差异性为:差异性=1.07-1=0.07。
另外,例如,如果假定另一用户的运动节奏的节拍=48,基本运动节奏的节拍=56,则差异性为56/48-int(56/48)。如果56/48=1.16,则获得差异性为1.16-1=0.16。
另外,如果另一用户的运动节奏等于基本运动节奏的节拍(=56),则差异性变成1-1=0。
结果,差异性值随着用户的节拍与基本运动节奏的节拍之间的差异性变大而变大。
运算单元11针对各个用户的运动节奏获得差异性。
在步骤F106中,运算单元11生成反馈控制信息,并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。
根据差异性生成反馈控制信息。
作为示例,反馈播放是把基本运动节奏传递给用户作为触觉推动。例如,假定播放装置4可以是用户的皮肤上装配的压力装置、或者振动器等。
另外,假定由播放装置4传递基本运动节奏。即,以基本运动节奏的节拍的形式向用户给出触觉推动。
此处,对每个用户,根据差异性的值设置触觉推动的强度。
即,运算单元11生成作为基本运动节奏的节拍信息和根据每个用户的差异性值的强度系数作为反馈控制信息,并且把它们的控制信息输出到反馈装置3。
强度系数可以是差异性值本身或者通过把差异性值乘以预定系数获得的值,另外,可以是通过把它们乘以时间值获得的值。例如,虽然预期差异性值在运动过程中改变,但是把获得超过预定值的差异性值的时段的长度当作系数。即,随着动作偏离出现的时段变长,强度系数变高。
通过这种反馈控制信息,反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动播放的驱动。
即,虽然针对所有用户把作为基本运动节奏的节拍传递给触觉,但是触觉推动随着动作偏离变大而变大。即,动作偏离较大的用户感觉到的基本运动节奏的节拍更强。
此时,虽然为此这样做是合理的,但是有必要使各个用户的控制信息对应于各个用户上装配的播放装置4。反馈播放控制单元3b通过按照针对各个用户的控制信息(根据差异性的强度系数)设置用户上装配的播放装置4的播放强度来控制播放装置4的驱动。
如果各个用户的节拍彼此一致,则用户通过播放装置4针对用触觉感觉到的节奏感觉小,然而如果节拍彼此偏离,则用户针对用触觉感觉到的节奏感觉大。
运算单元11在步骤F106中的处理之后从步骤F107返回步骤F102以继续同样的过程。即,在连续系统运算期间,运算单元11重复执行步骤F102至F106。
如果系统运算结束,则运算单元11从步骤F107进行到步骤F108,并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程以终止一系列运算。
将参照图7描述图5的处理实现的系统运算的示例。
如上所述,运算单元11对t1、t2、或者t3等的每个时段针对各个用户的运动信息执行图5的处理。
在图7中,竖直轴代表运动节拍,水平轴代表时间。虚线表示某个用户A的运动节奏(节拍),实线表示步骤F104中评估的基本运动节奏(节拍)。
在图中把用户A的节拍与基本运动节奏几乎一致的时段表示成“一致”。把用户A的节拍偏离基本运动节奏的时段表示成“不一致”。
另外,当用户的运动节拍是基本运动节奏节拍的n倍(例如,双倍速度一致)时,表示为“双倍速度一致”。
此处,用户A在用户的运动节奏是“一致”或“双倍速度一致”的时段中通过触觉推动播放针对基本运动节奏感觉小。另一方面,用户A在“不一致”的时段中感觉到根据偏离量(或者用户的运动节拍进一步偏离基本运动节奏的时长)强调的基本运动节奏。
如果用触觉感觉到的基本运动节奏变强,则用户感觉到其运动偏离基本运动节奏,并且在注意节拍与基本运动节奏一致的情况下表演舞蹈。通过这么做,可以校正动作以使得节拍与整体运动一致。即,如果执行动作以使得尽可能感觉不到触觉推动则是足够的。换言之,由于推动大小所致的触觉推动播放成为反馈播放,诸如使具有运动偏离的用户采用根据偏离状态的播放强度学习校正节拍。
相应地,用户可以在执行运算时意识到与其它用户的关系,并且迅速学习运算的协调性。另外,用户可以在增加相关性的过程中取得乐趣。
此时,在上述示例中,虽然示例为差异性是
差异性=节拍α/节拍β-int(节拍α/节拍β),
但是设置了预定阈值X,如果X是
|节拍α/节拍β-int(节拍α/节拍β)|<X,
则它对应于“一致”。如果X是
|节拍α/节拍β-int(节拍α/节拍β)|≥X,
则它对应于“不一致”。在此情形中,可以通过两个值(一致/不一致)表示动作的相关性。
在此情形中,可以考虑根据触觉推动播放的强度即“一致”和“不一致”通过两级或者通过开/关运算控制反馈播放。
另外,可以考虑向“一致的”用户给出指定触觉推动的播放。
另外,可以通过关系(相关性=1/差异性)而非差异性来处理播放。
例如可以通过节拍β/节拍α-int(节拍β/节拍α)计算相关性。相关性越高,给出预定触觉推动越强的反馈播放。
另外,在如图7中所示的双倍速度一致的情形中,认为更难以执行诸如两倍、以及三倍等的节拍一致。因此,在双倍速度一致的情形中,可以处理成具有更高的相关性。
另外,反馈播放并非执行为强度对于每个用户各自不同的触觉推动播放,而是可以向所有用户共同播放。
例如,在步骤F105和F106中,针对基本运动节奏根据各个用户的运动节奏的分布宽度设置差异性的强度。
即,把反馈控制信息的强度系数提高到使各个用户的动作分散的程度。
相应地,当从所有用户的偏离变大时所有用户可以强烈地感觉到触觉推动播放,以及可以从身体上感知同时运动的所有用户的动作一致状态。
如上所述,以根据作为运动节奏的节拍值计算差异性和相关性为示例。然而,如上所述,可以考虑使用运动模式或节奏模式。
在根据运动模式获得相关性的情形中,例如,把加速度传感器的X、Y和Z方向上波形的互相关系数的最大值乘以1/lag。lag是最大相关系数的时间差异性。
如果假定具有两个离散值的不规则变化为x(t)和y(t),则它们的互相关系数Cxy(r)如式(1)中一样表示。
Cxy ( r ) = 1 N Σ t - n N - r - 1 x ( t ) y ( t + r ) - - - ( 1 )
此处,r代表表示被称为lag的、在y(t)的时间轴上的平行运动的参数。
当提高相关性时,波形变得彼此类似,时间差异性变小。
另外,在使用节奏模式的情形中,可以通过把如图8B中所示的用户节奏与作为基本节奏的节奏模式相比较来计算相关性(或差异性)。
例如,可以通过把预定时段内各个位时刻(运动的峰值时刻)的偏离量相累加的技术获得相关性。
即使在运动强度的情形中,也可以用同样的方式获得相关性。
[3.第二处理示例]
将参照图9描述动作协同运算装置1的第二处理示例。
即使在后面要描述的第二至第四处理示例中,也以与第一处理示例相同的方式,假定多个用户例如在用户携带或者用户上装配各个传感器装置2的情况下跳舞,如图2中所示。传感器装置2例如包括作为加速度传感器的检测单元21,并且通过运动信息输出单元22实时地输出检测到的加速度信息作为运动信息。
在图9的步骤F201中,动作协同运算装置1开始运动信息的记录。即,如果动作协同运算装置1的动作信息输入单元14从各个传感器装置2接收到运动信息,则动作协同运算装置1把接收的动作信息记录在记录单元12中。此后,连续执行这种记录处理。
在步骤F202中,运算单元11针对记录单元12中记录的、来自各个传感器装置2的运动信息读取预定时段的运动信息。
另外,在步骤F203中,运算单元11使用从记录单元12读取的、来自各个传感器装置2的运动信息执行各个传感器装置2的用户的个体信息运算。例如,运算单元11把运动节拍确定为各个用户的运动节奏。
上述步骤与根据处理示例1的步骤F101至F103相同。
在步骤F204中,运算单元11计算各个用户之间的差异性。
例如,在三个用户A、B、以及C的示例中,计算用户A与B之间、用户B与C之间、以及用户C与A之间的差异性。
例如,如果假定针对两个用户之间的运动节拍,“节拍α”是节拍快的一侧,“节拍β”是节拍慢的一侧,则如下获得差异性。
差异性=节拍α/节拍β-int(节拍α/节拍β)
如果获得了各个用户组合的差异性,则运算单元11在步骤F205中计算整个组的差异性。例如,各个组合的差异性的平均值或者分布的宽度为整个组的差异性。
在步骤F206中,运算单元11生成反馈控制信息,并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。
根据整个组的差异性生成反馈控制信息。
例如,在整个组的差异性变大(或变小)时运算单元11生成播放强度系数高的反馈控制信息,并且把控制信息从控制信息输出单元13输出到反馈装置3。
通过反馈控制信息,反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动播放的驱动。
当用户的动作分散(或者相反地彼此一致)时,反馈播放强度提高。
由此,各个用户能够通过触觉推动播放的强度识别所有运动的相关性状态。
运算单元11在步骤F206中的处理之后从步骤F207返回步骤F202以继续同样的处理。
如果系统运算结束,则运算单元11从步骤F207进行到步骤F208,并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程,以终止一系列运算。
在第二处理示例中,根据任意地点中用户的组合之间的差异性确定整体差异性,并且执行根据整体差异性的反馈播放。
当然,可以根据相关性而非差异性执行运算。另外,可以根据运动模式、节奏模式、以及运动强度而非运动节拍确定差异性或相关性。
[4.第三处理示例]
将参照图10描述动作协同运算装置1的第三处理示例。
图10中的步骤F301、F302、以及F303与处理示例1的步骤F101、F102、以及F103相同,因此将略去其说明。
在步骤F304中,运算单元11评估指定用户的运动节奏。例如,如果多个用户之一是舞蹈等中的领导者,则把该用户确定为指定用户。运算单元11根据来自指定用户上装配的传感器装置2的运动信息评估运动节奏。
此时,在实践中,在步骤F303中,把运动节奏(运动节拍)确定为所有用户的个体信息,在步骤F304中,在所有用户的运动节奏中选择指定用户的运动节奏。
在步骤F305中,运算单元11计算指定用户的运动节奏与每个用户的运动节奏之间的差异性。例如,如果用户A是指定用户,则计算指定用户A与另一用户之间,诸如用户A与B之间、用户A与C之间、以及用户A与D之间等运动节奏的差异性。
例如,如果假定针对指定用户与另一用户之间的运动节拍,“节拍α”是节拍快的一侧,“节拍β”是节拍慢的一侧,则如下获得差异性。
差异性=节拍α/节拍β-int(节拍α/节拍β)
如果各个其它用户的节拍针对指定用户A的节拍的差异性变大,则差异性值变大。
另外,在步骤F306中,运算单元11生成反馈控制信息,并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。
根据指定用户与除了指定用户以外的其它用户之间的差异性生成反馈控制信息。即,根据差异性值为各个用户设置触觉推动强度。
运算单元11根据各个用户的差异性值生成作为指定用户A的运动节奏和强度系数的节拍信息作为反馈控制信息,并且把控制信息输出到反馈装置3。
强度系数可以是差异性值本身、通过把差异性值乘以预定系数获得的值、或者通过把它们乘以时间值获得的值。
通过反馈控制信息,反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动播放的驱动。
即,虽然针对除了指定用户A以外的用户把作为指定用户A的运动节奏的节拍传递给触觉,但是触觉推动随着动作偏离指定用户A的变大而变大。即,动作偏离指定用户A较大的用户感觉到指定用户A的节拍更强。
此时,虽然为此这样做是合理的,但是有必要使针对各个用户的控制信息对应于各个用户上装配的播放装置4。反馈播放控制单元3b设置用户上装配的播放装置4的播放强度,并且根据针对各个用户的控制信息(根据差异性的强度系数)控制播放装置4的驱动。
如果作为比较的结果,各个用户的节拍与指定用户A(例如,领舞者等)的节拍一致,则用户通过播放装置4针对用触觉感觉到的节奏感觉小,然而如果节拍偏离指定用户A的节拍,则用户针对用触觉感觉到的节奏感觉大。
运算单元11在步骤F306中的处理之后从步骤F307返回步骤F302,以继续同样的处理。
如果系统运算结束,则运算单元11从步骤F307进行到步骤F308,并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程以终止一系列运算。
在如上所述的第三处理示例中,如果用触觉感觉到的基本运动节奏变强,则用户感觉到用户的动作偏离指定用户例如领导者的动作,并且在注意与领导者一致的情况下表演舞蹈。相应地,用户可以在执行运算时意识到与领导者的一致状态。另外,用户可以取得在增加动作相关性的过程中的乐趣。
在此情形中,可以通过相关性而非差异性执行运算处理。另外,可以根据运动模式、节奏模式、以及运动强度而非运动节拍确定差异性或相关性。
另外,反馈播放不是执行为强度对于每个用户各自不同的触觉推动播放,而是可以向所有用户共同播放。
例如,在步骤F305和F306中,针对指定用户A的运动节奏根据各个用户运动节奏的分布的宽度或者根据各个用户的差异性的平均值来设置差异性的强度。
即,当各个用户的运动分散时反馈控制信息的强度系数提高。
相应地,当偏离领导者变大时所有用户强烈地感觉到触觉推动播放,并且从身体感知所有用户同时运动、模仿领导者的动作的一致状态。
[5.第四处理示例]
将参照图11描述第四处理示例。
在第四处理示例中,反馈装置3在引导装置5的控制下以触觉推动的形式向用户给出引导节奏。
在作为动作协同运算装置1的处理的步骤F401中,动作协同运算装置1开始运动信息的记录。即,如果动作协同运算装置1的动作信息输入单元14从各个传感器装置2接收到运动信息,则动作协同运算装置1把接收的动作信息记录在记录单元12中。此后,连续执行这种记录处理。
在步骤F402中,运算单元11生成用于引导节拍的推动播放的控制信息,并且把控制信息从控制信息输出单元13输出到引导装置5和反馈装置3。即,运算单元11向引导装置5指示必要的引导节拍。另外,运算单元11向反馈装置3指示引导节拍的触觉推动播放的开始。引导控制单元5a根据指示向反馈播放控制单元3b指示引导节拍。
相应地,各个播放装置4执行预定引导节拍的触觉推动,从而各个用户从身体感知引导节拍。
此时,引导播放单元5b还可以通过音频或视频同时执行根据引导节拍的播放。
在步骤F403中,运算单元11针对记录单元12中记录的、来自各个传感器装置2的运动信息读取预定时段的运动信息。
在步骤F404中,运算单元11使用从记录单元12读取的、来自各个传感器装置2的运动信息执行各个传感器装置2的用户的个体信息运算。例如,运算单元11执行运动节奏的评估。如上所述的步骤F403和F404与根据处理示例1的步骤F102和F103相同。
接下来,在步骤F405中,运算单元11计算作为各个用户的运动节奏的节拍与引导节拍之间的差异性。
例如,如果假定针对引导节拍和各个用户的运动节拍,“节拍α”是节拍快的一侧,“节拍β”是节拍慢的一侧,则如下获得差异性。
差异性=节拍α/节拍β-int(节拍α/节拍β)
如果用户的节拍与引导节拍之间的差异性变大,则差异性值变成更大的值。
如果针对用户获得了各个引导节拍的差异性,则在步骤F406中,运算单元11计算整个组中的差异性。例如,运算单元11把分布宽度或者各个用户的差异性的平均值当作整个组的差异性。
在步骤F407中,运算单元11生成反馈控制信息,并且把反馈控制信息从控制信息输出单元13传输到反馈装置3。
根据整个组的差异性生成反馈控制信息。
例如,当整个组的差异性变大(或变小)时,运算单元11生成播放强度系数高的反馈控制信息,并且把控制信息从控制信息输出单元13输出到反馈装置3。
通过如上所述的反馈控制信息,反馈装置3的反馈播放控制单元3b针对各个用户上装配的各个播放装置4控制触觉推动的驱动。
随后,当用户的动作针对引导节拍分散(或者相反地彼此一致)时,提高反馈播放强度。
由此,各个用户能够通过触觉推动播放的强度识别运动的相关性状态。
运算单元11在步骤F407中的处理之后从步骤F408返回步骤F403以继续同样的处理。
如果系统运算结束,则运算单元11从步骤F408进行到步骤F409,并且结束记录单元12中运动信息的记录过程、运算单元11的运算过程、以及反馈控制信息的生成/输出过程以终止一系列运算。
在第四处理示例中,把所有用户的动作的整体差异性确定为用户识别的引导节拍,并执行根据整体差异性的反馈播放。
当然,可以根据相关性而非差异性执行运算。另外,可以根据运动模式、节奏模式、以及运动强度而非运动节拍确定差异性或相关性。
[6.应用、修改以及程序]
如上所述,已描述了各种处理示例作为本发明的实施例。此处,将描述各种处理示例中的应用和修改。
作为本发明的实施例的应用,可以考虑如上所述以集体的形式表演的舞蹈或体操。在多人表演舞蹈的情形中,在相关领域中,监督者观察跳舞的人的动作是否相互一致或者运动录制在视频上以在以后确认。通过使用根据本发明的示例的系统,可以实时地或者预先把舞蹈节奏传递给表演者,并可以反馈执行的动作是否与其它人的动作协同。
另外,可以考虑同游表演、游行、实况地点的人的动作、以及节奏游戏。
如果基于多个用户的运动状态同步性生成反馈播放则是足够的。
还可以考虑用户运动节拍、运动强度、运动区域、以及运动模式在预定范围中是否彼此一致,或者在节拍的情形中,如果节奏由弱拍(up beat)以及和声组成,则是否向用户给出预定反馈。
在触觉推动播放中,通过同步状态改变压力装置感觉到的拍子的强度和弱度、拍子间隔、振动强度、以及振动时间等。
另外,在用声音或音乐执行反馈播放的情形中,例如,如果运动模式彼此一致,则可以通过在下一次测量中使多个声音重叠而输出噪声,或者给出大意为运动彼此协调的通告。
如果运动模式早或晚,则可以给出大意为如下内容的通告:音乐的重叠未在下一次测量中出现、不协调出现、或者运动彼此不协调。在节奏由弱拍组成的情形中,还可以添加拍子声音或节奏声音。
当相关性变大时,重叠和音的数量或音量变大。另一方面,随着相关性变小,重叠和音的数量或音量也变小,不协调的数量或音量变大。
可以在用户上装配或者由用户携带传感器装置2。然而,例如,还可以通过摄像机装置拍摄用户的动作以及通过图像识别处理确定各个用户的动作。
另外,例如,在处理示例4中,还考虑对于独立于系统运算的引导装置5的播放或引导节奏,在模板已经存在时通过给出触觉推动来教导运动方向或下一个节奏。
另外,当协调运动已成功时,记录尚未执行的信息,从而可以转变用户的动作。
动作协同运算装置1把传感器输出值连同时间信息一起记录在记录单元12中。基于此日志,可以播放时间序列运动模式和反馈。
还可以回顾用户与另一用户之间的相关性或者用户与预注册模板之间的动作差异性,并且使用日志作为模板。
用户可以准备运动的模板。
通过对接合到身体的传感器装置2(例如,加速度传感器)的操控或者通过启动专用软件,可以对软件执行模板播放操控,从而可以记录此后的运动。
另外,虽然在处理示例1、2、3、以及4中以如图2中所示把传感器装置2装配在用户上为示例,但是可以如图3和图4中所示以同样的方式把多个传感器装置2装配在每个用户上。
例如,在图5的处理示例1中,在步骤F103中执行图3中的运算M1A和M1B。
另外,在图9的处理示例2中,在步骤F204中执行图4中的运算M2A和M2B。
在其它处理示例中,通过恰当地执行图3和图4的运算,用户上可以装配多个传感器装置2。
另外,在实施例中,以动作协同运算装置1把运动信息记录在记录单元12中为示例。然而,根据运算单元11的处理能力,运算单元11可以直接处理运动信息输入单元14中接收的信息而不采取记录操作。
将描述程序。
在本发明的实施例中,程序是用于实现上述动作协同运算装置1的功能的程序。例如,计算机装置中安装的程序开始使计算机装置如在处理示例1、2、3、以及4中一样执行处理。
在此实施例中,可以把程序预先记录在作为内置于诸如个人计算机等设备中的记录介质的HDD、专用动作协同运算装置1、或者具有CPU的微计算机中的ROM中。
另外,可以把程序暂时地或永久地存储在软盘、CD-ROM(压缩光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、蓝光盘、磁盘、半导体存储器、诸如记忆卡的可拆除记录介质中。可拆除记录介质可以提供为所谓的封装软件。
另外,除了从可拆除记录介质安装在个人计算机中之外,还可以通过诸如LAN(局域网)、或者互联网等网络从下载站点下载程序。
根据相应程序,动作协同运算装置1可以使用诸如个人计算机的信息处理装置实现,并且适合于系统运算的大范围提供。
本申请包含与2009年10月23日提交于日本专利局的日本在先专利申请JP 2009-244304中公开的主题相关的主题,其全部内容通过引用合并于此。
本领域的技术人员应当理解,根据设计要求和其它因素,可以进行各种修改、组合、子组合和改变,只要这些修改、组合、子组合和改变在所附权利要求或其等价内容的范围内。

Claims (14)

1.一种动作协同运算装置,包括:
运动信息输入单元,用于输入从多个用户上分别装配的各个传感器装置提供的运动信息;以及
运算单元,用于根据来自所述各个传感器装置的输入运动信息对表示所述多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算,并且基于所述协同信息生成用于对用户反馈输出的控制信息。
2.如权利要求1所述的动作协同运算装置,还包括记录单元;
其中,所述记录单元记录从所述各个传感器装置输入到所述运动信息输入单元的运动信息,以及
所述运算单元以预定间隔从所述记录单元读取运动信息以及执行协同信息的运算。
3.如权利要求2所述的动作协同运算装置,其中,所述运算单元根据从所述各个传感器装置提供的运动信息计算个体信息作为各个用户的运动,并且通过使用所述个体信息的运算计算所述协同信息。
4.如权利要求3所述的动作协同运算装置,其中,所述个体信息是关于运动节奏、运动节拍、运动模式、运动的节奏模式、或者运动强度的信息。
5.如权利要求3所述的动作协同运算装置,其中,所述运算单元根据各个用户的个体信息确定所有用户的组的基本运动信息,以及
通过使用所述基本运动信息和所述个体信息的运算计算所述协同信息。
6.如权利要求3所述的动作协同运算装置,其中,所述运算单元通过使用各个用户的个体信息的运算计算所有用户的整个组的所述协同信息。
7.如权利要求3所述的动作协同运算装置,其中,所述运算单元通过把各个用户的个体信息与指定用户的个体信息相比较来计算所述协同信息。
8.如权利要求3所述的动作协同运算装置,其中,所述运算单元通过把预设引导运动信息与各个用户的个体信息相比较来计算所述协同信息。
9.如权利要求1所述的动作协同运算装置,其中,所述运算单元生成用于对各个用户执行不同反馈输出的控制信息。
10.如权利要求1所述的动作协同运算装置,其中,所述运算单元生成用于对多个用户执行相同反馈输出的控制信息。
11.如权利要求1所述的动作协同运算装置,其中,所述运算单元生成用于向用户给出触觉推动的装置的驱动控制信息作为用于对用户反馈输出的控制信息。
12.一种能够执行信息输入/输出和运算处理的运算处理装置中的动作协同运算方法,所述动作协同运算方法包括以下步骤:
输入从多个用户上分别装配的各个传感器装置提供的运动信息;
根据来自所述各个传感器装置的输入运动信息对表示所述多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算;以及
基于所述协同信息生成用于对用户反馈输出的控制信息。
13.一种程序,用于使得运算处理装置执行以下步骤:
输入从多个用户上分别装配的各个传感器装置提供的运动信息;
根据来自所述各个传感器装置的输入运动信息对表示所述多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算;以及
基于所述协同信息生成用于对用户反馈输出的控制信息。
14.一种动作协同播放系统,包括多个传感器装置、动作协同运算装置、以及反馈装置;
其中,所述多个传感器装置中的每一个传感器装置包括:检测单元,用于检测用户运动信息;以及输出单元,用于输出所述检测单元检测到的运动信息;
其中,所述动作协同运算装置包括:运动信息输入单元,用于输入从多个用户上分别装配的各个传感器装置提供的运动信息;以及运算单元,用于根据来自所述各个传感器装置的输入运动信息对表示多个用户的身体或者身体一些部分的动作同步性的协同信息进行运算,并且基于所述协同信息生成用于对用户反馈输出的控制信息;以及
其中,所述反馈装置包括:播放控制单元,用于基于所述控制信息控制用户的播放装置的驱动。
CN201010514604XA 2009-10-23 2010-10-15 动作协同运算装置和方法、程序、以及动作协同播放系统 Active CN102039042B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-244304 2009-10-23
JP2009244304A JP5504818B2 (ja) 2009-10-23 2009-10-23 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム

Publications (2)

Publication Number Publication Date
CN102039042A true CN102039042A (zh) 2011-05-04
CN102039042B CN102039042B (zh) 2013-12-04

Family

ID=43898740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010514604XA Active CN102039042B (zh) 2009-10-23 2010-10-15 动作协同运算装置和方法、程序、以及动作协同播放系统

Country Status (3)

Country Link
US (2) US9079058B2 (zh)
JP (1) JP5504818B2 (zh)
CN (1) CN102039042B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108371814A (zh) * 2018-01-04 2018-08-07 乐蜜有限公司 多人体感舞蹈的实现方法、装置、电子设备及存储介质
CN111315453A (zh) * 2017-12-19 2020-06-19 索尼公司 信息处理设备、信息处理方法及程序
CN111433831A (zh) * 2017-12-27 2020-07-17 索尼公司 信息处理装置、信息处理方法和程序
CN111803904A (zh) * 2019-04-11 2020-10-23 上海天引生物科技有限公司 一种舞蹈教学练习装置及方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5786361B2 (ja) * 2011-02-22 2015-09-30 ヤマハ株式会社 報知信号制御装置
US20150077234A1 (en) * 2011-07-12 2015-03-19 Aliphcom System of wearable devices with sensors for synchronization of body motions based on haptic prompts
JP2015171472A (ja) * 2014-03-12 2015-10-01 ヤマハ株式会社 動作報知システム
US20170076629A1 (en) * 2015-09-14 2017-03-16 Electronics And Telecommunications Research Institute Apparatus and method for supporting choreography
JP2017093803A (ja) * 2015-11-24 2017-06-01 富士通株式会社 評価プログラム、評価方法及び評価装置
US10389444B2 (en) 2015-12-28 2019-08-20 Casio Computer Co., Ltd. Image processing apparatus, image processing system, image processing method, and recording medium
JP6888250B2 (ja) * 2015-12-28 2021-06-16 カシオ計算機株式会社 画像処理装置、測定装置、画像処理システム、画像処理方法及びプログラム
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
KR20170102669A (ko) * 2016-03-02 2017-09-12 삼성전자주식회사 사용자들의 생체 신호들 간의 정합도를 제공하는 방법 및 장치
CN110099727B (zh) * 2016-12-27 2021-10-29 索尼公司 输出控制装置、输出控制方法以及程序
JP2019004927A (ja) * 2017-06-20 2019-01-17 カシオ計算機株式会社 電子機器、リズム情報報知方法及びプログラム
JP2019033869A (ja) * 2017-08-14 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2019159690A1 (ja) 2018-02-13 2019-08-22 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、電子機器
US11816191B2 (en) 2018-02-13 2023-11-14 Sony Corporation Information processing apparatus, information processing method, electronic device, and information processing system for period management of a license used in the electronic device
JP7161757B2 (ja) * 2018-12-20 2022-10-27 合同会社キンビシャス トレーニング支援システム
WO2020174925A1 (ja) * 2019-02-25 2020-09-03 ソニー株式会社 二人のユーザの同時アクションにより音声を制御する情報処理装置
JP2020178906A (ja) * 2019-04-25 2020-11-05 カシオ計算機株式会社 運動支援装置、運動支援方法及び運動支援プログラム
EP4057211A4 (en) 2019-11-07 2022-11-23 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2023037162A (ja) * 2021-09-03 2023-03-15 キヤノン株式会社 処理方法、プログラムおよび処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010034288A1 (en) * 2000-01-21 2001-10-25 Howlett-Campanella Helen Hardman Yoga mat with body contact placement indicia
CN1492220A (zh) * 2003-09-11 2004-04-28 天津大学 大载荷双液压缸同步运行的反馈调节装置及过程
CN1909017A (zh) * 2006-08-18 2007-02-07 浙江大学 气动肌肉运动模拟控制平台装置及位姿控制方法
CN101038504A (zh) * 2006-03-16 2007-09-19 许丰 人力操控方法,软件及硬件装置
US20080139307A1 (en) * 2004-12-28 2008-06-12 Hiromu Ueshima Simulated Experience Apparatus, Energy Consumption Calculation Method, Squatting Motion Detection Apparatus, Exercise Assist Apparatus, Animation Method, Exercise Amount Management Apparatus, Athletic Ability Measurement Apparatus, Reflexes Ability Measurement Apparatus, And Audio-Visual System
CN101518490A (zh) * 2009-03-26 2009-09-02 上海大学 主动减重步行训练装置及方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3883962A (en) * 1973-01-08 1975-05-20 Horst Kunig Detection of absence of concentration and coherence in a subject
US4285517A (en) * 1979-02-09 1981-08-25 Marvin Glass & Associates Adaptive microcomputer controlled game
US5111410A (en) * 1989-06-23 1992-05-05 Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho Motion analyzing/advising system
JPH0383641A (ja) 1989-08-28 1991-04-09 Toppan Printing Co Ltd 化粧シート及びその製造方法
JPH0398422A (ja) 1989-09-08 1991-04-24 Kobe Steel Ltd 直流電源供給回路
US5255211A (en) * 1990-02-22 1993-10-19 Redmond Productions, Inc. Methods and apparatus for generating and processing synthetic and absolute real time environments
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
JP3083641B2 (ja) 1992-05-06 2000-09-04 日本板硝子株式会社 板状体の透視歪を検出するシステム
US5344323A (en) * 1993-02-16 1994-09-06 Les Burns Teaching recognition of body movement errors in dancing
US5529498A (en) * 1993-10-20 1996-06-25 Synaptec, Llc Method and apparatus for measuring and enhancing neuro-motor coordination
SE515833C2 (sv) 1995-04-06 2001-10-15 Eka Chemicals Ab Elektrokemisk oxidation av sulfid i grönlut
US6220865B1 (en) * 1996-01-22 2001-04-24 Vincent J. Macri Instruction for groups of users interactively controlling groups of images to make idiosyncratic, simulated, physical movements
FR2749955B1 (fr) * 1996-06-14 1998-09-11 Thomson Csf Systeme de lecture d'empreintes digitales
US5980429A (en) * 1997-03-12 1999-11-09 Neurocom International, Inc. System and method for monitoring training programs
JPH10290854A (ja) * 1997-04-18 1998-11-04 Seiko Epson Corp 運動指標測定方法および装置
US5963891A (en) * 1997-04-24 1999-10-05 Modern Cartoons, Ltd. System for tracking body movements in a virtual reality system
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力/検出装置および電子黒板システム
IL127569A0 (en) * 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
JP2001293246A (ja) 1998-10-30 2001-10-23 Konami Co Ltd リズムゲーム装置、リズムゲーム方法および可読記録媒体並びに操作装置
US6778866B1 (en) * 2000-03-16 2004-08-17 Ted S. Bettwy Method and apparatus for learning specific body motion
JP3448027B2 (ja) * 2000-11-09 2003-09-16 日本電信電話株式会社 マスゲーム支援システム
JP3685731B2 (ja) 2001-03-28 2005-08-24 任天堂株式会社 ゲーム装置及びそのプログラム
CN1266624C (zh) * 2001-07-27 2006-07-26 夏普公司 学习支持系统
US6955542B2 (en) * 2002-01-23 2005-10-18 Aquatech Fitness Corp. System for monitoring repetitive movement
US20040219498A1 (en) * 2002-04-09 2004-11-04 Davidson Lance Samuel Training apparatus and methods
US7228649B2 (en) * 2004-04-22 2007-06-12 Deane O. Elliott Golf alignment device, method and apparatus
US7996281B2 (en) * 2004-12-17 2011-08-09 International Business Machines Corporation Tiered on-demand location-based tracking service and infrastructure
US20100201512A1 (en) * 2006-01-09 2010-08-12 Harold Dan Stirling Apparatus, systems, and methods for evaluating body movements
US7827000B2 (en) * 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
JP5351373B2 (ja) 2006-03-10 2013-11-27 任天堂株式会社 演奏装置および演奏制御プログラム
US8944977B2 (en) * 2006-04-12 2015-02-03 Daniel N. Foster Combination ergonomic task chair and exercise device
JP4757089B2 (ja) 2006-04-25 2011-08-24 任天堂株式会社 音楽演奏プログラムおよび音楽演奏装置
US7771320B2 (en) * 2006-09-07 2010-08-10 Nike, Inc. Athletic performance sensing and/or tracking systems and methods
JP2008242285A (ja) * 2007-03-28 2008-10-09 Yamaha Corp 演奏装置およびその制御方法を実現するプログラム
US8702430B2 (en) * 2007-08-17 2014-04-22 Adidas International Marketing B.V. Sports electronic training system, and applications thereof
US8263955B2 (en) * 2008-12-18 2012-09-11 Palo Alto Research Center Incorporated Causing relative motion
JP5338104B2 (ja) * 2008-03-27 2013-11-13 ヤマハ株式会社 運動支援装置およびプログラム
JP2009233087A (ja) * 2008-03-27 2009-10-15 Brother Ind Ltd 運動支援装置及び運動支援装置システム
US20100105019A1 (en) * 2008-06-19 2010-04-29 National Central University Wireless-Enabled Group Motion Signals Gathering Apparatus
US8025606B2 (en) * 2008-08-15 2011-09-27 Phresh, Llc Method and apparatus for integrating physical exercise and interactive multimedia
US8915740B2 (en) * 2008-08-21 2014-12-23 Lincoln Global, Inc. Virtual reality pipe welding simulator

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010034288A1 (en) * 2000-01-21 2001-10-25 Howlett-Campanella Helen Hardman Yoga mat with body contact placement indicia
CN1492220A (zh) * 2003-09-11 2004-04-28 天津大学 大载荷双液压缸同步运行的反馈调节装置及过程
US20080139307A1 (en) * 2004-12-28 2008-06-12 Hiromu Ueshima Simulated Experience Apparatus, Energy Consumption Calculation Method, Squatting Motion Detection Apparatus, Exercise Assist Apparatus, Animation Method, Exercise Amount Management Apparatus, Athletic Ability Measurement Apparatus, Reflexes Ability Measurement Apparatus, And Audio-Visual System
CN101038504A (zh) * 2006-03-16 2007-09-19 许丰 人力操控方法,软件及硬件装置
CN1909017A (zh) * 2006-08-18 2007-02-07 浙江大学 气动肌肉运动模拟控制平台装置及位姿控制方法
CN101518490A (zh) * 2009-03-26 2009-09-02 上海大学 主动减重步行训练装置及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111315453A (zh) * 2017-12-19 2020-06-19 索尼公司 信息处理设备、信息处理方法及程序
CN111315453B (zh) * 2017-12-19 2022-04-19 索尼公司 信息处理设备、信息处理方法及程序
CN111433831A (zh) * 2017-12-27 2020-07-17 索尼公司 信息处理装置、信息处理方法和程序
CN111433831B (zh) * 2017-12-27 2022-05-17 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
US11508344B2 (en) 2017-12-27 2022-11-22 Sony Corporation Information processing device, information processing method and program
CN108371814A (zh) * 2018-01-04 2018-08-07 乐蜜有限公司 多人体感舞蹈的实现方法、装置、电子设备及存储介质
WO2019134462A1 (zh) * 2018-01-04 2019-07-11 香港乐蜜有限公司 多人体感舞蹈的实现方法、装置、电子设备及存储介质
CN111803904A (zh) * 2019-04-11 2020-10-23 上海天引生物科技有限公司 一种舞蹈教学练习装置及方法

Also Published As

Publication number Publication date
US20150262503A1 (en) 2015-09-17
JP2011087794A (ja) 2011-05-06
US20110097695A1 (en) 2011-04-28
JP5504818B2 (ja) 2014-05-28
US9079058B2 (en) 2015-07-14
CN102039042B (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
CN102039042B (zh) 动作协同运算装置和方法、程序、以及动作协同播放系统
US10421002B2 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
US20210046373A1 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
US10518161B2 (en) Sound-output-control device, sound-output-control method, and sound-output-control program
CN101057273B (zh) 内容重放方法和内容重放装置
US9460700B2 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
CN101002985B (zh) 控制音乐再现的设备和再现音乐的设备
JP4430368B2 (ja) 自由空間に作られるジェスチャを解析する方法及び装置
EP1811496B1 (en) Apparatus for controlling music reproduction and apparatus for reproducing music
CN103729062B (zh) 一种多功能乐器同步互动系统和方法
JP7175306B2 (ja) 身体運動時の音響的フィードバックを制御する方法および装置
US10290291B2 (en) Information processing apparatus, method, and program for controlling output of a processing pattern in association with reproduced content
CN104133851A (zh) 音频相似度的检测方法和检测装置、电子设备
JP2004037575A (ja) 演奏処理装置、演奏処理プログラムおよびファイル生成装置
US20030031062A1 (en) Evaluating program, recording medium thereof, timing evaluating apparatus, and timing evaluating system
CN106599123A (zh) 一种运动音乐播放方法及系统
EP3454328A1 (en) Computer implemented method for providing feedback of harmonic content relating to music track
US20190122577A1 (en) System and method for synchronizing audio, movement, and patterns
CN109908551A (zh) 一种单车锻炼方法及装置
CN106489111A (zh) 输入设备、生物体传感器、程序、计算机可读取的介质以及模式设定方法
JP2010259456A (ja) 放音制御装置
JP2012022242A (ja) 楽音再生装置およびプログラム
KR20220098302A (ko) 사용자 맞춤형 음악 및 전기 자극이 제공되는 인공지능 홈트레이닝 시스템 및 방법
Rushton et al. A real-time embodied sonification model to convey temporal asymmetry during running
JP5549110B2 (ja) 信号制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant