CN101564594B - 交互式肢体动作复健方法与系统 - Google Patents

Abstract

一种交互式肢体动作复健方法。检测撷取图像中的辨识标记，以提供对应肢体图像的操作位置。根据该辨识标记决定目标物图像的行动模式，并且将该目标物图像显示在场景中。判断是否持续取得对应该肢体动作的辨识标记。若持续取得对应该肢体动作的辨识标记，则利用操作指引来引导该肢体动作。根据该肢体动作与该目标物图像的该预设移动路径、移动速度与及归属位置，给予反馈动作。判断该目标物图像是否已移动至该预设归属位置。若该目标物图像已移动至该预设归属位置，则给予该肢体动作评分。

Description

交互式肢体动作复健方法与系统

技术领域

本发明是有关于一种交互式数据处理系统，且特别有关于一种交互式肢体动作复健方法与系统。

背景技术

针对高龄化社会的国际发展趋势，许多老人照护生活用品设计无法满足所需，尤其在中风老人所需的医疗行动辅具、肢体动作训练器材，提供银发族怀旧解闷的老人玩具器材都有迫切的需求。而现有中风老人肢体动作训练，常常是很无趣或无聊，其效果不彰是众所周知的。

若可提供虚拟计算机图像的交互式游戏给中风病人，不但具有趣味性，且在游戏过程中还可提供肢体复健的功能，对于复健疗效将会有显著的提升。

因此，本发明提供了一种交互式肢体动作复健方法与系统，通过虚拟计算机图像交互式游戏，可以提供中风病人趣味性的肢体复健，同时可提供老人进行有益身心的动作(例如，太极拳)训练。

发明内容

基于上述目的，本发明实施例揭露了一种交互式肢体动作复健方法。检测撷取图像中的辨识标记，以提供对应肢体图像的操作位置。根据该辨识标记决定目标物图像的行动模式，并且将该目标物图像显示在场景中。判断操作者是否持续取得对应该肢体动作的辨识标记。若持续取得对应该肢体动作的辨识标记，系统将利用操作指引来引导该肢体动作。根据该肢体动作与该目标物图像的该预设移动路径、移动速度与及归属位置，给予反馈动作。判断该目标物图像是否已移动至该预设归属位置。若该目标物图像已移动至该预设归属位置，则给予该肢体动作评分。

本发明实施例还揭露了一种交互式肢体动作复健系统，包括肢体位置监测模块、目标物图像移动移动控制模块、图像反馈模块与动作评估模块。该肢体位置监测模块检测撷取图像中的辨识标记，以提供对应肢体图像的操作位置。该目标物图像移动移动控制模块根据该辨识标记决定目标物图像的行动模式，将该目标物图像显示在场景中，判断是否持续取得对应该肢体动作的辨识标记，以及若持续取得对应该肢体动作的辨识标记，则利用操作指引来引导该肢体动作。该图像反馈模块根据该肢体动作与该目标物图像的该预设移动路径、移动速度与及归属位置，给予反馈动作。该动作评估模块用以当该目标物图像移动至该预设归属位置时给予该肢体动作评分。

本发明实施例还揭露了一种交互式肢体动作复健方法，包括下列步骤：提供目标物图像的路径特征；自撷取装置取得肢体动作；令该肢体动作该目标物图像于场景中进行互动；以及根据该路径特征实时修正该肢体动作与该目标物图像间的互动状况。

附图说明

图1是显示本发明实施例的计算机系统的基本架构示意图。

图2是显示图1的交互式肢体动作复健系统110的架构示意图。

图3是显示本发明实施例的交互式肢体动作复健方法的步骤流程图。

图4是说明图1的交互式肢体动作复健系统110的操作流程的图例。

图5是说明图1的交互式肢体动作复健系统110的操作流程的图例。

图6是说明图1的交互式肢体动作复健系统110的操作流程的图例。

图7是说明图1的交互式肢体动作复健系统110的操作流程的图例。

图8是说明图1的交互式肢体动作复健系统110的操作流程的图例。

图9是说明图1的交互式肢体动作复健系统110的操作流程的图例。

图10是说明图1的交互式肢体动作复健系统110的操作流程的图例。

图11是说明图1的交互式肢体动作复健系统110的操作流程的图例。

[主要元件标号说明]

110～交互式肢体动作复健系统        150～图像撷取装置

210～肢体位置监测模块              230～目标物图像移动控制模块

250～图像反馈模块                  270～动作评估模块

具体实施方式

为了让本发明的目的、特征、及优点能更明显易懂，下文特举较佳实施例，并配合所附图示图1至图11，做详细的说明。本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各元件的配置为说明之用，并非用以限制本发明。且实施例中图式标号的部分重复，是为了简化说明，并非意指不同实施例之间的关联性。

本发明实施例是揭露一种交互式肢体动作复健方法与系统，通过虚拟计算机图像交互式游戏，除可提供中风病人趣味性的肢体复健，同时可提供老人进行有益身心的动作(例如，太极拳)训练。

面对高龄化社会的压力下，本发明提供可以在室内使用的「高龄者居家交互式的游戏」，其兼具脑力激荡与娱乐作用，更强化高龄者在居家生活上的独立性。通过伴护玩具上的视频系统，并能让长辈与子女共同游戏，以减慢高龄者老化的速度，实现高龄者心灵愉悦的晚年生活期望。

本发明实施例的交互式肢体动作复健方法与系统可做为一种交互式肢体动作复健训练器材，通过游戏实时引导操作者进行复健动作或有益身心的动作训练。

图1是显示本发明实施例的计算机(电视)系统的基本架构示意图。

本发明实施例的交互式肢体动作复健系统110是实作于计算机装置130中。计算机装置130以有线或无线方式与图像撷取装置(例如，网络摄影机(Webcam))150连接。图像撷取装置150亦可内建于计算机装置130中。交互式肢体动作复健系统110通过图像撷取装置150撷取现场人员的实时图像，并且将撷取到的图像回传至计算机装置130，以显示在交互式肢体动作复健系统110所提供的操作者接口(未显示)中。

此外，图像撷取装置150包括图像辨识系统程序，分析感应区的图像范围，取得肢体移动启始至迄止的动态，针对动态图像，计算机将会实时运算并立即予以适当反馈给予老人肢体灵活度训练。

图2是显示图1的交互式肢体动作复健系统110的架构示意图。图3是显示本发明实施例的交互式肢体动作复健方法的步骤流程图。

本发明实施例的交互式肢体动作复健系统110包括肢体位置监测模块210、目标物图像移动控制模块230、图像反馈模块250与动作评估模块270。以下先简述交互式肢体动作复健系统110的操作流程。

参考图1～3，在开始执行复健之前，先在操作者需要检测的部位贴上色彩标记或可供辨识位置的标记(在此定义为辨识标记)，以供图像撷取装置150进行视频撷取。当应用本发明方法的游戏启动时，交互式肢体动作复健系统110利用图像撷取装置150检测操作者的肢体动作(例如，手掌动作)。肢体位置监测模块210根据图像撷取装置150撷取到的图像，检测图像中的辨识标记，以提供肢体在游戏场景中的对应位置(在此定义为肢体位置)(步骤S31)。

目标物图像移动控制模块230自肢体位置监测模块210取得对应肢体动作的辨识标记，并据以决定目标物图像的行动模式与出现顺序(步骤S32)。系统会预先定义所需的目标物图像动作与分类(例如，太极拳招式或球体抓取，其仅是举例说，并非用以限定本发明)，其中每一目标物图像动作分类包含多个动作，且为每一目标物图像动作设定移动路径、移动速度以及归属位置(即，来源位置与目的位置)，并且将上述设定数据储存在数据库(未显示)中。操作者的肢体动作对应游戏场景中的目标物图像动作，当目标物图像移动控制模块230取得对应辨识标记的肢体动作时，可实时选择对应该肢体动作的目标物图像行动模式与动作出现顺序，并且显示目标物图像(步骤S33)，例如，欲抓取的球体图像或欲操作者跟着模仿的太极拳招式。

接着，目标物图像移动控制模块230判断是否持续自肢体位置监测模块210取得对应肢体动作的辨识标记(步骤S34)，亦即判断操作者是否在做抓取动作或太极拳招式。若未持续取得对应肢体动作的辨识标记，表示操作者不知如何做动作或忘了做动作，则以箭头指引或其它醒目提示来告诉操作者做动作。若持续取得对应肢体动作的辨识标记，则根据对应目标物图像的预设移动路径、移动速度以及归属位置，利用操作指引(例如，箭头)引导操作者的肢体(例如，手掌)做动作(步骤S35)。例如，抓取游戏场景中的目标物图像，并且放置在其正确的归属位置，或者引导操作者做太极拳招式，使其可完成每一招式的起始动作与结束动作。

图像反馈模块250根据操作者的肢体动作与预设的目标物图像的移动路径、移动速度以及归属位置，给予操作者反馈动作(步骤S36)。例如，改变目标物图像的形体、表情、声音，或者显示错误消息(图像)或音效。当操作者肢体图像(即，肢体动作)与游戏目标物图像重合(例如，抓取目标物图像时肢体与目标物图像重合)时，或者操作者肢体动作与游戏目标物图像动作出现速度或轨迹差异时(例如，打太极拳招式时的快慢动作)，都将产生反馈操作。例如，图像图形变换以及声音与力量输出的组合的反馈，或者改变速度的反馈，让玩家能感受到与目标物图像间的互动反应。

接着，目标物图像移动控制模块230判断游戏场景中的所有目标物图像是否皆已移动至其归属位置(步骤S37)。也就是说，若在执行球体抓取游戏时，每一球体是否都被抓取其目的位置。而若是在打太极拳时，是否已完成所有太极拳招式。若尚有目标物图像皆未移动至其归属位置，则回到步骤S33，重复执行上述操作，以使所有目标物图像移动至其归属位置。若所有目标物图像皆已移动至其归属位置，则动作评估模块270根据肢体动作与目标物图像间的相似性(即，实时的速度及轨迹的相似性)，给予操作者的肢体动作评分(步骤S38)，然后结束本流程。

如上所述，本发明实施例的交互式肢体动作复健系统110令需要肢体复健的病人，在游戏互动时会不自主地接受动作训练。此外，本系统还可通过网络视频，让一个以上的玩家在同一游戏平台上竞争，以达到趣味性复健训练的实际效果。

以下将详细说明交互式肢体动作复健系统110的各元件的操作流程。

关于肢体位置监测模块210，主要利用计算机视觉仿真方式进行仿真肤色的辨识(根据设置在肢体上的标记)，依据辨识结果追踪动态的物体行为。通过自图像撷取装置150取得的实时图像，根据预设肤色的定义值来撷取图像，并且判断所撷取图像上的每一个像素是否有与定义的肤色值相同的范围。在圈选出来找出中心点位置，再与实际屏幕的中心点位置相减，将得到的距离向量的控制信号传送给目标物图像移动控制模块230做追踪。

关于目标物图像移动控制模块230，计算机/电视游戏系统预先提供不同动作类型的游戏目标物图像，每一目标物图像皆预设有在画面上所出现的移动路径与速度以及其归属的位置与参数范围。移动路径与速度以及其归属的位置与参数范围都将依据医疗需求与依据来进行设计。目标物图像移动控制模块230通过设定数值来引导/控制/矫正操作者肢体抓取游戏的目标物图像，并将其放置在正确的归属位置以矫正与恢复患者肢体功能。

接着，再详述目标物图像移动控制模块230的操作细节与所提供的功能。

为达成以手势拖曳目标物图像(游戏对象)的目的，首先将范围锁定在手势操作区域，以肤色检测的方式将有效的肤色区域范围分割出来。手势拖曳为一种动态过程，其手势操作区域中提供画面中的动态信号，以画面差动检测方式，将有效的动态信号范围撷取出来。接着，将肤色区域范围的信号与手势拖曳的动态信号做逻辑运算(例如，And)，则可得到肤色差动区域(即，画面中手势做动的区域范围)。将该肤色差动区域对应至游戏空间中的坐标位置，检测该肤色差动区域与目标物图像的移动区域的碰撞，以碰撞信号来作为游戏对象选取的判定。此外，为促使目标物图像随着手势拖曳而改变坐标位置，利用肤色差动区域的平均中心坐标数据，对应至游戏空间中的坐标位置，作为引导目标物图像移动的目标坐标。

关于图像反馈模块250，当操作者肢体图像与游戏目标物的图像重合(即，抓取动作)或肢体动作与游戏目标物的图像动作出现速度或轨迹差异时，图像反馈模块250将参照预定参数范围，立即回传图形(图像)、声音、力量输出组合或速度改变方式来给予操作者反馈。关于图像反馈模块250通过预设数值来提供系统引导/控制/矫正操作者肢体抓取游戏虚拟目标物放置在正确的归属位置的依据。

接着，再详述图像反馈模块250的操作细节与所提供的功能。

首先，可建立目标物图像的移动路径与速度，以及设定目标物图像的归属位置参数范围，设定好的数据都储存在数据库(未显示)中。另外，利用人工智能(Artificial Intelligence，AI)程序设计模式判断操作者操作行为所产生的移动数值是否符合系统所设定的标准参数。当操作者肢体图像与游戏目标物图像重合(即，抓取动作)时或肢体动作与游戏场景中的目标物图像的动作出现速度或轨迹与原先系统设定的数值(预定参数范围)有所差异时，依据数据库所建立的信息，给予回传图形(图像)、声音、力量输出组合或速度改变方式来给予操作者反馈。

关于动作评估模块270，根据预设的移动路径与速度，以及目标物图像预设的归属位置运算程序编码，以实时反馈模式响应给动作操作者，使得操作者在第一时间就能获得矫正的功效。

以下举数个图例来说明本发明实施例的交互式肢体动作复健系统110的操作流程。

参考图4，人类肢体展开动件至少可分成下列几种，包括手腕回转动作(如图A所示)、侧向动作(如图B所示)、手指弯曲动作(如图C所示)以及轻握拳动作(如图D～F所示)。通过上述动作可完成如上文所述的球体抓取动作或太极拳招式。

以「轻握拳动作」动作为例，为力求患者能确实达到动作操作与矫正动作的正确性，利用人机互动的特色与图像辨识设计模式，系统会将操作者的每一动作都将给予反馈。例如，图像图形变换以及声音与力量输出的组合的反馈，或者改变速度的反馈，让玩家在进行肢体复健时能感受到目标物图像的互动反应。最后，系统将再依照肢体动作与目标物图像间的互动(也就是实时的速度及轨迹相似性)，动作评估模块将给予分数鼓励。

参考图5，其是显示图像撷取装置150所检测到的操作者活动范围的示意图。图像撷取装置150的感应范围(Extractible Range，ER)如方框所示，故操作者的肢体(Extremity，Ex.)仅能在方框内动作，若超出方框即无法检测。

参考图6，以球体抓取为例，当游戏开始执行时，系统会选定并设定追踪操作者的辨识标记，同时显示对应所选择的行动模式的目标物图像。系统检测到操作者的肢体并且将肢体图像显示在游戏场景中，当操作者抓取游戏场景中的球体(目标物图像)，系统会根据数据库(未显示)中所储存的预设归属位置与参数范围，引导操作者将抓取的球体放置到正确的归属位置，并且根据肢体动作的速度或轨迹相似性给予反馈。当目前的球体放置到正确位置且给予反馈后，系统即将下一球体显示在游戏场景中，并再度引导操作者将球体放置到正确的归属位置。

系统会依据每一目标图像所预设的路径与速度来引导操作者的抓取动作，当操作者肢体图像与游戏目标物图像重合(即，表示抓取动作)时，或者操作者肢体动作与游戏目标物图像动作在速度或轨迹上出现较大差异时，系统会通过图像动作、表情或移动方向来引导与校正其操作行为。此外，系统提供反馈图像(可设置在球体上或窗口上的任意位置)，用以显示操作者在操作过程中的动作反馈。如图7所示，图A显示为正常状态，即球体尚未被抓取时的状态。图B显示使用者的肢体图像碰触到球体时的状态，而图C显示使用者的肢体图像与球体在进行互动时的状态。如此可让操作者在进行肢体复健时，能同步感受到目标物图像的互动反应。

参考图8～11，以太极拳招式为例，当游戏开始执行时，系统会选定并设定追踪操作者的辨识标记，同时显示对应所选择的行动模式的目标物图像。系统检测到操作者的肢体并且将肢体图像显示在游戏场景中，当操作者开始动作时，系统检测使用者动作为太极拳招，然后根据数据库(未显示)中所储存的预设归属位置与参数范围，利用虚拟人像引导操作者的肢体(在本实施例中为双手)以正确的路径移动并移动到正确的归属位置，且根据肢体动作的速度或轨迹相似性给予反馈。

参考图8，系统在画面的左方会产生虚拟人像(Virtual Figure，VF)，并根据数据库(未显示)中所储存的预设归属位置与参数范围，令该虚拟人像的左手(Left Hand，LH)与右手(Right Hand，RH)执行对应的动作，以使操作者可模仿该虚拟人像的动作。画面的右方即为利用图像撷取装置所撷取到的真人图像，当操作者摆动双手时，画面中的真人图像即跟着产生对应的动作。系统会根据目前的动作与虚拟人像的动作来判断动作是否正确，并且给予反馈(例如，评分)。当该动作完成后，系统即显示下一太极拳招式的虚拟人像(如图9所示)，并再度引导操作者模仿其动作。如此重复上述流程，使操作者完成后续的太极拳招式(如图10、11所示)，然后根据所有应完成的动作给予反馈(例如，给予总分)，使得操作者可根据反馈结果修正其动作。

本发明实施例的交互式肢体动作复健方法与系统利用游戏模式来提升高龄者肢体活度能力的训练外，并通过实际活动方式来提升操作者肢体能力，在改善复健能力之外加入基础认知概念，可防止高龄者因年龄增加所造就的智力及辨识能力的退化现象。

此外，本发明具有人机互动的优点，通过实体触控平台控制，可改善高龄者因年纪增长所造成肢体能力退化的问题。不仅协助高龄者在肢体活动上有所扩增，其游戏平台也将为高龄者互动带来娱乐性的价值，以改善高龄者因年龄增加所造就的反应退化现象。亦即通过游戏的模式，潜移默化的矫正与恢复患者肢体功能。

本发明还提供一种记录媒体(例如光盘片、磁盘片与抽取式硬盘等等)，其是记录计算机可读取的权限签核程序，以便执行上述的交互式肢体动作复健方法。在此，储存于记录媒体上的权限签核程序，基本上是由多个程序码片段所组成的(例如建立组织图程序码片段、签核窗体程序码片段、设定程序码片段、以及部署程序码片段)，并且这些程序码片段的功能是对应到上述方法的步骤与上述系统的功能方块图。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (14)

1.一种交互式肢体动作复健方法，包括下列步骤：

提供目标物图像的路径特征；

自撷取装置取得肢体动作；

令该肢体动作该目标物图像于场景中进行互动；

根据该肢体动作与该目标物图像间的互动状况提供并产生一立即回馈操作，其中该立即回馈操作用于改变该目标物图像或提供其他视听讯息，以引导该肢体动作进行；以及

根据该路径特征实时修正该肢体动作与该目标物图像间的互动状况。

2.根据权利要求1所述的交互式肢体动作复健方法，其还包括根据对应该目标物图像的预设参数，利用操作指引来引导该肢体动作与该目标物图像进行互动，并且根据互动相似性给予评分。

3.一种交互式肢体动作复健方法，包括下列步骤：

检测撷取图像中的辨识标记，以提供对应肢体图像的操作位置；

根据该辨识标记决定目标物图像的行动模式；

将该目标物图像显示在场景中；

判断是否持续取得对应该肢体动作的辨识标记；

若持续取得对应该肢体动作的辨识标记，则利用操作指引来引导该肢体动作；

根据该肢体动作与该目标物图像的该预设移动路径、移动速度与及归属位置，给予反馈动作；

判断该目标物图像是否已移动至该预设归属位置；

若该目标物图像已移动至该预设归属位置，则给予该肢体动作评分。

4.根据权利要求3所述的交互式肢体动作复健方法，其还包括当产生多个目标物图像时，根据该辨识标记决定该等目标物图像的行动模式决定该等目标物图像的行动模式与每一目标物图像的出现顺序。

5.根据权利要求3所述的交互式肢体动作复健方法，其还包括若持续取得对应该肢体动作的辨识标记，利用该操作根据并根据对应该目标物图像的预设移动路径、移动速度以及归属位置来引导该肢体动作。

6.根据权利要求3所述的交互式肢体动作复健方法，其还包括根据该肢体动作与该目标物图像的相似性给予该肢体动作评分。

7.一种交互式肢体动作复健系统，包括：

肢体位置监测模块，其用以检测撷取图像中的辨识标记，以提供对应肢体图像的操作位置；

目标物图像移动移动控制模块，其用以根据该辨识标记决定目标物图像的行动模式，将该目标物图像显示在场景中，判断是否持续取得对应该肢体动作的辨识标记，以及若持续取得对应该肢体动作的辨识标记，则利用操作指引来引导该肢体动作；

图像反馈模块，其用以根据该肢体动作与该目标物图像的该预设移动路径、移动速度与及归属位置，给予反馈动作；以及

动作评估模块，其用以当该目标物图像移动至该预设归属位置时给予该肢体动作评分。

8.根据权利要求7所述的交互式肢体动作复健系统，其中，当产生多个目标物图像时，该目标物图像移动控制模块根据该辨识标记决定该等目标物图像的行动模式决定该等目标物图像的行动模式与每一目标物图像的出现顺序。

9.根据权利要求7所述的交互式肢体动作复健系统，其中，若持续取得对应该肢体动作的辨识标记，该目标物图像移动控制模块利用该操作根据并根据对应该目标物图像的预设移动路径、移动速度以及归属位置来引导该肢体动作。

10.根据权利要求7所述的交互式肢体动作复健系统，其中，该动作评估模块根据该肢体动作与该目标物图像的相似性给予该肢体动作评分。

11.根据权利要求7所述的交互式肢体动作复健系统，其中，该目标物图像移动控制模块以肤色检测的方式将该肢体动作的有效肤色区域的范围分割出来。

12.根据权利要求8所述的交互式肢体动作复健系统，其中，该目标物图像移动控制模块以画面差动检测方式该肢体动作的有效动态信号撷取出来。

13.根据权利要求7所述的交互式肢体动作复健系统，其中，该目标物图像移动控制模块将该肤色区域范围的信号与该动态信号做逻辑运算，以得到肤色差动区域。

14.根据权利要求7所述的交互式肢体动作复健系统，其中，当该肢体动作与该目标物图像重合或者出现速度或轨迹差异时，该图像反馈模块根据该预设移动路径、移动速度与及归属位置，给予该反馈动作。

Images