CN116030536B - 一种上肢假肢使用状态的数据收集评测系统 - Google Patents

Abstract

本申请公开了一种上肢假肢使用状态的数据收集评测系统，对系统的构成进行了设计，设置在假肢上的第一图像采集模块在假肢未处于较高的操作程度对应的使用状态下时，由食指对其进行遮挡，以保护第一图像采集模块为主。在处于较高的操作程度对应的使用状态下时，第一图像采集模块具备采集到包含用于运行状态切换与否相关信息较为丰富第一待定图像的能力，以便于其他模块基于采集到的第一待定图像判断是否需要执行运行模式的切换。假肢控制模块可以基于第一待定图像表示出的信息对第一待定图像进行筛选，以确定出可以用于判断运行状态切换与否所需的目标图像。

Description

一种上肢假肢使用状态的数据收集评测系统

技术领域

本申请涉及基于特定计算机模型的数据处理系统技术领域，尤其涉及一种上肢假肢使用状态的数据收集评测系统。

背景技术

假肢就是用工程技术的手段和方法，为弥补截肢者或肢体不完全缺损的肢体而专门设计和制作装配的人工假体，又称“义肢”。它的主要作用是代替失去肢体的部分功能，使截肢者（即，用户）恢复一定的生活自理和工作能力。

假肢是用户恢复正常生活的重要依托，智能假肢是仿造人的肢体功能进行研发、制作的。通常情况下，假肢能够还原人肢体的大部分功能，让用户更安全、舒适的使用假肢。相关技术中，为了满足用户不同的使用需求，假肢生产厂家通常会预设几种模式（例如进餐模式、打字模式等），供用户选择。这种设计虽然一定程度的满足了用户的对假肢在不同使用场景中的需求，然而，随之而来的是，模式之间的切换需要用户手动调整，这就增加了用户的负担。而且，用户主观的判断也未必与实际情况匹配，这就造成了对模式的调整可能与实际的使用情况并不契合。

发明内容

本申请实施例提供了一种上肢假肢使用状态的数据收集评测系统，以至少部分的解决上述技术问题。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种上肢假肢使用状态的数据收集评测系统，所述系统包括：设置在假肢的中指的近节指骨朝向所述假肢的食指一侧的第一图像采集模块、设置在用户另一只手臂上的标记模块、与所述第一图像采集模块通信连接的假肢控制模块、以及与所述假肢控制模块通信连接的远端控制模块；

所述第一图像采集模块，配置为：进行图像采集，得到第一待定图像，将所述第一待定图像发送至所述假肢控制模块；

所述假肢控制模块，配置为：接收所述第一待定图像，判断所述第一待定图像是否满足第一指定条件，若是，则将所述第一待定图像确定为目标图像，发送至所述远端控制模块；

所述远端控制模块，配置为：基于所述假肢控制模块发送的目标图像表示出的所述用户的姿态，建立三维姿态模型；确定所述假肢当前的运行模式与所述三维姿态模型表示出的所述用户的姿态是否匹配；若否，则重新为所述假肢制定运行模式，将所述重新制定的运行模式发送至所述假肢控制模块，使得所述假肢控制模块按照所述重新制定的运行模式控制所述假肢；

其中，所述第一指定条件包括：连续采集的第一数量帧所述第一待定图像中均包含所述用户的面部，或者，包含所述标记模块展示的指定标记、且拍摄时间间隔不超过预设的指定时长的所述第一待定图像的帧的数量不小于第二数量。

在本说明书一个可选的实施例中，所述系统还包括：用户状态检测模块；

所述用户状态检测模块，配置为：检测所述用户的状态，若检测到所述用户处于剧烈运动状态或睡眠状态中，则将第一检测信号发送至所述假肢控制模块，使得所述假肢控制模块关闭所述第一图像采集模块。

在本说明书一个可选的实施例中，所述系统还包括：假肢位姿检测模块；

所述远端控制模块还配置为：若接收到所述目标图像，则生成位姿获取指令发送至所述假肢位姿检测模块；基于所述假肢位姿检测模块返回的位姿数据和所述目标图像，建立所述三维姿态模型；

所述假肢位姿检测模块，配置为：在所述位姿获取指令的触发下，对所述假肢的位姿进行检测，得到位姿数据，返回至所述远端控制模块。

在本说明书一个可选的实施例中，所述远端控制模块基于所述假肢位姿检测模块返回的位姿数据和所述目标图像，建立所述三维姿态模型时，执行：

从所述目标图像中识别出所述用户的影像，并识别出所述目标图像的背景中的物体，作为目标物；

基于所述影像表示出的所述用户与所述目标物的相对位置、所述影像表示出的所述用户与所述假肢的相对位置、以及所述位姿数据，建立所述三维姿态模型。

在本说明书一个可选的实施例中，

所述用户状态检测模块，还配置为：若检测到所述用户未处于剧烈运动状态或未处于睡眠状态中，则将表征用户运动状态的用户状态数据，发送至所述假肢控制模块；

所述假肢控制模块，还配置为：在向所述远端控制模块发送所述目标图像时，将采集时间与所述目标图像的拍摄时间匹配的用户状态数据，发送至所述远端控制模块；

所述远端控制模块，还配置为：所述远端控制模块存储有决策表，所述决策表记录有：用户状态和所述三维姿态模型的特征点之间的对应关系、以及所述特征点的特征值和所述假肢的运行模式之间的对应关系；基于所述用户状态数据表示出的用户状态，对所述决策表进行查找，将查找到的特征点，作为目标点；从所述三维姿态模型中，读取到所述目标点的特征值；基于所述目标点的特征值，对所述决策表进行查找，将查找到的运行模式，作为目标模式；判断所述假肢当前的运行模式与所述目标模式是否匹配。

在本说明书一个可选的实施例中，所述标记模块佩戴在所述用户的另一只手臂的指定位置；

所述假肢控制模块，还配置为：在检测到所述用户执行完成针对所述假肢的佩戴之后，发送显示指令至所述标记模块，使得所述标记模块展示指定标记，并展示提示信息，所述提示信息用于引导所述用户执行指定动作，所述指定动作用于使得所述第一图像采集模块拍摄到所述用户的面部，或者，使得所述第一图像采集模块拍摄到所述标记模块展示的所述指定标记。

在本说明书一个可选的实施例中，所述标记模块与所述假肢控制模块通信连接；所述标记模块是智能手环，所述指定标记是所述智能手环展示的展示信息；

所述标记模块，配置为：进行信息展示时，将所展示的展示信息发送至所述假肢控制模块，使得所述假肢控制模块将从所述第一待定图像识别出的与所述展示信息匹配的部分，作为所述指定标记。

在本说明书一个可选的实施例中，所述系统还包括第二图像采集模块；所述第二图像采集模块设置在所述标记模块上；

所述第二图像采集模块，配置为：进行图像采集，得到第二待定图像，将所述第二待定图像发送至所述假肢控制模块；

所述假肢控制模块，还配置为：接收所述第二待定图像，判断所述第二待定图像是否满足第二指定条件，若是，则将所述第二待定图像确定为目标图像，发送至所述远端控制模块；

其中，所述第二指定条件包括：连续采集的第三数量帧所述第二待定图像中均包含所述用户的面部。

在本说明书一个可选的实施例中，所述第一数量与所述用户状态对应的剧烈程度正相关；所述第二数量大于所述第一数量；所述第三数量大于所述第二数量。

在本说明书一个可选的实施例中，所述指定时长与所述第一图像采集模块的帧率负相关。

第二方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面中的系统的至少部分模块执行的方法步骤。

第三方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面中的系统的至少部分模块执行的方法步骤。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本说明书对上肢假肢使用状态的数据收集评测系统的构成进行了设计，设置在假肢上的第一图像采集模块在假肢未处于较高的操作程度对应的使用状态下时，由食指对其进行遮挡，以保护第一图像采集模块为主。在处于较高的操作程度对应的使用状态下时，第一图像采集模块具备采集到包含用于运行状态切换与否相关信息较为丰富第一待定图像的能力，以便于其他模块基于采集到的第一待定图像判断是否需要执行运行模式的切换。假肢控制模块可以基于第一待定图像表示出的信息对第一待定图像进行筛选，以确定出可以用于判断运行状态切换与否所需的目标图像。远端控制模块基于目标图像展示出的信息对用户的姿态等信息进行预测和补全，并在此基础上建立三维姿态模型。三维姿态模型提供的信息更加丰富、更加能够综合的表征用户对假肢的使用需求，进而基于用户的需求，决定是否要进行运行模式的切换。本说明书中的系统能够为用户制定出与其对假肢的使用情况更加契合的运行模式，并确定出切换运行模式的时机。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的一种上肢假肢使用状态的数据收集评测系统的部分模块的交互示意图；

图2为本说明书实施例中一种电子设备的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

以下结合附图，详细说明本申请各实施例提供的技术方案。

上肢是人体的组成部分之一，包括肩、臂、肘、前臂和手。本说明书中的假肢至少包含对应于用户手部的上肢部分。本说明书中的假肢能够一定程度的根据人体产生的肌电信号进行一定程度的动作，例如，手指蜷曲、手指摆动等。为实现这些由手指完成的动作，本说明书中的假肢包含对应于各手指的部分，即，本说明书中的假肢包含拇指、食指、中指、无名指、以及小指。此外，本说明书中的假肢（除拇指以外）包含：由靠近手掌向远离手掌依次分为第1节指骨、第2节指骨和第3节指骨，分别称为近节指骨、中节指骨和末节指骨。

对某一用户而言，本说明书中的假肢至少包含双手中的一只，某些实施例中，本说明书中的假肢还可以包含两只手。

本说明书中的上肢假肢使用状态的数据收集评测系统的至少包含的模块如图1所示。图1中，上肢假肢使用状态的数据收集评测系统包含设置在假肢的中指的近节指骨朝向所述假肢的食指一侧的第一图像采集模块、设置在用户另一只手臂上的标记模块、与所述第一图像采集模块通信连接的假肢控制模块、以及与所述假肢控制模块通信连接的远端控制模块。

本说明书中的第一图像采集模块可以包含摄像机等具备图像采集能力的设备。在假肢处于五指并拢的状态下，第一图像采集模块被食指遮挡，其采集到的图像表示出的有效区域很小，能识别出的内容较少。一般而言，而用户在对假肢的操作程度较低的情况下，才会出现五指并拢。若用户对假肢的操作程度较高，比如，需要对手指的活动较为频繁的情况，则需要提高假肢对肌电信号的识别能力和相应能力，此时就出现了对假肢的运行模式进行调整的必要，即，将假肢的运行模式由适配操作程度较低的模式，调整为适配操作程度较高的模式。

以用户进餐为例，对假肢操作程度较高的情况进行说明。假设用户要使用假肢进餐，导致用户对假肢的操作程度较高。此时，采用假肢抓握餐具的动作就会使得食指和中指在轴向错开，食指解除对第一图像采集模块的遮挡，使得第一图像采集模块具备采集针对有效内容的图像。而且，用户进餐时，除了要调整手指之间的相对位置之外，还要调整假肢和面部之间的相对位置，这就为第一图像采集模块针对用户的面部或者面部的至少部分进行图像采集提供了可能性。此外，为了避免由于用户佩戴口罩、或者由于用户头部频繁活动导致无法拍摄到用户面部的有效图像，还可以在用户的另一只手臂上设置标记模块，则可以根据拍摄标记模块采集到的图像判断是否需要进行模式切换。本说明书中的用户特指佩戴所述假肢的人。

本说明书中的上肢假肢使用状态的数据收集评测系统在工作时，执行以下步骤：

所述第一图像采集模块，配置为：进行图像采集，得到第一待定图像，将所述第一待定图像发送至所述假肢控制模块。本说明书的第一待定图像用于确定出用户对假肢的使用状态，在本说明书一个可选的实施例中，第一图像采集模块可以以一定的频率进行图像采集。在本说明书另一个可选的实施例中，系统还包含检测假肢位置移动、假肢动作的装置，例如下文中的假肢位姿检测模块，在检测到假肢的位置移动或者检测到假肢的动作的情况下，触发执行针对第一待定图像的采集。

所述假肢控制模块，配置为：接收所述第一待定图像，判断所述第一待定图像是否满足第一指定条件，若是，则将所述第一待定图像确定为目标图像，发送至所述远端控制模块。第一指定条件用于判断当前是否触发针对运行模式与假肢的使用情况匹配与否。在本说明书一个可选的实施例中，若第一待定图像不满足指定条件，则可以直接舍弃第一待定图像。可选地，假肢控制模块设置在假肢上。此外，假肢控制模块还可以设置在除假肢以外的其他位置，例如，设置在用户的移动终端上。用户可以通过下载的方式获得假肢控制模块，之后，假肢控制模块借由移动终端提供的硬件环境进行数据处理。

所述远端控制模块，配置为：基于所述假肢控制模块发送的目标图像表示出的所述用户的姿态，建立三维姿态模型，所述三维姿态模型表示出用户的姿态；确定所述假肢当前的运行模式与所述三维姿态模型是否匹配，若否，则重新为所述假肢制定运行模式，将重新制定的运行模式发送至所述假肢控制模块，使得所述假肢控制模块按照重新制定的运行模式控制所述假肢。

可见，本说明书对上肢假肢使用状态的数据收集评测系统的构成进行了设计，设置的假肢上的第一图像采集模块在假肢未处于较高的操作程度对应的使用状态下时，由食指对其进行遮挡，以保护第一图像采集模块为主。在处于较高的操作程度对应的使用状态下时，第一图像采集模块具备采集到包含用于运行状态切换与否相关信息较为丰富第一待定图像的能力，以便于其他模块基于采集到的第一待定图像判断是否需要执行运行模式的切换。假肢控制模块可以基于第一待定图像表示出的信息对第一待定图像进行筛选，以确定出可以用于判断运行状态切换与否所需的目标图像。远端控制模块基于目标图像展示出的信息对用户的姿态等信息进行预测和补全，并在此基础上建立三维姿态模型。三维姿态模型提供的信息更加丰富、更加能够综合的表征用户对假肢的使用需求，进而基于用户的需求，决定是否要进行运行模式的切换。本说明书中的系统能够为用户制定出与其对假肢的使用情况更加契合的运行模式，并确定出切换运行模式的时机。

由于远端控制模块需要进行三维建模，其对硬件的运算需求较大，假肢或者用户的移动终端提供的数据处理能力均有限，需要由远端设备的配合完成。可选地，远端控制模块可以设置在云端服务器上。

相关技术中，能够基于用户部分肢体的姿态的预测用户全身姿态的技术手段，均可以应用到本说明书，以实现建立三维姿态模型。本说明书中的三维姿态模型包含若干个特征点。特定点对应于用户的人体位置可以根据专家经验预设。示例性地，可以以关节和每一段骨骼的质心作为特征点；在其他示例中，还可以以骨骼的端点作为特征点。

本说明书中的三维姿态模型除了包含各个特征点之外，还包含各个特征点各自对应的特征值。下文中，将对如何得到特征值进行说明。

本说明书中的第一指定条件包括：连续采集的第一数量帧第一待定图像中均包含所述用户的面部（表明用户需要看到假肢的动作，假肢处于操作程度较高的使用状态的可能性较大），和/或，包含所述标记模块展示的指定标记、且拍摄时间间隔不超过指定时长的第一待定图像的帧的数量不小于第二数量（表明用户正在执行需要双手配合才能完成的操作的可能性较大，此时，假肢处于操作程度较高的使用状态的可能性较大）。满足第一指定条件即表明用户当前正在执行操作程度较高的动作，有必要考察一下当前假肢的运行状态是否与使用条件相匹配。

在本说明书一个可选的实施例中，所述系统还包括第二图像采集模块；所述第二图像采集模块设置在所述标记模块上；

所述第二图像采集模块，配置为：进行图像采集，得到第二待定图像，将所述第二待定图像发送至所述假肢控制模块；所述假肢控制模块，还配置为：接收所述第二待定图像，判断所述第二待定图像是否满足第二指定条件，若是，则将所述第二待定图像确定为目标图像，发送至所述远端控制模块；其中，所述第二指定条件包括：连续的第三数量帧的第一待定图像中均包含所述用户的面部。

由于标记模块和第一图像采集模块分设在用户的不同的手上，则即便是第一图像采集模块由于遮挡、用户动作等原因，其采集的第一待定图像无法传达用户操作程度高的假肢使用状态，由另外一只上肢上设置的第二图像采集模块也能够基于其采集的第二待定图像传达表征操作程度的信息。

本说明书中的第一数量与所述用户状态对应的剧烈程度正相关；所述第二数量大于所述第一数量；所述第三数量大于所述第二数量。

在一个可选的实施例中，系统还包括：用户状态检测模块。用户状态检测模块用于检测用户的动作是否剧烈。可选地，用户状态检测模块包含陀螺仪、振动传感器等部件。在该实施例中，基于对检测精度和用户的动作对图像采集的造成的影响考虑，所述第一数量与所述用户状态对应的剧烈程度正相关；用户双手配合完成的操作程度更高，由于此时双手之间的距离不会太远，这种配合的操作需要双手保持在一定的距离范围之内，使得指定标记的图像更容易被采集到，则所述第二数量大于所述第一数量；第二图像采集模块由于受到手指的遮挡的可能性较小，其拍摄到用户的面部的可能性也更大，为了提高决策精度，则所述第三数量大于所述第二数量。

第一图像采集模块和第二图像采集模块，均为电控设备，长期开启会消耗电量，其长期的持续性采集图像，也会增加其他模块的工作负担，在本说明书一个可选的实施例中，所述用户状态检测模块，配置为：检测所述用户的状态，若检测到所述用户处于剧烈运动状态或睡眠状态中，则将第一检测信号发送至所述假肢控制模块，使得所述假肢控制模块关闭所述第一图像采集模块和/或第二图像采集模块。若检测到用户较大的动作，则判断用户未处于剧烈运动状态或睡眠状态中，则将第二检测信号发送至所述假肢控制模块，使得所述假肢控制模块开启所述第一图像采集模块和/或第二图像采集模块。

为例使得用户的动作、行为等与运动有关的状态能够体现在三维姿态模型中，在本说明书一个可选的实施例中，所述用户状态检测模块，还配置为：若检测到所述用户未处于剧烈运动状态或睡眠状态中，则将表征用户运动状态的用户状态数据，发送至所述假肢控制模块；所述假肢控制模块，还配置为：在向所述远端控制模块发送目标图像时，将采集时间与所述目标图像的拍摄时间匹配的用户状态数据，发送至所述远端控制模块；所述远端控制模块，还配置为：所述远端控制模块存储有决策表，所述决策表记录有：用户状态和特征点之间的对应关系、以及特征点的特征值和运行模式之间的对应关系；基于从所述假肢控制模块接收的所述用户状态数据表示出的用户状态，对所述决策表进行查找，将查找到的特征点，作为目标点；从所述三维姿态模型中，读取到所述目标点的特征值；基于所述目标点的特征值对所述决策表进行查找，将查找到的运行模式，作为目标模式；判断所述假肢当前的运行模式与所述目标模式是否匹配。

在建立三维姿态模型时，会为每个特征点分配其对应的特征值。特征值与特征点所属的肢体与假肢的关联关系表征值正相关、与特征点所属的肢体距当前时刻目标时长（预设值）的历史时间段内该肢体持续性的动作幅度和动作频率正相关、与所述特征点距离所述用户的重心的距离负相关、且与所述特征点距所述用户头部的距离负相关。

示例性地，假如用户当前的用户状态是在用餐（以下简称用餐状态），仅手部和头部有较大的动作，腿部和躯干没有较大的动作。决策表中记录的和用餐状态对应的特征点是位于上肢和头部的特征点，则将这些特征点作为目标点。

在确定出目标点之后，从三维姿态模型中查找目标点的特征值。将决策表中与各目标点的特征值的综合匹配度（可以针对每个目标点，查找到与之对应的特征值。然后，针对决策表中的每一中运行模式，确定该运行模式对应的各特征值分别和与之对应的目标点的特征值的匹配度，将得到的各相似度的和，作为综合匹配度）最大的运行模式，作为目标模式。

若假肢当前的运行模式和目标模式相同，则两者匹配，使得假肢继续当前的运行模式。若两者不同，则不匹配，使得假肢运行目标模式。

除了前述的考察用户的运动状态以外，在本说明书一个可选的实施例中，还考察了假肢与用户的相对位置。在该实施例中，所述系统还包括：假肢位姿检测模块。所述远端控制模块还配置为：若接收到所述目标图像，则生成位姿获取指令发送至所述假肢位姿检测模块；基于所述假肢位姿检测模块返回的位姿数据和所述目标图像，建立三维姿态模型；所述假肢位姿检测模块，配置为：在所述位姿获取指令的触发下，对所述假肢的位姿进行检测，得到位姿数据，返回至所述远端控制模块。

具体地，远端控制模块从所述目标图像中识别出佩戴所述假肢的用户的影像，并识别出所述目标图像的背景中的物体，作为目标物；远端控制模块基于所述影像表示出的所述用户与所述目标物的相对位置、所述影像表示出的所述用户与所述假肢的相对位置、以及所述表征所述假肢位姿的位姿数据，建立所述三维姿态模型。在该实施例中，远端控制模块建立的三维姿态模型，不仅仅能够表征用户的姿态，还能表征用户与环境的相对位置关系。例如，用户的姿态是全身伸直，此时用户有可能是直立，也有可能是平躺。本实施则能够使得三维姿态模型对这两种姿态进行区分。

在本说明书一个可选的实施例中，所述标记模块与所述假肢控制模块通信连接；所述标记模块是智能手环，所述指定标记是所述智能手环展示的信息。所述标记模块，配置为：进行信息展示时，将所展示的信息发送至所述假肢控制模块，使得所述假肢控制模块将从所述第一待定图像识别出的与所述信息匹配的内容，作为所述指定标记。该实施例中，指定标记是智能手环展示的信息，则无论智能手环展示的信息是什么，都可以作为指定标记。例如，智能手环展示的时间、某种图标等。

在其他可选的实施例中，用户还可以自定义指定标记。例如，将星星形状的一枚袖扣作为指定标记对应的图案。在该实施例中，假肢控制模块在检测到所述用户执行完成针对所述假肢的佩戴之后，发送显示指令至所述标记模块，使得所述标记模块展示指定标记，并展示提示信息，所述提示信息用于引导所述用户执行指定动作，所述指定动作用于使得所述第一图像采集模块拍摄到所述用户的面部，或者，使得所述第一图像采集模块拍摄到所述标记模块展示的指定标记。这样，就能够使得假肢控制模块“记住”指定标记的形貌，以便于后续的识别。

在本说明书一个可选的实施例中，指定时长与所述第一图像采集模块的帧率负相关。

图2是本申请的一个实施例电子设备的结构示意图。请参考图2，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成一种上肢假肢使用状态的数据收集评测装置。处理器，执行存储器所存放的程序，并具体用于执行前述任意一种上肢假肢使用状态的数据收集评测系统的至少部分模块执行的方法步骤。

上述如本申请图1所示实施例揭示的一种上肢假肢使用状态的数据收集评测系统的至少部分模块可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中一种上肢假肢使用状态的数据收集评测系统的至少部分模块执行的方法步骤，并实现图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，执行前述的任意一种上肢假肢使用状态的数据收集评测系统的至少部分模块执行的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种上肢假肢使用状态的数据收集评测系统，所述系统包括：设置在假肢的中指的近节指骨朝向所述假肢的食指一侧的第一图像采集模块、设置在用户另一只手臂上的标记模块、与所述第一图像采集模块通信连接的假肢控制模块、以及与所述假肢控制模块通信连接的远端控制模块；

所述第一图像采集模块，配置为：进行图像采集，得到第一待定图像，将所述第一待定图像发送至所述假肢控制模块；

所述假肢控制模块，配置为：接收所述第一待定图像，判断所述第一待定图像是否满足第一指定条件，若是，则将所述第一待定图像确定为目标图像，发送至所述远端控制模块；

所述远端控制模块，配置为：基于所述假肢控制模块发送的目标图像表示出的所述用户的姿态，建立三维姿态模型；确定所述假肢当前的运行模式与所述三维姿态模型表示出的所述用户的姿态是否匹配；若否，则重新为所述假肢制定运行模式，将重新制定的运行模式发送至所述假肢控制模块，使得所述假肢控制模块按照所述重新制定的运行模式控制所述假肢；

其中，所述第一指定条件包括：连续采集的第一数量帧所述第一待定图像中均包含所述用户的面部，或者，包含所述标记模块展示的指定标记、且拍摄时间间隔不超过预设的指定时长的所述第一待定图像的帧的数量不小于第二数量。

2.如权利要求1所述系统，其特征在于，所述系统还包括：用户状态检测模块；

所述用户状态检测模块，配置为：检测所述用户的状态，若检测到所述用户处于剧烈运动状态或睡眠状态中，则将第一检测信号发送至所述假肢控制模块，使得所述假肢控制模块关闭所述第一图像采集模块。

3.如权利要求1所述系统，其特征在于，所述系统还包括：假肢位姿检测模块；

所述远端控制模块还配置为：若接收到所述目标图像，则生成位姿获取指令发送至所述假肢位姿检测模块；基于所述假肢位姿检测模块返回的位姿数据和所述目标图像，建立所述三维姿态模型；

所述假肢位姿检测模块，配置为：在所述位姿获取指令的触发下，对所述假肢的位姿进行检测，得到位姿数据，返回至所述远端控制模块。

4.如权利要求3所述系统，其特征在于，所述远端控制模块基于所述假肢位姿检测模块返回的位姿数据和所述目标图像，建立所述三维姿态模型时，执行：

从所述目标图像中识别出所述用户的影像，并识别出所述目标图像的背景中的物体，作为目标物；

基于所述影像表示出的所述用户与所述目标物的相对位置、所述影像表示出的所述用户与所述假肢的相对位置、以及所述位姿数据，建立所述三维姿态模型。

5.如权利要求2所述系统，其特征在于，

所述用户状态检测模块，还配置为：若检测到所述用户未处于剧烈运动状态或未处于睡眠状态中，则将表征用户运动状态的用户状态数据，发送至所述假肢控制模块；

所述假肢控制模块，还配置为：在向所述远端控制模块发送所述目标图像时，将采集时间与所述目标图像的拍摄时间匹配的用户状态数据，发送至所述远端控制模块；

所述远端控制模块，还配置为：所述远端控制模块存储有决策表，所述决策表记录有：用户状态和所述三维姿态模型的特征点之间的对应关系、以及所述特征点的特征值和所述假肢的运行模式之间的对应关系；基于所述用户状态数据表示出的用户状态，对所述决策表进行查找，将查找到的特征点，作为目标点；从所述三维姿态模型中，读取到所述目标点的特征值；基于所述目标点的特征值，对所述决策表进行查找，将查找到的运行模式，作为目标模式；判断所述假肢当前的运行模式与所述目标模式是否匹配。

6.如权利要求1所述系统，其特征在于，所述标记模块佩戴在所述用户的另一只手臂的指定位置；

所述假肢控制模块，还配置为：在检测到所述用户执行完成针对所述假肢的佩戴之后，发送显示指令至所述标记模块，使得所述标记模块展示指定标记，并展示提示信息，所述提示信息用于引导所述用户执行指定动作，所述指定动作用于使得所述第一图像采集模块拍摄到所述用户的面部，或者，使得所述第一图像采集模块拍摄到所述标记模块展示的所述指定标记。

7.如权利要求1所述系统，其特征在于，所述标记模块与所述假肢控制模块通信连接；所述标记模块是智能手环，所述指定标记是所述智能手环展示的展示信息；

所述标记模块，配置为：进行信息展示时，将所展示的展示信息发送至所述假肢控制模块，使得所述假肢控制模块将从所述第一待定图像识别出的与所述展示信息匹配的部分，作为所述指定标记。

8.如权利要求5所述系统，其特征在于，所述系统还包括第二图像采集模块；所述第二图像采集模块设置在所述标记模块上；

所述第二图像采集模块，配置为：进行图像采集，得到第二待定图像，将所述第二待定图像发送至所述假肢控制模块；

所述假肢控制模块，还配置为：接收所述第二待定图像，判断所述第二待定图像是否满足第二指定条件，若是，则将所述第二待定图像确定为目标图像，发送至所述远端控制模块；

其中，所述第二指定条件包括：连续采集的第三数量帧所述第二待定图像中均包含所述用户的面部。

9.如权利要求8所述系统，其特征在于，所述第一数量与所述用户状态对应的剧烈程度正相关；所述第二数量大于所述第一数量；所述第三数量大于所述第二数量。

10.如权利要求8所述系统，其特征在于，所述指定时长与所述第一图像采集模块的帧率负相关。

Images