CN113490945A - 人动作过程采集系统 - Google Patents

Abstract

本发明涉及人动作过程采集系统和方法。所述方法包括通过非接触式传感器采集一个动作过程中的大量人像，这时大量图像显示人身体部位的动作，通过大量图像中的至少某些图像制作包括肢体位置的至少一个骨架模型，通过比较创建的至少一个骨架模型中肢体位置的变化，根据身体部位的动作计算动作过程。

Description

人动作过程采集系统

技术领域

本发明涉及一套人动作过程采集系统。

发明背景

医疗体系一直饱受专业人员严重匮乏的困扰。这导致治疗和护理经常不足，对医疗成本以及让国民经济实现增值方面造成了严重影响。对于患者来说，这可能意味着痛苦长时间持续甚至出现并发症，其原因可能是康复措施的姿势性损害，除非患者在这方面得到充分的指导。因为有这些因素的原因，记录患者状况的必要性越来越高，而诊所方面也可以对可能归因为治疗不充分而造成的损害索赔要求进行辩护。其在某些情况下可能有更强的作用。

本文件所述的系统比如通过服务机器人可以通过对康复措施，尤其是对动作过程中的体位和步态矫正用器械进行初级监控，定位这一问题。这种服务机器人另外还可以准确记录完成的练习，这样相关医疗机构可以履行其相关合规义务，而不必再为此单独安排人手。另一项影响是使用这套系统可令治疗效果的评估标准化，因为目前对是否正确完成了练习的评估都依赖医疗医生，而他的评估结果又因个人经验的原因与其他治疗医生不同。治疗医生因此可能会在对一项练习或者同类练习进行评估时得出不同的评估结果，而使用本系统或者服务机器人则可以获得统一的评估结果。

另外，步态和上台阶训练领域使用服务机器人还可以显著减轻治疗人员的负担：在神经病、老年病以及内科机构，服务机器人可以陪伴方向感不强的患者，以及训练患者的动作过程，这些患者频繁训练行走后能明显改善其生活便利性。在整形外科机构，借助或者不借助下臂行走支架(UAGS)、肩膀支架或者其他辅助工具进行步态训练以及在手术之后对四肢下部或者脊柱进行上台阶训练是减少占用治疗人员时间的一个重要因素。通过使用移动服务机器人或者对于适合步态和上台阶训练的患者来说，可减少在这方面花费的时间。

服务机器人还有助于获得手术效果，并能够避免在动作过程中出现错误的动作型式。在手术后进行治疗性训练，可尝试通过练习戒掉患者手术前因疼痛或者动作障碍出现的错误动作过程(比如保护性姿势和/或避让动作)，比如错误的步态过程。训练正确动作过程(反复训练)频率越高，其效果越成功。如果在康复期间治疗医生用于治疗性训练的时间较少，那么服务机器人是一种很好的替代选项，其能够及时识别和纠正动作过程中的错误。

背景技术

专业人员通晓不同种类的系统，包括医疗或老年病领域的服务机器人。因此CN108422427介绍了一种康复机器人，它可以送药片给患者服用。类似的是CN206833244，其中介绍的服务机器人可以在医院中分发材料。在医院领域，中国的专利申请CN107518989和CN101862245涉及一种可以运送患者的服务机器人，与轮椅类似。CN205950753介绍了一种服务机器人，它通过传感机构识别患者，在医院中为患者提供导航。在CN203338133中介绍了一种用来为护理人员提供支持的服务机器人，它可以在医院中陪同患者处理日常事务。相反，CN203527474涉及一种通过其机械臂为人提供支持的服务机器人。

CN108073104涉及一种护理机器人，它可以护理受到传染的患者，手段包括为这些患者送药或者给药，为患者按摩，送餐，与患者沟通等。护理机器人之所以能降低医务人员的感染危险是因为其减少了医务人员与患者接触的次数。CN107598943中介绍了一种用于陪伴老人的服务机器人。这种服务机器人拥有几项监控功能，但其主要功能是地板清洁。

CN106671105涉及一种照顾老人的移动服务机器人。该服务机器人通过传感机构监控诸如体温之类的人体参数，还可以监控表情。其也可以识别人是否跌倒，可通过网络帮助相应警报。

有类似技术状态的是CN104889994和CN204772554，其中医疗领域的服务机器人可以识别心跳频率，为患者提供氧气并拥有语音识别和娱乐网络多媒体模块。CN105082149所介绍的产品也可以检测血氧。CN105078445涉及一种记录尤其是老人心电图、测量血液中氧含量的服务机器人。类似地，CN105078450具备脑电图测量功能。

某些健康机器人专用于对患者进行练习或者评估。CN108053889中相对简要地介绍了一套基于已保存信息对患者进行练习的系统。CN108039193介绍了一套在服务机器人中用于自动生成健康报告的系统。CN107544266中介绍了借助服务机器人采集动作/适应性练习，记录和保存数据并传输至外部系统进行评估。同时，该服务机器人可以通过不同传感器监控药品的服用情况。

CN106709254介绍了一种患者医学诊断服务机器人，其同样以诊断为基础制定治疗方案。为此，服务机器人评估语音和图像信息，将其与存储器中保存的信息进行比对。并且，将使用一种神经元网络。

CN106407715中介绍了一种服务机器人，其通过语音处理和图像识别采集患者病史。除通过语音输入和输出装置询问以外，还可以在采集病史时通过触摸板参考由服务机器人摄像头拍摄的舌头照片。

CN105078449介绍了一种配备平板电脑和通信单元的服务机器人，通过它可进行认知功能训练或者认知心理评估，以发现患者是否患有阿尔茨海默症。平板电脑将记录患者与儿童之间按照特定过程进行的电话交谈，从谈话记录中判断患者是否患有阿尔茨海默症。

Jaeschke等人在2018年验证了通过Microsoft Kinect在服务机器人上进行步态评估是否可以提供与建立的固定式步态评估系统(黄金标准)类似的有效结果，它涉及确定关节和四肢的位置，即是否能够以这些方式采集与评估步态训练相关的参数。步每分、步速、步长、一只或两只脚上的时间以及脚踝、膝盖和髋部的伸展和弯曲、骨盆的摆动倾向、躯干的向前或向后靠等都被称为相关参数。评估两套系统的统计比较结果时发现，通过Kinect为临床用途采集相关参数即可，与(固定的)黄金标准没有重要的差别。

Trinh等人在2018年阐述了服务机器人怎样识别到坐着的人，以及服务机器人怎样与这个人互动。另外，还介绍了通过2D激光扫描仪识别使用助步器的人。

Vorndran等人在2018年以图解方式介绍了完成步态训练的使用者怎样被在走在使用者前方的服务机器人追踪到。这时，也可以使用方向可控的摄像头，它可以更好地追踪使用者。通过LIDAR和RGB摄像头跟踪人。另外，服务机器人既使用激光扫描仪，也使用RGB-D摄像头(3D摄像头)侦测(未来的)使用者。对使用者行为的这一预测既用于控制服务机器人，也用于通过PID控制器跟踪RGB摄像头。

发明内容

本发明包括一种具有治疗辅助性质的方法和系统，比如为治疗患者提供支持的服务机器人，尤其是动作过程的治疗。服务机器人拥有传感器装置，可以在患者动作过程中采集身体部位的动作，将采集到的动作与服务机器人存储器单元中或者云中保存的动作进行比较。服务机器人基于动作中可能的偏差为患者提供改进其动作过程的注意事项。之后可由治疗医生对完成的练习和此时保存的数据进行评估。

本文件中一方面介绍了一种由电脑完成的采集人动作过程的方法，这时动作过程包括人身体部位的动作。所述方法包括通过非接触式传感器采集一个动作过程中(或者步态过程中)的大量人像，这时大量图像显示人身体部位的动作，通过大量图像中的至少某些图像制作包括肢体位置的至少一个骨架模型，通过比较创建的至少一个骨架模型中肢体位置的变化，根据身体部位的动作计算动作过程。如上所述，这一方法也可以包括将计算出的动作过程与之前确定并保存在存储器中的动作过程进行比较。

评估动作过程包括通过至少一个完整的步态循环评估身体部位的动作，这样系统可获得动作过程的完整图像。

另一个特征是，这一方法也包括通过比较助步器模型识别大量图像中的至少一个助步器。这一方法可以综合评估至少一个助步器和至少一个由骨架模型得到的足骨架点，这时包括确定至少一个足骨架点与地面侧端点的差异，其中包括至少一个助步器。比如在矢状面中确定该差异，并且比如着地时间点进行评估。

这一方法另外还可以包括在采集到的动作过程与事先确定的动作过程中的动作存在偏差时发出消息，以通知患者动作过程中的错误动作。已发出消息的数量与采集到的动作偏差的数量和类型有关。

人动作过程采集系统至少包括一个在动作过程中(或者步态过程中)非接触式采集大量人像的传感器，这时大量图像显示人身体部位的动作，评估单元用于制作包括大量图像中至少某些图像肢体位置的骨架模型，通过比较创建的骨架模型评估人身体部位的动作。

评估单元可配备一个包含事先确定的指定动作过程身体部位位置值的存储器，并在运行中将预先确定的值与身体部位的动作进行比较。

评估单元在运行过程中评估至少一个步态循环中在助步器的协助下达到的身体部位位置和/或身体部位动作的对称性。

系统同样有一个可以在确定身体部分动作和预先确定的动作过程之间存在偏差时输出消息的输出单元。

另一个特征是，系统包括一个用于识别物体，比如助步器或大量图像中其他物体的分段单元。

附图说明

现在将借助附图详细介绍本发明。图中示出了：

图1：示例性的系统架构

图2：服务机器人脚轮俯视图

图3：服务机器人管理系统

图4：示例性的练习计划

图5：GUI练习计划配置

图6：患者管理模块、导航模块、权限卡与服务机器人之间的数据交换

图7：练习流程

图8：3D数据采集和评估

图9：决策矩阵图基于动作过程，用于向患者输出指令或反馈的动作过程分级装置

图10：用于调整练习计划的自学习方法

图11：面向治疗医生的患者动作数据评估矩阵图

图12：根据标记好的视频次序改进动作过程纠正和动作过程评估的方法

图13：自动改进动作过程纠正和动作过程评估

图14：躯干弯曲顺序(lean of trunk)、右髋有假肢(TEP)患者的髋部弯曲和膝盖弯曲。

图15：整段时间内的支架使用情况

图16：右髋有假肢患者的站立持续时间顺序

图17：错误等级直方图：步态过程的对称性

图18：练习中断

图19四肢和上身的角度

图20骨架模型

图21补充确定足骨架点

图22三点步态

图23两点步态。

具体实施方式

服务机器人17如图3所示，可以采用不同的软硬件配置设计，包括不同的组件和/或模块。该服务机器人17是一套采集比如患者动作过程的系统，并且对本发明没有限制。

图1中展示了示例性的系统架构。如本文件其他位置的示例所述，也可以有替代性特征，其中补充和/或取消了各个组件和/或模块。原则上服务机器人17拥有至少一个处理器(采用PC或者ARM架构)以及至少一个与处理器相连的存储器。

图1的特征是，系统架构包含四个层，其中包括三个软件层(一个应用层2010、一个状态层2020和一个服务机器人技能层2030)以及一个硬件层2080。2010、2020和2030层尤其构成了各个模块，出于清楚明了的原因未在图1中明确展示，下文中也不必在所有位置上明确展示。2030层上反应服务机器人技能，它又构成了状态层2020的基础，状态层反应服务机器人17的状态，而应用层2010覆盖应用。应用层2010中有比如动作训练模块2011中的步态训练应用，在其中保存有患者的操作指导说明等。但训练模块也可以包含其他训练说明，它们不必与动作有关，比如记忆力训练说明等。为此，另外加上诸如练习计划或语音和/或显示屏输出之类说明，以落实练习计划2012，在练习计划中评估练习2013，最后包括(可选的)患者数据，比如年龄、共病症、患者的房间号等2014。

这四个层分别相互叠加布置。这就比如要求动作训练应用特定的机器人能力，它又以特定的硬件组件为前提。

状态层2020中有一个使用者引导模块2021以及位于动作纠正模块中的动作过程纠正2022。另外还有一个模块，它反应服务机器人17怎样走近患者2023，即服务机器人17怎样与患者沟通。该状态层2020上反应的另一个状态是移动至目的地2024以及接受等待位置2025。

服务机器人技能层2030上有多个模块，它们包含不同的重要子模块。首先是一个用于识别人员的人员识别模块2040。人员识别模块2040包含用于识别人员身份的人员身份识别模块2041，用于通过2D摄像头进行虚拟人员跟踪的第一人员跟踪模块2042，第二个基于LIDAR的人员跟踪模块2043。另外还有一个作为重新识别人员身份的身份重新识别模块2044，当人员(患者)离开跟踪区域时使用它，一个作为座椅识别2045的座椅识别模块2045，使用它识别坐到椅子上的人员(患者)，以及一个用于3D骨架识别的骨架识别模块2046。这可通过2D或3D摄像头进行。

服务机器人技能层2030上的另一个模块是一个动作评估模块2050，它包括一个作为用于获取动作过程特性的动作过程获取模块2051的子模块，以及一个作为用于采集和评估患者动作过程的动作过程评估模块2052的子模块。

导航模块2060中有一个用于2D/3D采集的子模块2061，一个用于对其周围环境绘图的测绘模块2061a，一个有服务机器人17所移动环境地图的地图模块2061b。另外，导航模块2060还有一个自动定位子模块2062，比如在测绘的环境内。另外，导航模块2060还有一个子模块，其作用是让服务机器人17始终保持在被跟踪人员视线范围内2063。用于公制路径规划的路径规划模块2064确保服务机器人17能有效计算自身需要返回的路线。用于动作规划的动作规划模块2065采用了一种具有革命意义的算法，因此一个特征是，另外使用来自路径规划模块2064的公制路径规划结果，为服务机器人17计算出最佳的路线，同时考虑不同的目的地功能，其中包括确定患者预计的路径。使用者讲话子模块2066中保存有服务机器人17怎样导航人员比如患者才能讲话的规则。相反，子模块2067可确保与使用者(比如患者、治疗医生、护理人员或者其他人)保持距离，它既反应安全要求，也反应个人、受文化影响、人与人之间的距离，服务机器人17在与人交互时占用这一距离。为避免服务机器人17采用固定导航，即接受空间位置，服务机器人17从这些位置无法再从传统的控制算法中解放出来，服务机器人17拥有一套可以采集并重新解除自锁2068的机制。用于确定等待位置2069的模块确保服务机器人17占据不会打扰任何人的等待位置。供电用子模块2060e确保服务机器人17在低电量状态下会自动搜寻充电站，与之对接并为蓄电池充电。

服务机器人技能层2030另外还配备有一个提供人-服务机器人互动的模块2070。子模块这时涵盖了图形用户界面(GUI)2071，另一个子模块在患者与服务机器人17之间建立眼神接触2072(如果服务机器人17有一个带眼睛2094的头)，另外两个子模块使用语音合成2073和语音识别2074。

硬件层2080上布置有不同的组件。其中包括一个里程表模块2081，即用于里程表功能的测量与控制单元，它通过一个接口与导航模块2060相连。压力敏感型推杆2082高于地面数厘米，可以进行碰撞探测。如果导航模块2060中探测到碰撞，则会触发差速传动装置2090立即停止。否则，该差速传动装置2090一般可确保服务机器人17继续移动。配备相应充电电子装置的充电端口2091可为集成的蓄电池重新充电，并通过外部充电装置提供相应的电能。替代性能源，比如燃料电池，其中包括直接甲醇燃料电池或固体氧化物燃料电池同样可为服务机器人17供电。

服务机器人17拥有一个LIDAR 2083以及一个全景摄像头(2D,RGB)2084。另外在服务机器人17上面有一个RGB-D摄像头(3D)2085，它具有缩放功能并且可跟踪2086。两个无线接口，一个是WLAN模块2088，另一个用于RFID权限卡2089，可以进行数据电子交换。

服务机器人17拥有一个触摸显示屏2087。至少一个扬声器2092可以输出语音合成2073，至少一个麦克风2093可以记录语音信号，比如通过自然语言处理实现语音识别目标2074。最后，一个带可控眼睛2094的头(有6个自由度)可在情绪层上改善人机通信。组件2087,2092-2094主要用于人-服务机器人互动。

显示屏2087还可以在使用者引导2021范围内用于以下用途：

·通过密码识别患者/治疗医生身份

·与患者/治疗医生对话，或者查询/输入信息

·向患者传输指令，比如作为对完成练习的反馈和/或作为跟随服务机器人17的要求

·模拟患者应完成的练习。为此，可使用保存的使用者标识图，但也可以使用示范练习的视频。

·播放已完成练习的记录

·显示对练习的评估，比如供治疗医生使用。

服务机器人17的一个特征是还配备照明灯元件，可以为患者提供指令，或者发出患者应以特定步态转弯的信号。这类照明元件比如位于服务机器人17的上方区域，比如包括LED灯。

服务机器人17的一个特征是配备有两个驱动轮6，它们相互定中心、平行布置(参见图2)。其周围比如一条环形轨道上有两个或多个支撑轮5。支撑轮5的这种布置可通过反向控制驱动轮6将服务机器人17旋转就位。支撑轮5的水平轴在放置时确保轴可以绕着垂直轴360度旋转。使用两个支撑轮5时，驱动轮6的距离大于图2所示的距离，这样可避免服务机器人17轻易倾翻。

图3显示服务机器人17通过无线网络连接，比如WLAN模块2088，与云18相连。该云18既可以是公有云，也可以是私有云(“on premise”)。治疗医生可以通过终端13访问设于云18中的患者管理模块161的计算机，该计算机又与患者管理模块存储器162相连。患者管理模块处理单元161和患者管理模块存储器162统称为患者管理模块160。治疗医生可以在患者管理模块162中保存患者数据，或者一个特征是拥有一个接口，它可以从至少另一套患者数据管理系统170中导入患者数据，而该系统又拥有患者数据管理系统处理单元171和患者数据管理系统存储器172。其他系统另外包括医院管理系统、医院信息系统(KIS)和/或患者数据管理系统，它们通常在诊所或康复机构使用。另外，治疗医生可以在患者管理模块160中为患者分配练习计划，在时间过程中修改该练习计划，查看练习计划中患者使用服务机器人17进行过的练习的评估，由服务机器人17通过接口向患者管理模块162的存储器中传输这些评估结果。患者管理模块160可以记录患者的治疗进度，具体方法是患者管理模块160从服务机器人17了解已进行过的评估，并可以向诸如医院管理系统之类的外部患者数据管理系统170传输治疗进度。此外，云18中有一套导航系统180，其包含导航信息，并拥有导航系统处理模块181和导航系统存储器182。这些导航信息通过接口与服务机器人17的导航模块2060相连，尤其是与空间平面图模块2060r相连。该空间平面图模块2060r中，为服务机器人17在其中移动并由服务机器人17绘制的空间坐标分配空间号，这些空间号预先保存在导航系统180和/或空间规划模块2060r中。

云18与规则集150相连，它拥有规则集处理单元151和一个规则集存储器152。此处主要集中事先保存很可能在图1中服务机器人17应用层2010、状态层2020和服务机器人技能层2030中使用的算法，还包括在患者管理模块160中使用的算法。示例包括在动作过程评估模块2052中在评估动作过程时参考的算法。这也意味着，根据具体特征，如果服务机器人17在云18中有在线连接，图1中的某些模块只能事先保存在云18中，尤其是当需要为它们提供导航时。治疗医生可以为规则集150中的其他算法陈述练习计划调整建议。

另外，云18中有一个学习模块190，其包括至少一个学习模块处理单元191和至少一个学习模块存储器192。此处，将事先保存服务机器人17记录的历史数据，治疗医生通过在患者管理模块160中创建练习计划生成这些数据，和/或来自于外部患者数据管理系统170，并事先传输到患者管理模块160中，和/或直接来自服务机器人17。只要这些历史数据与患者有关系，则将以匿名方式提交这些历史数据。可通过终端12(参见图3)访问这些历史数据，并且可以为其加标签。按照下文中的详细说明使用这些历史数据改进规则集150中的算法。

规则集150经过配置，确保本地安装在服务机器人17上的算法比如可通过无线接口，如WLAN模块2088更新，这时从规则集存储器152传输算法。另外，也可以通过云18更新患者管理模块162存储器中的算法。

展示的示例服务机器人17本身拥有一台计算机9和一个存储器10，至少一个传感器3，至少一个支撑轮5和至少一个驱动轮6以及一个电源8。

传感机构

服务机器人17可配备替代性和/或补充性传感机构。其中包括代替压力敏感型推杆2082的超声波传感器和/或雷达传感器。另外，服务机器人17可配备一个或多个磁体传感器，其布置方式确保磁体传感器可识别地面上的磁体，目的是实现操作半径的空间限制，比如为了在楼梯上确保安全。作为代替和/或补充，服务机器人17也可以配备红外传感器、超声波和/或雷达传感器，它们对准地面，一个特征是经过配置，使红外传感器、超声波和/或雷达传感器可识别到梯级。比如可在测绘模块2061中在创建的地图中考虑这些红外传感器、超声波和/或雷达传感器中的信息。

至少一个3D摄像头(设计为RGB-D或者纯深度摄像头)不仅可用于人员识别模块2040的功能，还可以用于在测绘模块2061中三维测绘。至少一个2D-RGB摄像头可借助相应的架构，比如Open Pose(Cao等人在2017年提出)用于3D人员跟踪2042，Kinect时使用相应的架构，Astra Orbbec时则使用比如NUITrack。另外，一个特征是可以代替3D摄像头。

对于3D摄像头，既可以使用比如Microsoft Kinect中的飞行时间技术，或者也可以使用Astra Orbbec中的班点传感器。目前的技术状态下，这两项技术都有相应的评估算法。根据具体特征，也可以使用一个或多个3D摄像头代替LIDAR 2083。

人员识别模块2040中的人员识别基于至少一个光学传感器，比如LIDAR 2083、2D摄像头2084和/或3D摄像头(设计为RGB-3D摄像头2085或者纯深度摄像头)。尤其在使用2D-LIDAR时，同样不单独使用LIDAR 2083，而是与至少一个2D摄像头2084和/或3D摄像头搭配使用。这时通过LIDAR 2083确定患者与服务机器人17的距离，采集其动作以及通过2D摄像头2084或3D摄像头采集姿势，其中后者同样可以为确定患者与服务机器人17的距离确定数据。作为替代，也可以使用2D-RGB摄像头和单独的3D深度摄像头，其中与(3D)RGB-D摄像头相比，其在信号处理时花费额外的时间，尤其是同步的时候。“姿势”这一概念是指在空间内定位人员，包括其四肢/肢体部分(身体部分)，以及在空间内定位服务机器人17。

规定练习计划

治疗性步态训练的出发点是练习计划，其目标是在一定时间内改善患者的身体能力，由此逐步改善其动作过程。现在，服务机器人17经过配置，通过所述的传感机构可为治疗性步态训练提供帮助。比如患者在完成全髋关节置换(髋部TEP)之后，现在一方面必须注意按照规定的流程借助下臂行走支架(UAGS)减轻手术区域的负担，另一方面尝试尽可能恢复正常的或者生理上的动作过程。明确定义了该动作过程，在Thieme出版社2016年出版的

所著的“理解行走”章节2中以及Smolenski所著的“Janda，手动肌肉机能诊断(Elsevier出版社，2016)章节6中进行了详细阐述。由于疼痛的原因，患者在手术前“训练出”了一个步态(即动作过程)，它在手术后可以确保患者达到尽可能良好的手术和康复效果。这一训练出来的步态下面也称“偏差步态过程”或“偏差动作过程”，动作过程的相应特性比如受到疼痛影响，因此生理动作过程中不同的步长被称为偏差步长。这比如通过有目标的步态训练(开始时也称UAGS/助步器)实现，这时主要关注大量其他肢体部分或身体部位的相互作用。如上所述，这涉及头部的姿势，但也涉及躯干的倾斜、上臂和下臂、髋部和大腿/脚的位置。

使用UAGS过程中形成了两种步态方式，它们在康复时会用到：三点步态和两点步态。如果是三点步态，两个UAGS同时随该(手术手/相关)大腿向前移，可减轻手术后/相关大腿的负担。做过手术大腿的足部这时将接触地面。之后，将健康的大腿向前移。这种辅助行走方式(三点步态)可以更大幅度地减轻对做过手术大腿的体重负担，因为UAGS承担一部分的支撑作用。这时，两点步态是加快治疗过程的一种方式。采用两点步态，可以实现部分减轻一条或两条腿的负担。这时，将支架和对侧的腿同时或者及时向前移，之后将相应对侧的腿向前移(右下臂支架-左腿，左下臂支架-右腿；这相当于相互动作过程)。一旦患者不再需要减轻负担，则在与医生和治疗医生协商之后可以不使用UAGS。如果患者的动作过程顺畅，则从三点步态过渡到两点步态，其特点是站立持续时间、非重力腿阶段、步长和/或两条腿之间的同步程度增强以及行走速度加快。当服务机器人17对患者进行了少量纠正，定义了一个阈值而且由服务机器人17确定的行走速度也超过与各种影响参数(比如在首次训练时最初确定的行走速度、共病症等)有关的阈值时，说明满足过渡至两点步态或者不使用UAGS的标准。

如果之前确定的练习参数以及由此引导出的这些参数中的练习进度与治疗医生进行的练习计划中的干预高度一致，并且放行患者两点步态，则也可以进行这一过渡。这时按照动作过程中的动作过程参数的差异，比如速度、站立持续时间、非重力腿阶段、步长等以及动作过程中的对称值，确定练习进度。服务机器人17或者可以自行在练习计划中从三点步态切换为两点步态，或者可以向治疗医生建议，如图10(之后详述)通过观察各种其它参数举例说明。

图4展示了患者完成的这类示例性的练习计划。各行说明了天数，在第三列中显示患者使用服务机器人17进行过哪些练习。该实例中，第一天未进行练习，第二天练习了5-10分钟三点步态，这时患者行走了大约-20-200m。第二列中保存了理疗师的任务。第二天的这20分钟包括物理疗法以及评估服务机器人17的练习数据。其他天的任务和过程可由表格相应地得出。

通过观察服务机器人17在患者管理模块160中创建这类练习计划。为此，治疗医生可访问图形用户界面(GUI)(图5)，为患者在诊所或康复机构度过的每一天配置练习计划。这些练习计划另外包括患者ID以及手术日期、手术侧(在对膝盖和/或髋部手术时)、对特定行走方式的放行(比如从特定日期起两点和/或三点步态)、放行在台阶上进行训练以及练习的量度(每天或者每次练习的频率、时长和路线长度)。这时，可在服务机器人17中保存诊所/机构专用的练习计划，它们满足相应手术医生的要求。目标是比如在对髋部/膝盖/踝关节进行手术之后，使用UAGS根据相应的负担程度和治疗过程重新学习正确的动作过程，另一方面学习关节的相应动作过程。这些练习计划与规定/协定的手术医生示意图匹配。但治疗医生可主动对其进行修改或调整，具体方法如下面所述。如果通过评估模块为治疗医生显示使用UAGS的过程中出现过多的偏差(可能因为患者在实现超过特定日期需要根据练习计划学习的两点步态时出现困难)，则治疗医生可以在练习计划中将行走方式“重置”为三点步态，并在之后的时间点让患者学习两点步态过程。另外，治疗医生可以如同其他位置的详细说明，以在GUI中过去的数据的评估为基础查看应对练习计划进行哪些调整，即比如在述后第三天基于过去几天的训练成果进行动态调整。如本文件中其他位置所述，也可以自动纠正训练计划。

向服务机器人传输练习计划

创建或调整完练习计划之后，将该练习计划或者与之相关的说明传输至服务机器人17。为此，根据具体特征有不同的方案：

图6介绍了患者管理模块160、包含空间信息(或者同样包含这些空间信息的空间平面图模块2060r-可选)的导航系统180、存储介质(比如权限卡)和服务机器人17之间的数据交换。第一步605将在患者管理模块160中为患者创建患者数据。这些患者数据包括姓名、ID、诊断(必要时进行髋部手术)、康复、患者年龄等、(患者入住的-可选)空间号和练习计划。也可以通过外部系统，比如医院信息系统，通过接口获得患者数据。以空间号为基础，可以在610步通过接口将空间号模块2060r中的空间坐标传输至服务机器人17的导航模块2060，或者做为替代方案从互补模块传输至以云为基础的导航模块160的存储器中，它在本方法的一种特征中可用于从房间中接走患者。作为替代和/或补充，在这方面可以定义一个服务机器人17接触患者的区域。

有不同的方式可以将执行练习的相关数据从患者管理模块160传输至服务机器人17。另一种类型是将练习计划(以及必要时将患者数据)传输至权限卡或存储介质(比如U盘)610。将它交给患者。患者在服务机器人17上将数据传输到机器上上面，手段是将权限卡放到服务机器人17的RFID读取(和必要的写入)装置2089上，服务机器人17识别该权限卡612，并相应地读入615。如果采用存储器(比如USB存储卡)，可使用以接触为基础的接口，比如用于USB存储器的USB端口，取代无接触式RFID读和/或写装置2089。

另一种方法是只向权限卡传输来自患者管理模块160的患者ID 620。作为替代和/或补充，患者管理模块160中权限卡的ID与患者联系起来，由此(至少在通过权限卡或者必要时也通过存储器传输数据时)与患者ID联系起来。将在服务机器人17的读和/或(写)装置2089上识别权限卡(必要时包括存储器)612，并由此读入患者ID 625，其同样由患者通过操作权限卡/存储器进行。然后，服务机器人17通过接口从云18中的患者管理模块160下载执行练习所需的数据660，比如练习计划，这时获得的患者ID用于在患者管理模块160的存储器162中识别相关数据记录。除使用权限卡和/或存储器以外，也可以生成一个条型码，其包含了患者ID 630，并将其交给患者。如果将条型码放在至少一个2D摄像头2084或者3D摄像头前面，则由服务机器人17识别它632。将读入条型码或患者ID 635。以此为基础，服务机器人17通过接口从位于云18中的患者管理模块160下载执行练习所需的数据660，比如练习计划。获得的患者ID 630用于在患者管理模块160的数据库162中识别相关数据记录。作为目前所述的在服务机器人17上进行身份识别方法的替代，患者也可以获得登录数据，它与患者管理模块160中的患者ID联系起来640。如果第645步在服务机器人17上输入登录数据，则服务机器人17在第660步从患者管理模块160中下载与该登录数据(以及患者ID)联系起来、与执行练习有关的数据。除登录信息以外，也可以使用患者的生物统计学信息，比如虹膜扫描、指纹或者在第650步扫描人脸，它们在患者管理模块160中与患者联系起来。之后患者可以在服务机器人17上进行相应的身份识别，这时如果采用虹膜扫描或者指纹扫描，必须安装相应的读取装置。扫描人脸时，也可以对服务机器人17的3D摄像头进行相应的配置，比如RGB-D摄像头2085。第645和655步结束之后，服务机器人17下载与患者ID关联的用于执行练习的数据。

之后服务机器人17执行第665步的练习，在第670步记录练习结果，通过查看练习计划675分析结果。其他位置将详细展示665、670和675这三个步骤。练习结束之后，会将由服务机器人17记录的数据，主要包括服务机器人17的评估结果，必要时也包括练习的视频记录、骨架识别原始数据(将在下面详述)，重新传输至患者管理模块160。在所述的第一种情况下(步骤610–612–615)，这可以通过以下方式实现：在第680步将这些数据传输至权限卡/存储器，然后将患者的权限卡/存储器转交给治疗医生，之后他在第685步在患者管理模块160的终端上读入权限卡/存储器。在所述的另一种操作方法中(第620、630、640和650步)，可通过接口将服务机器人17的数据在第690步传输到云18中的患者管理模块160内。可在练习结束时进行这类传输，或者在执行练习期间实时或者间歇执行。

数据传输的一个特征是在数据交换时匿名，为此不向服务机器人17传输可以识别患者身份(不会将人员ID与姓名联系起来)的数据，而且也不会在服务机器人17上保存可能会识别出患者身份的数据。如果服务机器人17创建了患者的视频记录，则对这些视频记录进行匿名化处理，如其他位置所述。

原理性练习过程

图7展示了原理性的练习过程。一个特征是，服务机器人17经过配置，使服务机器人17可以在一个地点接走患者，陪伴患者到达练习区域，在那里完成练习，必要时也可以再送回患者。图7中以虚线框展示了这些步骤，因为这些步骤是可选的，这时因为服务机器人17也可以在一个地点等待患者。

可选步骤405中，患者向服务机器人17发出需要练习的信号。患者也可以选择查看计划中的练习(比如在练习计划中定义的日期、时间)和/或补充性时间计划表。下一步410(可选)服务机器人17搜索患者，这时有关空间的信息(比如患者的房间号)来自于导航系统180或者空间平面图模块2060r，保存在患者管理模块160中，与练习计划一起传输至服务机器人17，如图6所述。服务机器人17可通过空间平面图模块2060r和在测绘模块2061中创建的地图定位空间并在其中导航，为此服务机器人17使用其目的地引导模块2024(在实例7中详细描述测绘的操作方法)。如果服务机器人17遇到患者，该患者可以在第415步在服务机器人17上识别身份，如图6之前详细所述。除此以外，患者也可以走到服务机器人17等待的地点。以第415步的身份识别为基础，服务机器人17使用其传感机构(包括LIDAR 2083、2D摄像头2084和/或3D摄像头(设计为RGB-D摄像头2085或者纯深度摄像头))在第420步识别患者，通过人员识别模块2040进行识别。这时，首先在人员识别模块2041中进行人员识别。然后，在第425步进行患者跟踪，这可以通过第一个人员跟踪模块2042和/或第二个人员跟踪模块2043实现。人员跟踪受到干扰导致服务机器人17“从视线中”丢失患者时，会借助身份重新识别模块重新识别身份。实例4详细展示了可能的结构型式。

通过第430步的对话，患者可为服务机器人17传输有关训练的提示，或者自身的训练需求。作为替代或者补充，与包含预定义练习的练习计划相反，患者也可以自行选择希望完成的练习。服务机器人17的一个特征是在出现患者自行选定的练习要求时，检查这是否符合治疗医生的要求。由于步态训练通常相当于一个进度路径(比如三点步态在两点步态之前)，因此患者无法任意跳过不重要的治疗步骤。但除治疗医生的要求以外，也可以考虑自动进行的练习计划调整和/或放行，比如以历史数据和/或进行过的涉及步态训练其他特征的动作过程纠正，比如需要返回的路线长度，自动确定从三点步态过渡为两点步态。对于患者来说，这意味着患者可以选择练习计划配置，它以针对特定练习自动进行的放行为基础。作为替代和/或补充，自动放行时也可以参考在动作过程中进行的纠正的数量和/或类型。

服务机器人17在第430步的对话中另外可以查询信息，和/或模拟需要完成的练习。可通过图形用户界面2071借助屏幕(比如触摸显示屏或触敏显示器2087)和/或通过扬声器2092和语音合成2073或麦克风2093和语音识别2074进行语音输入和输出。服务机器人17这时可根据具体特征与使用者保持最佳的距离2067。然后，(可选)服务机器人17在目的地引导模块2024“移动至目的地”算法的协助下导航至练习区域435。

服务机器人17请求患者通过所述的输出单元、LED灯等跟随它，或者为它提供患者要向哪个方向移动的提示。这时，患者可以移动到服务机器人17前面，或者跟随服务机器人17，导航至练习地区期间和练习期间都是如此。此外，服务机器人17将以恒定距离移向患者，这样可以改善待完成练习的传感采集效果。

服务机器人17计算出一条患者和服务机器人17应该或者必须完成的路线。为此，测绘模块2061和路径规划模块2064中的公制路径规划以及特征是具备革命性算法的移动规划模块2065可以搭配使用。一旦到达练习区域，即开始练习。这时，服务机器人17在第440步发出基于动作纠正模块2022的练习/纠正指令。接下来的进程中，借助动作评估模块2050采集练习执行情况(在动作过程获取模块2051中)，并在动作过程评估模块2052中评估。如果识别到偏差(步骤445动作过程评估)或尚未正确落实纠正建议(步骤450输出动作过程纠正)，可能导致再次生成步骤440。比如作为语音输出通过语音合成生成(和/或通过显示屏输出)的有关动作过程的提示可能包含有关定位UAGS、矫正上半身的提示。其中既可能包括有关正确纠正的提示，也包括表扬。

步骤440-450是一种重复性过程，因为可能需要通过多次纠正和多个子练习元素才能完成练习过程。该过程结束时，第455步将对练习进行评估，第460步则将数据传输到患者管理模块中，如其他位置所述(参见图6)。一个可选特征是，服务机器人17也可以在第465步(重新)陪同患者(回到)一个位置，比如其房间。当然在导航期间一般会持续跟踪患者。如果在此期间出现跟踪中断，则必须重新进行身份识别。

主要在练习期间进行数据采集和评估

图8中通过示例展示采集传感器数据和评估采集到的传感器数据的过程。另一个特征是通过传感器采集患者的动作，比如Kinect 2或Astra Orbbec，它们属于RGB-D传感器2085。然后，第715步将由3D深度摄像头在第710步根据传感器数据生成的深度图像转换用于表示3D散点图的数据，在其中使3D摄像头的每个像素对应一个空间坐标。这样，可实现环境信息的3D表示。

下一步将在第720步(特性获取)评估这些环境信息，以创建患者的骨架模型(第725步创建骨架模型)。第三方提供商，比如NUITrack或KinectSDK的软件程序使用3D散点图的数据，在第725步得出采集到的颜色、空间深度的信号以及骨架信息。此外，这些信号还包含有关相应骨架模型骨架点的信息，它们比如描述了患者的膝关节或者髋关节。图20以示例展示了一个骨架模型，包括身体1703、骨架点1701和骨架点之间的连接1702(如果定向说明)，它们可作为方向矢量输出。如果使用OpenPose等架构，可以使用2D摄像头取代3D摄像头，比如常用的RGB摄像头。

如果图像中有多个人(即不仅有患者，还有比如治疗医生)，则借助软件通过自身的骨架模型显示这些人。识别到的骨架点的数量一方面取决于在图像中是否看到完整的人，另一方面取决于所使用的软件。如果未完整看到人，也可以识别骨架点。

一个特征是可以对3D摄像头的传感器数据进行评估，确保通过传感器观察确定与采集到的每个对象或者对象区域的距离，这时该评估结果与3D摄像头的分辨率和对象的距离有关。通过与3D摄像头的视角以及与3D摄像头的距离可以为3D摄像头的传感器数据分配空间坐标。然后，又可以为骨架点分配这些空间坐标。以这种数学矢量运算既可以定义骨架点之间方向和长度上的方向矢量(它也相当于距离)，又可以计算它们之间的角度。

下一步在第730步选择关节，即仅为下述需要进行的计算继续处理必要的骨架点。然后，在第735步进行角度计算，比如小腿和大腿之间的角度或者大腿与铅垂线的偏差角度计算，为此分别作为基础定义一个骨架点，四肢/躯干和/或铅垂线的定位作为方向矢量构成角度计算的基础。(也请参见图19中的说明)。另外，比如在第760步确定距离。

所谓的时间-距离参数。这类参数比如包括步长、站立持续时间、跨距以及一定时间内的髋关节和漆关节的弯曲和伸展(视后续治疗而定)。通常在双步骤进程中确定它们。这方面的示例性图示参见实例1。这样比如可以将步长作为双脚接触地面时(比如通过高于地面的足骨架点1950的最小高度识别)矢状面内足骨架点1950之间的欧氏几何距离确定，它说明了步长。

与以骨架为基础加工数据相补充，在第740步使用下臂行走支架识别，也称为UAGS识别(它的一个特征是也包括肩膀支架和/或其他类型的手杖/助步器)。这样UAGS也可以在以后某个时间点评估步态和行走辅助工具。第710步所采集的已安装的深度摄像头的3D散点图同样作为该识别的基础使用。第755步在散点图内通过分段单元内支持实时、容错的分段算法可以找到UAGS。这时，将纳入有关患者骨架的知识，以预选恰当的候选区域745，即空间中UAGS最有可能所在的区域。这样可假定它们是胳膊向下的延长，这样这一区域会成为探测UAGS的候选区域。接着，在第750步通过典型UAGS的形状(长、窄)检查候选区域与模型假设的一致性，必要时进行选择。UAGS的位置或者接触地面的端点1970又被作为确定距离760期间特性获取720内的时间-距离参数评估。

然后，在第765步对特性进行分级(或者对特性进行评估)，这可以按照不同的标准进行。这时，可能超过或低于事先确定的、可能为患者专用的阈值，其中尤其在时间过程中评估提出的特性。比如如果患者身高1.75m，正常能够达到的步长为65cm，而服务机器人17确定的步长为30cm。依据分级采集到的步长最大允许的偏差为20cm。由于65cm标准步长减去由服务机器人17测得的30cm步长>20的分组偏差值，因此30cm的步长被评估为过短。

另外比如可以比较身体左右侧测量值的对称性，并对此进行分级。为此保存比如右侧和左侧步长在时间上连续的值。之后确定两个测量值之间的差，必要时在参考变量方面标准化，比如以手术侧测量值为基础作为参考变量。可通过一个或多个阈值继续评估这时得出的两个体侧的差(以及对称偏差)。为保持步长，20cm的步长偏差(指绝对值)，或者比如生理步长(即未手术大腿的步长)的20％可作为阈值使用—与涉及手术后大腿的偏差步长相反，与因手术形成的生理步长不同。

进行完特性分级765之后，根据情况评估分级后的特性(第770步被称为动作过程分级)，即不查看比如步长或跨距等单独特性，而是考虑在身体姿势中表现出的特性组合，一个特征是考虑助步器。另外，可以就使用规定的动作方式(两点步态、三点步态)作出论断。其方式与特性获取720或者动作过程评估模块2052中的特性分级765相同。目标是输出动作过程纠正(第450步)，即向患者输出提示，要求他在自身的动作过程中调整其动作，以符合或者至少接近生理动作过程。这时通过服务机器人17向患者反馈(提示错误，要求纠正，确认状态/表扬)。为此为动作过程分级分配一套规则，它们的一个特征是可成为决策矩阵图，在其中为特定姿势(比如全面组合构成动作过程中偏差/错误的各种特性分级)保存了用于纠正该动作过程的相应说明。该动作过程纠正在图9中显示为决策分级步骤775。

为纠正三点步态时的错误“先迈手术后的腿，后迈健康的腿”，用于识别健康腿步长的值必须为“过短”(即低于特定的阈值)，同时将UAGS与健康腿的距离评估为“向前迈得过短”(即高于特定阈值)。如果这两者正确，并且在该组合内只有这两上特性分级，则通过决策矩阵作为使用者反馈触发纠正：“请先迈健康的腿，再迈手术后的腿，向前越过支架之间的连接线。”。图9展示了其示意图。只有在识别到错误1和3(比如定义为与阈值的偏差)时，才能进行练习指导/纠正上述实例。当错误1、2和4组合出现时，又会触发纠正通知2。由于开始时由于患者的原因在动作过程中出现了多次偏差，无法同时纠正所有错误，因此执行由治疗医生的动作过程纠正优先顺序(对此将在下一节中涉及)。即并非每次错误识别都会由服务机器人17输出练习指导/纠正，因为在两次纠正之间首先有一定的最短时间和最小距离。但仍可保存并为治疗医生提供识别到的错误，即为其分配了纠正的动作过程分级770，将在下一节对此详述。

图9中的矩阵图不必是决定性的，即不必为探测到的动作过程与生理动作过程的每项偏差保存在该偏差中输出的纠正输出。一个特征是也可以进行动态输出。这时比如也可以按照优先顺序进行纠正输出。为此为各项偏差分配不同的优先顺序得分。之后，服务机器人可以每个时间周期都进行特定数量的输出，这时只进行最高优先顺序的输出，即有最高优先顺序得分的输出。为此，一个特征是可以在采集到偏差之后保存定义的延时时间段，在此之后在最高优先顺序的纠正输出延时时间段内执行动作过程纠正450的输出。

一个特征是，治疗医生可以通过对患者管理模块进行设置，影响动作过程纠正，比如用于动作过程分级的决策矩阵图770，这时对特定姿势/指令进行优先顺序分级，必要时忽略其他姿势/指令，这样可以适应动作过程纠正。这些信息可以与练习计划一起向服务机器人17传输，之后放到动作训练模块2011中。可以与练习计划设置一起通过学习模块190中的建议功能学习这类设置，并向治疗医生提出建议，另一个特征是也可以通过服务机器人17自动进行，如下所述。

用于改进患者管理模块建议算法的模型，尤其是在练习计划和落实建议方面

如上所述，治疗医生可以在查看完服务机器人17与患者一起执行的动作训练评估结果之后修改患者的练习计划，以改善治疗效果。一个特征是，图3所示的系统可以向治疗医生建议以过去的数据为基础调整练习计划。这样如果患者在两点步态时在过程中出现了过多的错误，速度过慢，手术后的腿部负担过大等，则可以向后切换这时完成的规则或建议，从双点步态切换为三点步态。替代性和/或补充性特征是，服务机器人17甚至自动进行这些以过去作为基础的练习计划调整。系统这一能力的基础是图10中展示的自学系统。这套自学系统可以反复提高治疗效果质量，这主要以两种方式实现：a)采集之前尚未说明的情况，因为它们偶尔出现，以及b)提高情况数量。两者可以更准确地在机器学习模块和/或神经元网络中确定神经节权重，改善服务机器人17的治疗效果。

患者管理模块160拥有向治疗医生1330提供治疗建议的功能。第一阶段中，患者管理模块160获得有关患者的数据，或者由治疗医生和/或通过与外部系统(比如医院信息系统(KIS)/患者数据管理系统170)输入。这时，将采集对治疗设计有影响的因素，比如涉及患者一般移动性或灵活性的因素(自理程度，四肢中风，需要使用的辅助工具)1310，共病症(心衰竭、心肌梗塞、眩晕、糖尿病、有高度跌倒危险的疾病，比如帕金森病)1315，但主要基于完成练习(比如进行右侧髋部TEP，与关节炎有关)1320。并且，一个特征是也可以采集手术方式(直接从腹侧前方进入，从侧面进入髋部等)1325，其在不同程度上影响手术时的肌肉系统，因此也可能需要不同的术后治疗。正常情况下，治疗医生1330为每位患者规定练习计划1335。

规则存储器152中标明了与此相关的标准练习计划1335，通过接口(出于简化的原因未在图10中展示)传输到患者管理模块160中，在一个规格版本中向治疗医生1330建议它们，在另一个规格版本中自动选择它们。并且，将相应地考虑灵活性1305、手术位置1320(比如膝盖、髋部)和/或手术方式1325，即根据这些参数有不同特点的练习计划，它们在一个规格版本中也可以为诊所专用，这时比如通过患者管理模块160配置为这种练习计划。传输至图5中的GUI可能是已经为治疗医生1330显示了选项预选，比如从术后第二天起三点步态1345，从术后第4天起从三点步态过渡为两点步态1340，在述后三点放行上台阶1350，以及在每天两次练习时最大路程为300m。练习计划的配置1355是开始日期、练习时长、路程、练习频率、练习强度等的一项功能。治疗医生定义、已经预定义好和/或通过规则集150自动规定的所有参数为练习计划1335。

一个特征是将该练习计划1335与患者数据，比如身高和共病症、手术方式(OP)等一起通过接口1360传输至服务机器人17，保存在存储器1405中。服务机器人17如图7所示，执行步态训练，必要时自动调整练习计划1335。之后在服务机器人17中通过观察身高对练习进行评估2013(步态训练)，在图11的GUI图示中展示它们，在模块中可用于评估练习2013。通过接口1360向云中传输这些数据，它们之后流入学习模块190。作为替代和/或补充，由服务机器人17采集的数据尚未按图11所示在练习计划评估方面经过整理，“而是只向患者管理模块160和/或规则集150传输原始数据(比如测得的步长)，之后进行评估，并按照图11所示整理数据(之后在规则集150中整理时将它们传输至患者管理模块160)。然后，可能会在那里将测得的偏差步长设为与正常的(生理)步长呈一定比例。根据具体特征，在一种或两情况下也可以通过接口1360重新向服务机器人17传输以这些方式整理的数据。

评估1406范围内(图11)将显示每天的训练持续多长时间，路程有多长，患者的速度是多少，这时同样确定每天的进度。另外，还将显示与生理动作过程出现了哪些具体的偏差，尤其是在关键参数方面，其中包括由服务机器人17确定的支架使用过程、站立持续时间、非重力腿阶段、上半身/观察、步长和/或跨距。还分别展示治疗进度，以及一个特征是展示在此期间执行了哪些纠正措施。另外，一个特征是治疗医生1330可以获得有关由其执行的单项治疗的提示，这样可以有目标地查明与所需动作过程的各项偏差，或者应专门检查这一过程。

为了能对治疗医生1330给出有关练习计划调整的建议，或者为了能进行自动练习计划调整，在时间1406内向学习模块190的云中传输步态训练评估数据。如上所述，传输的这些数据也包括由服务机器人17进行的动作过程纠正输出450或者与此关联的动作过程偏差。这些数据保存在学习模块190的学习模块存储器192中，并且只要存在便将为其补充来自之前练习的历史数据1505，这时这些历史数据1505可以且应该同样来自于超过一位患者和超过一位治疗医生。该数据库中也纳入了练习前定义的练习计划1335以及由治疗医生或之前创建的有关练习计划调整1515的规则进行的计划调整。

通过机器学习模型和/或神经元网络确定神经元网络中神经节和/或练习计划调整1510的学习模型的权重。并且，将由服务机器人17在必要时与规则集150和/或患者管理模块160搭配进行的在时间1406内对第一时间点t动作训练进行的评估结果以及比如患者年龄、身高、体重、共病症、手术类型等(1310-1325)患者数据作为输入变量，将在之后时间点t+1或t进行练习的练习计划的设置作为输出变量。如果一次性确定了这类神经节权重，则可以基于由服务机器人17(必要时与规则集150和/或患者管理模块160搭配)确定的动作训练评估结果，预测出可能或者应该进行了哪些治疗设置，这时这些设置既可能是练习计划调整，也可能是已经定义的保留默认设置的练习计划。最终也可以定义默认设置。

下一步将确定的神经节权重传输至控制装置150，在其中更新前面确定的神经节权重。然后，可基于神经节权重在下一步更新由神经节权重引导出的规则(比如在有某一天的特这下速度时以及在考虑其他参数情况下，延长训练时长)。

接着，将在第1535步向患者管理模块160传输练习计划调整1530的这些规则，这时有步骤使用规则1530，即基于可能为诊所或治疗医生专用的默认练习计划，基于由服务机器人17确定的练习结果以及练习进度和患者的参数，比如患者年龄、身高、体重、灵活性、操作类型等，为治疗医生提供有关治疗和/或治疗调整的建议，治疗医生可以确认、拒绝或修改这些建议。另外，一个特征是，也可以直接向服务机器人17传输这些规则1530，这样该服务机器人17可以自主调整练习计划。

图10中描述的系统可以在每次练习结束之后重新计算神经节权重，或者仅以特定周期重新进行计算，这时暂时保存与重新确定神经节权重有关的数据。将在不重新计算神经节权重的情况下返回保存在规则集150中的规定或者保存在服务机器人相应模块(比如2012)中的规则。这样，还可以在患者管理模块中自动调整练习计划2012，即有关调整计划的建议1535不作为建议落实，而是直接自动调整计划，它不需要治疗医生干涉。

改进动作过程评估和动作过程纠正

第一阶段中动作过程评估模块2052中的动作过程评估以及第二阶段中动作纠正模块2022中的动作过程纠正(在服务机器人17中完成)主要决定识别以及之后纠正动作过程中错误的质量。动作过程评估和动作过程纠正一起对治疗效果起到重要作用。可持续改进在这时完成的算法，如下所述。并且，改进主要以两种方式实现：a)采集之前尚未说明的情况，因为它们偶尔出现，以及b)提高落腿次数。采集目前未说明的情况和提高情况数量可以实现精确评估，在通过机器学习和/或神经元网络评估时也可以精确确定神经节权重。

图12描述了其背后的系统和过程。服务机器人17在第一步与患者一起进行动作训练。在动作过程获取模块2051中获取动作过程的特性，在动作纠正模块2022中输出动作过程纠正450，其特点是特性获取720、特性分级765、动作过程分级770、动作过程纠正比如决策分级775等流程和输出动作过程纠正450。

为执行这一过程，服务机器人17在这时采集有关人(即患者)动作过程的数据和/或在1535a步保存采集到的数据。采集到的数据包括采集到的动作过程参数，比如患者进行过的动作，其中包括进行过的动作过程分级770、进行过的特性分级765和/或进行过的决策分级775和/或进行过的动作过程纠正450的输出，和/或记录患者动作、来自RGB-2D摄像头2084和/或RGB-D-3D摄像头2085的视频序列1425。一种规格的动作过程参数也包括动作过程分级770和特性分级765。通过接口1360向学习模块190传输这些数据并在那里保存1535a。

以前一直将视频数据和视频序列匿名化处理(未在图12中展示)，将面部特征像素化，这样在查看视频时无法识别出人的身份。现有技术状态下这类解决方案已知被用于将人脸或车牌等自动模糊化(像素化或者涂黑)，并且作为3DIS GmbH或者监护人项目的产品解决方案使用。

治疗医生可通过一台终端对其进行访问，查看并采集记录的视频数据和动作过程的不同特性。例如，治疗医生注意诸如步长、跨距和/或上身姿势之类的人员相关参数，其中也包括患者肩部区域。治疗医生将个人相关参数(步长、跨距、姿势等)与相应视频序列一起输入到动作过程评估模块2052中，为这些信息设置所谓的标签1535b，即治疗医生标记记录的动作过程，在生理上对动作过程进行不同区分，以便在动作过程评估模块2052中进行动作过程评估。这时，治疗医生对正常＝生理步长、跨距和姿势与因患病产生的＝不同的参数进行区分。这时由治疗医生进行的贴标签是一种动作过程和/或特性分级。进行完初步采集和贴标签之后，在第1540和1542步继续重新评估动作过程和/或特性分级，必要时也重新评估决策分级1545，它实际上等同于调整图9决策矩阵图中的规则。

该调整也可能引起手动调整动作过程分级1570、特性分级1572和/或决策分级1575的规则。这比如意味着在特定动作过程分级中(即比如UAGS、双腿、躯干等的评估组合)重新定义或者规定动作过程纠正(基于语音合成输出指令和/或在显示屏上显示)，和/或在特性分级中(比如步长)必须调整阈值。最终向规则集150传输这些规定调整，在其中更新动作过程评估1590、特性分级1592和/或决策分级1595的规则。向动作过程获取模块2051传输规则集150的这些更新(通过接口，未显示)，以获取动作过程的特性，或者向服务机器人17的动作纠正模块2022传输，这样可更新特性分级765、动作过程分级770和决策分级775以及必要时的动作过程纠正450输出过程链。一个特征是，重新评估动作过程也可能导致同样必须调整动作过程获取模块2051中动作过程的特性获取。

作为替代和/或补充，可以重新评估动作过程1540和/或重新评估决策分级1545。图13展示了该过程，在其中训练一个模型，之后用于评估动作过程和动作过程纠正。服务机器人17与患者一起进行动作训练。在动作过程获取模块2051中获取动作过程特性，通过动作纠正模块2022发出练习指令/进行纠正。服务机器人17这时将采集数据，和/或在第1410步保存采集到的这些数据。其中包括动作过程参数，即患者进行过的动作，一个特征是进行过的动作过程分级770、特性分级765和/或由其进行的决策分级775。另外也包括对显示的动作训练的评估(如图11所示)1406。通过接口1360向学习模块190传输这些动作训练评估并在那里保存1535a。一个特征是，在数据库中进行保存，这时为已存在的、由服务机器人17记录的历史数据补充在动作过程分级1550和特性获取1552中存在的数据，和/或补充新保存数据的决策分级1555模块的历史数据。

如图11所示，通过将时间1406内的动作训练评估包括在内，可以在学习模型或神经元网络中确定动作过程分级1560、特性分级1562和/或决策分级1565的神经节权重。为此与在调整练习计划时确定神经节权重类似，可以使用机器学习算法，比如聚类分析方法、支持向量机，以及回归法和/或神经元网络，比如卷积神经网络。这时对动作训练的评估，比如经过的行程、站立持续时间、非重力腿阶段等，作为直接值，和/或经过计算之后作为与前期相比的改进作为输出变量使用。

确定的动作过程特性，其中一个特征是，包括进行过的动作过程分级770和/或特性分级765和/或决策分级775和/或输出动作过程纠正450以及患者个人相关参数，如患者年龄、身高、体重、灵活性、手术类型等(未在图13中展示)作为输入变量使用。作为该过程的结果生成新神经节权重，并传输至规则集150，它们导致在动作过程分级1580、特性分级1582和/或决策分级1585侧更新神经节的权重。更新神经节权重又导致更新动作过程分级1590、特性分级1592和/或决策分级1595的规则。向动作过程获取模块2051传输规则集150的这些更新(通过接口，未显示)，以获取动作过程的特性，或者向服务机器人17的动作纠正模块2022传输。

通过机器学习和/或神经元网络可以实现两种描述的神经节权重确定方法，这样比如只进行显示治疗进度实际效果的动作过程纠正。这可能导致由服务机器人17进行少量纠正，可能导致节省能耗和服务机器人17的处理时间。通过查看动作过程的特性，可以在需要识别的特性少量一方面缩短识别时间，另一方面减少与计算有关的能耗。另外，与由治疗医生以视频为基础贴标签相反，在服务机器人和云之间传输数据时使用的带宽更低。

一个特征是，重新评估动作过程也可能导致必须调在整动作过程获取模块2051中获取特性720，以调整动作过程的特性获取。

一个特征是，也可以将手动改进动作过程评估和手动改进动作过程纠正的方法以及以机器学习和/或神经元网络方案为基础的方法相结合。

应用实例

实例1：识别和评估三点步态

由服务机器人17评估三点步态，尤其是评估动作过程，首先与某些定义有关。一个人的步长被定义为应用实例之间的欧氏几何距离，即在步态循环中由骨架模型识别到的足骨架点1950。一个步态循环包括每条腿的摆动阶段和站立阶段。摆动阶段始于脚抬离地面，并且只要足部在空中和腿向前移动都将一直持续。一旦足部，尤其是脚跟，接触到地面(最初接触)，即站立阶段起计。腿的站立阶段被定义为足部着地的这段时间，它同样由骨架模型得出，骨架模型也可以识别出与地面相符的平面。步态循环期间，左右腿分别得出始终与在结束其摆动阶段之后最初接触地面的腿有关的步长。与步长相反，跨距被定义为两个脚跟中心之间的距离，其范围为5-13cm，同样可通过额状面内识别到的足关节的距离1950确定。

如上所述，在第725步将患者关节的位置作为骨架点输出到空间内的骨架模型中。虽然在该实例中使用的骨架模型中的Kinect 2未显示身体部分的姿势，但可通过连接Kinect识别到的并排放置的骨架点模拟这些姿势，这在获取特性720过程中在第735步落实。

图19示出了该建模过程。其还以举例方式将识别到的骨架点显示为实心圆。通过数学运算计算识别到的骨架点之间的方向矢量，比如通过创建并排布置的骨架点3D坐标之间的矢量。图19中将其绘制为并排布置的骨架点之间的虚线箭头。这样，如图19a)所示，膝骨架点1930的角度α可通过两个方向矢量1910和1920定义，它们与大腿和小腿的走向相符。这时将计算从膝骨架点到髋骨架点的第一方向矢量1910以及从膝骨架点到踝骨架点(或者足关节骨架点)的第二方向矢量1920，即通过确定膝骨架点1930和髋骨架点1940之间，或者髋骨架点1940和踝骨架点1960之间的连接线进行计算。比如也可以对胳膊进行模拟计算。图19a)中展示了注明的角度α或膝盖弯曲。比如可以在重力腿阶段中确定，即在从脚跟第一次接触地面到过渡为由另一条腿承重方向的阶段内，在观察的腿上同时开始所谓的非重力腿阶段。

为获得两个髋关节的弯曲和伸展值，使用相应的肩和膝盖点。这时通过两个方向矢量确定角度，其中一个为从髋骨架点1940到膝骨架点1930，另一个从髋骨架点1940到肩骨架点1960(分别位于相应侧上，即右侧髋骨架点1940r与右侧肩骨架点1960r相对应)。如果腿从铅垂线向前定位，称之为弯曲，尤其称为髋弯曲，即一般通过方向矢量1910(在相反的定向中显示)定义弯曲角度，条件是腿越过铅垂线位于行走方向中，方向矢量位于髋骨架点1940和肩骨架点1960之间(参见图19b)，角度为β₁)。相反，伸展被定义为向后定向腿，即通过肩骨架点1960方向矢量和髋骨架点1940及膝骨架点1930之间的方向矢量1910(在相反的定向中显示)定义伸展角度，条件是腿越过铅垂线位于行走方向中(参见图19c)，角度为β₁)。一个特征是，可以在两侧确定角度。

髋部的弯曲和伸展角度又比如受到上身前倾的影响，这对动作过程有影响。因此另外会记录前倾角度，它由从中心髋骨架点1940到中心肩骨架点1960和穿过中心髋骨架点1940的铅垂线的方向矢量乘以倾角γ得出(参见图19d)。

在矢状面中进行这些计算，但也在额状面中以类似的形式执行，在图19e)中以侧向上身倾斜为例进行展示。这时使用与铅锤线平行的方向矢量以及与脊柱平行的方向矢量，在其之间夹有一个侧面倾角ε。

也可以选择进行计算，它们涉及余角、补角和/或邻角，和/或为确定膝盖、髋部或其他肢体部分的伸展和/或弯曲，将铅垂线包括在内。图19f)和g)展示了其示例，其中可通过g)中的髋部伸展角δ₁识别髋关节扩展，通过f)中的髋弯曲角γ₂识别出弯曲。与之相补充，可将该角度与上肢倾角γ组合使用，以达到角度β。

图19h)展示了骨架模型示例，其中展示了UAGS 1970的端点1970，比如在用于确定与足骨架点1950的位置上参考它。UAGS以虚线表示1980，因为它们在OpenPose等架构中不是骨架模型的组成部分。

图14按时间过程显示了患者右侧的其他评估。绘制的曲线显示右侧髋部有TEP(全内置假体)的患者在23s内的髋部(中心)以及膝盖弯曲(下方)。左侧膝盖的弯曲更为显著(即这里有更强的振幅偏差)，其原因是术后动作过程不对称，这另外表现为非手术侧的步长更大。

服务机器人17陪同进行的步态训练在手术不久后进行，患者在这时必须按照之前的说明首先完成三点步态，然后完成两点步态。三点步态和两点步态包括使用下臂行走支架(UAGS)，以减少手术后关节的负担。在患者开始基于机器人的步态训练之前，治疗医生会指导患者使用服务机器人17。另外，治疗医生必须向患者说明在坐入和起立、在某个地点转弯和开门时处理UAGS的方法以及三点步态期间支架放置的流程。之后治疗医生放行使用服务机器人17进行训练。一旦治疗医生通过患者管理模块获得服务机器人17可以切换为两点步态的反馈，治疗医生就会向患者首次展示支架放置的正确流程，并在“放行”该行走方式前检查服务机器人17的建议。

因此必须同样识别到UAGS。服务机器人17为此使用来自Kinect2 3D传感器的深度数据。在第一步710中将深度图像转换为散点图，为此使用当前技术状态下描述的散点图库。在下一步745中，基于患者的骨架模型将这些散点图分段为更小的散点图。这时需要利用UAGS必须靠近下臂和双手以及与双腿略为平行的猜测，即按照候选区域进行选择。这样可有效地利用标准分段算法和匹配算法，这样可以在第755步靠近下臂/双手/双腿评估更小的散点图。这时也可以在第750步进行特定的模型假设，它考虑UAGS的形状，即在分段算法或者在生成3D数据时考虑UAGS与患者的四肢成比例，相对较薄。比如可以使用RANSAC架构以高精度和高稳定性实时(30fps)对相应的散点图分段。作为替代和/或补充，也可以使用通过记录UAGS，比如根据不同透视创建的分级规则，以及可以在图像上识别UAGS的规则。

以识别到的UAGS为基础，可以与骨架模型按比例继续评估识别到的UAGS，为此在第770步使用动作过程分级。这时主要根据确定的UAGS位置评估双脚位置。如果是一个正确的三点步态动作过程，则患者将手术侧的腿同时与两个UAGS一起向前迈，这样可以最佳地释放手术手关节的压力。UAGS在整个站立阶段释放手术手腿的压力，过渡时才会重新进入摆动阶段。由于UAGS这时很大程度上与手术手腿同步执行动作，因此要定义两个UAGS端点1970之间的直线，并评估足部点与该直线的距离。一种替代性或者补充性特征是，可确定患者的动作方向，即定向其矢状面，这比如可通过双臂、双腿的动作方向和/或背部和/或肩部的定向实现。作为替代和/或补充，将在定义的时间段内跟踪患者，并根据时间过程内对患者的评估得出定向。下一步可以与患者的动作方向或定向正交确定一条线，它穿过UAGS分布，针对它评估脚点的距离。这样，便可通过对距离分布情况的统计评估识别出三点步态时的典型错误，比如提前或延后让UAGS落地以及释放错误大腿的压力。与布置的行走方式有偏差或者不规则/不正确的过程可通过与患者身体的相对UAGS位置评估识别出来。根据上述三点步态定义，两个UAGS在正确动作过程中与患者的矢状面高度相同。然后，可将该位置下超出相应阈值的偏差识别为过程中的错误。

图15示出了整段时间内的支架使用情况。在上面的时间分布图中显示支架高于地面的高度(左侧支架：平均更高的振幅，即实线；右侧支架：平均更小的振幅，即虚线)。这些信息，尤其是接触地面，用于评估支架与脚踝的距离，如下方的时间分布图所示。这时为此在时间过程中展示将手术后的腿向前放到UAGS之间所谓(不可见/想象的)连接线高度上。曲线的曲线分布是最小值接近上方曲线的最小值(即在垂直虚线上)。因此根据图15中展示的实例可以排除非期望的支架放置流程。该患者首先放置支架，之后放上手术手的腿，再放上健康的腿。输出动作过程纠正450现在通知患者应将UAGS尽可能与手术后的腿同时向前放。这样，患者的动作过程会更加顺畅，需要取下的次数更少。从该时间分布曲线中可以推导出其他参数。其包含了导致不同步长的“支架落地得过短/过宽”，和导致在手术后的腿中出现非预期高负担的“支架过晚”(手术大腿的足部落地时间比UAGS早)。

除在第760步获取特性以外，服务机器人17必须将偏差动作过程特性与生理动作过程特性进行区分。必须在患者在服务机器人17后方移动时实时执行这一分级。由理疗师进行步长、站立持续时间、步宽、躯干弯曲或者关节偏转/在典型生理区域内动作的分级。为此，通过Kinect设备和2D摄像头2084记录健康人和身体受伤人员的动作，通过利用贴标签时以及记录中的时间戳将人的各项动作贴标签，Kinect设备记录时也是如此。这时，既将包含动作错误的特性，也将正确动作过程贴标签。时间戳用于同步贴标签的数据和3D摄像头的3D拍摄。

由于动作特性的生理偏差可能有不同的平面，因此基于阈值绝对值偏差的评估不是特别有效。更为有效的是评估一个步态循环内两条腿动作的相似性(即双步)。这时，通过有及没有假肢的腿之间步长、站立持续时间、跨步角度的比例确定相似性。图16展示了右侧髋部有假肢患者术后数天四个步态循环内的站立持续时间顺序。垂直线的宽度相应地说明一条腿的站立持续时间，这时手术侧的周期更窄(右侧站立持续时间)。因此，图16的患者右侧手术后的腿较健康腿部负担时间更短，目的是最大程度减少疼痛感。另外不同的步长请参考图表。根据脚踝之间的距离(矢状面)确定显示的曲线。在脚踝在同一高度上的那一刻数值最小。向前迈的腿的脚踝与站立腿脚踝之间达到最大距离时数值最大。从图表中可以看出，左侧未手术的腿与右腿相比，步幅明显更短。同样大的步幅是逐步提高手术腿的负担和获得顺畅动作过程的最佳方式。两条腿步长和站立持续时间之间的比例可视为将患者的行走描述为符合生理特征或者存在念头的恰当手段，这时分级为“偏差”会导致输出动作过程修整450。

为区分生理和偏差动作过程，需要评估F1得分，它可以区分两个等级(错误/偏差对比正确的执行动作)，可为不同阈值计算该得分。F1得分一般被定义为

F＝2*(精确率*召回率)/(精确率+召回率)。

最佳的阈值相当于最高F1得分。图17以直方图展示了偏差和生理步长对称的分布，其中第一个步长对称显示错误等级，最后一个步长对称显示非错误等级。0.0对称表示左右腿完美对称，其中±1.0的对称表示一条腿具有较另一条腿超过双倍的步长。通过评估F1得分可找到最恰当区分两个等级的阈值。这时-0.17的最佳对称阈值(精确率：0.85，召回率：0.87)表示小于0.17的步长被分级为与正常动作过程的偏差，这样服务机器人17可以开始纠正。

在图22中汇总显示对三点步态的评估。在第1805步首先使用有关受保护腿(手术侧)的信息(比如在图5的说明中提供这些信息)。获取特性720过程中，在1810步作为空间-时间参数记录骨架点和/或UAGS之间的方向矢量。在第1815步记录接触地面时足骨架点1950的位置。以此为基础通过计算额状面1825中足骨架点1950的距离确定跨距。在特性分级765过程中在第1865步评估跨距，即确定足骨架点1950之间的距离。

另外作为结果记录在第1815步接触地面时足骨架点1950的位置，或者在第1830步确定步长(即在依次接触地面时在矢状面中测得的足骨架点1950的距离)，并在特性分级过程765过程中评估步态循环1870中的步长比例。另外作为第1815步的结果，通过测量时间记录步幅中的站立持续时间，并在第1875步评估。另外可在第1840步确定上身的倾斜，随后在特性分级765内在第1890步评估，比如同样记录髋和/或膝关节的弯曲和/或伸展1845，之后在特性分级765中进行评估1895。

另外在第1820步记录UAGS端点1970的位置。以此为基础，可在第1851步测量在额状面中接触地面时UAGS端点1970之间的距离，并在特性分级765中在第1884步评估接触地面时UAGS端点1970之间的距离(相当于UAGS距离)。这时，将确定比如UAGS相互分开的幅度有多大。作为替代和/或补充，可确定在接触地面时UAGS端点1970与矢状面和/或额状面1863中足关节端点1950之间的距离，之后评估在第1885步接触评估接触地面时UAGS端点1970与足骨架点1950之间的距离。这时，将确定与足骨架点1950相比，UAGS在矢状面和/或额状面中被定位得过于靠近身体还是过远。这时，可以考虑相应的阈值。额状面中超过阈值说明UAGS放置得过宽，低于阈值说明UAGS落地得过窄，在矢状面中超过阈值时说明UAGS落地得过于靠前。与此相补充，可以第1815和1820步为基础在第1880步评估UAGS和足骨架点1950的着地时间点(目的是评估在正确的时间迈手术后的腿，腿应尽可能在UAGS接触地面之后着地)。

这些特性评估人的动作过程，比如在通过UAGS行走时。探测三点步态时，在第1850步采集接触地面时UAGS点1970的位置，并确定UAGS地面接触点的位置是否与人的额状面平行1852。另外在第1854步确定释放了压力的腿或这条腿的脚是否在UAGS之间。这至少可通过两种替代性和/或补充性方式实现。一方面可在第1855步确定UAGS在地面上的位置，之后在第1857步确定受保护腿的足关节1950与连接线的距离。特性分级765时，可在第1887步评估该距离。另一方面，可以分别为UAGS端点1970形成与矢状面的垂线以及矢状面中与受保护腿足骨架点1950的垂线(第1860步)，之后在第1862步确定在矢状面中这些垂线的相互距离，之后在第1889步评估这些距离。

之后进行动作过程分级770，这时关联评估各项特性分级。在与定义的错误有关、保存在动作过程分级中的规则存在偏差时(比如为“支架落地得过于向前”错误分配的是UAGS落地得过于靠前，同时上身过于向前倾)，将以决策矩阵图(图9)为基础输出动作过程纠正450(或者提醒不能过于向前将UAGS落地)。

实例2：以机器学习/神经元网络为基础进行分级

所述流程中决定性地规定特性分级765和动作过程分级770，即以专家评估为基础定义。一个可选特征是，可以为此使用机器学习和/或神经元网络。如果使用支持向量机，提到的特性获取中的方向矢量可以形成从多个矢量空间中定义的等级(即特定矢量在等级中有一定的相似性，不相似的矢量则不同)。这样，有指定特点的特性显示一个通过矢量展开的空间。其在动作过程分级中的状态完全相同。其他方法，比如k-NN,K-Means、一般分簇或神经元网络功能类似。一个特征是，动作过程涉及步态过程。

实例3：识别动作状态和牵连表现的异常

服务机器人17的一个特征中，在用于评估动作过程的动作过程评估模块2052中，和/或在用于动作过程纠正的动作过程纠正模块2022中保存用于识别异常的规则。异常是指动作状态中与“通常”状态相比的偏差(即与生理行走状态存在偏差)。这可能意味着健康腿的步长为65cm，而手术后腿的步长仅为30cm。如果服务机器人17没有测得30cm的步长，而是仅测得10cm，又会与该“通常的偏差动作过程”存在偏差。作为替代和/或补充，也可以从各个骨架模型骨架点的曲线分布中记录一定时间内的异常，这时一定时间内振幅高度、最小值、最大值和/或换向点位置可以描述异常。用于评估动作过程的动作过程评估模块2052中进行这种识别，具体来说为此使用特性分级765和动作过程分级770。

如果识别到这些异常中的一项或多项，则在所述模块中保存的规则会触发事件。事件可能是首先通过无线接口向患者管理模块160传输服务机器人17的信息，该模块又可以比如通过治疗医生的移动设备可以接收的无线网络GSM,LTE,WLAN通知患者，以此向治疗医生通知事件。该信息可能包含以记录的方式反应异常的视频序列。一个特征是，该视频序列也可以在患者管理模块160中保存，确保治疗医生以其通知为基础通过移动设备访问保存在患者管理模块160中的视频序列。

替代性和/或补充特征是，可以为异常设计时间戳，并在学习模块190的存储器中与时间戳相对应保存一条向学习模块190中传输的视频序列包含异常的信息。在治疗医生通过它可以对向学习模块190传输的视频序列贴标签的GUI中，可以为包含异常的序列设置更高的优先顺序，这时比如在数据库内规定优先顺序。以这种方式可以实现高效贴标签，以继续改进动作过程评估和动作过程纠正的算法。一个特征是，它在采集、分级、评估和/或纠正过的动作中涉及步态过程。

实例4：人员身份识别、虚拟人员跟踪和重新识别人员身份

可通过骨架模型识别，比如2D和3D摄像头等评估架构和/或OpenPose,OpenCV等架构，可在人员身份识别模块2041中实现人员身份识别。同步可实现骨架模型识别和RGB拍摄的传感器的记录可以将被跟踪人员的身体区域与来自人员衣服的颜色和/或颜色图案和/或纹理对应起来。以每个身体区域的颜色或颜色图案参数和/或患者的身高参数(身高、臂长、腿长)可以在时间过程中跟踪并重新识别人员。作为替代和/或补充，也可以使用动作过程模型，比如步态过程模型。这时可访问OpenPTrack等工具。

作为补充和/或替代，也可以使用人脸识别。

在另一个特征中，可以使用用于识别、跟踪和重新识别人员身份的标记。为识别患者，可以将标记定位在助步器上。这些标记可以是以颜色为基础的模型或者有特这下频率的光源。这样，一个特征是，患者穿一件马甲，在其表面上印有服务机器人17可以看到的条型码。RGB-2D摄像头2084通过该条型码可以识别患者身份。另一个可选特征是，可以相应地为患者分配有关条型码的信息，即保存在患者管理系统160或者存储介质或权限卡中。

实例5：以多项逻辑回归为基础调整练习计划

比如为机器学习方案展示了一套多项逻辑回归。一种这类评估模型可以基于一系列输入变量评估不必直接关联的不同输出变量的可能性。这样，可作为输出变量同时评估在图5中通过GUI得出的练习计划的选项，比如三点步态、10分钟的持续时间和100m的行程。作为输入变量比如可以考虑之前由服务机器人17确定的练习计划的相关选项，但也包括患者的共病症，比如一般动作限制、精神能力损害、其身高、进行过的手术的类型等(可能影响不同的肌肉组，因此在术后阶段表现出不同程度的损害)。

在多项逻辑回归过程中使用线性预测函数，它通过一套线性组合神经节权重确定一个得分，再乘以作为点积的输入变量：得分(X_i，k)＝β_k·X_i，其中X_i是观察i的输入变量，β_k是考虑相应输出变量k的权重矢量或者回归系数。得分又可以直接转换为可能性值，这样输入变量的观察i产生相应的输出变量k。输入变量也称为独立变量，输出变量也称为相关变量。

这时手术类型、身体状态、手术后的时长、经过的行程、行走方式可以作为独立变量使用，它们分别有不同的特点。治疗医生可以在练习计划中进行的设置或组合设置可作为相关变量使用，这时它们同样有不同的特点。具体来说，患者可以在正常身体状态下，作为手术程序从外侧进入髋部执行了左侧髋部TEP，在术后三天由服务机器人17确定在三点步态过程中在5分钟内经过了250m的行程(这是输入变量的特点)，治疗医生可以在这方面对练习计划进行调整，使患者在下次练习时同样行走10分钟，同时保留三点步态(这是输出变量的特点)。以各个变量的特点为基础，可评估多项逻辑模型。以在该模型形成阶段中确定的回归系数(各个输入变量的权重，比如身体状态、髋部入口、述后时长、行程、练习时长、三点步态)为基础，可以在采集(尤其是由其他患者)其他练习时用于为治疗医生提供他应进行哪项练习计划配置的建议。如果治疗医生进行了多次上述设置，则在有输入变量的上述特点时，这意味着进行这些设置是合理的，换句话说，这表现为神经节权重的显著值。为了能为治疗医生准确提供上述措施建议，即在正常身体条件下，作为手术程序从外侧进入髋部执行了左侧髋部TEP，在术后三天由服务机器人确定在三点步态过程中在5分钟内经过了250m的行程，之后治疗医生需要进行三点步态时的10分钟步态持续时间设置。在图5的GUI中显示该建议，或者通过彩色突出显示(没有示出)。由于它属于一种统计模型，即得分只说明在具备输入变量的特定特点之后治疗医生对练习计划进行修改的可能性，因此阈值保存在规则集150中，它在三点步态和10分钟步态持续时间措施组合可靠性超过80％时同样向治疗医生提出建议。

确定神经节权重的替代性或补充性方法是朴素贝叶斯法、决策树或者神经元网络，比如长短期记忆循环神经网络。

实例6：信号提示有练习需求

可通过患者使用的移动终端设备向患者管理模块160和/或服务机器人17传输该信号，该模块又可以向服务机器人17无线发送相关说明。作为替代，在一个特征也可以使用室内呼叫系统，它在诊所中属于标配，或者使用固定安装的终端，它与患者管理模块160和/或服务机器人17通信。首先也可以将这类练习需求输入到数据库中，它拥有一套计划练习顺序的机制。这样可以保存与此相关的规则，它们比如为特定的患者提供优先权。

实例7：绘图/测绘

如果服务机器人17首次进入一个区域，比如诊所大楼工作，则服务机器人17会通过2D/3D识别子模块和测绘模块2061将其周围环境绘图。为此将巡查所有空间，通过2D和/或3D传感器采集环境数据。这时，所考虑的传感器至少是LIDAR 2083、RGB-D 3-D摄像头2085、RGB-2-D摄像头2084和/或超声波和/或雷达传感器。也可以使用这些传感器的组合。(2D)RGB摄像头2084在这时仅起到评估颜色的辅助作用。在测绘模块2061中保存服务机器人17允许向哪些区域中移动，以及出于什么目的的规则。这比如包括服务机器人17不允许在其中移动的区域，以及允许它经过，允许它在其中完成训练，比如动作训练的区域。

一个特征是，2D/3D识别模块和测绘模块2061拥有一个与动作训练模块2011相连的接口，用于交换定位数据。这样在动作训练模块2011中可以保存一个空间号，分配给该空间号的信息保存在测绘模块2061中。这样服务机器人17可以识别服务机器人17与患者碰面的位置。

实例8：通过CAD数据丰富地图

一个特征是，服务机器人17从服务机器人17所在建筑物中拍摄的地图可通过建筑物的CAD数据丰富，通过接口使它们进入2D/3D采集和测绘模块2061。可选择使它们进入单独的通过接口与测绘模块2061相连的模块中。CAD数据在这时一方面是指2D或3D位置平面图，它们来自于规划建筑物时所使用的软件程序。但也可以使用图像数据(比如PNG,JPEG,PDF)，系统从中可以导出建筑条例的相应信息。考虑这些位置平面图可以为服务机器人17在识别通道和开门方面提供支持，通过在测绘模块2061中解析图纸符号可以相应地加备注。另外可使用位置平面图识别建筑物中的临时或者准固定式障碍物，它们不是建筑物的一部分，在一定时间内可能改变其位置或者完全消失。

实例9：通过电磁波绘图和自动定位。

一个特征是，服务机器人17为更好地在建筑物内导航也可以考虑电磁波，比如来自WLAN接入点的光和/或无线信号。为此可使用服务机器人17上的光电探测器，既在测绘过程中，也在建筑物内常规导航期间，采集光强(或者日间太阳照射)和/或光的入射角。使用绘制的光照校准采集到的光照时，可将白天时间和季节以及经纬度纳入考虑，这样便能照顾到太阳入射角的自然波动及其强度方面的因素。作为替代和/或补充，也可以一同采集建筑物内的人工光，既采集其光强又采集光谱。

作为替代和/或补充，通过WLAN模块2088可以识别清楚其在建筑物中位置、在服务机器人17的地图中加了备注的多台路由器的WLAN信号。通过三角测量可以在建筑物内更准确地确定位置。在采集光入射时，将采集并保存空间内服务机器人17的速度、经过的行程、方位，并与保存的数值进行比较。这些在本实例中说明的方法可以与本文件中所述的其他方法组合。

实例10：通过里程表和患者跟踪对患者经过的行程进行测量

一个特征是，借助里程表模块2081以及光学传感器，如LIDAR 2083和/或3D摄像头确定患者经过的行程。这时至少一个光学传感器采集患者在动作训练过程中与服务机器人17的相对位置，又通过里程表模块2081确定机器人的路径。根据具体特征，机器人可有拥有磁体传感器，它们确定脚轮6的圈数，通过半径计算出经过的行程。可通过与恰当的惯性传感机构，比如加速度传感器组合，可以纠正因滑差产生的误差。在使用将其数据作为骨架模型评估的传感器采集患者时，由服务机器人17在人员身份识别模块2041中识别出身份并借助人员跟踪模块2043或者3D人员跟踪模块2046跟踪的患者位置的基础可以是采集到的双腿之间的中心点(如果通过LIDAR 2083采集)和/或采集到的髋关节、脊柱、足关节1950等之间的中心点。通过观察足关节1950又可以参考与LIDAR类似的方案。相对于患者的行程确定患者经过的行程。

一个特征是，只能从骨架模型中不充分地获取足骨架点1950的位置，即以与其他骨架点相比较高的不清晰度采集位置。但为了提高采集精度，如图21所示，作为替代和/或补充，可通过膝骨架点1930、从膝骨架点与小腿平行定位的方向矢量以及在方向矢量穿过铅垂线时膝骨架点1930高于地面的高度确定足骨架点1950(图21a)，这时方向矢量穿过铅垂线时膝骨架点1930高于地面的高度说明从膝骨架点1930观察足骨架点1950的距离(参见图21b)。为确定与小腿平行的方向矢量，一个特征是，另外或者与之相补充，可以参考用于探测UAGS的分段法，以便与骨架模型组合作为小腿探测采集到的散点图。

实例11：通过累加采集到的步长测量患者经过的行程

在一个特征通过累加步长确定患者经过的行程，在动作训练过程中采集这些步长。其基础是通过3D摄像头，比如Microsoft Kinect或Astra Orbbec以及与之关联的评估架构识别踝关节的距离。作为替代和/或补充，也可以通过LIDAR确定双脚的位置。

实例12：通过坐标系测量患者经过的行程

一个特征是，通过累加患者经过的坐标点之间的欧氏几何距离确定患者经过的行程。服务机器人17事先在测绘模块2061中创建其环境的坐标系。服务机器人17通过自动定位2062确定其在空间内的位置，这时又为相应的坐标分配位置。光学传感器，比如LIDAR2083和/或2D摄像头2084或者3D摄像头在练习过程中采集患者数据，确定其与服务机器人17的相对位置。同样为该位置分配一个空间坐标。通过在时间过程中跟踪患者，确定一系列空间坐标。每个坐标点之间可确定个逐步累加的欧氏几何距离。使用将其数据作为骨架模型评估的传感器采集患者数据时，患者中心点的基础可以是采集到的双腿之间的中心点(如果通过LIDAR2083采集)和/或采集到的髋关节、脊柱等之间的中心点。也可以根据患者坐标确定患者在空间内的位置，不必考虑服务机器人的位置。

实例13：确定和输出仍要完成的行程

服务机器人17可将患者经过的行程与根据练习计划的行程进行比较，通过扬声器2092和语音合成2073为患者提供依据练习计划剩余需要完成的行程有多长的提示。作为替代和/或补充，也可以向显示屏2087上输出。

实例14：确定患者的速度

服务机器人17记录练习时间，同时记录经过的行程。服务机器人17以这种方式可以确定患者的速度，将其保存到动作评估模块2050中。可将患者的速度与之前保存的速度进行比较，进行差异计算，服务机器人17可以通过显示屏和/或扬声器2092以及语音合成2073提供患者与练习期间的历史值偏差有多大的提示。

实例15：患者领航

服务机器人17在自主练习期间在患者前面导航或者跟随患者。这两种情况下，一个特征是，通过革命性的算法使用动作规划模块2065评估患者的路径。这两种情况下，服务机器人17在练习区域内为患者提供导航。如果服务机器人17事先在其房间内接走患者，则首先在患者尚未完成练习的区域内进行导航，然后在到达有少量障碍物(包括其他正在移动的人)的练习区域。服务机器人17在这时通过扬声器2092或显示屏2087发出的声音和/或视频/光学提示为患者进行领航，一个特征是，也可以通过服务机器人17的信号灯进行提示。这时如果服务机器人17位于患者后方，则首先选择声音操作方式。将对患者进行跟踪，并在建筑物内校准患者的位置。在与规划的路线出现偏差时，服务机器人17发出方向纠正信号，提醒患者通过特定的行走转弯，必要时返回，前提是患者不应转弯。

实例16：动作规划器

为有效地计算由服务机器人17经过的行程，将同时在动作规划模块2065中进行的动作规划范围内优化不同的目的地。第一，服务机器人17在路径规划模块2064中计算出最佳的行程。如果其环境发生改变，尤其是之前计算出的路径发生改变，服务机器人17不会重新计算到达目的地的最佳行程，而是只为动态变化的路径上的区段重新进行计算。第二，如果服务机器人17直接移向目的地，则动态动作规划也考虑快要到达目的地时服务机器人17的定位。第三，将考虑服务机器人17在向后定向时较向前定向的运行速度更慢。第四，该优化同样考虑遵守与静态和动态障碍物的安全距离。第五，服务机器人17在这时考虑服务机器人17与被跟踪的人，在这时为患者，保持特定的距离。这些目标变量统一作为成本函数观察，各个目标变量显示为加权总和，以便对行程进行全局优化。这时采用当前技术状态下已知的动态窗口法(Fox et al 1997)。并且，一个特征是，为选择各个路径区段，也可以使用革命性的算法，它们优化各个路径区段的加速度。

通过该动作规划可以在考虑服务机器人17路径和患者动作方向情况下对摄像头进行调整，确保比如集中通过摄像头采集患者。为此可使用PID控制器，它使用最新技术状态下已知的“积分器夹持”(即影响结果的上下限)，并调整水平摄像头角度。作为替代和/或补充，也可以使用PID控制器确定的角度纠正骨架模型中的水平角度，这些角度因与正交摄像头透视相比受运行方向限制旋转服务机器人17而出现。

实例17：练习区域

练习的时候，首先经过在诊所中或者在其他区域中行走的特定行程，在空间平面图模块2060r将其保存为这类行程。并且，首先应选择有患者和/或服务机器人17必须避让的障碍物较少的区域。一个特征是，这些空间具备至少相当于服务机器人17宽度三倍的宽度。障碍物是指在患者和服务机器人17看来同样在该区域内移动的人，其中包括诊所工作人员、医护人员以及在诊所日常工作中会遇到的床、车、座位等。这类障碍物较少不仅能视健康状况而定令患者进行更顺畅、疼痛感更少的动作训练，还能通过服务机器人17更好地采集患者数据。执行的转变行驶更少，这样可以缩短行程，保护携带的蓄电池的存储电量。另外产生的各类人员在患者和服务机器人17之间不回移动的意外事件更少。这种情况又可能导致跟踪问题，但也可能导致服务机器人17错误地将其他人识别为患者的紧急情况。如果避免此类情况，便可减少必须使用重新识别身份模块2044执行重新识别人员身份的情况发生。

一个特征是，服务机器人17也可以自动通过在事先定义的区域内(或者诊所中)导航识别适合练习的子区域。为此它通过一定的时间流程，比如日和周流程，根据时间记录整个区域内障碍物的数量和类型、其尺寸(与走道宽度绝对和/或相对)、障碍物的密度。这些值保存在服务机器人17的存储器中，比如在空间平面图模块2060r中。这段时间内，既可以在服务机器人17“空运转”过程中(即不随患者同时进行动作训练)，也可以在随患者练习期间采集这些数据。可在服务机器人17内或者在向其传输数据的云中处理采集到的障碍物的数据。

如果现在需要随患者进行练习，服务机器人可以通过访问历史数据确定和/或预测，哪些区域在过去的练习期间(比如周五13:00-13:15)内有最低密度的障碍物。分簇法可包含确定密度。一个特征是，服务机器人17在此同样考虑经过的行程，之后根据密度作出路径选择决策。这时在通知了100m的路线长度时，服务机器人17可以选择来回各行走50m，或者服务机器人17以历史数据为基础，识别25m长的部分行程在过去的一定时间内有一定密度的障碍物(或者为最小密度，比如计算出的结果为最低90％，或者特于特定相对或绝对阈值的密度)。这时服务机器人17自动选择长度25m、患者应走4次的区域。

实例18：摄像头的布置以及与患者的距离

为最佳地采集患者的信息，安装有2D摄像头2084和/或3D摄像头，2D摄像头2084和/或3D摄像头尽可能在中心位置拍摄患者。因此考虑175-180cm的平均患者身高，摄像头可以安装在80-90cm高度上。

根据3D摄像头所使用的具体技术(Kinect上的ToF，Astra Orbbec上的Speckle传感器)，可得出与患者最佳距离的不同关联。一方面通过3D摄像头的角度确定该距离，从这个距离可以在最佳条件下采集患者的整个身体。Kinect的作用半径最多为4m，这样可以顺利地采集患者数据，即在该距离下也可以识别到其身体部分。如果应跟踪UAGS，其状态则不同，首先应使用采用Speckle技术的3D摄像头。Guidi等人在2016报告说，Kinect2较使用一系列Speckle摄像头获得的测量精度更高。如果使用市售的Astra Orbbec 3D摄像头，则3D摄像头的水平输出口为60°垂直输出口为50°，分辨率为640x480。因此在距3D摄像头2m时可以拍摄水平宽度约231cm的图片。如果3D摄像头安装在92cm的高度上，则采集的图片的最大高度约为184cm。这样无法采集身高更高人的数据。因此，一个特征是，可与患者相距更大的距离进行跟踪，根据使用的摄像头型号，这可能需要由UAGS识别负责。因此，是一个特征，为了采集UAGS，需要通过LIDAR 2083和/或超声波或雷达传感器进行UAGS身份识别和UAGS跟踪，为此相应地在时间上同步并组合至少一个摄像头系统、LIDAR 2083、超声波或雷达传感器的信号。一个特征是，摄像头和LIDAR 2083、超声波或雷达可组合使用，以采集和/或跟踪UAGS。

实例19：练习中断

如图18所示，患者可随时通过在第510步选择休息，中断练习计划。患者也可以选择在第515步取消练习。为此患者在第520中从服务机器人17上退出。如果患者忘记退出，或者患者因在定义的时间段内休息而未活动，则在第525步自动从系统上退出。为继续或者重启练习，需要在第530步重新登录系统。

实例20：治疗记录

系统使用患者管理模块160和服务机器人17记录治疗情况。文档本身可通过接口向诸如医院信息系统或者患者数据管理系统170之类的外部系统传输。文档一方面包括姓名、年龄、性别等个人信息、既往症(比如后期阶段髋部的关节炎)、进行过的治疗(髋部全内置假体)以及手术侧。这类信息主要保存在患者数据管理系统172的存储器中。在患者管理模块160本身内按照图4和5采集练习计划，以及比如通过图11得出的完成的练习的结果。这也包括练习计划中由治疗医生采取的或者由服务机器人17基于规定的和/或学习的规则进行的干涉。

实例21：通知治疗医生

一个特征是，通过借助接口与患者管理模块160相连的服务器向比如为治疗医生提供的手机传输数据。在评估动作过程时与阈值的偏差又可以作为这类通知的触发器，这些偏差比如可以是与“典型”偏差步长不同的步长，或者与生理动作过程和“典型”偏差动作过程不符的不同肢体的动作的组合。前一种情况下，只迈出生理步长10％的步长可能触发触发器事件。第二种情况下，20cm的步长、上身从铅垂线倾斜超过30°可能会触发触发器。此外，在练习计划中存在低于或超过特定阈值的偏差时，或者采用两点步态而非三点步态，治疗医生对此未放行，或者未根据患者数据和目前由服务机器人17采集的在数据库中有历史值的练习结果在该练习循环阶段中以超过定义阈值的频率进行两点步态，也可能触发触发器，一个特征是通过评估历史数据得出该阈值。练习循环在这时包括典型的练习计划要素次序，从患者完成的首次练习开始计算，直至最后一次练习。

实例22：基于云的语音识别

一个特征是，可通过基于云的第三方提供商的服务完成语音识别2074，服务机器人17可以通过API对这些服务进行无线访问。这时第一步采用比如Google Speech或AmazonTranscribe语音转文本API。第二步可通过诸如Amazon Comprehend之类API对生成的文本数据进行评估，也可以通过基于屏幕的菜单输入实现的指令将结果转换为服务机器人17的应答或指令。还可以通过各个API使用这些服务的组合。

实例23：云和服务机器人之间数据传输的匿名化

治疗医生可以为患者分配一个存储单元，比如一个权限卡，即治疗医生交给患者一张权限卡，在患者管理模块160中将该权限卡分配给患者。权限卡包含分配给患者或者其患者ID的患者ID和/或另一个标记ID。使用该权限卡或序列号和/或患者ID，可以自动在服务机器人17上识别患者身份。服务机器人17现在通过接口从云18中下载治疗医生保存的练习计划—但不包括其个人相关数据，然后通过患者ID进行对应。完成练习之后，服务机器人17将由服务机器人17在练习期间采集的数据加密之后加载到患者管理模块160中—通过患者ID进行对应。患者管理模块160中才对数据进行加密。如果采用这种方式，则不会传输包含会追溯到患者姓名或地址的数据。

另一个特征是，治疗医生向患者收到的存储介质(比如RFID标签形式的权限卡、U盘)传输练习计划，以便在服务机器人17上识别身份。这时，将从存储介质向服务机器人17传输数据，包括患者管理模块160规定的患者ID。完成练习之后，服务机器人17将采集到的练习数据重新传输至存储介质，这样治疗医生在读取存储介质时可以向患者管理模块160中传输数据。

也可以通过存储介质(或权限卡)组合上述方案或数据交换。

另一个特征是，可以通过登录和/或密码识别患者身份。它们作为患者ID使用或者与患者ID联系起来，这样服务机器人17使用这些信息可以从云中下载练习计划等其他数据。另一个特征是，可使用指纹扫描、人脸扫描或虹膜扫描等生物统计学特性识别患者身份。

实例24：通过2D/3D传感机构识别腿部负担

某些情况下，患者的一条腿只允许承受有限的负担。如果通过光学方式难以精确识别负担，通过某些骨架参数可以引导出可以识别腿部负担的提示。为此可追溯以下参数：a)行走时下下臂之间的角度，和/或b)小腿与大腿的角度和/或伸展和弯曲角度，和/或c)上身的姿势。以下情况下存在释放压力情况：i)下臂与上臂之间的角度小于170°，或者小于160°，ii)只能承受有限负担的腿的角度小于172°，iii)上身前倾角度小于5°，和/或iv)上身与相关侧的倾斜超过5°。特性i-iiii)的特点越显著，腿的释放压力程度越大。这时定义伸出的手臂角度为180°。人这时采用三点步态，在图22中对此详述。与其中所述的评估相补充，在手臂进行采集和评估，同时在特性分级765和动作过程分级770中对其他特性进行评估。

因此将对确定的姿势进行分级，并保存在规则集150中，在动作过程评估模块2052中进行动作过程评估过程中，即保存在规则集150中，也本地保存在服务机器人17中。如果出现保存在患者管理模块160中并且也可以找到练习计划输入端的负担限制，则持续由服务机器人17的处理器监控患者腿部负担—同时对其他姿势进行评估，如果腿部负担超过或低于特定阈值，患者会通过光学和/或声音方式获得说明。

实例25：通过外部传感器识别腿部负担

一个人的腿部负担多大，也可以通过外部传感机构确定，这些传感机构比如与服务机器人17无线耦合。矫形外科领域可找到一系列测量脚掌压力的产品。比如已知有放在患者鞋内、以不同空间分辨率测量鞋底上存在的压力的鞋垫。压力传感机构包括通过电容、电阻(比如基于应力测量带)、感应或压电压力传感器。通过电桥电路放大传感器信号，通过模数转换器处理信号，确保可以通过常规无线电标准，比如蓝牙、WLAN等传输。

服务机器人17另外还有一个软件单元，它可以累加时间过程内不同传感器的测量结果，以确定腿部总负担。持续(通过比较单元)与保存在练习计划中的负担参数比较这些分布值。如果发现超过或低于定义阈值的负担偏差，患者会通过光学和/或声音方式获得减轻或提高负担的说明。

实例26：患者的无线电定位

服务机器人17有至少一个无线电接口，比如蓝牙，它可以与周围环境中的IoT设备实现无线通信。这时UAGS拥有至少一个传感器，它通过该接口与服务机器人17无线相连。这时只通过识别其位置产生传感效果。这可通过有源或无源定位以及与之相关联的位置三角测量进行。无源定位是指回向散射最初由服务机器人17发射的无线信号，这时传感器没有自身的电源。当前技术状态下充分地描述了采用RFID技术的这类方法。有源定位是指有自身电源的发射器。服务机器人17采集其发射的信号，通过三角测量确定发射器的位置。如果患者和服务机器人17在有许多人的环境内移动，优先采用这种方式取代人员的光学身份识别。这样，通常会中断服务机器人与患者的直接视线，因此必须频繁重新进行身份识别。

实例27：助步器上的信号按钮

助步器比如UAGS的另一个特征是，其设有一个按钮，按下时可以向服务机器人17无线传输信号。安装按钮时，要确保在完成练习期间患者可以够到它，尤其是不必因此导致腿部负担出现变化。如果助步器属于UAGS，则按钮位于成T形角的把手的远端上，行走时患者的双手握住该把手。配置助步器的传感机构时，要确保按下不同次数的按钮或者按下的频率都可以在服务机器人17上触发不同的指令。按一次可向服务机器人17发出患者希望坐下的信号。这时将中断练习。按两次可发出患者识别到服务机器人17跟随的是其他人而不是患者的信号(或者识别到一个人在患者和服务机器人17之间来回移动)，和或身份重新识别(在身份重新识别模块2044中)不成功。发出这样的信号之后，服务机器人17中断训练，在患者重新亲自登录之后才会继续训练。这样，将能够避免他人接管个性化的训练，以及未经授权访问已登录人员的数据。

实例28：患者身上的外部传感机构

此外，也可以在患者身上，尤其是在四肢、躯干和/或头上，但也包括UAGS上设传感器(尤其是加速度传感器)，其通过至少一个接口与服务机器人17相连。有了该传感器，便可以采集和评估患者的动作。这时有利的做法是，在尽可能多的四肢部分上安装传感器，同样可通过3D骨架识别采集并继续处理，尤其是在特性获取720过程中。这可能意味着在每条大腿、躯干等上分别安装一个加速度传感器。作为替代和/或补充，这时采集到的数据可用于通过光学传感器(LIDAR 2083 2D摄像头2084和/或3D摄像头)进行3D采集。评估这些数据又可以提供角度信息，3D散点图同样提供这些信息，这样可以建立3D传感机构的算法。

实例29：通过光学传感机构识别跌倒

为保证患者安全，服务机器人17拥有跌倒识别功能。它一方面可通过集成的光学传感器实现，即基于骨架模型。这时系统主要根据上身的角度、位置或者头、肩以及腿与铅垂线的相对角度识别出患者目前采用的是跌倒姿势，或者躺在地面上，或者跪倒。在骨架模型中识别到的骨架点与地面的距离可作为替代性和/或补充性评估，即一旦它们超过阈值(比如膝盖的距离为25cm)，就会识别到跌倒。

实例30：通过惯性传感机构识别跌倒

也可以选择使用患者携带或者集成在患者助步器中的加速度传感器/惯性传感器，必要时包括地磁仪。在US7450024和US8279060中介绍基于惯性传感机构识别跌倒或者人们常说的“从地面坠落”/从物体上坠落。这时使用的传感机构可通过无线传输技术，比如RFID或蓝牙向服务机器人17传输确定的加速度，之后服务机器人确定加速度是否超过阈值。作为替代和/或补充，直接在传感机构中确定阈值，它只传输是否超过阈值的信息。加速度阈值可能涉及加速度最大值、加速度角度和/或这些值的组合。

实例31：自动动作过程分级

示例示出了怎样基于服务机器人采集并评估过的练习数据进行动作过程分级770。这些数据一方面涉及时间可变的数据，比如经过的行程、速度、站立持续时间、非重力腿阶段以及依据练习计划需要完成的练习，另一方面涉及时间可变的数据、患者数据，比如年龄、身高、体重、手术类型、完成手术的日期等(如图11所示)。全部采集这些数据并传输到学习模块存储190的学习模块存储器192中，在此期间在其中累积这些数据、形成历史数据库并偶尔进行评估。在评估时发现，在患者在诊所逗留期间(从手术时间点一直到摆脱机器人)，从一开始有许多故障的动作过程始终应按照生理动作过程调整，即练习在理想情况下应形成在标准评估参数中可实现的改进。具体来说，在摆脱机器人之前，经过的行程、练习速度和时间值应显著提高，纠正的频率应下降。必须在过程中根据相关侧/手术侧补偿站立持续时间和非重力腿阶段值并使其正常化。这又取决于患者根据练习计划完成的练习，但也取决于患者数据，比如其年龄、共病症等。

人的动作过程个性化极强。但在文献中介绍了许多标准值，比如扭矩、角度和加速度以及负担和本质特性。它们构成了所述形式步态训练标准化的基础。借助UAGS或者其他助步器行走已经是与所谓的“正常动作过程”不同的故障或偏差，但首先应在整形外科/手术领域考虑上述类型的支架落地流程。该动作过程，也包括使用其他助步器时的动作过程，很容易标准化，并通过时间过程中的不同动作参数或者特性的组合定义，比如与双脚相对放置UAGS或助步器，步伐的相应顺序、步长等。现在记录每个步态循环的这些和其他特性，它们描述动作过程本身或者借助UAGS/助步器行走的特点，在一个特征是形成步态循环中每次练习的平均值；这时已知的是它属于患者的第一次、第二次还是第三次练习。这样这组动作过程特性成为需要分级、作为相关变量起作用的变量，同时练习结果(比如图11)继记录的动作过程特性、患者数据和练习计划之后作为影响变量(不相关变量)使用，它们决定了分级。

多目标或者多输出回归要求这种操作方法(不同方案的一览表参见Borchani等人的论文，WIREs Data Mining Knowl Discov 2015,DOI:10.1002/widm.1157)。由于有公制动作过程特性组，因此该方案也被称为多维分级。这时有两种原则性操作方法：a)通过相互独立评估相关变量转换问题，b)调整算法，使其需要进行同步评估。后一种方案考虑相关变量之间的依赖关系，更好地反应了动作过程的实际情况。如果是后一种操作方法，可以使用决策树或GLM评估(常规线性模型)，比如在R的glmnet语言软件包中使用它们。一种替代性方案是使用多元线性回归树(缩写为MRT)，在R语言统计软件的mvpart包中使用它们。作为替代或补充，也可以使用CLUS软件包，它在预言性分簇过程中使用决策树。采用该方法时得出的等级将会得出更新过的动作过程分级。

实例32：探测和评估两点步态

分许多步按照与三点步态类似的方法确定两点步态。部分区别在于特性获取720、特性分级765、动作过程分级770、动作过程纠正比如决策分级775和输出动作过程纠正450。或者立即在术后使用两点步态(视外科医师的指令而定)，或者在三点步态之后，如果患者进一步康复，使用两点步态。如果是两点步态，理想情况下两条腿与UAGS有同步的步态。具体来说，腿和相应的对侧支架同步着地，以相同的高度交替向前迈。

图23示出了两点步态。继续对三点步态进行模拟评估。区别主要在于，不需要有关受保护腿1805的必要信息。作为采集接触地面1850时UAGS端点1970位置的结果，首先在第1856步采集UAGS和对侧的腿是否位于矢状面前方。分别形成一条接触地面的UAGS端点1970和对侧足骨架点1950与矢状面的垂线1858，确定矢状面中垂线相互间的距离1859。作为替代或补充，可以评估UAGS和对侧足关节之间距离的最小值。在第1886步的特性分级过程中评估该距离，即偏差有多大，或者是否正确执行了两点步态过程(第1888步)。为此比如可以评估确定的距离的阈值。之后这些数据进入动作过程分级770中，比如在决策分级775中将说明与采集到的动作偏差对应。这时部分以与三点步态不同的阈值以及传统特性为基础，以触发恰当地输出保存在纠正矩阵图(参见图9)中的动作过程纠正450。

实例33：由服务机器人投射说明

一个特征是，服务机器人17配备有一个投射单元，通过它服务机器人17可以向患者投向说明，比如投向到地面上。这些说明可能包含有关速度、身体姿势、行程(转变、换向等)的提示，可能是文本属性和/或基于图标，其中比如包括交通标志(比如停止、转变箭头等)。为此服务机器人有一个投向单元，比如市售的投影仪。它有定义的投影面，即投向的平面比如位于地面的固定定义区域上，比如与服务机器人相距2至3m，宽度为1.2m。当服务机器人与障碍物(比如墙)的距离小于服务机器人从地面投向处经过的距离时，首先按比例投向到障碍物上。但这可能影响阅读投射内容。因此使用其用于探测障碍物的传感机构校准服务机器人。一个特征是，能够以机器人从其环境中动态生成的至少一个力为基础实现，该环境包含固定和移动的障碍物。作为替代和/或补充，也可以直接评估传感器数据，确保在投向区域内不允许探测到障碍物。这时，所使用的传感器可以是LIDAR、摄像头、超声波、红外和/或雷达传感器。服务机器人另外经过配置，确保它基于发现的障碍物的类型可以调整输出方式。因此如果需要输出，但投向面被障碍物至少部分遮挡，则服务机器人可以取而代之选择显示屏和/或语音输出。这类投向可以替代或补充在本文件中其他位置中提到的通过显示屏输出和/或语音输出。

实例34：两点和三点步态识别

该实例包括由电脑完成的采集人动作过程的方法，包括在时间过程中无接触地采集人员，制作人的骨架模型并评估从骨架模型中获取出的骨架点和/或四肢的方向矢量，以便对人的动作过程分级。作为替代和/或补充，对两点步态或三点步态中的动作过程进行分级。一个特征是，对人员进行动作过程纠正450输出进行说明，比如通过语音输出、投射和/或显示屏进行输出。一个特征是，根据识别的动作过程偏差进行动作过程纠正450输出，这时通过保存在存储器中的规则定义这些偏差。一个特征是，将这些偏差确定为动作过程的对称偏差。在各项动作过程纠正指令输出之间有一个最短时间段，它保存在存储器中，一个特征是，它取决于练习期间进行过的纠正次数。在由电脑完成的方法中，一个特征是，识别下臂支架(UAGS)，进行空间评估，尤其是接触地面的UAGS的端点1970。一个特征是，至少按比例与矢状面中的至少一个足骨架点1950成比例评估UAGS的端点1970。并且，将评估足骨架点1950和UAGS端点1970之间的距离，并与保存在存储器中的阈值进行比较。替代性和/或补充性特征是，采集UAGS是否大约与被采集人员的额状面平行。并且，可以确定UAGS之间的线以及这条线与足骨架点1950的距离，这时足骨架点1950比如属于应受保护的腿的腿骨架点。

替代性和/或补充性特征是，评估足骨架点1950到放置在矢状面中的对侧UAGS端点1970的位置。比如对腿和位于人行走方向中的UAGS进行这一评估。比如当相关脚和UAGS接触地面时在足骨架点1950和UAGS之间进行这一评估。

替代性和/或补充性特征是，该方法确定个人相关参数，比如步长、站立持续时间、跨距、额状面中UAGS之间的距离、躯干弯曲、头倾斜和/或关节弯曲和/或关节伸展，并在一个特征是对它们分级。一个特征是，该方法在被采集人员的至少一个步态循环内采集个人相关参数。一个特征是，通过与动作过程的对称偏差确定并评估步态循环。该方法区分生理和偏差动作过程。一个特征是，可通过上面定义的F1得分进行。一个特征是，从骨架模型参数中获取特性，进行特性分级765，动作过程评估770或者决策分级775，之后恰当地输出动作过程纠正450。

这一方法另外可包括确定练习时长、被采集人员经过的速度和/或被采集人员的支架使用/助步器类型。

实例35：探测下臂支架的方法

该实例包括评估下臂支架(UAGS)与人至少一个足骨架点1950的相对位置的由电脑完成的方法。并且，一个特征是，整个时间进程中无接触采集人员。将制作人的骨架模型725。在空间环境中从至少一个手骨架点评估传感器数据是否有UAGS。为此，比如选择候选区域745。它可以从手骨架点主要向下延伸。然后，将采集手骨架点周围的散点图，与保存在存储器中的数据进行比较。并且，一个特征是，可以参考下臂的定位，它与UAGS的定位略为平行。也可以考虑比如涉及形状的模型假设750。为探测UAGS，可以使用容错分段算法755。通过至少一个传感器采集散点图数据，它可以无接触地采集人员，比如可以是2D摄像头2084、3D摄像头、LIDAR 2083、雷达和/或超声波传感器。如果使用超过一个传感器，则在时间上同步并合并数据。一个特征是，在UAGS在端点上接触地面的位置上评估UAGS的位置。然后，比如在脚接触地面时，与足骨架点1950的相对位置评估该位置。在矢状面中进行评估时，一个特征是，确定足骨架点1950和UAGS端点1970之间的距离。一个特征是，接着将评估人的两点步态或三点步态。

实例36：机器人系统

该实例包括一台有至少一台计算机的服务机器人，至少一个存储器10，至少一个摄像头，至少一个用于探测附近区域障碍物的装置，一个里程表单元2081和一个显示屏，比如触摸显示屏2087，一个用于对环境进行2D/3D采集的模块2061，一个地图模块2061b，一个自定位模块2062，一个用于检查和/或开始蓄能器自动充电的模块以及一个动作规划模块2065。作为替代和/或补充，该服务机器人可以包括一个绘图/测绘模块2061a、一个公制路径规划模块2064，一个自锁探测模块2068，一个使用者讲话模块2066，一个用于确定与使用者最佳距离的模块2067，一个空间规划模块2060r，一个用于确定等待位置的模块2069，一个以激光为基础跟踪人员的模块2043，一个用于重新识别人员身份的模块2044，一个动作评估模块2050，一个动作过程获取模块2051，一个动作过程评估模块2052，一个动作纠正模块2022，一个患者参数保存模块2014，一个练习计划保存模块2012和/或一个用于评估通过服务机器人传感器采集到的练习的模块2013。服务机器人的一个特征是，可以配备用于数据交换的RFID接口2089。是一个特征，动作规划模块2065使用公制路径规划信息2064，以便在考虑不同目的地和成本函数情况下确定机器人的最佳行程。并且，动作规划模块2065可确定患者的预计行程。可通过颜色图案、人的身高参数和/或人步态的分级，重新识别人的身份2044。一个特征是，在采集、分级、评估和或纠正过的动作时涉及步态过程。

实例37：步态的异常识别

该实例包含一种识别人动作过程中异常的电脑完成的方法，它具有特性获取720，特性分级765和动作过程分级770功能，其中特性获取720基于人的骨架模型。特性分级765基于人骨架点的空间-时间参数评估和/或骨架点的方向适矢量。通过振幅高度、最小和/或最大位置和/或换向点描述异常特征，基于对时间过程内骨架点的观察确定它们。一个特征是，通过评估步态循环采集异常情况。并且，将采集并评估步长、站立持续时间、跨距、躯干弯曲、头倾斜和/或关节弯曲。与之相补充，一个特征是，评估骨架点1950与探测到的助步器相对位置，比如下臂支架。这时，将通过确定矢状面中的距离进行评估。动作过程分级770包括对至少两个参数进行评估，比如步长、站立持续时间、跨距、躯干或头倾斜、关节弯曲和/或足骨架点1950和助步器的位置关系。通过确定的参数与分级参数有偏差识别异常，比如定义的阈值。阈值可以是通过评估之前所记录动作过程生成的值。一个特征是，可通过机器学习方法进行分级。可选补充性特征是，在分级后的参数与阈值存在偏差时，通过终端进行通知。

一个特征是，作为视频序列记录制作骨架模型的数据。探测异常时为这些视频序列设时间戳。比如可向存储器传输视频序列。该存储器可能位于学习模块190中。可在存储器中确定视频序列优先顺序。一个特征是，视频序列的优先顺序取决于探测到的异常的类型和/或数量。

一个特征是，异常涉及采集到的、完成的练习与练习计划的偏差，比如练习时间、经过的速度或者使用支撑/助步器等。

实例38：自动调整练习计划，以确定从三点向两点步态过渡

该实例包括一套自动确定从三点向两点步态过渡的系统，包括一个处理器和一个存储器，这时处理器和存储器通过接口，比如数据传输接口，与用于无接触采集人员数据的传感器相连。替代性和/或补充性特征是，它涉及一种以用于无接触采集人员数据的传感器过程数据为基础、由电脑完成的调整练习计划的方法，一个特征是，练习计划调整是指规定从三点步态过渡为两点步态。一个特征是，在确定从三点过渡为两点步态之后，自动进行干涉，比如自动调整练习计划和/或通过接口传输信息。系统或由电脑完成的方法将通过继续处理数据(由用于无接触采集人员数据的传感器确定)采集到的值与相应的参考值进行比较。这些值可能涉及人员相关参数，比如速度、站立持续时间、非重力腿阶段、步长等，它们比如通过无接触式传感器采集。一个特征是，个人相关参数是速度、站立持续时间、非重力腿阶段和/或步长的组合。系统或者由电脑完成的方法可确定比如左右腿行走动作之间的对称性，比如考虑步态循环以及用于规定从三点过渡到两点步态的对称性偏差。一个特征是，按其类型和频率采集并评估采集到的生理动作过程的偏差。一个特征是，也可以考虑保存在存储器中的纠正提示，它们在采集人员练习期间输出(比如通过系统或者有至少一个用于无接触式采集人员数据的传感器通过接口相连的系统)，比如进行过的纠正提示的类型和频率。

一个特征是，在时间进程内采集这些值，比如在多次练习中。并且，系统或者由电脑完成的方法比如进行多次练习的差异观察，以确定人员的练习进度。一个特征是，将确定的练习进度与之前确定的其他人的练习进度和/或保存在存储器中的参考数据进行比较。

实例39：在考虑历史数据情况下自行选择练习计划配置的方法

该实例包括一种由人自行选择练习计划配置的由电脑完成的方法。并且，将人所需的练习计划配置与练习计划中的放行进行比较，只有在获得放行时才能选择。与之相补充，可根据自动调整练习计划放行。一个特征是，这时将之前由人进行的以及通过无接触式传感器采集到并评估过的数据与历史数据进行比较。这样，当采集到的数据与历史数据高度一致时，可以为练习计划配置提供放行。练习计划比如可能涉及步态训练。另外，可参考进行过的动作过程纠正450的输出类型和/或次数，比如行走纠正或者用于确定自动放行的基础动作过程偏差。一个特征是，在服务机器人中完成由电脑完成的这套方法，比如用于采集和评估步态训练。

实例40：用于自动调整练习计划的系统和/或由电脑完成的方法

该实例包括一套用于通过无线接口自动调整练习计划的系统，至少一个处理器和至少一个存储器，它至少包含一个数据库，在其中保存有练习计划。与之相补充，系统可通过无线接口从第二套系统获得数据，该系统配备有用于无接触采集人员数据的传感器，比如配备一个摄像头，它可以记录并评估保存在练习计划中的练习，为第一套系统提供记录的这些练习。另外，系统可获得第三套系统的信息，在该系统中调整练习计划。作为这些系统的替代和/或补充，由电脑完成的方法可以获得有关一个练习计划的已完成练习计划人员的练习记录。练习计划可能包含有关人员的信息，其中包括灵活性、手术类型、进行过手术的位置、身高和/或体重。调整练习计划可以包括经过的行程、使用支架/助步器的方式。记录的数据为个人相关参数，可在时间过程内保存到系统中。个人相关参数另外包括站立持续时间、跨距、非重力腿阶段、上身、观察方向和/或人的步长，也包括步长的对称值。作为替代和/或补充，记录的数据可包含助步器，比如UAGS的局部使用过程。可为记录的这些包含个人相关参数的数据补充之前获得的数据库中的历史数据。可通过机器学习和/或神经元网络评估记录的这些数据以及由第二套系统(使用用于记录人员的摄像头)以及第三套系统(用于调整练习计划)传输的数据。作为这些评估的输入变量，可参考人员数据，比如患者的年龄、身高、体重、共病症、手术方式等，以及在记录练习过程中采集到的数据。作为输出变量可确定用于在时间点t或者之后的时间点t+1练习的练习计划的设置。可将在这些计算中确定的神经节权重传输至第二套系统(使用用于记录人员的摄像头)和/或第三套系统(用于调整练习计划)。这些神经节权重可用于自动调整练习计划。一个特征是，第二套系统涉及一种执行步态训练的服务机器人。

实例41：用于自动调整练习计划的系统

该实例包括用于自动调整练习计划的系统，患者管理模块160，与有至少一个摄像头的第二套系统的无线接口，一个处理器以及一个存储器，以及与学习模块190的接口。第二套系统比如可以是服务机器人17。与之相补充，第一套系统可通过接口与规则集150相连。患者管理模块190中保存有一个练习计划，它可以通过终端12配置。练习计划可考虑人员的灵活性，进行过的手术的类型和/或手术位置(比如区域和侧面，比如左侧膝盖)。灵活性包括人员和/或其共病症的一般情况。练习计划比如可包括以两点步态、三点步态和/或上台阶为基础的练习。第二套系统作为通过练习计划定址的练习的结果采集练习时间、行程、练习频率和/或练习强度等。可通过接口向第二套系统传输练习计划，并在其中保存。第二套系统比如可以触发一个人的练习，比如在一个特征触发步态训练，和/或在这时输出动作过程纠正450，比如行走纠正。将保存采集到的数据并在时间进程中评估。比如可通过接口向学习模块190传输数据。学习模块190在学习模块存储器有历史数据，通过经过评估并通过接口传输的数据补充这些数据。这时，为历史数据补充在练习计划中进行过的设置。进行过的设置涉及练习计划和/或以采集到的数据为基础进行的练习计划调整。通过机器学习和/或神经元网络方法可确定练习计划的神经节权重。作为确定神经节权重的输入变量，使用练习评估以及练习计划的各个组成部分，作为输出参数使用练习计划的配置和/或练习计划变更。一个特征是，向规则集中传输在这时确定的神经节权重。可在该处替换用于调整练习计划已保存的神经节权重。另外，可以更新练习计划的规则。以规则集150为基础，比如可以为练习计划调整提供建议，比如以历史数据评估为基础。一个特征是，这些建议可以通过终端提供。替代性和/或补充性特征是，以通过有至少一个摄像头、一个处理器以及一个存储器的系统采集到的数据和/或练习计划的配置为基础提出建议。练习计划又可以包含步态训练。

实例42：用于评估动作过程并由电脑完成的方法

实例包括一种用于评估人动作过程并由电脑完成的方法，这时该方法可以记录人的动作，获取已记录动作的特性720，比如动作过程；对已记录的动作进行分级，比如动作过程分级770；对已记录的动作进行特性分组765；为采集到的动作偏差分配指导，比如决策分级775以及输出动作过程纠正450，比如输出行走纠正。特性分级765包括评估个人相关参数，比如被采集人的步长、非重力腿阶段、站立持续时间等。动作过程分级770包括对不同四肢和/或下臂支架使用情况进行组合观察。输出动作过程纠正(比如输出行走纠正)，包括向人员输出指令，比如通过扬声器、投影和/或显示屏。记录的动作可能比如涉及步态训练过程中的练习。也可以按优先顺序输出动作过程纠正450，一个特征是，在时间周期内比较有不同优先顺利得分的不同偏差，分别只输出有最高优先顺序得分的偏差。

一个特征是，可以和相应历史数据一起保存动作过程分级770、特性分级765和/或动作过程纠正数据(比如决策分级775)以及对已记录动作的评估，比如对步态训练的评估。

替代性和/或补充性特征是，可以向学习模块190传输采集到并经过评估的数据，即比如动作过程分级770、动作过程纠正以及决策分级775的结果和/或记录的原始数据。该方法另外包括访问学习模块中的数据，比如通过终端，以及重新评估动作过程分级，比如步态过程分级，重新评估特性分级和/或重新评估动作过程纠正，比如决策分级，比如考虑到输出动作过程纠正450。比如可手动进行该重新评估。可选和/或补充性特征是，在规则集150中传输至少一次手动规则调整。在规则集150中比如可更新动作过程分级(比如步态过程分级)、特性分级和/或动作过程纠正(比如决策分级)，比如动作过程纠正。向系统传输更新过的动作过程分级规则，比如步态过程分级、特性分级和/或动作过程纠正，比如决策分级规则，该系统对人的动作进行记录。在动作过程记录原始数据涉及视频拍摄时，可以在可选步骤中对这些动作记录进行匿名处理，比如通过将人脸像素化。在学习模块190中比如可对视频序列加标签，尤其是在偏差和/或生理动作过程方面。这时比如可分配时间戳。

与之相补充，比如可以进行动作过程自动评估和/或动作过程纠正(比如决策分级)自动重新评估。比如通过机器学习和/或神经元网络方法进行自动重新评估。对采集到的动作，比如练习(如步态训练)进行评估可作为输入变量使用，动作过程分级，比如步态过程分级、特性分级和/或动作过程纠正，比如决策分级，可作为输出变量使用。可以向规则集150传输在自动重新评估时确定的用于特性分级、动作过程分级(比如步态过程分级)和或动作过程纠正(比如决策分级)的神经节权重。这样，可以在规则集150中比如更新保存在规则集中的动作过程分级(比如步态过程分级)、特性分级和/或动作过程纠正(比如决策分级)的神经节权重，以及动作过程分级(比如步态过程分级)、特性分级和/或动作过程纠正(比如决策分级)的相关规则。另一步可以向采集人员数据的系统传输更新后的神经节权重和/或规则。

实例43：有自行选择练习区域能力的服务机器人

该实例展示了有至少一个光学传感器单元、一个雷达传感器和/或一个超声波传感器和至少一个包含服务机器人环境地图的存储器的服务机器人17，这时服务机器人17采集其环境中的障碍物数量和/或类型，并进行评估，以识别地图内障碍物密度低的子区域。地图中保存有服务机器人17主要在其中移动的区域。时间进程中，比如在日和周流程和/或月流程中采集障碍物信息。障碍物可能比如涉及动态和/或静态障碍物。比如也可以采集障碍物的尺寸。比如可与服务机器人在其中移动的行走宽度绝对和/或相对确定尺寸。练习期间记录障碍物，在此期间服务机器人17在子区域内移动。一个特征是，服务机器人，可选特征是一套向其中传输数据外部系统，确定时间过程中的障碍物密度。之后重新向服务机器人17传输来自外部系统的数据。数据评估比如包括分簇。这样，比如可基于采集到的数据定义特定子区域在其中有低障碍物密度的时间周期。比如可以按这种方式制作有关未来障碍物密度的预测。作为结果，服务机器人17比如首先可以在这些有低密度障碍物的子区域内执行需要完成的任务。这时需要完成的任务可能取决于密度阈值。服务机器人17比如可以确定的密度为基础作出路线选择决策。

实例44：用于识别腿负担并由电脑完成的方法

该实例包括用于识别人腿负担并由电脑完成的方法，可无接触地采集人的动作。这时，可通过摄像头进行无接触式采集。一个特征是，将制作骨架模型，在时间和空间上评估骨架点和/或骨架点之间的方向适量。这时，比如可以进行特性获取720、特性分级765和/或动作过程分级770。一个特征是，同样采集助步器，并评估助步器与人足骨架点1950的相对分布。一个特征是，把将要承受负担的腿在矢状面中放在至少一个下臂支架(UAGS)附近。一个特征是，需要释放压力的腿位于将UAGS相互连接的线附近。替代性和/或补充性特征是，应释放压力的腿的人步态过程涉及三点步态。比如可将采集到的动作与保存的规则进行比较。进行应对采集到的偏差进行纠正输出的评估的决策分级775，并输出动作过程纠正450，比如通过向人输出语音指令的方式。

为识别腿部负担，评估下臂和上臂之间的角度、髋部和膝盖的伸展和/或弯曲角度和/或上身的倾斜(在额状面和矢状面中)。确定腿释放压力的方式包括：下臂与上臂之间的角度小于170°，或者小于160°，只能承受有限负担的腿的角度小于172°，上身前倾角度小于5°。

实例45：有通信装置的助步器

下面介绍配备有电源、控制单元、无线接口和按钮(在按下它时通过无线接口传输信号)的助步器。传输信号的接收器可能涉及到服务机器人。助步器的一个特征是下臂支架。按钮位于被患者双手握住的T形手柄的远端上。控制单元经过配置，通过按下按钮可以传输不同的信号。这时按下频率和/或按下事件数量可形成不同的信号。一个特征是，触发按钮会通过由服务机器人重新识别患者的身份。

实例46：评估三点步态的方法

实例包括一种评估三点步态、由电脑完成的方法，包括以下步骤：采集作为空间-时间参数的骨架点、骨架点和/或下臂支架(UAGS)之间的方向矢量；采集时间过程中UAGS端点1970的位置；采集接触地面时UAGS端点1970的位置。与之相补充，确定UAGS在地面上接触点的位置是否与人的额状面平行。可通过被采集人员的动作方向确定额状面。之后探测受保护腿的脚是否定位在UAGS之间。

一个特征是，确定UAGS在地面上位置之间的连接线，确定受保护腿的足骨架点1950与连接线的距离，评估受保护腿的足骨架点1950与连接线的距离。作为替代和/或补充，评估UAGS端点1970和矢状面中受保护腿的足关节1950相互间的位置，评估这些点之间的距离。

与之相补充，至少可确定以下特征中的一个并在之后进行评估，这时如果有超过一个特征，可单独和/或组合考虑这些特征：上身的倾斜；比如膝或髋关节伸展和/或弯曲；通过确定额状面中足骨架点1950的距离确定跨距；通过确定矢状面中足骨架点1950的距离确定步长，之后在步态循环中单步步长方面进行评估；站立持续时间；UAGS和/或脚或者足骨架点1970的着地时间点；UAGS和/或脚或者足关节1950的着地时间点；在接触地面时UAGS端点1970之间与矢状面和/或额状面中足骨架点1950的距离；这时利用后两个特征评估UAGS与身体位置的相对使用情况，比如支架放置得离身体是否过近和/或过远(侧面或向前)。

与之相补充，可进行动作过程分级770，这时至少组合评估两个特性，并与保存的规则进行比较。如果在动作过程中识别到偏差，则根据探测到的偏差的决策矩阵图评估是否向人员发出指令。

实例47：评估两点步态

实例公开了一种评估三点步态、由电脑完成的方法，包括：采集作为空间-时间参数的骨架点、骨架点和/或下臂支架(UAGS)之间的方向矢量；采集时间过程中UAGS端点1970的位置；采集接触地面时UAGS端点1970的位置。与之相补充，对UAGS和位于弧矢方向前方的腿进行探测；之后形成接触地面的UAGS端点1970的垂线和对侧足骨架点1950与矢状面的垂线，之后确定两条垂线之间的距离，或者采集矢状面中接触地面的UAGS端点1970和足骨架点1950，然后确定矢状面中UAGS端点1970和足骨架点1950的距离。一个特征是，可以评估矢状面中垂线间的距离，或者矢状面中两个点的距离，和/或评估是否在对侧使用UAGS和腿。比如通过比较阈值进行该评估。与之相补充，在之后的步骤中可参考前述实例(后两套方案)中的其它特征，以评估两点步态。

来源：

Jaeschke,B.,Vorndran,A.,Trinh,T.Q.,Scheidig,A.,Gross,H.-M.,Sander,K.,Layher,F.将步态训练移动化-可行性分析。发表于：IEEE生物医学机器人和生物机电一体化国际会议(Biorob)，荷兰恩斯赫德pp....,IEEE 2018

Trinh,T.Q.,Wengefeld,T.,Mueller,St.,Vorndran,A.,Volkhardt,M.,Scheidig,A.,Gross,H.-M.“请坐”：移动机器人接近和识别坐着的人。发表于：国际机器人技术研讨会(ISR)，240-247页，VDE出版社2018。

Vorndran,A.,Trinh,T.Q.,Mueller,St.,M.,Scheidig,A.,Gross,H.-M.如何用移动机器人始终关注使用者？发表于：国际机器人技术研讨会(ISR)，219-225页，VDE出版社2018

Zhe Cao,Tomas Simon,Shih-En Wei,Yaser Sheikh。OpenPose:使用部分亲和场的实时多人2D姿势估计；IEEE计算机视觉和模式识别会议(CVPR)，2017,pp.7291-7299

G.Guidi,S.Gonizzi,L.Mico,面向大众市场应用的低成本范围传感器的3D捕获性能，国际摄影测量档案、遥感和空间信息科学，第XLI-B5卷，2016年第XXIII届ISPRS大会，2016年7月12日至19日，捷克共和国布拉格。

D.Fox,W.Burgard和S.Thrun,“避免碰撞的动态窗口方法”，发表于IEEE机器人与自动化杂志，第4卷，编号1，第23-33页，1997年3月

Müller S.,Trinh T.Q.,Gross HM。(2017)使用渐进式优化的本地实时动作规划。发表于：Gao Y.,Fallah S.,Jin Y.,Lekakou C.(eds)走向自主机器人系统。TAROS 2017。计算机科学讲义，第10454卷。Springer,Cham.

R.Philippsen和R.Siegwart,“内插动态导航功能”，2005年IEEE机器人与自动化国际会议论文集，西班牙巴塞罗那，2005年，第3782-3789页。

Borchani,H.,Varando,G.,Bielza,C.和

P.(2015),关于多输出回归的调查。WIREs数据挖掘和知识发现，5：216-233。DOI:10.1002/widm.1157。

附图标记列表

3 传感器

5 绕着垂直轴旋转放置的支撑轮

6 驱动轮

8 电源

9 处理单元

10 存储器

12 系统管理终端

13 终端

17 服务机器人

18 云

150 规则集

151 规则集处理单元

152 规则集存储器

160 患者管理模块

161 患者管理模块处理单元

162 患者管理模块存储器

170 患者数据管理系统

171 患者数据管理系统处理单元

172 患者数据管理系统存储器

180 导航系统

181 导航系统处理模块

182 导航系统存储器

190 学习模块

191 学习模块处理单元

192 学习模块存储器

1305 灵活性

1310 -一般情况

1315 共病症

1320 手术位置

1325 手术方式

1330 治疗医生

1335 练习计划

1340 两点步态

1345 三点步态

1350 台阶

1355 -训练计划配置

1360 接口

1505 历史数据

1701 骨架点

1702 骨架点之间的连接

1703 人体

1910 膝骨架点和髋骨架点之间的方向矢量

1920 膝关节和足骨架点之间的方向矢量

1930 膝骨架点

1940 髋骨架点

1940r 右侧髋骨架点

1940l 左侧足骨架点

1950 足骨架点

1960 肩骨架点

1960r 右侧肩骨架点

1960l 左侧肩骨架点

1970 UAGS端点

1980 风格化的UAGS

2010 应用层

2011 动作训练模块

2012 练习计划

2013 练习评估模块

2020 状态层

2022 动作纠正模块

2024 目的地引导模块

2030 服务机器人技能

2040 人员识别模块

2041 人员身份识别模块

2042 第一个人员跟踪模块

2043 第二个人员跟踪模块

2044 身份再识别模块

2045 座位识别模块

2046 3D人员跟踪

2050 动作评估模块

2051 动作过程获取模块

2052 动作过程评估模块

2060 导航模块

2061 测绘模块

2060r 空间平面图模块

2064 路径规模模块

2065 动作规模模块

2071 图形用户界面(GUI)

2073 语音合成模块

2074 语音识别模块

2081 里程表模块

2082 压力敏感型推杆

2083 LIDAR

2084 2D摄像头

2085 RGB-3D摄像头

2086 摄像头缩放和翻转功能

2087 触摸显示屏

2088 WLAN模块

2089 RFID读和写装置

2090 差速传动装置

2091 充电端口和电子装置

2092 扬声器

2093 麦克风

2094 带眼睛的头。

Claims (20)

1.由电脑完成的采集人动作过程的方法，这时动作过程包括人身体部位的动作，该方法包括：

-通过非接触式传感器采集一个动作过程中的大量人图像，这时大量图像显示人身体部位的动作；

-通过大量图像中的至少某些图像制作包括肢体位置的至少一个骨架模型；以及

-通过比较创建的至少一个骨架模型中肢体位置的变化，根据人身体部位的动作计算动作过程。

2.依据权利要求1的方法，另外也包括将计算出的动作过程与之前确定、保存在存储器中的动作过程进行比较。

3.依据权利要求1的方法，这时动作过程涉及步态过程。

4.依据权利要求1的方法，这时动作过程的评估包括通过至少一个完整的步态循环评估身体部位的动作。

5.依据上述权利要求的方法，另外也包括通过比较助步器模型识别大量图像中的至少一个助步器。

6.依据权利要求4的方法，另外也包括综合评估至少一个助步器和至少一个由骨架模型得到的足骨架点。

7.依据权利要求5的方法，这时评估包括确定至少一个足骨架点与至少一个助步器地面侧端点的差异。

8.依据权利要求6的方法，这时确定矢状面中的差异。

9.依据权利要求5-7的方法，这时对着地时间点进行评估。

10.依据权利要求2-8的方法，另外也包括在采集到的动作过程的动作与事先确定的动作过程中的动作存在偏差时发出一条消息。

11.依据权利要求9的方法，这时已发出消息的数量与采集到的动作偏差的数量和类型有关。

12.执行权利要求1至11方法的装置。

13.采集人动作过程的系统，这时动作过程包括人身体部位的动作，该系统包括：

-至少一个用于非接触式采集一个动作过程中大量人像的传感器，这时大量图像显示人身体部位的动作；

-用于制作包括大量图像中至少某些图像肢体位置的骨架模型以及通过比较创建的骨架模型评估人身体部位动作的评估单元。

14.依据权利要求13的系统，这时动作过程涉及步态过程。

15.依据权利要求13的系统，这时评估单元可配备一个包含事先确定的指定动作过程身体部位位置值的存储器，并在运行中将预先确定的值与身体部位的动作进行比较。

16.依据权利要求13-15的系统，这时评估单元在运行过程中评估至少一个步态循环中在助步器的协助下达到的身体部位位置。

17.依据权利要求13-16的系统，这时评估单元在运行过程中评估身体部位动作的对称性。

18.依据权利要求13-17的系统，另外包括一个可以在确定身体部分动作和预先确定的动作过程之间存在偏差时输出消息的输出单元。

19.依据权利要求13-18的系统，另外包括用于识别大量图像中物体的分段单元。

20.依据权利要求13-19的系统，这时传感器至少是一个2D摄像头、深度摄像头、超声波传感器、雷达传感器或Lidar传感器。

Images