EP3908969A1 - Verfahren und system zur erfassung des bewegungsablaufs einer person - Google Patents

Verfahren und system zur erfassung des bewegungsablaufs einer person

Info

Publication number
EP3908969A1
EP3908969A1 EP20700648.7A EP20700648A EP3908969A1 EP 3908969 A1 EP3908969 A1 EP 3908969A1 EP 20700648 A EP20700648 A EP 20700648A EP 3908969 A1 EP3908969 A1 EP 3908969A1
Authority
EP
European Patent Office
Prior art keywords
patient
service robot
person
movement sequence
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20700648.7A
Other languages
English (en)
French (fr)
Inventor
Horst-Michael Groß
Andrea Scheidig
Thanh Quang Trinh
Benjamin Schütz
Alexander Vorndran
Andreas Bley
Anke Mayfarth
Robert Arenknecht
Johannes Trabert
Christian Martin
Christian STERNITZKE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tediro GmbH
Original Assignee
Metralabs Neue Technologien und Systeme GmbH
Technische Universitaet Ilmenau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102019100228.1A external-priority patent/DE102019100228A1/de
Application filed by Metralabs Neue Technologien und Systeme GmbH, Technische Universitaet Ilmenau filed Critical Metralabs Neue Technologien und Systeme GmbH
Publication of EP3908969A1 publication Critical patent/EP3908969A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Definitions

  • the invention comprises a method and system for detecting the movement sequence of a person.
  • the health system suffers from a considerable shortage of skilled workers. This means that therapy and care can increasingly only be provided to an insufficient extent, with considerable effects on health costs and on the value added of the economy. For patients, this may also mean prolonged suffering or even secondary illnesses, which can arise, for example, from poor posture during rehabilitation measures, provided that patients are not adequately instructed. These effects go hand in hand with the fact that the need to document the patient's condition is increasing so that, from a clinic perspective, it may be necessary to defend yourself against claims for damages that can be attributed to inadequate therapies. In some cases, this can lead to a self-reinforcing effect.
  • the system described in this document addresses this problem by the primary monitoring of rehabilitation measures, in particular those of the posture and gait during a movement, is provided by, for example, a service robot.
  • This service robot is also able to document the completed exercises precisely, which means that the healthcare facility in question is able to meet its compliance obligations in this regard, without having to second staff separately.
  • Another effect is that the use of such a system standardizes the assessment of the success of therapy, because at present the assessment of whether an exercise is performed correctly is subject to the assessment of a therapist, who in turn differs from other therapists through individual experiences.
  • therapists' assessments for the same exercise are different Assessments possible, while using the system or the service robot there is a uniform assessment.
  • the use of the service robot for example in the areas of gait and stair training, provides a significant relief for the therapeutic staff: in neurological, geriatric and internal medicine facilities, the service robot can take care of patients with poor orientation as well as training the
  • Service robots can be reduced, for example, in patients suitable for walking and stair training.
  • the service robot helps to maintain the result of the operation and to avoid incorrect movement patterns in the movement sequence.
  • Therapeutic training after an operation attempts to correct the wrong movement, e.g. an incorrect gait, which the patient may experience due to pain or
  • the service robot is a good alternative to recognize and correct errors in the movement process in good time.
  • CN206833244 in which a service robot distributes materials in the hospital, is similarly stored.
  • Chinese patent applications CN107518989 and CN101862245 which include a service robot that transports patients, also operate in the hospital environment. similar to a wheelchair.
  • CN205950753 describes a service robot that detects patients using sensors and guides them through a hospital.
  • CN203338133 describes a service robot to support the nursing staff, who accompanies patients in the hospital with everyday things.
  • CN203527474 refers to a service robot that supports the elderly with its arm.
  • CN108073104 refers to a nursing robot that cares for infected patients by providing these patients with medication or administering these medications, massaging the patient, eating enough, communicating with the patient, etc.
  • the nursing robot thereby reduces the risk of infection for medical staff by reducing the number of patient contacts between staff.
  • a service robot to accompany older people can be found in CN107598943. This service robot has some monitoring functions, but above all a function for floor cleaning.
  • CN106671105 is a mobile service robot for the care of the elderly.
  • the service robot uses sensors to monitor parameters of the body, such as temperature, but also facial expressions. He also recognizes whether the person has fallen and can alarm help accordingly via a network.
  • CN104889994 and CN204772554 in which a service robot from the medical field detects the heart rate, supplies patients with oxygen and has voice recognition and a multimedia module for entertainment purposes, are similarly mounted.
  • the blood oxygen is also determined in CN105082149.
  • CN105078445 refers to a service robot that makes it possible to record an electrocardiogram and measure the oxygen content in the blood, especially in older people.
  • CN105078450 with an electroencephalogram measurement is similar.
  • CN108053889 a system is described in a relatively abstract manner, which carries out exercises with a patient based on stored information.
  • CN108039193 describes a system for the automatic generation of health reports that is used in a service robot. The recording of movements / fitness exercises using a service robot, the recording and
  • CN106709254 describes a service robot for medical diagnosis of a patient, who at the same time, based on the diagnosis, also creates a plan for treatment. For this purpose, the service robot evaluates voice and image information and compares it with information stored in memories.
  • a neural network is used here.
  • CN106407715 describes a service robot which carries out the patient's medical history by means of speech processing and image recognition. In addition to querying via voice input and output devices via a touchpad, a photo of the tongue, which is taken by a camera of the service robot, is also used for the medical history.
  • CN105078449 describes a service robot with a tablet computer as a communication unit, via which u.a. a cognitive functional training or a cognitive psychological assessment takes place to discover Alzheimer's in patients.
  • the tablet records a telephone call between the patient and a child that follows a certain process and derives from the course of the conversation whether the patient has Alzheimer's.
  • Jaeschke et al. 2018 validates whether a gait evaluation using Microsoft Kinect on a service robot can provide valid results in comparison to established stationary gait evaluation systems (the gold standard) when it comes to determining the position of the joints and limbs, i.e. whether the parameters relevant for the evaluation of gait training can be recorded in this way. Steps per minute,
  • Stride speed, stride length, time on one or both feet are mentioned as relevant parameters as well as extension and flexion of the ankles, knees and hips as well as the inclination of the pelvis and the forward or backward leaning of the trunk.
  • Trinh et al. 2018 set out how a seated person can be recognized by a service robot and how a service robot can interact with this person. It is also described that people with walking aids are identified via a 2D laser scanner.
  • Vorndran et al. 2018 illustrate how a user who completes gait training is tracked by a service robot driving in front of the user.
  • a camera that can be controlled in its orientation is also used for this purpose, which enables better tracking of the user.
  • People tracking takes place using LID AR and RGB camera.
  • the service robot also uses both a laser scanner and an RGB-D camera (3D camera) to determine (future) users. This forecast of user behavior is used both to control the service robot and to track the RGB camera using a PID controller.
  • the invention comprises a method and a system e.g. a service robot to support the therapy of a patient, in particular the therapy of the
  • the service robot has sensor devices to detect the
  • Storage unit are stored in the service robot or in a cloud. Based on any deviations in the movements, the service robot can provide the patient with tips on how to improve his movements. The exercises completed and the data stored here can then be evaluated by a therapist.
  • Sequence of movements includes movements of body elements of the person.
  • the method comprises a detection by a non-contact sensor of a plurality of images of the person during a movement sequence (e.g. a gait sequence), the plurality of images representing the movements of the body elements of the person, creation of at least one skeleton model with limb positions for at least some of the Variety of images, and a calculation of the movement from the movements of the a movement sequence (e.g. a gait sequence), the plurality of images representing the movements of the body elements of the person, creation of at least one skeleton model with limb positions for at least some of the Variety of images, and a calculation of the movement from the movements of the
  • the method can also include a comparison of the calculated movement sequence with a predetermined movement sequence, which is stored in a memory.
  • the calculation of the movement sequence includes the evaluation of movements of the body elements over at least one complete gait cycle, so that the system receives a complete picture of the movement sequence.
  • the method also includes recognition of at least one walking aid in the plurality of images by comparison with walking aid patterns.
  • the method can carry out a coherent evaluation of the at least one walking aid and at least one ankle point obtained from the skeleton model, the evaluation determining the difference between the at least one ankle point and a floor-side end point that comprises at least one walking aid. This difference is e.g. determined in the Sagittal plane and the evaluation is carried out e.g. at a point of contact with the ground.
  • the method may further include a notification if the movements in the detected movement sequence deviate from the movements in the predetermined movement sequence in order to inform the person about incorrect movements in the movement sequence.
  • the number of messages output depends on the number and type of the detected
  • the system for detecting a movement sequence of a person comprises at least one sensor for contactless detection of a plurality of images of the person during a movement sequence (for example a course of gait), the plurality of images being the
  • the evaluation unit can have a memory with predetermined values for the positions of the body elements in the case of an intended movement sequence and, in operation, compares the predetermined values with the movements of the body elements. During operation, the evaluation unit evaluates the positions of the body elements with the aid of walking aids over at least one gait cycle and / or a symmetry of the movement of the body elements.
  • the system also has an output unit for outputting messages when determining deviations between the movements of body elements and the predetermined movement sequence.
  • the system comprises a segmentation unit for recognizing objects e.g. Mates or other items in the variety of images.
  • Fig. 1 Exemplary system architecture
  • Fig. 2 Top view of the wheels of the service robot
  • Fig. 3 Management system of the service robot
  • Fig. 4 exemplary exercise plan
  • Fig. 8 3D data acquisition and evaluation
  • Fig. 10 Self-learning procedure for adapting the exercise plan
  • Fig. 11 Evaluation matrix of the patient's movement data for the therapist
  • Fig. 12 Method for improving the motion sequence correction
  • Fig. 13 automated improvement of the movement sequence correction
  • Fig. 14 Sequence of the lean of trunk, hip flexion and knee flexion of a patient with a prosthesis (TEP) in the right hip.
  • Fig. 15 Use of props over time
  • Fig. 16 Sequence of standing times of a patient with a prosthesis in the right hip
  • Fig. 17 Histogram of the error classes: symmetry of the gait sequences
  • Fig. 18 Exercise interruption
  • a service robot 17 is shown in FIG. 3 and can be designed in different hardware-software configurations that include different components and / or modules.
  • This service robot 17 is an example of a system for detecting the
  • FIG. 1 An exemplary system architecture is shown in FIG. 1. As described by way of example at other points in this document, alternative aspects are also possible in which individual components and / or modules are added and / or omitted.
  • a service robot 17 has at least one processor (in PC or ARM architecture) and at least one memory connected to the processor.
  • the system architecture comprises four levels, including three software levels (an application level 2010, a behavior level 2020, and a level 2030 of service robot capabilities), and a hardware level 2080.
  • the levels 2010, 2020 and 2030 mainly depict modules, which expressis verbis is not shown in Fig. 1 for reasons of clarity and also does not have to be shown in all places in the text expressis verbis.
  • the service robot capabilities are mapped, which in turn form the basis for behavior level 2020, which depicts the behavior of service robot 17, while application level 2010 covers the application.
  • this application level 2010 there is, for example, a gait training application in a movement training module 2011, in which instructions etc. for a patient are stored.
  • the training module can also do other training instructions include that are not necessarily movement-related, e.g. instructions for training the memory, etc.
  • a exercise plan or instructions such as speech and / or display output to implement the exercise plan 2012, the evaluation of the exercises 2013 in the exercise plan, and ultimately ( optional) patient data such as age, comorbidities, room numbers of the patient, etc. 2014.
  • the four levels each build on one another.
  • the application motion training certain robot skills which in turn determined certain
  • the behavior level 2020 there is a module for user guidance 2021 and a movement sequence correction in the movement correction module 2022. Furthermore, there is a module which depicts how the service robot 17 approaches the patient 2023, i.e. also how the service robot 17 communicates with the patient. Another behavior that is mapped on this behavior level in 2020 is driving to the 2024 goal and that
  • the personal recognition module 2040 includes one
  • Personal identification module 2041 for personal identification, a first one
  • Person tracking module 2042 for visual person tracking primarily via 2D camera, a second person tracking module for LIDAR-based person tracking 2043. There is also a sub-module as a re-identification module 2044 for person re-identification, which is used when a person (patient) uses a tracking area has left one
  • Submodule as a seat recognition module 2045 for the seat recognition 2045 which is used to recognize people (patients) sitting on a chair and one
  • Submodule as skeletal recognition module 2046 for 3D skeletal recognition This can be done using a 2D or 3D camera.
  • Another module at the level of service robot capabilities 2030 is one
  • Motion evaluation module 2050 which as a submodule
  • Movement sequence extraction module 2051 for feature extraction of the movement sequence and includes a submodule as a movement sequence evaluation module 2052 for recording and evaluating the movement sequence of the patient.
  • the navigation module 2060 there is a submodule for the 2D / 3D acquisition 2061, a mapping module 2061a for mapping its surroundings, a map module 2061b with a map of the surroundings in which the service robot 17 moves. Furthermore, the navigation module 2060 has a submodule for self-localization 2062, for example within a mapped environment. In addition, the navigation module 2060 has a submodule in order to keep the service robot 17 always in view of the people to be tracked 2063.
  • a path planning module 2064 for metric path planning ensures that the service robot 17 can efficiently calculate its own route to be covered.
  • a motion planning module 2065 for motion planning uses i.a. the results of the metric path planning from the path planning module 2064 and calculates an optimal path for the
  • Service robot 17 taking into account various target functions, including the
  • the submodule for the user address 2066 As to how the service robot 17 navigates in order to e.g. to address the patient.
  • the submodule 2067 ensures that a distance to the user (e.g. a patient, a therapist, a caregiver, or another person) is maintained, which reflects both security requirements and the personal, culturally shaped, interpersonal distance that the service robot 17 when interacting with people.
  • the service robot 17 has a mechanism which detects this self-blocking 2068 and can also release it again.
  • a module for determining waiting positions 2069 ensures that the service robot takes 17 waiting positions where it does not bother anyone.
  • Energy supply ensures that the service robot 17 automatically searches for a charging station when it is low on energy, docks there and charges its battery.
  • the level for service robot capabilities 2030 also holds a module that is dedicated to human-service robot interaction 2070.
  • a submodule covers the graphical user interface (GUI) from 2071, another submodule provides eye contact between the patient and the patient Service robot 17 from 2072 (if the service robot 17 has a head with eyes 2094) and two further submodules use speech synthesis 2073 and speech recognition 2074.
  • GUI graphical user interface
  • odometry module 2081 i.e. a measuring and control unit for the odometry function, which is connected to the navigation module 2060 via an interface.
  • Pressure sensitive bumpers 2082 are located several centimeters above the ground and allow collision detection. If a collision in
  • a charging port with associated charging electronics 2091 makes it possible to recharge the integrated battery and to be supplied with the appropriate energy by an external charging device.
  • Alternative energy sources such as a fuel cell, including a direct methanol or a solid oxide fuel cell, are also possible for the power supply of the service robot 17.
  • the service robot 17 has a LID AR 2083 and a panorama camera (2D, RGB) 2084. There is also an RGB-D camera (3D) 2085 on
  • Service robot 17 which has a zoom function and can be tracked 2086.
  • Wireless interfaces once a WLAN module 2088 and once for an RFID transponder 2089, allow the electronic exchange of data.
  • the service robot 17 has a touch display 2087. At least one
  • Loudspeaker 2092 enables, for example, the output of speech synthesis 2073, at least one microphone 2093 the recording of speech signals, for example with the aim of
  • Speech recognition 2074 using natural language processing is also possible.
  • a head with controllable eyes 2094 (with 6 degrees of freedom) ensures improved human-machine communication on an emotional level.
  • the components 2087, 2092-2094 serve primarily the human-s ervi cerob oter interaction.
  • the display 2087 can i.a. can be used for the following purposes within the 2021 user guide:
  • the service robot 17 can also have lighting elements in order to give instructions to the patient, for example to signal that the patient should turn into a certain aisle.
  • lighting elements are located, for example, in the upper area of the service robot 17 and comprise, for example, LEDs.
  • the service robot 17 has two drive wheels 6, which are centered and arranged parallel to one another (see FIG. 2). Around it, for example on a circular path, there are two or more support wheels 5.
  • This arrangement of the support wheels 5 allows the service robot 17 to be rotated on the spot by driving the drive wheels 6 in opposite directions.
  • the horizontal axis of the support wheels 5 is mounted such that the axis can rotate 360 degrees around the vertical axis.
  • the distance between the drive wheels 6 is greater than that shown in FIG. 2, so that the service robot 17 is prevented from tilting too easily.
  • This cloud 18 can be both a public and private cloud (“on premise”). A therapist has that
  • Access patient administration module 161 which in turn is connected to a memory of the patient administration module 162.
  • the patient administration module 161 and the memory of the patient administration module 162 are collectively referred to as the patient administration module 160.
  • the therapist can store patient data in the memory of the patient administration module 162 or, in one aspect, this patient data from at least one other via an interface Import patient data management system 170, which in turn via a computer of the patient data management system 171 and a memory of the
  • Patient data management system 172 has. These other systems include hospital management systems, hospital information systems (HIS) and / or patient data management systems, as are usually used in clinics or
  • Patient administration module 160 assign the exercise plan to the patient
  • Modify the exercise plan for example, over time and view the evaluations of the exercises in the exercise plan that the patient has carried out with the service robot 17 and which were transferred from the service robot 17 into the memory of the patient administration module 162 via an interface.
  • the patient administration module 160 documents the treatment progress of the patient in that the patient administration module 160 receives evaluations carried out by the service robot 17, and can transfer the treatment progress to external patient data management systems 170 such as hospital management systems.
  • a navigation system 180 is located in the cloud 18, which contains navigation information and displays it via a computer of the navigation system 181 and a memory of the navigation system 182.
  • This navigation information is connected via an interface to the navigation module 2060 of the service robot 17, in particular to a room plan module 2060r.
  • the coordinates of the rooms in which the service robot 17 moves and which have also been mapped by the service robot 17 are assigned, for example, room numbers which are in the
  • Navigation system 180 and / or in the space planning module 2060r are examples of the navigation system 180 and / or in the space planning module 2060r.
  • the cloud 18 is connected to a set of rules 150, which has a computer of the set of rules 151 and a memory of the set of rules 152. Central to this are primarily those algorithms that are primarily used at the application level 2010, behavior level 2020 and service robot capabilities 2030 of the service robot 17 in FIG. 1, but also those that are used in the
  • Patient administration module 160 can be used. Algorithms that are used to evaluate the movement sequence in the movement sequence evaluation module 2052 may be mentioned as examples. This also means that, depending on the aspect, individual modules from FIG. 1 can only be kept in the cloud 18, provided the service robot 17 has an online connection to the cloud 18, in particular also when it is for navigation purposes. Other algorithms that are in rule set 150 may make therapist suggestions for exercise plan adjustments.
  • a learning module 190 in the cloud 18 with at least one learning module computer 191 and at least one learning module memory 192.
  • Historical data that the therapist has recorded, which the therapist has created, for example, are stored here has generated a exercise plan in the patient administration module 160 and / or which come from an external patient data management system 170 and, for example, was previously transferred to the patient administration module 160 and / or directly from the service robot 17. If this historical data relates to the patient, this historical data is anonymized in front. This historical data is accessible via a terminal 12 (see FIG. 3) and can be labeled, for example. As will be described in more detail below, this historical data is used to improve the algorithms in the rule set 150.
  • the rule set 150 is configured such that the algorithms installed locally on the service robot 17 can be updated, for example, via a wireless interface such as the WLAN module 2088, with algorithms being transferred from the memory of the rule set 152 here.
  • algorithms in the memory of the rule set 152 are configured such that the algorithms installed locally on the service robot 17 can be updated, for example, via a wireless interface such as the WLAN module 2088, with algorithms being transferred from the memory of the rule set 152 here.
  • Patient administration module 162 can be updated via the cloud 18.
  • the service robot 17 shown as an example itself has a computer 9 and a memory 10, at least one sensor 3, at least one support wheel 5 and at least one drive wheel 6 and an energy source 8.
  • the service robot 17 can have alternative and / or additional sensors. These include ultrasonic sensors and / or radar sensors that are pressure sensitive
  • the service robot 17 can have one or more magnetic sensors which are arranged in such a way that the magnetic sensors detect magnets on the floor with the purpose of limiting the spatial dimensions of the
  • the service robot 17 can also have infrared sensors, ultrasound and / or radar sensors which are directed towards the floor and in one aspect in this way are configured so that the infrared sensors, ultrasound and / or radar sensors can detect steps, for example.
  • the information from these infrared sensors, ultrasound and / or radar sensors can be found, for example, in the mapping module 2061 in the maps created.
  • the at least 3D camera (either designed as an RGB-D or as a pure depth camera) can be used not only for functions of the person recognition module 2040, but also for three-dimensional mapping in the mapping module 2061.
  • the at least one 2D-RGB camera can be used With the help of appropriate
  • Frameworks such as Open pose (Cao et al. 2017) can also be used for 3D person tracking 2042, for which the corresponding framework is used in the case of a Kinect, in the case of an Astra Orbbec, for example, NUITrack.
  • the 3D camera can be replaced.
  • time-of-flight (ToF) technology can be used, such as in the Microsoft Kinect, or a speckle sensor as in the Astra Orbbec.
  • ToF time-of-flight
  • one or more 3D cameras can also be used as a replacement for the LID AR 2083.
  • the person recognition in the person recognition module 2040 takes place on the basis of at least one optical sensor such as the LID AR 2083, a 2D camera 2084 and / or a 3D camera (either configured as an RGB-3D camera 2085 or as a pure depth camera).
  • the LID AR 2083 especially in the case of a 2D LIDAR, is also not used alone, but in combination with at least one 2D camera 2084 and / or 3D camera.
  • the distance between the patient and the service robot 17 is determined via the LID AR 2083 and a detection of their movements and poses via the 2D camera 2084 or the 3D camera, the latter also being able to determine the data for determining the distance between patient and service robot 17.
  • a 2D-RGB camera and a separate 3D depth camera can also be used, which means an additional effort in signal processing, in particular synchronization, compared to a (3D) RGB-D camera.
  • the term “poses” is understood to mean the orientation of a person in the room including their limbs / body parts (body elements) as well as the orientation of the service robot 17 in the room. Establish exercise plans
  • the starting point, for example, for therapeutic gait training is the exercise plan, the aim of which is to show the physical abilities of the patient and thus his or her over time
  • the service robot 17 is now configured in such a way that the described sensor system supports the therapeutic one
  • Gait training is possible. For example, after the implantation of a total hip endoprosthesis (hip TEP), the patient must now take care of relieving the operated area with the help of forearm crutches (UAGS) and try to relieve the normal or physiological movement as close as possible get.
  • UGS forearm crutches
  • This sequence of movements is clearly defined and, for example, detailed in Chapter 2 by Götz-Neumann, “Understanding Walking”, Thieme-Verlag, 2016 and in Chapter 6 by Smolenski et al, “Janda, Manual Muscle Function Diagnostics (Elsevier-Verlag, 2016). Due to pain, the patient "trained” a gait pattern (i.e. movement sequence) until the time of the operation, which the patient now does after the
  • This trained gait pattern is also referred to below as “deviating gait sequence” or “deviating movement sequence”, corresponding features of the
  • Movement sequence such as a step length influenced by pain and therefore a different stride length than in the physiological movement sequence, is called a different stride length.
  • the support and contralateral leg are placed forward at the same time or promptly, followed by the opposite side (right forearm support - left leg, left forearm support - right leg; this corresponds to a reciprocal sequence of movements). As soon as the patient no longer needs this relief, consult the doctor and the doctor
  • the transition from three-point gait to two-point gait takes place when the patient has a fluid movement, characterized by standing time, playing leg phase, stride length and / or increasing symmetry between both legs and an increase in walking speed.
  • the criteria for the transition to the two-point gait or omission of the UAGS are met if the service robot 17 makes fewer corrections to the patient than a threshold value and the walking speed determined by the service robot 17 is above a threshold value, which in turn can depend on various influencing parameters such as the initial walking speed, comorbidities, etc. determined during the first training session
  • the transition can also be made if previously determined
  • Exercise parameters and the exercise progress derived from these parameters show a high degree of agreement with interventions in the exercise plan that a therapist carries out and gives the patient approval for the two-point course. Exercise progress is shown as the difference in the movement sequence parameters in the movement sequence
  • the service robot 17 can either make the change from three-point to two-point gear independently in the exercise plan or suggest it to the therapist, as illustrated, for example, in FIG. 10 (explained in more detail later) with a view to various other parameters.
  • Figure 4 illustrates such an exemplary exercise plan that the patient is completing. While the lines indicate the days, the third column shows which exercises the patient is carrying out with the service robot 17. In this example, this is not an exercise on the first day, on the second day, for example, the three-point gait is practiced for 5-10 minutes, with the patient covering approx. -20-200m. In the second column are the tasks for the
  • Patient administration module 160 created.
  • the therapist can, for example, access a graphical user interface (GUI) (FIG. 5), via which, for example, the exercise plans are configured for each day that the patient spends in the clinic or rehabilitation facility.
  • GUI graphical user interface
  • These exercise plans include a patient ID and, for example, the date of the operation, the side of the operation (in the case of knee and / or hip operations), a possible release of certain gaits such as the two and / or three-point gait from a certain date, a possible training release for exercises on a staircase, as well as the dosage of the exercise (frequency, duration and route length per day or exercise).
  • GUI graphical user interface
  • Service robots 17 clinic- / facility-specific exercise plans are stored, which correspond to the requirements of the respective surgeons.
  • the aim is, for example, after an operation on the hip / knee / ankle to learn the correct sequence with the UAGS depending on the respective degree of stress and healing and on the other hand the respective movements in the joints.
  • These exercise plans adapt to the defined / agreed scheme of the surgeons. However, they can be actively changed or adapted by the therapist, as explained below.
  • the therapist can change the gait in the exercise plan "Reset" three point gait and let the patient learn the course of the two point gait at a later time.
  • the therapist can see in one aspect, and as described in more detail elsewhere, on the basis of the evaluation of historical data, for example in the GUI, which adjustments to the exercise plan are to be made, primarily dynamically, i.e. for example on day three after the operation based on the training success of the previous days. As described elsewhere in this document, are also automatic
  • this exercise plan or the instructions associated therewith are transmitted to the service robot 17.
  • 6 describes the data exchange between the patient administration module 160, the navigation system 180, which contains room information (alternatively, the room plan module 2060r, which also contains this room information - optional),
  • patient data for a patient are created in the patient administration module 160.
  • patient data include the name, an ID, the diagnosis (hip operation if necessary),
  • the patient data can also be obtained, for example, via an external system such as the hospital information system via an interface.
  • the coordinates of the room can be taken from the room number module 2060r in the navigation module 2060 of the service robot 17, alternatively from one
  • complementary module in the memory of the cloud-based navigation module 160 are transmitted via an interface in step 610, which in one aspect of the method can be used to pick up patients in their room. Alternatively and / or additionally, the area in which the service robot 17 meets the patient can be defined.
  • the exercise plan (and possibly patient data) are transferred 610 to a transponder or storage medium (such as a USB stick). This is given to the patient.
  • the patient transfers the data to the service robot 17 by holding the transponder to an RFTD reading (and possibly writing) device 2089 of the service robot 17, the service robot 17 recognizes 612 this transponder and reads it 615 accordingly.
  • a contactless RFTD In the case of a memory (for example a USB memory card), the reading and / or writing device 2089 can use a contact-based interface such as a USB port for the USB memory.
  • a patient ID from the patient administration module 160 is transmitted 620 to the transponder.
  • an ID of the transponder in the patient administration module 160 is associated with the patient and is thus (at least for data transfer via transponder or possibly also memory) for the patient ID.
  • the transponder (possibly also the memory) is on the service robot 17 on the Reading and / or (writing) device 2089 is recognized 612 and the patient ID is thus read 625, which is also done by the patient handling the transponder / memory.
  • the service robot 17 downloads, via an interface from the patient administration module 160 located in the cloud 18, 660 the data necessary for carrying out the exercise, such as the exercise plan, the patient ID obtained being used for this, the relevant data record in the memory 162 of
  • Identify patient administration module 160 As an alternative to using a
  • a transponder and / or memory can also be generated, which contains the patient ID 630 and which is given to the patient. This is recognized 632 by the service robot 17 when the barcode is held in front of at least one of the 2D cameras 2084 or 3D cameras. The barcode or the patient ID are read 635. Based on this, the service robot 17 downloads 660 the data necessary for the execution of the exercise, such as the exercise plan, from the patient administration module 160 located in the cloud 18. The patient ID 630 obtained is used to identify the relevant data record in the database 162 of the patient administration module 160. As an alternative to the identification methods mentioned so far on
  • the service robot 17 can also receive a login for the patient, which is associated 640 with a patient ID in the patient administration module 160. If the login is entered on the service robot 17 in step 645, the service robot 17 loads the login with this login (and thus the patient ID) associated and relevant for the execution of the exercise from the patient administration module 160 in step 660.
  • biometric data of the patient can also be used, such as an iris scan, a fingerprint or a scan of the face in step 650, which in the
  • Patient administration module 160 are associated with the patient.
  • the patient can then identify himself appropriately on the service robot 17, a corresponding reading device having to be installed in the case of an iris scan or a fingerprint scan.
  • the 3D camera of the service robot 17 can also be configured accordingly for a scan of the face, for example the RGB-D camera 2085. After these steps 645 and 655, the service robot 17 loads the data associated with the patient ID for carrying out the Exercises down.
  • the service robot 17 then carries out the exercises in step 665, records the results of the exercises in step 670 and analyzes the results with a view to exercise plan 675. These three steps 665, 670, and 675 are discussed in more detail elsewhere.
  • the data recorded by the service robot 17, in particular the evaluations of the service robot 17, possibly also video recordings of the exercises, raw data of the skeletal recognition (which will be described in more detail below), are transmitted again to the patient administration module 160. In the first case described (steps 610-612-615), this can be done by transferring this data to the transponder / memory in step 680 and this
  • Transponder / memory is transferred from the patient to the therapist who
  • step 685 reads the transponder / memory at a terminal into the patient administration module 160 in step 685.
  • data can be transferred from the service robot 17 to the patient administration module 160 in the cloud 18 in step 690 via an interface, the data being stored there in accordance with the patient ID.
  • Such transmission can take place at the end of the exercises or during the execution of the exercises, in real time or at intervals.
  • One aspect of the data transmission relies on anonymity in the data exchange, for which no data are transmitted to the service robot 17, which allow the patient to be identified (without the association of person ID with, for example, names), and also no data are stored on the service robot 17 that would allow identification of the patient. If the service robot creates 17 video recordings of the patient, these video recordings, as will be described elsewhere, are
  • Service robot 17 configured so that the service robot 17 picks up a patient at one location, accompanies the patient to an exercise area, does the exercises there and, if necessary, brings the patient back again. These steps are shown in dashed boxes in FIG. 7, since these steps are optional, because the service robot 17 can also wait for the patient at one location.
  • the patient signals the service robot 17 that he wishes to exercise.
  • a scheduled exercise can be scheduled for the patient (date, time defined, for example, in the exercise schedule) and / or a complementary schedule.
  • the service robot 17 visits the patient, the information on premises (such as the patient's room number) coming from the navigation system 180 or the room plan module 2060r, in
  • Patient administration module 160 are stored and transmitted together with the exercise plan to the service robot 17, as was described in FIG. 6. Of the
  • Service robot 17 can use the room plan module 2060r and the map created in the mapping module 2061 to locate the room and navigate there, for which the service robot 17 uses its route guidance module 2024 (in example 7, the mapping procedure is discussed in more detail). If the service robot 17 arrives at the patient, this patient can identify himself at the service robot 17 in step 415, as has already been explained in detail in FIG. 6. As an alternative to this, the patient can also go to a place where the service robot 17 is waiting. Based on this identification in step 415, the
  • Service robot 17 its sensor system, comprising a LID AR 2083, the 2D camera 2084 and / or the 3D camera (either configured as an RGB-D camera 2085 or as a pure depth camera) in order to recognize the patient in step 420, what can be done by means of the
  • Personal identification takes place in the personal identification module 2041.
  • the patient is then tracked in step 425, which is done by means of the first
  • Person tracking module 2042 and / or the second person tracking module 2043 can happen.
  • the patient is re-identified with the aid of the re-identification module.
  • Example 4 shows a possible embodiment in more detail.
  • the patient can transmit information about training to the service robot 17, for example an individual training request.
  • the patient can also select exercises that the patient would like to complete, in contrast to the exercise plan, which contains predefined exercises.
  • the service robot 17 checks, in the case of an exercise request chosen by the patient himself, whether it corresponds to the therapist's specifications. Because gait training is usually one
  • Gait trainings relate to the distance to be covered, etc. With regard to a patient, this means that patients can choose exercise plan configurations that are based on an automated release for certain exercises. Alternatively and / or additionally, the number and / or type of corrections made in the movement sequence can also be used for the automated release.
  • the service robot 17 can also query information in dialog 430 in step 430 and / or simulate exercises to be completed.
  • the dialog can be done via a graphical user interface 2071 via a screen (e.g. a touch display or
  • the service robot 17 can maintain an optimal distance 2067 from the user. Thereafter (optional), the service robot 17 navigates to the exercise area 435 with the aid of algorithms from the route guidance module 2024 “drive to the destination”.
  • the service robot 17 asks the patient to follow him via the described output units, LEDs, etc. or gives him information on where the patient should move.
  • the patient can move in front of the service robot 17 or follow the service robot 17, both during navigation to the exercise area and during the exercises themselves.
  • the service robot 17 also moves primarily at a constant distance from the patient, which improves sensor detection of the exercises to be completed.
  • the service robot 17 calculates a route that the patient and the service robot 17 should or must complete.
  • the mapping module 2061 in connection with the metric path planning from the path planning module 2064 and the
  • Motion planning module 2065 can be used in one aspect using evolutionary algorithms. As soon as the practice real is reached, the exercises begin. The gives Service robot 17 Instructions for exercises / corrections in step 440, which are based on the movement correction module 2022. In the further course the
  • Motion evaluation module 2050 recorded the execution of the exercises (in
  • the instructions for correcting the movement sequence which are generated, for example, as speech output using speech synthesis (and / or are also output on a display), can provide information on positioning the UAGS, straightening the upper body, etc.
  • Steps 440-450 are an iterative process, since several corrections and possibly several sub-elements of an exercise can be carried out over the course of the exercise.
  • the service robot 17 can also (again) accompany the patient to a location in step 465 (back), for example his room.
  • the patient is generally tracked continuously during navigation. If tracking is interrupted during this time, re-identification must take place.
  • Sensor data is exemplarily illustrated in FIG. 8.
  • movements of the patient are detected by the sensor, such as a Kinect 2 or an Astra Orbbec, which is a 2085 RGB-D camera.
  • the depth image generated by the 3D depth camera in step 710 from the sensor data is then transformed in step 715 into data for representing a 3D point cloud, in which each pixel of the 3D camera is assigned to a spatial coordinate. This creates a 3D representation of the
  • step 720 feature extraction
  • Skeleton modeling uses the data from the 3D point cloud and derive signals for the recorded color, spatial depth and skeleton information in step 725.
  • these signals contain information about, for example, joint points of the respective skeleton model, which, for example, describe the patient's knee joint or hip joint.
  • FIG. 20 exemplifies a skeleton model, with the body 1703, the articulation points 1701 and the connections between articulation points 1702, which, if directed, are given as
  • Direction vectors can be output. If frameworks such as OpenPose are used, a 2D camera such as an ordinary RGB camera can also be used instead of a 3D camera.
  • the sensor data of the 3D camera are evaluated in such a way that, seen from the sensor, the distance to each detected object or area of an object is determined, this evaluation being based on the resolution of the 3D camera and the distance of the objects is dependent.
  • spatial coordinates can be assigned to the sensor data from the 3D camera. These spatial coordinates are then in turn assigned to the articulation points.
  • mathematical vector operations can be used to define the direction vectors between articulation points in direction and length (which also corresponds to the distance), as well as calculate angles between them, etc.
  • step 730 there is a joint selection, i.e. only the articulation points necessary for the calculations to be carried out subsequently
  • step 735 angle calculations are carried out, for example for the angle between the lower and upper thigh, or the angle by which the thigh deviates from the vertical, for which purpose a joint point is defined as the base and the orientation of the limbs / trunk and / or e.g. the plumb as Direction vectors represent the basis for an angle calculation (see also explanations Fig. 19). Furthermore, distance determinations are carried out in step 760, for example
  • time-distance parameters This category includes, for example, the stride length, the service life, the track width and the flexion and extension of the hip and knee joints (depending on the therapy to be carried out) over time. They are usually determined over the course of a double step. An example of this can be found in Example 1.
  • the stride length can be a Euclidean distance between the
  • Ankle points 1950 can be determined within the sagittal plane, e.g. each at the time when the feet come into contact with the floor (to be recognized, for example, by the minima of the height of the ankle points 1950 above the floor), which indicates the stride length.
  • a recognition of the forearm crutches is used in step 740, also referred to as UAGS recognition (which in one aspect can also support armpits and / or can include other types of canes / walking aids).
  • the UAGS recognition thus allows the gait pattern to be assessed at a later time in conjunction with gait aids.
  • the 3D point cloud of the built-in depth camera recorded in step 710 also serves as the starting point for this detection.
  • the UAGS are shown in the point cloud by a
  • Segmentation unit found.
  • Knowledge of the patient's skeleton is included to preselect suitable candidate regions 745, i.e. Areas in the room where the UAGS are likely to be located. It can be assumed that these represent an extension of the arms downwards, making this area, for example, the candidate region for the detection of UAGS.
  • candidate regions are then checked for agreement with model assumptions about the shape of typical UAGS (elongated, narrow) in step 750 and selected if necessary.
  • the position of the UAGS for example the end points 1970 which touch the ground, are in turn used as time-distance parameters within the feature extraction 720, for example within the
  • step 765 This is followed by the feature classification (or feature evaluation) in step 765, which can take place according to various criteria.
  • a previously determined and possibly patient-specific threshold value comes into question, the over- or is undercut, the extracted feature is evaluated primarily over time.
  • a step length of 30 cm can be determined by the service robot 17. The maximum allowed deviation of the recorded stride length according to the
  • Classification is 20cm. Since 65 cm standard stride length minus 30 cm measured by the service robot 17 stride length> 20 deviation value from the classification, the stride length of 30 cm would be assessed as too short.
  • Step length deviations (spoken in absolute values) of 20 cm serve as a threshold value or, for example, 20%, based on the physiological step length (i.e. that of the leg not operated on) - in contrast to the deviating step length, which relates to the operated leg and from the physiological step the operation deviates conditionally.
  • the classified features are evaluated in context (referred to as movement sequence classification in step 770), i.e. not with a view to individual characteristics, e.g. Stride length or lane width, but taking into account combinations of features that are expressed, for example, in body poses, in one aspect taking walking aids into account.
  • This can be used to make statements about the use of the prescribed movement type (two-point gait, three-point gait). This happens, like the feature extraction 720 or the feature classification 765 in the motion sequence evaluation module 2052.
  • the goal is the output of the
  • Movement sequence correction (step 450), i.e. an issue of instructions to the patient to ask him to adapt his movements in his own movement sequence so that they correspond to or at least come close to the physiological movement sequence.
  • the service robot 17 provides feedback to the patient (indication of errors,
  • Movement sequence classification assigned a set of rules that can be represented in one aspect as a decision matrix in which for certain poses (e.g.
  • This motion sequence correction is shown as step 775 decision classification in FIG. 9.
  • the detection values for the stride length of the healthy leg are "too short” (ie below a certain threshold) and at the same time the distance between the UAGS and the healthy leg will be assessed as “too short forward” (ie above a certain threshold) ). If these two and only these two feature classifications apply in this combination, the decision matrix makes the correction: "Put the healthy leg past the operated leg, from the over the imaginary connecting line between the supports.”
  • Fig. 9 shows this schematically. For example, as the
  • Correction announcement 2 in turn is triggered, for example, when errors 1, 2 and 4 in
  • Movement sequence can be made and not all errors can be corrected at the same time, a prioritization of the therapist determined by therapists
  • Movement sequence classifications 770 which e.g. a correction has been assigned, but can still be saved and made available to the therapist, which is described in more detail in the following section.
  • the matrix in FIG. 9 does not have to be deterministic, ie it is not necessary to store a correction output for each detected deviation of the movement sequence from the physiological movement sequence, which is output in the case of this deviation.
  • the output can also be dynamic.
  • the correction editions can, for example, also be prioritized. Different priority scores are assigned to individual deviations.
  • the service robot can then carry out a certain number of outputs per time interval, with only the highest priority outputs, ie those with the highest priority scores.
  • defined delay periods can be stored in one aspect after a detected deviation, after which the movement sequence correction 450 is output, for example, within these delay periods of the correction output with the highest priority.
  • therapists can influence the set of rules for the movement sequence correction, for example the decision matrix for the movement sequence classification 770, by making settings in the patient administration module in such a way that certain poses / instructions are prioritized, others are possibly ignored, with which the
  • Movement sequence correction is adaptive. This information can be transmitted to the service robot 17 together with the exercise plan and is therefore in the
  • Such settings can be learned together with the exercise plan settings via the suggestion function in the learning module 190 and proposed to the therapist, in a further aspect they can also be made automatically by the service robot 17, as will be explained in more detail below.
  • therapists can, after viewing the evaluations of the movement training that the service robot 17 has carried out with the patient, modify the exercise plan for the patient in order to improve the success of the treatment.
  • the system illustrated in FIG. 3 is capable of providing the therapist
  • Propose exercise plan adjustments based on historical data. For example, the rules implemented here can make suggestions to switch back from two to three points if the patient makes too many mistakes in the course of two points, is too slow, the operated leg is still too heavily loaded, etc. The therapist can make such suggestions accept or reject.
  • the service robot 17 even carries out these past-based exercise plan adjustments automatically.
  • the basis for this ability of the system is a self-learning system, which is shown in FIG. 10 accordingly.
  • This self-learning system increases iteratively Quality of therapy success, which mainly occurs in two ways: a) recording situations that have not been described before because they may rarely occur, and b) increasing the number of cases. Both leads to the fact that more precise weight determinations of the node weight can be carried out within the framework of machine Lem models and / or neural networks, which the effectiveness of the service robot 17
  • the patient administration module 160 has the function of submitting treatment suggestions to the therapist 1330. In a first stage that gets
  • Patient administration module 160 patient data about the patient, either through input by the therapist and / or via the interface to an external system such as a hospital information system (HIS) / patient data management system 170.
  • an external system such as a hospital information system (HIS) / patient data management system 170.
  • HIS hospital information system
  • factors are recorded that have an influence on the design of the therapy, such as parameters that affect the general mobility or agility of the patient (degree of independence, possible paralysis of the extremities, aids to be used) 1310, comorbidities (heart failure , Heart attack, dizziness, diabetes, diseases that are associated with an increased risk of falling, such as Parkinson's) 1315, but above all the reason for completing the exercises (such as a hip TEP on the right, due to osteoarthritis) 1320.
  • parameters that affect the general mobility or agility of the patient (degree of independence, possible paralysis of the extremities, aids to be used) 1310
  • comorbidities heart failure , Heart attack, dizziness, diabetes, diseases that are associated with an increased risk of falling, such as Parkinson's
  • the reason for completing the exercises such as a hip TEP on the right, due to osteoarthritis
  • One aspect also includes the type of surgery (direct anterior anterior access, lateral access to the hip, etc.) 1325, which in
  • the therapist 1330 defines an exercise plan 1335 for each patient.
  • standardized exercise plans 1335 which are transmitted to the patient administration module 160 via an interface (not shown in FIG. 10 for reasons of simplification), which are proposed to the therapist 1330 in one embodiment variant, and are selected automatically in another embodiment variant.
  • agility 1305, location of the OP 1320 (such as knees, hips) and / or type of OP 1325 are taken into account accordingly, i.e.
  • Embodiment variants can also be clinic-specific and in this case can be configured as such, for example, via the patient administration module 160.
  • Transferred to the GUI 5 it may be that the therapist 1330 is already shown a pre-selection of options, such as the three-point gait 1345 from the second postoperative day, the transition from three-point gait to two-point gait 1340 from day 4 postoperatively, the release for climbing stairs three days after completed operation 1350 and a maximum distance of 300m, with two exercises per day.
  • the configuration of exercise plan 1355 is thus a function of, for example, the starting day, the duration of the exercises, the distance, the
  • Rules 150 are automatically specified, represent the exercise plan 1335.
  • This exercise plan 1335 is, in one aspect, also transmitted to the service robot 17 via an interface 1360 together with data of the patient, such as, for example, the body size and possibly also comorbidities, the type of operation (OP), etc. stored 1405.
  • the service robot 17 then evaluates exercises 2013 (gait training) with a view to the sizes that are shown, for example, in the GUI representation in FIG. 11, which is shown in FIG Module for evaluating the exercises in 2013 can be implemented.
  • This data is transmitted to the cloud via an interface 1360 and flows into the learning module 190.
  • the data recorded by the service robot 17 are not yet processed with respect to the exercise plan evaluation as shown in FIG. 11, but only the raw data (such as the measured step length) are sent to the
  • Transfer patient administration module 160 There, for example, those of the measured different stride lengths would be set in relation to the normal (physiological) stride length. Depending on the aspect, you can do this in one or both cases
  • processed data are then also transmitted back to the service robot 17 via the interface 1360.
  • FIG. 11 In the context of the evaluation 1406, it is shown (FIG. 11) how long a training lasted per day, how long the distance and the speed of the patient was, whereby the progress from day to day is also determined. It also shows which Concrete deviations from the physiological movement sequence occur, in particular with regard to key parameters, including the sequence of the use of the support determined by the service robot 17, the standing time, leg phase, upper body / view, stride length and / or track width. The progress of the therapy is also shown, as well as in one aspect which corrective measures have been initiated in the meantime. Furthermore, in one aspect, the therapist 1330 can receive information for the individual therapy to be carried out in order to target individual deviations from the desired one
  • the data of the evaluation of the gait training are transmitted to the lem module 190 in the cloud over time 1406. As explained above, this transmitted data also includes data from
  • Service robot 17 outputs the movement sequence corrections 450 or deviations of the movement sequence associated therewith. This data is stored in
  • Lem module memory 192 of the lem module 190 is stored and, if already available, supplements historical data 1505 that originate from previous exercises, wherein this historical data 1505 could and should also originate from more than one patient and more than one therapist.
  • Weight determinations for node weights in the nodes of the neural networks and / or the Lem models for an exercise plan adaptation 1510 were carried out.
  • the evaluation of the patient performed by the service robot 17, possibly in conjunction with the set of rules 150 and / or patient administration module 160, are used as input variables
  • patient data such as age of the patient, his height, person weight, comorbidities, type of operation, etc. (1310-1325) and as a starting point the settings of the exercise plan for the exercise later time t + 1 or t.
  • node weights Once such node weights have been determined, they can be used to determine the patient's weight based on evaluations of the service robot 17 (possibly in conjunction with the set of rules 150 and / or patient administration module 160) Movement training forecasts are made about which settings the therapist would or should make, for example, these settings both
  • Exercise plan adjustments can also be to leave an already defined exercise plan on standard settings. Ultimately, you can also do that
  • the determined node weights are transmitted to the rule set 150, where any node weights from previous determinations are updated. Based on the node weights, rules derived from the node weights can then be updated in the next step (for example, if a certain speed is present on a certain day and taking other parameters into account, the duration of the training is extended).
  • these rules 1530 can also be transmitted directly to the service robot 17 so that this service robot 17 can carry out an autonomous adaptation of the exercise plans.
  • the system outlined in FIG. 10 can either recalculate the node weights after the completion of each exercise or can only do this recalculation at certain intervals, in which case the data relevant for the new weighting of the node weights are temporarily stored.
  • the rules stored in the rules 150 or the rules stored in corresponding modules of the service robot are used.
  • the automated adaptation of the exercise plan 2012 can also be carried out in the patient administration module, ie the proposals for the 1535 plan adaptation are not implemented as suggestions, but instead an automated plan adaptation takes place that does not require any therapist intervention. Improvement of movement sequence evaluation and movement sequence correction
  • the movement sequence evaluation in the movement sequence evaluation module 2052 in a first stage and movement sequence correction in the movement correction module 2022 in a second stage essentially determine how well errors in the movement sequence are recognized and then also corrected. Together they play
  • Movement sequence evaluation and the movement sequence correction play a role for the
  • Evaluations are possible, in the case of an evaluation using machine learning and / or neural networks, for example, more precise weight determinations of the node weights can also be carried out.
  • Fig. 12 describes the underlying system and the process.
  • the service robot 17 carries out the movement training with a patient.
  • the motion sequence extraction module 2051 a feature extraction of the motion sequence takes place and in the motion correction module 2022 the output of the motion sequence correction 450 takes place, which is carried out by the processes feature extraction 720, feature classification 765, motion sequence classification 770, motion sequence correction like that
  • Decision classification 775 and output of motion sequence correction 450 is characterized.
  • the service robot 17 here records the data on the movement sequence of the person (i.e. the patient) and / or stores this recorded data in a step 1535a.
  • the recorded data include the recorded data
  • Movement sequence parameters such as the movements of the patient, including the movement sequence classification 770, the feature classification 765, and / or the decision classification 775 and / or the output of the movement sequence correction 450, and / or video sequences 1425, which document the movements of the patient and from an RGB-2D Camera 2084 and / or RGB-D-3D camera 2085.
  • Motion sequence parameters also include in one execution
  • Movement sequence classification 770 and feature classifications 765 This data are transmitted to the lem module 190 via the interface 1360 and stored there 1535a.
  • the video data with the video sequences are previously anonymized to the extent that facial features are pixelated so that the identity of the person cannot be recognized when the videos are viewed.
  • Solutions of this type are known in the prior art, are used for the automated blurring (pixelation or blackening) of picture elements such as faces or vehicle license plates and are available, for example, as product solutions from 3DIS GmbH or Guardian Project.
  • Therapists can access this via a terminal, view and record the recorded video data and various aspects of the movement sequence.
  • the therapist respects e.g. on personal parameters such as the stride length, the track width and / or the posture of the upper body including shoulder area of the patient.
  • the therapist enters these personal parameters (stride length, track width, posture, etc.) into the motion sequence assessment module 2052 together with the associated ones
  • Video sequences and provides this information with a so-called label 1535b i.e. the therapist marks the recorded movement sequences and differentiates the movement sequence into deviating and physiological for the movement sequence evaluation in the movement sequence evaluation module 2052.
  • the labeling by the therapist represents a movement sequence and / or feature classification.
  • the movement sequence and / or feature classification is continuously re-evaluated in steps 1540 and 1542 after an initial recording and labeling, and there may also be a re-evaluation of the
  • This adaptation can also be a manual control adaptation of the
  • Characteristic classification 1592 and / or decision classification 1595 updated. These updates to the rule set 150 are (via an interface, not shown) to the motion sequence extraction module 2051 for the feature extraction of the
  • Movement sequence classification 770 and decision classification 775 and possibly output of the movement sequence correction 450 is updated. A reassessment of the
  • the motion sequence can also result in the feature extraction of the motion sequence in the motion sequence extraction module 2051 also having to be adapted.
  • FIG. 13 shows this method in which a model is trained and then used to evaluate the movement sequence and the movement sequence correction.
  • the service robot 17 carries out the movement training with a patient. It takes place in
  • Movement sequence extraction module 2051 a feature extraction of the movement sequence movement sequence and via the movement correction module 2022 this takes place
  • the service robot 17 captures data and / or stores this captured data in step 1410. This includes the movement sequence parameters, i.e. the patient's movements, in one aspect the ones that have occurred
  • Evaluations of the movement training (as shown, for example, in FIG. 11) 1406. These evaluations of the movement training are transmitted via the interface 1360 to the learning module 190 and stored there 1535a.
  • the data is saved in a database and thereby an addition to existing, historical ones
  • Service robots 17 recorded data of the data with a view to the movement sequence classification 1550 and feature extraction 1552 and / or historical data of the
  • Decision classification 1555 which are supplemented by the newly stored data. Taking into account the evaluation of the movement training over time 1406, as shown, for example, in FIG. 11, a weight determination of the node weights of the
  • Decision classification 1565 can be made in a Lem model or a neural network. For this purpose, comparable to the weight determination of the node weights when adapting the exercise plan, machine learning algorithms such as
  • Clustering processes support vector machines as well as regression processes and / or neural networks such as convolutional neural networks are used.
  • the evaluations of the movement training such as the distance covered, standing time, leg phase etc., serve as direct values and / or calculated as an improvement over the previous period as output variables.
  • the ascertained features of the movement sequence including in one aspect the movement sequence classifications 770 and / or feature classifications 765 and / or decision classification 775 and / or output of the
  • Movement sequence corrections 450 and the patient's personal parameters such as age of the patient, his height, person weight, comorbidities, type of operation, etc. (not shown in FIG. 13) as input variables.
  • new node weights are generated and transmitted to rule set 150, one
  • Weight update of the node weights on the part of the movement sequence classification 1580, feature classification 1582 and / or decision classification 1585 result. These weight updates to the node weights in turn lead to
  • Rule updates of the movement sequence classification 1590, feature classification 1592 and / or the decision classification 1595 are (via an interface, not shown directly) to the rule system 150.
  • Movement sequence extraction module 2051 for the feature extraction of the movement sequence or the movement correction module 2022 transmitted in the service robot 17.
  • the two described methods of determining the weight of the node weights by means of machine learning and / or neural networks enable, for example, only those movement sequence corrections to be carried out which show actual success in terms of the progress of the therapy. This can also lead to fewer corrections being made by the service robot 17, which leads to savings in the
  • a reassessment of the movement process can also result in the feature extraction 720 in the movement process extraction module 2051 having to be adapted for the feature extraction of the movement process.
  • Movement sequence evaluation and the manual improvement of the movement sequence correction as well as which are combined based on the approaches of machine learning and / or neural networks.
  • a person's stride length is defined as the Euclidean distance between the ankles, i.e. the dated
  • Gait cycle consists of a swing phase and a stance phase for each leg.
  • the swing phase begins when the foot is lifted off the ground and continues as long as the foot is in the air and the leg is brought forward. As soon as the foot, ideally the heel, touches the ground (initial contact), the stance phase begins.
  • the standing phase of a leg is defined as the period in which the foot is on the floor, as is also evident from the skeleton model, which also identifies the level that corresponds to the floor. During a gait cycle, there are one for the right and left leg
  • Stride length that always refers to the leg that has initial ground contact after completing its swing phase.
  • the track width is defined as the distance between the two heel centers and is in the range of 5-13 cm, also ascertainable via the distance between the identified ankles 1950 within the frontal plane.
  • Patients in the skeleton model in the room are output as hinge points.
  • the Kinect 2 used in this example shows no poses of body parts in the skeleton model, these poses can be modeled via the connection of adjacent articulation points that the Kinect recognizes, which is implemented as part of the feature extraction 720 in step 735.
  • Figure 19 illustrates this modeling.
  • Some recognized articulation points are also shown here as filled circles.
  • direction vectors between recognized articulation points are calculated, e.g. by creating a vector between the 3D coordinates of adjacent hinge points.
  • Fig. 19 they are drawn as dashed arrows between the joint points lying next to each other.
  • the angle a of the knee joint point 1930 can be defined via the two direction vectors 1910 and 1920, which correspond to the course of the thigh and lower leg.
  • the first direction vector 1910 from the knee to the hip skeleton point and the second direction vector 1920 from the knee to the ankle skeleton point (or ankle-skeletal point) are calculated, namely by determining a connecting line between a knee joint point 1930 and the
  • the specified angle a shows the knee flexion, for example.
  • the determination can, for example, take place during the standing leg phase, i.e. in the phase from the first contact of the heel to the transition in the direction of weight gain through the other leg, which also initiates the so-called leg phase in the leg under consideration.
  • the corresponding shoulder and knee points are used.
  • the angle is determined using two direction vectors, one from the hip joint point 1940 to the
  • Knee joint point 1930 extends as well as the other from the hip joint point 1940 to
  • Hip joint point 1940r to right shoulder joint point 1960r One speaks of flexion, especially hip flexion, when a leg is oriented forward from the vertical, ie the flexion angle is generally defined via the direction vector 1910 (shown in reverse orientation) when the leg extends beyond the vertical in the walking direction located in front of it and the direction vector between the hip joint point 1940 and the shoulder joint point 1960 (see FIG. 19 b) with the angle ⁇ i).
  • Extension on the other hand, is defined as the backward orientation of the leg, ie the extension angle is defined via the direction vector towards the shoulder joint point 1960 and the direction vector 1910 (shown in reverse orientation) between the hip joint point 1940 and
  • Knee joint point 1930 when the leg is beyond the vertical in the walking direction behind it (see Fig. 19 c) with the angle ßi).
  • the angles can be determined on both sides.
  • the flexion and extension angle of the hip in turn is influenced, for example, by the forward inclination of the upper body, which has an effect on the course of movement.
  • the angle of the front tilt for example, is also recorded, which, for example, is determined by the direction vector from the middle hip joint point 1940 to the middle point
  • Inclination angle e is spanned.
  • calculations are also possible which relate to complement, supplement and / or secondary angle and / or which include the solder, for example, for determining the extension and / or flexion of the knee, hip or other limbs.
  • This is shown by way of example in FIGS. 19 f) and g), in which the hip joint extension can be seen with the hip extension angle di in g) and the flexion with the hip flexion angle yi in f).
  • the angle can be used, for example, together with the angle of the upper body inclination g in order to arrive at the angle ⁇ , etc.
  • 19 h shows an example of a skeleton model in which the end points 1970 of UAGS 1970 are shown, which are used, for example, elsewhere for determining the distance to the ankle points 1950.
  • the UAGS are indicated by dashed lines 1980, because they are not part of a framework like OpenPose etc.
  • the plotted curves illustrate the trunk inclination (top, lean of trunk), hip (center) and knee flexion (bottom) over a period of 23s for a patient with TEP (total endoprosthesis) in the right hip.
  • TEP total endoprosthesis
  • the flexion is significantly more pronounced (i.e. there are stronger amplitude fluctuations), which is due to the asymmetrical postoperative movement, which among other things. expressed in a larger stride on the non-operated side.
  • the gait training which the service robot 17 accompanies, takes place shortly after the operation and, as described, the patients must first complete the three-point gait, then the two-point gait.
  • the three-point gait and the two-point gait include the use of forearm crutches (UAGS) to reduce the stress on the operated joint.
  • UGS forearm crutches
  • the patient is instructed by a therapist in how to use the service robot 17.
  • the therapist must explain to the patient how to use the UAGS when sitting down and getting up, when turning around and opening the door, and the procedure of the
  • the therapist then releases the training with the service robot 17. As soon as the therapist receives feedback from the service robot 17 via the patient administration module that the switch to the two-point gear could take place, the therapist also shows the patient the correct sequence of setting the support here for the first time and, if necessary, checks the suggestion of the service robot 17 before he or she does so Gait "releases".
  • the service robot 17 uses depth data from the Kinect2 3D sensor for this.
  • the depth image is converted into a point cloud, for which the point cloud library described in the prior art is used. This point cloud will become smaller in the next step 745
  • Point clouds segmented based on the patient's skeleton model are segmented based on the patient's skeleton model.
  • the assumption is made use of that the UAGS must be close to the forearms and hands and approximately parallel to the legs, ie a selection is made Candidate regions.
  • Standard segmentation and fitting algorithms can thus be used efficiently to evaluate one of the smaller point clouds near the forearms / hands / legs in step 755. This is helped by the fact that certain model assumptions can also be made in step 750 which take into account the shape of the UAGS, i.e. it is taken into account in the segmentation algorithm or in the generation of the 3D data that the UAGS is quite thin in relation to the limbs of the Are patients.
  • the RANSAC framework can be used, for example, to
  • classification rules can also be used which are created by recording UAGS, for example from different
  • Movement sequence classification is used in step 770.
  • the position of the two feet is essentially evaluated in relation to the determined position of the UAGS. If the three-point movement is correct, the patient simultaneously moves the leg of the operated side forward with both UAGS in order to achieve optimal relief of the operated joint. The UAGS relieve the operated leg throughout
  • Stance phase and are only relocated at the transition to the swing phase. Since the movement of the UAGS largely occurs simultaneously to the operated leg, a straight line is defined between the two UAGS end points in 1970 and the distance between the base points and this straight line is evaluated.
  • the direction of movement of the patient is determined, ie the orientation of his sagittal plane, which can be done, for example, by the position and / or direction of movement of the arms, legs and / or the orientation of the pelvis and / or shoulders.
  • the patient is tracked over a defined period of time and the orientation results from the movement of the patient over time.
  • a line can be determined, orthogonal to the direction of movement or orientation of the patient, which runs through the UAGS and to which the distance of the base points is evaluated. This makes it possible to identify typical errors in the three-point gait, such as putting the UAGS on too early or too late and relieving the pressure on the wrong leg, by statistically evaluating the distance curve.
  • a Deviation from the arranged gait for example towards an unordered / incorrect sequence, can be recognized by evaluating the UAGS position relative to the patient's body. Based on the definition of
  • both UAGS are at approximately the same level in the patient's sagittal plane when the movement is correct. Deviations in this position that exceed a corresponding threshold value can then be recognized as errors in the process.
  • Fig. 15 shows the use of props over time.
  • the upper time-course diagram shows the height of the props above the ground (left prop: higher amplitudes on average, i.e. the solid line; right prop: smaller on average)
  • the service robot 17 must distinguish different motion sequence features from physiological motion sequence features. This classification must be carried out in real time while the patient is moving behind a service robot 17.
  • the classification whether stride length, standing time, stride width, trunk inclinations or joint rashes / movements are in the physiologically typical areas is carried out by physiotherapists. This involves movements of healthy people and physically impaired people recorded by means of the Kinect device and a 2D camera 2084 and the movements of the people, broken down to each individual movement, are labeled, which in each case takes advantage of time stamps in the labeling and in the recordings of the Kinect device. In this case, features are labeled that include movement errors as well as a correct movement sequence. The time stamps are used for the synchronization of labeled data and the 3D recordings of the 3D camera.
  • the diagram also shows the different stride lengths.
  • the curve shown is determined from the distance between the ankles (sagittal plane).
  • the minima result from the moment when the ankles are at the same height.
  • the maxima represent the maximum distance between the ankle of the forward leg and the ankle of the supporting leg.
  • the diagram shows that the left, non-operated leg takes a significantly shorter step compared to the right leg. It would be optimal for the gradual increase in stress in the operated leg and for the maintenance of a fluid movement sequence to take the same big steps.
  • the relationship between the stride length and the standing time of both legs can be regarded as a suitable instrument for characterizing a patient's gait as physiological or deviating, a classification as “deviating” resulting in the output of a movement sequence correction 450.
  • the Fl score is evaluated, which divides both classes (errors / deviations vs. correct ones Movement execution) differentiated, which can be calculated for different threshold values.
  • the Fl score is generally defined as
  • Fig. 17 shows the best threshold corresponds to the highest Fl score.
  • a symmetry of 0.0 means perfect symmetry between the left and right legs, with symmetries of ⁇ 1.0 meaning that one leg is more than twice the stride length than the other.
  • a threshold value is found that best separates the two classes. In this case the best symmetry threshold is - 0.17 (precision: 0.85, recall: 0.87), which means that stride lengths are less than -0.17
  • Deviation from the normal movement sequence can be classified and thus initiate a correction by the service robot 17.
  • step 1805 information about the leg to be spared (operated side) is first used (which is obtained, for example, as in the explanation for FIG. 5).
  • step 720 the articulation points, the direction vectors between
  • the track width is determined, for example, by calculating the distance between the ankle points 1950 in the frontal plane 1825.
  • the track width is assessed in step 1865, i.e. a determination of the distance between the ankle points 1950.
  • a determination of the stride lengths i.e. the measured distance of the ankle points 1950 in the sagittal plane at
  • step 1830 with, for example, an assessment of the stride length ratio in the gait cycle 1870 in the context of the Feature classification 765.
  • the service life in step is recorded by a time measurement and evaluated in step 1875.
  • the inclination of the upper body can be determined in step 1840 with a subsequent evaluation in step 1890 within the feature classification 765, for example also a detection of the flexion and / or extension 1845, for example of hip and / or knee joints, with a subsequent evaluation in 1895 as part of the 765 feature classification.
  • a measurement of the distance between the UAGS end points 1970 for ground contact in the frontal plane can be carried out in step 1851, with an assessment of the distance between the UAGS end points 1970 for ground contact (which corresponds to the UAGS distance) in Step 1884 within the feature classification 765.
  • the distance between the UAGS end points 1970 in contact with the floor and the ankle points 1950 in the sagittal and / or frontal plane 1863 can be determined, with subsequent evaluation of the distance between the UAGS end points 1970 and ankle points 1950 in contact with the floor in step 1885.
  • Threshold values can be taken into account in each case. Exceeding the threshold in the
  • the frontal level would indicate that the UAGS was set too broad, a drop below a threshold value would set the UAGS too narrow, while a threshold value in the sagittal plane would indicate the UAGS set too far forward.
  • UAGS and ankle points in 1950 are placed on the floor in step 1880 (for example, to evaluate the correct timing of the leg being operated on, which should if possible only be set up after the UAGS has come into contact with the floor).
  • these aspects assess the movement sequence of a person, for example when walking at UAGS.
  • the position of the UAGS end points 1970 on contact with the ground is recorded in step 1850 and a determination is made as to whether the position of the contact points of the UAGS on the ground is approximately parallel to the The frontal plane of the person is 1852.
  • a connecting line between the positions of the UAGS on the floor can be determined in step 1855 and then the distance from the ankle point 1950 of the leg to be protected to the connecting line in step 1857
  • this distance can be evaluated in step 1887.
  • Sagittal plane are formed (step 1860) and then in step 1862 the distance of these perpendicular to each other are determined in the sagittal plane, followed by an evaluation of these distances in step 1889.
  • a movement sequence classification 770 takes place, in which the individual feature classification is evaluated in a coherent manner. If there are any deviations from the rules stored in the movement sequence classification, which are based, for example, on defined errors (for example, the setting of the UAGS is assigned to the error "supports too far forward" while the upper body is inclined too much), and one occurs Output of a motion sequence correction 450 (for example, the instruction not to set the UAGS so far forward) on the basis of a decision matrix (FIG. 9).
  • defined errors for example, the setting of the UAGS is assigned to the error "supports too far forward" while the upper body is inclined too much
  • Output of a motion sequence correction 450 for example, the instruction not to set the UAGS so far forward
  • Example 2 Classification based on machine lemens / neural networks
  • the feature classification 765 and the movement sequence classification 770 are determined deterministically in the sequence described, i.e. based on
  • Feature extraction form classes that define themselves from vector spaces (i.e. certain vectors with a certain similarity would fall into the classes, dissimilar vectors accordingly do not).
  • a feature in a certain form represents a space that is spanned by the vectors. It is the same with the
  • the sequence of movements is the course of the gait.
  • 17 rules for anomaly detection are stored in the movement sequence evaluation module 2052 for evaluating the movement sequence and / or in the movement correction module 2022 for movement movement correction.
  • An anomaly is understood to mean a deviation in the movement behavior that deviates from the "normal” (ie the physiological gait behavior. This can mean, for example, that the healthy leg has a stride length of 65 cm, the operated leg a stride length of only 30 cm. A deviation from this "usual deviating movement sequence" can again be present, for example, if the service robot 17 measures only 10 cm instead of the 30 cm step length.
  • the anomalies can also be detected over time from curve profiles of individual joint points of the skeleton model , in which
  • Amplitude height, the position of minima, maxima and / or of turning points over time can characterize an anomaly. This type of detection runs in the
  • Movement sequence evaluation module 2052 for evaluating the movement sequence specifically the feature classification 765 and movement sequence classification 770 are used for this.
  • An event can be a notification of a therapist, for example by first transmitting information from the service robot 17 via the wireless interface to the patient administration module 160, which in turn can inform a patient, e.g. via a notification via a wireless network such as GSM, LTE, WLAN, which can be received via a therapist’s mobile device.
  • This information can include, for example, a video sequence that the
  • this video sequence can also be stored in the patient administration module 160 in such a way that on the basis of the
  • Patient administration module 160 can access stored video sequence.
  • the anomaly is provided with a time stamp and in the memory of the lem module 190 corresponding to Information that the video sequence transmitted to the learning module 190 contains the anomaly.
  • sequences with anomalies are given higher priority, this prioritization, for example, within a
  • the movements recorded, classified, evaluated and / or corrected are the gait sequence.
  • Example 4 Person identification, visual person tracking and person re-identification
  • the person identification in person identification module 2041 can take place by means of skeleton model recognition, as is made possible by evaluation frameworks of 2D and 3D cameras and / or frameworks such as OpenPose, OpenCV etc.
  • Synchronization of the recordings of the sensors that implement the skeleton model recognition and an RGB recording make it possible to assign body regions of the tracked person, colors and / or color patterns and / or textures of clothes that originate, for example, from the clothes of the person. Based on the parameters color or color pattern per
  • Body region and / or size parameters of the patient can be tracked and recognized again over time.
  • movement sequence patterns such as Gait pattern can be used.
  • Tools such as OpenPTrack can be used here.
  • face recognition can also be used.
  • markers can be used for person identification, tracking and also re-identification. They can be positioned on the patient or on the walking aids to identify the patient. Such markers can be color-based patterns or light sources with a certain frequency.
  • the patient can wear a vest, on the surface of which barcodes are visible, visible to the service robot 17.
  • the RGB-2D camera 2084 can identify the patient using these barcodes. Barcode information can be provided in a further optional aspect in accordance with the Patients are assigned, ie stored in the patient administration system 160 or in the storage medium or transponder.
  • Example 5 Adaptation of the exercise plan based on a multinomial logistic regression
  • a multinomial logistic regression is shown as an example for the machine-lemen approach.
  • Such an estimation model makes it possible to estimate the probability for different, not necessarily directly connected output variables based on a series of input variables. For example, the selection options of the exercise plan, which result from the GUI in FIG.
  • Three-point gear a period of e.g. 10 minutes and a distance of 100m, for example, can be estimated at the same time.
  • the input variables are, for example, those previously determined by the service robot 17. Selection options of the exercise plan in question, but also patient comorbidities such as a general restriction of movement, if necessary
  • Impairment of mental ability, his height, the type of surgery performed (which can affect different muscle groups and therefore
  • ß k is a weight vector or regression coefficient with a view to the respective output variable k.
  • the score can turn directly into one
  • Probability value are converted that the observation i of the input variables leads to the respective output variable k.
  • the input variables are also referred to as independent variables, the output variables as dependent variables.
  • Service robot 17 determined, covered a distance of 250m within 5 min in three-point gait (this would be the characteristics of the input variables) and a therapist would adjust the exercise plan at this point in such a way that the patient can walk 10 min during the next exercise, the three-point gear would be maintained (these would be characteristics of the output variables).
  • a multinomial logistic model can be estimated on the basis of the characteristics of the individual variables. The regression coefficients determined on the basis of this model formation phase (weights for the individual input variables such as physical condition, access to the hip, time period after the
  • distance, duration of the exercise, three-point gait can be used to suggest to the therapist which exercise plan configuration he should undertake when recording additional exercises (primarily by other patients). If, for example, the setting described above is made several times by therapists, if the specified values of the input variables provide templates, this indicates that it is sensible to make these settings, which, in other words, is expressed in significant values for the node weights.
  • Threshold values are stored in the set of rules 150, which, for example, from a probability of 80% for this combination of measures consisting of three-point gait and 10 min gait duration, also suggests these to the therapist.
  • Alternative or additional methods for determining the weight of the node weights are naive bayes, decision trees or else neural networks such as long short-term memory recurrent neural networks.
  • This signaling can be transmitted to the patient administration module 160 and / or the service robot 17 via a mobile terminal device that the patient uses, which in turn wirelessly instructs the service robot 17 in this regard. can send.
  • a house call system can also be used, as is standard in clinics, or a permanently installed terminal that is in communication with the patient administration module 160 and / or the service robot 17.
  • Such a request for exercise can initially also be entered in a database via
  • rules can be stored that, for example, give priority to certain patients.
  • the service robot 17 uses the submodule 2D / 3D recognition and the
  • Mapping module 2061 by mapping its environment. All of them
  • Spaces are traversed and the surroundings are recorded using 2D and / or 3D sensors.
  • Sensors that are suitable for this are at least the LID AR 2083, at least the RGB-D 3-D camera 2085, at least the RGB-2-D camera 2084 and / or ultrasound and / or radar sensors. Combinations of these sensors can also be used.
  • the (2D) RGB camera 2084 is sometimes only used as an aid to evaluate colors, for example.
  • Rules can be stored in the mapping module 2061, in which areas the service robot 17 may move and, if necessary, for what purpose. These include, for example, areas in which the service robot 17 is not allowed to move, areas in which it is allowed to pass, and still others in which it is allowed to complete a training, such as movement training.
  • the module for 2D / 3D recognition and the mapping module 2061 has an interface to the movement training module 2011 for the exchange of Localization data. For example, a room number can be stored in the movement training module 2011, while the information assigned to this number can be found in the
  • the service robot 17 can thus recognize the location at which the service robot 17 can meet the patient.
  • Example 8 Map enrichment using CAD data
  • Service robot 17 is located, can be enriched in one aspect by CAD data of the building, which flow into the 2D / 3D acquisition and mapping module 2061 via an interface. Alternatively, they can be included in a separate module that is connected to the mapping module 2061 via an interface.
  • CAD data is understood to mean, on the one hand, site plans in 2D or 3D, which come from software programs such as those used for building planning. However, it can also
  • Image data (e.g. PNG, JPEG, PDF) can be used, from which the system derives appropriate information regarding the structural arrangement.
  • the consideration of these site plans supports the service robot 17, for example, in recognizing passages and door openings, which can be noted accordingly by translating the drawing symbols in the mapping module 2061.
  • the site plans can be used to identify temporary or quasi-stationary obstacles in the building, i.e. Objects that are not part of the building and may change their position over time or disappear entirely.
  • Example 9 Mapping and self-localization using electromagnetic waves.
  • the service robot 17 can also take into account electromagnetic waves such as light and / or for improved navigation within the building
  • Radio signals for example from WLAN access points.
  • the light intensity e.g.
  • Photodetectors are detected on the service robot 17, both during the mapping process and during general navigation in the building. At the
  • Comparison of the detected light radiation with the mapped may take into account the time of day and the season, as well as the geographical latitude and longitude, in order to be natural
  • Fluctuations in the angle of sunlight and its intensity must be taken into account.
  • artificial light can also be recorded in the building, both with regard to the intensity and the light spectrum.
  • WLAN signals from a plurality of routers can be recognized by the WLAN module 2088. Via triangulation is therefore a better one
  • Position determination in the building possible During the detection of the incidence of light, the speed, the distance traveled, the orientation of the service robot 17 in space etc. are recorded and stored and compared with stored values. These methods described in this example can be combined with other methods described in this document.
  • Example 10 Measuring the distance covered by the patient using odometry and patient tracking
  • the distance traveled by the patient is determined using the odometry module 2081 together with an optical sensor such as the LID AR 2083 and / or the 3D camera.
  • an optical sensor such as the LID AR 2083 and / or the 3D camera.
  • at least one optical sensor detects the position of the patient in relation to movement training
  • Service robot 17 the path of which is in turn determined by the odometry module 2081.
  • this can have magnetic sensors that determine the rotation of the wheels 6 and take into account the distance traveled over the radius.
  • the e.g. Inaccuracies resulting from slip can be corrected by combining them with suitable inertial sensors such as acceleration sensors.
  • suitable inertial sensors such as acceleration sensors.
  • the basis for the position of the patient, who is identified by the service robot 17 in the person identification module 2041 and tracked with the aid of the person tracking module 2043 or the module for 3D person tracking 2046, can be the center point between the detected legs (in the case of detection by the LID AR 2083) and / or the midpoint between the detected hip joints, the spine, the ankles 1950, etc. in the case of
  • the position of the ankle point 1950 can only be inadequately extracted from the skeleton model, ie the position is detected, for example, with an increased blur compared to other joint points.
  • the ankle point 1950 as shown in FIG. 21, alternatively and / or additionally via the position of the knee joint point 1930, a direction vector which is oriented parallel to the lower leg from the knee joint point, and the height of the
  • the segmentation methods used for UAGS detection can be used to determine the direction vector parallel to the lower leg, for example in order to detect a detected point cloud in connection with the skeleton model as the lower leg.
  • Example 11 Measuring the distance covered by the patient using
  • the distance traveled by the patient is determined by
  • the basis for this can be the distance between the ankles, which can be recognized by 3D cameras such as a Microsoft Kinect or an Astra Orbbec and the associated evaluation frameworks.
  • the position of the feet can also be determined using the LIDAR.
  • Example 12 Measuring the distance covered by the patient using
  • Coordinate system of its environment By self-localization 2062, the service robot 17 determines its position in space, the position in turn being assigned corresponding coordinates.
  • An optical sensor such as the LID AR 2083 and / or the 2D camera 2084 or the 3D camera detect the patient as part of the exercises and determine its position relative to the service robot 17.
  • This position is also assigned a spatial coordinate.
  • a chain of spatial coordinates is thus determined by tracking the patient over time.
  • the Euclidean distance can be determined between each coordinate point, which are successively added up.
  • the basis for the center of the patient can be the center between the detected legs (in the case of detection by the LID AR 2083) and / or the center between the detected hip joints, the spine, etc. in the case of patient detection with a sensor whose data be evaluated as a skeleton model.
  • the position of the patient in the room can also be determined on the basis of the patient coordinates, without necessarily taking into account the position of the service robot.
  • Example 13 Determining and outputting the route to be completed
  • the service robot 17 can compare the distance traveled by the patient with the route planned according to the exercise plan and give the patient information via loudspeaker 2092 and speech synthesis 2073 as to how long the remaining distance to be completed according to the exercise plan is. Alternatively and / or in addition, the output can also be shown on the display 2087.
  • the service robot 17 records the time of the exercises and, in parallel, the distance traveled. In this way, the service robot 17 can determine the speed of the patient and store it in the motion evaluation module 2050. The patient's speed can be compared with a previously stored speed, a difference is calculated and the service robot 17 can provide information on the extent to which the patient deviates from the historical value during the exercise via the display and / or the loudspeaker 2092 and speech synthesis 2073.
  • the service robot 17 navigates in front of or follows the patient during the actual exercise.
  • the motion planning module 2065 is used, in one aspect using evolutionary algorithms, to estimate the path of the patient.
  • the service robot 17 navigates the patient through the exercise area. If the service robot 17 picks up the patient in his room in advance navigation is initially carried out through an area in which the patient has not yet completed any exercises before reaching the exercise area, which is primarily characterized by a few obstacles (including other people who move there).
  • the service robot 17 guides the patient by means of acoustic and or visual / optical cues, which are given via the loudspeakers 2092 or the display 2087, in one aspect also via signal lights of the service robot 17.
  • an acoustic procedure is chosen especially when the service robot 17 is located behind the patient.
  • the patient is tracked and the position of the patient is compared within the building.
  • the service robot 17 signals a directional correction, for example advising the patient to turn into a certain aisle, and possibly also to reverse, if the patient should not have turned.
  • the service robot 17 calculates the optimal route in the path planning module 2064. In the event of a change in its environment, in particular on the previously calculated path, the service robot 17 does not completely recalculate the route to the destination, but only for the section on the path that is dynamic has changed.
  • the dynamic movement planning also takes into account the orientation of the service robot 17, for example shortly before the target, when the service robot 17 moves directly towards it.
  • the service robot 17, for example can only drive backwards when directed more slowly than, for example, when it is directed forwards.
  • this optimization also takes into account the keeping of safety distances from static and dynamic obstacles.
  • the service robot 17 takes into account that the
  • Service robot 17 maintains a certain distance from a tracked person, in this case the patient. These target variables are considered together as a cost function and the individual target variables are presented as a weighted sum in order to undertake a global optimization of the route.
  • the approach is based on the dynamic window approach known in the prior art (Fox et al 1997).
  • evolutionary algorithms that optimize the acceleration of individual path sections can be used to select individual path sections.
  • the camera can be adjusted, for example, taking into account the path of the service robot 17 and the estimated direction of movement of the patient, such that the patient can be captured centrally by the camera, for example.
  • a PID controller can be used for this, which uses the integrator clamping known in the prior art (ie causes an upper and lower limit of the results) and adjusts the horizontal camera angle.
  • the angle determined by the PID controller can also be used to correct horizontal angles in the skeleton model, which are caused by the rotation of the
  • Service robot 17 occur compared to the orthogonal camera perspective.
  • a certain distance is usually covered in the aisles of a clinic or in another area that was stored as such in the room plan module 2060r.
  • those areas should be selected that have few obstacles that the patient and / or service robot 17 must avoid.
  • these spaces have a width which corresponds to at least three times the width of the service robot 17.
  • Obstacles are also understood to mean people who, apart from patients and service robots, 7 also move in this area, including other patients from the clinic, medical staff and, for example, beds, trolleys, seating, etc., which can be found in everyday clinical practice. Fewer such obstacles not only allow a more fluid movement training of the patient, depending on the state of health, also less difficult, but also a better detection of the patient by the service robot 17. There are fewer cornering movements, thus shortening the time
  • the service robot 17 is also able to independently
  • Navigating in pre-defined areas e.g. a clinic
  • he records the time, for example the daily and weekly schedule, the number and type of obstacles, their dimensions (absolute and / or relative to the aisle width), the density of these obstacles over the entire area as a function of time.
  • These values are stored in the memory of the service robot 17, for example within the room plan module 2060r.
  • This data acquisition over time can be recorded both in the context of “empty trips” of the service robot 17 (ie trips without parallel movement training with a patient) as well as during exercises with a patient.
  • the recorded data on the obstacles can be processed within the service robot 17 or within a cloud, into which the data are transmitted.
  • the service robot can determine and / or forecast which areas have had the lowest density in the past during the exercise time (for example Friday 13: 00-13: 15) by accessing the historical data had obstacles.
  • the density determination can include clustering methods.
  • the service robot 17 also takes into account the distance to be traveled
  • the service robot 17 can select a gear of 50 m for an envisaged route length of, for example, 100 m, which is run back and forth, or the service robot 17 recognizes on the basis of the historical data that a section of the aisle with a length of 25 m had a density of obstacles at the time in the past (either a minimum density, e.g. calculated as the lowest 90%, or a density below a certain relative or absolute threshold value).
  • the service robot 17, for example independently selects the area with a length of 25 m which the patient is to walk 4x.
  • Example 18 Arrangement of the cameras and distances to the patient
  • the 2D camera 2084 and / or the 3D camera is mounted in such a way that the 2D camera 2084 and / or the 3D camera can record the patient as centrally as possible. Taking an average
  • the camera is therefore mounted at a height of 80-90 cm.
  • this distance is determined by the angle of the 3D camera and the resulting possibility of capturing the patient with the whole body in the best case.
  • a Kinect for example, has a range of up to 4m, which means that a patient can be detected without any problems, ie his body parts are also recognized at this distance. The situation is different when, for example, the UAGS are to be tracked and, above all, a 3D camera with speckle technology is used.
  • a Kinect2 has a significantly higher measurement accuracy than a number of speckle cameras. If you take a standard Astra Orbbec 3D camera, this 3D camera has a horizontal exit opening of 60 ° and a vertical one of 50 ° with a resolution of 640x480. At a distance of 2m from the 3D camera, an image with a horizontal width of approx. 231cm is taken. If the 3D camera is attached at a height of 92 cm, the maximum height of the captured image is approx. 184 cm. Larger people cannot be recorded with it. In one aspect, therefore, it is tracked at a greater distance from the patient what can be at the expense of UAGS detection, depending on what is used for a camera model.
  • UAGS identification and UAGS tracking is carried out via the LID AR 2083 and / or an ultrasound or radar sensor, for which the signals of the at least one camera system and possibly LIDARs 2083, ultrasound or radar sensor are used to record the UAGS synchronized and merged accordingly.
  • the camera and LID AR 2083, ultrasound or radar can be used together to detect and / or track the UAGS.
  • the patient can interrupt the exercise plan at any time by taking an optional break in step 510.
  • the patient can cancel the exercise in step 515. To do this, the patient must
  • the system with the patient administration module 160 and the service robot 17 documents the therapy.
  • the documentation itself can be transferred to external systems such as a hospital information system or a patient data management system 170 via an interface.
  • the documentation includes personal data such as name, age, gender, etc., the anamnesis (e.g. osteoarthritis in the hip in the
  • Patient data management system 172 maintained.
  • Interventions in the exercise plan be they initiated by the therapist or by the
  • Service robot 17 based on established and / or learned rules.
  • a server that interfaces with the
  • Patient administration module 160 is connected, transfer data to a mobile device that is available to the therapist, for example. As a trigger for this
  • Notifications can in turn serve to deviate from threshold values in the evaluation of the movement sequence, for example a stride length that deviates from the “typical” deviating stride length, or a combination of movements of different ones
  • a step length could trigger a trigger event that only makes up 10% of the physiological step length.
  • a step length of possibly 20cm, with an inclination of the upper body of more than 30 ° from the vertical could trigger a trigger.
  • a trigger can also trigger a deviation in the exercise plan that a certain one
  • Threshold falls below or exceeds, for example, a two-point gait instead of a three-point gait, without the therapist having released it or without this being due to the
  • the threshold value being derived in one aspect from the evaluation of the historical data results.
  • the Exercise cycle includes the typical sequence of components of the exercise plan, calculated from the first exercise that the patient completes to the last.
  • Example 22 Cloud-based speech recognition
  • Speech recognition 2074 may be implemented in one aspect via third-party cloud-based services that the service robot 7 accesses wirelessly via an API.
  • a speech-to-text API such as Google Speech or Amazon Transcribe can be considered in the first step.
  • the text data generated in this way can then be evaluated using APIs such as Amazon Comprehend and the results, for example using commands, which can also be implemented alternatively in the form of a screen-based menu input, can be converted into answers or commands for the service robot 17. Combinations of these services are also possible via a single API.
  • Example 23 Anonymization of data transfer between the cloud and the service robot
  • the therapist can assign the patient a mobile storage unit such as a transponder, i.e. the therapist hands the patient a transponder and assigns this transponder to the patient in the patient administration module 160.
  • the transponder contains the patient ID and / or a further token ID which is assigned to the patient or his patient ID.
  • the patient can identify himself on the service robot 17 with this transponder or the serial number and / or patient ID.
  • the service robot 17 now downloads from the cloud 18 in accordance with the exercise plan stored by the therapist - but without his personal data - via an interface - the assignment is made via the patient ID.
  • the service robot 17 loads the data recorded by the service robot 17 during the exercises into the patient administration module 160 in encrypted form - the assignment is made via the patient ID.
  • the data is only decrypted in the patient administration module 160. In this way, no data are transmitted that contain conclusions about the patient's name or address.
  • the therapist transfers the exercise plan to one
  • Storage medium eg transponder in the form of an RFID tag, USB stick
  • the data are transferred from the storage medium to the service robot 17 including the patient ID, which is from the Patient administration module 160 was specified.
  • the service robot 17 transfers the recorded data of the exercises back to the
  • Storage medium so that the therapist can transfer the data into the patient administration module 160 when reading out the storage medium.
  • Data exchange via storage medium e.g. transponder
  • storage medium e.g. transponder
  • the patient can identify himself via a login and / or password. These serve as a patient ID or are associated with a patient ID, so that the service robot 17 can use this information to download further data such as exercise plans from the cloud.
  • biometric features such as a fingerprint scan, face scan or iris scan can be used for patient identification.
  • leg load In some cases, patients may have limited leg load. Although it is difficult to implement exact load detection optically, indications can be derived from some skeletal parameters that indicate the leg load. The following parameters are used for this: a) angle between the forearm and upper arm when walking, and / or b) angle of the lower leg to the thigh and / or extension and
  • Flexion angle, and / or c) posture of the upper body Relief occurs above all if i) the angle between the forearm and upper arm is less than 170 ° or less than 160 °, ii) the angle of the leg that can only be loaded to a limited extent is less than 172 °, iii) the upper body around is inclined more than 5 ° forwards, and / or iv) the upper body is inclined more than 5 ° away from the affected side. The more pronounced the characteristics i-iiii), the greater the relief of the leg. This defines that an outstretched arm has an angle of 180 °. The person is in the three-point gear, which is explained in more detail in FIG. 22. In addition to the evaluation mentioned there, the arms are recorded and evaluated, while the other aspects are part of the
  • Characteristic classification 765 and movement sequence classification 770 can be evaluated.
  • the poses determined are accordingly classified and are stored in the rules 150, both in the rules 150 and locally on the service robot 17 in the frame the evaluation of the movement sequence in the movement sequence evaluation module 2052.
  • the load on the patient's leg is continuously monitored by the processor of the service robot 17 - in parallel with the evaluation of the other poses and the patient receives instructions optically and / or acoustically if the leg load exceeds or falls below a certain threshold.
  • the intensity of a person's leg load can also be determined by means of external sensors, which are wirelessly coupled to the service robot 17, for example.
  • external sensors which are wirelessly coupled to the service robot 17, for example.
  • insoles are known that are placed in the patient's shoes and measure the pressure on the shoe sole in different spatial resolutions.
  • the actual pressure sensor system can be capacitive, resistive (e.g. based on
  • the sensor signals are amplified via a bridge circuit and processed by means of an analog-digital converter in such a way that transmission via commercially available radio standards such as Bluetooth, WLAN etc. is possible.
  • the service robot 17 also has a software unit that the
  • the service robot 17 has at least one radio interface such as.
  • the UAGS have at least one sensor that is wirelessly connected to the service robot 7 via this interface.
  • the sensor effect can only result from the fact that its position is recognized. This can be done through active or passive location and associated triangulation of the position.
  • Passive location means a backscattering of radio signals primarily emitted by the service robot 17, the sensor not having its own power source. Such methods are sufficiently described in the prior art in RFID technology.
  • Active location means a transmitter with its own power supply.
  • the service robot 17 detects the emitted signals and uses triangulation to determine the position of the transmitter.
  • Such an implementation is also superior to visual identification of people when the patient and service robot 17 move in an environment in which there are many people. As a result, the direct line of sight service robot - patient is interrupted more often, so that re-identification often has to take place.
  • the UAGS have a button that transmits a signal wirelessly to the service robot 17 when pressed.
  • the button is attached in such a way that it can be reached by the patient without any problems while doing the exercises, in particular without having to change the load on the legs.
  • the walking aid is, for example, a UAGS
  • the button can be located on the distal end of the T-shaped angled handle, which is enclosed by the patient's hands when walking.
  • the sensor device on the walking aids is configured so that a different number of button presses or also the
  • Pressing frequency different commands can be triggered by the service robot 17. Pressing once can signal the service robot 17 that the patient wants to sit down. The exercise is interrupted. Pressing twice can signal that the patient has recognized that the service robot 17 is following another person instead of the patient (for example, indicates that a person has moved between the patient and the service robot 17) and / or a re-identification (in the re -Identification module 2044) was not successful. After sending such a signal, the service robot 17 interrupts the training and continues this training only after the patient has logged on again in person. This prevents the personalized training from being taken over by other people and unauthorized access to the data of the already registered person.
  • Example 28 external sensors on the patient Furthermore, the patient, in particular the limbs, the trunk and / or head, but also the UAGS sensors (in particular acceleration sensors), which are connected to the service robot 17 via at least one interface, can also be attached. These sensors allow the movement of patients to be recorded and
  • sensors it is advantageous here to attach sensors to at least as many elements of the limbs, such as, for example, also using 3D skeletal detection and further processing, in particular as part of the feature extraction 720. This would mean, for example, on each thigh, on the trunk, etc one each
  • Attach accelerometer The data recorded here can be used alternatively and / or in addition to 3D detection by means of optical sensors (LID AR 2083 2D camera 2084, and / or 3D camera). The evaluation of this data can in turn
  • Angle information is provided in the same way as the 3D point clouds, which can be used to build on the algorithms of the 3D sensor technology.
  • the service robot 17 has a fall detection.
  • this can be done via the integrated optical sensors, i.e. based on a skeleton model.
  • the system recognizes from the angle of the upper body, the position or the angle of the head, shoulders, but also the legs relative to the plumb line that the patient is in a fall position, lying on the floor or on his knees has gone.
  • the distance from articulation points identified in the skeleton model to the floor can serve as an alternative and / or supplementary evaluation, i.e. As soon as these fall below a threshold value (e.g. in the knee with a distance of 25cm), a fall is recognized.
  • a threshold value e.g. in the knee with a distance of 25cm
  • Example 30 Fall detection using inertial sensors
  • an acceleration sensor / inertial sensor possibly with
  • Magnetometer which the patient is wearing or which is integrated into the patient's walking aids. Inertial sensor-based detection of falls or generally “falling to the floor” / falling objects is described, for example, in US7450024 and US8279060.
  • the sensors used here can either use a wireless
  • Transmission technology such as RFID or Bluetooth transmit the determined acceleration to the service robot 17, which then determines whether the determined acceleration is one Has exceeded the threshold.
  • the service robot 17 determines whether the determined acceleration is one Has exceeded the threshold.
  • Threshold value determination takes place directly in the sensor system, which merely transmits the information as to whether a threshold value has been exceeded.
  • the threshold value of the acceleration can relate to the maximum of the acceleration, to the angle of the acceleration and / or to a combination of these values.
  • a movement sequence classification 770 can be carried out on the basis of the data of an exercise recorded and evaluated by the service robot. These data are, for example, on the one hand time-variant data such as distance traveled, speed, standing time, leg phase, as well as the exercises to be completed according to the exercise plan and on the other hand time-variant data, patient data such as age, height, possibly person weight, type of operation , Day of the operation performed, etc. (shown in FIG. 11). This data is all collected and fed into the lem module memory 192 of the lem module 190, where it accumulates over time, a historical one
  • Form data base and be evaluated from time to time.
  • the evaluation assumes that over the period of a patient's stay in the clinic (from the time of the operation to discharge), the movement sequence, which initially has many disorders, should continue to adapt to the physiological movement sequence, i.e. ideally, the exercise should bring about an improvement, which is reflected in normalizing evaluation parameters.
  • the values should increase significantly with distance traveled, speed and duration of the exercise towards discharge and the frequency of corrections should decrease.
  • the values from standing time and leg phase must adjust and normalize in the course. This in turn depends on the exercises that the patient is performing
  • Exercise plan completed but also patient data such as his age, comorbidities, etc.
  • This sequence of movements can be standardized well and is defined by the interaction of various movement parameters or features over time, e.g. setting the UAGS or walking aids relative to the feet, the respective sequence of steps, step length, etc.
  • various movement parameters or features e.g. setting the UAGS or walking aids relative to the feet, the respective sequence of steps, step length, etc.
  • Movement flow characteristics are those that are classified and that act as dependent variables, while the results of the exercise (e.g. Fig. 11) following the recorded movement sequence characteristics, the patient data and the exercise plans act as the influencing variables (independent variables) that determine the classification .
  • Movement features are metrically available, this approach is also called
  • Procedures a) transform the problem by estimating the dependent variables independently of each other, and b) adapt the algorithms in such a way that a simultaneous estimation is necessary.
  • the latter approach takes into account the interdependencies of the dependent variables, which better reflects the reality of the movement.
  • decision trees or GLM estimates general linear models
  • MRT multivariate regression trees
  • the CLUS software package can also be used, which uses decision trees in the context of predictive clustering.
  • Movement sequence correction such as decision classification 775 and the output of movement sequence correction 450.
  • the two-point gait is used either immediately after the operation (depending on the instructions of the surgeon) or after the three-point gait if the patient has recovered further. Ideally, the two-point gear takes place
  • one leg and the corresponding contralateral support are placed forward, for example, simultaneously and at approximately the same height.
  • Evaluations on the three-point gear take place.
  • the main difference is that information about the leg 1805 to be protected is not necessarily required.
  • it is first detected in step 1856 whether the UAGS and a contralateral leg are in the front in the sagittal plane.
  • a perpendicular of the UAGS end point 1970 touching the ground and of the contralateral ankle joint 1950 to the sagittal plane is formed 1858, and the distance of the perpendicular to one another in the sagittal plane is determined 1859.
  • the minimum of the distance between the UAGS can be determined and the contralateral base point are evaluated. This distance is in the
  • step 1886 the extent to which the deviation is or whether the course of the two-point course is carried out correctly (step 1888).
  • threshold values for the determined distances can be evaluated. This data then flows into the movement sequence classification 770 and instructions are assigned to detected deviations in the movements, for example in the decision classification 775.
  • the service robot 17 is equipped with a projection unit by means of which the service robot 17 can project instructions to the patient, for example on the floor.
  • the instructions may include information on speed, posture, distance (turning, turning, etc.) and may be textual in nature and / or based on pictograms, including traffic signs (such as stop,
  • the service robot has a projection unit, for example a commercially available projector.
  • This has a defined projection surface, i.e. the projected area is, for example, within defined areas on the floor, for example at a distance of 2 to 3 m from the service robot and with a width of 1.2 m. If the distance between the service robot and an obstacle, such as a wall, is less than the distance over which the service robot projects from the projection onto the floor, the projection would fall onto the obstacle at least in part. However, this can affect the legibility of the projected content.
  • the service robot therefore carries out a comparison with its sensor system for obstacle detection.
  • this can be carried out on the basis of at least one map which the robot generates dynamically from its surroundings and which contains fixed and possibly movable obstacles.
  • the sensor data can also be evaluated directly in such a way that no obstacles may be detected for the projection area.
  • the sensors used here can be a LID AR, a camera, ultrasound, infrared and / or radar sensors.
  • the service robot is also configured so that it can adjust the type of output based on the type of obstacles found. If output is necessary, but the projection surface is at least partially covered by an obstacle, the service robot can instead select, for example, the display and / or the voice output. Such a projection can replace or complement many of the display and / or voice output mentioned elsewhere in this document.
  • This example comprises a computer-implemented method for detecting a movement sequence of a person, comprising a contactless detection of a person over time, creation of a skeleton model of the person and evaluation of the articulation points and / or direction vectors of the limbs extracted from the skeleton model Classification of the person's movement.
  • the movement sequence is classified into two-point or three-point.
  • instructions are given to the person to issue a
  • Movement sequence correction 450 which takes place, for example, as an output via a voice output, projection and / or a display.
  • the voice output for example, as an output via a voice output, projection and / or a display.
  • Deviations in the course of movement are defined, for example, by rules stored in a memory.
  • these deviations are determined as deviations in the symmetry of the movement sequence. There is a minimum period of time between individual editions of the instruction about the movement sequence correction, which is stored in a memory and in one aspect of the number
  • forearm crutches are identified in one aspect and evaluated in terms of time and space, in particular the end points of UAGS 1970 that touch the ground.
  • at least one end point of the UAGS 1970 is evaluated in relation to at least one ankle point 1950 in the sagittal plane.
  • the distance between the ankle point 1950 and the end point of the UAGS 1970 is evaluated and compared with the threshold value stored in a memory.
  • a line can be determined between the UAGS and the distance of this line from an ankle point 1950, the ankle point 1950 being, for example, the leg joint point of a leg which is to be protected.
  • Ankle joint point 1950 to endpoint 1970 of a contralateral UAGS in the sagittal plane was evaluated. This is done, for example, for the leg and the UAGS, which are in the direction of walking of the person in front. This evaluation between the ankle point 1950 and the UAGS takes place, for example, when the foot in question and the UAGS touches the ground.
  • the method determines person-related parameters, for example the stride length, standing time, track width, the distance between the UAGS in the frontal plane, the trunk inclination, head inclination and / or joint flexion and / or joint extension and classifies these in one aspect.
  • the process captures this personal parameters in one aspect within at least one gait cycle of the detected person.
  • deviations from the symmetry of the movement sequence are determined and evaluated within the gait cycle.
  • the procedure differentiates between physiological and deviating movements. In one aspect, this can be done using the F1 score defined above. In one aspect there is one
  • the method may further determine the duration of an exercise that
  • Example 35 Method for detection of a forearm crutch
  • This example includes a computer-implemented method for evaluating the position of a forearm crutch (UAGS) relative to the position of at least one ankle point 1950 of a person.
  • UGS forearm crutch
  • the person is recorded over time, for example without contact.
  • a skeleton model of the person is created 725.
  • Sensor data are evaluated in the spatial environment of at least one wrist point for the presence of UAGS.
  • a candidate region is selected 745. This can, for example, essentially extend downward from the wrist points. Then, for example, point clouds in the vicinity of the
  • Wrist points recorded and compared with data stored in a memory can be used, which is, for example, approximately parallel to the orientation of the UAGS.
  • model assumptions can also be taken into account which relate, for example, to the shape 750.
  • a fault-tolerant segmentation algorithm 755 can be used to detect the UAGS.
  • the data for the point clouds are recorded by at least one sensor that the person can contact without contact, for example a 2D camera 2084, a 3D camera, a LID AR 2083, a radar and / or an ultrasound sensor. If more than one sensor is used, the data is synchronized and merged in time. In one aspect, the position of the UAGS at the point where the UAGS touches the ground in the sense of the end point is evaluated.
  • This location is then evaluated, for example, relative to the position of an ankle point 1950, for example, at the time when the foot touches the floor.
  • the evaluation takes place, for example, in the Sagittal plane, in one aspect the distance between the ankle point 1950 and the end point of the UAGS 1970 is determined.
  • the two-point gait of the person or the three-point gait of the person is then evaluated.
  • This example comprises a service robot with at least one computer, at least one memory 10, at least one camera, at least one device for detecting obstacles in the close range, an odometry unit 2081 and one
  • Display e.g. a touch display 2087, a module for 2D and / or 3D detection of the environment 2061, a map module 2061b, a self-localization module 2062, a module for controlling and / or initiating the automatic charging of a
  • This service robot can alternatively and / or additionally, a mapping / mapping module 2061a, a module for metric path planning 2064, a module for detecting a self-blockade 2068, a module for addressing users 2066, a module for determining an optimal distance to a user 2067, a spatial planning module 2060r, a module for determining a waiting position 2069, a module for laser-based personal tracking 2043, a module for person re-identification 2044, a module for motion evaluation 2050
  • Movement sequence extraction module 2051 a movement sequence evaluation module 2052, a module for movement correction 2022, a module for storing patient parameters 2014, a module for storing a exercise plan 2012, and / or a module for
  • the service robot can have an RFID interface for data exchange 2089.
  • the motion planning module 2065 uses information from the metric path planning 2064, for example to determine an optimal path of the robot, taking into account various target or cost functions.
  • the module for motion planning 2065 can be the expected one
  • a person 2044 can be re-identified, for example, by means of color patterns, size parameters of a person and / or a classification of the gait pattern of the person.
  • the movements recorded, evaluated and corrected can be gait sequences.
  • Example 37 Anomaly detection in gait behavior
  • This example includes a computer-implemented method for anomaly detection in a person's motion sequence, and has a feature extraction 720, a feature classification 765, and a motion sequence classification 770, wherein the feature extraction 720 is based on a person's skeleton model.
  • Characteristic classification 765 is based on the evaluation of space-time parameters for articulation points of the person and / or direction vectors between articulation points. Anomalies are characterized, for example, by the amplitude height, positions of minima and / or maxima and / or turning points, which are determined on the basis of the observation of the articulation points over time. In one aspect, anomalies about the evaluation of a gait cycle are recorded. For example, the stride length, service life, track width, the trunk inclination, head inclination and / or joint flexion are recorded and evaluated. In one aspect, the position of the ankle points 1950 is additionally evaluated relative to detected walking aids, for example forearm crutches.
  • the evaluation can be carried out, for example, by determining the distance in the sagittal plane.
  • the movement sequence classification 770 comprises the evaluation of at least two parameters such as stride length, standing time, track width, trunk or head inclination, joint flexion and / or the ratio of the position of ankle points 1950 and walking aids.
  • An anomaly is identified by the deviation of determined parameters from classification parameters, such as defined ones
  • Thresholds can be, for example, values that were generated by evaluating previously recorded movement sequences.
  • classification can be done through machine learning techniques. It takes place in an optional, additional aspect in the event of a deviation from the classified
  • the data from which the skeleton model is created is recorded, for example as a video sequence.
  • the sequences are provided with a time stamp, for example when an anomaly is detected. For example, a transmission of the
  • Video sequence to a memory This memory can be located in a lem module 190. Video sequences can be prioritized in the memory. In one aspect, this prioritization of video sequences depends on the type and / or number of anomalies detected. In one aspect, an anomaly can be a deviation of the recorded, completed exercises from an exercise plan, such as the duration of an exercise, the speed traveled, the type of use of the supports / walking aids, etc.
  • Example 38 Automated exercise plan adjustment to determine the transition from three-point to two-point gear
  • This example comprises a system for the automated determination of the transition from three-point to two-point gear, with a processor and a memory, the processor and the memory via an interface, for example an interface to
  • the exercise plan adaptation defining the transition from the three-point to the two-point path represents.
  • an automated intervention takes place, for example an automated adaptation of a exercise plan and / or the transmission of a message via an interface.
  • the system or computer-implemented method compares, for example, recorded values by
  • the values can be person-related parameters such as speed, standing time, playing leg phase, stride length, etc. of a person, which were detected, for example, by means of a contactless sensor.
  • the personal parameters are a combination of speed, standing time, leg phase, and / or stride length.
  • the system or computer-implemented method can, for example, the symmetry between the
  • the detected deviations from the physiological movement sequence are recorded and evaluated in terms of their type and frequency.
  • correction information stored in the memory is also taken into account, which during the recording of the exercise of the person (for example by the system or a system connected via an interface with at least one sensor) contactless detection of a person), for example the type and frequency of these correction notices.
  • the values were recorded in one aspect over time, for example over several exercises.
  • the system or the computer-implemented method can, for example, carry out a difference analysis over several exercises in order to
  • the determined person's exercise progress To determine the person's exercise progress. In one aspect, the determined
  • Exercise progress compared with previously determined exercise progress of other people and / or reference data stored in a memory.
  • Example 39 Method for independently choosing a training plan configuration taking historical data into account
  • This example includes a computer-implemented method for a person to independently choose exercise plan configurations.
  • the exercise plan configuration desired by the person is compared with releases within a exercise plan and can only be selected if there is an approval.
  • the release can take place on the basis of an automated training plan adjustment.
  • data previously made by the person and recorded and evaluated by means of a contactless sensor are compared with historical data.
  • a release for a training plan configuration can be released if there is a high degree of agreement between the recorded data and the historical data.
  • the exercise plan can, for example
  • the computer-implemented method is implemented in a service robot, for example one for the acquisition and evaluation of gait training.
  • Example 40 System and / or computer-implemented method for the automated adaptation of a training plan
  • This example comprises a system for the automated adaptation of a training plan by means of a wireless interface, at least one processor and at least one memory, which contains at least one database in which a training plan is stored.
  • the system can receive data via the wireless interface from a second system, which is equipped with a sensor for contactless detection of a person, e.g. a camera, records and evaluates exercises stored in the exercise plan and makes these recorded exercises available to the first system poses.
  • the system can receive information from a third system, in which
  • Exercise schedule adjustments are made.
  • a computer-implemented method can be used for an exercise plan
  • the exercise plan may include information about the person, including their agility, type of surgery, location of surgery, height, and / or person weight.
  • the adaptation of the exercise plan can include the distance to be covered, the type of use of the supports / walking aids etc.
  • the recorded data are
  • the personal parameters can include Service life, track width,
  • Game leg phase, upper body, line of sight and / or the stride length of a person include, for example, symmetry values of the stride length.
  • the recorded data can include the temporal and / or local sequence of the use of walking aids such as UAGS.
  • This recorded data with the personal parameters can supplement previously obtained historical data within a database.
  • This recorded data and, for example, the data transmitted by the second system (with the camera for recording a person) and from the third system (for adapting the exercise plan) can be evaluated by means of machine learning and / or neural networks.
  • Personal data such as the age of the patient, his height, person weight, comorbidities, type of operation, etc., as well as the data recorded during the recording of the exercises, can be used as the input variable for these evaluations.
  • the settings of the exercise plan for the exercise at time t or at later time t + 1 can be determined as the starting variable. The one with these
  • Knot weights determined by calculations can be transmitted to the second system (with the camera for recording a person) and / or the third system (for adapting the exercise plan). These node weights can, for example, be used to automatically adapt the exercise plan.
  • the second system is a service robot that performs gait training, for example.
  • Example 41 System for automated training plan adjustment
  • This example comprises a first system for the automated adaptation of a exercise plan, which has a patient administration module 160, a wireless interface to a second system with at least one camera, a processor and a memory, and an interface to a learning module 190.
  • a second system can be a service robot 17, for example.
  • the first system can be connected to a set of rules 150 via an interface.
  • a exercise plan is stored in the patient administration module 190 and can be configured via a terminal 12.
  • the exercise plan can take into account, for example, a person's agility, the type of operation performed and / or the location of the operation (such as region and side, e.g. left knee).
  • Agility includes a person's general condition and / or their comorbidities.
  • the exercise plan can include exercises based on the two-point walk, the three-point walk and / or climbing stairs.
  • the second system records the duration of the exercises, the distance covered, the frequency of the exercises and / or their intensity, etc.
  • the exercise plan can be transmitted to the second system via an interface and stored there.
  • the second system can be, for example, an exercise with a person, such as gait training in one aspect, and / or an output of one
  • Motion sequence correction 450 for example triggering a gear correction.
  • the recorded data are saved and evaluated over time.
  • the data can, for example, be transmitted to a learning module 190 via an interface.
  • the learning module 190 has historical data in a lem module memory, which are supplemented by the evaluated data and transmitted via the interface.
  • the historical data are supplemented by settings made in the exercise plan. With those made
  • Settings can be e.g. is about the exercise plan and / or exercise plan adjustments that were made on the basis of the recorded data.
  • the machine learning method and / or neural networks can be used, for example, to determine the node weight for the exercise plan.
  • the evaluation of the exercise and optionally also the components of the exercise plan are used as the input variable for determining the knot weight, and configurations of the exercise parameters are used as the starting parameter
  • the node weights determined here are transferred to a set of rules. There you can e.g. Replace already stored node weights for the training plan adjustment. Furthermore, a
  • Regular updates to the exercise plan can be made.
  • suggestions can be made for a training plan adjustment, for example based on the evaluation of historical data.
  • these suggestions can be made available via a terminal.
  • the suggestions are made on the basis of data recorded by the system with at least one camera, a processor and a memory and / or the configuration of a training plan.
  • the exercise plan in turn, can include exercises for gait training.
  • Example 42 Computer-implemented procedure for motion sequence evaluation
  • the example comprises a computer-implemented method for
  • Movements of a person a feature extraction 720 of the recorded movements, for example the movement sequence; a classification of the recorded movements, for example a movement sequence classification 770; a feature classification 765 of the recorded movements; an assignment of instructions to detected
  • Deviations of the movements for example a decision classification 775 and an output of the movement sequence correction 450 of the movements, for example an output of a gait correction.
  • the feature classification 765 includes, for example, the evaluation of personal parameters such as stride length, leg phase, standing time, etc. of the person being recorded.
  • the movement sequence classification 770 comprises, for example, a combined consideration of different limbs and / or the use of forearm crutches.
  • the output of the movement sequence correction (for example an output of a gait correction) comprises the output of instructions to the person, for example via a loudspeaker, a projection and / or a display.
  • the recorded movements can be exercises as part of gait training, for example. The expenditure of
  • Movement sequence correction 450 can also take place in a prioritized manner, in one aspect different deviations which have different priority scores are compared within a time interval, and only those deviations which have the highest priority score are output in each case.
  • the data of the movement sequence classification 770, the feature classification 765 and / or the movement sequence correction (for example a decision classification 775) as well as the evaluations of the recorded ones Movements, such as gait training, can be saved with corresponding historical data.
  • the recorded and evaluated data i.e.
  • the results of the movement sequence classification 770, the movement sequence correction such as the decision classification 775 and / or the raw data of the recordings are transmitted to a learning module 190.
  • the method also includes access to the data in the learning module, for example via a terminal, and a re-evaluation of the movement sequence classification, for example one
  • Gait sequence classification a re-evaluation of the feature classification and / or a re-evaluation of the movement sequence correction, e.g. the decision classification, e.g. with regard to the output of a movement sequence correction 450.
  • This reassessment can be done manually, for example.
  • the at least one manual rule adaptation is transferred to a rule set 150.
  • the rule set 150 for example, an update of the movement sequence classification, for example the gait sequence classification, the feature classification and / or
  • Movement sequence correction such as the decision classification, for example a movement sequence correction.
  • the updated rules of the decision classification for example a movement sequence correction.
  • Movement sequence classification for example the gait sequence classification, the
  • Characteristic classification and / or movement sequence correction for example the
  • the system which records the movements of the person.
  • these motion recordings can be anonymized in an optional step, for example by pixelating the faces.
  • the video sequences can be tagged, in particular with regard to a deviating and / or physiological sequence of the movement sequence.
  • Time stamps can be assigned, for example.
  • an automated reassessment of the movement sequence and / or an automated reassessment of the movement sequence correction, such as the decision classification can be carried out.
  • This automated reassessment takes place, for example, by means of machine learning and / or neural networks.
  • the evaluations of the movements recorded for example an exercise such as a gait training, and serve as output variables the movement sequence classification, for example a gait sequence classification, the feature classification and / or the
  • Movement correction for example the decision classification.
  • the node weights determined in the automated reassessment for the feature classification, the movement sequence classification, for example a gait sequence classification and / or the movement sequence correction, for example a decision classification, can be transmitted to the rule set 150, for example.
  • Movement sequence corrections for example the decision classification, are updated and, for example, also the corresponding rules of the movement sequence classification, for example the gait sequence classification, the feature classification and / or the
  • Movement correction for example the decision classification.
  • the updated node weights and / or rules are transmitted to the system that detects the person.
  • Example 43 Service robot with the ability to select one independently
  • This example shows a service robot 17 with at least one optical one
  • Sensor unit a radar sensor and / or an ultrasonic sensor and at least one memory that contains a map of the area surrounding the service robot, wherein the service robot 17 detects and evaluates the number and / or type of obstacles in its area in order to identify such subareas within the map that have a low density of obstacles.
  • Areas for example, are stored in the map in which the service robot 17 mainly moves.
  • the obstacles are recorded over time, for example in the daily routine, weekly routine and / or monthly routine.
  • the obstacles can be dynamic and / or static obstacles, for example.
  • the dimensions of the obstacles can also be recorded, for example. The dimension can be determined, for example, absolutely and / or relative to the width of an aisle in which the service robot moves.
  • the obstacles are recorded during an exercise during which the service robot 17 moves in the subareas.
  • the service robot in an alternative aspect an external system into which the data has been transferred, determines the hindrance density over time.
  • the data from the external system then becomes the service robot again 17 transferred.
  • the evaluation of the data includes, for example, clustering.
  • time intervals can be defined in which certain subareas have a low Hindemis density.
  • forecasts can be made about a future density of obstacles.
  • the service robot 17 can, for example, perform tasks to be completed especially in those subareas which have a low density of obstacles.
  • the tasks to be performed can depend on density threshold values.
  • the service robot 17 can, for example, make route selection decisions based on the density determined.
  • Example 44 Computer-implemented method for recognizing the load on a leg
  • This example comprises a computer-implemented method for recognizing the load on a leg of a person and has the contactless detection of the movements of the person.
  • the contactless detection can be carried out using a camera.
  • a skeleton model is created and joint points and / or direction vectors between the joint points are evaluated in terms of time and space.
  • a feature extraction 720, a feature classification 765 and / or a movement sequence classification 770 can be carried out.
  • walking aids are also recorded and the course of the walking aids is evaluated relative to the person's ankle points 1950.
  • a leg to be loaded is placed in the sagittal plane near at least one forearm crutch (UAGS).
  • the leg to be relieved is close to the line that connects the UAGS.
  • the gait sequence of the person who is supposed to relieve the leg is the three-point gait.
  • the recorded movements are compared with stored rules. There is, for example, decision classification 775 for evaluating which of the detected deviations should result in a correction output and output of a movement sequence correction 450, for example via the route of a voice output of instructions to the person.
  • the angle between the forearm and upper arm, extension and / or flexion angle of the hip and knee and / or the inclination of the upper body (in the frontal and sagittal planes) are evaluated.
  • Relief of a leg is determined by the angle between the forearm and upper arm being less than 170 °, For example, is less than 160 °, the knee angle of the leg, which can only be loaded to a limited extent, for example.
  • Example 45 Walking aid with communication device
  • the following describes a walking aid that is equipped with a power source, a control unit, wireless interface and a button that is pressed when pressing the
  • Wireless interface transmits a signal, is equipped. At the recipient of the
  • the transmitted signal can be, for example, a service robot.
  • the walking aid is a forearm crutch.
  • the button is located at the distal end of the T-shaped handle that is gripped by the patient's hands.
  • the control unit is configured in such a way that different signals can be transmitted by pressing the button.
  • the pressure frequency and / or the number of pressure events can represent different signals, for example.
  • triggering the button triggers a re-identification of the patient by the service robot.
  • Example 46 Method for evaluating a three-point gear
  • the example comprises a computer-implemented method for evaluating a three-point gait with the following steps:
  • the determination is made, for example, of whether the position of the contact points of the UAGS on the floor is approximately parallel to the frontal plane of the person.
  • the frontal plane can be determined, for example, by the direction of movement of the person being detected. It follows, for example, whether the foot of the leg to be protected is positioned between the UAGS.
  • connection line is determined between the
  • the position of the UAGS end points 1970 and the ankle point 1950 of the leg to be spared in the sagittal plane is evaluated with respect to one another and the distances between these points are evaluated.
  • Service life the time of putting on the UAGS and / or feet or ankle points 1950; the distance between UAGS endpoints 1970 in contact with the ground in the frontal plane; the distance between UAGS endpoints 1970 in contact with the ground to ankle points 1950 in sagittal and / or frontal plane; the last two aspects are used to evaluate the UAGS use relative to the body position, e.g. whether the supports are set too close or too far away from the body (sideways or forward).
  • a movement sequence classification 770 can take place, in which at least two features are evaluated in combination and compared with stored rules. If deviations in the movement sequence are recognized, the decision matrix for the detected deviation is used to assess whether an output of
  • the example discloses a computer-implemented method for evaluating a three-point gait, comprising the detection of articulation points, direction vectors between articulation points and / or forearm crutches (UAGS) as space-time parameters; the
  • the distance of the perpendicular to one another in the sagittal plane or the distance between the two points in the sagittal plane can be evaluated and / or an assessment can be made as to whether there is a contralateral use of UAGS and leg. This evaluation is done, for example, by comparing
  • Thresholds In addition, the further aspects from the previous example (last two paragraphs) can be used to evaluate the two-point course as further steps.
  • GUI graphical user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Rehabilitation Tools (AREA)

Abstract

System und Verfahren zur Erfassung eines Bewegungsablaufs einer Person. Das Verfahren umfasst die Erfassung durch einen berührungslosen Sensor einer Vielzahl von Bildern der Person bei einem Bewegungsablauf,wobei die Vielzahl von Bildern die Bewegungen der Körperelemente der Person darstellt, die Erstellung von mindestens einem Skelettmodell mit Gliederpositionen für zumindest einige der Vielzahl von Bildern, und die Berechnung des Bewegungsablaufs aus den Bewegungen der Körperelemente der Person durch Vergleich der Änderungen der Gliederpositionen in den mindestens einen erstellten Skelettmodells.

Description

Beschreibung
Titel:
Verfahren und System zur Erfassung des Bewegungsablaufs einer Person.
Gebiet der Erfindung
Die Erfindung umfasst ein Verfahren und System zur Erfassung des Bewegungsablaufs einer Person.
Hintergrund der Erfindung
[0001] Das Gesundheitssystem leidet unter einem erheblichen Fachkräftemangel. Dieser führt dazu, dass Therapie und Pflege immer öfter nur noch in unzureichendem Maße erbracht werden können, mit erheblichen Auswirkungen auf die Gesundheitskosten sowie auf die Wertschöpfung der Volkswirtschaft. Für Patienten bedeutet dies möglicherweise auch verlängertes Leid bzw. gar Folgeerkrankungen, die bspw. durch Haltungsschäden bei Rehabilitationsmaßnahmen entstehen können, sofern Patienten hierbei nicht in ausreichendem Maße angeleitet werden. Mit diesen Effekten geht einher, dass die Notwendigkeit zur Dokumentation des Patientenzustands immer weiter zunimmt, um sich aus Kliniksicht ggf. auch gegen Schadensersatzansprüche wehren zu müssen, die auf unzureichende Therapien zurückgeführt werden können. Dies kann in einigen Fällen zu einem sich selbst verstärkenden Effekt führen.
[0002] Das in diesem Dokument beschriebene System adressiert diese Problematik, indem die primäre Überwachung von Rehabilitationsmaßnahmen, insbesondere solcher des Haltungs und Gangapparats bei einem Bewegungsablauf, durch z.B. einen Serviceroboter erbracht wird. Dieser Serviceroboter ist ferner in der Lage, die absolvierten Übungen genau zu dokumentieren, womit die betreffende Gesundheitseinrichtung in der Lage ist, ihre diesbezüglichen Compliance-Verpflichtungen einzuhalten, ohne hierfür separat noch Personal abstellen zu müssen. Ein weiterer Effekt ist, dass der Einsatz eines solchen Systems die Beurteilung des Therapieerfolgs standardisiert, denn gegenwärtig unterliegt die Einschätzung dessen, ob eine Übung korrekt absolviert wird, der Einschätzung eines Therapeuten, der sich wiederum durch individuelle Erfahrungen von anderen Therapeuten unterscheidet. Somit sind bei Einschätzungen durch Therapeuten für ein und dieselbe Übung unterschiedliche Bewertungen möglich, während beim Einsatz des Systems bzw. des Serviceroboters eine einheitliche Einschätzung erfolgt.
[0003] Weiterhin bietet der Einsatz des Serviceroboters bspw. in den Bereichen Gang- und Treppentraining eine deutliche Entlastung für das therapeutische Personal: in neurologischen, geriatrischen sowie internistischen Einrichtungen kann der Serviceroboter die Begleitung von Patienten mit Orientierungsschwäche übernehmen ebenso wie das Training des
Bewegungsablaufs von Patienten, die durch häufiges Trainieren des Gehens ihre Teilhabe am Leben deutlich verbessern würden. In orthopädischen Einrichtungen stellen bspw. das Gangtraining mit und ohne Unterarmgehstützen (UAGS), Achsel stützen oder anderen Hilfsmitteln sowie das Treppensteigen nach chirurgischen Eingriffen an den unteren
Extremitäten oder an der Wirbelsäule einen erhöhten Zeitfaktor für das gering besetzte therapeutische Personal dar. Dieser Zeitaufwand kann durch den Einsatz des mobilen
Serviceroboters bspw. bei für das Gang- und Treppentraining geeigneten Patienten reduziert werden.
[0004] Der Serviceroboter unterstützt dabei, das Operationsergebnis zu erhalten als auch falsche Bewegungsmuster bei dem Bewegungsablauf zu vermeiden. Durch therapeutisches Training nach einer Operation wird versucht, einen falschen Bewegungsablauf z.B. einen falschen Gangablauf, welcher sich der Patient aufgrund von Schmerzen oder
Bewegungseinschränkungen vor der Operation angewöhnt hat (z.B. Schonhaltungen und/oder Ausweichbewegung), wieder abzutrainieren bzw. abzugewöhnen. Dies ist umso erfolgreicher, je häufiger der richtige Bewegungsablauf trainiert wird (repetitives Training). Haben
Therapeuten während der Rehabilitation weniger Zeit für ein therapeutisches Training, stellt der Serviceroboter eine gute Alternative dar, die Fehler in dem Bewegungsablauf rechtzeitig zu erkennen und zu korrigieren.
Stand der Technik
[0005] Dem Fachmann sind verschiedenartige System einschließlich Serviceroboter im Gesundheits- bzw. Geriatriebereich bekannt. So beschreibt CN108422427 einen
Rehabilitationsroboter, der in der Lage ist, Essen auf Tabletts zu servieren. Ähnlich gelagert ist CN206833244, in dem ein Serviceroboter im Krankenhaus Materialien verteilt. Ebenfalls im Krankenhausumfeld bewegen sich die chinesischen Patentanmeldungen CN107518989 und CN101862245, welche einen Serviceroboter umfassen, der Patienten transportiert, ähnlich einem Rollstuhl. CN205950753 beschreibt einen Serviceroboter, der Patienten mittels Sensorik erkennt und durch ein Krankenhaus lotst. In CN203338133 wird ein Serviceroboter zur Unterstützung des Pflegepersonals beschrieben, der Patienten im Krankenhaus bei den täglichen Dingen begleitet. Dagegen bezieht sich CN203527474 auf einen Serviceroboter, der mit seinem Arm ältere Menschen unterstützt.
[0006] CN108073104 bezieht sich auf einen Pflegeroboter, der infizierte Patienten betreut, indem er diesen Patienten Medikamente zur Verfügung stellt bzw. diese Medikamente verabreicht, die Patienten massiert, Essen reicht, mit den Patienten kommuniziert, etc. Der Pflegeroboter reduziert hierbei die Infektionsgefahr für medizinisches Personal, indem der Pflegeroboter die Zahl der Patientenkontakte des Personals reduziert. Ein Serviceroboter zum Begleiten älterer Menschen findet sich in CN107598943. Dieser Serviceroboter verfügt über einige Überwachungsfunktionen, vor allem aber über eine Funktion zur Bodenreinigung.
[0007] Bei CN106671105 handelt es sich um einen mobilen Serviceroboter zur Betreuung älterer Menschen. Der Serviceroboter überwacht durch Sensorik Parameter des Körpers wie die Temperatur, aber auch die Mimik. Er erkennt auch, ob der Mensch gefallen ist und kann über ein Netzwerk entsprechend Hilfe alarmieren.
[0008] Ähnlich gelagert sind CN104889994 und CN204772554, in denen ein Serviceroboter aus dem Medizinbereich die Herzfrequenz erkennt, Patienten mit Sauerstoff versorgt und dabei über eine Spracherkennung und über ein Multimedia-Modul für Entertainmentzwecke verfügt. Die Sauerstoff-Ermittlung im Blut erfolgt auch in CN105082149. CN105078445 bezieht sich auf einen Serviceroboter, der es ermöglicht, insbesondere bei älteren Menschen ein Elektrokardiogramm aufzuzeichnen und den Sauerstoffgehalt im Blut zu messen. Ähnlich angesiedelt ist CN105078450 mit einer Elektroenzephalogramm-Messung.
[0009] Einige der Gesundheitsroboter beziehen sich explizit auf die Durchführung von Übungen mit Patienten oder auch Assessments. In CN108053889 wird relativ abstrakt ein System beschrieben, das basierend auf abgespeicherten Informationen Übungen mit einem Patienten durchführt. CN108039193 beschreibt ein System zur automatischen Generierung von Gesundheitsreports, das in einem Serviceroboter eingesetzt wird. Das Erfassen von Bewegungen/Fitnessübungen mithilfe eines Serviceroboters, das Aufzeichnen und
Abspeichern der Daten derselben zu Auswertungszwecken und die Übermittlung an externe Systeme werden in CN107544266 beschrieben. Gleichzeitig ist dieser Serviceroboter in der Lage, die Einnahme von Medikamenten über verschiedene Sensoren zu überwachen.
[0010] CN106709254 beschreibt einen Serviceroboter zur medizinischen Diagnose eines Patienten, der zugleich, basierend auf der Diagnose, auch einen Plan zur Behandlung erstellt. Hierzu wertet der Serviceroboter Sprach- und Bildinformationen aus und vergleicht diese mit in Speichern hinterlegten Informationen. Hierbei kommt ein neuronales Netzwerk zum Einsatz.
[0011] In CN106407715 wird ein Serviceroboter beschrieben, der mittels Sprachverarbeitung und Bilderkennung die Anamnese eines Patienten durchführt. Neben dem Abfragen über Sprachein- und Sprachausgabevorrichtungen über ein Touchpad wird auch ein Foto der Zunge, das von einer Kamera des Serviceroboters aufgenommen wird, für die Anamnese herangezogen.
[0012] CN105078449 beschreibt einen Serviceroboter mit einem Tablet-Computer als Kommunikations-Einheit, über das u.a. ein kognitives Funktionstraining bzw. ein kognitiv psychologisches Assessment stattfindet, um Alzheimer in Patienten zu entdecken. Das Tablet zeichnet hierzu ein nach einem bestimmten Prozess ablaufendes Telefonat zwischen dem Patienten und einem Kind auf und leitet aus dem Gesprächsverlauf ab, ob der Patient unter Alzheimer leidet.
[0013] Jaeschke et al. 2018 validiert, ob eine Gangauswertung mittels Microsoft Kinect auf einem Serviceroboter im Vergleich zu etablierten stationären Gangauswertungssystemen (dem Goldstandard) valide Ergebnisse liefern kann, was die Positionsbestimmung der Gelenke und Gliedmaßen angeht, d.h. ob die für die Evaluation eines Gangtrainings relevanten Parameter auf diesem Wege erfasst werden können. Schritte pro Minute,
Schrittgeschwindigkeit, Schrittlänge, Zeit auf einem oder beiden Füßen werden als relevante Parameter genannt wie auch Extension und Flexion der Knöchel, Knie und Hüfte wie auch die Kippneigung des Beckens und das Nach-Vorne- oder -Hinten-Lehnen des Rumpfs. Bei der Auswertung des statischen Vergleichs zwischen beiden Systemen wurde festgestellt, dass die Erfassung der relevanten Parameter für den klinischen Einsatz mittels der Kinect ausreichend ist und nicht wesentlich von denen des (stationären) Goldstandards abweicht. [0014] Trinh et al. 2018 legen dar, wie eine sitzende Person von einem Serviceroboter erkannt werden kann und wie ein Serviceroboter mit dieser Person interagieren kann. Es wird ferner beschrieben, dass Personen mit Gehhilfen via eines 2D-Laserscanners identifiziert werden.
[0015] Vorndran et al. 2018 illustrieren, wie ein Nutzer, der ein Gangtraining absolviert, durch einen vor dem Nutzer fahrenden Serviceroboter getrackt wird. Hierzu wird auch eine in ihrer Ausrichtung steuerbare Kamera genutzt, die eine bessere Nachverfolgung des Nutzers ermöglicht. Personentracking findet mittels LID AR und RGB-Kamera statt. Weiterhin nutzt der Serviceroboter zur Ermittlung der (künftigen) Nutzer sowohl einen Laserscanner als auch eine RGB-D-Kamera (3D-Kamera). Diese Prognose des Nutzerverhaltens wird sowohl dafür genutzt, den Serviceroboter zu steuern, als auch für die Nachführung der RGB-Kamera mittels eines PID-Controllers.
Kurzfassung der Erfindung
[0016] Die Erfindung umfasst ein Verfahren und ein System z.B. einen Serviceroboter zur Unterstützung der Therapie eines Patienten, insbesondere der Therapie des
Bewegungsablaufs. Der Serviceroboter verfügt über Sensoreinrichtungen, um die
Bewegungen der Körperelemente bei dem Bewegungsablauf des Patienten zu erfassen und die erfassten Bewegungen mit solchen Bewegungen zu vergleichen, die in einer
Speichereinheit im Serviceroboter bzw. in einer Cloud hinterlegt sind. Basierend auf etwaigen Abweichungen in den Bewegungen kann der Serviceroboter dem Patienten Hinweise zur Verbesserung seiner Bewegungsabläufe geben. Die absolvierten Übungen und die hierbei abgespeicherten Daten können anschließend von einem Therapeuten ausgewertet werden.
[0017] In einem Aspekt wird ein computer-implementiertes Verfahren zur Erfassung eines Bewegungsablaufs einer Person in diesem Dokument beschrieben, wobei der
Bewegungsablauf Bewegungen von Körperelemente der Person umfasst. Das Verfahren umfasst eine Erfassung durch einen berührungslosen Sensor einer Vielzahl von Bildern der Person bei einem Bewegungsablauf (bspw. einem Gangablauf), wobei die Vielzahl von Bildern die Bewegungen der Körperelemente der Person darstellt, eine Erstellung von mindestens einem Skelettmodell mit Gliederpositionen für zumindest einige der Vielzahl von Bildern, und eine Berechnung des Bewegungsablaufs aus den Bewegungen der
Körperelemente der Person durch Vergleich der Änderungen der Gliederpositionen in den mindestens einen erstellten Skelettmodells. Wie oben schon erläutert kann das Verfahren auch einen Vergleich des berechneten Bewegungsablaufs mit einem vorbestimmten Bewegungsablauf, der in einem Speicher abgelegt ist, umfassen.
[0018] Die Berechnung des Bewegungsablaufs umfasst die Auswertung von Bewegungen der Körperelemente über mindestens einen kompletten Gangzyklus, damit das System ein vollständiges Bild des Bewegungsablaufs erhält.
[0019] In einem weiteren Aspekt umfasst das Verfahren auch eine Erkennung von mindestens einer Gehhilfe in der Vielzahl von Bildern durch Vergleich mit Gehilfe-Mustern. Das Verfahren kann eine zusammenhängende Auswertung der mindestens eine Gehhilfe und mindestens einem aus dem Skelettmodell erhaltenen Fußgelenkpunkt durchführen, wobei die Auswertung eine Ermittlung der Differenz des mindestens einen Fußgelenkpunkts zu einem bodenseitigen Endpunkt, der mindestens eine Gehhilfe umfasst. Diese Differenz wird z.B. in der Sagittal ebene ermittelt und die Auswertung erfolgt z.B. zu einem Aufsetzzeitpunkt auf den Boden.
[0020] Das Verfahren kann weiter eine Meldung bei Abweichung der Bewegungen in dem erfassten Bewegungsablauf von den Bewegungen in dem vorbestimmten Bewegungsablauf umfassen, um die Person über falsche Bewegungen in dem Bewegungsablauf zu informieren. Die Anzahl der ausgegebenen Meldungen ist von der Anzahl und Art der detektierten
Abweichungen der Bewegungen abhängig.
[0021] Das System zur Erfassung eines Bewegungsablaufs einer Person umfasst mindestens einen Sensor zur berührungslosen Erfassung einer Vielzahl von Bildern der Person bei einem Bewegungsablauf (bspw. einem Gangablauf), wobei die Vielzahl von Bildern die
Bewegungen der Körperelemente der Person darstellt und eine Auswertungseinheit zur Erstellung von Skelettmodellen mit Positionen der Körperelemente für zumindest einige der Vielzahl von Bildern und zur Berechnung von Bewegungen der Körperelementen der Person durch Vergleich der erstellten Skelettmodelle.
Die Auswertungseinheit kann einen Speicher mit vorbestimmten Werten über die Positionen der Körperelemente bei einem vorgesehenen Bewegungsablauf aufweisen und vergleicht im Betrieb die vorbestimmten Werte mit den Bewegungen der Körperelemente vergleicht. [0022] Die Auswerteeinheit wertet im Betrieb die Positionen der Körperelemente unter Zuhilfenahme von Gehhilfen über mindestens einen Gangzyklus hinweg und/oder eine Symmetrie der Bewegung der Körperelemente aus.
[0023] Das System hat ebenfalls eine Ausgabeeinheit zur Ausgabe von Meldungen bei der Ermittlung von Abweichungen zwischen den Bewegungen von Körperelementen und dem vorbestimmten Bewegungsablauf.
[0024] In einem weiteren Aspekt umfasst das System eine Segmentierungseinheit zur Erkennung von Gegenständen z.B. Gehilfen oder andere Gegenstände in der Vielzahl von Bildern.
Zeichnungen:
Die Erfindung wird nun mit Hilfe der Zeichnungen näher beschrieben. Es zeigen:
Fig. 1 : Exemplarische Systemarchitektur
Fig. 2: Draufsicht auf die Räder des Serviceroboters
Fig. 3: Managementsystem des Serviceroboters
Fig. 4: exemplarischer Übungsplan
Fig. 5: Konfiguration GUI Übungsplan
Fig. 6: Datenaustausch zwischen Patientenadministrations-Modul, Navigationsmodul,
Transponder und Serviceroboter
Fig. 7: Ablauf der Übungen
Fig. 8: 3D-Datenerfassung und -auswertung
Fig. 9: Entscheidungsmatrix basierend auf Bewegungsablaufklassifikationen zur Ausgabe von
Anweisungen bzw. Feedback an Patienten
Fig. 10: selbstlernendes Verfahren zur Übungsplananpassung
Fig. 11 : Auswertungsmatrix der Bewegungsdaten des Patienten für die Therapeuten
Fig. 12: Verfahren zur Verbesserung der Bewegungsablaufkorrektur- und der
Bewegungsablauf-Bewertung auf Basis von gelabelten Videosequenzen
Fig. 13: automatisierte Verbesserung der Bewegungsablaufkorrektur und der
Bewegungsablauf-Bewertung
Fig. 14: Sequenz der Rumpfneigung (lean of trunk), Hüft-Flexion und Knie-Flexion eines Patienten mit Prothese (TEP) in der rechten Hüfte.
Fig. 15: Stützeneinsatz über die Zeit Fig. 16: Sequenz von Standzeiten eines Patienten mit Prothese in rechter Hüfte
Fig. 17: Histogramm der Fehlerklassen: Symmetrie der Gangabläufe
Fig. 18: Übungsunterbrechung
Fig. 19 Winkel der Gliedmaßen und des Oberkörpers
Fig. 20 Skelettmodell
Fig. 21 Ergänzende Ermittlung Fußgelenkpunkte
Fig. 22 Dreipunktgang
Fig. 23 Zweipunktgang
Beschreibung der Erfindung
[0025] Ein Serviceroboter 17 ist in Fig. 3 dargestellt und kann in unterschiedlichen Hardware- Software-Konfigurationen gestaltet sein, die unterschiedliche Komponenten und/oder Module umfassen. Dieser Serviceroboter 17 ist ein Beispiel eines Systems zur Erfassung des
Bewegungsablaufs einer Person z.B. eines Patienten und ist nicht einschränkend für die Erfindung.
[0026] Eine exemplarische Systemarchitektur wird in Fig. 1 dargestellt. Wie exemplarisch an anderen Stellen in diesem Dokument beschrieben ist, sind auch alternative Aspekte möglich, bei denen einzelne Komponenten und/oder Module ergänzt und/oder weggelassen werden. Prinzipiell verfügt ein Serviceroboter 17 über mindestens einen Prozessor (in PC- oder ARM- Architektur) und mindestens einen mit dem Prozessor verbundenen Speicher.
[0027] In dem Aspekt von Fig. 1 umfasst die Systemarchitektur vier Ebenen, darunter drei Software-Ebenen (eine Anwendungsebene 2010, eine Verhaltenseben 2020, sowie eine Ebene 2030 der Serviceroboter-Fähigkeiten), und eine Hardwareebene 2080. Die Ebenen 2010, 2020 und 2030 bilden vornehmlich Module ab, was expressis verbis aus Übersichtsgründen nicht in Fig. 1 so dargestellt ist und auch nachfolgend im Text nicht an allen Stellen expressis verbis dargestellt sein muss. Auf der Ebene 2030 werden die Serviceroboter-Fähigkeiten abgebildet, die wiederum die Grundlage für die Verhaltensebene 2020 bilden, die das Verhalten des Serviceroboters 17 abbildet, während die Anwendungsebene 2010 die Anwendung abdeckt.
In dieser Anwendungsebene 2010 befindet sich bspw. eine Anwendung Gangtraining in einem Bewegungstrainingsmodul 2011, in welcher Handlungsanweisungen etc. für einen Patienten abgelegt sind. Das Trainingsmodul kann jedoch auch andere Trainingsanweisungen beinhalten, die nicht notwendigerweise bewegungsbezogen sind, z.B. Anweisungen für Trainings des Gedächtnisses, etc. Dazu kommen ein Übungsplan bzw. Instruktionen wie Sprach- und/oder Displayausgaben, um den Übungsplan umzusetzen 2012, die Auswertung der Übungen 2013 in dem Übungsplan, und letztendlich (optional) Patientendaten wie Alter, Komorbiditäten, Zimmemummern des Patienten, usw. 2014.
[0028] Die vier Ebenen bauen jeweils aufeinander auf. So verlangt z.B. die Applikation Bewegungstraining bestimmte Roboter-Fähigkeiten, die wiederum bestimmte
Hardwarekomponenten voraussetzen.
[0029] Auf der Verhaltensebene 2020 gibt es ein Modul für die Nutzerführung 2021 sowie eine Bewegungsablaufkorrektur im Bewegungskorrekturmodul 2022. Weiterhin gibt es ein Modul, welches abbildet, wie der Serviceroboter 17 auf den Patienten zugeht 2023, d.h. auch, wie der Serviceroboter 17 mit dem Patienten kommuniziert. Ein weiteres Verhalten, das auf dieser Verhaltensebene 2020 abgebildet ist, ist das Fahren zum Ziel 2024 sowie das
Einnehmen einer Warteposition 2025.
[0030] Auf der Ebene der Serviceroboter-Fähigkeiten 2030 gibt es mehrere Module, die verschiedene, wichtige Submodule beinhalten. Da ist zunächst ein Personenerkennungsmodul 2040 für die Personenerkennung. Das Personenerkennungsmodul 2040 beinhaltet ein
Personenidentifizierungsmodul 2041 für die Personenidentifizierung, ein erstes
Personentrackingmodul 2042 für visuelles Personentracking primär via 2D-Kamera, ein zweites Personentrackingmodul für LIDAR-basiertes Personentracking 2043. Daneben gibt es ein Submodul als Re-Identifizierungsmodul 2044 für die Personen-Re-Identifizierung, welches einsetzt, wenn eine Person (Patient) einen Trackingbereich verlassen hat, ein
Submodul als Sitz-Erkennungsmodul 2045 für die Sitz-Erkennung 2045, welches dazu genutzt wird, Personen (Patienten), die auf einem Stuhl sitzen, zu erkennen, und ein
Submodul als Skeletterkennungsmodul 2046 für eine 3D-Skeletterkennung. Diese kann mittels 2D oder 3D-Kamera erfolgen.
[0031] Ein weiteres Modul auf der Ebene der Serviceroboterfähigkeiten 2030 ist ein
Bewegungsauswertungsmodul 2050, welches ein Submodul als
Bewegungsablaufextraktionsmodul 2051 zur Merkmalsextraktion des Bewegungsablaufs und ein Submodul als Bewegungsablaufbewertungsmodul 2052 zur Erfassung und Bewertung des Bewegungsablaufs des Patienten beinhaltet.
[0032] Im Navigationsmodul 2060 befindet sich ein Submodul für die 2D/3D-Erfassung 2061, ein Mappingmodul 2061a zur Kartierung seines Umfelds, ein Kartenmodul 2061b mit einer Karte der Umgebung, in der sich der Serviceroboter 17 bewegt. Weiterhin verfügt das Navigationsmodul 2060 über ein Submodul für die Selbstlokalisierung 2062, zum Beispiel innerhalb einer gemappten Umgebung. Darüber hinaus verfügt das Navigationsmodul 2060 über ein Submodul, um den Serviceroboter 17 stets in Sichtweite zu den zu trackenden Personen zu halten 2063. Ein Pfadplanungsmodul 2064 für die metrische Pfadplanung sorgt dafür, dass der Serviceroboter 17 effizient den eigenen, zurückzulegenden Weg berechnen kann. Ein Bewegungsplanungsmodul 2065 für die Bewegungsplanung, in einem Aspekt mithilfe evolutionärer Algorithmen, nutzt u.a. die Ergebnisse der metrischen Pfadplanung aus dem Pfadplanungsmodul 2064 und errechnet eine optimale Wegstrecke für den
Serviceroboter 17 unter Berücksichtigung verschiedener Zielfunktionen, darunter der
Ermittlung des voraussichtlichen Wegs des Patienten. Im Submodul für die Nutzeransprache 2066 sind Regeln hinterlegt, wie der Serviceroboter 17 navigiert, um eine Person z.B. den Patienten anzusprechen. Dagegen sorgt das Submodul 2067 dafür, eine Distanz zum Nutzer (z.B. einem Patienten, einem Therapeuten, einer Pflegekraft, oder einer sonstigen Person) zu halten, die sowohl Sicherheitsanforderungen als auch die persönliche, kulturell geprägte, zwischenmenschliche Distanz abbildet, die sich der Serviceroboter 17 bei der Interaktion mit Menschen zu eigen macht. Um zu verhindern, dass sich der Serviceroboter 17 festnavigiert, d.h. Positionen im Raum einnimmt, aus denen der Serviceroboter 17 sich nicht mehr mit den herkömmlichen Steuerungsalgorithmen befreien kann, verfügt der Serviceroboter 17 über einen Mechanismus, der diese Selbstblockade detektiert 2068 und auch wieder auflösen kann. Ein Modul für die Ermittlung von Wartepositionen 2069 sorgt dafür, dass der Serviceroboter 17 Wartepositionen einnimmt, wo er niemanden stört. Ein Submodul 2060e für die
Energieversorgung sorgt dafür, dass der Serviceroboter 17 bei niedrigem Energiestand automatisch eine Ladestation aufsucht, dort andockt und seine Batterie auflädt.
[0033] Die Ebene für Serviceroboter-Fähigkeiten 2030 hält zudem ein Modul vor, das sich der Mensch-Serviceroboter-Interaktion widmet 2070. Ein Submodul deckt dabei die graphische Nutzeroberfläche (GUI) ab 2071, ein anderes Submodul stellt Augenkontakt zwischen dem Patienten und dem Serviceroboter 17 her 2072 (sofern der Serviceroboter 17 einen Kopf mit Augen 2094 aufweist) und zwei weitere Submodule nutzen die Sprachsynthese 2073 und Spracherkennung 2074.
[0034] Auf der Hardwareebene 2080 sind verschiedene Komponenten implementiert.
Darunter ist ein Odometrie-Modul 2081, d.h. eine Mess- und Steuereinheit für die Odometrie- Funktion, welche mit dem Navigationsmodul 2060 über eine Schnittstelle verbunden ist. Druckempfindliche Stoßstangen 2082 befinden sich im Abstand von mehreren Zentimeter über dem Boden und erlauben eine Kollisionsdetektion. Sofern eine Kollision im
Navigationsmodul 2060 detektiert wird, wird ein sofortiger Stopp des Differentialantriebs 2090 ausgelöst. Dieser Differentialantrieb 2090 stellt ansonsten die generelle Fortbewegung des Serviceroboters 17 sicher. Ein Ladeport mit zugehöriger Ladeelektronik 2091 ermöglicht es, die integrierte Batterie wieder aufzuladen und von einer externen Ladevorrichtung mit entsprechender Energie versorgt zu werden. Alternative Energiequellen wie bspw. eine Brennstoffzelle, darunter eine Direktmethanol- oder eine Festoxid-B rennstoffzelle, sind zur Stromversorgung des Serviceroboters 17 ebenfalls möglich.
[0035] Der Serviceroboter 17 verfügt über einen LID AR 2083, sowie eine Panorama-Kamera (2D, RGB) 2084. Es befindet sich weiterhin eine RGB-D-Kamera (3D) 2085 am
Serviceroboter 17, die eine Zoom-Funktion aufweist und nachführbar 2086 ist. Zwei
Drahtlosschnittstellen, einmal ein WLAN-Modul 2088 und einmal für einen RFID- Transponder 2089, erlauben den elektronischen Austausch von Daten.
[0036] Der Serviceroboter 17 verfügt über ein Touch-Display 2087. Mindestens ein
Lautsprecher 2092 ermöglicht bspw. die Ausgabe der Sprachsynthese 2073, mindestens ein Mikrophon 2093 die Aufzeichnung von Sprachsignalen bspw. mit dem Ziel der
Spracherkennung 2074 mittels Natural Language Processing. Zu guter Letzt sorgt ein Kopf mit steuerbaren Augen 2094 (mit 6 Freiheitsgraden) für eine verbesserte Mensch-Maschine- Kommunikation auf emotionaler Ebene. Die Komponenten 2087, 2092-2094 dienen vor allem der Mensch- S ervi cerob oter-Interakti on .
[0037] Das Display 2087 kann u.a. für folgende Zwecke im Rahmen der Nutzerführung 2021 genutzt werden:
• Identifizierung des Patienten/Therapeuten über ein Passwort • Durchfühmng eines Dialogs mit dem Patienten/Therapeuten, bspw. das Abfragen/Eingeben von Informationen
• Die Übermittlung von Anweisungen an den Patienten, bspw. als Feedback zu den absolvierten Übungen und/oder als Aufforderung, dem Serviceroboter 17 zu folgen
• Simulation von Übungen, die der Patient absolvieren soll. Hierzu kann ein hinterlegter Avatar eingesetzt werden, aber auch ein Video, das eine Übung mustergültig darstellt.
• Abspielen von Aufzeichnungen der absolvierten Übungen
• Darstellungen der Auswertung der Übungen, bspw. für einen Therapeuten
[0038] Der Serviceroboter 17 kann in einem Aspekt auch über Leuchtelemente verfügen, um dem Patienten Anweisungen zu geben, bspw. zu signalisieren, dass der Patient in einen bestimmten Gang abbiegen soll. Solche Leuchtelemente sind zum Beispiel im oberen Bereich des Serviceroboters 17 angesiedelt und umfassen bspw. LEDs.
[0039] Der Serviceroboter 17 verfügt in einem Aspekt über zwei Antriebsräder 6, die zentriert und parallel zueinander (siehe Fig. 2) angeordnet sind. Darum herum befinden sich, zum Beispiel auf einer Kreisbahn, zwei oder mehr Stützräder 5. Diese Anordnung der Stützräder 5 erlaubt es, durch gegenläufiges Ansteuem der Antriebsräder 6 den Serviceroboter 17 auf der Stelle zu drehen. Die horizontale Achse der Stützräder 5 ist hierzu so gelagert, dass die Achse sich um 360 Grad um die vertikale Achse drehen kann. Beim Einsatz von zwei Stützrädem 5 ist der Abstand der Antriebsräder 6 größer als in Fig. 2 dargestellt, so dass ein zu leichtes Kippen des Serviceroboters 17 verhindert wird.
[0040] Fig. 3 illustriert, dass der Serviceroboter 17 über eine drahtlose Netzwerkverbindung wie dem WLAN-Modul 2088 mit der Cloud 18 verbunden ist. Diese Cloud 18 kann sowohl eine öffentliche wie auch private Cloud („on premise“) sein. Ein Therapeut hat die
Möglichkeit, über ein Terminal 13 auf einen in der Cloud 18 gelagerten Rechner des
Patientenadministrationsmoduls 161 zuzugreifen, der wiederum mit einem Speicher des Patientenadministrationsmoduls 162 in Verbindung steht. Der Rechner des
Patientenadministrationsmoduls 161 und der Speicher des Patientenadministrationsmoduls 162 werden gemeinsam als Patientenadministrationsmodul 160 bezeichnet. Der Therapeut kann im Speicher des Patientenadministrationsmoduls 162 Patientendaten hinterlegen oder in einem Aspekt über eine Schnittstelle diese Patientendaten aus mindestens einem anderen Patientendatenmanagementsystem 170 importieren, das wiederum über einen Rechner des Patientendatenmanagementsystems 171 und einen Speicher des
Patientendatenmanagementsystems 172 verfügt. Zu diesen anderen Systemen zählen unter anderem Krankenhausmanagementsysteme, Krankenhausinformationssysteme (KIS) und/oder Patientendatenmanagementsysteme, wie sie üblicherweise in Kliniken oder
Rehabilitationseinrichtungen genutzt werden. Ferner kann der Therapeut im
Patientenadministrationsmodul 160 dem Patienten den Übungsplan zuweisen, diesen
Übungsplan bspw. im Zeitablauf modifizieren und die Auswertungen der Übungen in dem Übungsplan einsehen, die der Patient mit dem Serviceroboter 17 durchgeführt hat und welche vom Serviceroboter 17 in den Speicher des Patientenadministrationsmoduls 162 über eine Schnittstelle übertragen wurden. Das Patientenadministrationsmodul 160 dokumentiert den Behandlungsfortschritt des Patienten, indem das Patientenadministrationsmodul 160 vom Serviceroboter 17 vorgenommene Auswertungen erhält, und kann den Behandlungsfortschritt an externe Patientendatenmanagementsysteme 170 wie Krankenhausmanagement-Systeme übertragen. Weiterhin befindet sich in der Cloud 18 ein Navigationssystem 180, welches Navigationsinformationen enthält und über einen Rechner des Navigationssystems 181 und einen Speicher des Navigationssystems 182 vorweist. Diese Navigationsinformationen sind über eine Schnittstelle mit dem Navigationsmodul 2060 des Serviceroboters 17 verbunden, insbesondere mit einem Raumplan-Modul 2060r. In diesem Raumplan-Modul 2060r sind den Koordinaten der Räume, in denen sich der Serviceroboter 17 bewegt und die auch von dem Serviceroboter 17 kartiert wurden, bspw. Raumnummem zugeordnet, welche im
Navigationssystem 180 und/oder im Raumplanungsmodul 2060r vorgehalten werden.
[0041] Die Cloud 18 ist mit einem Regelwerk 150 verbunden, das über einen Rechner des Regelwerks 151 und einen Speicher des Regelwerks 152 verfügt. Hier werden zentral vor allem solche Algorithmen vorgehalten, die vornehmlich in den Ebenen Anwendungsebene 2010, Verhaltensebene 2020 und Serviceroboter-Fähigkeiten 2030 des Serviceroboters 17 in Fig. 1 zum Einsatz kommen können, jedoch auch solche, die im
Patientenadministrationsmodul 160 eingesetzt werden. Exemplarisch seien Algorithmen genannt, die zur Bewertung des Bewegungsablaufs im Bewegungsablaufbewertungsmodul 2052 herangezogen werden. Dies bedeutet auch, dass je nach Aspekt einzelne Module aus Fig. 1 lediglich in der Cloud 18 vorgehalten werden können, sofern der Serviceroboter 17 über eine Online- Verbindung in die Cloud 18 verfügt, insbesondere auch dann, wenn es sich um solche zur Navigation handelt. Andere Algorithmen, die sich im Regelwerk 150 befinden, können Therapeuten Vorschläge für Übungsplananpassungen unterbreiten.
[0042] Des Weiteren gibt es in der Cloud 18 ein Lernmodul 190 mit mindestens einem Lemmodul-Rechner 191 und mindestens einem Lernmodul-Speicher 192. Hier werden historische Daten vorgehalten, die der Serviceroboter 17 aufgezeichnet hat, die der Therapeut bspw. durch die Erstellung eines Übungsplans im Patientenadministrationsmodul 160 generiert hat und/oder aber die aus einem externen Patientendatenmanagementsystem 170 stammen und zum Beispiel zuvor in das Patientenadministrationsmodul 160 übertragen wurden und/oder direkt vom Serviceroboter 17. Sofern diese historischen Daten Bezug zum Patienten haben, liegen diese historischen Daten anonymisiert vor. Diese historischen Daten sind über ein Terminal 12 (siehe Fig. 3) zugänglich und können darüber bspw. gelabelt werden. Wie weiter unten näher beschrieben wird, werden diese historischen Daten genutzt, um die Algorithmen im Regelwerk 150 zu verbessern.
[0043] Das Regelwerk 150 ist so konfiguriert, dass die lokal auf dem Serviceroboter 17 installierten Algorithmen zum Beispiel über eine Drahtlosschnittstelle wie das WLAN-Modul 2088 aktualisiert werden können, wobei hier Algorithmen aus dem Speicher des Regelwerks 152 transferiert werden. Daneben können auch Algorithmen im Speicher des
Patientenadministrationsmodul 162 über die Cloud 18 aktualisiert werden.
[0044] Der exemplarisch dargestellte Serviceroboter 17 selbst verfügt über einen Rechner 9 und einen Speicher 10, mindestens einen Sensor 3, mindestens ein Stützrad 5 und mindestens ein Antriebsrad 6 sowie eine Energiequelle 8.
Sensorik
[0045] Der Serviceroboter 17 kann über alternative und/oder ergänzende Sensorik verfügen. Dazu zählen Ultraschall sensoren und/oder Radarsensoren, die die druckempfindliche
Stoßstange 2082 ersetzen. Darüber hinaus kann der Serviceroboter 17 über einen oder mehrere Magnetsensoren verfügen, die derart angeordnet sind, dass die Magnetsensoren Magnete auf dem Boden erkennen mit dem Zweck, räumliche Begrenzungen des
Aktionsradius zu implementieren, bspw. aus Sicherheitsgründen vor Treppen. Alternativ und/oder ergänzend kann der Serviceroboter 17 auch über Infrarotsensoren, Ultraschall und/oder Radarsensoren verfügen, die auf den Boden gerichtet sind und in einem Aspekt so konfiguriert sind, dass die Infrarotsensoren, Ultraschall- und/oder Radarsensoren bspw. Treppenstufen erkennen. Die Informationen aus diesen Infrarotsensoren, Ultraschall und/oder Radarsensoren können bspw. im Mappingmodul 2061 Berücksichtigung in den erstellten Karten finden.
[0046] Die mindestens 3D-Kamera (entweder als RGB-D oder als reine Tiefenkamera ausgestaltet) kann nicht nur für Funktionen des Personenerkennungsmoduls 2040 genutzt werden, sondern auch zum dreidimensionalen Mapping im Mappingmodul 2061. Die mindestens eine 2D-RGB-Kamera kann unter Zuhilfenahme entsprechender
Frameworks, wie z.B. Open Pose (Cao et al. 2017) auch zum 3D-Personentracking 2042 genutzt werden, für welches im Falle einer Kinect das entsprechende Framework genutzt wird, im Falle einer Astra Orbbec bspw. NUITrack. Darüber lässt sich in einem Aspekt die 3D-Kamera ersetzen.
[0047] Bei 3D-Kameras kann sowohl Time-of-Flight (ToF)-Technologie zum Einsatz kommen wie bspw. in der Microsoft Kinect, oder aber ein Speckle-Sensor wie in der Astra Orbbec. Für beide Technologien gibt es im Stand der Technik entsprechende
Auswertungsalgorithmen. Je nach Aspekt können eine oder mehrere 3D-Kameras auch als Ersatz für den LID AR 2083 genutzt werden.
[0048] Die Personenerkennung in dem Personenerkennungsmodul 2040 erfolgt auf Basis von mindestens einem optischen Sensor wie dem LID AR 2083, einer 2D-Kamera 2084 und/oder einer 3D-Kamera (entweder als RGB-3D Kamera 2085 oder als reine Tiefenkamera ausgestaltet). Der LID AR 2083 wird, insbesondere im Falle eines 2D-LIDAR, auch nicht allein eingesetzt, sondern in Kombination mit mindestens einer 2D-Kamera 2084 und/oder 3D-Kamera. Dabei wird der Abstand des Patienten zum Serviceroboter 17 über den LID AR 2083 ermittelt und eine Erfassung ihrer Bewegungen sowie Posen über die 2D-Kamera 2084 oder die 3D-Kamera, wobei letztere ebenfalls die Daten für die Abstandsermittlung Patienten - Serviceroboter 17 ermitteln kann. Alternativ dazu kann auch eine 2D-RGB-Kamera und eine separate 3D-Tiefenkamera eingesetzt werden, wobei dies einen Zusatzaufwand in der Signalverarbeitung, insbesondere Synchronisation, gegenüber einer (3D) RGB-D Kamera bedeutet. Unter dem Begriff„Posen“ wird die Orientierung einer Person im Raum inkl. ihrer Gliedmaßen/Körperteile (Körperelemente) wie auch die Orientierung des Serviceroboters 17 im Raum verstanden. Festlegen der Übungspläne
[0049] Ausgangspunkt bspw. für ein therapeutisches Gangtraining ist der Übungsplan, dessen Ziel es ist, über die Zeit die körperlichen Fähigkeiten des Patienten und somit seinen
Bewegungsablauf sukzessive zu verbessern. Der Serviceroboter 17 ist nun so konfiguriert, dass mittels der beschriebenen Sensorik eine Unterstützung des therapeutischen
Gangtrainings möglich ist. Beispielsweise muss der Patient nach Implantierung einer Hüft- Totalendoprothese (Hüft-TEP) nun einerseits darauf achten, das operierte Gebiet in einem festgelegten Ablauf mit Hilfe von Unterarmgehstützen (UAGS) zu entlasten und andererseits versuchen, dem normalen bzw. physiologischen Bewegungsablauf so nahe wie möglich zu kommen. Dieser Bewegungsablauf ist klar definiert und beispielsweise sehr detailliert in Kapitel 2 von Götz-Neumann,„Gehen verstehen“, Thieme-Verlag, 2016 und in Kapitel 6 von Smolenski et al,„Janda, Manuelle Muskelfunktionsdiagnostik (Elsevier- Verlag, 2016) dargelegt. Durch Schmerzen bedingt, hat sich der Patient bis zum Zeitpunkt der Operation ein Gangmuster (d.h. Bewegungsablauf)„antrainiert“, welches der Patient nun nach der
Operation für ein gutes Operations- und Rehabilitationsergebnis möglichst ablegen sollte. Dieses antrainierte Gangmuster wird nachfolgend auch als„abweichender Gangablauf‘ bzw. „abweichender Bewegungsablauf‘ bezeichnet, korrespondierende Merkmale des
Bewegungsablaufwie bspw. eine durch Schmerzen beeinflusste und damit andere Schrittlänge als im physiologischen Bewegungsablaufwerden als abweichende Schrittlänge bezeichnet.
Das geschieht bspw. durch ein gezieltes Gangtraining (anfangs auch mit UAGS/Gehhilfen), wobei hier besonderes Augenmerk auf das Zusammenspiel einer Vielzahl anderer Körperteile bzw. -elemente zu legen ist. Das betrifft, oben angefangen, die Haltung des Kopfes, aber auch die Neigung des Rumpfes, die Stellung der Ober- und Unterarme, des Beckens und der Beine/Füße.
[0050] Im Rahmen der Benutzung von UAGS haben sich zwei Gangarten herausgebildet, die in der Rehabilitation ihre Anwendung finden: der Dreipunktgang und der Zweipunktgang. Beim Dreipunktgang wird die Belastung des operierten/betroffenen Beines reduziert, indem beide UAGS gleichzeitig mit diesem (operierten/betroffenen) Bein nach vorn gestellt werden. Der Fuß des operierten Beines hat dabei Bodenkontakt. Anschließend wird das gesunde Bein nach vorn gestellt. Diese Art (Dreipunktgang) des unterstützten Gehens ermöglicht eine höhere Gewichtsentlastung für das operierte Bein, da die UAGS einen Teil der Unterstützung übernimmt. Eine Steigerungsform im Heilungsverlauf stellt dabei der Zweipunktgang dar. Mit dem Zweipunktgang wird die teilweise Entlastung eines oder beider Beine erreicht. Dabei werden Stütze und kontralaterales Bein zeitgleich oder zeitnah nach vorn gestellt, gefolgt von der jeweiligen Gegenseite (rechte Unterarm-Stütze- linkes Bein, linke Unterarmstütze - rechtes Bein; dies entspricht einem reziproken Bewegungsablauf). Sobald der Patient auch diese Entlastung nicht mehr benötigt, werden in Absprache mit dem Arzt und den
Therapeuten die UAGS weggelassen. Der Übergang vom Dreipunktgang zum Zweipunktgang erfolgt dann, wenn der Patient einen flüssigen Bewegungsablauf aufweist, charakterisiert durch Standdauer, Spielbeinphase, Schrittlänge und/oder zunehmender Symmetrie zwischen beiden Beinen sowie einer Zunahme der Gehgeschwindigkeit. Die Kriterien für den Übergang zum Zweipunktgang oder Weglassen der UAGS sind dann erfüllt, wenn der Serviceroboter 17 weniger Korrekturen des Patienten vornimmt, als ein Schwellwert definiert und auch die vom Serviceroboter 17 ermittelte Gehgeschwindigkeit über einem Schwellwert liegt, der wiederum von verschiedenen Einflussparametern abhängen kann wie der initial (beim ersten Training) ermittelten Gehgeschwindigkeit, Komorbiditäten, usw.
[0051] Der Übergang kann auch dann vorgenommen werden, wenn zuvor ermittelte
Übungsparameter und daraus abgeleitete Übungsfortschritte bei diesen Parametern eine hohe Übereinstimmung vorweisen mit Interventionen im Übungsplan, die ein Therapeut vomimmt und dem Patienten eine Freigabe für den Zweipunktgang erteilt. Übungsfortschritte werden dabei als Differenz der Bewegungsablaufparameter im Bewegungsablauf wie
Geschwindigkeit, Standdauer, Spielbeinphasen, Schrittlängen usw. sowie Symmetriewerte im Bewegungsablaufermittelt. Den Wechsel vom Dreipunkt- zum Zweipunktgang kann der Serviceroboter 17 entweder selbständig im Übungsplan vornehmen oder dem Therapeuten vorschlagen, wie dies bspw. in Fig. 10 (später näher erläutert) mit Blick auf verschiedene andere Parameter illustriert ist.
[0052] Fig. 4 stellt einen solchen exemplarischen Übungsplan dar, den der Patient absolviert. Während die Zeilen die Tage angeben, wird in der dritten Spalte dargestellt, welche Übungen der Patient mit dem Serviceroboter 17 durchführt. Das ist in diesem Beispiel am ersten Tag keine Übung, am zweiten Tag wird bspw. der Dreipunktgang geübt für 5-10 min, wobei der Patient ca. -20-200m zurücklegt. In der zweiten Spalte sind die Aufgaben für den
Physiotherapeuten hinterlegt. Am zweiten Tag umfassen diese 20 min Krankengymnastik sowie Auswerten der Übungsdaten vom Serviceroboter 17. Die Aufgaben und Abläufe an den weiteren Tagen ergeben sich entsprechend aus der Tabelle. [0053] Mit Blick auf den Serviceroboter 17 werden derartige Übungspläne im
Patientenadministrationsmodul 160 erstellt. Hierzu kann der Therapeut bspw. auf eine graphische Nutzeroberfläche (GUI) zugreifen (Fig. 5), über das bspw. für jeden Tag, den der Patient in der Klinik bzw. Rehaeinrichtung verbringt, die Übungspläne konfiguriert werden. Diese Übungspläne beinhalten u.a. eine Patienten-ID und bspw. das Datum der Operation, die Seite der Operation (bei Knie- und/oder Hüftoperationen), eine mögliche Freigabe von bestimmten Gangarten wie dem Zwei- und/oder Dreipunktgang ab einem bestimmten Datum, eine etwaige Trainingsfreigabe für Übungen an einer Treppe, sowie die Dosierung der Übung (Häufigkeit, Zeitdauer und Streckenlänge pro Tag oder Übung). Hierbei können im
Serviceroboter 17 klinik-/ einrichtungsspezifische Übungspläne hinterlegt werden, die den Anforderungen der jeweiligen Operateure entsprechen. Ziel ist es, beispielsweise nach einer Operation an Hüfte/Knie/Sprunggelenk einerseits den richtigen Ablauf mit den UAGS in Abhängigkeit vom jeweiligen Belastungsgrad und Heilungsverlauf sowie andererseits die jeweiligen Bewegungsabläufe in den Gelenken wieder zu erlernen. Diese Übungspläne passen sich dem festgelegten/vereinbarten Schema der Operateure an. Sie können jedoch aktiv durch den Therapeuten verändert bzw. angepasst werden, wie weiter unten erläutert wird. Werden bspw. dem Therapeuten über das Auswertungsmodul zu viele Abweichungen im Ablauf mit den UAGS angezeigt (möglicherweise weil der Patient Schwierigkeiten bei der Umsetzung des Zweipunktganges hat, der ab einem bestimmten Tag laut Übungsplan zu erlernen ist), kann der Therapeut im Übungsplan die Gangart auf Drei punktgang„zurücksetzen“ und den Ablauf des Zweipunktgangs zu einem späteren Zeitpunkt vom Patienten erlernen lassen. Zudem kann der Therapeut in einem Aspekt, und wie an anderer Stelle näher beschrieben, auf Basis der Auswertung von Vergangenheitsdaten bspw. im GUI sehen, welche Anpassungen des Übungsplans vorgenommen werden sollen, und zwar vornehmlich dynamisch, d.h. bspw. am Tag drei nach der Operation basierend auf dem Trainingserfolg der vorangegangenen Tage. Wie an anderer Stelle in diesem Dokument geschildert, sind auch automatische
Korrekturen der Trainingspläne möglich.
Übertragung der Übungspläne auf den Serviceroboter
[0054] Nachdem der Übungsplan erstellt bzw. angepasst wurde, wird dieser Übungsplan bzw. werden die damit verbundenen Instruktionen an den Serviceroboter 17 übertragen. Hierfür gibt es, je nach Aspekten, verschiedene Ansätze: [0055] Fig. 6 beschreibt den Datenaustausch zwischen Patientenadministrations-Modul 160, dem Navigationssystem 180, welches Rauminformationen enthält (alternativ des Raumplan- Moduls 2060r, welches diese Rauminformationen ebenfalls enthält - optional),
Speichermedium (z.B. Transponder) und Serviceroboter 17. Im ersten Schritt 605 werden Patientendaten für einen Patienten im Patientenadministrationsmodul 160 angelegt. Diese Patientendaten umfassen den Namen, eine ID, die Diagnose (ggf. Hüftoperation),
Komorbiditäten, Patientenalter, etc., eine Raumnummer (wo der Patient anzutreffen ist - optional) und den Übungsplan. Die Patientendaten können bspw. auch über ein externes System wie das Krankenhausinformationssystem über eine Schnittstelle bezogen werden. Auf Basis der Raumnummer können die Koordinaten des Raums aus dem Raumnummemmodul 2060r im Navigationsmodul 2060 des Serviceroboters 17, alternativ aus einem
komplementären Modul im Speicher des cloudbasierten Navigationsmoduls 160 über eine Schnittstelle im Schritt 610 übermittelt werden, was in einem Aspekt des Verfahrens dazu genutzt werden kann, Patienten in ihrem Zimmer abzuholen. Alternativ und/oder ergänzend kann hierüber das Areal definiert werden, in dem der Serviceroboter 17 auf den Patienten trifft.
[0056] Es gibt verschiedene Möglichkeiten, wie die für die Durchführung der Übung relevanten Daten aus dem Patientenadministrationsmodul 160 auf den Serviceroboter 17 übertragen werden. In einer Variante werden Übungsplan (und ggf. Patientendaten) auf einen Transponder oder Speichermedium (wie einen USB-Stick) übertragen 610. Dieser wird dem Patienten ausgehändigt. Am Serviceroboter 17 überträgt der Patient die Daten auf diesen, indem er den Transponder an eine RFTD Lese- (und ggf. Schreib-) Vorrichtung 2089 des Serviceroboters 17 hält, der Serviceroboter 17 diesen Transponder erkennt 612 und entsprechend einliest 615. Statt einer kontaktlosen RFTD Lese- und/oder Schreib Vorrichtung 2089 kann im Falle eines Speichers (bspw. einer USB-Speicherkarte) eine kontaktbasierte Schnittstelle wie ein USB-Port für den USB-Speicher genutzt werden.
[0057] In einer weiteren Variante wird auf den Transponder lediglich eine Patienten-ID aus dem Patientenadministrationsmodul 160 übertragen 620. Alternativ und/oder ergänzend wird eine ID des Transponders im Patientenadministrationsmodul 160 mit dem Patienten assoziiert und wird damit (zumindest für den Datentransfer via Transponder oder ggf. auch Speicher) zur Patienten-ID. Der Transponder (ggf. auch der Speicher) wird am Serviceroboter 17 an der Lese- und/oder (Schreib)Vorrichtung 2089 erkannt 612 und die Patienten-ID wird damit eingelesen 625, was auch durch Handhabung des Transponders/Speichers durch den Patienten geschieht. Danach lädt der Serviceroboter 17 über eine Schnittstelle aus dem sich in der Cloud 18 befindlichen Patientenadministrationsmoduls 160 die für die Durchführung der Übung notwendigen Daten herunter 660 wie bspw. den Übungsplan, wobei die erhaltene Patienten-ID dafür genutzt wird, den relevanten Datensatz im Speicher 162 des
Patientenadministrationsmoduls 160 zu identifizieren. Alternativ zur Nutzung eines
Transponders und/oder Speichers kann auch ein Barcode generiert werden, der die Patienten- ID 630 enthält, und der dem Patienten ausgehändigt wird. Dieser wird vom Serviceroboter 17 erkannt 632, wenn der Barcode vor mindestens eine der 2D-Kameras 2084 oder 3D-Kameras gehalten wird. Der Barcode bzw. die Patienten-ID werden eingelesen 635. Darauf basierend lädt der Serviceroboter 17 über eine Schnittstelle aus dem sich in der Cloud 18 befindlichen Patientenadministrationsmodul 160 die für die Durchführung der Übung notwendigen Daten herunter 660 wie bspw. den Übungsplan. Die erhaltene Patienten-ID 630 wird dafür genutzt, den relevanten Datensatz in der Datenbank 162 des Patientenadministrationsmoduls 160 zu identifizieren. Alternativ zu den bisher genannten Verfahren der Identifizierung am
Serviceroboter 17 kann der Patient auch ein Login erhalten, das mit einer Patienten-ID im Patientenadministrationsmodul 160 assoziiert wird 640. Erfolgt die Eingabe des Logins am Serviceroboter 17 im Schritt 645, so lädt der Serviceroboter 17 die mit diesem Login (und damit der Patienten-ID) assoziierten und für die Durchführung der Übung relevanten Daten aus dem Patientenadministrationsmodul 160 im Schritt 660 herunter. Alternativ zu einem Login können auch biometrische Daten des Patienten genutzt werden wie ein Iris-Scan, ein Fingerabdruck oder ein Scan des Gesichts im Schritt 650, die im
Patientenadministrationsmodul 160 mit dem Patienten assoziiert sind. Am Serviceroboter 17 kann sich der Patient dann entsprechend identifizieren, wobei im Falle eines Iris-Scans oder eines Fingerabdruck-Scans eine entsprechende Lesevorrichtung installiert sein muss. Für einen Scan des Gesichts kann auch die 3D-Kamera des Serviceroboters 17 entsprechend konfiguriert sein, bspw. die RGB-D-Kamera 2085. Nach diesen Schritten 645 und 655 lädt der Serviceroboter 17 die mit der Patienten-ID assoziierten Daten für die Durchführung der Übungen herunter.
[0058] Anschließend führt der Serviceroboter 17 die Übungen im Schritt 665 durch, zeichnet die Ergebnisse der Übungen im Schritt 670 auf und analysiert die Ergebnisse mit Blick auf den Übungsplan 675. Diese drei Schritte 665, 670 und 675 werden an anderer Stelle ausführlicher dargestellt. Nach Abschluss der Übungen werden die vom Serviceroboter 17 aufgezeichneten Daten, vor allem die Auswertungen des Serviceroboters 17, ggf. auch Videoaufzeichnungen der Übungen, Rohdaten der Skeletterkennung (die nachfolgend noch näher beschrieben wird), wieder an das Patientenadministrationsmodul 160 übertragen. Das kann im ersten beschriebenen Fall (Schritte 610 - 612 - 615) dadurch geschehen, dass diese Daten auf den Transponder/Speicher im Schritt 680 übertragen werden und dieser
Transponder/Speicher vom Patienten an den Therapeuten übergeben wird, der den
Transponder/Speicher dann an einem Terminal in das Patientenadministrationsmodul 160 im Schritt 685 einliest. In den anderen beschriebenen Vorgehenswesen (Schritte 620, 630, 640 und 650) kann über eine Schnittstelle ein Datentransfer vom Serviceroboter 17 in das Patientenadministrationsmodul 160 in der Cloud 18 im Schritt 690 erfolgen, wobei die Daten dort entsprechend der Patienten-ID abgelegt werden. Eine solche Übertragung kann am Ende der Übungen erfolgen oder bereits während der Durchführung derselben, in real-time oder in Intervallen.
[0059] Ein Aspekt der Datenübertragung setzt auf Anonymität im Datenaustausch, wozu keine Daten auf den Serviceroboter 17 übertragen werden, die eine Identifizierung des Patienten (ohne die Assoziation Personen-ID mit bspw. Namen) erlauben sowie auch keine Daten auf dem Serviceroboter 17 abgespeichert werden, die eine Identifizierung des Patienten erlauben würden. Sofern der Serviceroboter 17 Videoaufzeichnungen vom Patienten erstellt, werden diese Videoaufzeichnungen, wie noch an anderer Stelle geschildert wird,
anonymisiert.
Prinzipieller Übungsablauf
[0060] Fig. 7 stellt den prinzipiellen Übungsablauf dar. In einem Aspekt ist der
Serviceroboter 17 so konfiguriert, dass der Serviceroboter 17 einen Patienten an einem Ort abholt, den Patienten zu einem Übungsareal begleitet, dort die Übungen absolviert und ggf. den Patienten auch wieder zurückbringt. In Fig. 7 sind diese Schritte in gestrichelten Kästen dargestellt, da diese Schritte optional sind, denn der Serviceroboter 17 kann auch an einem Ort auf den Patienten warten. [0061] Im optionalen Schritt 405 signalisiert der Patient dem Serviceroboter 17 einen Übungswunsch. Alternativ kann für den Patienten auch eine planmäßige Übung anstehen (Datum, Uhrzeit definiert bspw. im Übungsplan) und/oder komplementären Zeitplan. Als nächster Schritt 410 (optional) sucht der Serviceroboter 17 den Patienten auf, wobei die Informationen zu Räumlichkeiten (wie z.B. die Zimmemummer des Patienten) aus dem Navigationssystem 180 oder dem Raumplan-Modul 2060r stammen, im
Patientenadministrationsmodul 160 hinterlegt sind und zusammen mit dem Übungsplan an den Serviceroboter 17 übertragen werden, wie in Fig. 6 beschrieben wurde. Der
Serviceroboter 17 kann mittels des Raumplan-Moduls 2060r und der erstellten Karte im Mappingmodul 2061 den Raum lokalisieren und dorthin navigieren, wozu der Serviceroboter 17 sein Zielführungsmodul 2024 nutzt (in Beispiel 7 wird auf das Vorgehen des Mapping näher eingegangen). Trifft der Serviceroboter 17 beim Patienten ein, kann sich dieser Patient am Serviceroboter 17 im Schritt 415 identifizieren, wie dies in Fig. 6 bereits ausführlich dargelegt wurde. Alternativ dazu kann sich der Patient auch an einen Ort begeben, wo der Serviceroboter 17 wartet. Auf Basis dieser Identifizierung im Schritt 415 nutzt der
Serviceroboter 17 seine Sensorik, umfassend einen LID AR 2083, der 2D-Kamera 2084 und/oder der 3D-Kamera (entweder als RGB-D Kamera 2085 oder als reine Tiefenkamera ausgestaltet), um den Patienten im Schritt 420 zu erkennen, was mittels des
Personenerkennungsmoduls 2040 geschieht. Hierbei findet zunächst eine
Personenidentifizierung im Personenidentifizierungsmodul 2041 statt. Anschließend findet ein Tracking des Patienten im Schritt 425 statt, was mittels des ersten
Personentrackingmoduls 2042 und/oder des zweiten Personentrackingmoduls 2043 geschehen kann. Im Falle einer Störung des Personentrackings, das dazu führt, dass der Serviceroboter 17 den Patienten„aus dem Blick“ verliert, findet eine Re-Identifizierung des Patienten mit Hilfe des Re-Identifizierungs-Moduls statt. Beispiel 4 stellt eine mögliche Ausführungsform näher dar.
[0062] Über einen Dialog im Schritt 430 kann der Patient dem Serviceroboter 17 Hinweise zum Training übermitteln, bspw. einen eigenen Trainingswunsch. Alternativ oder ergänzend kann der Patient auch selbst Übungen auswählen, die der Patient absolvieren möchte, im Gegensatz zum Übungsplan, der vordefinierte Übungen beinhaltet. In einem Aspekt prüft der Serviceroboter 17 bei einem durch den Patienten selbst gewählten Übungswunsch, ob er den Vorgaben des Therapeuten entspricht. Da ein Gangtraining üblicherweise einem
Fortschrittspfad entspricht (z.B. Dreipunktgang vor Zwei punktgang), kann der Patient nicht wesentliche Therapieabschnitte frei überspringen. Es können alternativ zur Vorgabe des Therapeuten jedoch auch automatisiert vorgenommene Übungsplananpassungen und/oder Freigaben berücksichtigt werden, bspw. die automatisierte Ermittlung des Übergangs vom Dreipunkt- zum Zweipunktgang auf Basis von historischen Daten und/oder auf Basis der vorgenommenen Korrekturen des Bewegungsablaufs, welche andere Aspekte des
Gangtrainings betreffen wie die zurückzulegende Streckenlänge usw. Mit Blick auf einen Patienten bedeutet dies, dass Patienten Übungsplankonfigurationen wählen können, welche auf Basis einer automatisiert vorgenommenen Freigabe für bestimmte Übungen beruhen. Alternativ und/oder ergänzend kann auch die Zahl und/oder Art erfolgter Korrekturen im Bewegungsablauf für die automatisierte Freigabe herangezogen werden.
[0063] Der Serviceroboter 17 kann im Dialog im Schritt 430 zudem Informationen abfragen und/oder zu absolvierende Übungen simulieren. Der Dialog kann über eine graphische Nutzeroberfläche 2071 über einen Bildschirm (z.B. ein Touch-Display oder
berührungsempfindliche Anzeige 2087) und/oder eine Sprachein- und -ausgabe mittels Lautsprecher 2092 und Sprachsynthese 2073 bzw. Mikrophon 2093 und Spracherkennung 2074 erfolgen. Der Serviceroboter 17 kann hierbei, je nach Aspekt, eine optimale Distanz 2067 zum Nutzer halten. Danach (optional) navigiert der Serviceroboter 17 zum Übungsareal 435 unter Zuhilfenahme von Algorithmen aus dem Zielführungsmodul 2024„zum Ziel fahren“.
[0064] Der Serviceroboter 17 fordert den Patienten hierfür auf, über die beschriebenen Ausgabeeinheiten, LEDs, etc. ihm zu folgen bzw. gibt ihm Hinweise, wohin der Patient sich bewegen soll. Dabei kann sich der Patient vor dem Serviceroboter 17 herbewegen oder dem Serviceroboter 17 folgen, und zwar sowohl während der Navigation zum Übungsareal als auch während der Übungen selbst. Der Serviceroboter 17 bewegt sich zudem vornehmlich in einem konstanten Abstand zum Patienten, was eine verbesserte sensorische Erfassung der zu absolvierenden Übungen ermöglicht.
[0065] Der Serviceroboter 17 errechnet eine Route, die der Patient und der Serviceroboter 17 absolvieren sollen bzw. müssen. Dazu kann das Mappingmodul 2061 in Verbindung mit der metrischen Pfadplanung aus dem Pfadplanungsmodul 2064 und der
Bewegungsplanungsmodul 2065, in einem Aspekt mittels evolutionärer Algorithmen, genutzt werden. Sobald das Übungsreal erreicht ist, beginnen die Übungen. Dabei gibt der Serviceroboter 17 Anweisungen zu Übungen / Korrekturen im Schritt 440, die auf dem Bewegungskorrekturmodul 2022 basieren. Im weiteren Verlauf wird mithilfe des
Bewegungsauswertungsmoduls 2050 die Ausführung der Übungen erfasst (im
Bewegungsablaufextraktionsmodul 2051) und im Bewegungsablaufbewertungsmodul 2052 ausgewertet. Werden Abweichungen erkannt (Schritt 445 Bewegungsablaufauswertung) oder die Korrekturempfehlungen (Schritt 450 Ausgabe Bewegungsablaufkorrektur) noch nicht korrekt umgesetzt, kann es zur erneuten Generierung des Schrittes 440 kommen. Die Hinweise zur Korrektur des Bewegungsablaufs, die zum Beispiel als Sprachausgabe mittels Sprachsynthese erzeugt werden (und/oder aber auch über ein Display ausgegeben werden), können Hinweise zur Positionierung der UAGS, des Aufrichtens des Oberkörpers, etc.
beinhalten. Darunter können sowohl Hinweise zur direkten Korrektur als auch Lob sein.
[0066] Die Schritte 440-450 sind ein iterativer Prozess, da über den Verlauf der Übung ggf. mehrere Korrekturen und ggf. mehrere Teilelemente einer Übung absolviert werden können. Am Ende des Prozesses steht die Auswertung der Übungen im Schritt 455 und in Schritt 460 der Datentransfer ins Patientenadministrationsmodul, wie er an anderer Stelle bereits beschrieben wurde (siehe Fig. 6). In einem optionalen Aspekt kann der Serviceroboter 17 den Patienten auch (wieder) zu einem Ort im Schritt 465 (zurück)begl eiten, bspw. sein Zimmer. Selbstredend wird während der Navigation der Patient generell fortlaufend getrackt. Kommt es währenddessen zu einer Trackingunterbrechung, muss eine Re-Identifizierung erfolgen.
Datenerfassung und Auswertung vor allem während der Übungen
[0067] Der Ablauf der Erfassung von Sensordaten und der Auswertung der erfassten
Sensordaten ist exemplarisch in Fig. 8 illustriert. In einem Aspekt werden Bewegungen des Patienten mittels des Sensors erfasst, wie z.B. eine Kinect 2 oder eine Astra Orbbec, bei denen es sich um eine RGB-D Kameras 2085 handelt. Das von der 3D-Tiefenkamera im Schritt 710 erzeugte Tiefenbild aus den Sensordaten wird dann im Schritt 715 in Daten zur Repräsentation einer 3D-Punktewolke transformiert, in dem jeder Pixel der 3D-Kamera einer Raumkoordinate zugeordnet wird. Damit wird eine 3D-Repräsentation der
Umgebungsinformationen realisiert.
[0068] Diese Umgebungsinformationen werden im Schritt 720 (Merkmalsextraktion) als nächstes ausgewertet, um ein Skelettmodell des Patienten zu erstellen (Schritt 725
Skelettmodellerstellung). Software-Programme von Drittanbietem, z.B. NUITrack oder das KinectSDK verwenden die Daten der 3D-Punktwolke und leiten daraus Signale zur erfassten Farbe, der räumlichen Tiefe als auch Skelettinformationen im Schritt 725 ab. Unter anderem enthalten diese Signale Angaben über z.B. Gelenkpunkte des jeweiligen Skelettmodells, die bspw. das Kniegelenk oder das Hüftgelenk des Patienten beschreiben. Fig 20 stellt exemplarisch ein Skelettmodell dar, mit dem Körper 1703, den Gelenkpunkten 1701 und den Verbindungen zwischen Gelenkpunkten 1702, die, sofern gerichtet angegeben, als
Richtungsvektoren ausgegeben werden können. Sofern Frameworks wie OpenPose genutzt werden, kann anstelle einer 3D-Kamera auch eine 2D-Kamera wie eine gewöhnliche RGB- Kamera eingesetzt werden.
[0069] Befinden sich mehrere Personen im Bild (d.h. nicht nur der Patient, sondern auch z.B. der Therapeut), werden mithilfe der Software diese Personen durch jeweils ein eigenes Skelettmodell dargestellt. Die Anzahl der erkannten Gelenkpunkte ist zum einen abhängig davon, ob die komplette Person im Bild zu sehen ist und zum anderen von der verwendeten Software. Gelenkpunkte können auch erkannt werden, wenn die Person nicht vollständig zu sehen ist.
[0070] In einem Aspekt werden die Sensordaten der 3D-Kamera derart ausgewertet, dass vom Sensor aus gesehen die Distanz zu jedem detektierten Objekt bzw. Bereich eines Objekts ermittelt wird, wobei diese Auswertung von der Auflösung der 3D-Kamera und der Distanz der Objekte abhängig ist. Über den Blickwinkel zur 3D-Kamera und die Entfernung von der 3D-Kamera können den Sensordaten aus der 3D-Kamera Raumkoordinaten zugewiesen werden. Diese Raumkoordinaten werden dann auch wiederum den Gelenkpunkten zugewiesen. Auf diesem Weg lassen sich über mathematische Vektoroperationen sowohl die Richtungsvektoren zwischen Gelenkpunkten in Richtung und Länge definieren (die auch der Distanz entspricht), als auch Winkel zwischen diesen berechnen, etc.
[0071] Als nächstes findet im Schritt 730 eine Gelenkselektion statt, d.h. es werden nur für die nachfolgend durchzuführenden Berechnungen notwendige Gelenkpunkte
weiterverarbeitet. Anschließend werden im Schritt 735 Winkelberechnungen vorgenommen, bspw. für den Winkel zwischen Unter- und Oberschenkel, oder aber dem Winkel, um den der Oberschenkel aus der Lotrechten abweicht, wozu jeweils ein Gelenkpunkt als Basis definiert wird und die Orientierung der Gliedmaßen/des Rumpfs und/oder bspw. des Lots als Richtungsvektoren die Basis für eine Winkelberechnung darstellen (siehe auch Erläuterungen Fig. 19). Weiterhin werden in Schritt 760 Distanzermittlungen vorgenommen, bspw.
[0072] sogenannten Zeit-Distanz -Parameter. In diese Kategorie fallen beispielsweise die Schrittlänge, die Standdauer, die Spurbreite sowie die Flexion und Extension der Hüft- und Kniegelenke (je nach zu erfolgender Therapie) über die Zeit. Sie werden in der Regel über den Verlauf eines Doppel schritts ermittelt. Eine exemplarische Darstellung dazu findet sich in Beispiel 1. So kann bspw. die Schrittlänge als euklidische Distanz zwischen den
Fußgelenkpunkten 1950 innerhalb der Sagittalebene ermittelt werden, z.B. jeweils zu den Zeitpunkten des Bodenkontakts der Füße (zu erkennen bspw. an den Minima der Höhe der Fußgelenkpunkte 1950 über dem Boden), was die Schrittlänge angibt.
[0073] Ergänzend zu dieser skelettbasierten Prozessierung der Daten wird im Schritt 740 eine Erkennung der Unterarmgehstützen genutzt, auch als UAGS-Erkennung bezeichnet (die in einem Aspekt auch Achsel stützen und/oder andere Arten von Gehstöcken/Gehhilfen umfassen kann). Die UAGS-Erkennung erlaubt somit zu einem späteren Zeitpunkt die Bewertung des Gangmusters in Verbindung mit Ganghilfsmitteln. Als Ausgangspunkt für diese Erkennung dient ebenfalls die im Schritt 710 erfasste 3D-Punktewolke der verbauten Tiefenkamera. Die UAGS werden im Schritt 755 in der Punktewolke durch einen
echtzeitfähigen und fehlertoleranten Segmentierungsalgorithmus in einer
Segmentierungseinheit gefunden. Dabei wird das Wissen über das Skelett des Patienten einbezogen, um geeignete Kandidatenregionen 745 vorauszuwählen, d.h. Bereiche im Raum, in denen sich die UAGS mit hoher Wahrscheinlichkeit befinden. So ist davon auszugehen, dass diese eine Verlängerung der Arme nach unten darstellen, womit bspw. dieser Bereich zur Kandidatenregion für die Detektion der UAGS wird. Diese Kandidatenregionen werden anschließend auf die Übereinstimmung mit Modellannahmen über die Form typischer UAGS (länglich, schmal) im Schritt 750 geprüft und gegebenenfalls ausgewählt. Die Position der UAGS, bspw. die Endpunkte 1970, die den Boden berühren, werden wiederum als Zeit- Distanzparameter innerhalb der Merkmalsextraktion 720, bspw. innerhalb der
Distanzermittlung 760 ausgewertet.
[0074] Daran schließt sich die Merkmalsklassifizierung (oder Merkmalsbewertung) im Schritt 765 an, welche nach verschiedenen Kriterien erfolgen kann. Hierbei kommt bspw. ein vorher bestimmter und gegebenenfalls patientenspezifischer Schwellwert infrage, der über- oder unterschritten wird, wobei das extrahierte Merkmal vornehmlich im Zeitablauf ausgewertet wird. So kann bspw. bei einer Patientengröße von 1,75m und einer hierbei als normal erachteten Schrittlänge von 65cm eine Schrittlänge von 30cm vom Serviceroboter 17 ermittelt werden. Die maximal erlaubte Abweichung der erfassten Schrittlänge gemäß der
Klassifikation beträgt 20cm. Da 65cm Normschrittlänge minus 30 cm vom Serviceroboter 17 gemessene Schrittlänge > 20 Abweichungswert aus der Klassifikation ergibt, würde die Schrittlänge von 30 cm als zu kurz bewertet werden.
[0075] Außerdem ist es beispielsweise möglich, die Symmetrie der Messwerte für die rechte und linke Körperseite zu vergleichen und darüber zu klassifizieren. Dazu werden zeitlich aufeinanderfolgende Werte beispielweise der rechten und linken Schrittlänge gespeichert. Anschließend wird die Differenz der beiden Messwerte ermittelt und gegebenenfalls bezüglich einer Referenzgröße normiert, zum Beispiel auf Basis des Messwerts der operierten Seite als Referenzgröße. Die sich hierbei ergebenden Differenzen der beiden Körperseiten (und damit Symmetrieabweichungen) können durch einen oder mehrere Schwellwerte weiter ausgewertet werden. Um beim Beispiel der Schrittlänge zu bleiben, können
Schrittlängenabweichungen (in Absolutwerten gesprochen) von 20cm als Schwellwert dienen oder aber bspw. 20%, bezogen auf die physiologische Schrittlänge (also die des nicht operierten Beins) - im Gegensatz zur abweichenden Schrittlänge, die sich auf das operierte Bein bezieht und von der physiologischen durch die Operation bedingt abweicht.
[0076] Nach erfolgter Merkmalsklassifizierung 765 werden die klassifizierten Merkmale kontextbezogen bewertet (als Bewegungsablaufklassifizierung im Schritt 770 bezeichnet), d.h. nicht mit Blick auf einzelne Merkmale, wie z.B. Schrittlänge oder Spurbreite, sondern unter Berücksichtigung von Merkmalskombinationen, die sich bspw. in Körperposen äußern, in einem Aspekt unter Berücksichtigung von Gehhilfen. Darüber lassen sich Aussagen über die Verwendung der verordneten Bewegungsart (Zweipunktgang, Dreipunktgang) treffen. Dies geschieht, wie auch die Merkmalsextraktion 720 oder die Merkmalsklassifizierung 765 im Bewegungsablaufbewertungsmodul 2052. Ziel ist die Ausgabe der
Bewegungsablaufkorrektur (Schritt 450), d.h. eine Ausgabe von Hinweisen an den Patienten, um ihn aufzufordern, seine Bewegungen im eigenen Bewegungsablauf so anzupassen, dass sie dem physiologischen Bewegungsablauf entsprechen oder zumindest nahekommen. Dabei erfolgt Feedback an den Patienten durch den Serviceroboter 17 (Hinweis auf Fehler,
Korrekturaufforderung, Bestätigung im Verhalten/Lob). Dazu wird der Bewegungsablaufklassifikation ein Satz an Regeln zugewiesen, die in einem Aspekt als Entscheidungsmatrix dargestellt werden können, in der für bestimmte Posen (bspw.
umfassend Kombinationen verschiedener Merkmalsklassifizierungen, die
Abweichungen/Fehler im Bewegungsablauf darstellen) entsprechende Anweisungen für Korrekturen dieses Bewegungsablaufs hinterlegt sind. Diese Bewegungsablaufkorrektur ist als Schritt 775 Entscheidungsklassifikation in Fig. 9 dargestellt.
[0077] Für die Korrektur des Fehlers„Gesundes Bein wird nicht am operierten Bein vorbeigesetzt“ beim Dreipunktgang müssen z.B. die Werte der Erkennung für die Schrittlänge beim gesunden Bein„zu kurz“ ergeben (d.h. unter einem bestimmten Schwellwert liegen) und gleichzeitig wird der Abstand der UAGS zum gesunden Bein als„zu kurz nach vorne gesetzt“ bewertet werden (d.h. über einem bestimmten Schwellwert liegen). Treffen diese beiden und nur diese beiden Merkmalsklassifizierungen in dieser Kombination zu, wird durch die Entscheidungsmatrix die Korrektur:„Setzen Sie das gesunde Bein am operierten Bein vorbei, nach vom über die gedachte Verbindungslinie zwischen den Stützen.“ als
Nutzerfeedback getriggert. Fig. 9 stellt dies schematisch dar. So erfolgt bspw. als die
Übungsanweisung/Korrektur zum oben erwähnten Beispiel nur dann, sofern die Fehler lund 3 (bspw. definiert als Abweichungen von einem Schwellwert) erkannt wurden. Die
Korrekturansage 2 wiederum wird bspw. getriggert, wenn die Fehler 1, 2 und 4 in
Kombination auftreten usw. Da anfangs von den Patienten mehrere Abweichungen im
Bewegungsablauf gemacht werden und nicht alle Fehler gleichzeitig korrigiert werden können, kann eine durch Therapeuten festgelegte Priorisierung der
Bewegungsablaufkorrektur vorgenommen werden (worauf im nächsten Abschnitt
eingegangen wird). D.h. nicht jede Fehlererkennung führt zur Ausgabe einer
Übungsanweisung/Korrektur durch den Serviceroboter 17, da zumeist eine Mindestzeit und - distanz zwischen zwei Korrekturen liegt. Erkannte Fehler, d.h.
Bewegungsablaufklassifizierungen 770, denen z.B. eine Korrektur zugewiesen wurde, können jedoch trotzdem gespeichert und dem Therapeuten zur Verfügung gestellt werden, was -im folgenden Abschnitt näher beschrieben wird.
[0078] Die Matrix in Fig. 9 muss nicht deterministisch sein, d.h. es muss nicht für jede detektierte Abweichung des Bewegungsablaufs vom physiologischen Bewegungsablauf eine Korrekturausgabe hinterlegt sein, die bei dieser Abweichung ausgegeben wird. Die Ausgabe kann in einem Aspekt auch dynamisch erfolgen. Die Korrekturausgaben können hierbei bspw. auch priorisiert erfolgen. Dazu werden einzelnen Abweichungen unterschiedliche Prioritäts- Scores zugewiesen. Der Serviceroboter kann dann pro Zeitintervall eine bestimmte Anzahl an Ausgaben tätigen, wobei hierbei lediglich die an den höchsten priorisierten Ausgaben, d.h. die mit den höchsten Prioritätsscores erfolgen. Hierfür können in einem Aspekt nach einer detektierten Abweichung definierte Verzögerungszeiträume hinterlegt sein, nach denen die Ausgabe einer Bewegungsablaufkorrektur 450 bspw. innerhalb dieser Verzögerungszeiträume der am höchsten priorisierten Korrekturausgabe erfolgt.
[0079] In einem Aspekt können Therapeuten den Regelsatz der Bewegungsablaufkorrektur wie bspw. die Entscheidungsmatrix zur Bewegungsablaufklassifizierung 770 insofern durch Vornehmen von Einstellungen im Patientenadministrationsmodul beeinflussen, dass bestimmte Posen/ Anweisungen priorisiert, andere ggf. ignoriert werden, womit die
Bewegungsablaufkorrektur adaptiv ist. Diese Informationen können zusammen mit dem Übungsplan an den Serviceroboter 17 übertragen werden und liegen demnach im
Bewegungstrainingsmodul 2011 vor. Derartige Einstellungen können zusammen mit den Übungsplaneinstellungen über die Vorschlagsfunktion im Lernmodul 190 erlernt werden und dem Therapeuten vorgeschlagen werden, in einem weiteren Aspekt auch automatisiert durch den Serviceroboter 17 vorgenommen werden, wie nachfolgend näher erläutert wird.
Modell für die Verbesserung der Vorschlagsalgorithmen des Patientenadministrationsmoduls, insbesondere mit Blick auf die Übungspläne, und Umsetzung von Vorschlägen
[0080] Wie oben beschrieben können Therapeuten nach Sichten der Auswertungen des Bewegungstrainings, das der Serviceroboter 17 mit dem Patienten durchgeführt hat, den Übungsplan für den Patienten modifizieren, um den Behandlungserfolg zu verbessern. In einem Aspekt ist das in Fig. 3 illustrierte System in der Lage, dem Therapeuten
Übungsplananpassungen vorzuschlagen, die auf Vergangenheitsdaten basieren. So können die hierbei implementierten Regeln bspw. Vorschlägen, vom Zwei- auf den Dreipunktgang zurückzuwechseln, wenn der Patient beim Zwei punktgang zu viele Fehler im Ablauf macht, zu langsam ist, das operierte Bein noch zu stark belastet, usw. Derartige Vorschläge kann der Therapeut akzeptieren oder verwerfen. In einem alternativen und/oder ergänzenden Aspekt nimmt der Serviceroboter 17 gar diese vergangenheitsbasierten Übungsplananpassungen automatisiert vor. Grundlage für diese Fähigkeit des Systems ist ein selbstlernendes System, das in Fig. 10 entsprechend dargestellt ist. Dieses selbstlernende System erhöht iterativ die Qualität des Therapieerfolgs, was vor allem auf zwei Arten geschieht: a) Erfassen von Situationen, die zuvor noch nicht beschrieben wurden, weil sie ggf. selten Vorkommen, und b) Erhöhen der Fallzahlen. Beides führt dazu, das präzisere Gewichtsermittlungen vom Knoten- Gewicht im Rahmen von maschinellen Lem-Modellen und/oder neuronalen Netzen vorgenommen werden können, die die Wirksamkeit der vom Serviceroboter 17
durchgeführten Therapien verbessern.
[0081] Das Patientenadministrationsmodul 160 verfügt über die Funktion, dem Therapeuten 1330 Behandlungsvorschläge zu unterbreiten. In einer ersten Stufe erhält das
Patientenadministrationsmodul 160 Patientendaten über den Patienten, entweder durch Eingabe durch den Therapeuten und/oder via die Schnittstelle zu einem externen System wie einem Krankenhausinformationssystem (KIS)/ Patientendatenmanagementsystem 170.
Hierbei werden Faktoren erfasst, die einen Einfluss auf die Ausgestaltung der Therapie haben, wie bspw. Kennwerte, die die generelle Mobilität bzw. Agilität des Patienten betreffen (Grad der Selbständigkeit, evtl. Lähmungen der Extremitäten, zu nutzende Hilfsmittel) 1310, Komorbiditäten (Herzinsuffizienz, Herzinfarkt, Schwindel, Diabetes, Krankheiten, die mit erhöhter Sturzgefahr einhergehen wie bspw. Parkinson) 1315, vor allem aber auch den Grund für das Absolvieren der Übungen (wie bspw. eine erfolgte Hüft-TEP rechts, arthrosebedingt) 1320. Hierbei kann in einem Aspekt auch die operative Art des Eingriffs erfasst werden (direkter anterior vorderer Zugang, lateraler Zugang zur Hüfte, usw.) 1325, die in
unterschiedlichem Grad die Muskulatur bei der Operation beeinträchtigen und daher u.U. auch unterschiedliche postoperative Therapien erfordern. Im Regelfall legt der Therapeut 1330 für jeden Patienten einen Übungsplan 1335 fest.
[0082] Im Speicher des Regelwerks 152 sind diesbzgl. standardisierte Übungspläne 1335 indiziert, die über eine Schnittstelle (aus Vereinfachungsgründen nicht in Fig. 10 dargestellt) ins Patientenadministrationsmodul 160 übertragen werden, die in einer Ausführungsvariante dem Therapeuten 1330 vorgeschlagen, in einer anderen Ausführungsvariante automatisiert ausgewählt werden. Hierbei werden bspw. Agilität 1305, Ort der OP 1320 (wie bspw. Knie, Hüfte) und/oder Art der OP 1325 entsprechend berücksichtigt, d.h. es gibt in Abhängigkeit von diesen Parametern unterschiedlich ausgeprägte Übungspläne, die in einer
Ausführungsvariante auch klinikspezifisch sein können und sich in dem Fall z.B. über das Patientenadministrationsmodul 160 als solche konfigurieren lassen. Übertragen auf das GUI in Fig. 5 kann es sein, dass der Therapeut 1330 bereits eine Vorauswahl an Optionen angezeigt bekommt, wie bspw. den Dreipunktgang 1345 ab zweitem postoperativem Tag, den Übergang von Dreipunktgang auf Zweipunktgang 1340 ab Tag 4 postoperativ, die Freigabe zum Treppensteigen drei Tage nach erfolgter Operation 1350 und eine maximale Wegstrecke von 300m, bei zwei Übungen pro Tag. Die Konfiguration des Übungsplans 1355 ist damit eine Funktion von bspw. dem Starttag, der Dauer der Übungen, der Wegstrecke, der
Häufigkeit der Übungen, der Intensität der Übungen, etc. Die Gesamtheit an Parametern, die entweder der Therapeut definiert, die bereits vordefiniert sind und/oder die durch das
Regelwerk 150 automatisiert vorgegeben werden, stellen den Übungsplan 1335 dar.
[0083] Dieser Übungsplan 1335 wird, in einem Aspekt auch zusammen mit Daten des Patienten wie bspw. der Körpergröße und ggf. auch Komorbiditäten, der Art der Operation (OP), usw., über eine Schnittstelle 1360 an den Serviceroboter 17 übertragen und in einem Speicher hinterlegt 1405. Der Serviceroboter 17 führt, wie in Fig 7 dargestellt, das
Gangtraining durch und nimmt ggf. automatisierte Anpassungen des Übungsplans vor 1335. Anschließend findet im Serviceroboter 17 eine Auswertung der Übungen 2013 (Gangtraining) mit Blick auf die Größen statt, die bspw. in der GUI-Darstellung in Fig. 11 dargestellt sind, was im Modul zur Auswertung der Übungen 2013 umgesetzt werden kann. Diese Daten werden über eine Schnittstelle 1360 in die Cloud übertragen und fließen ins Lernmodul 190 ein. Alternativ und/oder ergänzend werden die vom Serviceroboter 17 erfassten Daten noch nicht bzgl. der Übungsplan-Auswertung wie in Fig. 11 dargestellt aufbereitet,, sondern es werden nur die Rohdaten (wie die gemessene Schrittlänge) an das
Patientenadministrationsmodul 160 und/oder das Regelwerk 150 übertragen, wo dann die Auswertung stattfindet und die Daten so aufbereitet werden wie in Fig. 11 dargestellt (im Falle der Aufbereitung im Regelwerk 150 werden diese anschließend an das
Patientenadministrationsmodul 160 übertragen). Dort würden dann bspw. die der gemessenen abweichenden Schrittlängen ins Verhältnis zur normalen (physiologischen) Schrittlänge gesetzt. Je nach Aspekt können in einem oder beiden Fällen die auf diesem Wege
aufbereiteten Daten dann auch über die Schnittstelle 1360 wieder an den Serviceroboter 17 übertragen werden.
[0084] Im Rahmen der Auswertung 1406 wird (Fig. 11) dargestellt, wie lange pro Tag ein Training gedauert hat, wie lange die Wegstrecke und die Geschwindigkeit des Patienten war, wobei auch der Fortschritt von Tag zu Tag ermittelt wird. Weiterhin wird dargestellt, welche konkreten Abweichungen vom physiologischen Bewegungsablauf auftreten, insbesondere mit Hinblick auf Schlüsselparameter, darunter den vom Serviceroboter 17 ermittelten Ablauf des Stützeneinsatzes, die Standdauer, Spielbeinphase, Oberkörper/Blick, Schrittlänge und/oder Spurbreite. Es wird ebenfalls jeweils der Therapiefortschritt dargestellt sowie in einem Aspekt, welche Korrekturmaßnahmen zwischenzeitlich eingeleitet wurden. Des Weiteren kann der Therapeut 1330, in einem Aspekt, Hinweise für die von ihm durchzuführende Einzeltherapie erhalten, um gezielt auf einzelne Abweichungen vom gewünschten
Bewegungsablauf einzugehen oder aber den Verlauf speziell kontrollieren soll.
[0085] Elm Therapeuten 1330 Vorschläge zur Übungsplananpassung geben zu können bzw. um eine automatisierte Übungsplananpassung vornehmen zu können, werden die Daten der Auswertung des Gangtrainings über die Zeit 1406 an das Lemmodul 190 in der Cloud übertragen. Diese übertragenen Daten beinhalten, wie oben erläutert, auch vom
Serviceroboter 17 vorgenommene Ausgaben der Bewegungsablaufkorrekturen 450 bzw. mit diesen assoziierten Abweichungen des Bewegungsablaufs. Diese Daten werden im
Lemmodul-Speicher 192 des Lemmoduls 190 abgelegt und ergänzen, sofern bereits vorhanden, historische Daten 1505, die aus früheren Übungen stammen, wobei diese historischen Daten 1505 auch von mehr als einem Patienten und mehr als einem Therapeuten stammen könnten und sollten. In diesen Datenbestand fließen auch die vor der Übung definierten Übungspläne 1335 mit ein sowie die Plananpassungen, die vorgenommen wurden, sei es durch einen Therapeuten oder durch die zuvor erstellten Regeln zur
Übungsplananpassung 1515.
[0086] Mittels maschineller Lem-Modelle und/oder neuronalen Netzen werden dann
Gewichtsermittlungen für Knoten-Gewichte in den Knoten der neuronalen Netze und/oder der Lem-Modelle für eine Übungsplananpassung 1510 vorgenommen. Hierbei werden als Eingangsgrößen die vom Serviceroboter 17, ggf. in Verbindung mit dem Regelwerk 150 und/oder Patientenadministrationsmodul 160 vorgenommene Auswertung des
Bewegungstrainings über die Zeit 1406 zu einem ersten Zeitpunkt t genommen sowie auch Patientendaten wie Alter des Patienten, seine Größe, Personen-Gewicht, Komorbiditäten, Art der Operation, usw. (1310-1325) und als Ausgangsgröße die Einstellungen des Übungsplans für die Übung zum späteren Zeitpunkt t+1 oder t. Sind derartige Knoten-Gewichte einmal ermittelt, so können damit, basierend auf vom Serviceroboter 17 (ggf. in Verbindung mit dem Regelwerk 150 und/oder Patientenadministrationsmodul 160) ermittelte Auswertungen des Bewegungstrainings Prognosen darüber abgegeben werden, welche Einstellungen der Therapeut bspw. vornehmen würde bzw. sollte, wobei diese Einstellungen sowohl
Übungsplananpassungen sein können als auch, einen bereits definierten Übungsplan auf Standardeinstellungen zu belassen. Letztendlich lassen sich darüber auch
Standardeinstellungen definieren.
[0087] In einem nächsten Schritt werden die ermittelten Knoten-Gewichte an das Regelwerk 150 übertragen, wo etwaige Knoten-Gewichte aus vorigen Ermittlungen aktualisiert werden. Basierend auf den Knoten-Gewichten können dann im nächsten Schritt aus den Knoten- Gewichten abgeleitete Regeln aktualisiert werden (bspw. bei Vorliegen einer bestimmten Geschwindigkeit an einem bestimmten Tag sowie unter Berücksichtigung weiterer Parameter wird die Dauer des Trainings verlängert).
[0088] Diese Regeln der Übungsplananpassung 1530 werden anschließend im Schritt 1535 an das Patientenadministrationsmodul 160 übertragen, wo die Regeln 1530 operativ eingesetzt werden, d.h. basierend auf einem Standard-Übungsplan, der ggf. klinik- oder
therapeutenspezifisch ist, basierend auf vom Serviceroboter 17 ermittelten
Übungsergebnissen und ggf. dem Übungsfortschritt, sowie Parameter des Patienten wie Alter des Patienten, seine Größe, Personen-Gewicht, Komorbiditäten, Art der Operation, usw. werden dem Therapeuten Vorschläge für eine Therapie und/oder eine Therapieanpassung gemacht, die der Therapeut bestätigen, ablehnen oder modifizieren kann. Weiterhin können, in einem Aspekt, diese Regeln 1530 auch direkt an den Serviceroboter 17 übertragen werden, damit dieser Serviceroboter 17 eine autonome Anpassung der Übungspläne vornehmen kann.
[0089] Das in Fig. 10 skizzierte System kann entweder nach Abschluss jeder Übung eine Neuberechnung der Knoten-Gewichte vornehmen oder diese Neuberechnung lediglich in bestimmten Intervallen tun, wobei in dem Fall die für die erneute Gewichtsermittlung der Knoten-Gewichten relevanten Daten zwischengespeichert werden. Ohne Neuberechnung der Knoten-Gewichte wird auf die im Regelwerk 150 gespeicherten Regeln bzw. auf die in entsprechenden Modulen des Serviceroboters (bspw. 2012) abgespeicherten Regeln zurückgegriffen. So kann bspw. auch die automatisierte Anpassung des Übungsplans 2012 im Patientenadministrationsmodul vorgenommen werden, d.h. die Vorschläge zur Plananpassung 1535 werden nicht als Vorschläge umgesetzt, sondern es findet direkt eine automatisierte Plananpassung statt, die keiner Therapeutenintervention bedarf. Verbesserung der Bewegungsablaufbewertung und Bewegungsablaufkorrektur
[0090] Die Bewegungsablaufbewertung im Bewegungsablaufbewertungsmodul 2052 in einer ersten Stufe und Bewegungsablaufkorrektur im Bewegungskorrekturmodul 2022 in einer zweiten Stufe (implementiert im Serviceroboter 17) bestimmen wesentlich, wie gut Fehler im Bewegungsablauf erkannt und dann auch korrigiert werden. Zusammen spielen die
Bewegungsablaufbewertung und die Bewegungsablaufkorrektur eine Rolle für den
Therapieerfolg. Die hierbei implementierten Algorithmen können fortlaufend verbessert werden, wie nachfolgend beschrieben wird. Hierbei geschieht die Verbesserung vor allem auf zwei Arten: a) Erfassen von Situationen, die zuvor noch nicht beschrieben wurden, weil sie ggf. selten Vorkommen, und b) Erhöhen der Fallzahlen. Die Erfassung von bisher nicht beschriebenen Situationen und das Erhöhen der Fallzahlen führen dazu, das präzisere
Auswertungen möglich werden, im Falle einer Auswertung mittels maschinellen Lernens und/oder neuronaler Netze bspw. auch präzisere Gewichtsermittlungen der Knoten-Gewichte vorgenommen werden können.
[0091] Fig. 12 beschreibt das dahinterliegende System und den Ablauf. Der Serviceroboter 17 führt im ersten Schritt das Bewegungstraining mit einem Patienten durch. Es findet im Bewegungsablaufextraktionsmodul 2051 eine Merkmalsextraktion des Bewegungsablaufs und im Bewegungskorrekturmodul 2022 die Ausgabe der Bewegungsablaufkorrektur 450 statt, welche durch die Prozesse Merkmalsextraktion 720, Merkmalsklassifizierung 765, Bewegungsablaufklassifizierung 770, Bewegungsablaufkorrektur wie die
Entscheidungsklassifizierung 775 und Ausgabe der Bewegungsablaufkorrektur 450 charakterisiert ist.
[0092] Für die Durchführung des Verfahrens erfasst der Serviceroboter 17 hierbei die Daten über den Bewegungsablauf der Person (d.h. des Patienten) und/oder speichert in einem Schritt 1535a diese erfassten Daten ab. Zu den erfassten Daten zählen die erfassten
Bewegungsablaufparameter wie die erfolgten Bewegungen des Patienten, darunter erfolgte Bewegungsablaufklassifizierung 770, erfolgte Merkmalsklassifizierung 765, und/oder erfolgte Entscheidungsklassifizierung 775 und/oder erfolgte Ausgabe der Bewegungsablaufkorrektur 450, und/oder Videosequenzen 1425, die die Bewegungen des Patienten dokumentieren und von einer RGB-2D-Kamera 2084 und/oder RGB-D-3D-Kamera 2085 stammen. Die
Bewegungsablaufparameter umfassen in einer Ausführung auch
Bewegungsablaufklassifizierung 770 und Merkmalsklassifizierungen 765. Diese Daten werden über die Schnittstelle 1360 an das Lemmodul 190 übertragen und dort abgespeichert 1535a.
[0093] Die Videodaten mit den Videosequenzen werden zuvor insofern anonymisiert (nicht in Fig. 12 dargestellt), dass Gesichtszüge verpixelt werden, so dass die Identität der Person bei Sichten der Videos nicht erkennbar ist. Derartige Lösungen sind im Stand der Technik bekannt, werden zum automatisierten Unkenntlich Machen (Verpixeln oder Schwärzen) von Bildelementen wie Gesichtern oder KFZ -Kennzeichen genutzt und sind bspw. als Produkt- Lösungen von der 3DIS GmbH oder Guardian Project verfügbar.
[0094] Therapeuten können über ein Terminal hierauf zugreifen, sich die aufgezeichneten Videodaten und verschieden Aspekte des Bewegungsablaufs ansehen und erfassen. Der Therapeut achtet z.B. auf personenbezogene Parameter wie die Schrittlänge, die Spurbreite und/oder die Haltung des Oberkörpers einschließlich Schulterbereich des Patienten. Der Therapeut gibt diese personenbezogenen Parameter (Schrittlänge, Spurbreite, Haltung, usw.) in das Bewegungsablaufbewertungsmodul 2052 zusammen mit den dazugehörigen
Videosequenzen ein und versieht diese Angaben mit einem sogenannten Label 1535b, d.h. der Therapeut markiert die aufgezeichneten Bewegungsabläufe und nimmt eine Differenzierung des Bewegungsablaufs in abweichend und physiologisch für die Bewegungsablaufbewertung im Bewegungsablaufbewertungsmodul 2052 vor. Dabei unterscheidet der Therapeut zwischen normalen = physiologischen Schrittlängen, Spurbreiten und Haltungen vs.
krankheitsbedingten = abweichend. Hierbei stellt das Labelling durch den Therapeuten eine Bewegungsablauf- und/oder Merkmalsklassifizierung dar. Die Bewegungsablauf- und/oder Merkmalsklassifikation wird nach einer initialen Erfassung und Labelling fortlaufend im Schritt 1540 und 1542 neu bewertet, ggf. ergibt sich auch eine Neubewertung der
Entscheidungsklassifikation 1545, was praktisch einer Anpassung von Regeln in der
Entscheidungsmatrix aus Fig. 9 gleichkommt.
[0095] Diese Anpassung kann auch eine manuelle Regelanpassung der
Bewegungsablaufklassifikation 1570, der Merkmalsklassifikation 1572 und/oder der
Entscheidungsklassifikation 1575 nach sich ziehen. Das kann z.B. bedeuten, dass bei einer bestimmten Bewegungsablaufklassifikation (d.h. bspw. eine Kombination an Bewegungen der UAGS und der Beine, des Rumpfs, etc.) die Bewegungsablaufkorrektur (Ausgabe von Anweisungen basierend auf Sprachsynthese und/oder Anzeige auf dem Display) neu definiert oder festgelegt und/ oder ein Schwellwert bei der Merkmalsklassifikation (bspw. Schrittlänge ) angepasst werden muss. Diese Regelanpassungen werden letztendlich an das Regelwerk 150 übertragen und dort die Regeln für die bzw. der Bewegungsablaufbewertung 1590,
Merkmalsklassifikation 1592 und/oder Entscheidungsklassifikation 1595 aktualisiert. Diese Aktualisierungen des Regelwerks 150 werden (über eine Schnittstelle, nicht dargestellt) an das Bewegungsablaufextraktionsmodul 2051 für die Merkmalsextraktion des
Bewegungsablaufs bzw. das Bewegungskorrekturmodul 2022 im Serviceroboter 17 übertragen, womit die Prozesskette Merkmalsklassifizierung 765,
Bewegungsablaufklassifizierung 770 und Entscheidungsklassifizierung 775 und ggf. Ausgabe der Bewegungsablaufkorrektur 450 aktualisiert wird. Eine Neubewertung des
Bewegungsablaufs kann in einem Aspekt auch zur Folge haben, dass die Merkmalsextraktion des Bewegungsablaufs im Bewegungsablaufextraktionsmodul 2051 ebenfalls angepasst werden muss.
[0096] Alternativ und/oder ergänzend kann die Neubewertung des Bewegungsablaufs 1540 und/oder die Neubewertung der Entscheidungsklassifikation 1545 automatisiert erfolgen. Fig. 13 zeigt dieses Verfahren auf, in dem ein Modell trainiert und anschließend zur Bewertung des Bewegungsablaufs und der Bewegungsablaufkorrektur genutzt wird. Der Serviceroboter 17 führt das Bewegungstraining mit einem Patienten durch. Es findet im
Bewegungsablaufextraktionsmodul 2051 eine Merkmalsextraktion des Bewegungsablaufs Bewegungsablauf und über das Bewegungskorrekturmodul 2022 erfolgt die
Übungsanweisung/Korrektur. Der Serviceroboter 17 erfasst hierbei Daten und/oder speichert diese erfassten Daten im Schritt 1410 ab. Dazu zählen die Bewegungsablaufparameter, also die erfolgten Bewegungen des Patienten, in einem Aspekt die erfolgten
Bewegungsablaufklassifizierungen 770, Merkmalsklassifizierungen 765 und/oder die von ihm vorgenommenen Entscheidungsklassifizierungen 775. Weiterhin zählen auch die
Auswertungen des Bewegungstrainings (wie bspw. in Fig. 11) dargestellt 1406. Diese Auswertungen des Bewegungstrainings werden über die Schnittstelle 1360 an das Lemmodul 190 übertragen und dort abgespeichert 1535a. In einem Aspekt erfolgt das Abspeichern in einer Datenbank und dabei eine Ergänzung bereits vorhandener, historischer vom
Serviceroboter 17 erfassten Daten der Daten mit Blick auf die Bewegungsablaufklassifikation 1550 und Merkmalsextraktion 1552 liegen und/oder historische Daten der
Entscheidungsklassifikation 1555, welche um die neu abgespeicherten Daten ergänzt werden. [0097] Unter Einbeziehen der Auswertung des Bewegungstrainings über die Zeit 1406, wie bspw. in Fig. 11 dargestellt, kann eine Gewichtsermittlung der Knoten-Gewichte der
Bewegungsablaufklassifikation 1560, der Merkmalsklassifikation 1562 und/oder der
Entscheidungsklassifikation 1565 in einem Lem-Modell oder einem neuronalen Netz vorgenommen werden. Hierfür können, vergleichbar mit der Gewichtsermittlung der Knoten- Gewichte bei der Übungsplananpassung, Algorithmen des maschinellen Lernens wie
Clusteringverfahren, Support- Vector Machines wie auch Regressionsverfahren und/oder neuronale Netze wie Convolutional Neural Networks zum Einsatz kommen. Hierbei dienen die Auswertungen des Bewegungstrainings wie zurückgelegte Wegstrecke, Standdauer, Spielbeinphase etc., als direkte Werte und/oder berechnet als Verbesserung gegenüber der Vorperiode als Ausgangsgrößen.
[0098] Die ermittelten Merkmale des Bewegungsablaufs, darunter in einem Aspekt die vorgenommenen Bewegungsablaufklassifizierungen 770 und/oder Merkmalsklassifizierungen 765 und/oder Entscheidungsklassifizierung 775 und/oder Ausgabe der
Bewegungsablaufkorrekturen 450 sowie die personenbezogenen Parameter des Patienten wie Alter des Patienten, seine Größe, Personen-Gewicht, Komorbiditäten, Art der Operation, usw. (nicht in Fig. 13 dargestellt) als Eingangsgrößen. Als Ergebnis dieser Verfahren werden neue Knoten-Gewichte generiert und an das Regelwerk 150 übertragen, die eine
Gewichtsaktualisierung der Knoten-Gewichte auf Seite der Bewegungsablaufklassifikation 1580, Merkmalsklassifikation 1582 und/oder Entscheidungsklassifikation 1585 zur Folge haben. Diese Gewichtsaktualisierungen der Knoten-Gewichte wiederum führen zu
Regelaktualisierungen der Bewegungsablaufklassifikation 1590, Merkmalsklassifikation 1592 und/oder der Entscheidungsklassifikation 1595. Diese Aktualisierungen des Regelwerk 150 werden (über eine Schnittstelle, nicht direkt dargestellt) an das
Bewegungsablaufextraktionsmodul 2051 für die Merkmalsextraktion des Bewegungsablaufs bzw. das Bewegungskorrekturmodul 2022 im Serviceroboter 17 übertragen.
[0099] Die beiden beschriebenen Verfahren der Gewichtsermittlung der Knoten-Gewichte mittels maschinellen Lernens und/oder neuronaler Netze ermöglichen, dass bspw. lediglich solche Bewegungsablaufkorrekturen vorgenommen werden, die einen tatsächlichen Erfolg auf den Therapiefortschritt vorweisen. Dies kann auch dazu führen, dass weniger Korrekturen durch den Serviceroboter 17 vorgenommen werden, was zu Einsparungen im
Energieverbrauch und Bearbeitungszeit des Serviceroboters 17 führen kann. Mit Blick auf die Merkmale des Bewegungsablaufs lassen sich bspw. bei weniger zu erkennenden Merkmalen einerseits die Erkennungszeiten verkürzen, andererseits der mit den Berechnungen
einhergehende Energieverbrauch. Weiterhin lassen sich, im Gegensatz zum videobasierten Labelling durch einen Therapeuten geringere Bandbreiten in der Datenübertragung zwischen dem Serviceroboter und der Cloud nutzen.
[0100] Eine Neubewertung des Bewegungsablaufs kann in einem Aspekt auch zur Folge haben, dass die Merkmalsextraktion 720 im Bewegungsablaufextraktionsmodul 2051 für die Merkmalsextraktion des Bewegungsablaufs angepasst werden muss.
[0101] In einem Aspekt können die Verfahren zur manuellen Verbesserung der
Bewegungsablaufbewertung und der manuellen Verbesserung der Bewegungsablaufkorrektur sowie die basierend auf den Ansätzen des maschinellen Lernens und/oder neuronaler Netze auch kombiniert werden.
Anwendungsbeispiele
Beispiel 1 : Erkennung und Auswertung des Dreipunktgangs
[0102] Für die Auswertung des Drei punktgangs durch den Serviceroboter 17, insbesondere des Bewegungsablaufs, sind zunächst einige Definitionen relevant. Die Schrittlänge einer Person wird definiert als euklidische Distanz zwischen den Knöcheln, d.h. den vom
Skelettmodell erkannten Fußgelenkpunkten 1950, während eines Gangzyklus. Ein
Gangzyklus besteht aus einer Schwungphase und einer Standphase für jedes Bein. Die Schwungphase beginnt mit dem Abheben des Fußes vom Boden und dauert an, solange der Fuß in der Luft und das Bein nach vorn gebracht wird. Sobald der Fuß, idealerweise die Ferse, den Boden berührt (Initialkontakt), beginnt die Standphase. Die Standphase eines Beins wird definiert als Periode, in der der Fuß auf dem Boden ist, wie sich ebenfalls aus dem Skelettmodell ergibt, das zugleich auch die Ebene identifiziert, die dem Fußboden entspricht. Während eines Gangzyklus ergeben sich jeweils für das rechte und linke Bein eine
Schrittlänge, die sich immer auf das Bein bezieht, das nach Abschluss seiner Schwungphase initialen Bodenkontakt hat. Im Gegensatz zur Schrittlänge definiert sich die Spurbreite als Distanz zwischen den beiden Fersenzentren und liegt im Bereich von 5-13 cm, ebenfalls ermittelbar über den Abstand der identifizierten Fußgelenke 1950 innerhalb der Frontal ebene. [0103] Wie oben ausgeführt, werden im Schritt 725 die Positionen von Gelenken des
Patienten in dem Skelettmodell im Raum als Gelenkpunkte ausgegeben. Wenngleich die in diesem Beispiel genutzte Kinect 2 im Skelettmodell keine Posen von Körperteilen zeigt, können diese Posen über die Verbindung von nebeneinander liegenden Gelenkpunkte, die die Kinect erkennt, modelliert werden, was im Rahmen der Merkmalsextraktion 720 im Schritt 735 umgesetzt wird.
[0104] Fig. 19 illustriert diese Modellierung. Hierin sind exemplarisch auch einige erkannte Gelenkpunkte als ausgefüllte Kreise dargestellt. Durch eine mathematische Operation werden Richtungsvektoren zwischen erkannten Gelenkpunkten errechnet, z.B. durch Erstellung eines Vektors zwischen den 3D-Koordinaten von nebeneinander liegenden Gelenkpunkten. In Fig. 19 sind sie als gestrichelte Pfeile zwischen den nebeneinander liegenden Gelenkpunkten eingezeichnet. So kann, wie in Fig. 19 a) gezeigt, bspw. der Winkel a des Kniegelenkpunkts 1930 über die beiden Richtungsvektoren 1910 and 1920 definiert werden, die dem Verlauf von Oberschenkel und Unterschenkel entsprechen. Dabei wird der erste Richtungsvektor 1910 vom Knie- zum Hüft-Skelettpunkt und der zweite Richtungsvektor 1920 vom Knie- zum Fußknöchel-Skelettpunkt (bzw. Fußgelenk-Skelettpunkt) errechnet, und zwar durch die Ermittlung einer Verbindungslinie zwischen einem Kniegelenkpunkt 1930 und dem
Hüftgelenkpunkt 1940 bzw. zwischen dem Hüftgelenkpunkt 1940 und dem
Fußknöchelgelenkpunkt 1960. Analoge Berechnungen sind bspw. auch für die Arme möglich. In Fig. 19 a) zeigt der angegebene Winkel a bspw. die Knie-Flexion. Die Ermittlung kann bspw. während der Standbeinphase erfolgen, d.h. in der Phase vom ersten Bodenkontakt der Ferse bis zum Übergang in Richtung Gewichtübemahme durch das andere Bein, was beim betrachteten Bein gleichzeitig die sogenannte Spielbeinphase einleitet.
[0105] Um die Werte für die Flexion und Extension beider Hüftgelenke zu erhalten, werden die korrespondierenden Schulter- und Kniepunkte genutzt. Dabei wird der Winkel ermittelt über zwei Richtungsvektoren, wobei der eine vom Hüftgelenkpunkt 1940 zum
Kniegelenkpunkt 1930 reicht sowie der andere vom Hüftgelenkpunkt 1940 zum
Schultergelenkpunkt 1960 (jeweils auf der jeweiligen Seite, d.h. bspw. rechter
Hüftgelenkpunkt 1940r zum rechten Schultergelenkpunkt 1960r). Von Flexion, insbesondere Hüftflexion, spricht man, wenn sich ein Bein aus der Lotrechten nach vorne orientiert, d.h. der Flexionswinkel wird allgemein definiert über den Richtungsvektor 1910 (dargestellt in umgekehrter Orientierung), wenn das Bein sich über die Lotrechte hinaus in Gehrichtung davor befindet und dem Richtungsvektor zwischen dem Hüftgelenkpunkt 1940 und dem Schultergelenkpunkt 1960 (siehe Fig. 19 b) mit dem Winkel ßi). Extension dagegen ist definiert als Rückwärtsorientierung des Beins, d.h. der Extensionswinkel wird definiert über den Richtungsvektor Richtung Schultergelenkpunkt 1960 und den Richtungsvektor 1910 (dargestellt in umgekehrter Orientierung) zwischen Hüftgelenkpunkt 1940 und
Kniegelenkpunkt 1930, wenn das Bein sich über die Lotrechte hinaus in Gehrichtung dahinter befindet (siehe Fig. 19 c) mit dem Winkel ßi). Die Ermittlung der Winkel kann in einem Aspekt beidseitig erfolgen.
[0106] Der Flexi ons- und Extensionswinkel der Hüfte wiederum wird bspw. durch die Vorneige des Oberkörpers beeinflusst, was Auswirkungen auf den Bewegungsablauf hat. Aus diesem Grund wird zusätzlich bspw. der Winkel der Vorneige erfasst, welcher sich bspw. durch den Richtungsvektor vom mittleren Hüftgelenkpunkt 1940 zum mittleren
Schultergelenkpunkt 1960 und dem Lot, das durch den mittleren Hüftgelenkpunkt 1940 läuft, ergibt (siehe Fig. 19 d) mit dem Neigungswinkel g.
[0107] Diese Berechnungen ergeben sich in der Sagittal ebene, werden in ähnlicher Form jedoch auch in der Frontal ebene durchgeführt, was in Fig. 19 e) beispielhaft an der seitlichen Oberkörpemeigung dargestellt ist. Hierbei wird ein Richtungsvektor parallel zum Lot und ein Richtungsvektor parallel zur Wirbelsäule genutzt, zwischen denen ein seitlicher
Neigungswinkel e aufgespannt wird.
[0108] Alternativ sind auch Berechnungen möglich, die sich auf Komplement-, Supplement und/oder Nebenwinkel beziehen und/oder die bspw. für die Ermittlung der Extension und/oder Flexion von Knie, Hüfte oder anderen Gliedmaßen das Lot einbeziehen. Dies ist exemplarisch in Fig. 19 f) und g) dargestellt, bei der die Hüftgelenk-Extension mit dem Hüft- Extensionswinkel di in g) und die Flexion mit dem Hüft-Flexionswinkel yi in f) erkenntlich ist. Ergänzend kann der Winkel bspw. zusammen mit dem Winkel der Oberkörperneigung g genutzt werden, um auf die Winkel ß zu kommen, etc.
[0109] Fig. 19 h) zeigt exemplarisch ein Skelettmodell, in dem die Endpunkte 1970 von UAGS 1970 abgebildet sind, die bspw. an anderer Stelle für die Ermittlung des Abstands zu den Fußgelenkpunkten 1950 herangezogen werden. Die UAGS sind gestrichelt angedeutet 1980, denn sie sind in Frameworks wie OpenPose etc. eben kein Bestandteil eines
Skelettmodells.
[0110] Fig. 14 illustriert die weitere Auswertung im Zeitverlauf auf der rechten Seite des Patienten. Die aufgezeichneten Kurven illustrieren die Rumpfneigung (oben, lean of trunk), die Hüft- (mittig) sowie die Knieflexion (unten) über eine Zeitdauer von 23s für einen Patienten mit TEP (Totalendoprothese) in der rechten Hüfte. Für das linke Knie ist die Flexion deutlich ausgeprägter (d.h. hier gibt es stärkere Amplitudenausschläge), worauf das unsymmetrische postoperative Bewegungsablauf zurückzuführen ist, das sich u.a. in einer größeren Schrittlänge auf der nicht-operierten Seite äußert.
[0111] Das Gangtraining, welches der Serviceroboter 17 begleitet, findet kurz nach der Operation statt und die Patienten müssen hier, wie beschrieben, zunächst den Dreipunktgang, dann den Zweipunktgang absolvieren. Der Dreipunktgang und der Zweipunktgang beinhalten den Einsatz von Unterarmgehstützen (UAGS), um die Belastung des operierten Gelenks zu reduzieren. Bevor ein Patient mit einem roboterassistierten Gangtraining starten kann, wird der Patient durch einen Therapeuten in den Umgang mit dem Serviceroboter 17 eingewiesen. Außerdem muss der Therapeut dem Patienten den Umgang mit den UAGS beim Hinsetzen und Aufstehen, beim Wenden am Ort und Türöffnen erläutern sowie den Ablauf des
Stützensetzens während des Dreipunktgangs. Danach gibt der Therapeut das Training mit dem Serviceroboter 17 frei. Sobald der Therapeut über das Patientenadministrationsmodul eine Rückmeldung vom Serviceroboter 17 erhält, dass in den Zwei punktgang gewechselt werden könnte, zeigt der Therapeut dem Patienten ggf. auch hier erstmalig den korrekten Ablauf des Stützensetzens und prüft ggf. den Vorschlag des Serviceroboters 17, bevor er diese Gangart„frei gibt“.
[0112] Aus diesem Grund müssen auch die UAGS erkannt werden. Der Serviceroboter 17 nutzt hierfür Tiefendaten aus dem Kinect2 3D-Sensor. Das Tiefenbild wird im ersten Schritt 710 in eine Punktwolke konvertiert, wozu die im Stand der Technik beschriebene Point Cloud Library genutzt wird. Diese Punktwolke wird im nächsten Schritt 745 in kleinere
Punktwolken basierend auf dem Skelettmodell des Patienten segmentiert. Hierbei wird sich die Vermutung zunutze gemacht, dass sich die UAGS nahe an den Unterarmen und Händen befinden müssen sowie in etwa parallel zu den Beinen, d.h. es wird eine Selektion nach Kandidatenregionen vorgenommen. Damit können effizient Standard-Segmentierungs- und Fitting- Algorithmen genutzt werden, um eine der kleineren Punktwolken in Nähe der Unterarme/Hände/Beine im Schritt 755 auszuwerten. Zu Hilfe kommt hierbei, dass auch bestimmte Modellannahmen im Schritt 750 getroffen werden können, die die Form der UAGS berücksichtigen, d.h. es wird im Segmentierungsalgorithmus bzw. in der Generierung der 3D-Daten berücksichtigt, dass die UAGS recht dünn im Verhältnis zu den Gliedmaßen des Patienten sind. Das RANSAC -Framework kann z.B. genutzt werden, um die
entsprechenden Punktwolken mit hoher Genauigkeit und Robustheit in real -time (30 fps) zu segmentieren. Alternativ und/oder ergänzend können auch Klassifizierungsregeln genutzt werden, die durch das Aufzeichnen von UAGS, zum Beispiel aus verschiedenen
Perspektiven, erstellt worden sind und die es ermöglichen, auf einem Bild UAGS zu erkennen.
[0113] Auf Basis der identifizierten UAGS ist es möglich, diese identifizierten UAGS insbesondere im Verhältnis zum Skelettmodell weiter auszuwerten, wozu die
Bewegungsablaufklassifizierung im Schritt 770 genutzt wird. Dabei wird im Wesentlichen die Position der beiden Füße in Relation zur ermittelten Position der UAGS bewertet. Bei einem korrekten Bewegungsablauf im Dreipunktgang setzt der Patient das Bein der operierten Seite gleichzeitig mit beiden UAGS nach vorn, um dadurch eine optimale Entlastung des operierten Gelenks zu erreichen. Die UAGS entlasten das operierte Bein während der gesamten
Standphase und werden erst beim Übergang in die Schwungphase wieder versetzt. Da die Bewegung der UAGS dabei weitestgehend simultan zum operierten Bein erfolgt, wird eine Gerade zwischen den zwei UAGS-Endpunkten 1970 zu definiert und der Abstand der Fußpunkte zu dieser Geraden bewertet. In einem alternativen oder ergänzenden Aspekt wird die Bewegungsrichtung des Patienten ermittelt, d.h. die Orientierung seiner Sagittalebene, was bspw. durch die Position und/oder Bewegungsrichtung der Arme, der Beine und/oder der Orientierung des Beckens und/oder der Schultern geschehen kann. Alternativ und/oder ergänzend wird der Patient über einen definierten Zeitraum getrackt und die Orientierung ergibt sich aus der Bewegung des Patienten im Zeitverlauf. In einem nächsten Schritt kann dann, orthogonal zur Bewegungsrichtung bzw. Orientierung des Patienten, eine Linie ermittelt werden, die durch die UAGS verläuft und zu der bzw. denen der Abstand der Fußpunkte bewertet wird. Dadurch lassen sich typische Fehler im Dreipunktgang, wie beispielsweise verfrühtes oder verspätetes Aufsetzen der UAGS sowie die Entlastung des falschen Beins, durch statistische Auswertung des Abstandsverlaufs erkennen. Eine Abweichung von der angeordneten Gangart beispielsweise hin zu einem ungeordneten /inkorrekten Ablauf lässt sich über die Auswertung der UAGS-Position relativ zum Körper des Patienten erkennen. Ausgehend von der oben beschriebenen Definition des
Dreipunktgangs befinden sich beide UAGS beim korrekten Bewegungsablauf in etwa auf gleicher Höhe in der Sagittalebene des Patienten. Abweichungen in dieser Position, die einen entsprechenden Schwellwert überschreiten, können dann als Fehler im Ablauf erkannt werden.
[0114] Fig. 15 stellt den Stützeneinsatz über die Zeit dar. Im oberen Zeitverlaufsdiagramm wird die Höhe der Stützen über dem Boden gezeigt (linke Stütze: im Durchschnitt höhere Amplituden, d.h. die durchgezogene Linie; rechte Stütze: im Durchschnitt kleinere
Amplituden, d.h. die gestrichelte Linie). Diese Informationen, d.h. insbesondere der
Bodenkontakt, wird dafür genutzt, den Abstand der Stützen zu den Fußknöcheln zu bewerten, wie das untere Zeitverlaufsdiagramm illustriert. Hier wird dazu im Zeitverlauf das Setzen des operierten Beines nach vorn auf die Höhe der sogenannten (unsichtbaren/gedachten)
Verbindungslinie zwischen den UAGS abgebildet. Ein idealer Kurvenverlauf hätte sein Minimum nah beim Minimum der oberen Kurve (d.h. an den senkrechten gestrichelten Linien). Aus dargestelltem Beispiel in Fig. 15 lässt sich demzufolge ein unerwünschter Ablauf des Stützensetzens schließen. Dieser Patient setzt erst die Stützen, dann das operierte Bein und anschließend das gesunde Bein. Die Ausgabe der Bewegungsablaufkorrektur 450 teilt nun dem Patienten mit, dass der Patient die UAGS möglichst zeitgleich mit dem operierten Bein nach vorn bringen soll. Somit wird der Bewegungsablauf beim Patienten flüssiger und weniger abgehakt. Aus dieser Zeitverlaufskurve lassen sich weitere Parameter ableiten. Diese sind„Stütze zu kurz/weit gesetzt“, was zu ungleichen Schrittlängen führt, und „Stütze zu spät“ (Fuß des operierten Beins setzt eher auf den Boden auf als die UAGS), was zu einer unerwünscht hohen Belastung im operierten Bein führen würde.
[0115] Zusätzlich zur Merkmalsextraktion im Schritt 760 muss der Serviceroboter 17 abweichende Bewegungsablaufmerkmale von physiologischen Bewegungsablaufmerkmalen unterscheiden. Diese Klassifizierung muss in real-time durchgeführt werden, während der Patient sich hinter einem Serviceroboter 17 herbewegt. Die Klassifizierung, ob Schrittlänge, Standdauer, Schrittbreite, Rumpfneigungen oder Gelenk-Ausschläge/Bewegungen sich in den physiologisch typischen Bereichen befinden, wird durch Physiotherapeuten vorgenommen. Dazu werden Bewegungen von gesunden Menschen und körperlich beeinträchtigten Personen mittels des Kinect-Geräts und einer 2D-Kamera 2084 aufgezeichnet und die Bewegungen der Personen, heruntergebrochen auf jede einzelne Bewegung, gelabelt, was jeweils unter Ausnutzen von Zeitstempeln im Labelling als auch in den Aufzeichnungen des Kinect-Geräts passiert. Hierbei werden sowohl solche Merkmale gelabelt, die Bewegungsfehler als auch die einen korrekten Bewegungsablauf umfassen. Die Zeitstempel werden zur Synchronisierung von gelabelten Daten und den 3D-Aufnahmen der 3D-Kamera genutzt.
[0116] Da die physiologischen Abweichungen der Bewegungsmerkmale viele verschiedene Facetten haben können, ist eine Evaluation basierend auf Absolutwert- Ab weichungen von Schwellwerten nicht besonders effizient. Effizienter ist es, die Ähnlichkeiten der Bewegungen der beiden Beine über einen Gangzyklus (d.h. Doppel schritt) zu evaluieren. Die Ähnlichkeit wird hierbei über das Verhältnis der Schrittlängen, der Standdauer, Schrittwinkel zwischen Bein mit und ohne Prothese usw. ermittelt. Fig. 16 zeigt die Sequenz von Standzeiten eines Patienten mit Prothese in rechter Hüfte wenige Tage nach seiner Operation über den Verlauf von vier Gangzyklen. Die Breite der senkrechten Linien gibt jeweils die Standdauer eines Beines an, wobei die schmaleren Intervalle (Standdauer rechts) sich auf die operierte Seite beziehen. Der Patient aus Fig. 16 hat demzufolge sein operiertes rechtes Bein weniger lang belastet als das gesunde Bein, um die Schmerzen bei Belastung zu minimieren. Weiterhin lässt sich dem Diagramm die unterschiedliche Schrittlänge entnehmen. Die dargestellte Kurve wird aus der Distanz der Knöchel zueinander (Sagittalebene) ermittelt. Die Minima ergeben sich in dem Moment, in dem die Knöchel auf gleicher Höhe sind. Die Maxima stellen die maximale Entfernung zwischen dem Knöchel des nach vorne gesetztem Bein und dem Knöchel des Standbeins dar. Dem Diagramm ist zu entnehmen, dass das linke, nicht operierte Bein im Vergleich zum rechten Bein einen deutlich kürzeren Schritt macht. Optimal für die allmähliche Belastungssteigerung im operierten Bein und für den Erhalt eines flüssigen Bewegungsablaufes wäre es, gleich große Schritte zu machen. Das Verhältnis zwischen Schrittlänge und Standdauer beider Beine kann als ein geeignetes Instrument angesehen werden, um den Gang eines Patienten als physiologisch oder abweichend zu charakterisieren, wobei eine Klassifizierung als„abweichend“ die Ausgabe einer Bewegungsablaufkorrektur 450 nach sich zieht.
[0117] Um physiologische und abweichende Bewegungsabläufe zu differenzieren, wird der Fl -Score evaluiert, der beide Klassen (Fehl er/ Ab weichungen vs. Richtige Bewegungsausführung) differenziert, der für verschiedene Schwellwerte berechnet werden kann. Der Fl -Score ist allgemein definiert als
F = 2 * (precision * recall)/(precision + recall).
Der beste Schwellwert korrespondiert mit dem höchsten Fl -Score. Fig. 17 zeigt die
Verteilung der abweichenden und physiologischen Schrittlängensymmetrien als Histogramm, wobei die ersten die Fehlerklasse darstellen, die letzteren die Nicht-Fehl er-Klasse. Eine Symmetrie von 0,0 bedeutet perfekte Symmetrie zwischen dem linken und rechten Bein, wobei Symmetrien von ±1,0 bedeuten, dass ein Bein mehr als doppelte Schrittlänge aufweist wie das andere. Durch die Evaluierung des Fl Scores wird ein Schwellwert gefunden, der beide Klassen am geeignetsten trennt. In diesem Fall ist der beste Symmetrie-Schwellwert - 0,17 (precision: 0,85, recall: 0,87), was bedeutet, dass Schrittlängen kleiner -0.17 als
Abweichung vom normalen Bewegungsablauf klassifiziert werden und damit eine Korrektur durch den Serviceroboter 17 initiieren.
[0118] Zusammenfassend ist die Auswertung des Dreipunktgangs in Fig. 22 dargestellt. Im Schritt 1805 werden zunächst Informationen über das zu schonende Bein (operierte Seite) genutzt (die bspw. wie in der Erläuterung zu Fig. 5 erhalten werden). Im Rahmen der Merkmalsextraktion 720 werden die Gelenkpunkte, die Richtungsvektoren zwischen
Gelenkpunkten und/oder den UAGS als Raum-Zeit-Parameter im Schritt 1810 erfasst. Es erfolgt eine Erfassung der Position der Fußgelenkpunkte 1950 bei Bodenkontakt im
Zeitverlauf im Schritt 1815. Darauf basierend erfolgt bspw. eine Ermittlung der Spurbreite durch eine Berechnung über den Abstand der Fußgelenkpunkte 1950 in der Frontal ebene 1825. Im Rahmen der Merkmalsklassifizierung 765 erfolgt bspw. eine Bewertung der Spurbreite im Schritt 1865, d.h. eine Ermittlung der Distanz zwischen den Fußgelenkpunkten 1950.
[0119] Weiterhin findet als Folge der Erfassung der Position der Fußgelenkpunkte 1950 bei dem Bodenkontakt im Zeitverlauf im Schritt 1815 bspw. eine Ermittlung der Schrittlängen (d.h. die gemessene Distanz der Fußgelenkpunkte 1950 in der Sagittal ebene beim
hintereinander folgenden Kontakt mit dem Boden) im Schritt 1830 statt, mit bspw. einer Bewertung des Schrittlängenverhältnisses im Gangzyklus 1870 im Rahmen der Merkmalsklassifizierung 765. Weiterhin wird bspw. auch als Folge von Schritt im Schritt 1815 die Standdauer im Schritt durch eine Zeitmessung erfasst und im Schritt 1875 bewertet. Zudem kann eine Ermittlung der Neigung des Oberkörpers im Schritt 1840 erfolgen mit subsequenter Bewertung im Schritt 1890 innerhalb der Merkmalsklassifizierung 765 wie bspw. auch eine Erfassung der Flexion und/oder Extension 1845, bspw. von Hüft- und/oder Kniegelenken, mit subsequenter Bewertung 1895 im Rahmen der Merkmalsklassifizierung 765.
[0120] Es erfolgt ferner eine Erfassung der Position der UAGS-Endpunkte 1970 im
Zeitverlauf im Schritt 1820. Darauf basierend kann eine Messung der Distanz zwischen den UAGS-Endpunkten 1970 beim Bodenkontakt in Frontal ebene im Schritt 1851 erfolgen, mit einer Bewertung der Distanz zwischen den UAGS-Endpunkten 1970 beim Bodenkontakt (was dem UAGS-Abstand entspricht) im Schritt 1884 innerhalb der Merkmalsklassifizierung 765. Hierbei wird bspw. ermittelt, ob die UAGS zu weit auseinander stehen. Alternativ und/oder ergänzend kann eine Ermittlung der Distanz zwischen den UAGS-Endpunkten 1970 bei Bodenkontakt zu den Fußgelenkpunkten 1950 in der Sagittal- und/oder Frontal ebene 1863 erfolgen, mit subsequenter Bewertung der Distanz zwischen den UAGS-Endpunkten 1970 und Fußgelenkpunkten 1950 bei Bodenkontakt im Schritt 1885. Hierbei wird ermittelt, ob die UAGS zu eng oder zu weit weg vom Körper mit Bezug zu den Fußgelenkpunkten 1950 positioniert sind, in der Sagittal ebene und/oder der Frontal ebene. Dabei können jeweils Schwellwerte Berücksichtigung finden. Ein Überschreiten des Schwellwerts in der
Frontalebene würde bspw. auf ein zu breites Setzen der UAGS hinweisen, ein Unterschreiten eines Schwellwerts auf ein zu enges Setzen der UAGS, während ein Überschreiten eines Schwellwerts in der Sagittalebene auf ein Setzen der UAGS zu weit vorne hinweist.
Ergänzend kann auf Basis der Schritte 1815 und 1820 auch eine Bewertung der
Aufsetzzeitpunkte von UAGS und Fußgelenkpunkten 1950 auf dem Boden im Schritt 1880 erfolgen (um bspw. das zeitlich richtige Setzen des operierten Beines zu bewerten, welches möglichst erst nach dem Bodenkontakt der UAGS aufgestellt werden sollte).
[0121] Diese Aspekte beurteilen soweit den Bewegungsablauf einer Person, bspw. beim Gehen an UAGS. Für die Detektion des Drei punktgangs erfolgt eine Erfassung der Position der UAGS-Endpunkte 1970 beim Bodenkontakt im Schritt 1850 sowie eine Ermittlung, ob die Position der Berührungspunkte der UAGS auf dem Boden sich in etwa parallel zur Frontalebene der Person befinden 1852. Weiterhin wird im Schritt 1854 ermittelt, ob sich das zu entlastende Bein bzw. der Fuß dieses Beins zwischen den UAGS befindet. Dies kann mindestens auf zwei alternativen und/oder ergänzenden Wegen umgesetzt werden. Zum einen kann eine Verbindungslinie zwischen den Positionen der UAGS auf dem Boden im Schritt 1855 ermittelt werden sowie anschließend die Distanz des Fußgelenkpunkts 1950 des zu schonenden Beins zur Verbindungslinie im Schritt 1857. Im Rahmen der
Merkmalsklassifizierung 765 kann diese Distanz im Schritt 1887 bewertet werden. Zum anderen kann für die UAGS -Endpunkte 1970 jeweils eine Senkrechte zur Sagittal ebene wie auch eine Senkrechte zum Fußgelenkpunkt 1950 des zu schonenden Beins in der
Sagittal ebene gebildet werden (Schritt 1860) und anschließend im Schritt 1862 die Distanz dieser Senkrechten zueinander in der Sagittalebene ermittelt werden, gefolgt von einer Bewertung dieser Distanzen im Schritt 1889.
[0122] Abschließend erfolgt eine Bewegungsablaufklassifizierung 770, bei der die einzelnen Merkmalsklassifizierung zusammenhängend bewertet werden. Bei Abweichung von in der Bewegungsablaufklassifizierung hinterlegten Regeln, die bspw. auf definierten Fehlern beruhen, (bspw. wird das Setzen der UAGS weit nach vom bei gleichzeitig zu starker Vorneigung des Oberkörpers dem Fehler„Stützen zu weit vorgesetzt“ zugeordnet), und es erfolgt eine Ausgabe einer Bewegungsablaufkorrektur 450 (bspw. der Hinweis, die UAGS nicht so weit nach vorne zu setzen) auf der Grundlage einer Entscheidungsmatrix (Fig. 9).
Beispiel 2: Klassifizierung auf Basis maschinellen Lemens/neuronaler Netze
[0123] Die Merkmalsklassifizierung 765 und die Bewegungsablaufklassifizierung 770 sind im beschriebenen Ablauf deterministisch festgelegt, d.h. auf Basis von
Experteneinschätzungen definiert. In alternativen Aspekten können auch Verfahren des maschinellen Lernens und/oder neuronaler Netze hierfür genutzt werden. Im Falle von Support Vector Machines würden die erwähnten Richtungsvektoren aus der
Merkmalsextraktion Klassen bilden, die sich aus Vektorräumen definieren (d.h. bestimmte Vektoren mit einer gewissen Ähnlichkeit würden in die Klassen fallen, unähnliche Vektoren entsprechend nicht). Damit stellt bspw. ein Merkmal in einer bestimmten Ausprägung einen Raum dar, der durch die Vektoren aufgespannt wird. Genauso verhält es sich bei der
Bewegungsablaufklassifizierung. Andere Verfahren wie k-NN, K-Means, allgemeines Clustering oder neuronale Netze funktionieren ähnlich. In einem Aspekt handelt es sich beim Bewegungsablauf um den Gangablauf.
Beispiel 3 : Anomalie-Erkennung im Bewegungsverhalten und Implikationen
[0124] Im Bewegungsablaufbewertungsmodul 2052 zur Bewertung des Bewegungsablaufs und/oder im Bewegungskorrekturmodul 2022 zur Bewegungsablaufkorrektur sind in einem Aspekt des Serviceroboters 17 Regeln zur Anomalie-Erkennung hinterlegt. Unter einer Anomalie wird eine Abweichung im Bewegungsverhalten verstanden, die vom„üblichen“ (, d.h. dem physiologischen Gangverhalten abweicht. Das kann z.B. bedeuten, dass das gesunde Bein eine Schrittlänge von 65 cm aufweist, das operierte Bein eine Schrittlänge von nur noch 30 cm. Eine Abweichung von diesem„üblichen abweichenden Bewegungsablauf‘ kann bspw. wiederum dann vorliegen, wenn der Serviceroboter 17 statt der 30 cm Schrittlänge nur 10 cm misst. Alternativ und/oder ergänzend können die Anomalien auch aus Kurvenverläufen einzelner Gelenkpunkte des Skelettmodells über die Zeit erfasst werden, wobei
Amplitudenhöhe, die Position von Minima, Maxima und/oder von Wendepunkten über die Zeit eine Anomalie charakterisieren können. Diese Art der Erkennung läuft im
Bewegungsablaufbewertungsmodul 2052 zur Bewertung des Bewegungsablaufs ab, konkret wird hierfür die Merkmalsklassifizierung 765 und Bewegungsablaufklassifizierung 770 genutzt.
[0125] Wird eine oder werden mehrere dieser Anomalien erkannt, lösen in den genannten Modulen hinterlegte Regeln Ereignisse aus. Ein Ereignis kann eine Benachrichtigung eines Therapeuten sein, indem bspw. zunächst eine Information vom Serviceroboter 17 über die Drahtlosschnittstelle an das Patientenadministrationsmodul 160 übermittelt wird, welches wiederum einen Patienten informieren kann, bspw. über eine Benachrichtigung über ein Drahtlosnetzwerk wie GSM, LTE, WLAN, welche über ein mobiles Gerät des Therapeuten empfangbar ist. Diese Information kann bspw. eine Videosequenz beinhalten, die die
Anomalie in aufgezeichneter Form wiedergibt. Diese Videosequenz kann in einem Aspekt auch im Patientenadministrationsmodul 160 derart hinterlegt sein, dass auf Basis der
Benachrichtigung des Therapeuten dieser über sein Mobilgerät auf die im
Patientenadministrationsmodul 160 hinterlegte Videosequenz zugreifen kann.
[0126] In einem alternativen und/oder ergänzenden Aspekt wird die Anomalie mit einem Zeitstempel versehen und im Speicher des Lemmoduls 190 korrespondierend zum Zeitstempel eine Information abgelegt, dass die ins Lernmodul 190 übermittelte Videosequenz die Anomalie enthält. In einem GUI, über das der Therapeut das Labelling der ans Lemmodul 190 übermittelten Videosequenzen vornehmen kann, werden Sequenzen mit Anomalien höher priorisiert, wobei diese Priorisierung zum Beispiel innerhalb einer
Datenbank erfolgt. Auf diese Weise ist eine effizientes Labelling realisierbar, um die
Algorithmen der Bewegungsablaufauswertung und Bewegungsablaufkorrektur weiter zu verbessern. In einem Aspekt handelt es sich bei den erfassen, klassifizierten, bewerteten und/oder korrigierten Bewegungen um den Gangablauf.
Beispiel 4: Personen-Identifizierung, Visuelles Personentracking und Personen-Re- Identifizierung
[0127] Die Personen-Identifizierung in Personenidentifizierungsmodul 2041 kann mittels Skelettmodell-Erkennung erfolgen, wie sie Auswertungs-Frameworks von 2D und 3D- Kameras und/oder Frameworks wie OpenPose, OpenCV etc, ermöglichen. Eine
Synchronisierung der Aufzeichnungen der Sensoren, die die Skelettmodell-Erkennung umsetzen und einer RGB-Aufnahme ermöglichen es, Körperregionen der getrackten Person, Farben und/oder Farbmuster und/oder Texturen von Kleidung zuzuordnen, die bspw. von der Kleidung der Person stammen. Auf Basis der Parameter Farbe bzw. Farbmuster pro
Körperregion und/oder auch Größenparameter des Patienten (Körperhöhe, Armlänge, Beinlänge) lassen sich Personen im Zeitablauf tracken und auch wieder erkennen. Alternativ und/oder ergänzend können auch Bewegungsablaufmuster, wie z.B. Gangablaufmuster genutzt werden. Hierbei kann auf Tools wie bspw. OpenPTrack zurückgegriffen werden.
[0128] Ergänzend und/oder alternativ kann auch eine Gesichtserkennung zum Einsatz kommen.
[0129] In einem weiteren Aspekt lassen sich Marker zur Personen-Identifizierung, -tracking und auch Re-Identifizierung einsetzen. Sie können zur Erkennung des Patienten an diesem bzw. an den Gehhilfen positioniert werden. Solche Marker können farbbasierte Muster oder Lichtquellen mit einer bestimmten Frequenz sein. So kann in einem Aspekt der Patient eine Weste tragen, auf deren Oberfläche, sichtbar für den Serviceroboter 17, Barcodes aufgedruckt sind. Mittels dieser Barcodes kann die RGB-2D-Kamera 2084 den Patienten identifizieren. Informationen zum Barcode können in einem weiteren, optionalen Aspekt entsprechend dem Patienten zugeordnet werden, d.h. im Patientenadministrationssystem 160 oder im Speichermedium bzw. Transponder hinterlegt werden.
Beispiel 5: Übungsplananpassung basierend auf einer multinomialen Logistischen Regression [0130] Exemplarisch für den Maschinell-Lemen-Ansatz wird eine multinomiale Logistische Regression aufgezeigt. Ein derartiges Schätzmodell ermöglicht es, die Wahrscheinlichkeit für verschiedene, nicht notwendigerweise direkt verbundene Ausgangsgrößen basierend auf einer Reihe von Eingangsgrößen zu schätzen. Damit können bspw. als Ausgangsgrößen die Auswahloptionen des Übungsplans, die sich über das GUI in Fig. 5 ergeben, wie der
Dreipunktgang, eine Zeitdauer von z.B. 10 min und eine Wegstrecke von bspw. 100m, gleichzeitig geschätzt werden. Als Eingangsgrößen kommen bspw. wiederum zuvor vom Serviceroboter 17 ermittelte diesbzgl. Auswahl Optionen des Übungsplans infrage, aber auch Komorbiditäten des Patienten wie eine generelle Bewegungseinschränkung, ggf.
Beeinträchtigungen der geistigen Fähigkeiten, seine Körpergröße, die Art der erfolgten Operation (die unterschiedliche Muskelgruppen beeinträchtigen kann und daher
unterschiedlich schwere Beeinträchtigungen in der postoperativen Phase indiziert), usw. Eine Umsetzung des Verfahrens ist beispielsweise mit Hilfe des Befehls ,,LogicRegression()“ in dem Toolkit„SCIKIT-LEARN“ für Python möglich, besipielsweise mit dem Zusatzbefehl mutliclass=„multinomial“ zwischen dem Klammern.
[0131] Im Rahmen der multinomialen Logistischen Regression wird eine lineare
Prädiktorfunktion genutzt, die einen Score mittels eines Satzes an linear kombinierten Knoten-Gewichten ermittelt, welche mit den Eingangsgrößen als Skalarprodukt multipliziert werden: score(Xi, k) = ßk Xt, dabei ist Xt ein Vektor der Eingangsgrößen für die
Beobachtung i, ßk ist ein Gewichtsvektor bzw. Regressionskoeffizient mit Blick auf die jeweilige Ausgangsgröße k. Der Score kann wiederum direkt in einen
Wahrscheinlichkeitswert konvertiert werden, dass die Beobachtung i der Eingangsgrößen zur jeweiligen Ausgangsgröße k führt. Die Eingangsgrößen werden auch als unabhängige Variablen bezeichnet, die Ausgangsgrößen als abhängige Variable.
[0132] Als unabhängige Variablen können hierbei die Art der Operation dienen, die körperliche Verfassung, die Zeitdauer seit der Operation, die zurückgelegte Wegstrecke, die Art des Gangs, usw., die jeweils unterschiedliche Ausprägungen haben können. Als abhängige Variablen dienen Einstellungen bzw. Kombinationen an Einstellungen, die der Therapeut im Übungsplan vornehmen kann, wobei diese ebenfalls unterschiedliche
Ausprägungen haben können. Konkret kann bspw. ein Patient in normaler körperlicher Verfassung, mit einer linksseitigen Hüft-TEP durchgeführt als chirurgische Prozedur mit einem lateralen Zugang zur Hüfte, drei Tage nach der Operation am Vortag, wie vom
Serviceroboter 17 ermittelt, eine Strecke von 250m innerhalb von 5 min im Dreipunktgang zurückgelegt haben (dies wären die Ausprägungen der Eingangsgrößen) und ein Therapeut würde an dieser Stelle den Übungsplan derart anpassen, dass der Patient bei der nächsten Übung auch 10 min gehen darf, während der Dreipunktgang beibehalten werden würde (dies wären Ausprägungen der Ausgangsgrößen). Auf Basis der Ausprägungen der einzelnen Variablen lässt sich ein multinomiales logistisches Modell schätzen. Die auf Basis in dieser Modellbildungsphase ermittelten Regressionskoeffizienten (Gewichte für die einzelnen Eingangsgrößen wie körperliche Verfassung, Zugang zur Hüfte, Zeitdauer nach der
Operation, Wegstrecke, Dauer der Übung, Dreipunktgang) können bei Erfassen weiterer Übungen (vornehmlich von weiteren Patienten) dafür genutzt werden, dem Therapeuten vorzuschlagen, welche Übungsplankonfiguration er vornehmen soll. Sofern bspw. mehrmals die oben beschriebene Einstellung durch Therapeuten vorgenommen wird, wenn die genannten Ausprägungen der Eingangsgrößen Vorlagen, deutet dies darauf hin, dass das Vornehmen dieser Einstellungen sinnvoll ist, was sich, anders gesprochen, in signifikanten Werten für die Knoten-Gewichte äußert. Damit können dann einem Therapeuten genau diese Maßnahmen vorgeschlagen werden, die oben bereits geschildert wurden, nämlich bei normaler körperlicher Verfassung, mit einer linksseitigen Hüft-TEP durchgeführt als chirurgische Prozedur mit einem lateralen Zugang zur Hüfte, drei Tage nach der Operation am Vortag, einer zurückgelegten Strecke von 250m innerhalb von 5 min im Dreipunktgang dann als vom Therapeuten vorzunehmende Einstellung 10 min Gangdauer im Dreipunktgang. Dieser Vorschlag wird im GUI in Fig. 5 angezeigt, bspw. durch eine farbliche Hervorhebung (nicht dargestellt). Da es sich um ein statistisches Modell handelt, d.h. der Score lediglich eine Wahrscheinlichkeit ausgibt, mit welcher ein Therapeut nach Vorliegen bestimmter
Ausprägung von Eingangsgrößen Modifikationen im Übungsplan vornimmt, sind
Schwellwerte im Regelwerk 150 hinterlegt, die bspw. ab einer Wahrscheinlichkeit von 80% für diese Maßnahmenkombination aus Drei punktgang und 10 min Gangdauer diese dem Therapeuten auch vorschlägt. [0133] Alternative oder ergänzende Verfahren zur Gewichtsermittlung der Knoten-Gewichte sind Naive Bayes, Entscheidungsbäume oder aber neuronale Netze wie Long short-term memory recurrent neural networks.
Beispiel 6: Signalisierung Übungswunsch
[0134] Diese Signalisierung kann über ein mobiles Endgerät, welches der Patient nutzt, an das Patientenadministrationsmodul 160 und/oder den Serviceroboter 17 übertragen werden, welches wiederum drahtlos Instruktionen an den Serviceroboter 17 diesbzgl. senden kann. Alternativ kann in einem Aspekt auch ein Hausrufsystem genutzt werden, wie es in Kliniken zum Standard gehört, oder aber ein fest installiertes Terminal, welches in Kommunikation mit dem Patientenadministrationsmodul 160 und/oder dem Serviceroboter 17 steht. Ein solcher Übungswunsch kann zunächst auch in einer Datenbank eingetragen werden, die über
Mechanismen verfügt, um die Reihenfolge von Übungen zu planen. So können in diesem Zusammenhang Regeln hinterlegt werden, die bspw. bestimmten Patienten Priorität einräumt.
Beispiel 7: Kartierung/Mapping
[0135] Wird der Serviceroboter 17 erstmalig in einem Areal wie einem Klinikgebäude tätig, führt der Serviceroboter 17 mittels des Submoduls 2D/3D-Erkennung und des
Mappingmoduls 2061 eine Kartierung seines Umfelds durch. Dazu werden sämtliche
Räumlichkeiten abgefahren und mittels von 2D und/oder 3D-Sensoren das Umfeld erfasst. Sensoren, die hierfür infrage kommen, sind mindestens das LID AR 2083, mindestens das RGB-D 3-D Kamera 2085, mindestens das RGB-2-D-Kamera 2084 und/oder Ultraschall und/oder Radar-Sensoren. Es können auch Kombinationen dieser Sensoren zum Einsatz kommen. Die (2D) RGB-Kamera 2084 wird hierbei teilweise nur hilfsweise eingesetzt, um bspw. Farben auszuwerten. Es lassen sich im Mappingmodul 2061 Regeln hinterlegen, in welchen Bereichen sich der Serviceroboter 17 bewegen darf und ggf. auch zu welchem Zweck. Dazu zählen bspw. Bereiche, in denen der Serviceroboter 17 sich nicht bewegen darf, solche, die er passieren darf, und wiederum andere, in denen er ein Training wie bspw. ein Bewegungstraining absolvieren darf.
[0136] In einem Aspekt verfügt das Modul für 2D/3D-Erkennungs und das Mappingmodul 2061 über eine Schnittstelle zum Bewegungstrainingsmodul 2011 zum Austausch von Lokalisierungsdaten. So kann im Bewegungstrainingsmodul 2011 eine Raumnummer hinterlegt sein, während die dieser Nummer zugeordneten Informationen sich im
Mappingmodul 2061 befinden. Damit kann der Serviceroboter 17 die Örtlichkeit erkennen, an der der Serviceroboter 17 den Patienten antreffen kann.
Beispiel 8: Karten- Anreicherung mittels CAD-Daten
[0137] Die Karten, die der Serviceroboter 17 vom Gebäude aufnimmt, in dem der
Serviceroboter 17 sich befindet, können in einem Aspekt durch CAD-Daten des Gebäudes angereichert werden, die in das 2D/3D-Erfassung und -Mappingmodul 2061 über eine Schnittstelle einfließen. Alternativ können sie in einem separaten Modul einfließen, dass über eine Schnittstelle mit dem Mappingmodul 2061 verbunden ist. Unter CAD-Daten werden hierbei einerseits Lagepläne in 2D oder 3D verstanden, die aus Softwareprogrammen stammen, wie sie für die Gebäudeplanung eingesetzt werden. Es können jedoch auch
Bilddaten (z.B. PNG, JPEG, PDF) genutzt werden, aus denen das System entsprechende Informationen der baulichen Anordnung ableitet. Die Berücksichtigung dieser Lagepläne unterstützt den Serviceroboter 17 bspw. dabei, Durchgänge und Türöffnungen zu erkennen, welche durch Übersetzen der Zeichnungssymbolik im Mappingmodul 2061 entsprechend vermerkt werden können. Weiterhin können die Lagepläne genutzt werden, um temporäre oder quasi-stationäre Hindernisse im Gebäude zu erkennen, d.h. Objekte, die nicht Teil des Gebäudes sind und dementsprechend über die Zeit ggf. ihre Position verändern können bzw. ganz verschwinden.
Beispiel 9: Kartierung und Selbstlokalisierung mittels elektromagnetischer Wellen.
[0138] Der Serviceroboter 17 kann in einem Aspekt zur verbesserten Navigation innerhalb des Gebäudes auch elektromagnetische Wellen berücksichtigen wie Licht und/oder
Funksignale bspw. von WLAN-Access-Points. Dazu kann die Lichtintensität (bspw.
Sonneneinstrahlung zur Tageszeit) und/oder der Einfallwinkel des Lichts durch
Photodetektoren auf dem Serviceroboter 17 erfasst werden, und zwar sowohl während des Mapping- Vorgangs als auch während der allgemeinen Navigation im Gebäude. Beim
Abgleich der erfassten Lichtstrahlung mit der kartierten können ggf. die Tages- und Jahreszeit sowie die geographische Breite und Länge Berücksichtigung finden, um natürliche
Schwankungen des Sonnen-Einstrahlwinkels als auch dessen Intensität zu berücksichtigen. Alternativ und/oder ergänzend kann auch künstliches Licht im Gebäude miterfasst werden, sowohl hinsichtlich der Intensität als auch des Lichtspektrums.
[0139] Alternativ und/oder ergänzend können WLAN-Signale mehrerer Router, deren Standort im Gebäude bekannt und in der Karte des Serviceroboters 17 vermerkt ist, durch das WLAN-Modul 2088 erkannt werden. Via Triangulation ist damit eine bessere
Positionsbestimmung im Gebäude möglich. Während der Erfassung des Lichteinfalls wird die Geschwindigkeit, die zurückgelegte Wegstrecke, die Orientierung des Serviceroboters 17 im Raum etc. erfasst und gespeichert und mit abgespeicherten Werten verglichen. Diese in diesem Beispiel beschriebenen Verfahren können mit anderen, in diesem Dokument beschriebenen Verfahren kombiniert werden.
Beispiel 10: Vermessen der vom Patienten zurückgelegten Wegstrecke mittels Odometrie und Patiententracking
[0140] In einem Aspekt wird die vom Patienten zurückgelegte Wegstrecke mit Hilfe des Odometrie-Moduls 2081 zusammen mit einem optischen Sensor wie dem LID AR 2083 und/oder der 3D-Kamera ermittelt. Hierbei erfasst mindestens ein optischer Sensor die Position des Patienten im Rahmen des Bewegungstrainings relativ gesehen zum
Serviceroboter 17, dessen Pfad wiederum durch das Odometrie-Modul 2081 ermittelt wird. Dieses kann, je nach Aspekten, Magnetsensoren besitzen, die die Umdrehung der Räder 6 ermitteln und über den Radius die zurückgelegte Wegstrecke berücksichtigen. Die z.B. durch Schlupf entstehenden Ungenauigkeiten können durch die Kombination mit geeigneter Inertialsensorik wie Beschleunigungssensoren korrigiert werden. Basis für die Position des Patienten, der durch den Serviceroboter 17 im Personenidentifizierungsmodul 2041 identifiziert und mit Hilfe des Personentrackingmodul 2043 oder dem Modul für 3D- Personentracking 2046 getrackt wird , kann der Mittelpunkt zwischen den erfassten Beinen sein (im Falle der Erfassung durch den LID AR 2083) und/oder der Mittelpunkt zwischen den erfassten Hüftgelenken, der Wirbelsäule, der Fußgelenke 1950, etc. im Falle der
Patientenerfassung mit einem Sensor, dessen Daten als Skelettmodell ausgewertet werden.
Mit Blick auf die Fußgelenke 1950 kann wiederum ein Ansatz analog wie beim LID AR herangezogen werden. Die Wegstrecke, die der Patient zurückgelegt hat, wird relativ gesehen zur Wegstrecke des Patienten ermittelt. [0141] In einem Aspekt kann die Position des Fußgelenkpunktes 1950 nur unzulänglich aus dem Skelettmodell extrahiert werden, d.h. die Position wird bspw. mit einer im Vergleich zu anderen Gelenkpunkten erhöhten Unschärfe erfasst. Um die Erfassungsgenauigkeit dennoch zu erhöhen, wird der Fußgelenkpunkt 1950, wie in Fig. 21 dargestellt, alternativ und/oder ergänzend über die Position des Kniegelenkpunktes 1930, eines Richtungsvektors, der sich vom Kniegelenkpunkt parallel zum Unterschenkel orientiert, und die Höhe des
Kniegelenkpunkts 1930 über dem Boden im Fall des Durchgangs des Richtungsvektors durch das Lot ermittelt (Fig 21 a), wobei die Höhe des Kniegelenkpunkts 1930 über dem Boden im Fall des Durchgangs des Richtungsvektors durch das Lot die Entfernung angibt, in der sich das Fußgelenk 1950 vom Kniegelenkpunkt 1930 aus gesehen befindet (siehe Fig. 21 b). Für die Ermittlung des Richtungsvektors parallel zum Unterschenkel können, in einem Aspekt, zusätzlich oder ergänzend die Segmentierungsverfahren herangezogen werden, die zur UAGS-Detektion genutzt werden, um bspw. eine erfasste Punktwolke im Zusammenhang mit dem Skelettmodell als Unterschenkel zu detektieren.
Beispiel 11 : Vermessen der vom Patienten zurückgelegten Wegstrecke mittels
Aufsummierens der erfassten Schrittlänge
[0142] In einem Aspekt wird die vom Patienten zurückgelegte Wegstrecke durch
Aufsummieren der Schrittlänge ermittelt, welche im Rahmen des Bewegungstrainings erfasst wird. Grundlage hierfür kann der Abstand der Sprunggelenke sein, die sich durch 3D- Kameras wie eine Microsoft Kinect oder eine Astra Orbbec und den damit assoziierten Auswertungs-Frameworks erkennen lassen. Alternativ und/oder ergänzend kann auch die Position der Füße mittels des LIDARs ermittelt werden.
Beispiel 12: Vermessen der vom Patienten zurückgelegten Wegstrecke mittels
Koordinatensy stem s
[0143] In einem Aspekt wird die vom Patienten zurückgelegte Wegstrecke über das
Aufsummieren euklidischer Distanzen zwischen Koordinatenpunkten ermittelt, die der Patient passiert. Der Serviceroboter 17 legt zuvor im Rahmen des Mappingmoduls 2061 ein
Koordinatensystem seiner Umgebung an. Durch Selbstlokalisierung 2062 bestimmt der Serviceroboter 17 seine Position im Raum, wobei der Position wiederum entsprechende Koordinaten zugewiesen sind. Ein optischer Sensor wie der LID AR 2083 und/oder die 2D- Kamera 2084 oder die 3D-Kamera erfassen den Patienten im Rahmen der Übungen und ermitteln seine Position relativ gesehen zum Serviceroboter 17. Dieser Position wird ebenfalls eine Raumkoordinate zugewiesen. Durch Tracking des Patienten im Zeitverlauf wird somit eine Kette von Raumkoordinaten ermittelt. Zwischen jedem Koordinatenpunkt kann die euklidische Distanz ermittelt werden, welche sukzessive aufsummiert werden. Basis für den Mittelpunkt des Patienten kann der Mittelpunkt zwischen den erfassten Beinen sein (im Falle der Erfassung durch den LID AR 2083) und/oder der Mittelpunkt zwischen den erfassten Hüftgelenken, der Wirbelsäule, etc. im Falle der Patientenerfassung mit einem Sensor, dessen Daten als Skelettmodell ausgewertet werden. Die Position des Patienten im Raum kann auch anhand der Patientenkoordinaten ermittelt werden, ohne notwendigerweise die Position des Serviceroboters zu berücksichtigen.
Beispiel 13: Ermittlung und Ausgabe von noch zu absolvierender Wegstrecke
[0144] Die vom Patienten zurückgelegte Wegstrecke kann der Serviceroboter 17 mit der laut Übungsplan geplanten Wegstrecke vergleichen und dem Patienten über Lautsprecher 2092 und Sprachsynthese 2073 Hinweise geben, wie lang die restliche, laut Übungsplan noch zu absolvierende Wegstrecke ist. Alternativ und/oder ergänzend kann die Ausgabe auch auf dem Display 2087 erfolgen.
Beispiel 14: Ermittlung der Geschwindigkeit des Patienten
[0145] Der Serviceroboter 17 erfasst die Zeit der Übungen und parallel die zurückgelegte Wegstrecke. Auf diese Art und Weise kann der Serviceroboter 17 die Geschwindigkeit des Patienten ermitteln und diese im Bewegungsauswertungsmodul 2050 abspeichem. Die Geschwindigkeit des Patienten kann mit einer zuvor abgespeicherten Geschwindigkeit verglichen werden, es erfolgt eine Differenzberechnung und der Serviceroboter 17 kann über das Display und/oder über den Lautsprecher 2092 und Sprachsynthese 2073 Hinweise geben, inwieweit der Patient vom historischen Wert während der Übung abweicht.
Beispiel 15: Lotsen des Patienten
[0146] Der Serviceroboter 17 navigiert während der eigentlichen Übung vor dem Patienten her oder folgt ihm. In beiden Fällen wird hierbei das Bewegungsplanungsmodul 2065, in einem Aspekt mittels evolutionärer Algorithmen, genutzt, um den Pfad des Patienten abzuschätzen. In beiden Fällen navigiert der Serviceroboter 17 den Patienten durch das Übungsareal. Sofern der Serviceroboter 17 den Patienten vorab in seinem Zimmer abgeholt hat, erfolgt zunächst die Navigation zumeist durch ein Areal, in dem der Patient noch keine Übungen absolviert, bevor das Übungsareal erreicht wird, welches sich vornehmlich durch wenige Hindernisse (darunter weiteren Personen, die sich dort bewegen) auszeichnet. Der Serviceroboter 17 lotst hierbei den Patienten mittels akustischer und oder visueller/opti scher Hinweise, die über die Lautsprecher 2092 oder das Display 2087 erfolgen, in einem Aspekt auch über Signalleuchten des Serviceroboters 17. Hierbei wird vor allem dann eine akustische Vorgehensweise gewählt, wenn sich der Serviceroboter 17 hinter dem Patienten befindet. Es findet ein Tracking des Patienten statt und ein Abgleich der Position des Patienten innerhalb des Gebäudes. Bei Abweichungen von der geplanten Route signalisiert der Serviceroboter 17 eine Richtungskorrektur, weist den Patienten bspw. darauf hin, in einen bestimmten Gang abzubiegen, ggf. auch umzukehren, sofern der Patient nicht abgebogen sein sollte.
Beispiel 16: Bewegungsplaner
[0147] Um die vom Serviceroboter 17 zurückzulegenden Wege effizient zu berechnen, werden im Rahmen der Bewegungsplanung im Bewegungsplanungsmodul 2065 verschiedene Ziele zugleich optimiert. Erstens berechnet der Serviceroboter 17 die optimale Wegstrecke im Pfadplanungsmodul 2064. Im Falle einer Änderung seines Umfelds, insbesondere auf dem zuvor errechneten Pfad, berechnet der Serviceroboter 17 die Wegstrecke zum Ziel nicht komplett neu, sondern lediglich für den Abschnitt auf dem Pfad, der sich dynamisch geändert hat. Zweites berücksichtigt die dynamische Bewegungsplanung auch die Orientierung des Serviceroboters 17 bspw. kurz vor dem Ziel, wenn der Serviceroboter 17 sich direkt auf dieses zubewegt. Drittens wird berücksichtigt, dass der Serviceroboter 17 bspw. rückwärts gerichtet nur langsamer fahren kann als bspw. vorwärtsgerichtet. Viertens berücksichtigt diese Optimierung auch das Einhalten von Sicherheitsabständen zu statischen und dynamischen Hindernissen. Und fünftens berücksichtigt der Serviceroboter 17 hierbei, dass der
Serviceroboter 17 eine bestimmte Distanz zu einer getrackten Person einhält, in diesem Fall dem Patienten. Diese Zielgrößen werden zusammen als Kostenfunktion betrachtet und die einzelnen Zielgrößen als gewichtete Summe dargestellt, um eine globale Optimierung der Wegstrecke vorzunehmen. Hierbei orientiert sich der Ansatz an dem im Stand der Technik bekannten Dynamic Window Approach (Fox et al 1997). In einem Aspekt können hierbei zur Auswahl einzelner Pfadabschnitte evolutionäre Algorithmen zum Einsatz kommen, welche die Beschleunigung einzelner Pfadabschnitte optimieren. [0148] Mittels dieser Bewegungsplanung lässt sich bspw. unter Berücksichtigung des Pfads des Serviceroboters 17 und der geschätzten Bewegungsrichtung des Patienten die Kamera derart justieren, dass der Patient zum Beispiel zentral durch die Kamera erfasst werden kann. Hierfür kann ein PID-Kontroller zum Einsatz kommen, der das im Stand der Technik bekannte„integrator clamping“ nutzt (d.h. eine obere und untere Grenze der Ergebnisse bewirkt) und den horizontalen Kamerawinkel anpasst. Alternativ und/oder ergänzend kann der vom PID-Kontroller ermittelte Winkel auch zur Korrektur von horizontalen Winkeln im Skelettmodell genutzt werden, die durch die fahrtrichtungsbedingte Rotation des
Serviceroboters 17 im Vergleich zur orthogonalen Kameraperspektive auftreten.
Beispiel 17: Übungsareale
[0149] Bei den Übungen wird zumeist eine bestimmte Wegstrecke auf den Gängen einer Klinik oder in einem anderen Areal zurückgelegt, dass im Raumplan-Modul 2060r als solches hinterlegt wurde. Hierbei sollten vor allem solche Areale ausgewählt werden, die wenige Hindernisse aufweisen, denen Patient und/oder Serviceroboter 17 ausweichen müssen. Diese Räume weisen in einem Aspekt eine Breite auf, die mindestens der dreifachen Breite des Serviceroboters 17 entsprechen. Unter Hindernissen werden auch Personen verstanden, die sich, abgesehen von Patienten und Serviceroboterl7, ebenfalls in diesem Areal bewegen, darunter weitere Patienten der Klinik, medizinisches Personal sowie bspw. Betten, Wagen, Sitzgelegenheiten etc., die im Klinikalltag anzutreffen sind. Weniger derartige Hindernisse erlauben nicht nur ein flüssigeres, je nach Gesundheitszustand auch weniger beschwerliches Bewegungstraining des Patienten, sondern auch eine bessere Erfassung des Patienten durch den Serviceroboter 17. Es erfolgen weniger Kurvenfahrten, somit verkürzt sich die
Wegstrecke und die Speicherkapazität der mitgeführten Batterie wird geschont. Weiterhin kommt es zu weniger Zwischenfällen, in denen sich Personen zwischen dem Patienten und dem Serviceroboter 17 hindurchbewegt. Dieser Fall wiederum könnte zu Problemen des Trackings führen, aber auch zu der kritischen Situation, dass der Serviceroboter 17 fälschlicherweise eine andere Person als Patient erkennt. Ein Vermeiden dieser Situation reduziert damit die Fälle der Personen-Re-Identifizierung, die daraufhin mit dem Re- Identifizierungs-Modul 2044 durchgeführt werden müssten.
[0150] In einem Aspekt ist der Serviceroboter 17 auch in der Lage, selbständig durch
Navigieren in vorab definierten Arealen (bspw. einer Klinik) solche Subareale zu erkennen, die sich für Übungen eignen. Dazu erfasst er über den Zeitablauf, zum Beispiel über den Tagesablauf und Wochenablauf, die Zahl und Art an Hindernissen, deren Dimensionen (absolut und/oder relativ zur Gangbreite), die Dichte dieser Hindernisse über das gesamte Areal in Abhängigkeit von der Zeit. Diese Werte werden im Speicher des Serviceroboters 17 abgelegt, zum Beispiel innerhalb des Raumplan-Moduls 2060r. Diese Datenerfassung über die Zeit kann sowohl im Rahmen von„Leerfahrten“ des Serviceroboters 17 erhoben werden (d.h. Fahrten ohne paralleles Bewegungstraining mit einem Patienten) als auch während Übungen mit einem Patienten. Die erfassten Daten zu den Hindernissen können innerhalb des Serviceroboters 17 verarbeitet werden oder innerhalb einer Cloud, in welche die Daten übertragen werden.
[0151] Steht nun eine Übung mit einem Patienten an, kann der Serviceroboter durch Zugriff auf die historischen Daten ermitteln und/oder prognostizieren, welche Areale während der Übungszeit (bspw. Freitag 13:00-13: 15) in der Vergangenheit die geringste Dichte an Hindernissen aufwiesen. Die Dichte-Ermittlung kann Verfahren des Clusterings umfassen. In einem Aspekt berücksichtigt der Serviceroboter 17 hierfür auch die zurückzulegende
Wegstrecke, trifft demnach Routenwahlentscheidungen in Abhängigkeit der Dichte. Dabei kann der Serviceroboter 17 bei einer avisierten Streckenlänge von bspw. 100m einen Gang von 50m auswählen, der hin- und zurück gelaufen wird, oder aber, der Serviceroboter 17 erkennt auf Basis der historischen Daten, dass ein Teilstück des Gangs mit einer Länge von 25m zu der Uhrzeit in der Vergangenheit eine Dichte an Hindernissen vorzuweisen hatte (entweder eine Minimum-Dichte, bspw. berechnet als die geringsten 90%, oder aber eine Dichte unter einem bestimmten relativen oder absoluten Schwellwert). In so einem Fall wählt der Serviceroboter 17 bspw. selbständig das Areal mit einer Länge von 25m aus, welches der Patient 4x ablaufen soll.
Beispiel 18: Anordnung der Kameras und Abstände zum Patienten
[0152] Um einen Patienten bestmöglich zu erfassen, wird die 2D-Kamera 2084 und/oder die 3D-Kamera so montiert, dass die 2D-Kamera 2084 und/oder die 3D-Kamera den Patienten möglichst mittig aufnehmen kann. Unter Berücksichtigung einer durchschnittlichen
Patientengröße von 175-180 cm wird die Kamera daher in einer Höhe von 80— 90 cm montiert. [0153] Je nach verwendeter Technologie der 3D-Kamera (ToF bei einer Kinect, Speckle- Sensor bei einer Astra Orbbec) ergeben sich unterschiedliche Implikationen für die optimale Distanz zum Patienten. Zum einen wird diese Distanz durch den Winkel der 3D-Kamera und der sich daraus ergebenden Möglichkeit, den Patienten im besten Fall mit dem ganzen Körper zu erfassen, bestimmt. Eine Kinect hat bspw. eine Reichweite von bis zu 4m, womit sich ohne Probleme ein Patient erfassen lässt, d.h. auch dessen Körperteile werden bei dieser Distanz erkannt. Anders verhält es sich, wenn bspw. die UAGS getrackt werden sollen und vor allem eine 3D-Kamera mit Speckle-Technologie zum Einsatz kommt. So berichten Guidi et al. 2016 davon, dass eine Kinect2 eine deutlich höhere Messgenauigkeit besitzt als eine Reihe von Speckle-Kameras. Nimmt man eine handelsübliche Astra Orbbec 3D-Kamera, hat diese 3D- Kamera eine horizontale Austrittsöffnung von 60° und eine vertikale von 50° bei einer Auflösung von 640x480. Im Abstand von 2m von der 3D-Kamera wird demnach ein Bild mit horizontaler Breite von ca. 231cm aufgenommen. Wird die 3D-Kamera in einer Höhe von 92cm angebracht, beträgt die maximale Höhe des erfassten Bildes ca. 184 cm. Größere Personen können damit nicht erfasst werden. Es wird daher in einem Aspekt mit größerem Abstand zum Patienten getrackt, was zulasten der UAGS-Erkennung gehen kann, je nachdem, was für ein Kameramodell genutzt wird. Daher wird zur Erfassung der UAGS in einem Aspekt eine UAGS-Identifizierung und ein UAGS-Tracking via dem LID AR 2083 und/oder einem Ultraschall- oder Radarsensor vorgenommen, wofür die Signale des mindestens einen Kamerasystems und ggf. LIDARs 2083, Ultraschall- oder Radarsensor entsprechend zeitlich synchronisiert und fusioniert werden. In einem Aspekt können Kamera und LID AR 2083, Ultraschall bzw. Radar gemeinsam genutzt werden, um die UAGS zu detektieren und/oder zu tracken.
Beispiel 19: Übungsunterbrechung
[0154] Wie in Fig. 18 dargestellt, kann vom Patienten jederzeit der Übungsplan unterbrochen werden, indem der Patient eine optionale Pause im Schritt 510 einlegt. Alternativ kann der Patient auch die Übung im Schritt 515 abbrechen. Hierfür muss der Patient sich am
Serviceroboter 17 im Schritt 520 abmelden. Vergisst der Patient die Abmeldung bzw. ist der Patient aufgrund der Pause für einen definierten Zeitraum inaktiv, findet eine automatische Abmeldung am System im Schritt 525 statt. Um die Übungen fortzusetzen oder neu zu starten, ist eine erneute Anmeldung am System im Schritt 530 notwendig. Beispiel 20: Dokumentation der Therapie
[0155] Das System mit dem Patientenadministrationsmodul 160 und dem Serviceroboter 17 dokumentiert die Therapie. Die Dokumentation selbst kann über eine Schnittstelle an externe Systeme wie ein Krankenhausinformationssystem oder ein Patientendatenmanagementsystem 170 übertragen werden. Die Dokumentation umfasst einerseits personenbezogene Daten wie Name, Alter, Geschlecht usw., die Anamnese (bspw. Arthrose in der Hüfte im
fortgeschrittenen Stadium), die vorgenommenen Behandlungen (Hüft-Totalendoprothese) sowie die operierte Seite. Solche Informationen sind vornehmlich im Speicher des
Patientendatenmanagementsystems 172 vorgehalten. Im Patientenadministrationsmodul 160 selbst werden die Übungspläne nach Figs. 4 und 5 erfasst sowie die Ergebnisse der absolvierten Übungen, die sich bspw. aus Fig. 11 ergeben. Dazu zählen auch etwaige
Interventionen im Übungsplan, seien sie vom Therapeuten veranlasst oder durch den
Serviceroboter 17 basierend auf festgelegten und/oder gelernten Regeln.
Beispiel 21 : Therapeutenbenachrichtigung
[0156] In einem Aspekt werden über einen Server, der über eine Schnittstelle mit dem
Patientenadministrationsmodul 160 verbunden ist, Daten auf ein Mobilgerät übertragen, dass zum Beispiel dem Therapeuten zur Verfügung steht. Als Trigger für diese
Benachrichtigungen können wiederum Abweichungen von Schwellwerten in der Bewertung des Bewegungsablauf dienen, bspw. eine Schrittlänge, die von der„typischen“ abweichenden Schrittlänge abweicht, oder aber eine Kombination an Bewegungen verschiedener
Gliedmaßen, die nicht dem physiologischen Bewegungsablauf und die auch nicht dem „typischen“ abweichenden Bewegungsablauf entsprechen. Im ersteren Fall könnte bspw. eine Schrittlänge ein Triggerevent auslösen, die nur 10% der physiologischen Schrittlänge ausmacht. Im zweiten Fall könnte eine Schrittlänge von ggf. 20cm, mit einer Neigung des Oberkörpers von über 30° aus der Lotrechten einen Trigger auslösen. Weiterhin kann ein Trigger auch bei einer Abweichung im Übungsplan auslösen, die einen bestimmten
Schwellwert unter- oder überschreitet, bspw. ein Zweipunktgang statt Dreipunktgang, ohne dass der Therapeut diesen freigegeben hätte oder ohne dass dieser sich aufgrund der
Patientendaten und der bisher vom Serviceroboter 17 erfassten Übungsergebnisse, die in einer Datenbank mit historischen Werten erfasst wurden, in dieser Phase des Übungszyklus mit einer Häufigkeit Vorkommen, die über einem definierten Schwellwert liegt, wobei der Schwellwert sich in einem Aspekt aus der Auswertung der historischen Daten ergibt. Der Übungszyklus umfasst hierbei die typische Sequenz an Komponenten des Übungsplans, von der ersten Übung an gerechnet, die der Patient absolviert, bis zur letzten.
Beispiel 22: Cloud-basierte Spracherkennung
[0157] Die Spracherkennung 2074 kann in einem Aspekt über cloudbasierte Dienste von Drittanbietem implementiert sein, auf die der Serviceroboterl 7 drahtlos über eine API zugreift. Hier kann bspw. im ersten Schritt eine Speech-to-text-API infrage kommen wie Google Speech oder Amazon Transcribe. In einem zweiten Schritt können dann die damit generierten Textdaten mittels APIs wie Amazon Comprehend ausgewertet und die Ergebnisse bspw. mit Befehlen, wie sie auch alternativ in Form einer bildschirmbasierten Menüeingabe realisierbar sind, in Antworten oder Befehle für den Serviceroboter 17 konvertiert werden. Es sind auch Kombinationen aus diesen Diensten über eine einzelne API möglich.
Beispiel 23: Anonymisierung des Datentransfers zwischen Cloud und Serviceroboter
[0158] Der Therapeut kann dem Patienten eine mobile Speichereinheit wie bspw. einen Transponder zuweisen, d.h. der Therapeut händigt dem Patienten einen Transponder aus und weist diesen Transponder im Patientenadministrationsmodul 160 dem Patienten zu. Der Transponder enthält die Patienten-ID und/oder eine weitere Token-ID, die dem Patienten bzw. seiner Patient-ID zugewiesen ist. Mit diesem Transponder bzw. der Seriennummer und/oder Patienten-ID kann sich der Patient am Serviceroboter 17 identifizieren. Der Serviceroboter 17 lädt nun aus der Cloud 18 entsprechend den vom Therapeuten hinterlegten Übungsplan - ohne jedoch dessen personenbezogene Daten - über eine Schnittstelle herunter - die Zuordnung erfolgt über die Patienten-ID. Nach Absolvieren der Übungen lädt der Serviceroboter 17 die vom Serviceroboter 17 während der Übungen erfassten Daten verschlüsselt in das Patientenadministrationsmodul 160 - die Zuordnung erfolgt über die Patienten-ID. Erst in dem Patientenadministrationsmodul 160 findet eine Entschlüsselung der Daten statt. Auf diesem Weg werden auch keine Daten übermittelt, die Rückschlüsse auf Namen oder Adresse des Patienten beinhalten.
[0159] In einem weiteren Aspekt überträgt der Therapeut den Übungsplan auf einen
Speichermedium (z.B. Transponder in der Form eines RFID-Tags, USB-Stick), welchen der Patient erhält, um sich am Serviceroboter 17 zu identifizieren. Dabei werden die Daten vom Speichermedium an den Serviceroboter 17 übertragen inkl. der Patienten-ID, die vom Patientenadministrationsmodul 160 vorgegeben wurde. Nach Absolvieren der Übung überträgt der Serviceroboter 17 die erfassten Daten der Übungen wieder auf das
Speichermedium, so dass der Therapeut beim Auslesen des Speichermediums die Daten in das Patientenadministrationsmodul 160 übertragen kann.
[0160] Es sind auch Kombinationen aus dem oben beschrieben Ansatz und dem
Datenaustausch via Speichermedium (bspw. Transponder) möglich.
[0161] In einem weiteren Aspekt kann sich der Patient über ein Login und/oder Passwort identifizieren. Diese dienen als Patienten-ID oder sind mit einer Patienten-ID assoziiert, so dass der Serviceroboter 17 mit diesen Informationen weitere Daten wie Übungspläne aus der Cloud herunterladen kann. In einem weiteren Aspekt können biometrische Merkmale wie ein Fingerabdruck-Scan, Gesichts-Scan oder Iris-Scan zur Patientenidentifizierung genutzt werden.
Beispiel 24: Erkennen der Beinbelastung mittels 2D/3D-Sensorik
[0162] In einigen Fällen dürfen Patienten ein Bein nur eingeschränkt belasten. Wenngleich eine exakte Belastungserkennung auf optischem Wege schwer umzusetzen ist, lassen sich aus einigen Skelettparametem Hinweise ableiten, die die Beinbelastung erkennen lassen. Hierfür wird auf folgende Parameter zurückgegriffen: a) Winkel zwischen Unter- und Oberarm beim Gehen, und/oder b) Winkel des Unter- zum Oberschenkel und/oder Extensions- und
Flexionswinkel, und/oder c) Haltung des Oberkörpers. Eine Entlastung liegt vor allem vor, wenn i) der Winkel zwischen Unter- und Oberarm kleiner als 170°, oder kleiner als 160° beträgt, ii) der Winkel des nur begrenzt zu belastenden Beines kleiner als 172° beträgt, iii) der Oberkörper um mehr als 5° nach vorne geneigt ist, und/oder iv)der Oberkörper um mehr als 5° weg von der betroffenen Seite geneigt sein. Je stärker die Merkmale i-iiii) ausgeprägt sind, desto stärker ist die Entlastung des Beines. Hierbei wird definiert, dass ein ausgestreckter Arm einen Winkel von 180° hat. Die Person befindet sich dabei im Dreipunktgang, der in Fig. 22 näher erläutert ist. Ergänzend zu der dort genannten Auswertung erfolgt eine Erfassung und Bewertung der Arme, während die anderen Aspekte im Rahmen der
Merkmalsklassifizierung 765 und Bewegungsablaufklassifizierung 770 ausgewertet werden.
[0163] Die ermittelten Posen werden demnach klassifiziert und sind im Regelwerk 150 hinterlegt, sowohl im Regelwerk 150 als auch lokal auf dem Serviceroboter 17 im Rahmen der Bewertung des Bewegungsablaufs in dem Bewegungsablaufbewertungsmodul 2052. Im Falle einer Belastungseinschränkung, die im Patientenadministrationsmodul 160 hinterlegt ist und die auch Eingang in den Übungsplan findet, wird die Belastung des Patientenbeins kontinuierlich durch den Prozessor des Serviceroboters 17 - parallel zur Auswertung der anderen Posen - überwacht und der Patient erhält auf optischem und/oder akustischem Weg Instruktionen, sollte die Belastung des Beins einen bestimmten Schwellwert über- oder unterschritten werden.
Beispiel 25: Erkennen der Beinbelastung mittels externer Sensoren
[0164] Wie stark eine Person ihr Bein belastet, kann auch mittels externer Sensorik ermittelt werden, die zum Beispiel drahtlos mit dem Serviceroboter 17 gekoppelt ist. In der Orthopädie finden sich hierzu eine Reihe von Produkten zur Messung des Drucks auf die Fußsohle. So sind bspw. Einlegesohlen bekannt, die in die Schuhe des Patienten gelegt werden und in unterschiedlicher räumlicher Auflösung den Druck messen, der auf die Schuhsohle herrscht. Die eigentliche Drucksensorik kann kapazitative, resistive (bspw. basierend auf
Dehnungsmesstreifen), induktive oder auch piezoelektrische Drucksensoren umfassen. Die Sensorsignale werden über eine Brückenschaltung verstärkt und mittels eines Analog- Digitalwandlers derart aufbereitet, dass eine Übertragung über handelsübliche Funkstandards wie Bluetooth, WLAN usw. möglich wird.
[0165] Der Serviceroboter 17 verfügt zudem über eine Softwareeinheit, die die
Messergebnisse der unterschiedlichen Sensoren über den Zeitverlauf aufaddiert, um die Gesamtbelastung des Beins zu ermitteln. Diese Verlaufswerte werden fortlaufend (durch eine Vergleichseinheit) mit den Belastungsparametern verglichen, die im Übungsplan hinterlegt sind. Sofern eine Belastungsabweichung ermittelt wird, die über oder unter einem definierten Schwellwert liegt, erhält der Patient auf optischem und/oder akustischem Weg Instruktionen, um die Belastung zu reduzieren oder zu erhöhen.
Beispiel 26: Funkortung von Patienten
[0166] Der Serviceroboter 17 verfügt über mindestens eine Funkschnittstelle wie bspw.
Bluetooth, die eine drahtlose Kommunikation mit IoT-Geräten im Umfeld ermöglicht. Hierbei verfügen die UAGS über mindestens einen Sensor, der drahtlos mit dem Serviceroboterl 7 über diese Schnittstelle verbunden ist. Hierbei kann die Sensorwirkung allein dadurch entstehen, dass deren Position erkannt wird. Dies kann durch aktive oder passive Ortung und damit verbundene Triangulation der Position erfolgen. Unter passiver Ortung wird ein Backscattering von primär vom Serviceroboter 17 emittierten Funksignalen verstanden, wobei der Sensor über keine eigene Stromquelle verfügt. Derartige Verfahren sind in der RFID- Technologie hinreichend im Stand der Technik beschrieben. Unter einer aktiven Ortung wird ein Sender mit eigener Stromversorgung verstanden. Der Serviceroboter 17 erfasst dessen emittierte Signale und ermittelt durch Triangulation die Position des Senders. Eine solche Implementierung ist auch dann einer optischen Identifizierung von Personen überlegen, wenn sich Patient und Serviceroboter 17 in einem Umfeld bewegen, in dem sich viele Menschen befinden. Dadurch wird die direkte Sichtlinie Serviceroboter - Patient öfter unterbrochen, so dass eine Re-Identifizierung häufig erfolgen muss.
Beispiel 27: Signalknopf an Gehhilfen
[0167] In einem weiteren Aspekt der Gehhilfe z.B. der UAGS besitzen diese einen Knopf, der bei Drücken ein Signal drahtlos an den Serviceroboter 17 übermittelt. Der Knopf ist so angebracht, dass er vom Patienten ohne Probleme während des Absolvierens der Übungen erreicht werden kann, insbesondere ohne eine Belastungsänderung der Beine herbeiführen zu müssen. Handelt es sich bei der Gehhilfe bspw. um eine UAGS, so kann der Knopf sich auf dem distalen Ende des T-förmig abgewinkelten Haltegriffs befinden, der beim Gehen von den Händen des Patienten umschlossen wird. Die Sensorvorrichtung an den Gehhilfen ist so konfiguriert, dass eine unterschiedliche Anzahl an Knopfdrücken bzw. auch die
Drückfrequenz unterschiedliche Befehle beim Serviceroboter 17 ausgelöst werden können. Einmaliges Drücken kann dem Serviceroboter 17 signalisieren, dass der Patient sich setzen möchte. Hierbei wird die Übung unterbrochen. Zweimaliges Drücken kann signalisieren, dass der Patient erkannt hat, dass der Serviceroboter 17 einer anderen Person statt dem Patienten folgt (bspw. indiziert dadurch, dass eine Person sich zwischen Patienten und Serviceroboter 17 hindurchbewegt hat) und/oder eine Re-Identifizierung (im Re-Identifizierungsmodul 2044) nicht erfolgreich war. Nach Senden eines solchen Signals unterbricht der Serviceroboter 17 das Training und führt dieses Training erst nach einer erneuten persönlichen Anmeldung des Patienten fort. Somit wird verhindert, dass das personalisierte Training von anderen Personen übernommen und auf Daten der bereits angemeldeten Person unberechtigt Zugriff genommen werden kann.
Beispiel 28: externe Sensorik am Patienten [0168] Weiterhin können auch am Patienten, insbesondere an den Gliedmaßen, am Rumpf und/oder Kopf, aber auch an den UAGS Sensoren (insbesondere Beschleunigungssensoren) angebracht sein, die über mindestens eine Schnittstelle mit dem Serviceroboter 17 verbunden sind. Diese Sensoren erlauben es, die Bewegungen von Patienten zu erfassen und
auszuwerten. Hierbei ist es vorteilhaft, an mindestens so vielen Elementen der Gliedmaßen Sensoren anzubringen, wie zum Beispiel auch über die 3D-Skeletterkennung erfasst und weiterverarbeitet werden, insbesondere im Rahmen der Merkmalsextraktion 720. Dies würde bedeuten, bspw. an jedem Oberschenkel, am Rumpf, etc. jeweils einen
Beschleunigungssensor anzubringen. Die hierbei erfassten Daten können alternativ und/oder ergänzend zur 3D-Erfassung mittels optischer Sensoren (LID AR 2083 2D-Kamera 2084, und/oder 3D-Kamera) genutzt werden. Die Auswertung dieser Daten kann wiederum
Winkelinformationen liefern, wie sie auch die 3D-Punktwolken liefern, womit auf die Algorithmen der 3D-Sensorik aufgebaut werden kann.
Beispiel 29: Sturzerkennung mittels optischer Sensorik
[0169] Um die Sicherheit des Patienten zu gewährleisten, verfügt der Serviceroboter 17 über eine Sturzerkennung. Diese kann einerseits über die integrierten optischen Sensoren erfolgen, d.h. basierend auf einem Skelettmodell. Dabei erkennt das System vor allem aus dem Winkel des Oberkörpers, der Position bzw. dem Winkel des Kopfes, der Schultern, aber auch der Beine relativ zum Lot, dass der Patient sich in einer Sturzhaltung befindet bzw. auf dem Boden liegt oder in die Knie gegangen ist. Als alternative und/oder ergänzende Auswertung kann der Abstand von im Skelettmodell identifizierten Gelenkpunkten zum Boden dienen, d.h. sobald diese einen Schwellwert unterschreiten (beim Knie z.B. mit einem Abstand von 25cm), wird ein Sturz erkannt.
Beispiel 30: Sturzerkennung mittels Inertialsensorik
[0170] Alternativ kann auch ein Beschleunigungssensor/Inertialsensor, ggf. mit
Magnetometer, zum Einsatz kommen, den der Patient trägt oder der in die Gehhilfen des Patienten integriert ist. Inertialsensor-basierte Erkennung von Stürzen bzw. generell dem“Zu- Boden-Fallen“/Herabfallen von Gegenständen ist bspw. in US7450024 und US8279060 beschrieben. Die hierbei verwendete Sensorik kann entweder mittels einer drahtlosen
Übertragungstechnologie wie RFID oder Bluetooth die ermittelte Beschleunigung an den Serviceroboter 17 übertragen, der dann ermittelt, ob die ermittelte Beschleunigung einen Schwellwert überschritten hat. Alternativ und/oder ergänzend findet die
Schwellwertermittlung direkt in der Sensorik statt, die lediglich die Information überträgt, ob ein Schwellwert überschritten wurde. Der Schwellwert der Beschleunigung kann sich auf das Maximum der Beschleunigung beziehen, auf den Winkel der Beschleunigung und/oder auf eine Kombination dieser Werte.
Beispiel 31 : automatisierte Bewegungsablaufklassifizierung
[0171] Exemplarisch wird dargestellt, wie eine Bewegungsablaufklassifizierung 770 auf Basis der vom Serviceroboter erfassten und ausgewerteten Daten einer Übung erfolgen kann. Bei diesen Daten handelt es sich bspw. einerseits um zeitvariante Daten wie zurückgelegte Wegstrecke, Geschwindigkeit, Standdauer, Spielbeinphase, sowie die zu absolvierenden Übungen gemäß Übungsplan und andererseits um zeitinvariante Daten, Patientendaten wie Alter, Größe, ggf. Personen-Gewicht, Art der Operation, Tag der erfolgten Operation usw. (in Fig. 11 dargestellt).. Diese Daten werden alle erfasst und im Lemmodul-Speicher 192 des Lemmoduls 190 eingespeist, wo sie über die Zeit akkumulieren, einen historischen
Datenbestand bilden und von Zeit zu Zeit ausgewertet werden. Bei der Auswertung wird davon ausgegangen, dass sich über den Zeitraum des Klinik-Aufenthalts eines Patienten (vom Zeitpunkt der Operation bis zur Entlassung) das anfangs mit vielen Störungen behaftete Bewegungsablauf immer weiter dem physiologischen Bewegungsablauf anpassen soll, d.h. die Übung sollte idealerweise eine Verbesserung bewirken, die sich in normalisierenden Auswertungsparametern niederschlägt. Konkret sollten sich die Werte bei zurückgelegter Wegstrecke, Geschwindigkeit und Dauer der Übung zur Entlassung hin deutlich erhöhen und die Häufigkeit der Korrekturen abnehmen. Die Werte aus Standdauer und Spielbeinphase müssen sich abhängig von der betroffenen/operierten Seite im Verlauf angleichen und normalisieren. Dies ist wiederum abhängig von den Übungen, die der Patient gemäß
Übungsplan absolviert, aber auch den Patientendaten wie seinem Alter, Komorbiditäten usw.
[0172] Der menschliche Bewegungsablauf () ist individuell sehr unterschiedlich. Allerdings existieren in der Literatur vielfältig beschriebene Normwerte wie Drehmomente, Winkel und Beschleunigungen sowie Belastungen und essenzielle Merkmale. Diese bilden die Grundlage für eine Standardisierung des bspw. eines Gangtrainings in der beschriebenen Form. Das Gehen an UAGS oder anderen Gehhilfen stellt an sich bereits eine Störung bzw. Abweichung vom sogenannten„normalen Bewegungsablauf‘ dar, der Ablauf des Stützen-Setzens sollte jedoch in der bereits ausführlich dargelegten Art und Weise vor allem im
orthopädisch/chirurgischen Bereich berücksichtigt werden. Dieser Bewegungsablauf, aber auch der Bewegungsablauf beim Einsatz anderer Gehhilfen, ist gut standardisierbar und wird durch das Zusammenspiel verschiedener Bewegungsparameter bzw. Merkmale im Zeitablauf definiert, bspw. das Setzen der UAGS oder Gehhilfen relativ zu den Füßen, die jeweilige Abfolge der Schritte, Schrittlänge etc. Es werden nun pro Gangzyklus diese und weitere Merkmale erfasst, welche der Bewegungsablauf für sich oder das Gehen an UAGS/Gehhilfen entsprechend charakterisieren, und, in einem Aspekt, pro Übung der Durchschnittswert über die Gangzyklen gebildet; wobei bekannt ist, ob es sich um die erste Übung des Patienten, die zweite, die dritte usw. handelt. Damit sind diese Konstellationen an
Bewegungsablaufmerkmalen diejenigen, die klassifiziert werden und die als abhängige Variablen fungieren, während die Ergebnisse der Übung (bspw. Fig. 11) im Anschluss an die erfassten Bewegungsablaufmerkmale, die Patientendaten und die Übungspläne als die Einflussgrößen (unabhängige Variablen) fungieren, die die Klassifizierung bestimmen.
[0173] Ein solches Vorgehen verlangt Multi-Target oder Multi-Output-Regressionen (für eine Übersicht über verschiedene Ansätze siehe Borchani et al, WIREs Data Mining Knowl Discov 2015, DOF 10.1002/widm.1157). Da die Konstellationen der
Bewegungsablaufmerkmale metrisch vorliegen, wird dieser Ansatz auch als
multidimensionale Klassifizierung bezeichnet. Dabei gibt es zwei prinzipielle
Vorgehensweisen: a) das Problem zu transformieren, indem die abhängigen Variablen unabhängig voneinander geschätzt werden, und b) die Algorithmen derart anzupassen, dass eine simultane Schätzung notwendig ist. Letzterer Ansatz berücksichtigt die Abhängigkeiten der abhängigen Variablen untereinander, was die Realität des Bewegungsablaufs besser abbildet. Bei letzterem Vorgehen können Entscheidungsbäume oder GLM- Schätzungen (generelle lineare Modelle) eingesetzt werden, die bspw. in Softwarepaketen wie glmnet für R implementiert sind. Ein alternativer Ansatz ist es, multivariate Regressionsbäume (bekannt unter dem Kürzel MRT) zu nutzen, in der Statistiksoftware R implementiert im mvpart-Paket. Alternativ oder ergänzend kann auch das CLUS-Softwarepaket zum Einsatz kommen, welches Entscheidungsbäume im Rahmen eines prädiktiven Clusterings einsetzt. Die sich im Rahmen dieser Verfahren ergebenden Klassen ergeben die aktualisierte
Bewegungsablaufklassifikation. Beispiel 32: Detektion und Ausweitung des Zweipunktgangs
[0174] Die Ermittlung des Zwei punktgangs erfolgt in vielen Schritten analog zum
Dreipunktgang. Unterschiede gibt es teilweise bei der Merkmalsextraktion 720,
Merkmalsklassifizierung 765, Bewegungsablaufklassifizierung 770, der
Bewegungsablaufkorrektur wie bspw. der Entscheidungsklassifizierung 775 und der Ausgabe der Bewegungsablaufkorrektur 450. Der Zweipunktgang kommt entweder sofort nach OP (je nach Anweisung des Operateurs) oder im Anschluss an den Drei punktgang zum Einsatz, wenn der Patient weiter genesen ist. In dem Zweipunktgang findet im Idealfall ein
symmetrisches Gangverhalten der beiden Beine mit den UAGS statt. Konkret werden ein Bein und die entsprechende kontralaterale Stütze zum Beispiel simultan und auf in etwa gleiche Höhe wechselseitig nach vorn gesetzt.
[0175] Fig. 23 illustriert den Zweipunktgang. Es finden in weiten Teilen analoge
Auswertungen zum Dreipunktgang statt. Unterschiede zeichnen sich vor allem dadurch aus, dass nicht notwendigerweise Informationen über das zu schonende Bein 1805 benötigt werden. Als Folge der Erfassung der Position der UAGS-Endpunkte 1970 bei Bodenkontakt 1850 wird zunächst im Schritt 1856 detektiert, ob sich die UAGS und ein kontralaterales Bein vorne in Sagittalebene befinden. Es wird eine Senkrechte des den Boden berührenden UAGS- Endpunkts 1970 und des kontralateralen Fußgelenkpunkts 1950 jeweils zur Sagittalebene gebildet 1858, und es wird bspw. die Distanz der Senkrechten zueinander in der Sagittalebene ermittelt 1859. Alternativ oder ergänzend kann das Minimum der Distanz zwischen der UAGS und dem kontralateralen Fußpunkt ausgewertet werden. Diese Distanz wird im
Rahmen der Merkmalsklassifizierung im Schritt 1886 bewertet, und zwar, wieweit die Abweichung ist bzw. ob der Ablauf des Zweipunktgangs richtig durchgeführt wird (Schritt 1888). Dazu können bspw. Schwellwerte zu den ermittelten Distanzen ausgewertet werden. Anschließend fließen diese Daten in die Bewegungsablaufklassifizierung 770 und es erfolgt eine Zuordnung von Anweisungen zu detektierten Abweichungen der Bewegungen, bspw. in der Entscheidungsklassifizierung 775. Hier liegen teilweise andere Schwellwerte und
Kombinationen an klassifizierten Merkmalen als beim Dreipunktgang zugrunde, um bspw. die passende Ausgabe der Bewegungsablaufkorrektur 450 zu triggern, die bspw. in der Korrekturmatrix (siehe Fig. 9) hinterlegt sind. Beispiel 33: Projektion von Anweisungen durch den Serviceroboter
[0176] In einem Aspekt ist der Serviceroboter 17 mit einer Projektionseinheit ausgestattet, mittels der der Serviceroboter 17 Anweisungen an den Patienten projizieren kann, zum Beispiel auf den Boden. Die Anweisungen können Hinweise zur Geschwindigkeit, zur Körperhaltung, zur Wegstrecke (abbiegen, wenden, etc.) beinhalten und textueller Natur sein und/oder auf Piktogrammen beruhen, darunter bspw. Verkehrszeichen (wie Stopp,
Abbiegepfeile, etc.). Dazu verfügt der Serviceroboter über eine Projektionseinheit, bspw. einen handelsüblichen Projektor. Dieser verfügt über eine definierte Projektionsfläche, d.h. die projizierte Fläche befindet sich zum Beispiel innerhalb fest definierter Areale auf dem Boden, bspw. im Abstand zwischen 2 und 3m vom Serviceroboter entfernt und mit einer Breite von 1,2m. Wenn der Abstand des Serviceroboters zu einem Hindernis wie bspw. eine Wand geringer ist als die Distanz, über die vom Serviceroboter aus der Projektion auf den Boden erfolgt, würde die Projektion zumindest anteilig auf das Hindernis fallen. Dies kann jedoch die Lesbarkeit der projizierten Inhalte beeinträchtigen. Der Serviceroboter nimmt demnach einen Abgleich mit seiner Sensorik zur Hindernisdetektion vor. Diese kann, in einem Aspekt, auf Basis mindestens einer Karte erfolgen, die der Roboter dynamisch von seinem Umfeld erzeugt und welche fixe und ggf. bewegliche Hindernisse enthält. Alternativ und/oder ergänzend können auch direkt die Sensordaten derart ausgewertet werden, dass für den Projektionsbereich keine Hindernisse detektiert sein dürfen. Die hierbei eingesetzten Sensoren können ein LID AR, eine Kamera, Ultraschall-, Infrarot und/oder Radarsensoren sein. Der Serviceroboter ist ferner so konfiguriert, dass er, basierend auf der Art der festgestellten Hindernisse, die Art der Ausgabe anpassen kann. Ist also eine Ausgabe notwendig, die Projektionsfläche jedoch durch ein Hindernis zumindest anteilig verdeckt, kann der Serviceroboter stattdessen bspw. das Display und/oder die Sprachausgabe auswählen. Eine derartige Projektion kann viele der Ausgaben über das Display und/oder die Sprachausgabe, die an anderer Stelle in diesem Dokument erwähnt wurden, ersetzen oder kompl ementi eren .
Beispiel 34: Zwei- und Dreipunktgangerkennung
[0177] Dieses Beispiel umfasst ein computer-implementiertes Verfahren zur Erfassung eines Bewegungsablaufs einer Person umfassend eine berührungslose Erfassung einer Person im Zeitverlauf, Erstellung eines Skelettmodells der Person und Auswertung der aus dem Skelettmodell extrahierten Gelenkpunkte und/oder Richtungsvektoren der Gliedmaßen zur Klassifizierung des Bewegungsablaufs der Person. Alternativ und/oder ergänzend erfolgt eine Klassifizierung des Bewegungsablaufs in den Zweipunktgang oder den Dreipunktgang. In einem Aspekt erfolgen Anweisungen an die Person für eine Ausgabe einer
Bewegungsablaufkorrektur 450, die bspw. als Ausgabe über eine Sprachausgabe, Projektion und/oder ein Display erfolgt. In einem Aspekt erfolgt die Ausgabe der
Bewegungsablaufkorrektur 450 in Abhängigkeit von einer Kombination erkannter
Abweichungen des Bewegungsablaufs, wobei diese Abweichungen bspw. durch in einem Speicher hinterlegte Regeln definiert werden. In einem Aspekt werden diese Abweichungen als Abweichungen der Symmetrie des Bewegungsablaufs ermittelt. Zwischen einzelnen Ausgaben der Anweisung über die Bewegungsablaufkorrektur liegt eine Mindestzeitdauer, die in einem Speicher hinterlegt ist und die, in einem Aspekt von der Anzahl
vorangegangener Korrekturen während der Übung abhängig ist. Im Rahmen des computer implementierten Verfahrens werden in einem Aspekt Unterarmgehstützen (UAGS) identifiziert und zeitlich und räumlich ausgewertet, insbesondere die Endpunkte der UAGS 1970, die den Boden berühren. In einem Aspekt wird mindestens ein Endpunkt der UAGS 1970 im Verhältnis zu mindestens einem Fußgelenkpunkt 1950 in der Sagittal ebene ausgewertet. Dabei wird bspw. die Distanz zwischen dem Fußgelenkpunkt 1950 und dem Endpunkt der UAGS 1970 ausgewertet und mit in einem Speicher hinterlegten Schwellwert verglichen. In einem alternativen und/oder ergänzenden Aspekt wird erfasst, ob die UAGS in etwa parallel zur Frontalebene der erfassten Person gesetzt werden. Es kann hierbei eine Linie zwischen den UAGS und der Abstand dieser Linie von einem Fußgelenkpunkt 1950 ermittelt werden, wobei es sich beim Fußgelenkpunkt 1950 zum Beispiel um den Beingelenkpunkt eines Beins handelt, welches geschont werden soll.
[0178] In einem alternativen und/oder ergänzenden Aspekt wird die Position eines
Fußgelenkpunkts 1950 zum Endpunkt 1970 einer kontralateral gesetzten UAGS in der Sagittalebene ausgewertet. Das wird bspw. für das Bein und die UAGS vorgenommen, welche sich in Gehrichtung der Person vorn befinden. Diese Auswertung zwischen dem Fußgelenkpunkt 1950 und der UAGS erfolgt zum Beispiel dann, wenn der betreffende Fuß und die UAGS den Boden berührt.
[0179] Das Verfahren ermittelt in einem optional ergänzenden Aspekt personenbezogene Parameter z.B. die Schrittlänge, Standdauer, Spurbreite, die Distanz zwischen den UAGS in der Frontalebene, die Rumpfneigung, Kopfneigung und/oder Gelenkflexionen und/oder Gelenkextensionen und klassifiziert diese in einem Aspekt. Das Verfahren erfasst diese personenbezogenen Parameter in einem Aspekt innerhalb mindestens eines Gangzyklus der erfassten Person. In einem Aspekt werden innerhalb des Gangzyklus Abweichungen von der Symmetrie des Bewegungsablaufs ermittelt und ausgewertet. Das Verfahren differenziert zwischen physiologischen und abweichenden Bewegungsabläufen. Dies kann, in einem Aspekt, mittels des oben definierten Fl -Score erfolgen. In einem Aspekt erfolgt eine
Merkmalsextraktion von Parametern aus einem Skelettmodell, eine Merkmalsklassifizierung 765, eine Bewegungsablaufklassifizierung 770 und, bspw. eine Entscheidungsklassifizierung 775 mit einer ggf. daraus folgenden passenden Ausgabe der Bewegungsablaufkorrektur 450.
[0180] Das Verfahren kann ferner die Ermittlung der Zeitdauer einer Übung, die
zurückgelegte Geschwindigkeit der erfassten Person und/oder die Art des
Stützeneinsatzes/Gehhilfe der erfassten Person umfassen.
Beispiel 35: Verfahren zur Detektion einer Unterarmgehstütze
[0181] Dieses Beispiel umfasst ein computer-implementiertes Verfahren zur Bewertung der Position einer Unterarmgehstütze (UAGS) relativ gesehen zur Position mindestens eines Fußgelenkpunkts 1950 einer Person. Dabei wird, in einem Aspekt, die Person im Zeitverlauf erfasst, bspw. berührungslos. Es wird ein Skelettmodell der Person erstellt 725. Die
Sensordaten werden im räumlichen Umfeld von mindestens einem Handgelenkpunkt auf das Vorhandensein von UAGS hin ausgewertet. Dazu wird bspw. eine Kandidatenregion ausgewählt 745. Diese kann sich bspw. von den Handgelenkpunkten im Wesentlichen nach unten erstrecken. Es werden dann anschließend bspw. Punktwolken im Umfeld der
Handgelenkpunkte erfasst und mit in einem Speicher hinterlegten Daten verglichen. Hierbei kann, in einem Aspekt, die Orientierung der Unterarme herangezogen werden, die bspw. in etwa parallel zur Orientierung der UAGS ist. Es können bspw. auch Modellannahmen berücksichtigt werden, die bspw. die Form betreffen 750. Zur Detektion der UAGS kann ein fehlertoleranter Segmentierungsalgorithmus 755 eingesetzt werden. Die Daten für die Punktwolken werden durch mindestens einen Sensor erfasst, der die Person berührungslos erfassen kann, bspw. einer 2D-Kamera 2084, einer 3D-Kamera, einem LID AR 2083, einem Radar- und/oder einem Ultraschall sensor. Sofern mehr als ein Sensor eingesetzt wird, werden die Daten zeitlich synchronisiert und fusioniert. In einem Aspekt wird die Position der UAGS an der Stelle ausgewertet, an der die UAGS den Boden im Sinne des Endpunkts berührt.
Diese Stelle wird dann bspw. relativ zur Position eines Fußgelenkpunkts 1950 ausgewertet, bspw. zu dem Zeitpunkt, wo der Fuß den Boden berührt. Die Auswertung erfolgt bspw. in der Sagittal ebene, wobei in einem Aspekt die Distanz zwischen dem Fußgelenkpunkt 1950 und dem Endpunkt der UAGS 1970 ermittelt wird. In einem Aspekt erfolgt anschließend eine Auswertung des Zweipunktgangs der Person oder des Dreipunktgangs der Person.
Beispiel 36: Robotersystem
[0182] Dieses Beispiel umfasst einen Serviceroboter mit mindestens einem Rechner, mindestens einem Speicher 10, mindestens einer Kamera, mindestens einer Vorrichtung zur Detektion von Hindernissen im Nahbereich, einer Odometrie-Einheit 2081 und einem
Display, z.B. einem Touch-Display 2087, einem Modul zur 2D und/oder 3D-Erfassung der Umgebung 2061, einem Kartenmodul 2061b, einem Selbstlokalisierungsmodul 2062, einem Modul zur Kontrolle des und/oder der Initiierung des automatischen Aufladens eines
Energiespeichers und einem Modul zur Bewegungsplanung 2065. Dieser Serviceroboter kann alternativ und/oder ergänzend ein Kartierungs-/Mappingmodul 2061a, ein Modul zur metrischen Pfadplanung 2064, ein Modul zur Detektion einer Selbstblockade 2068, ein Modul zur Ansprache von Nutzern 2066, ein Modul zur Ermittlung einer optimalen Distanz zu einem Nutzer 2067, ein Raumplanungsmodul 2060r, ein Modul zur Ermittlung einer Warteposition 2069, ein Modul zum laserbasierten Personentracking 2043, ein Modul zur Personen-Re- Identifizierung 2044, ein Modul zur Bewegungsauswertung 2050, ein
Bewegungsablauf extraktionsmodul 2051, ein Bewegungsablaufbewertungsmodul 2052, ein Modul zur Bewegungskorrektur 2022, ein Modul zum Speichern von Patienten-Parametern 2014, ein Modul zum Abspeichem eines Übungsplans 2012, und/oder ein Modul zum
Auswerten von Übungen 2013, die durch die Sensoren des Serviceroboters erfasst werden, beinhalten. Der Serviceroboter kann in einem Aspekt über eine RFID-Schnittstelle für den Datenaustausch 2089 verfügen. In einem Aspekt nutzt das Modul zur Bewegungsplanung 2065 Informationen der metrischen Pfadplanung 2064, bspw. zur Ermittlung einer optimalen Wegstrecke des Roboters unter Berücksichtigung verschiedener Ziel- oder Kostenfunktionen. Dabei kann bspw. das Modul für die Bewegungsplanung 2065 die voraussichtliche
Wegstrecke des Patienten ermitteln. Die Re-Identifizierung einer Person 2044 kann bspw. mittels Farbmustern, Größenparametern einer Person und/oder einer Klassifizierung des Gangmusters der Person erfolgen. In einem Aspekt kann es sich den erfassten, bewerteten und korrigierten Bewegungen um Gangabläufe handeln. Beispiel 37: Anomalie-Erkennung im Gangverhalten
[0183] Dieses Beispiel umfasst ein computer-implementiertes Verfahren zur Anomalie- Erkennung im Bewegungsablauf einer Person, und weist eine Merkmalsextraktion 720, eine Merkmalsklassifizierung 765, und eine Bewegungsablaufklassifizierung 770 auf, wobei die Merkmalsextraktion 720 basierend auf einem Skelettmodell einer Person erfolgt. Die
Merkmalsklassifizierung 765 basiert auf der Auswertung von Raum-Zeit-Parametern für Gelenkpunkte der Person und/oder Richtungsvektoren zwischen Gelenkpunkten. Anomalien werden bspw. durch die Amplitudenhöhe, Positionen von Minima und/oder Maxima und/oder Wendepunkte charakterisiert, die auf Basis der Beobachtung der Gelenkpunkte im Zeitablauf ermittelt werden. In einem Aspekt werden Anomalien über die Auswertung eines Gangzyklus erfasst. Dabei wird bspw. die Schrittlänge, Standdauer, Spurbreite, die Rumpfneigung, Kopfneigung und/oder Gelenkflexionen erfasst und ausgewertet. In einem Aspekt wird ergänzend die Position der Fußgelenkpunkte 1950 relativ zu detektierten Gehhilfen ausgewertet, bspw. Unterarmgehstützen. Dabei kann die Auswertung bspw. durch eine Abstandsermittlung in der Sagittalebene erfolgen. Die Bewegungsablaufklassifizierung 770 umfasst die Auswertung von mindestens zwei Parametern wie Schrittlänge, Standdauer, Spurbreite, Rumpf- oder Kopfneigung, Gelenkflexionen und/oder dem Verhältnis der Position von Fußgelenkpunkten 1950 und Gehhilfen. Eine Anomalie wird durch das Abweichen ermittelter Parameter von Klassifizierungsparametern erkannt, wie bspw. definierten
Schwellwerten. Bei den Schwellwerten kann es sich bspw. um Werte handeln, die durch Auswertung von vorher aufgezeichneten Bewegungsabläufen generiert wurden. In einem Aspekt kann die Klassifizierung durch Verfahren des maschinellen Lernens erfolgen. Es erfolgt in einem optionalen, ergänzenden Aspekt bei Abweichung der klassifizierten
Parameter von Schwellwerten eine Beachrichtung eines Terminals.
[0184] In einem Aspekt werden die Daten, aus denen das Skelettmodell erstellt wird, aufgezeichnet, bspw. als Videosequenz. Die Sequenzen werden bspw. bei Detektion einer Anomalie mit einem Zeitstempel versehen. Es kann bspw. eine Übertragung der
Videosequenz an einen Speicher erfolgen. Dieser Speicher kann sich in einem Lemmodul 190 befinden. Im Speicher kann eine Priorisierung von Videosequenzen vorgenommen werden. In einem Aspekt ist diese Priorisierung von Videosequenzen von der Art und/oder Anzahl detektierter Anomalien abhängig. [0185] Bei einer Anomalie kann es sich in einem Aspekt um eine Abweichung der erfassten, absolvierten Übungen von einem Übungsplan handeln, wie bspw. die Zeitdauer einer Übung, die zurückgelegte Geschwindigkeit, oder die Art des Einsatzes der Stützen/Gehhilfen, usw.
Beispiel 38: Automatisierte Übungsplananpassung zur Ermittlung des Übergangs vom Dreipunkt- zum Zweipunktgang
[0186] Dieses Beispiel umfasst ein System zur automatisierten Ermittlung des Übergangs vom Dreipunkt- zum Zweipunktgang, mit einem Prozessor und einem Speicher, wobei der Prozessor und der Speicher über eine Schnittstelle, bspw. eine Schnittstelle zur
Datenübertragung, mit einem Sensor zur berührungslosen Erfassung einer Person verbunden sind. In einem alternativen und/oder ergänzenden Aspekt handelt es sich um ein Computer implementiertes Verfahren zur Anpassung von Übungsplänen auf Basis von prozessierten Daten eines Sensors zur berührungslosen Erfassung einer Person, wobei in einem Aspekt die Übungsplananpassung das Festlegen des Übergangs vom Drei punkt- zum Zwei punktgang darstellt. In einem Aspekt erfolgt nach der Ermittlung des Übergangs vom Dreipunkt- zum Zweipunktgang eine automatisierte Intervention, bspw. eine automatisierte Anpassung eines Übungsplans und/oder die Übermittlung einer Nachricht über eine Schnittstelle. Das System bzw. computerimplementierte Verfahren vergleicht bspw. erfasste Werte, die durch
Weiterverarbeitung von Daten (welche durch den Sensor zur berührungslosen Erfassung der Person ermittelt wurden), mit korrespondierenden Referenzwerten. Bei den Werten kann es sich um personenbezogene Parameter wie Geschwindigkeit, Standdauer, Spielbeinphase, Schrittlänge, usw. einer Person handeln, die bspw. mittels eines berührungslosen Sensors erfasst wurden. In einem Aspekt sind die personenbezogenen Parameter eine Kombination aus Geschwindigkeit, Standdauer, Spielbeinphase, und/oder Schrittlänge. Das System bzw. computerimplementierte Verfahren kann bspw. die Symmetrie zwischen den
Gangbewegungen des linken und rechten Beins einer erfassten Person ermitteln, z.B. über den Gangzyklus, und Abweichungen von der Symmetrie für das Festlegen des Übergangs vom Dreipunkt- zum Zweipunktgang heranziehen. In einem Aspekt werden die detektierten Abweichungen vom physiologischen Bewegungsablauf in ihrer Art und Häufigkeit erfasst und ausgewertet. In einem Aspekt werden auch im Speicher hinterlegte Korrekturhinweise berücksichtigt, die während der Erfassung der Übung der Person (bspw. durch das System oder ein über eine Schnittstelle verbundenes System mit mindestens einem Sensor zur berührungslosen Erfassung einer Person) ausgegeben werden, bspw. die Art und Häufigkeit dieser erfolgten Korrekturhinweise.
[0187] Die Werte wurden in einem Aspekt im Zeitablauf erfasst, zum Beispiel über mehrere Übungen hinweg. Dabei kann das System bzw. das computer-implementierte Verfahren bspw. eine Differenzbetrachtung über mehrere Übungen hinweg vornehmen, um den
Übungsfortschritt der Person zu ermitteln. In einem Aspekt wird der ermittelte
Übungsfortschritt mit zuvor ermittelten Übungsfortschritten anderer Personen und/oder in einem Speicher hinterlegten Referenzdaten verglichen.
Beispiel 39: Verfahren zum selbständigen Wählen einer Übungsplankonfiguration unter Berücksichtigung historischer Daten
[0188] Dieses Beispiel umfasst ein computer-implementiertes Verfahren zum selbständigen Wählen von Übungsplankonfigurationen durch eine Person. Dabei wird die von der Person gewünschte Übungsplankonfiguration mit Freigaben innerhalb eines Übungsplans verglichen und ist nur dann auswählbar, wenn eine Freigabe vorliegt. Ergänzend kann die Freigabe aufgrund einer automatisierte Übungsplananpassung erfolgen. In einem Aspekt werden dabei zuvor von der Person vorgenommene und mittels eines berührungslosen Sensors erfasste und ausgewertete Daten mit historischen Daten verglichen. So kann bspw. eine Freigabe für eine Übungsplankonfiguration dann erfolgen, wenn eine hohe Übereinstimmung der erfassten Daten mit den historischen Daten vorliegt. Der Übungsplan kann sich bspw. auf ein
Gangtraining beziehen. Ferner können bspw. die Art und/oder Anzahl erfolgter Ausgaben von Bewegungsablaufkorrekturen 450, bspw. Gangkorrekturen bzw. die diesen
zugrundeliegenden Bewegungsabweichungen für die Ermittlung einer automatisierten Freigabe herangezogen werden. In einem Aspekt ist das computer-implementierte Verfahren in einem Serviceroboter implementiert, bspw. einem für die Erfassung und Auswertung eines Gangtrainings.
Beispiel 40: System und/oder computer-implementiertes Verfahren zur automatisierten Anpassung eines Übungsplans
[0189] Dieses Beispiel umfasst ein System zur automatisierten Anpassung eines Übungsplans mittels einer Drahtlos-Schnittstelle, mindestens einem Prozessor und mindestens einem Speicher, welcher mindestens eine Datenbank beinhaltet, in der ein Übungsplan abgelegt ist. Ergänzend kann das System Daten über die Drahtlos-Schnittstelle von einem zweiten System erhalten, welches mit einem Sensor für die berührungslose Erfassung einer Person ausgestattet ist, bspw. einer Kamera, im Übungsplan hinterlegte Übungen aufzeichnet und auswertet und diese aufgezeichneten Übungen dem ersten System zur Verfügung stellt.
Weiterhin kann das System Informationen eines dritten Systems erhalten, in welchem
Übungsplananpassungen vorgenommen werden. Alternativ und/oder ergänzend zu diesen Systemen kann ein computer-implementiertes Verfahren zu einem Übungsplan
Aufzeichnungen der Übungen einer den Übungsplan absolvierenden Person erhalten. Der Übungsplan kann Informationen über die Person enthalten, darunter deren Agilität, die Art einer Operation, den Ort einer erfolgten Operation, Körpergröße, und/oder deren Personen- Gewicht. Die Übungsplananpassung kann die zurückzulegende Wegstrecke, die Art des Einsatzes der Stützen/Gehhilfen usw. umfassen. Die aufgezeichneten Daten sind
personenbezogene Parameter und können bspw. im Zeitablauf im System abgespeichert werden. Die personenbezogenen Parameter können u.a. Standdauer, Spurbreite,
Spielbeinphase, Oberkörper, Blickrichtung und/oder die Schrittlänge einer Person beinhalten, bspw. auch Symmetriewerte der Schrittlänge. Alternativ und/oder ergänzend können die aufgezeichneten Daten den zeitlichen und/oder örtlichen Ablauf des Einsatzes von Gehhilfen wie bspw. UAGS beinhalten. Diese aufgezeichneten Daten mit den personenbezogenen Parametern können zuvor erhaltene, historische Daten innerhalb einer Datenbank ergänzen. Diese aufgezeichneten Daten sowie bspw. die vom zweiten System (mit der Kamera zur Aufzeichnung einer Person) sowie vom dritten System (zur Übungsplananpassung) übermittelten Daten können mittels Verfahren des maschinellen Lernens und/oder neuronaler Netze ausgewertet werden. Als Eingangsgröße dieser Auswertungen können Personendaten wie Alter des Patienten, seine Größe, Personen-Gewicht, Komorbiditäten, Art der Operation, usw. wie auch die im Rahmen der Aufzeichnung der Übungen erfassten Daten herangezogen werden. Als Ausgangsgröße können bspw. die Einstellungen des Übungsplans für die Übung zum Zeitpunkt t oder zum späteren Zeitpunkt t+1 ermittelt werden. Die bei diesen
Berechnungen ermittelten Knoten-Gewichte können an das zweite System (mit der Kamera zur Aufzeichnung einer Person) und/oder das dritte System (zur Übungsplananpassung) übertragen werden. Diese Knoten-Gewichte können bspw. dafür genutzt werden, den Übungsplan automatisiert anzupassen. In einem Aspekt handelt es sich bei dem zweiten System um einen Serviceroboter, der bspw. ein Gangtraining durchführt. Beispiel 41 : System zur automatisierten Übungsplananpassung
[0190] Dieses Beispiel umfasst ein erstes System zur automatisierten Anpassung eines Übungsplans, das ein Patientenadministrationsmodul 160, eine drahtlose Schnittstelle zu einem zweiten System mit mindestens einer Kamera, einen Prozessor sowie einen Speicher, sowie eine Schnittstelle zu einem Lemmodul 190 aufweist. Ein zweites System kann bspw. ein Serviceroboter 17 sein. Ergänzend kann das erste System über eine Schnittstelle mit einem Regelwerk 150 verbunden sein. Im Patientenadministrationsmodul 190 ist ein Übungsplan hinterlegt, der über ein Terminal 12 konfiguriert werden kann. Der Übungsplan kann bspw. die Agilität einer Person, die Art der erfolgten Operation und/oder den Ort der Operation (wie Region und Seite, bspw. linkes Knie,) berücksichtigen. Die Agilität umfasst die allgemeine Verfassung einer Person und/oder ihre Komorbiditäten. Der Übungsplan kann bspw. Übungen auf Basis des Zweipunktgangs, des Dreipunktgangs und/oder des Treppensteigens umfassen. Das zweite System erfasst als Ergebnis der durch den Übungsplan adressierten Übungen die Dauer der Übungen, die Wegstrecke, die Häufigkeit der Übungen und/oder deren Intensität, etc. Der Übungsplan kann über eine Schnittstelle an das zweite System übertragen und dort abgespeichert werden. Das zweite System kann bspw. eine Übung mit einer Person wie in einem Aspekt ein Gangtraining und/oder dabei eine Ausgabe einer
Bewegungsablaufkorrektur 450, bspw. eine Gangkorrektur triggern. Die erfassten Daten werden abgespeichert und im Zeitverlauf ausgewertet. Die Daten können bspw. über eine Schnittstelle an ein Lernmodul 190 übertragen werden. Das Lernmodul 190 verfügt in einem Lemmodul-Speicher über historische Daten, welche durch die ausgewerteten und über die Schnittstelle übertragenen Daten ergänzt werden. Dabei werden bspw. die historischen Daten um im Übungsplan vorgenommene Einstellungen ergänzt. Bei den vorgenommenen
Einstellungen kann es sich z.B. um den Übungsplan und/oder um Übungsplananpassungen handelt, welche auf Basis der erfassten Daten vorgenommen wurden. Mittels eines
Verfahrens des maschinellen Lernens und/oder neuronaler Netze kann bspw. eine Ermittlung des Knoten-Gewichts für den Übungsplan vorgenommen werden. Als Eingangsgröße für die Ermittlung des Knoten-Gewichts werden die Auswertung der Übung sowie optional auch die Bestandteile des Übungsplans genutzt, als Ausgangsparameter Konfigurationen des
Übungsplans und/oder Übungsplanänderungen. Die hierbei ermittelten Knoten-Gewichte werden in einem Aspekt in ein Regelwerk übertragen. Dort können sie z.B. bereits hinterlegte Knoten-Gewichte für die Übungsplananpassung ersetzen. Weiterhin kann damit eine
Regelaktualisierung für den Übungsplan vorgenommen werden. Auf Basis des Regelwerks 150 können bspw. Vorschläge für eine Übungsplananpassung vorgenommen werden, bspw. auf Basis der Auswertung historischer Daten. Diese Vorschläge können, in einem Aspekt, über ein Terminal zur Verfügung gestellt werden. In einem alternativen und/oder ergänzenden Aspekt werden die Vorschläge auf Basis von durch das System mit mindestens einer Kamera, einem Prozessor sowie einem Speicher erfassten Daten und/oder der Konfiguration eines Übungsplans vorgenommen. Der Übungsplan wiederum kann Übungen für ein Gangtraining enthalten.
Beispiel 42: Computer-implementiertes Verfahren zur Bewegungsablaufbewertung
[0191] Das Beispiel umfasst ein computer-implementiertes Verfahren zur
Bewegungsablaufbewertung einer Person, wobei das Verfahren das Aufzeichnen der
Bewegungen einer Person, eine Merkmalsextraktion 720 der aufgezeichneten Bewegungen, zum Beispiel des Bewegungsablaufs; eine Klassifizierung der aufgezeichneten Bewegungen, zum Beispiel eine Bewegungsablaufklassifizierung 770; eine Merkmalsklassifizierung 765 der aufgezeichneten Bewegungen; eine Zuordnung von Anweisungen zu detektierten
Abweichungen der Bewegungen, bspw. eine Entscheidungsklassifizierung 775 und eine Ausgabe der Bewegungsablaufkorrektur 450 der Bewegungen, zum Beispiel einer Ausgabe einer Gangkorrektur aufweist. Die Merkmalsklassifizierung 765 umfasst bspw. die Bewertung von personenbezogenen Parametern wie Schrittlänge, Spielbeinphase, Standdauer, etc. der erfassten Person. Die Bewegungsablaufklassifizierung 770 umfasst bspw. eine kombinierte Betrachtung verschiedener Gliedmaßen und/oder des Einsatzes von Unterarmgehstützen Die Ausgabe der Bewegungsablaufkorrektur (beispielhaft eine Ausgabe einer Gangkorrektur), umfasst die Ausgabe von Anweisungen an die Person, bspw. über einen Lautsprecher, eine Projektion und/oder ein Display. Bei den aufgezeichneten Bewegungen kann es sich bspw. um Übungen im Rahmen eines Gangtrainings handeln. Die Ausgaben der
Bewegungsablaufkorrektur 450 können auch priorisiert erfolgen, wobei in einem Aspekt verschiedene Abweichungen, die über unterschiedliche Prioritätsscores verfügen, innerhalb eines Zeitintervalls verglichen werden, und es erfolgt jeweils nur eine Ausgabe zu solchen Abweichungen, die den höchsten Prioritäts score aufweisen.
[0192] In einem Aspekt können die Daten der Bewegungsablaufklassifizierung 770, der Merkmalsklassifizierung 765 und/oder der Bewegungsablaufkorrektur (beispielhaft einer Entscheidungsklassifizierung 775) wie auch die Auswertungen der aufgezeichneten Bewegungen, über z.B. dem Gangtraining, mit jeweils korrespondierenden historischen Daten abgespeichert werden.
[0193] In einem alternativen und/oder ergänzenden Aspekt können die erfassten und ausgewerteten Daten, d.h. bspw. die Ergebnisse der Bewegungsablaufklassifizierung 770, der Bewegungsablaufkorrektur wie bspw. der Entscheidungsklassifizierung 775 und/oder die Rohdaten der Aufzeichnungen an ein Lemmodul 190 übertragen werden. Das Verfahren umfasst ferner den Zugriff auf die Daten im Lernmodul, bspw. über ein Terminal, und eine Neubewertung der Bewegungsablaufklassifikation, zum Beispiel einer
Gangablaufklassifikation, eine Neubewertung der Merkmalsklassifikation und/oder eine Neubewertung der Bewegungsablaufkorrektur, zum Beispiel der Entscheidungsklassifikation, z.B. mit Hinblick auf die Ausgabe einer Bewegungsablaufkorrektur 450. Diese Neubewertung kann bspw. manuell erfolgen. In einem alternativen und/oder ergänzenden Aspekt findet eine Übertragung der mindestens einen manuellen Regelanpassung in ein Regelwerk 150 statt. In dem Regelwerk 150 kann bspw. eine Aktualisierung der Bewegungsablaufklassifikation, zum Beispiel der Gangablaufklassifikation , der Merkmalsklassifikation und/oder
Bewegungsablaufkorrektur wie bspw. der Entscheidungsklassifikation, zum Beispiel einer Bewegungsablaufkorrektur, erfolgen. Die aktualisierten Regeln der
Bewegungsablaufklassifikation, zum Beispiel der Gangablaufklassifikation , der
Merkmalsklassifikation und/oder Bewegungsablaufkorrektur, zum Beispiel der
Entscheidungsklassifikation, an das System übertragen werden, welches die Aufzeichnung der Bewegungen der Person vornimmt. Für den Fall, es handelt sich bei den Rohdaten der Bewegungsaufzeichnungen um Videoaufnahmen, können diese Bewegungsaufzeichnungen in einem optionalen Schritt anonymisiert werden, bspw. durch ein Verpixeln der Gesichter. Im Lemmodul 190 kann bspw. ein Taggen der Videosequenzen erfolgen, insbesondere hinsichtlich eines abweichenden und/oder physiologischen Ablaufs des Bewegungsablaufs. Dabei können bspw. Zeitstempel vergeben werden.
[0194] Ergänzend kann bspw. eine automatisierte Neubewertung des Bewegungsablaufs und/oder eine automatisierte Neubewertung der Bewegungsablaufkorrektur wie bspw. der Entscheidungsklassifikation vorgenommen werden. Diese automatisierte Neubewertung erfolgt z.B. mittels Verfahren des maschinellen Lernens und/oder neuronaler Netze. Als Eingangsgrößen können die Auswertungen der erfassten Bewegungen z.B. einer Übung wie einem Gangtraining, dienen und als Ausgangsgrößen die Bewegungsablaufklassifikation, zum Beispiel einer Gangablaufklassifikation , die Merkmalsklassifikation und/oder die
Bewegungsablaufkorrektur, zum Beispiel der Entscheidungsklassifikation. Die bei der automatisierten Neubewertung ermittelten Knoten-Gewichte für die Merkmalsklassifikation, die Bewegungsablaufklassifikation, zum Beispiel eine Gangablaufklassifikation und/oder der Bewegungsablaufkorrektur, zum Beispiel eine Entscheidungsklassifikation, können bspw. an das Regelwerk 150 übertragen werden. Damit können im Regelwerk 150 z.B. die Knoten- Gewichte der im Regelwerk hinterlegten Bewegungsablaufklassifikationen, zum Beispiel eine Gangablaufklassifikationen, Merkmalsklassifikationen und/oder
Bewegungsablaufkorrekturen, zum Beispiel der Entscheidungsklassifikation, aktualisiert werden sowie bspw. auch die korrespondierenden Regeln der Bewegungsablaufklassifikation, zum Beispiel der Gangablaufklassifikation, der Merkmalsklassifikation und/oder der
Bewegungsablaufkorrektur, zum Beispiel der Entscheidungsklassifikation. In einem weiteren Schritt können z.B. die aktualisierten Knoten-Gewichte und/oder Regeln an das System übertragen werden, welches die Person erfasst.
Beispiel 43: Serviceroboter mit der Fähigkeit zum selbständigen Auswählen eines
Übungsareals
[0195] Dieses Beispiel zeigt einen Serviceroboter 17 mit mindestens einer optischen
Sensoreinheit, einem Radarsensor und/oder einem Ultraschallsensor und mindestens einem Speicher, der eine Karte des Umfelds des Serviceroboters enthält, wobei der Serviceroboter 17 die Zahl und/oder Art der Hindernisse in seinem Umfeld erfasst und auswertet, um solche Subareale innerhalb der Karte zu identifizieren, die eine geringe Dichte an Hindernissen vorweisen. In der Karte sind bspw. Bereiche hinterlegt, in denen sich der Serviceroboter 17 vornehmlich bewegt. Die Erfassung der Hindernisse erfolgt im Zeitablauf, zum Beispiel im Tagesablauf, Wochenablauf und/oder Monatsablauf. Bei den Hindernissen kann es sich z.B. um dynamische und/oder statische Hindernisse handeln. Es kann bspw. auch die Dimensionen der Hindernisse erfasst werden. Die Dimension kann bspw. absolut und/oder relativ zur Breite eines Gangs, in denen sich der Serviceroboter bewegt, ermittelt werden. Die Hindernisse werden während einer Übung aufzeichnet, währenddessen sich der Serviceroboter 17 in den Subarealen bewegt. In einem Aspekt ermittelt der Serviceroboter, in einem alternativen Aspekt ein externes System, in das die Daten übertragen wurden, die Hindemisdichte im Zeitablauf. Die Daten vom externen System werden anschließend wieder zum Serviceroboter 17 übertragen. Die Auswertung der Daten umfasst bspw. ein Clustering. So können bspw. auf Basis der erfassten Daten Zeitintervalle definiert werden, in denen bestimmte Subareale über eine geringe Hindemisdichte verfügen. Es können bspw. auf diesem Weg Prognosen über eine künftige Hindernisdichte erstellt werden. Im Ergebnis kann der Serviceroboter 17 z.B. zu absolvierende Aufgaben vor allem in solchen Subarealen ausführen, die eine geringe Dichte an Hindernissen aufweisen. Dabei können die durchzuführenden Aufgaben von Dichte- Schwellwerten abhängen. Der Serviceroboter 17 kann bspw. auf Basis der ermittelten Dichte Routenwahlentscheidungen treffen.
Beispiel 44: Computer-implementiertes Verfahren zur Erkennung der Belastung eines Beins [0196] Dieses Beispiel umfasst ein computer-implementiertes Verfahren zur Erkennung der Belastung eines Beins einer Person und weist die berührungslose Erfassung der Bewegungen der Person auf. Dabei kann die berührungslose Erfassung mittels einer Kamera erfolgen. Es wird in einem Aspekt ein Skelettmodell erstellt und es werden Gelenkpunkte und/oder Richtungsvektoren zwischen den Gelenkpunkten zeitlich und räumlich ausgewertet. Dabei können z.B. eine Merkmalsextraktion 720, eine Merkmalsklassifizierung 765 und/oder eine Bewegungsablaufklassifizierung 770 vorgenommen werden. In einem Aspekt werden auch Gehhilfen erfasst und der Verlauf der Gehhilfen relativ zu den Fußgelenkpunkten 1950 der Person ausgewertet. In einem Aspekt wird ein zu belastendes Bein in der Sagittalebene nahe mindestens einer Unterarmgehstütze (UAGS) abgesetzt. In einem Aspekt befindet sich das zu entlastende Bein nahe der Linie, die die UAGS miteinander verbindet. In einem alternativen und/oder ergänzenden Aspekt handelt es sich beim Gangablauf der Person, die das Bein entlasten soll, um den Dreipunktgang. Es werden z.B. die erfassten Bewegungen mit hinterlegten Regeln verglichen. Es erfolgt bspw. die Entscheidungsklassifizierung 775 zur Bewertung, welche der detektierten Abweichungen eine Korrekturausgabe nach sich ziehen soll und eine Ausgabe einer Bewegungsablaufkorrektur 450, bspw. über den Weg einer Sprachausgabe von Anweisungen an die Person.
[0197] Zur Erkennung der Belastung des Beins wird der Winkel zwischen dem Unter- und Oberarm, Extensions- und/oder Flexionswinkel der Hüfte und des Knies und/oder die Neigung des Oberkörpers (in Frontal- und Sagittalebene) ausgewertet. Eine Entlastung eines Beins wird dadurch ermittelt, dass der Winkel zwischen Unter- und Oberarm kleiner als 170°, bspw. kleiner als 160° ist, der Kniewinkel des nur begrenzt zu belastenden Beins bspw.
kleiner als 172° ist und/oder der Oberkörper um mehr als 5° nach vorne geneigt ist.
Beispiel 45: Gehhilfe mit Kommunikationsvorrichtung
[0198] Im Folgenden wird eine Gehhilfe beschrieben, die mit einer Energiequelle, einer Steuereinheit, Drahtlosschnittstelle und einem Knopf, der beim Drücken über die
Drahtlosschnittstelle ein Signal übermittelt, ausgestattet ist. Beim Empfänger des
übermittelten Signals kann es sich bspw. um einen Serviceroboter handeln. Bei der Gehhilfe handelt es sich in einem Aspekt um eine Unterarmgehstütze. Der Knopf befindet sich am distalen Ende des T-förmigen Haltegriffs, der von den Händen des Patienten umfasst wird.
Die Steuereinheit ist derart konfiguriert, dass durch Drücken des Knopfs verschiedene Signale übertragen werden können. Dabei können bspw. die Drückfrequenz und/oder die Anzahl an Drückereignisse unterschiedliche Signale darstellen. In einem Aspekt löst das Auslösen des Knopfs eine Re-Identifizierung des Patienten durch den Serviceroboter aus.
Beispiel 46: Verfahren zur Auswertung eines Dreipunktgangs
[0199] Das Beispiel umfasst ein computer-implementiertes Verfahren zur Auswertung eines Dreipunktgangs mit folgenden Schritten: die Erfassung von Gelenkpunkten,
Richtungsvektoren zwischen Gelenkpunkten und/oder Unterarmgehstützen (UAGS) als Raum-Zeit-Parameter; die Erfassung der Position der UAGS-Endpunkte 1970 im Zeitverlauf; und die Erfassung der Position der UAGS-Endpunkte 1970 bei einem Bodenkontakt.
Ergänzend erfolgt bspw. die Ermittlung, ob die Position der Berührungspunkte der UAGS auf dem Boden sich in etwa parallel zur Frontalebene der Person befindet. Die Frontalebene kann bspw. durch die Bewegungsrichtung der erfassten Person ermittelt werden. Es folgt bspw. die Erfassung, ob der Fuß des zu schonenden Beins zwischen den UAGS positioniert ist.
[0200] In einem Aspekt erfolgt die Ermittlung einer Verbindungslinie zwischen den
Positionen der UAGS auf dem Boden, eine Ermittlung der Distanz des Fußgelenkpunkts 1950 des zu schonenden Beins zur Verbindungslinie und eine Bewertung der Distanz des
Fußgelenkpunkts 1950 des zu schonenden Beins zur Verbindungslinie. Alternativ und/oder ergänzend wird die Position der UAGS-Endpunkte 1970 und des Fußgelenkpunkts 1950 vom zu schonenden Bein in der Sagittalebene zueinander ausgewertet und die Distanzen zwischen diesen Punkten bewertet. [0201] Ergänzend kann mindestens einer der folgenden Aspekte zunächst ermittelt und anschließend bewertet werden, wobei im Fall von mehr als einem Aspekt die Aspekte einzeln und/oder in Kombination berücksichtigt werden können: die Neigung des Oberkörpers; die Extension und/oder Flexion, bspw. von Knie- und/oder Hüftgelenk; die Spurbreite, bspw. mittels Abstandsermittlung der Fußgelenkpunkte 1950 in der Frontal ebene; die Schrittlängen, bspw. mittels Abstandsermittlung der Fußgelenkpunkte 1950 in der Sagittalebene, bspw. nachfolgend hinsichtlich der Länge der Einzelschritte im Gangzyklus bewertet; die
Standdauer; die Auf setzzeitpunkte der UAGS und/oder Füße bzw. Fußgelenkpunkte 1950; die Distanz zwischen UAGS-Endpunkten 1970 bei Bodenkontakt in Frontal ebene; die Distanz zwischen UAGS-Endpunkten 1970 bei Bodenkontakt zu Fußgelenkpunkten 1950 in Sagittal- und/oder Frontalebene; wobei die letzten beiden Aspekte genutzt werden, um den UAGS- Einsatz relativ zur Körperposition zu bewerten, bspw. ob die Stützen zu eng oder u weit weg vom Körper (seitlich oder nach vorne) gesetzt werden.
[0202] Ergänzend kann bspw. eine Bewegungsablaufklassifizierung 770 erfolgen, bei der mindestens zwei Merkmale in Kombination bewertet und mit hinterlegten Regeln verglichen werden. Sollten Abweichungen im Bewegungsablauf erkannt werden, wird anhand der Entscheidungsmatrix für die detektierte Abweichung bewertet, ob eine Ausgabe von
Anweisungen an die Person erfolgt.
Beispiel 47: Auswertung eines Zweipunktgangs
[0203] Das Beispiel offenbart ein computer-implementiertes Verfahren zur Auswertung eines Dreipunktgangs, umfassend die Erfassung von Gelenkpunkten, Richtungsvektoren zwischen Gelenkpunkten und/oder Unterarmgehstützen (UAGS) als Raum-Zeit-Parameter; die
Erfassung der Position der UAGS-Endpunkte 1970 im Zeitverlauf; und die Erfassung der Position der UAGS-Endpunkte 1970 bei einem Bodenkontakt. Ergänzend erfolgt eine Detektion der UAGS und des Beins, dass sich vorne in Sagittalrichtung befindet; gefolgt bspw. vom Bilden der Senkrechten des den Boden berührenden UAGS-Endpunkts 1970 und der Senkrechten des kontralateralen Fußgelenkpunkts 1950 zur Sagittalebene gefolgt von einer Distanzermittlung zwischen den beiden Senkrechten oder bspw. der Erfassung des den Boden berührende UAGS-Endpunkts 1970 und des Fußgelenkpunkts 1950 in der
Sagittalebene und einer Abstandsermittlung des UAGS-Endpunkts 1970 und des Fußgelenkpunkts 1950 in der Sagittal ebene. Darauf kann in einem Aspekt eine Bewertung der Distanz der Senkrechten zueinander in der Sagittalebene oder des Abstands der beiden Punkte in der Sagittalebene erfolgen und/oder eine Bewertung, ob ein kontralateraler Einsatz von UAGS und Bein vorliegt. Diese Bewertung geschieht bspw. durch den Vergleich von
Schwellwerten. Ergänzend können als weitere Schritte die weiterführenden Aspekte aus dem vorangegangenen Beispiel (letzte beiden Absätze) zur Auswertung des Zweipunktgangs herangezogen werden.
Quellen:
[0204] Jaeschke, B., Vomdran, A., Trinh,T.Q., Scheidig, A., Gross, H.-M., Sander, K., Layher, F. Making Gait Training Mobile - A Feasibility Analysis in IEEE Int. Conf. on Biomedical Robotics and Biomechatronics (Biorob), Enschede, The Netherlands, pp. ..., IEEE 2018
[0205] Trinh, T.Q., Wengefeld, T., Mueller, St., Vorndran, A., Volkhardt, M., Scheidig, A., Gross, H.-M.“Take a seat, please”: Approaching and Recognition of Seated Persons by a Mobile Robot in: Int. Symposium on Robotics (ISR), Munich, Germany, pp. 240-247, VDE Verlag 2018.
[0206] Vorndran, A., Trinh, T.Q., Mueller, St., M., Scheidig, A., Gross, H.-M. How to Always Keep an Eye on the User with a Mobile Robot? in: Int. Symposium on Robotics (ISR), Munich, Germany, pp. 219-225, VDE Verlag 2018
[0207] Zhe Cao, Tornas Simon, Shih-En Wei, Yaser Sheikh. OpenPose: Realtime Multi- Person 2D Pose Estimation using Part Affinity Fields; The IEEE Conference on Computer Vision and Pattem Recognition (CVPR), 2017, pp. 7291-7299
[0208] G. Guidi, S. Gonizzi, L. Mico, 3D CAPTURING PERFORMANCES OF LOW-COST RANGE SENSORS FOR MASS-MARKET APPLICATIONS, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B5, 2016 XXIII ISPRS Congress, 12-19 July 2016, Prague, Czech Republic.
[0209] D. Fox, W. Burgard and S. Thrun, "The dynamic window approach to collision avoidance," in IEEE Robotics & Automation Magazine, vol. 4, no. 1, pp. 23-33, March 1997
[0210] Müller S., Trinh T.Q., Gross HM. (2017) Local Real-Time Motion Planning Using Evolutionary Optimization. In: Gao Y., Fallah S., Jin Y., Lekakou C. (eds) Towards
Autonomous Robotic Systems. TAROS 2017. Lecture Notes in Computer Science, vol 10454. Springer, Cham. [0211] R. Philippsen and R. Siegwart, "An Interpolated Dynamic Navigation Function,"
Proceedings of the 2005 IEEE International Conference on Robotics and Automation, Barcelona, Spain, 2005, pp. 3782-3789.
[0212] Borchani, H. , Varando, G. , Bielza, C. and Larranaga, P. (2015), A survey on multi- output regression. WIREs Data Mining and Knowledge Discovery, 5: 216-233. DOI:
10.1002/widm.1157
Bezugszeichen
3 Sensor
5 um die vertikale Achse drehbar gelagertes Stützrad
6 Antriebsrad
8 Energiequelle
9 Rechnereinheit
10 Speicher
12 Terminal für die Administration des Systems
13 Terminal
17 Serviceroboter
18 Cloud
150 Regelwerk
151 Rechner des Regelwerks
152 Speicher des Regelwerks
160 Patientenadministrationsmodul
161 Rechner des Patientenadministrationsmoduls
162 Speicher des Patientenadministrationsmoduls
170 Patientendatenmanagementsystem
171 Rechner des Patientendatenmanagementsystems
172 Speicher des Patientendatenmanagementsystems
180 Navigationssystem
181 Rechner des Navigationssystems
182 Speicher des Navigationssystems
190 Lemmodul
191 Lemmodul -Rechner
192 Lemmodul-Speicher
1305 Agilität
1310 -Allgemeine Verfassung 1315 Komorbiditäten
1320 Ort der OP
1325 Art der OP
1330 Therapeut
1335 Übungsplan
1340 Zweipunktgang
1345 Dreipunktgang
1350 Treppe
1355 -Konfiguration Übungsplan
1360 Schnittstelle
1505 historische Daten
1701 Gelenkpunkt
1702 Verbindung zwischen Gelenkpunkten
1703 Körper einer Person
1910 Richtungsvektor zwischen Kniegelenkpunkt und Hüftgelenkpunkt
1920 Richtungsvektor zwischen Kniegelenk und Fußgelenkpunkt
1930 Kniegelenkpunkt
1940 Hüftgelenkpunkt
1940r rechter Hüftgelenkpunkt
19401 linker Fußgelenkpunkt
1950 Fußgelenkpunkt
1960 Schultergelenkpunkt
1960r rechter Schultergelenkpunkt
19601 linker Schultergelenkpunkt
1970 Endpunkt der UAGS
1980 stilisierte UAGS
2010 Anwendungsebene
2011 Bewegungstrainingsmodul
2012 Übungsplan 2013 Modul für die Ausweitung der Übungen
2020 Verhaltensebene
2022 Bewegungskorrekturmodul
2024 Zielführungsmodul
2030 Serviceroboter-Fähigkeiten
2040 Personenerkennungsmodul
2041 Personenidentifizierungsmodul
2042 Erstes Personentrackingmodul
2043 Zweites Personentrackingmodul
2044 Re-Identifizierungsmodul
2045 Sitzerkennungsmodul
2046 3D-Personentracking
2050 Bewegungsauswertungsmodul
2051 Bewegungsablaufextraktionsmodul
2052 Bewegungsablaufbewertungsmodul
2060 Navigationsmodul
2061 Mappingmodul
2060r Raumplan-Modul
2064 Pfadplanungsmodul
2065 Bewegungsplanungsmodul
2071 Graphische Nutzeroberfläche (GUI)
2073 Sprachsynthesemodul
2074 Spracherkennungsmodul
2081 Odometrie-Modul
2082 druckempfindliche Stoßstange
2083 LIDAR
2084 2D-Kamera
2085 RGB-3D-Kamera
2086 Kamera- Zoom- und Kippfunktion 2087 Touch-Display
2088 WLAN-Modul
2089 RFID- Leser- und Schreib Vorrichtung
2090 Differentialantrieb
2091 Ladeport und -elektronik
2092 Lautsprecher
2093 Mikrofon
2094 Kopf mit Augen

Claims

Ansprüche
1. Computer-implementiertes Verfahren zur Erfassung eines Bewegungsablaufs einer Person, wobei der Bewegungsablauf Bewegungen von Körperelemente der Person umfasst, das Verfahren umfassend:
Erfassung durch einen berührungslosen Sensor einer Vielzahl von Bildern der Person bei einem Bewegungsablauf wobei die Vielzahl von Bildern die
Bewegungen der Körperelemente der Person darstellt;
Erstellung von mindestens einem Skelettmodell mit Gliederpositionen für zumindest einige der Vielzahl von Bildern; und
Berechnung des Bewegungsablaufs aus den Bewegungen der Körperelemente der Person durch Vergleich der Änderungen der Gliederpositionen in den mindestens einen erstellten Skelettmodells.
2. Verfahren nach Anspruch 1, weiter umfassend einen Vergleich des berechneten
Bewegungsablaufs mit einem vorbestimmten Bewegungsablauf, der in einem Speicher abgelegt ist.
3. Verfahren nach Anspruch 1 oder 2, wobei es sich beim Bewegungsablauf um einen Gangablauf handelt.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Berechnung des Bewegungsablaufs die Auswertung von Bewegungen der Körperelemente über mindestens einen kompletten Gangzyklus umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, weiter umfassend eine
Erkennung von mindestens einer Gehhilfe in der Vielzahl von Bildern durch
Vergleich mit Gehilfe-Mustern.
6. Verfahren nach Anspruch 4, weiter umfassend eine zusammenhängende Auswertung der mindestens einer Gehhilfe und mindestens einem aus dem Skelettmodell erhaltenen Fußgelenkpunkt.
7. Verfahren nach Anspruch 5, wobei die Auswertung umfasst eine Ermittlung der Differenz des mindestens einen Fußgelenkpunkts zu einem bodenseitigen Endpunkt der mindestens eine Gehhilfe.
8. Verfahren nach Anspruch 6, wobei die Differenz in der Sagittalebene ermittelt wird.
9. Verfahren nach einem der Ansprüche 5-7, wobei die Auswertung zu einem
Aufsetzzeitpunkt auf den Boden erfolgt.
10. Verfahren nach einem der Ansprüche 2-8, weiter umfassend eine Meldung bei
Abweichung der Bewegungen in dem erfassten Bewegungsablauf von den
Bewegungen in dem vorbestimmten Bewegungsablauf.
11. Verfahren nach Anspruch 10, wobei die Anzahl ausgegebener Meldungen von der Anzahl und Art der detektierten Abweichungen der Bewegungen abhängt.
12. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11.
13. System zur Erfassung eines Bewegungsablaufs einer Person, wobei der
Bewegungsablauf Bewegungen von Körperelemente der Person umfasst, das System umfassend:
mindestens einen Sensor zur berührungslosen Erfassung einer Vielzahl von Bildern der Person bei einem Bewegungsablauf, wobei die Vielzahl von Bildern die Bewegungen der Körperelemente der Person darstellt;
eine Auswertungseinheit zur Erstellung von Skelettmodellen mit Positionen der Körperelemente für zumindest einige der Vielzahl von Bildern und zur
Berechnung von Bewegungen der Körperelementen der Person durch Vergleich der erstellten Skelettmodelle.
14. System nach Anspruch 13, wobei es sich beim Bewegungsablauf um einen
Gangablauf handelt.
15. System nach Anspruch 13, wobei die Auswertungseinheit einen Speicher mit vorbestimmten Werten über die Positionen der Körperelemente bei einem
vorgesehenen Bewegungsablauf aufweist, und im Betrieb die vorbestimmten Werte mit den Bewegungen der Körperelemente vergleicht.
16. System nach Anspruch 13 - 15, wobei die Auswerteeinheit im Betrieb die Positionen der Körperelemente unter Zuhilfenahme von Gehhilfen über mindestens einen Gangzyklus hinweg auswertet.
17. System nach einem der Ansprüche 13-16, wobei die Auswerteeinheit im Betrieb eine Symmetrie der Bewegung der Körperelemente auswertet.
18. System nach einem der Ansprüche 13-17 weiter umfassend eine Ausgabeeinheit zur Ausgabe von Meldungen bei der Ermittlung von Abweichungen zwischen den Bewegungen von Körperelementen und dem vorbestimmten Bewegungsablauf.
19. System nach einem der Ansprüche 13 - 18 weiter umfassend eine
Segmentierungseinheit zur Erkennung von Gegenständen in der Vielzahl von Bildern.
20. System nach einem der Ansprüche 13 - 19, wobei der Sensor mindestens eine 2D- Kamera, eine Tiefenkamera, ein Ultraschall sensor, ein Radarsensor oder ein Lidar-
Sensor ist.
EP20700648.7A 2019-01-07 2020-01-07 Verfahren und system zur erfassung des bewegungsablaufs einer person Pending EP3908969A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019100228.1A DE102019100228A1 (de) 2019-01-07 2019-01-07 Serviceroboter
DE102019116848 2019-06-21
PCT/EP2020/050200 WO2020144175A1 (de) 2019-01-07 2020-01-07 Verfahren und system zur erfassung des bewegungsablaufs einer person

Publications (1)

Publication Number Publication Date
EP3908969A1 true EP3908969A1 (de) 2021-11-17

Family

ID=69165347

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20700648.7A Pending EP3908969A1 (de) 2019-01-07 2020-01-07 Verfahren und system zur erfassung des bewegungsablaufs einer person

Country Status (5)

Country Link
US (1) US20220108561A1 (de)
EP (1) EP3908969A1 (de)
CN (1) CN113490945A (de)
DE (1) DE112020000351A5 (de)
WO (1) WO2020144175A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11794073B2 (en) 2021-02-03 2023-10-24 Altis Movement Technologies, Inc. System and method for generating movement based instruction
CN112926514A (zh) * 2021-03-26 2021-06-08 哈尔滨工业大学（威海） 一种多目标检测及跟踪方法、系统、存储介质及应用
DE102021120737A1 (de) * 2021-08-10 2023-02-16 Fabian Höger Diagnoseverfahren und -vorrichtung
US20230306616A1 (en) * 2022-03-25 2023-09-28 Logistics and Supply Chain MultiTech R&D Centre Limited Device and method for capturing and analyzing a motion of a user
WO2023245157A1 (en) * 2022-06-16 2023-12-21 Poze Ai Inc. Pose training and evaluation system

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242306B2 (en) 2001-05-08 2007-07-10 Hill-Rom Services, Inc. Article locating and tracking apparatus and method
CA2605239A1 (en) * 2005-05-02 2006-11-09 University Of Virginia Patent Foundation Systems, devices, and methods for interpreting movement
US8279060B2 (en) 2009-08-11 2012-10-02 Empire Technology Development Llc Wireless monitoring system and method
US8460220B2 (en) * 2009-12-18 2013-06-11 General Electric Company System and method for monitoring the gait characteristics of a group of individuals
CN101862245A (zh) 2010-05-28 2010-10-20 上海市古美高级中学 医院服务机器人
CN203338133U (zh) 2012-11-12 2013-12-11 常熟理工学院 一种智能医疗服务机器人
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
CN203527474U (zh) 2013-07-09 2014-04-09 常熟理工学院 一种助老服务机器人
US10448867B2 (en) * 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
GB2532194A (en) * 2014-11-04 2016-05-18 Nokia Technologies Oy A method and an apparatus for automatic segmentation of an object
CN204772554U (zh) 2015-06-30 2015-11-18 广州绿松生物科技有限公司 智能健康服务机器人
CN104889994A (zh) 2015-06-30 2015-09-09 广州绿松生物科技有限公司 智能健康服务机器人
CN105078450B (zh) 2015-08-24 2018-02-27 华南理工大学 一种可实现脑电检测的健康服务机器人
CN105078445B (zh) 2015-08-24 2018-11-02 华南理工大学 基于健康服务机器人的老年人健康服务系统
CN105082149B (zh) 2015-08-24 2017-10-20 华南理工大学 一种可实现血氧饱和度检测的健康服务机器人
CN105078449B (zh) 2015-08-24 2018-07-20 华南理工大学 基于健康服务机器人的老年痴呆症监护系统
CN205950753U (zh) 2016-05-14 2017-02-15 深圳市华科安测信息技术有限公司 医院导诊服务机器人
CN107544266A (zh) 2016-06-28 2018-01-05 广州零号软件科技有限公司 家庭健康服务机器人
CN106407715A (zh) 2016-10-19 2017-02-15 上海派毅智能科技有限公司 一种智能服务机器人健康辨识系统及方法
CN108073104A (zh) 2016-11-10 2018-05-25 贺州学院 基于stm32嵌入式多用途护理服务机器人
CN106709254B (zh) 2016-12-29 2019-06-21 天津中科智能识别产业技术研究院有限公司 一种医疗诊断机器人系统
CN106671105A (zh) 2017-01-17 2017-05-17 五邑大学 面向老人的智能陪护机器人
CN206833244U (zh) 2017-04-21 2018-01-02 山东大学 一种基于云平台的医院服务机器人
CN107518989A (zh) 2017-10-21 2017-12-29 长沙展朔轩兴信息科技有限公司 医院服务机器人
CN107598943A (zh) 2017-10-30 2018-01-19 文杨 一种陪伴老人的机器人
CN108039193A (zh) 2017-11-17 2018-05-15 哈尔滨工大服务机器人有限公司 一种自动生成体检报告的方法及装置
CN108053889A (zh) 2017-12-20 2018-05-18 中国科学院合肥物质科学研究院 一种基于Agent技术的健康促进服务机器人
CN108422427A (zh) 2018-03-21 2018-08-21 南通市巨久新材料科技有限公司 一种康复服务机器人
CN108968973A (zh) * 2018-08-07 2018-12-11 南通大学 一种人体步态采集与分析系统及方法

Also Published As

Publication number Publication date
WO2020144175A1 (de) 2020-07-16
DE112020000351A5 (de) 2021-10-28
CN113490945A (zh) 2021-10-08
US20220108561A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
EP3908969A1 (de) Verfahren und system zur erfassung des bewegungsablaufs einer person
EP4003164A1 (de) System zur erfassung von bewegungsabläufen und/oder vitalparametern einer person
Downey et al. Blending of brain-machine interface and vision-guided autonomous robotics improves neuroprosthetic arm performance during grasping
Tang et al. Towards BCI-actuated smart wheelchair system
Carlson et al. Brain-controlled wheelchairs: a robotic architecture
US11304023B1 (en) Enhanced hearing system
US20150320343A1 (en) Motion information processing apparatus and method
Bai et al. Development of a novel home based multi-scene upper limb rehabilitation training and evaluation system for post-stroke patients
US8900165B2 (en) Balance training system
Fettrow et al. Interdependence of balance mechanisms during bipedal locomotion
Scheidig et al. May I keep an eye on your training? Gait assessment assisted by a mobile robot
Martinez-Martin et al. Rehabilitation technology: assistance from hospital to home
Katevas Mobile robotics in healthcare
EP3477656A1 (de) Systeme und verfahren zur quantifizierung des posturalen gleichgewichts von benutzern in einer umgebung für erweiterte realität
Fiorini et al. User profiling to enhance clinical assessment and human–robot interaction: A feasibility study
Gregori et al. On the visuomotor behavior of amputees and able-bodied people during grasping
Scheidig et al. Robot-assisted gait self-training: Assessing the level achieved
Nastac et al. An AAL scenario involving automatic data collection and robotic manipulation
Tripathy et al. Constrained particle filter for improving Kinect based measurements
DE102019100228A1 (de) Serviceroboter
Rohmer et al. Laser based driving assistance for smart robotic wheelchairs
Fiorini et al. A robot-mediated assessment of tinetti balance scale for sarcopenia evaluation in frail elderly
Foresi et al. Human-robot cooperation via brain computer interface in assistive scenario
Miro et al. Development of a novel evidence-based automated powered mobility device competency assessment
Sayed et al. Cognitive assessment in children through motion capture and computer vision: the cross-your-body task

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210809

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: TEDIRO GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230719

19U Interruption of proceedings before grant

Effective date: 20231228