DE102022104499A1 - Synchronization of movements of a service robot with those of a person - Google Patents

Synchronization of movements of a service robot with those of a person Download PDF

Info

Publication number
DE102022104499A1
DE102022104499A1 DE102022104499.8A DE102022104499A DE102022104499A1 DE 102022104499 A1 DE102022104499 A1 DE 102022104499A1 DE 102022104499 A DE102022104499 A DE 102022104499A DE 102022104499 A1 DE102022104499 A1 DE 102022104499A1
Authority
DE
Germany
Prior art keywords
person
movements
frequency
service robot
stylized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022104499.8A
Other languages
German (de)
Inventor
Christian STERNITZKE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TEDIRO HEALTHCARE ROBOTICS GMBH, DE
Original Assignee
Tediro GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tediro GmbH filed Critical Tediro GmbH
Publication of DE102022104499A1 publication Critical patent/DE102022104499A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Vascular Medicine (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Die Erfindung betrifft ein System und Verfahren zur Erfassung von Bewegungen und/oder Vitalparametern einer Person und Synchronisation dieser mit den Bewegungen oder Signalisierungen eines Serviceroboters. Hierzu werden Vitalparameter und/oder Bewegungen der Person durch den Serviceroboter erfasst und hinsichtlich ihrer Frequenz ausgewertet. Basierend auf der ermittelten Frequenz werden Bewegungen und Signalisierungsparamater des Serviceroboter angepasst, was auch Verkörperungselemente des Serviceroboters umfassen kann.The invention relates to a system and method for detecting a person's movements and/or vital parameters and synchronizing them with the movements or signals of a service robot. For this purpose, vital parameters and/or movements of the person are recorded by the service robot and their frequency is evaluated. Based on the determined frequency, movements and signaling parameters of the service robot are adjusted, which can also include embodiment elements of the service robot.

Description

Gebiet der Erfindungfield of invention

Die Erfindung umfasst die mobile Servicerobotik, Medizintechnik und hier insbesondere die Vitaldatenerfassung (vornehmlich berührungslos) sowie Mensch-Technik-Interaktion.The invention includes mobile service robotics, medical technology and here in particular the recording of vital data (mainly contactless) and human-technology interaction.

Hintergrund der ErfindungBackground of the Invention

Immer mehr Aufgaben werden heutzutage durch technische Systeme übernommen. Dazu zählen auch mobile Serviceroboter. Diese können mit Personen trainieren, ohne dass notwendigerweise eine Aufsichtsperson dabei ist. Wenn solche mobilen Serviceroboter bspw. für Übungen mit Personen eingesetzt werden, die aufgrund von Herzproblemen nur begrenzt belastbar sind, die psychische Probleme haben, unter hoher Nervosität leiden etc., kann dies dazu führen, dass die Personen bei den Übungen stark belastet werden, mental durch hohen Stress oder physisch in eine Überlastung hinein bis hin zum Kollabieren. Die erfinderische Aufgabe ist es, einen Serviceroboter so auszustatten, dass er, entweder in Kombination mit externer Sensorik an der zu überwachenden Person, oder aber - bevorzugt mit eigener Sensorik zur berührungslosen Erfassung von Daten - eine Person erstens so überwacht, dass für Stress oder Überlastung relevante Parameter idealerweise fortlaufend überwacht werden können und zweitens eine Intervention durch den Serviceroboter derart stattfindet, dass die überwachte Person aus dem Bereich hoher Belastung gebracht wird. Damit geht es um die Reduktion des Verletzungsrisikos der Person. Der Person ist bspw. die Problematik der eigenen Situation gar nicht bewusst, sie kann sich also bspw. nicht bewusst artikulieren. Es geht demnach um technische Mittel, um eine Mensch-Technik-Interaktion sicherer zu machen, indem eine Person sensorisch erfasst wird, die erfassten Daten ausgewertet werden und sich in Systemzustände des Roboters überführt werden, die eine risikoreduzierende Mensch-Technik-Interaktion ermöglichen.More and more tasks are now being taken over by technical systems. This also includes mobile service robots. They can train with people without necessarily having a supervisor present. If such mobile service robots are used, for example, for exercises with people who have only limited resilience due to heart problems, who have psychological problems, suffer from high levels of nervousness, etc., this can lead to the people being heavily stressed during the exercises, mentally through high stress or physically into an overload up to the point of collapsing. The inventive task is to equip a service robot in such a way that it monitors a person first, either in combination with external sensors on the person to be monitored, or - preferably with its own sensors for contactless acquisition of data - so that for stress or overload ideally, relevant parameters can be continuously monitored and, secondly, an intervention by the service robot takes place in such a way that the monitored person is brought out of the area of high stress. This is about reducing the risk of injury to the person. For example, the person is not even aware of the problems of their own situation, so they cannot consciously articulate themselves, for example. It is therefore about technical means to make human-machine interaction safer by detecting a person using sensors, evaluating the recorded data and converting them to system states of the robot that enable risk-reducing human-machine interaction.

Der in diesem Dokument beschriebener Serviceroboter adressiert diese Problematik, indem der Serviceroboter bspw. Diagnosen und/oder Übungen übernimmt oder einfach nur mit Personen interagiert. Der Serviceroboter kann, in einem Aspekt, Bewegungen einer Person erfassen und auswerten und/oder Vitalparameter einer Person. Dazu zählen bspw. Blutdruck, Herzfrequenz, Atemfrequenz und/oder weitere kardiovaskuläre Parameter einer Person. Derartige Informationen können, abgesehen von unmittelbar diagnostischen und/ oder Übungszwecken, auch zur Ansteuerung eigener Hard- und Softwarekomponenten nutzen, um bspw. auf die Person einzuwirken oder mit ihr direkt oder indirekt zu kommunizieren. Infolge dessen kann der Serviceroboter bspw. seine Geschwindigkeit reduzieren, um die Belastung der Person zu reduzieren. Der Serviceroboter kann, alternativ oder ergänzend, auch Signalisierungen in ihrer Frequenz anpassen, bspw. eine oszillierende Leuchte oder ein anderes Verkörperungselement, und zwar derart, dass die Oszillationsfrequenz auf eine Frequenz eingestellt wird, die bspw. unterhalb der Atmungsfrequenz der erfassten Person liegt. Da Personen dazu tendieren, ihr Verhalten an andere Personen anzupassen, vornehmlich indirekt, kann das dazu führen, dass bspw. die Atmungsfrequenz der Person reduziert wird oder nicht weiter ansteigt. Damit kann bspw. die Belastung der Person reduziert werden.The service robot described in this document addresses this problem by the service robot taking over diagnoses and/or exercises, for example, or simply interacting with people. In one aspect, the service robot can record and evaluate a person's movements and/or a person's vital parameters. These include, for example, blood pressure, heart rate, respiratory rate and/or other cardiovascular parameters of a person. Apart from direct diagnostic and/or exercise purposes, such information can also be used to control your own hardware and software components, for example to influence the person or to communicate with him directly or indirectly. As a result, the service robot can, for example, reduce its speed in order to reduce the stress on the person. Alternatively or additionally, the service robot can also adjust the frequency of signaling, e.g. an oscillating light or another embodiment element, in such a way that the oscillation frequency is set to a frequency that is, for example, below the breathing rate of the person detected. Since people tend to adapt their behavior to other people, primarily indirectly, this can result in the person's breathing rate being reduced or not increasing further, for example. In this way, for example, the burden on the person can be reduced.

Stand der TechnikState of the art

Dem Fachmann sind verschiedenartige Serviceroboter im Gesundheits- bzw. Geriatriebereich bekannt. Bei CN106671105 handelt es sich um einen mobilen Serviceroboter zur Betreuung älterer Menschen. Der Serviceroboter überwacht durch Sensorik Parameter des Körpers wie die Temperatur, aber auch die Mimik. Der Serviceroboter erkennt auch, ob der Mensch gefallen ist und kann über ein Netzwerk entsprechend Hilfe alarmieren.Various types of service robots in the health and geriatric field are known to those skilled in the art. at CN106671105 is a mobile service robot for the care of elderly people. The service robot uses sensors to monitor body parameters such as temperature and facial expressions. The service robot also recognizes whether the person has fallen and can alert help accordingly via a network.

Ähnlich gelagert sind CN104889994 und CN204772554 , in denen ein Serviceroboter aus dem Medizinbereich die Herzfrequenz erkennt, Patienten mit Sauerstoff versorgt und dabei über eine Spracherkennung und über ein Multimedia-Modul für Entertainmentzwecke verfügt. Die Sauerstoff-Ermittlung im Blut erfolgt auch in CN105082149 . CN105078445 bezieht sich auf einen Serviceroboter, der es ermöglicht, insbesondere bei älteren Menschen ein Elektrokardiogramm aufzuzeichnen und den Sauerstoffgehalt im Blut zu messen. Ähnlich angesiedelt ist CN105078450 mit einer Elektroenzephalogramm-Messung.are stored similarly CN104889994 and CN204772554 , in which a service robot from the medical field recognizes the heart rate, supplies patients with oxygen and has voice recognition and a multimedia module for entertainment purposes. The oxygen determination in the blood is also carried out in CN105082149 . CN105078445 refers to a service robot that makes it possible to record an electrocardiogram and measure the level of oxygen in the blood, especially in the elderly. similarly located CN105078450 with an electroencephalogram measurement.

Einige der Gesundheitsroboter beziehen sich explizit auf die Durchführung von Übungen mit Patienten oder auch Tests. In CN108053889 wird relativ abstrakt ein System beschrieben, das basierend auf abgespeicherten Informationen Übungen mit einem Patienten durchführt. CN108039193 beschreibt ein System zur automatischen Generierung von Gesundheitsreports, das in einem Roboter eingesetzt wird. Das Erfassen von Bewegungen/Fitnessübungen mithilfe eines Roboters, das Aufzeichnen und Abspeichern der Daten derselben zu Analysezwecken und die Übermittlung an externe Systeme werden in CN107544266 beschrieben. Gleichzeitig ist dieser Roboter in der Lage, die Einnahme von Medikamenten über verschiedene Sensoren zu überwachen.Some of the health robots explicitly refer to carrying out exercises with patients or tests. In CN108053889 a system is described in a relatively abstract manner that carries out exercises with a patient based on stored information. CN108039193 describes a system for automatically generating health reports that is used in a robot. The recording of movements/fitness exercises with the help of a robot, the recording and storage of the same data for analysis purposes and the transmission to external systems are CN107544266 described. At the same time, this robot is able to monitor the intake of medication through various sensors.

CN106709254 beschreibt einen Roboter zur medizinischen Diagnose eines Patienten, der zugleich, basierend auf der Diagnose, auch einen Plan zur Behandlung erstellt. Hierzu wertet der Roboter Sprach- und Bildinformationen aus und vergleicht diese mit in Speichern hinterlegten Informationen. Hierbei kommt ein neuronales Netzwerk zum Einsatz. CN106709254 describes a robot for the medical diagnosis of a patient, which at the same time, based on the diagnosis, also creates a treatment plan. To do this, the robot evaluates voice and image information and compares it with information stored in memory. A neural network is used for this.

In CN106407715 wird ein Serviceroboter beschrieben, der mittels Sprachverarbeitung und Bilderkennung die Anamnese eines Patienten durchführt. Neben dem Abfragen über Sprachein- und Sprachausgabevorrichtungen über ein Touchpad wird auch ein Foto der Zunge, das von einer Kamera des Roboters aufgenommen wird, für die Anamnese herangezogen.In CN106407715 a service robot is described that uses speech processing and image recognition to take a patient's medical history. In addition to queries via voice input and voice output devices via a touchpad, a photo of the tongue taken by a robot camera is also used for the anamnesis.

CN105078449 beschreibt einen Serviceroboter mit einem Tablet-Computer als Kommunikationsvorrichtung, über das u.a. ein kognitives Funktionstraining bzw. ein kognitiv-psychologischer Test stattfindet, um Alzheimer in Patienten zu entdecken. Das Tablet zeichnet hierzu ein nach einem bestimmten Prozess ablaufendes Telefonat zwischen dem Patienten und einem Kind auf und leitet aus dem Gesprächsverlauf ab, ob der Patient unter Alzheimer leidet. CN105078449 describes a service robot with a tablet computer as a communication device, which is used, among other things, for cognitive function training or a cognitive-psychological test to detect Alzheimer's in patients. For this purpose, the tablet records a phone call between the patient and a child that follows a specific process and uses the course of the conversation to determine whether the patient suffers from Alzheimer's disease.

Der Serviceroboter ist derart konfiguriert, dass der Serviceroboter mittels seiner Sensorik weitere Parameter erheben kann, darunter den Blutdruck auf kontaktlosem Weg, bspw. mittels einer Kamera. Der Stand der Technik zur Ermittlung des Blutdrucks über eine kamerabasierte Auswertung befindet sich zumeist im Forschungsstadium: Zaunseder et at al. (2018) gibt einen Überblick vor allem über solche Verfahren, die eine farbliche Auswertung des Blutflusses vornehmen. Der Übersichtsartikel von Rouast et al. (2018) geht noch etwas darüber hinaus. Sich konkret mit Auswertungsalgorithmen zur Ermittlung des Blutdrucks auf Basis verfügbarer Signaldaten beschäftigt bspw. Karylyak et. al (2013) oder Wang et al. (2014), während sich McDuff et al. (2014) bspw. der Ermittlung der Zeitpunkte des systolischen und diastolischen Drucks widmet, während Bai et al. (2018) bspw. die Wirksamkeit eines neuen Signalfilters prüft. Generelle Ansätze zur Ermittlung des Blutdrucks aus erfassten Messwerten finden sich bspw. in Parati et al. (1995). Liu et al. (2018) beschäftigen sich mit konkreten Implementierungen der farblichen Auswertung und vergleichen auch verschiedene Subregionen des Gesichts, ähnlich wie bspw. Verkruysse et al. (2008), während Lee et al. (2019) eine konkrete Implementierung auf Basis von Bewegungen des Gesichts beschreibt. Unakafov (2018) dagegen vergleicht verschiedene Verfahren auf Basis eines frei verfügbaren Datensatzes. Auf dem Weg zur praktischen Anwendung befindet sich bspw. der Ansatz von Pasquadibisceglie et al. (2018), der ein Verfahren der farblichen Auswertung in einen Spiegel integriert. Dagegen nutzt Luo et al. (2019) ein Smartphone für die Aufzeichnung der Farbdaten. Konkreter auf dem Weg zur Umsetzung befindet sich der Ansatz unter Aufzeichnung von Farbdaten von Wei et al. (2018), der bereits den Charakter einer klinischen Studie vorweist. Anders gelagert dagegen ist der Ansatz von Ghijssen et al. (2018). Hier wird mittels eines Lasers Licht durch einen Finger hindurch gesendet und auf der gegenüberliegenden Seite durch einen Sensor detektiert, wobei das ausgesendete Licht Speckle-Muster vorweist, die es einerseits erlauben, den rhythmischen vaskulären Blutfluss zu detektieren und zudem, wie bei den zuvor beschriebenen Ansätzen, die rhythmische vaskuläre Ausdehnung der Gefäße zu erfassen.The service robot is configured in such a way that the service robot can use its sensors to collect additional parameters, including blood pressure in a contactless manner, for example using a camera. The state of the art for determining blood pressure using a camera-based analysis is mostly in the research stage: Zaunseder et al. (2018) gives an overview of those methods that carry out a color evaluation of the blood flow. The review article by Rouast et al. (2018) goes even further. For example, Karylyak et. al (2013) or Wang et al. (2014), while McDuff et al. (2014), for example, devoted to determining the timing of the systolic and diastolic pressure, while Bai et al. (2018), for example, checked the effectiveness of a new signal filter. General approaches to determining the blood pressure from measured values can be found, for example, in Parati et al. (1995). Liu et al. (2018) deal with concrete implementations of the color evaluation and also compare different sub-regions of the face, similar to Verkruysse et al. (2008), while Lee et al. (2019) describes a concrete implementation based on facial movements. Unakafov (2018), on the other hand, compares different methods on the basis of a freely available data set. For example, the approach of Pasquadibisceglie et al. (2018), who integrates a method of color evaluation into a mirror. In contrast, Luo et al. (2019) a smartphone for recording the color data. More specifically, the color data mapping approach by Wei et al. (2018), which already has the character of a clinical study. On the other hand, the approach of Ghijssen et al. (2018). Here, a laser is used to send light through a finger and a sensor detects it on the opposite side, with the emitted light showing speckle patterns that allow the rhythmic vascular blood flow to be detected on the one hand and, as with the approaches described above, on the other , to capture the rhythmic vascular expansion of the vessels.

Quellen:Sources:

Zaunseder et al. Cardiovascular assessment by imaging photoplethysmography - a review. Biomed. Eng.-Biomed. Tech. 2018; 63(5): 617-634, DOI: 0.1515/bmt-2017-01.Zaunseder et al. Cardiovascular assessment by imaging photoplethysmography - a review. Biomed. Eng.-Biomed. tech 2018; 63(5): 617-634, DOI: 0.1515/bmt-2017-01.

Kurylyak et al. Blood Pressure Estimation from a PPG Signal, 2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). DOI: 10.1109/I2MTC.2013.6555424.Kurylyak et al. Blood Pressure Estimation from a PPG Signal, 2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). DOI: 10.1109/I2MTC.2013.6555424.

McDuff et al. Remote Detection of Photoplethysmographic Systolic and Diastolic Peaks Using a Digital Camera. IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 61, NO. 12, DECEMBER 2014, DOI: 10.1109/TBME.2014.2340991.McDuff et al. Remote Detection of Photoplethysmographic Systolic and Diastolic Peaks Using a Digital Camera. IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 61, NO. 12, DECEMBER 2014, DOI: 10.1109/TBME.2014.2340991.

Bai et al. Real-Time Robust Noncontact Heart Rate Monitoring With a Camera, IEEE Access VOLUME 6, 2018. DOI: 10.1109/ACCESS.2018.2837086.Bai et al. Real-Time Robust Noncontact Heart Rate Monitoring With a Camera, IEEE Access VOLUME 6, 2018. DOI: 10.1109/ACCESS.2018.2837086.

Pasquadibisceglie et al. A personal healthcare system for contact-less estimation of cardiovascular parameters. 2018 AEIT International Annual Conference. DOI: 10.23919/AEIT.2018.8577458.Pasquadibisceglie et al. A personal healthcare system for contact-less estimation of cardiovascular parameters. 2018 AEIT International Annual Conference. DOI: 10.23919/AEIT.2018.8577458.

Wang et al. Cuff-Free Blood Pressure Estimation Using Pulse Transit Time and Heart Rate. 2014 12th International Conference on Signal Processing (ICSP). DOI: 10.1109/ICOSP.2014.7014980.Wang et al. Cuff-Free Blood Pressure Estimation Using Pulse Transit Time and Heart Rate. 2014 12th International Conference on Signal Processing (ICSP). DOI: 10.1109/ICOSP.2014.7014980.

Luo et al. Smartphone-Based Blood Pressure Measurement Using Transdermal Optical Imaging Technology. Circular Cardiovascular Imaging. 2019;12:e008857. DOI: 10.1161/CIRCIMAGING. 119.008857.Luo et al. Smartphone-Based Blood Pressure Measurement Using Transdermal Optical Imaging Technology. Circular Cardiovascular Imaging. 2019;12:e008857. DOI: 10.1161/CIRCIMAGING. 119.008857.

Wei et al. Transdermal Optical Imaging Reveal Basal Stress via Heart Rate Variability Analysis: A Novel Methodology Comparable to Electrocardiography. Frontiers in Psychology 9:98. DOI: 10.3389/fpsyg.2018.00098.Wei et al. Transdermal Optical Imaging Reveal Basal Stress via Heart Rate Variability Analysis: A Novel Methodology Comparable to Electrocar diography. Frontiers in Psychology 9:98. DOI: 10.3389/fpsyg.2018.00098.

Parati et al. Spectral Analysis of Blood Pressure and Heart Rate Variability in Evaluating Cardiovascular Regulation. Hypertension. 1995;25:1276-1286. DOI: 10.1161/01.HYP.25.6.1276.Parati et al. Spectral Analysis of Blood Pressure and Heart Rate Variability in Evaluating Cardiovascular Regulation. hypertension. 1995;25:1276-1286. DOI: 10.1161/01.HYP.25.6.1276.

Rouast et al. Remote heart rate measurement using low-cost RGB face video: a technical literature review. Front. Comput. Sci., 2018, 12(5): 858-872. DOI: 10.1007/s11704-016-6243-6.Rouast et al. Remote heart rate measurement using low-cost RGB face video: a technical literature review. Front. computers Sci., 2018, 12(5): 858-872. DOI: 10.1007/s11704-016-6243-6.

Lee et al. Vision-Based Measurement of Heart Rate from Ballistocardiographic Head Movements Using Unsupervised Clustering. Sensors 2019, 19, 3263. DOI: 10.3390/s19153263.Lee et al. Vision-Based Measurement of Heart Rate from Ballistocardiographic Head Movements Using Unsupervised Clustering. Sensors 2019, 19, 3263. DOI: 10.3390/s19153263.

Liu et al., Transdermal optical imaging revealed different spatiotemporal patterns of facial cardiovascular activities. Scientific Reports, (2018) 8:10588. DOI: 10.1038/s41598-018-28804-0.Liu et al., Transdermal optical imaging revealed different spatiotemporal patterns of facial cardiovascular activities. Scientific Reports, (2018) 8:10588. DOI: 10.1038/s41598-018-28804-0.

Unakafov. Pulse rate estimation using imaging photoplethysmography: generic framework and comparison of methods on a publicly available dataset. Biomed. Phys. Eng. Express 4 (2018) 045001. DOI: 10.1088/2057-1976/aabd09.Unakafov. Pulse rate estimation using imaging photoplethysmography: generic framework and comparison of methods on a publicly available dataset. Biomed. physics Closely. Express 4 (2018) 045001. DOI: 10.1088/2057-1976/aabd09.

Verkruysse et al. Remote plethysmographic imaging using ambient light. 22 December 2008 / Vol. 16, No. 26 / OPTICS EXPRESS 21434. DOI: 10.1364/OE.16.021434.Verkruysse et al. Remote plethysmographic imaging using ambient light. 22 December 2008 / Vol. 26 / OPTICS EXPRESS 21434. DOI: 10.1364/OE.16.021434.

Ghijssen et al. Biomedical Optics Express Vol. 9, Issue 8, pp. 3937-3952 (2018). DOI: 10.1364/BOE.9.003937.Ghijssen et al. Biomedical Optics Express Vol. 9, Issue 8, pp. 3937-3952 (2018). DOI: 10.1364/BOE.9.003937.

Die erfindungsgemäße Lösung zum risikoreduzierenden Mensch-Technik-Interaktion zielt darauf ab, insbesondere mittels Vitaldatenerfassung (darunter Atem- und Herzdaten) den Zustand einer Person zu ermitteln und den Serviceroboter angepasst zu steuern (bspw. Geschwindigkeitsreduktionen einzuleiten oder bestimmte Positionen anzusteuern), andererseits durch Anpassung der Frequenz von Signalen den Zustand der Person zu beeinflussen, um so das Risiko der Person zu reduzieren.The solution according to the invention for risk-reducing human-technology interaction aims to determine the condition of a person, in particular by means of vital data acquisition (including respiratory and heart data), and to control the service robot in an appropriate manner (e.g. to initiate speed reductions or to control certain positions), on the other hand through adjustment the frequency of signals to affect the condition of the person, so as to reduce the risk to the person.

So ist bspw. auf dem Serviceroboter ein computer-implementiertes Verfahren zur Erfassung von Vitalparametern einer Person hinterlegt. Dieses umfasst die Erfassung und das Tracking der Person, optional die Erfassung und das Tracking einer Körperregion der Person, auf bzw. über die die Vitalparameter erhoben werden, die Erfassung der Vitalparameter, den Vergleich der erfassten Vitalparametern mit mindestens einem hinterlegten Schwellwert und das Auslösen eines Ereignisses bei Über- oder Unterschreiten des Schwellwert. Hierbei umfasst das Verfahren verschiedene mögliche Funktionen, um die erfindungsgemäße Aufgabe zu erfüllen. In einem Aspekt handelt es sich beim Ereignis um eine Geschwindigkeitsreduktion des Serviceroboters. In einem alternativen und/oder ergänzenden Aspekt handelt es sich beim Ereignis um das Ansteuern einer Zielposition, wobei es sich bspw. bei der Zielposition um eine Sitzgelegenheit handeln kann. Der besagte Schwellwert von Vitalparametern wird bspw. aus zuvor erfassten Vitalparametern dynamisch ermittelt, in einem Aspekt über eine Mittelwertbildung erfasster Vitalparameter über ein definiertes Zeitintervall erfolgt. Die Vitalparametererfassung (durch den Serviceroboter) erfolgt in einem Aspekt berührungslos, in einem alternativen und/oder ergänzenden Aspekt durch einen an der zu überwachenden Person befestigten Vitalparameter-Sensor. Neben der VitalparameterErfassung erfolgt optional eine Erfassung von Körperbewegungen der Person und eine Auswertung der erfassten Vitalparameter unter Abgleich der erfassten Körperbewegungen. Dabei erfolgt bspw. die Erfassung von Vitalparametern in Abhängigkeit der erfassten Bewegungen der Person. Bei den Vitalparametern kann es sich um die Pulsrate, Pulsratenvariabilität, Herzrate, Herzratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz handeln. In einem weiteren, optionalen Schritt kann die Ermittlung des Sturzrisikos der Person aus dem oder den erfassten Vitalparameter(n) erfolgen, wobei es sich bspw. um das akute Sturzrisiko handelt. In einem Aspekt erfolgt die Erfassung der Vitalparameter während der Durchführung eines Tests und/oder eine Übung mit der Person. Die Erfindung umfasst nicht nur dieses computer-implementierte Verfahren, sondern auch eine Vorrichtung zur Durchführung desselben.For example, a computer-implemented method for recording a person's vital parameters is stored on the service robot. This includes the recording and tracking of the person, optionally the recording and tracking of a body region of the person on or via which the vital parameters are collected, the recording of the vital parameters, the comparison of the recorded vital parameters with at least one stored threshold value and the triggering of a Event when the threshold value is exceeded or not reached. In this case, the method includes various possible functions in order to fulfill the task according to the invention. In one aspect, the event is a speed reduction of the service robot. In an alternative and/or supplementary aspect, the event involves driving to a target position, in which case the target position can be a seat, for example. Said threshold value of vital parameters is determined dynamically, for example from previously recorded vital parameters, in one aspect by averaging recorded vital parameters over a defined time interval. The vital parameter detection (by the service robot) takes place without contact in one aspect, in an alternative and/or supplementary aspect by a vital parameter sensor attached to the person to be monitored. In addition to the recording of vital parameters, body movements of the person are optionally recorded and the recorded vital parameters are evaluated by comparing the recorded body movements. In this case, for example, vital parameters are recorded as a function of the recorded movements of the person. The vital parameters can be the pulse rate, pulse rate variability, heart rate, heart rate variability, the systolic and/or diastolic blood pressure and/or the respiratory rate. In a further, optional step, the person's risk of falling can be determined from the vital parameter(s) recorded, which is, for example, the acute risk of falling. In one aspect, the vital signs are recorded while a test and/or exercise is being performed on the person. The invention includes not only this computer-implemented method, but also an apparatus for carrying out the same.

Weiterhin umfasst die Erfindung ein System zur Erfassung von Vitalparametern einer Person, mit einem Rechner, einem Speicher und mindestens einem Sensor zur berührungslosen Erfassung der Bewegungen der Person im Zeitablauf und ein Vitalparameter-Auswertungs-Modul, wobei es sich beim Sensor zur Erfassung der Bewegungen der Person um eine Kamera, einen LIDAR, einen Ultraschall- und/oder Radarsensor handelt und wobei eine Einheit auf Basis der Daten des Vitalparameter-Auswertungs-Moduls eine Benachrichtigung eines Systems über eine Schnittstelle, eine Ausgabe über eine Ausgabeeinheit (bspw. ein Display oder einen Lautsprecher), eine Geschwindigkeitsänderung des Systems selbst und/oder eine Ansteuerung einer Zielposition des Systems initiieren kann. Das System schließt, in einem Aspekt, weiter ein Körperregions-Detektions-Modul und ein Körperregion-Tracking-Modul zum Tracking der Erfassungsregion der Vitalparameter und eine Vitalparameter-Erfassungs-Einheit zur Erfassung von Vitalparametern der Person ein. Es kann weiter bspw. ein Applikationsmodul mit Regeln zur Durchführung mindestens einer Übung oder eines Tests umfassen. Alternativ und/oder ergänzend kann das System zudem eine Schnittstelle und einen an einer Person befestigten Vitalparameter-Sensor einschließen.The invention also includes a system for recording a person's vital parameters, with a computer, a memory and at least one sensor for contactless recording of the person's movements over time and a vital parameter evaluation module, the sensor for recording the movements of the person is a camera, a LIDAR, an ultrasonic and/or radar sensor and a unit based on the data from the vital parameter evaluation module notifies a system via an interface, outputs via an output unit (e.g. a display or a Loudspeaker), a change in speed of the system itself and / or a control of a target position of the system can initiate. The system further includes, in one aspect, a body region detection module and a body region tracking module for tracking the vital signs acquisition region and a vital signs acquisition unit recording of the person's vital parameters. It can also include, for example, an application module with rules for carrying out at least one exercise or one test. Alternatively and/or additionally, the system may also include an interface and a vital sign sensor attached to a person.

Alternativ und/oder komplementär zu dem oben beschrieben System, der Vorrichtung und dem Verfahren umfasst die Erfindung auch die folgenden möglichen Konfigurationen: Ein System zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person mit der Bewegung und/oder Leuchtfrequenz stilisierter Verkörperungselemente eines Serviceroboters, umfassend eine Personenerfassungs- und Trackingeinheit, einer Puls-Atem-Auswertungseinheit, und einer Initialisierungseinheit, wobei die Bewegungen mit einer Frequenz erfolgen bzw. die Leuchtfrequenz einer Frequenz entspricht, die innerhalb einer definierten Bandbreite um die ermittelte Frequenz der Bewegungen bzw. Vitalparameter der Person liegt. So können z.B. die stilisierten Verkörperungselemente in Hard- und/oder Software implementiert sein, wobei bspw. in Software implementierte, stilisierte Verkörperungselemente die Anzeige mindestens eines stilisierten Gesichts oder Gesichtselementes auf einem Display, mindestens ein stilisiertes Gesicht, Gesichtselement oder einen Rumpf, Brustkorb oder Herz, oder bspw. mindestens eine Leuchte umfassen. Die stilisierten Verkörperungselemente werden bspw. zu einer Imitation der Atmungsfrequenz, Pulsfrequenz und/oder Herzfrequenz durch die Initialisierungseinheit angeregt. In einem Aspekt umfasst das System weiterhin eine Bewegungssignalerfassungs- und eine Verarbeitungseinheit zur Erfassung und Auswertung erfasster Bewegungen der Person. Die genannte Puls-Atem-Auswertungseinheit und/oder die Bewegungssignalerfassungs- und Verarbeitungseinheit können sich bspw. auch in einem tragbaren Sensor befinden.As an alternative and/or complementary to the system, the device and the method described above, the invention also includes the following possible configurations: A system for synchronizing the movements and/or vital parameters of a person with the movement and/or lighting frequency of stylized embodiment elements of a service robot, comprising a person detection and tracking unit, a pulse-breath evaluation unit, and an initialization unit, with the movements occurring at a frequency or the light frequency corresponding to a frequency that lies within a defined bandwidth around the determined frequency of the movements or vital parameters of the person. For example, the stylized embodiment elements can be implemented in hardware and/or software, e.g. stylized embodiment elements implemented in software displaying at least one stylized face or facial element on a display, at least one stylized face, facial element or a torso, chest or heart , Or, for example, include at least one lamp. The stylized embodiment elements are stimulated by the initialization unit, for example, to imitate the respiratory rate, pulse rate and/or heart rate. In one aspect, the system also includes a movement signal detection unit and a processing unit for detecting and evaluating detected movements of the person. Said pulse-breath evaluation unit and/or the movement signal detection and processing unit can also be located in a portable sensor, for example.

In einem weiteren Aspekt schließt die Erfindung ein computer-implementiertes Verfahren zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person und eines Serviceroboters ein, umfassend die Erfassung und das Tracking einer Person und ihrer Bewegungen und/oder Vitalparameter, die Ermittlung der Frequenz der Bewegungen und/oder der Vitalparameter der Person, und die Variation einer Bewegungsfrequenz und/oder einer Leuchtfrequenz von stilisierten Verkörperungselementen des Serviceroboters mit einer Frequenz, die innerhalb einer definierten Bandbreite von der ermittelten Frequenz der erfassten Bewegungen und/oder Vitalparameter der Person liegt. In einem Aspekt imitiert die Bewegung stilisierter Verkörperungselemente die Bewegung eines Gesichts, Gesichtselements, Rumpfs, Brustkorbs oder Herzschlags und/oder der Atmung der erfassten Person. In einem alternativen oder ergänzenden Aspekt wird die Frequenzdifferenz zwischen den Bewegungen der stilisierten Verkörperungselemente und der ermittelten Frequenz der Bewegungen und/oder Vitalparameter der Person im Zeitverlauf von der Initialisierungseinheit in etwa konstant gehalten. Bei den erfassten Bewegungen und/oder Vitalparameter der Person handelt es sich z.B. um die Pulsfrequenz, Herzfrequenz und/oder die Atemfrequenz. Die Bewegungen der stilisierten Verkörperungselemente werden bspw. von der Initialisierungseinheit auf eine Frequenz eingestellt, die niedriger ist als die Frequenz der erfassten Bewegungen und/oder der Vitalparameter der Person. Die Frequenz des oder der stilisierten Verkörperungselemente kann in einem Aspekt von der Initialisierungseinheit so gesteuert werden, dass sie im Zeitablauf langsamer wird/werden. Die Erfindung umfasst neben dem computer-implementierten Verfahren auch eine Vorrichtung zur Durchführung desselben, wie es oben beschrieben wurde.In a further aspect, the invention includes a computer-implemented method for synchronizing the movements and/or vital parameters of a person and a service robot, comprising detecting and tracking a person and their movements and/or vital parameters, determining the frequency of the movements and /or the vital parameters of the person, and the variation of a movement frequency and/or a lighting frequency of stylized embodiment elements of the service robot with a frequency that lies within a defined bandwidth of the determined frequency of the recorded movements and/or vital parameters of the person. In one aspect, the movement of stylized embodiment elements mimics the movement of a face, facial element, torso, chest, or heartbeat and/or breathing of the sensed person. In an alternative or supplementary aspect, the frequency difference between the movements of the stylized embodiment elements and the determined frequency of the movements and/or vital parameters of the person is kept approximately constant over time by the initialization unit. The recorded movements and/or vital parameters of the person are, for example, the pulse rate, heart rate and/or respiratory rate. The movements of the stylized embodiment elements are set, for example, by the initialization unit to a frequency that is lower than the frequency of the recorded movements and/or the person's vital parameters. In one aspect, the frequency of the stylized embodiment element(s) may be controlled by the initialization unit to slow down over time. In addition to the computer-implemented method, the invention also includes a device for carrying out the same, as has been described above.

Figurenlistecharacter list

Es zeigen:

  • 1 Skizze einer möglichen Ausführung des Serviceroboters;
  • 2 Architektursicht
  • 3 Managementsystem für den Serviceroboter
  • 4 Ablauf Vitalparameterermittlung
  • 5 System zur Vitalparameterermittlung
  • 6 Interferenzreduktion
  • 7 System zur Synchronisation von Bewegungen zwischen einer Person und einem Serviceroboter
  • 8 Ablauf der Bewegungssynchronisation
  • 9 Vitaldatenerfassung und Triggern eines Ereignisses
Show it:
  • 1 Sketch of a possible version of the service robot;
  • 2 architectural view
  • 3 Management system for the service robot
  • 4 Vital parameter determination process
  • 5 System for vital parameter determination
  • 6 interference reduction
  • 7 System for synchronizing movements between a person and a service robot
  • 8th Sequence of motion synchronization
  • 9 Vital data acquisition and triggering of an event

Detaillierte Beschreibung der ErfindungDetailed description of the invention

Serviceroboter und SystemlandschaftService robots and system landscape

Unter dem Begriff Nutzer wird eine Person verstanden, die den Serviceroboter 17 nutzt und die in diesem Falle primär vom Serviceroboter 17 durch die beschriebenen Apparaturen sensorisch ausgewertet wird. Hierbei kann es sich um Menschen fortgeschrittenen Alters handeln, mit denen der Serviceroboter 17 ein geriatrischer Test durchführt, Personen in medizinischen Einrichtungen, Sportler beim Training, oder andere Personen, die mit dem Serviceroboter 17 interagieren.The term user is understood to mean a person who uses the service robot 17 and who in this case is primarily evaluated by the service robot 17 using the apparatus described. These can be people of advanced age with whom the service robot 17 carries out a geriatric test, people in medical facilities, athletes during training, or other people who interact with the service robot 17 .

1 stellt den mobilen Serviceroboter 17 dar. Dieser verfügt über eine Vielzahl von Sensoren und Vorrichtungen, die für einen Serviceroboter typisch sind, weshalb die exakte Darstellung der allgemeinen Robotikkomponenten, -module und -funktionen nur exemplarisch zu verstehen ist. Der Serviceroboter 17 verfügt über einen Laserscanner (LIDAR) 1 zum Abtasten des Umfelds des Serviceroboters 17. Andere Sensoren sind hierbei alternativ und/oder ergänzend ebenfalls möglich z.B. eine Kamera (2D und/oder 3D) 185, ein Ultraschall- und/oder Radarsensor 194. 1 represents the mobile service robot 17. This has a large number of sensors and devices that are typical for a service robot, which is why the exact representation of the general robotic components, modules and functions is only to be understood as an example. The service robot 17 has a laser scanner (LIDAR) 1 for scanning the area surrounding the service robot 17. Other sensors are also possible as an alternative and/or in addition, e.g. a camera (2D and/or 3D) 185, an ultrasonic and/or radar sensor 194 .

Der Serviceroboter 17 verfügt über mindestens ein Display 2, das in einem Aspekt ein Touchpad ist. In dem in 1 dargestellten Aspekt verfügt der Serviceroboter 17 über zwei der Touchpads. Die Touchpads wiederum besitzen bspw. ein Mikrofon 193 und einen Lautsprecher 192, welche eine akustische Kommunikation mit dem Serviceroboter 17 erlauben. Ferner verfügt der Serviceroboter 17 über mindestens einen Sensor 3 zur berührungslosen dreidimensionalen Erfassung der Bewegungsdaten einer Person. In einem nicht limitierenden Beispiel ist der Sensor ein Microsoft Kinect Gerät. Alternativ dazu kann auch eine Orbecc Astra 3D-Kamera zum Einsatz kommen. Derartige 3D-Kameras verfügen zumeist auch über eine RGB-Kamera zur Farberkennung. In einem alternativen Aspekt kann eine herkömmliche Mono-Kamera zum Einsatz kommen. Technologien, die in 3D-Kameras hierbei zum Einsatz kommen können, sind das Stereo-Prinzip, Time-of-Flight-Sensoren (ToF) oder aber Speckle-Sensoren.The service robot 17 has at least one display 2, which is a touchpad in one aspect. in the in 1 aspect shown, the service robot 17 has two of the touchpads. The touchpads in turn have a microphone 193 and a loudspeaker 192, for example, which allow acoustic communication with the service robot 17. Furthermore, the service robot 17 has at least one sensor 3 for the contactless three-dimensional acquisition of the movement data of a person. In a non-limiting example, the sensor is a Microsoft Kinect device. Alternatively, an Orbecc Astra 3D camera can also be used. Such 3D cameras usually also have an RGB camera for color recognition. In an alternative aspect, a conventional mono camera can be used. Technologies that can be used in 3D cameras are the stereo principle, time-of-flight sensors (ToF) or speckle sensors.

Im Abstand von z.B. 5 cm über dem Boden befindet sich um die äußere Hülle des Serviceroboters 17 eine druckempfindliche Stoßstange 4, zumindest in den Bereichen, die in einer möglichen Fahrtrichtung des Serviceroboters 17 liegen. Die Motorsteuerung 191 ist mit der druckempfindlichen Stoßstange 4 verbunden und erkennt Kollisionen des Serviceroboters 17 mit einem Gegenstand. Im Fall einer Kollision wird die Antriebseinheit 7 sofort gestoppt. Der Serviceroboter 17 verfügt zudem über eine Energiequelle 8 wie einen Akkumulator zur Versorgung der Antriebs- und Rechnereinheit 9, der Sensorik (Laserscanner 1, Sensor 3, und Stoßstange 4) sowie der Ein- und Ausgabeeinheiten 2. Die Energiequelle 8 ist eine Batterie oder ein Akkumulator.A pressure-sensitive bumper 4 is located around the outer shell of the service robot 17 at a distance of e.g. 5 cm above the ground, at least in the areas that lie in a possible travel direction of the service robot 17 . The motor controller 191 is connected to the pressure-sensitive bumper 4 and detects collisions of the service robot 17 with an object. In the event of a collision, the drive unit 7 is stopped immediately. The service robot 17 also has an energy source 8 such as an accumulator to supply the drive and computer unit 9, the sensors (laser scanner 1, sensor 3, and bumper 4) and the input and output units 2. The energy source 8 is a battery or a Accumulator.

Die Rechnereinheit 9 verfügt über mindestens einen Speicher 10 und mindestens eine Schnittstelle 188 (wie z.B. WLAN) zum Datenaustausch. Dazu zählen (nicht abgebildet) in einem optionalen Aspekt eine Vorrichtung, um einen mobilen Speicher (bspw. einen Transponder/RFID Token) auszulesen. In einem weiteren Aspekt kann dieser mobile Speicher auch beschrieben werden. In einem Aspekt erlaubt diese oder eine weitere Schnittstelle 188 (wie z.B. WLAN) die drahtlose Kommunikation mit einem Netzwerk. Der Serviceroboter 17 verfügt über im weiteren Verlauf dieses Dokuments beschriebene Regeln zur Durchführung von Auswertungen, die im Speicher 10 abgelegt sind. Alternativ und/oder ergänzend können diese Regeln auch im Speicher einer Cloud 18 abgelegt sein, auf die der Serviceroboter 17 über die mindestens eine Schnittstelle 188 (wie z.B. WLAN) zugreift. Dies muss an anderer Stelle so nicht explizit erwähnt sein, wird mit der Offenbarung jedoch umfasst.The computer unit 9 has at least one memory 10 and at least one interface 188 (such as WLAN) for data exchange. In an optional aspect, this includes (not shown) a device for reading out a mobile memory (e.g. a transponder/RFID token). In a further aspect, this mobile memory can also be written to. In one aspect, this or another interface 188 (such as WLAN) allows for wireless communication with a network. The service robot 17 has rules for carrying out evaluations, which are described in the further course of this document and are stored in the memory 10 . Alternatively and/or additionally, these rules can also be stored in the memory of a cloud 18, which the service robot 17 accesses via the at least one interface 188 (e.g. WLAN). This does not have to be explicitly mentioned elsewhere, but is included in the disclosure.

Der Sensor 3 erkennt eine Person und deren Handlungen und erstellt auf Basis der Bewegungen der Person ein Skelettmodell. Hierbei ist der Sensor 3 in einem Aspekt auch in der Lage, Gehhilfen/Unterarmgehstützen (UAGS) zu erkennen. Der Serviceroboter 17 verfügt ferner optional über ein oder mehrere Mikrofone 193, welche unabhängig von den Touchpads implementiert sein können, um die Sprache der Person aufzuzeichnen und in einer Rechnereinheit auszuwerten.The sensor 3 recognizes a person and their actions and creates a skeleton model based on the person's movements. Here, in one aspect, the sensor 3 is also capable of recognizing walking aids/crutches (UAGS). The service robot 17 also optionally has one or more microphones 193, which can be implemented independently of the touchpads in order to record the person's speech and evaluate it in a computer unit.

2 illustriert, dass der Serviceroboter 17 über eine Schnittstelle 188 mit der Cloud 18 verbunden ist. Ein Trainer hat die Möglichkeit, über ein Terminal 13 auf ein in der Cloud 18 gelagertes Personenadministrationsmodul 160 mit einem Rechner 161 zuzugreifen, der wiederum mit einem Speicher 162 in Verbindung steht. 2 illustrates that the service robot 17 is connected to the cloud 18 via an interface 188 . A trainer has the option of using a terminal 13 to access a personal administration module 160 stored in the cloud 18 with a computer 161 , which in turn is connected to a memory 162 .

Personal kann im Personenadministrationsmodul 160 Personendaten hinterlegen oder in einem Aspekt über eine Schnittstelle 188 (wie z.B. WLAN) diese Personendaten aus anderen Systemen importieren. Zu diesen anderen Systemen zählen vor allem Krankenhausmanagementsysteme (KIS) und/oder Personendatenmanagementsysteme. Die Personendaten umfassen neben dem Namen und ggf. der Zimmernummer der Personen auch Informationen zum allgemeinen Gesundheitszustand, usw. Der Rechner 161 in dem Personenadministrationsmodul 160 erzeugt hierbei pro Person eine ID, die mit den Personendaten im Speicher 162 abgespeichert wird. Das Personal kann die durchzuführenden Tests und/oder Übungen definieren. Über die Cloud 18 ist das Managementsystem mit einem Regelwerk 150 verbunden, bestehend aus einer Rechnereinheit 151 und einem Speicher 152. Das Regelwerk 150 hält Regeln zur Durchführung und Auswertung der Tests und/oder Übungen vor, die mit denen des Serviceroboters 17 übereinstimmen können und bspw. zentral im Regelwerk gepflegt und dann an mehrere Serviceroboter 178 verteilt werden.Personnel can store personal data in the person administration module 160 or, in one aspect, import this personal data from other systems via an interface 188 (such as WLAN). These other systems primarily include hospital management systems (HIS) and/or personal data management systems. In addition to the name and possibly the room number of the person, the personal data also includes information on the general state of health, etc. The computer 161 in the person administration module 160 generates an ID for each person, which is stored with the personal data in the memory 162 . The staff can define the tests and/or exercises to be carried out. The management system is connected via the cloud 18 to a set of rules 150, consisting of a computer unit 151 and a memory 152. The set of rules 150 provides rules for carrying out and evaluating the tests and/or exercises, which can match those of the service robot 17 and e.g maintained centrally in the set of rules and then distributed to a number of service robots 178 .

Im Regelwerk 150 ist die Klassifizierung von Objekten und Bewegungen hinterlegt, aber auch die Kombination daraus, um die Beobachtungen im Sinne des Tests/der Übung auszuwerten. So ist bspw. die Stellung der Beine, des Oberkörpers, der Arme, Hände usw. auf Basis eines Skelettmodells hinterlegt. Zusätzlich können Gegenstände, die im Rahmen des Tests/der Übung ausgewertet werden sollen, erkannt werden. Das Regelwerk 150 kann initial template-basiert mit Hilfe von Fachleuten angelegt werden, d.h. es werden Grenzwerte für einzelne Gliedmaßen festgelegt. Für die Grenzwerte können auch Fuzzy-Algorithmen zum Einsatz kommen. Alternativ können auch einzelne Bilder oder Bildsequenzen, die bspw. wieder mit Blick auf Aufnahmen einer Person in ein Skelettmodell übersetzbar sind, durch Personal gelabelt werden und es werden mithilfe von Algorithmen des maschinellen Lernens inkl. neuronaler Netze Klassifikationen festgelegt, die die Grenzwerte abbilden. Daneben können auch Verfahren des Imitation Learning eingesetzt werden, um Regeln zu definieren.The classification of objects and movements is stored in the set of rules 150, but also the combination thereof in order to make the observations in the Evaluate the meaning of the test/exercise. For example, the position of the legs, upper body, arms, hands, etc. is stored on the basis of a skeleton model. In addition, objects that are to be evaluated as part of the test/exercise can be recognized. The set of rules 150 can initially be created based on templates with the help of experts, ie limit values are defined for individual limbs. Fuzzy algorithms can also be used for the limit values. Alternatively, individual images or image sequences, which, for example, can be translated into a skeleton model with a view to recordings of a person, can be labeled by staff and classifications that map the limit values are defined with the help of machine learning algorithms including neural networks. In addition, methods of imitation learning can also be used to define rules.

In einem Aspekt existiert auch ein cloudbasiertes Navigationsmodul 170 mit einem Navigationsrechner 171 und einem Navigationsspeicher 172.In one aspect, there is also a cloud-based navigation module 170 with a navigation computer 171 and a navigation memory 172.

Der Serviceroboter 17 kann mit einer Cloudanwendung in der Cloud 18 verbunden sein. Der Trainer kann der Person, die den Test/die Übung durchführen soll, eine mobile Speichereinheit wie bspw. einen Token zuweisen. Der Token enthält die Personen-ID und/oder eine weitere Token-ID, der Person bzw. seiner ID zugewiesen ist. Mit diesem Token bzw. der Seriennummer und/oder der ID kann sich die Person am Serviceroboter 17 identifizieren. Es ist auch eine Identifizierung über andere Wege möglich, bspw. über die Eingabe von Login-Daten in einem bildschirmgeführten Menü, aber auch mittels biometrischer Merkmale wie bspw. einem Gesichts-Scan oder einer Software auf einem Mobilgerät, die einen Code bereit hält, der in den Serviceroboter 17 eingegeben oder eingelesen wird. Der Serviceroboter 17 lädt nun aus der Cloud 18 entsprechend den vom Personal hinterlegten Test, Diagnoseverfahren, Übung etc. ohne jedoch die personenbezogenen Daten über eine Schnittstelle 188 (wie z.B. WLAN) herunter - die Zuordnung erfolgt über die Personen-ID. Nach Absolvieren des Tests/der Übung lädt der Serviceroboter 17 die Daten des Tests/der Übung verschlüsselt in das Personenadministrationsmodul 160 - die Zuordnung erfolgt über die Personen-ID. Erst in dem Personenadministrationsmodul 160 findet eine Entschlüsselung der Daten statt (vgl. unten). Das Personal kann nachfolgend die Daten auswerten.The service robot 17 can be connected to a cloud application in the cloud 18 . The trainer can assign a portable storage device, such as a token, to the person who is to conduct the test/exercise. The token contains the person ID and/or another token ID assigned to the person or his/her ID. The person can identify himself at the service robot 17 with this token or the serial number and/or the ID. Identification is also possible in other ways, e.g. by entering login data in a screen-guided menu, but also by means of biometric features such as a face scan or software on a mobile device that has a code ready is entered or read into the service robot 17 . The service robot 17 now downloads from the cloud 18 via an interface 188 (such as e.g. WLAN) according to the tests, diagnostic procedures, exercises etc. stored by the staff - the assignment is made via the personal ID. After completing the test/exercise, the service robot 17 loads the data of the test/exercise in encrypted form into the person administration module 160—the assignment takes place via the person ID. The data is only decrypted in the person administration module 160 (cf. below). The staff can then evaluate the data.

In einem weiteren Aspekt überträgt das Personal die Hinweise zur Durchführung eines Tests/der Übung oder einer Teilkomponente davon auf einen Speichermedium (z.B. Transponder in der Form eines RFID-Tags), welchen die Person erhält, um sich am Serviceroboter 17 zu identifizieren, wozu dieser eine RFID-Schnittstelle 183 aufweist. Dabei werden bspw. die Daten vom Speichermedium an den Serviceroboter 17 übertragen inkl. der Personen-ID, die vom Personenadministrationsmodul 160 vorgegeben wurde. Nach Absolvieren des Tests/der Übung überträgt der Serviceroboter 17 die Daten wieder auf das Speichermedium, so dass das Personal beim Auslesen des Speichermediums die Daten in das Personenadministrationsmodul 160 übertragen kann. In einem ergänzenden und/oder alternativen Aspekt können die Daten auch verschlüsselt über eine drahtlose oder drahtgebundene Schnittstelle 188 (wie z.B. WLAN) an das Personenadministrationsmodul 160 übertragen werden. Es sind auch Kombinationen aus dem oben beschrieben Ansatz und dem Datenaustausch via Speichermedium (bspw. Transponder) möglich.In a further aspect, the staff transfers the instructions for carrying out a test/exercise or a sub-component thereof to a storage medium (e.g. transponder in the form of an RFID tag), which the person receives in order to identify themselves on the service robot 17, for which purpose this has an RFID interface 183 . In this case, for example, the data is transmitted from the storage medium to the service robot 17 , including the person ID that was specified by the person administration module 160 . After completing the test/exercise, the service robot 17 transfers the data back to the storage medium, so that the staff can transfer the data to the person administration module 160 when reading the storage medium. In a supplementary and/or alternative aspect, the data can also be transmitted to the person administration module 160 in encrypted form via a wireless or wired interface 188 (such as WLAN). Combinations of the approach described above and data exchange via storage medium (e.g. transponder) are also possible.

In einem Aspekt ist der Serviceroboter 17 über eine Cloud oder direkt mit einem tragbaren Sensor 201 ausgestattet, der zur Vitalparametererfassung einer Person dient. Dabei kann es sich bspw. um eine Smartwatch handeln, die Pulsfrequenz, Atmung, etc. erfasst.In one aspect, the service robot 17 is equipped with a wearable sensor 201 via a cloud or directly, which serves to record a person's vital signs. This can, for example, be a smartwatch that records pulse rate, respiration, etc.

3 illustriert die Architektursicht, die jedoch im Verlauf dieses Dokuments beschriebene Applikationen ausblendet. Auf der Softwareebene finden sich verschiedene Module mit Grundfunktionen des Serviceroboters 17. Im Navigationsmodul 101 sind bspw. verschiedene Module enthalten. Darunter ist ein 2D oder 3D-Umfelderfassungsmodul 102, die bspw. Umgebungsinformationen auswertet basierend auf verschiedenen Sensordaten. Das Pfadplanungsmodul 103 erlaubt dem Serviceroboter 17 die Ermittlung eines eigenen Pfads, den er zurücklegt. Der Bewegungsplaner 104 nutzt bspw. die Ergebnisse der Pfadplanung aus dem Pfadplanungsmodul 103 und errechnet eine optimale Wegstrecke für den Serviceroboter unter Berücksichtigung bzw. Optimierung verschiedener Kostenfunktionen. Als Kostenfunktionen fungieren neben den Daten aus der Pfadplanung auch solche aus der Hindernisvermeidung, einer Vorzugsfahrrichtung, usw., wie bspw. auch eine erwartete Bewegungsrichtung einer überwachten Person. Dabei spielen auch Aspekte der Fahrdynamik eine Rolle, wie die Geschwindigkeitsadaption bspw. in Kurven, usw. Das Selbstlokalisierungsmodul 105 erlaubt es dem Serviceroboter 17, seine eigene Position auf einer Karte zu bestimmen, bspw. mittels Odometriedaten, dem Abgleich erfasster Umfeldparameter aus der 2D/3D-Umfelderfassung mit in einer Karte aus dem Kartenmodul 107 hinterlegten Umfeldparametern, usw. Das Kartierungsmodul 106 erlaubt es dem Serviceroboter 17, sein Umfeld zu kartieren. Erstellte Karten werden bspw. im Kartenmodul 107 abgelegt, welches jedoch auch andere als nur selbsterstellte Karten enthalten kann. Das Lademodul 108 zum automatischen Laden. Darüber hinaus kann es eine Datenbank mit Raumdaten 109 geben, die bspw. Informationen beinhaltet, in welchem Raum eine Auswertung mit einer Person durchgeführt werden soll, usw. Ein Bewegungsauswertungsmodul 120 beinhaltet z.B. ein Bewegungsablaufextraktionsmodul 121 und ein Bewegungsablaufbewertungsmodul 122. Diese umfassen jeweils die Regeln zur Bewegungsauswertung, die im weiteren Verlauf dieses Dokuments näher beschrieben werden. Das Personenerkennungsmodul 110 beinhaltet bspw. ein Personenidentifizierungsmodul 111, welches bspw. Regeln enthält, um aus erfassten Sensordaten zu bestimmen, ob es sich um eine Person handelt oder um etwas anderes. Ein visuelles-Personentracking-Modul 112 für visuelles Personentracking basiert bspw. vor allem auf Kameradaten als Eingangsgrößen, das laserbasierte Personentracking-Modul 113 nutzt entsprechend den LIDAR 1. Ein Personenreidentifizierungsmodul 114 erlaubt es bspw., im Falle eines Unterbrechens des Trackingvorgangs eine danach erfasste Person insofern einzuordnen, ob es sich dabei um eine handelt, die zuvor getrackt wurde. Ein Sitzerkennungsmodul 115 erlaubt es, bspw. einen Stuhl zu detektieren, bspw. mittels abgespeicherter Muster. Der Serviceroboter 17 verfügt bspw. darüber hinaus über ein Mensch-Roboter-Interaktions-Modul 130, umfassend eine graphische Nutzeroberfläche 131, ein Sprachsyntheseeinheit 133 und ein Sprachauswertungsmodul 132. Daneben gibt es ein Applikationsmodul 125, welches eine Vielzahl von Applikationen umfassen kann wie Übungen und/oder Tests mit Personen. 3 illustrates the architecture view, which, however, hides applications described in the course of this document. Various modules with basic functions of the service robot 17 are found at the software level. Various modules are contained in the navigation module 101, for example. Below this is a 2D or 3D surroundings detection module 102 which, for example, evaluates surroundings information based on various sensor data. The path planning module 103 allows the service robot 17 to determine its own path, which it covers. The movement planner 104 uses, for example, the results of the path planning from the path planning module 103 and calculates an optimal route for the service robot, taking into account or optimizing various cost functions. In addition to the data from path planning, data from obstacle avoidance, a preferred direction of travel, etc., such as, for example, an expected direction of movement of a monitored person, also function as cost functions. Aspects of driving dynamics also play a role here, such as speed adaptation, e.g. in curves, etc. The self-localization module 105 allows the service robot 17 to determine its own position on a map, e.g. 3D environment detection with environment parameters stored in a map from the map module 107, etc. The mapping module 106 allows the service robot 17 to map its environment. Maps that have been created are stored, for example, in the map module 107, which, however, can also contain other maps than just self-created maps. The loading module 108 for automatic loading. In addition, there can be a database with spatial data 109, which contains information, for example, in which room an evaluation is to be carried out with a person, etc. A movement evaluation module 120 contains, for example, a movement sequence extraction module 121 and a movement sequence evaluation module 122. These each include the rules for Movement evaluation, which are described in more detail later in this document. The person recognition module 110 contains, for example, a person identification module 111, which contains rules, for example, in order to determine from the acquired sensor data whether it is a person or something else. A visual person tracking module 112 for visual person tracking is based, for example, primarily on camera data as input variables, the laser-based person tracking module 113 uses LIDAR 1 accordingly classified insofar as it is one that was previously tracked. A seat detection module 115 makes it possible to detect a chair, for example, using stored patterns, for example. The service robot 17 also has, e.g /or tests with people.

Auf der Hardwareebene 180 befindet sich eine Odometrieeinheit 181, bspw. eine Schnittstelle zur Kommunikation mit RFID-Transpondern, eine Kamera 185, Bedienelemente 186, eine Schnittstelle 188 wie WLAN, eine Ladesteuerung 190 für die Energieversorgung, eine Motorsteuerung 191, Lautsprecher 192, mindestens ein Mikrofon 193, bspw. ein Radar- und/oder Ultraschallsensor 194, ein Detektor 195, der an anderer Stelle näher beschrieben wird, ebenso bspw. ein Spektrometer 196 und bspw. eine Projektionsvorrichtung 920. LIDAR 1, Display 2 und Antrieb 7 wurden bereits beschrieben.On the hardware level 180 there is an odometry unit 181, e.g. an interface for communication with RFID transponders, a camera 185, operating elements 186, an interface 188 such as WLAN, a charging control 190 for the energy supply, a motor control 191, loudspeaker 192, at least one Microphone 193, e.g. a radar and/or ultrasonic sensor 194, a detector 195, which is described in more detail elsewhere, also e.g. a spectrometer 196 and e.g. a projection device 920. LIDAR 1, display 2 and drive 7 have already been described .

Der Serviceroboter verfügt mit der Kamera 185, einem LIDAR 1 und Radar- und/oder Ultraschallsensor 194 über Sensorik, die nicht nur zu Navigationszwecke eingesetzt werden kann, sondern bspw. auch zur Personenerfassung und Tracking, weshalb diese Sensoren, zusammen mit entsprechenden Softwaremodulen, hardwareseitig eine Personenerfassungs- und Trackingeinheit 4605 bilden, wobei hierbei auch weitere Sensorik eingesetzt werden kann, bspw. in Zusammenspiel mit einem Inertialsensor 5620, der sich an der zu erfassenden und/oder trackenden Person befindet. Mit Blick auf die Personenerfassung und das Personentracking kann in einem ersten Schritt ein Personenerkennungsmodul 110 zum Einsatz kommen, dass aus Sensordaten eine Person erkennt und verschiedene Untermodule aufweisen kann. Dazu zählt bspw. ein Personenidentifizierungsmodul 111, dass es erlaubt, eine Person zu identifizieren. Dabei können bspw. charakteristische Merkmale der Person abgespeichert werden. Durch das Personenreidentifizierungsmodul 114 ist eine Wiedererkennung der Person möglich, bspw. nach Unterbrechung des Personentrackings, das durch ein visuelles Personentrackingmodul 112 (bspw. Daten einer Kamera 185 auswertend) oder ein laserbasiertes Personentrackingmodul 113 (bspw. Daten eines LIDAR 1 auswertend) erfolgen kann. Die Wiedererkennung der Person im Personenreidentifizierungsmodul 114 kann durch Mustervergleich erfolgen, wobei die Muster sich bspw. aus den abgespeicherten Personenmerkmalen ergeben. Ein Bewegungsauswertungsmodul 120 erlaubt die Auswertung verschiedener Bewegungen. Erfasste Bewegungen können im Bewegungsablaufextraktionsmodul 121 zunächst vorprozessiert werden, d.h. es werden Merkmale der Bewegungen extrahiert, die im Bewegungsablaufbewertungsmodul 122 klassifiziert und bewertet werden, bspw. um eine spezifische Bewegung zu identifizieren. Mit Blick auf die Erfassung und Auswertung von Bewegungen einer Person kann dabei ein Skelettmodell im Skelett-Erstellungs-Modul 5635 erstellt werden, welches Gelenkpunkte an den Gelenken der Person ermittelt und Richtungsvektoren zwischen den Gelenkpunkten. Eine Merkmalsextraktion auf Basis von Gelenkpunkten findet bspw. im skelettmodell-basierten Merkmalsextraktions-Modul 5460 statt. Es sind im Dokument eine Reihe spezifischer Merkmalsextraktionsmodule aufgeführt ebenso wie mehrere Merkmalklassifikationsmodule, die bspw. auf diesen genannten Merkmalsextraktionsmodulen aufsetzen können. In einem Aspekt zählen dazu das Gangmerkmalsextraktions-Modul 5605, welches ebenfalls Daten des Skelett-Erstellungs-Moduls 5635 verwendet, ein Gangmerkmalsklassifizierungs-Modul 5610 und ein Gangablaufklassifizierungs-Modul 5615.With the camera 185, a LIDAR 1 and radar and/or ultrasonic sensor 194, the service robot has sensors that can not only be used for navigation purposes, but also, for example, for person detection and tracking, which is why these sensors, together with corresponding software modules, are hardware-based form a person detection and tracking unit 4605, in which case further sensors can also be used, for example in conjunction with an inertial sensor 5620, which is located on the person to be detected and/or tracked. With regard to the detection of persons and the tracking of persons, a person recognition module 110 can be used in a first step, which recognizes a person from sensor data and can have various sub-modules. This includes, for example, a personal identification module 111 that allows a person to be identified. For example, characteristic features of the person can be stored. The person re-identification module 114 makes it possible to recognize the person, e.g. after the person tracking has been interrupted, which can be done by a visual person tracking module 112 (e.g. evaluating data from a camera 185) or a laser-based person tracking module 113 (e.g. evaluating data from a LIDAR 1). The person can be recognized in the person re-identification module 114 by means of a pattern comparison, the patterns resulting, for example, from the stored person characteristics. A motion evaluation module 120 allows various movements to be evaluated. Detected movements can first be pre-processed in the movement sequence extraction module 121, i.e. features of the movements are extracted, which are classified and evaluated in the movement sequence evaluation module 122, e.g. to identify a specific movement. With a view to capturing and evaluating a person's movements, a skeleton model can be created in the skeleton creation module 5635, which determines joint points on the person's joints and direction vectors between the joint points. A feature extraction based on hinge points takes place in the skeleton model-based feature extraction module 5460, for example. A number of specific feature extraction modules are listed in the document, as well as several feature classification modules that can, for example, be based on these feature extraction modules. In one aspect, these include the gait feature extraction module 5605, which also uses data from the skeleton creation module 5635, a gait feature classification module 5610, and a gait sequence classification module 5615.

Mit Blick auf Schwellwertvergleiche ist teilweise von Überschreitungen eines Schwellwerts die Rede, was dann zu einer bestimmten Bewertung einer Situation führt. Dabei können verschiedene Berechnungen genutzt werden, die teils eine konträre Interpretation der Auswertungsergebnisse herbeiführen könnten. Ein Beispiel sei ein Vergleich zweier Muster, die zur Personenwiedererkennung genutzt werden. Wenn hier bspw. ein Ähnlichkeitskoeffizient errechnet wird, bspw. eine Korrelation, bedeutet eine hohe Korrelation, die über einem Schwellwert liegt, dass bspw. eine Identität von zwei Personen vorliegt. Wenn jedoch zwischen den einzelnen Werten eine Differenz vorliegt, bedeutet ein hoher Differenzwert das Gegenteil, d.h. eine hohe Unähnlichkeit. Es werden solche alternativen Berechnungen jedoch als synonym für bspw. die erste Berechnung über die Korrelation angesehen.With regard to threshold value comparisons, there is sometimes talk of exceeding a threshold value, which then leads to a specific assessment of a situation. Various calculations can be used, some of which could lead to a contrary interpretation of the evaluation results. An example is a comparison of two patterns that are used to recognize people. If, for example, a similarity coefficient is calculated here, for example a correlation, a high correlation that is above a threshold value means that, for example, two people are identical. However, if there is a difference between each value, a high difference value means the opposite, ie one high dissimilarity. However, such alternative calculations are regarded as synonymous with, for example, the first calculation via the correlation.

Der Einsatz von Verfahren des maschinellen Lernens kann bspw. das Festlegen expliziter Schwellwerte bspw. für Bewegungsabläufe überflüssig machen zugunsten einer Musterauswertung. D.h. anstelle von Schwellwertvergleichen bspw. für dedizierte Distanzen eines Gelenkpunkts aus einem Skelettmodell finden Mustervergleiche statt, die mehrere Gelenkpunkte zugleich auswerten. Sofern nachfolgend von einem Schwellwertvergleich gesprochen wird, insbesondere mit Blick auf einen Bewegungsablauf, kann auch im Falle der Nutzung von Algorithmen des maschinellen Lernens ein Weg für einen Mustervergleich gefunden werden. Als Grundlage für einen solchen Mustervergleich können bspw. Körperposen eines Bewegungsablaufs, ob korrekt oder falsch, im Zeitverlauf erfasst und zusammenhängend ausgewertet werden. Auf Basis extrahierter Merkmale wie bspw. Gelenkpunkte kann ein Klassifikator erstellt werden, der dann mit weiteren erfassten, als korrekt oder falsch vorgegebene Körperposen und die daraus abgeleiteten Verläufe der Gelenkpunkte vergleicht.The use of machine learning methods can, for example, make the definition of explicit threshold values, e.g. for movement sequences, superfluous in favor of a pattern evaluation. This means that instead of threshold value comparisons, e.g. for dedicated distances of a joint point from a skeleton model, pattern comparisons take place that evaluate several joint points at the same time. If a threshold value comparison is discussed below, in particular with regard to a movement sequence, a way for a pattern comparison can also be found in the case of the use of machine learning algorithms. As a basis for such a pattern comparison, for example, body poses of a movement sequence, whether correct or incorrect, can be recorded over time and evaluated coherently. A classifier can be created on the basis of extracted features such as joint points, which then compares with other recorded body poses that are specified as correct or incorrect and the courses of the joint points derived from this.

Blutdruckermittlung und Ermittlung weiterer KardioparameterDetermination of blood pressure and determination of other cardio parameters

Der Roboter 17 ist, in einem Aspekt, ferner mit einem System ausgestattet, welches sich wiederholende Bewegungen des menschlichen Körpers erfasst, die mit dem Blutausstoß des Herzens in die großen Blutgefäße bei jedem Herzschlag korrelieren. Dabei werden Änderungen erfasst, die einerseits durch Bewegungen der großen Blutgefäße entstehen und sich bspw. wellenförmig im Körper ausbreiten, und/oder die durch Bewegungen von Arterien in der Haut ergeben. Letztere sind robuster gegenüber Schwankungen der Beleuchtung des Körperteils und/oder unterschiedlichen Farbtönen der Haut. Alternativ und/oder ergänzend werden Änderungen des Blutvolumens bzw. der Blutfluss in der Haut, z.B. im Zeitablauf, erfasst, welche(r) mit dem Herzschlag korrelieren. 4 stellt nachfolgend den Prozess der Datenerfassung und Auswertung dar.The robot 17, in one aspect, is further equipped with a system that senses repetitive motions of the human body that correlate with the heart's output of blood into the great blood vessels at each heartbeat. In this way, changes are detected which are caused on the one hand by movements of the large blood vessels and propagate in waves in the body, for example, and/or which result from movements of arteries in the skin. The latter are more robust to fluctuations in the lighting of the body part and/or different tones of the skin. Alternatively and/or additionally, changes in the blood volume or the blood flow in the skin, eg over time, are recorded, which correlate with the heartbeat. 4 below shows the process of data acquisition and evaluation.

Es werden eine Körperregion und mehrerer Subregionen im Schritt 3005 identifiziert. Bspw. ist die Körperregion das Gesicht, wobei die Auswertung z.B. mittels der Kamera 185 erfolgt. Das System nutzt Algorithmen aus dem Stand der Technik, um das Gesicht (alternativ andere Körperregionen) zu erfassen, bspw. das Framework OpenCV, OpenPose oder dlib, wobei die Auswertung bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 erfolgt. Dabei werden als Teilregionen mindestens die Stirn, die Wangen oder das Kinn erfasst, z.B. mehrere Körperregionen zusammen, die dann einzeln und/oder getrennt nach den weiter unten beschriebenen Schritten ausgewertet werden. Hierbei kann bspw. eine Selektion von Kandidatenregionen vorgenommen werden, d.h. Teilregionen des Gesichts, die für die Auswertung relevant sind, wozu im Stand der Technik bekannte Segmentierungsverfahren (wie bspw. RANSAC) eingesetzt werden können. Diese Teilregionen werden, wie auch die Körperregion als solche, durch die genannten Frameworks bzw. Module im Zeitablauf im Schritt 3010 getrackt.A body region and multiple subregions are identified at step 3005 . For example, the body region is the face, with the evaluation being carried out using the camera 185, for example. The system uses state-of-the-art algorithms to record the face (alternatively other body regions), e.g. the OpenCV, OpenPose or dlib framework, with the evaluation being carried out, e.g. by means of the visual person tracking module 112 and/or the laser-based person tracking Module 113 takes place. At least the forehead, the cheeks or the chin are recorded as partial regions, e.g. several body regions together, which are then evaluated individually and/or separately according to the steps described below. Here, for example, candidate regions can be selected, i.e. partial regions of the face that are relevant for the evaluation, for which purpose known segmentation methods (such as RANSAC) can be used. Like the body region as such, these partial regions are tracked over time in step 3010 by the frameworks or modules mentioned.

In einem optionalen Schritt 3015 erfolgt eine Ausrichtung der Kamera 185 möglichst parallel zur Region, die getrackt werden soll. Dazu kann eine Minimierung des Erfassungswinkel des Gesichts, der sich aus einer Achse ergibt, die senkrecht der das Gesicht erfassenden Kamera steht, und einer Achse, die sich senkrecht auf der Sagittalebene des Gesichts befindet, erfolgen. Hierbei ermittelt das System bspw. eine Ebene, die durch das Gesicht läuft und die im Wesentlichen parallel ist zur Draufsicht auf das Gesicht und die bspw. der Sagittalebene entspricht. Basierend bspw. auf Histogram-of-Gradients (HoG) verfügt das System über eine Klassifizierung, die die Abweichungen von dieser Draufsicht beschreiben, um damit die Neigung des Gesichts im dreidimensionalen Raum zu erfassen. In einem Aspekt nutzt das System dieses Vorgehen, um einen in die Kamera 185 des Systems blickendes Gesicht danach zu bewerten, inwieweit das Gesicht parallel zur Kameralinse ausgerichtet ist. Bei Abweichungen kann das System in einem Aspekt die Neigung der Kamera 185 im dreidimensionalen Raum durch eine entsprechende Mechanik wie eine optionale Kippeinheit 5130 anpassen, bspw. durch Ansteuerung von zwei mit orthogonal zueinander angeordneten Kippachsen, die durch Stellmotoren angetrieben werden. Unter dem Begriff Kippeinheit wird in diesem Dokument daher eine Kippeinheit mit mindestens zwei Achsen verstanden, die einerseits eine Schrägstellung der horizontalen Ebene ermöglicht und andererseits eine Rotation um die vertikale Achse. Alternativ und/oder ergänzen werden die Räder des Serviceroboters 17 derart angesteuert, dass der Serviceroboter 17 sich in Richtung der Person dreht, um die ermittelte Abweichung der Kameraebene von der Gesichtsebene zu reduzieren. In einem alternativen und/oder ergänzenden Aspekt triggert eine solche Abweichung die Sprachausgabe des Serviceroboters 17, um dem Personen Anweisungen zu erteilen, sein Gesicht entsprechend auszurichten. Dabei sind bspw. Regeln hinterlegt, die eine Ausrichtung in XY-Ebene fordern, wenn Abweichung in XY-Ebene festgestellt wurde. Abgleich der Gesichtsneigung und Ansteuerung der Kippmechanismen, der Orientierung des Serviceroboters 17 und/oder die Sprachausgabe mit Blick auf den Personen werden bspw. so lange durchgeführt, bis die Winkel zwischen der Kameraebene und der Gesichtsebene ein Minimum erreicht haben. Alternativ und/oder ergänzend kann der Erfassungswinkel der Kamera 185 im Vergleich zur Sagittalebene und ggf. auch der Transversalebene minimiert werden, was bspw. auch Fahrmanöver des Roboters 17 beinhaltet.In an optional step 3015, the camera 185 is aligned as parallel as possible to the region that is to be tracked. For this purpose, the angle of coverage of the face, which results from an axis that is perpendicular to the camera capturing the face and an axis that is perpendicular to the sagittal plane of the face, can be minimized. Here, the system determines, for example, a plane that runs through the face and that is essentially parallel to the top view of the face and that corresponds, for example, to the sagittal plane. Based, for example, on histograms of gradients (HoG), the system has a classification that describes the deviations from this plan view in order to record the inclination of the face in three-dimensional space. In one aspect, the system uses this approach to evaluate a face looking into the system's camera 185 based on how parallel the face is to the camera lens. In the event of deviations, the system can, in one aspect, adjust the inclination of the camera 185 in three-dimensional space by means of a corresponding mechanism such as an optional tilting unit 5130, e.g. by controlling two tilting axes arranged orthogonally to one another, which are driven by servomotors. In this document, the term tilting unit is therefore understood to mean a tilting unit with at least two axes, which on the one hand allows the horizontal plane to be inclined and on the other hand allows rotation about the vertical axis. Alternatively and/or additionally, the wheels of the service robot 17 are controlled in such a way that the service robot 17 turns in the direction of the person in order to reduce the determined deviation of the camera plane from the face plane. In an alternative and/or supplementary aspect, such a deviation triggers the voice output of the service robot 17 in order to instruct the person to align their face accordingly. For example, rules are stored that require alignment in the XY plane if deviations in the XY plane have been determined. Alignment of the face inclination and control of the tilting mechanisms, the orientation of the service robot 17 and/or the voice output with a view of the person are carried out, for example, until the Angles between the camera plane and the face plane have reached a minimum. Alternatively and/or additionally, the angle of coverage of the camera 185 can be minimized in comparison to the sagittal plane and possibly also the transverse plane, which also includes driving maneuvers of the robot 17, for example.

Das System ist in einem optionalen Aspekt zum Ausleuchten des Körperteils wie des Gesichts im Schritt 3020 konfiguriert. D.h. dass während einer Aufnahme durch die Kamera 185 das Gesichts (oder ein anderer Körperteil) mittels einer Belichtungsleuchte 5120 bestrahlt wird, die das aufzunehmende Körperteil der Person ausleuchtet. Dabei kommt mindestens eine Belichtungsleuchte 5120 zum Einsatz, welche sich z.B. nahe an der Kamera 185 befindet. Idealerweise befindet diese sich unterhalb und/oder oberhalb der Kamera 185, ist also vertikal um diese Kamera 185 versetzt. Bspw. wird das emittierte Licht gestreut, um eine möglichst homogene Ausleuchtung der aufzunehmenden Fläche zu gewährleisten. Eine seitliche Anordnung der Kamera 185 kann, je nach Position des Gesichts und seiner Dimensionen, möglicherweise zu einem Schattenwurf der Nase führen, der die Wangen, welche sich seitlich von der Nase befinden und deren Aufzeichnung ein überdurchschnittliches Signal-Rauschverhältnis liefern, betrifft, und damit ggf. die Auswertungsqualität verschlechtern, wäre aber möglich.In an optional aspect, the system is configured to illuminate the body part such as the face in step 3020 . That is, during a photograph by the camera 185, the face (or other body part) is irradiated by an exposure lamp 5120, which illuminates the body part of the person to be photographed. At least one exposure light 5120 is used, which is located close to the camera 185, for example. Ideally, this is below and/or above the camera 185, i.e. it is vertically offset by this camera 185. For example, the emitted light is scattered in order to ensure that the area to be recorded is illuminated as homogeneously as possible. Depending on the position of the face and its dimensions, a lateral arrangement of the camera 185 can possibly lead to a shadow being cast by the nose, which affects the cheeks, which are located to the side of the nose and the recording of which provides an above-average signal-to-noise ratio, and thus possibly worsen the evaluation quality, but would be possible.

Die eingesetzte Kamera 185 liefert für die Auswertung mindestens einen Farbkanal, darunter z.B. mindestens den grünen Farbkanal, da das hierbei emittierte Licht von Hämoglobin besonders gut absorbiert wird. In einem weiteren Aspekt liefert die Kamera 185 auch einen Farbkanal für den Farbton orange und/oder cyan. Die Farbtiefe je Kanal beträgt bspw. mindestens 8 Bit, die Bildfrequenz 30 Bilder pro Sekunde. In einem Aspekt kann es sich bei der Kamera 185 auch um eine RGB-D-Kamera 185 handelt, welche eine Tiefenerkennung neben einer Farberkennung zur Verfügung stellt, bspw. auf Basis von time-of-flight-Sensorik oder Speckle-Mustern, um darüber rhythmische, vaskuläre Blutflüsse und rhythmische, vaskuläre Ausdehnungen zu erfassen.The camera 185 used provides at least one color channel for the evaluation, including e.g. at least the green color channel, since the light emitted here is particularly well absorbed by hemoglobin. In another aspect, the camera 185 also provides a color channel for the hue of orange and/or cyan. The color depth per channel is at least 8 bits, for example, and the frame rate is 30 frames per second. In one aspect, the camera 185 can also be an RGB-D camera 185, which provides depth detection in addition to color detection, for example based on time-of-flight sensors or speckle patterns, in order to find out more to record rhythmic, vascular blood flows and rhythmic, vascular expansions.

Im ersten Schritt 3025 findet eine Signalextraktion statt. Dazu wird zunächst eine Selektion des Eingangssignals auf Basis der Videosignale der getrackten Regionen vorgenommen, was entweder eine durch die Pumprhythmen des Herzens hervorgerufene Bewegung und/oder eine Farbänderung mit Blick auf den Fluss des Bluts, insbesondere des Hämoglobins, sein kann, wodurch sich besagte rhythmische, vaskuläre Blutflüsse und/oder rhythmische, vaskuläre Ausdehnungen erfassen lassen.In the first step 3025 a signal extraction takes place. For this purpose, a selection of the input signal is first made on the basis of the video signals of the tracked regions, which can either be a movement caused by the pumping rhythms of the heart and/or a color change with regard to the flow of blood, especially hemoglobin, whereby said rhythmic , vascular blood flows and/or rhythmic, vascular expansion can be recorded.

Es findet im zweiten Schritt mit Blick auf die Rohdaten eine Farbkanalauswertung unter Einbeziehen von bekannten Informationen statt, welche Merkmale durch welchen Farbkanal abgebildet werden, sofern es sich um eine Erfassung des Blutflusses handelt. Hierunter wird insbesondere eine Gewichtung der Kanäle im Schritt 3030 verstanden. Dabei kann vornehmlich der grüne Farbkanal ausgewertet werden, der grüne und rote Farbkanal (bspw. als Differenzbetrachtung des grünen und roten Kanals), die Kombination von grün, cyan und orange, etc. Für die Erfassung der Bewegungen werden alternativ oder ergänzend die Ortsauflösung ermittelt. D.h. es werden die vertikalen und/oder horizontalen Bewegungen von erfassten Eigenschaften des Gesichts getrackt bspw. die Position des Gesichts und seiner Teilregionen im Zeitablauf erfasst und ausgewertet. Darunter fallen sowohl die Bewegungen des Kopfs als auch die einzelner Gesichtsteile.In the second step, with a view to the raw data, a color channel evaluation takes place, including known information as to which features are imaged by which color channel, provided that the blood flow is recorded. This means in particular a weighting of the channels in step 3030 . The green color channel can primarily be evaluated, the green and red color channel (e.g. as a difference consideration of the green and red channel), the combination of green, cyan and orange, etc. For the detection of the movements, the spatial resolution is determined alternatively or additionally. This means that the vertical and/or horizontal movements of recorded features of the face are tracked, e.g. the position of the face and its sub-regions are recorded and evaluated over time. This includes both the movements of the head and the individual parts of the face.

Die sich daran anschließende Signalermittlung nutzt im ersten Teilschritt (der Präprozessierung 3035) bspw. mindestens ein Filter. Dazu zählt eine Trendbereinigung (bspw. mit Skalierung und/oder Normalisierung); eine gleitende Durchschnittswert-Betrachtung, eine Hochpassfilterung; eine Bandpassfilterung, ggf. als adaptive Bandpassfilterung ausgestaltet; eine amplitudenselektive Filterung; eine Kalmanfilterung, und/oder eine kontinuierliche Wavelet-Transformation. Es können alternativ und/oder ergänzend auch eine lineare Polynomapproximation der kleinsten Quadrate zum Einsatz kommen.The subsequent signal determination uses, for example, at least one filter in the first partial step (preprocessing 3035). This includes trend correction (e.g. with scaling and/or normalization); a moving average view, high-pass filtering; a band-pass filter, possibly configured as an adaptive band-pass filter; an amplitude selective filtering; a Kalman filtering, and/or a continuous wavelet transform. Alternatively and/or additionally, a linear polynomial approximation of the least squares can also be used.

Daran schließt sich ein Signaltrennungsverfahren 3040 an, um das Signal-Rauschverhalten zu verbessern und die Zahl der zu betrachteten Merkmalsdimensionen zu reduzieren. Hierbei kann bspw. eine Hauptkomponentenanalyse oder eine Unabhängigkeitsanalyse genutzt werden, in einem Aspekt auch Verfahren des maschinellen Lernens.This is followed by a signal separation process 3040 to improve signal-to-noise performance and reduce the number of feature dimensions to consider. Here, for example, a principal component analysis or an independence analysis can be used, in one aspect also methods of machine learning.

Die Signalprozessierung 3045 umfasst die Ermittlung der Pulsrate und ggf. weiterer Größen im Rahmen einer Fouriertransformation (schnelle bspw. diskrete Fouriertransformation, insbesondere zur Ermittlung der maximalen Leistungsspektrumsdichte), autoregressiver Modelle (bspw. mittels Burg's Methode), dem Einsatz von Bandpassfiltern in Zusammenhang mit der Detektion von Maxima bspw. einer Spitzenerkennung, eine kontinuierliche Wavelet-Transformation, und/oder Modelle des Maschinellen Lernens, insbesondere des nicht-überwachten Lernens. Alternativ und/oder ergänzend kann auch eine diskrete Kosinustransformation eingesetzt werden.Signal processing 3045 includes determining the pulse rate and, if necessary, other variables as part of a Fourier transformation (fast, e.g. discrete Fourier transformation, in particular for determining the maximum power spectrum density), autoregressive models (e.g. using Burg's method), the use of bandpass filters in connection with the Detection of maxima, for example a peak detection, a continuous wavelet transformation, and/or machine learning models, in particular unsupervised learning. Alternatively and/or additionally, a discrete cosine transformation can also be used.

Im Rahmen einer Postprozessierung 3050 können ferner Verfahren zum Einsatz kommen, um bspw. Fehler durch Bewegungen des Kopfes, etc. auszugleichen, wozu wiederum Kalmanfilter, (adaptive) Bandpassfilter, eine Ausreißerdetektion, gleitende Durchschnitte, Bayes'sche Fusion und/oder Verfahren des maschinellen Lernens zum Einsatz kommen können.As part of post-processing 3050, methods can also be used to compensate for errors caused by head movements, etc., for which Kalman filters, (adaptive) bandpass filters, outlier detection, moving averages, Bayesian fusion and/or Machine learning methods can be used.

Die bis hier erfolgten Prozessierungsschritte geben bereits einen Teil der relevanten Parameter wieder wie die Pulsrate, Pulsratenvariabilität, Pulswellenlaufzeit, Pulswellenform, etc. Eine weiterführende Errechnung relevanter Parameter im Schritt 3055, bspw. erfolgt auf Basis verschiedener, im Stand der Technik beschriebener Ansätze, womit sich bspw. der systolische und diastolische Blutdruck ermitteln lässt, wozu lineare oder nichtlineare Prognoseverfahren eingesetzt werden können.The processing steps that have taken place up to this point already reflect some of the relevant parameters, such as the pulse rate, pulse rate variability, pulse transit time, pulse waveform, etc. A further calculation of relevant parameters in step 3055, for example, is based on various approaches described in the prior art, which For example, the systolic and diastolic blood pressure can be determined, for which linear or non-linear prognosis methods can be used.

Die genannten Verfahren des maschinellen Lernens, bspw. neuronale Netze wie konvolutionäre neuronale Netze, sind in der Lage, in den Daten versteckte und teils unbekannte Merkmale in den Daten zu erkennen und bei der Auswertung zu berücksichtigen, bspw. im Rahmen durchgeführter Clusteranalysen. Hierbei werden bspw. auf Basis von Trainingsdaten Gewichte für die Klassifikationen oder lineare bzw. nicht-lineare Prognosemodelle generiert, die dann im Rahmen des beschriebenen Prozesses im Produktivbetrieb eingesetzt werden. So kann bspw. als neuronales Netz ein mehrschichtiges Feed-Forward-Rückwärtspropagations-Netzwerk eingesetzt werden mit je Input-Parameter als Neuron, einem Neuron je Output, bspw. für den systolischen und diastolischen Blutdruck, das z.B. zwei verdeckte Ebenen nutzt, wobei die erste Ebene mindestens 30, die zweite mindestens 15 Neuronen umfasst.The machine learning methods mentioned, e.g. neural networks such as convolutional neural networks, are able to recognize hidden and partly unknown features in the data and to take them into account in the evaluation, e.g. in the context of cluster analyses. For example, weights for the classifications or linear or non-linear forecast models are generated on the basis of training data, which are then used in productive operation as part of the process described. For example, a multi-layer feed-forward-backward propagation network can be used as a neural network with each input parameter as a neuron, one neuron for each output, e.g. for the systolic and diastolic blood pressure, which uses e.g. two hidden levels, the first Level at least 30, the second at least 15 neurons.

Die ermittelten Werte für die Pulsrate, Pulsratenvariabilität und ggf. weiterer Werte, ggf. nach erfolgter Postprozessierung, werden in einem Aspekt mit im Speicher 10 abgelegten Werten im Schritt verglichen und daraus basierend die Pulsrate, Pulsratenvariabilität, bzw. weitere Größen ermittelt, insbesondere auch der systolische und diastolische Blutdruck.In one aspect, the determined values for the pulse rate, pulse rate variability and possibly other values, possibly after post-processing has taken place, are compared with values stored in memory 10 in step and the pulse rate, pulse rate variability and other variables are determined based on this, in particular also the systolic and diastolic blood pressure.

Die Filterung im Rahmen der Prä- und Postprozessierung ist abhängig von den zu detektierenden Größen ab. Für die Pulsamplitude kann, in einem Aspekt, ein Bandpassfilter genutzt werden, der das Spektrum 0-6 Herz abdeckt, bspw. mindestens 0,7-4,5 Hz. In einem Aspekt kann das Signal des Pulses in diesem Frequenzbereich auch enger gesampelt werden, bspw. mit einem Fenster von 0,1 Hz. Anschließend kann eine Glättung durch einen Tiefpassfilter erfolgen. Die Pulsrate, Herzrate bzw. Pulsfrequenz oder Herzfrequenz kann bspw. mittels eines Bandpassfilters prozessiert werden, der eine Breite zwischen 0,7 und 4 Hz hat. Um die Pulsratenvariabilität zu ermitteln, ist wiederum ein Bandpassfilter mit einem Fenster zwischen 0 und 0,4 Hz einsetzbar, in einem Aspekt gesampelt mit Abständen von 0,02 Hz. Die Pulswellenlaufzeit kann durch Vergleich der Werte von mindestens zwei erfassten Regionen erfolgen, wobei eine Bandbreite zwischen 0,5 und bspw. 6 Hz ausgewertet werden kann, in einem Aspekt gesampelt in Intervalle von 0,1 Hz. Durch den Vergleich der Werte mehrerer Regionen lässt sich damit die Pulswellenlaufzeit ermitteln. Die Pulsform ergibt sich aus einem ungesampelten Verlauf im Spektralfenster von ca. 0-6 Hz, bspw. charakterisiert durch die Fläche unter der Kurve, die Höhe und/oder Breite. Die Pulsenergie ergibt sich aus der ersten Ableitung dieser Werte.The filtering as part of the pre- and post-processing depends on the variables to be detected. The pulse amplitude can, in one aspect, use a bandpass filter covering the 0-6 Hz spectrum, e.g. at least 0.7-4.5 Hz. In one aspect, the signal of the pulse can also be more narrowly sampled in this frequency range , e.g. with a window of 0.1 Hz. Smoothing can then be carried out using a low-pass filter. The pulse rate, heart rate or pulse frequency or heart frequency can be processed, for example, by means of a bandpass filter that has a width between 0.7 and 4 Hz. In order to determine the pulse rate variability, a bandpass filter with a window between 0 and 0.4 Hz can be used, sampled with intervals of 0.02 Hz in one aspect Bandwidth between 0.5 and e.g. 6 Hz can be evaluated, in one aspect sampled at intervals of 0.1 Hz. By comparing the values of several regions, the pulse wave propagation time can be determined. The pulse shape results from an unsampled course in the spectral window of approx. 0-6 Hz, characterized for example by the area under the curve, the height and/or width. The pulse energy results from the first derivative of these values.

So kann der Blutdruck bspw. mittels eines linearen Modells aus der Pulswellenlaufzeit und der Puls- bzw. Herzrate sowie dem vorangegangenen Blutdruckwert ermittelt werden, für lineare Regressionsmodelle oder neuronale Netze verwendet werden können. Anstelle eines vorangegangenen Blutdruckwerts lassen sich bspw. auch die Form der gemessenen Pulse auswerten, z.B. indem die Differenzen zwischen der Pulskurve und der durch den Maximalwert verlaufenden Senkrechten ermittelt werden.For example, the blood pressure can be determined using a linear model from the transit time of the pulse wave and the pulse or heart rate as well as the previous blood pressure value, for which linear regression models or neural networks can be used. Instead of a previous blood pressure value, the shape of the measured pulses can also be evaluated, e.g. by determining the differences between the pulse curve and the vertical line running through the maximum value.

Das System zur Blutdruckermittlung wird, wie in 5 dargelegt, wie folgt illustriert: Das System zur Ermittlung kardiovaskulärer Parameter einer Person, in einem Aspekt ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und eine Kamera 185 (z.B. eine 2D und/oder 3D-Kamera) sowie weiterhin ein Körperregions-Detektions-Modul 4810 zur Detektion von Körperregionen, ein Körperregion-Tracking-Modul 4815, ein Gesichtserkennungs-Modul 5005, ein Gesichts-Kandidatenregion-Modul 5010 und ein kardiovaskuläre-Bewegungen-Modul 5110 zur Erfassung von Bewegungen, die auf kardiovaskuläre Aktivitäten zurückzuführen sind. Die Kamera 185 (in einem Aspekt identisch mit dem Sensor zur berührungslosen Erfassung einer Person 3) stellt mindestens den grünen Farbkanal mit 8 Bit zur Verfügung. Das System weist außerdem eine Belichtungsleuchte 5120 auf, um das Gesicht während der Aufzeichnung durch die Kamera 185 auszuleuchten, die sich bspw. oberhalb und/oder unterhalb von der Kamera 185 befindet. Das System verfügt über ein Blutdruck-Ermittlungs-Modul 5125 zur Ermittlung des systolischen oder diastolischen Blutdrucks 5125 und/oder bspw. über eine Kippeinheit 5130, um den Erfassungswinkel der Kamera 185 im Vergleich zur Sagittalebene zu minimieren. Dazu verfügt das System bspw. über Regeln, um bspw. eine senkrechte Linie zwischen die Augen der erfassten Person zu legen, so dass der Kopf in zwei Hälften geteilt wird. Es erfolgt eine Segmentierung des Gesichts, wobei über die einzelnen Segmente histograms-of-gradients gelegt werden. Sofern diese eine (spiegelverkehrte) Ähnlichkeit aufweisen, die unter einem Schwellwert liegt, wird das Gesicht als senkrecht erfasst wahrgenommen. Die Kamera 185 kann nun über eine optionale Kipp-Einheit 5130 so angesteuert werden, dass während der Ansteuerung dieser Vergleich der spiegelverkehrten Gesichtshälften über die histograms-of-gradients vorgenommen wird und die Kamera so positioniert wird, dass diese Schwellwerte der histograms-of-gradients unterschritten werden. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, ein visuelles Personentracking-Modul 112, Bewegungsauswertungsmodul 120, ggf. ein Skelett-Erstellungs-Modul 5635 und ggf. ein skelettmodell-basiertes-Merkmalsextraktions-Modul 5640 und/oder einen Bewegungsplaner 104.The system for determining blood pressure is, as in 5 set out, illustrated as follows: The system for determining cardiovascular parameters of a person, in one aspect a service robot 17, comprises a computer 9, a memory 10 and a camera 185 (e.g. a 2D and/or 3D camera) and also a body region detection module 4810 for detecting body regions, a body region tracking module 4815, a face recognition module 5005, a face candidate region module 5010, and a cardiovascular movement module 5110 for detecting movements attributable to cardiovascular activity. The camera 185 (identical in one aspect to the sensor for non-contact detection of a person 3) provides at least the 8-bit green color channel. The system also includes an exposure light 5120 to illuminate the face during recording by the camera 185 located, for example, above and/or below the camera 185. The system has a blood pressure determination module 5125 for determining the systolic or diastolic blood pressure 5125 and/or, for example, a tilting unit 5130 in order to minimize the angle of coverage of the camera 185 compared to the sagittal plane. For this purpose, the system has rules, for example, to place a vertical line between the eyes of the person detected, so that the head is divided into two halves. The face is segmented, with histograms of gradients being placed over the individual segments. If these show a (mirror-inverted) similarity that is below a threshold value, the face is perceived as vertical. The camera 185 can now be connected to an optional tilting unit 5130 be controlled in such a way that during the control this comparison of the mirror-inverted halves of the face is carried out via the histograms-of-gradients and the camera is positioned in such a way that these threshold values of the histograms-of-gradients are not reached. In one aspect, the system has a person recognition module 110, person identification module 111, a visual person tracking module 112, movement evaluation module 120, optionally a skeleton creation module 5635 and optionally a skeleton model-based feature extraction module 5640 and/or a movement planner 104

Abweichend von einer optischen Erfassung der Vitalparameter ist auch eine Erfassung der Vitalparameter mittels Radar möglich. Dabei wird, in einem Aspekt und wie oben geschildert, eine Körperregion identifiziert und bspw. auch getrackt, in der die Vitaldatenerfassung vorgenommen wird,In contrast to an optical detection of the vital parameters, it is also possible to detect the vital parameters using radar. In one aspect and as described above, a body region is identified and tracked, for example, in which the vital data is recorded,

Triggern von Verkörperungselementen auf Basis von kardiovaskulären IndikatorenTriggering embodiment elements based on cardiovascular indicators

Der Serviceroboter 17 errechnet die Pulsrate bzw. Pulsfrequenz, Herzfrequenz oder einen anderen, kardiovaskulären Parameter einer Person, mit der der Serviceroboter 17 interagiert, indem der Serviceroboter 17 den Parameter mit dem beschriebenen System durch Aufzeichnung und Auswertung des Gesichts und der darin sich widerspiegelnden kardiovaskulären Bewegungen der Gesichtsoberfläche und/oder des Kopfs und/oder vaskulärer Blutströme unter der Haut ermittelt, wie das bspw. oben beschrieben wurde. Alternativ erhält der Serviceroboter Vitaldaten und/oder Bewegungsdaten vom tragbaren Sensor 201, der bspw. auch ein Elektrokardiogramm (EKG) erstellen kann.The service robot 17 calculates the pulse rate or pulse frequency, heart rate or another cardiovascular parameter of a person with whom the service robot 17 interacts, in that the service robot 17 uses the system described to record and evaluate the parameter by recording and evaluating the face and the cardiovascular movements reflected therein the facial surface and/or the head and/or vascular blood flows under the skin are determined, e.g. as described above. Alternatively, the service robot receives vital data and/or movement data from the portable sensor 201, which can also create an electrocardiogram (ECG), for example.

Alternativ und/oder ergänzend zum mindestens einen kardiovaskulären Parameter kann der Serviceroboter 17 mittels der Kamera 185 oder mittels des Ultraschall- und/oder Radarsensors 194 den Brustkorb einer Person identifizieren und auch tracken, was bspw. mittels eines Frameworks wie OpenPose, OpenCV, etc. erfolgen kann, bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Dabei können bspw. Skelettmodell-Gelenkpunkte aus dem Skelett-Erstellungsmodul 5635 genutzt werden, um Körperregionen zu identifizieren, die danach ausgewertet werden sollen. So kann bspw. der Oberkörper über die Schultergelenkpunkte und die Hüftgelenkpunkte identifiziert werden, indem die Fläche, die sich aus diesen Punkten ergibt, ermittelt wird und dann der obere Bereich dieser Fläche, bspw. die oberen 50%, als Brustbereich definiert wird. Dieser Ansatz kann alternativ oder ergänzend durch die Auswertung von Tiefeninformationen ergänzt werden, welche die äußere Hülle einer Person wiedergeben. Kamera 185 und die beiden Personentracking-Module 112 und 113, ggf. aber auch andere Sensoren wie der LIDAR 1, werden auch als Personenerfassungs- und Trackingeinheit 4605 bezeichnet. Mit dieser Personenerfassungs- und Trackingeinheit 4605 kann der Serviceroboter 17 Bewegungen einer Person im Zeitablauf erfassen, die bspw. eine Atmung wiedergeben. Diese Erfassung umfasst im Fall, dass die Person sich in etwa frontal vor dem Serviceroboter befinden sollte, sowohl Bewegungen in horizontaler Richtung als auch in der Tiefe. Diese Bewegungen können bspw. mittels eines Bandpassfilters mit einem Fenster von 0,005 bis 0,125 Hz, mindestens 0,05 bis 0,08 Hz, und subsequenter schneller Fouriertransformation ermittelt werden. Darüber lässt sich die Atemfrequenz ermitteln.As an alternative and/or in addition to the at least one cardiovascular parameter, the service robot 17 can use the camera 185 or the ultrasonic and/or radar sensor 194 to identify and track a person's chest, which can be done, for example, using a framework such as OpenPose, OpenCV, etc. can be done, e.g. by means of the visual person tracking module 112 and/or the laser-based person tracking module 113. For example, skeleton model joint points from the skeleton creation module 5635 can be used to identify body regions that are then to be evaluated. For example, the upper body can be identified via the shoulder joint points and the hip joint points by determining the area that results from these points and then defining the upper area of this area, e.g. the upper 50%, as the chest area. Alternatively or additionally, this approach can be supplemented by evaluating depth information that reflects the outer shell of a person. Camera 185 and the two person tracking modules 112 and 113, but possibly also other sensors such as LIDAR 1, are also referred to as person detection and tracking unit 4605. With this person detection and tracking unit 4605, the service robot 17 can detect movements of a person over time, which reflect breathing, for example. In the event that the person should be located approximately frontally in front of the service robot, this detection includes both movements in the horizontal direction and in the depth. These movements can be determined, for example, using a bandpass filter with a window of 0.005 to 0.125 Hz, at least 0.05 to 0.08 Hz, and subsequent fast Fourier transformation. This can be used to determine the respiratory rate.

Ist der Brustbereich der Person durch Kleidung bedeckt und somit bspw. die direkte Erfassung des Brustkorbs erschwert, kann die Ermittlung der Atemfrequenz bspw. in Anlehnung an Martinez et al. 2017, „Breathing Rate Monitoring during Sleep from a Depth Camera under Real-Life Conditions, 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), 24-31 March 2017 (DOI: 10.1109/WACV.2017.135) erfolgen. Dabei wird eine Interferenzreduktion 2980 vorgenommen, was die Detektion von Bewegungen angeht, die durch mit Stoff verdeckt sind, also vornehmlich des Oberkörpers/Bauch. Interferenzen, die durch unterschiedliche Phasen der erfassten Bewegungen des Stoffs entstehen und die eigentlichen Atembewegungen in ihrer Detektion erschweren, werden durch die Ermittlung des Leistungsdichtespektrums eliminiert, was die Erfassung der Bewegungen des Brustkorbs erleichtert. Dabei wird für jeden im Zeitablauf erfassten Pixel im dreidimensionalen Raum das Leistungsdichtespektrum bspw. mittels einer schnellen Fourier-Transformation (FFT) im Schritt 2982 ermittelt, dann die Leistungsdichtespektren für alle Pixel im Schritt 2984 aggregiert und das Maximum über quadratische Interpolation im Schritt 2986 ermittelt, wobei die Position des Maximums die Atemfrequenz im Schritt 2988 angibt. Diese wird anschließend mit Blick auf Frequenzänderungen gemonitort 2990. Die anschließende Merkmalsklassifizierung im Schritt 2992 basiert auf einer Klassifikation, die durch die Aufzeichnung von Atembewegungen generiert wurde, wozu Standard-Klassifikationsverfahren und/oder neuronale Netze eingesetzt werden können. Eine Darstellung dieser Abläufe findet sich in 6.If the person's chest area is covered by clothing, making direct detection of the chest difficult, for example, the respiratory rate can be determined, for example based on Martinez et al. 2017, "Breathing Rate Monitoring during Sleep from a Depth Camera under Real-Life Conditions, 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), 24-31 March 2017 (DOI: 10.1109/WACV.2017.135). In this case, an interference reduction 2980 is carried out with regard to the detection of movements that are covered by fabric, that is to say primarily of the upper body/stomach. Interferences, which are caused by different phases of the recorded movements of the substance and make the actual respiratory movements more difficult to detect, are eliminated by determining the power density spectrum, which makes it easier to record the movements of the chest. The power density spectrum for each pixel recorded over time in the three-dimensional space is determined, for example using a fast Fourier transformation (FFT) in step 2982, then the power density spectra for all pixels are aggregated in step 2984 and the maximum is determined using quadratic interpolation in step 2986, where the position of the maximum indicates the respiratory rate in step 2988. This is then monitored 2990 with a view to frequency changes. The subsequent feature classification in step 2992 is based on a classification that was generated by recording breathing movements, for which purpose standard classification methods and/or neural networks can be used. A description of these processes can be found in 6 .

Die ermittelte Puls- oder Atemfrequenz (ggf. auch Herzrate oder andere, kardiovaskuläre Parameter) der vom Roboter erfassten Person werden genutzt, um Bewegungen oder Signalisierungen des Serviceroboters 17 mit den genannten Parametern der Person zu synchronisieren. In einem Aspekt kann diese Synchronisation bspw. zur Beruhigung der Person eingesetzt werden, deren Parameter durch den Serviceroboter 17 gespiegelt werden.The determined pulse or respiratory rate (possibly also heart rate or other cardiovascular parameters) of the person detected by the robot are used to synchronize movements or signals from the service robot 17 with the named parameters of the person. In one aspect This synchronization can be used, for example, to calm down the person whose parameters are mirrored by the service robot 17 .

Die Bewegungen und/oder Signalisierungen des Serviceroboters 17 erfolgen in einem Aspekt über Verkörperungselemente, d.h. solche Elemente, die eine Person zumindest anteilig nachbilden wie bspw. einen stilisierten Kopf darstellen oder Teile davon wie stilisierte Augen, Mund etc. So kann bspw. das Blinzeln stilisierter Augen angepasst werden. Stilisiert heißt bspw., dass es sich mit Blick auf Augen um in Hardware implementierte Augen handeln kann, bspw. Kugeln mit aufgedruckten Kreisen und Halbkugeln, die mechanisch die aufgedruckten Kreise auf den Kugeln verdecken können. Die Augen können alternativ auch auf einem Display dargestellt werden, bspw. in Form von Kreisen, usw. Mit Blick auf einen Mund kann dieser bspw. wie bei einem Smilie über einen Strich definiert sein, der unterschiedliche Orientierungen und/oder Krümmungen einnehmen kann. Alternativ und/oder ergänzend kann für den Fall, dass der Serviceroboter 17 über einen stilisierten und beweglichen Brustkorb verfügt, auch dessen Bewegungsfrequenz angepasst werden. In einem alternativen oder ergänzenden Aspekt sind die Verkörperungselemente bspw. durch eine blinkende Leuchte 200 des Serviceroboters 17 implementiert, bspw. eine LED, die in einem Aspekt rot sein kann und die damit ein Herz stilisiert. Diese Leuchte 200 befindet sich bspw. im Inneren des Serviceroboters 17 oder auf dessen Oberfläche, wobei sie nicht notwendigerweise sich in dem Bereich befinden muss, den ein Mensch bei einem verkörperten Serviceroboter als Brustbereich ansehen muss. Sie kann sich damit auch im oberen oder unteren Bereich des Serviceroboters 17 befinden. Sie kann neben dem Herzschlag auch die Atmung stilisieren. Befindet sie sich im Inneren des Serviceroboters 17, so ist deren Licht von außen zu erkennen. Dazu kann die Oberfläche des Serviceroboters 17 bspw. zumindest anteilig transparent sein. In einem alternativen und/oder ergänzenden Aspekt wird der Farbton oder die Helligkeit eines Displays variiert, um einen Herzschlag oder eine Atmung zu stilisieren.The movements and/or signals of the service robot 17 take place in one aspect via embodiment elements, i.e. elements that at least partially reproduce a person, such as a stylized head or parts of it such as stylized eyes, mouth, etc. For example, blinking can be more stylized eyes to be adjusted. Stylized means, for example, that with regard to eyes, eyes can be implemented in hardware, for example spheres with circles and hemispheres printed on them, which can mechanically cover the circles printed on the spheres. Alternatively, the eyes can also be shown on a display, for example in the form of circles, etc. Looking at a mouth, this can be defined by a line, for example like a smiley, which can assume different orientations and/or curvatures. Alternatively and/or additionally, if the service robot 17 has a stylized and movable chest, its movement frequency can also be adjusted. In an alternative or supplementary aspect, the embodiment elements are implemented, for example, by a flashing light 200 of the service robot 17, for example an LED, which in one aspect can be red and which thus stylizes a heart. This lamp 200 is located, for example, inside the service robot 17 or on its surface, whereby it does not necessarily have to be located in the area that a human being must see as the chest area of an embodied service robot. It can therefore also be located in the upper or lower area of the service robot 17 . In addition to the heartbeat, it can also stylize breathing. If it is inside the service robot 17, its light can be seen from the outside. For this purpose, the surface of the service robot 17 can be at least partially transparent, for example. In an alternative and/or supplemental aspect, the hue or brightness of a display is varied to stylize a heartbeat or breathing.

Bewegungssynchronisation heißt in dem Fall, dass der Serviceroboter 17 die beschriebenen Bewegungen und/oder Signalisierungen an die der Person anpasst, indem die Signalisierungsfrequenz der stilisierten Verkörperungselemente in etwa der gemessenen Frequenz der Vitalparameter wie Atmung, Puls, Herzschlag usw. entspricht. Dies erfolgt bspw. nicht nur statisch, sondern dynamisch, d.h. im Zeitverlauf. Alternativ kann Bewegungssynchronisation auch heißen, dass der Serviceroboter 17 nicht die exakt gleiche Frequenz wählt, die für die Person ermittelt wurde, sondern eine niedrigere Frequenz. Dabei kann diese Frequenz im Zeitverlauf nachgeführt werden, d.h. die Differenz wird im Zeitverlauf etwa konstant gehalten. Dabei kann der Serviceroboter auch die Frequenz der Bewegungen / Signalisierungen im Zeitverlauf reduzieren. Dies kann bspw. dann der Fall sein, wenn die Person über eine überdurchschnittlich hohe Puls- oder Atemfrequenz verfügt, die bspw. auf hohe Nervosität hindeutet (alternativ andere, ermittelte Parameter, die auf hohe Nervosität hindeuten). Dabei kann der Serviceroboter durch Wahl einer Bewegungsfrequenz bzw. Leuchtfrequenz (Oszillationsfrequenz) von bspw. den stilisierten Augen, Brustkorb, Leuchte 200 oder weiterer Elemente, eine Frequenz wählen, die kleiner ist als die der Person, und die der Serviceroboter 17 im Zeitverlauf reduziert. Damit kann der Serviceroboter 17 zu einer Beruhigung der Person beitragen. Der Serviceroboter 17 ermittelt dabei bspw. die Pulsfrequenz der Person im Zeitablauf und reduziert ggf. solange seine Bewegungsfrequenz bzw. Leuchtfrequenz, bis die Person ebenfalls eine übliche Pulsfrequenz vorweist, wobei die übliche Pulsfrequenz im Speicher 10 des Serviceroboters 17 hinterlegt sein kann. Dabei kann die Differenz zwischen der erfassten der Pulsfrequenz und der Bewegungsfrequenz/Leuchtfrequenz des Serviceroboters 17 in etwa konstant bleiben. Dies geschieht durch die Ermittlung einer Frequenzbandbreite um die ermittelte Bewegungsfrequenz der Person, was bspw. die Atmungsfrequenz, Herzschlag- oder Pulsfrequenz umfasst.In this case, movement synchronization means that the service robot 17 adapts the described movements and/or signals to those of the person by the signaling frequency of the stylized embodiment elements approximately corresponding to the measured frequency of the vital parameters such as respiration, pulse, heartbeat, etc. This occurs, for example, not only statically, but dynamically, i.e. over time. Alternatively, movement synchronization can also mean that the service robot 17 does not choose exactly the same frequency that was determined for the person, but a lower frequency. This frequency can be tracked over time, i.e. the difference is kept approximately constant over time. The service robot can also reduce the frequency of movements / signaling over time. This can be the case, for example, if the person has an above-average pulse or breathing rate, which indicates, for example, high levels of nervousness (alternatively, other determined parameters that indicate high levels of nervousness). By selecting a movement frequency or lighting frequency (oscillation frequency) of, for example, the stylized eyes, chest, lamp 200 or other elements, the service robot can choose a frequency that is lower than that of the person, and which the service robot 17 reduces over time. The service robot 17 can thus contribute to calming down the person. The service robot 17 determines, for example, the pulse rate of the person over time and, if necessary, reduces its movement frequency or lighting frequency until the person also has a normal pulse rate, in which case the normal pulse rate can be stored in the memory 10 of the service robot 17. The difference between the detected pulse frequency and the movement frequency/lighting frequency of the service robot 17 can remain approximately constant. This is done by determining a frequency bandwidth around the determined movement frequency of the person, which includes, for example, the respiratory rate, heartbeat or pulse rate.

Die Erfassung der Pulsrate bzw. Pulsfrequenz, Herzrate bzw. Herzfrequenz und/oder Atmung bzw. Atemfrequenz erfolgt mittels einer Bewegungsfrequenzermittlungseinheit 4606, die bspw. aus der Kamera 185 und an anderer Stelle in diesem Dokument beschriebenen computerimplementierten Verfahren zur Ermittlung der Pulsrate bzw. Pulsfrequenz, Herzrate bzw. Herzfrequenz und/oder Atmung bzw. Atemfrequenz, wobei aber auch andere Bewegungen der Person denkbar sind. Die Parameter für Puls, Herz und/oder Atem werden konkret durch eine Puls-Atem-Auswertungseinheit 4615 erfasst und ausgewertet. Insbesondere die Atmung wird über eine Bewegungssignalerfassungs- und Verarbeitungseinheit 4620 erfasst und ausgewertet, welche Hintergrundsignale des Körpers von denen der Bekleidung unterscheidet. Hierzu sind an anderer Stelle in diesem Dokument mit Blick auf die Signalverarbeitung Details genannt. Die genannten stilisierten Gesichter oder Gesichtselemente, Köpfe, Rümpfe oder Brustkörbe, Herz, Leuchte(n) 200, werden auch als stilisierte Verkörperungselemente 4625 bezeichnet. Diese werden durch eine Initialisierungseinheit 4607 mit einer bestimmten Frequenz bewegt bzw. angesteuert. Dies kann, je nach Art des stilisierten Verkörperungselements, unterschiedliche erfolgen. Augenbewegungen auf einem Display können bspw. rein softwarebasiert implementiert, während andere stilisierte Verkörperungselemente 4625 bspw. Stellmotoren bedürfen, die bspw. Augenlider bewegen oder einen stilisierten Brustkorb bewegen. In einem Aspekt verfügt das System weiterhin über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112, 113) und/oder Bewegungsauswertungsmodul 120. In einem optionalen Aspekt verfügt das System über einen tragbaren Sensor 201 wie bspw. eine Smartwatch, die bspw. von der durch den Roboter sensorisch erfassten Person getragen wird. Dieser kann, in einem Aspekt, die Puls-Atem-Auswertungseinheit 4615 und/oder Bewegungssignalerfassungs- und Verarbeitungseinheit 4620 beinhalten. Ein Überblick über die Komponenten des Systems ist in 7 dargelegt. In einem Aspekt kann das System auch gemeinsam mit einem Skelett-Erstellungs-Modul 5635, skelettmodell-basierten Merkmalsextraktions-Modul 5460, mglw. auch Gangmerkmalsextraktions-Modul 5605, Gangmerkmalsklassifizierungs-Modul 5610 und Gangablaufklassifizierungs-Modul 5615 eingesetzt werden, um die Frequenz der Parameter der Person während des Gehens oder einer anderen Fitness-Übung zu monitoren.The pulse rate or pulse rate, heart rate or heart rate and/or respiration or respiratory rate is detected by means of a movement frequency determination unit 4606, which, for example, from the camera 185 and computer-implemented methods for determining the pulse rate or pulse frequency described elsewhere in this document, Heart rate or heart rate and/or respiration or respiratory rate, although other movements of the person are also conceivable. The parameters for pulse, heart and/or respiration are specifically recorded and evaluated by a pulse-respiration evaluation unit 4615 . Breathing in particular is recorded and evaluated via a movement signal detection and processing unit 4620, which distinguishes background signals from the body from those from the clothing. Details are given elsewhere in this document with a view to signal processing. Said stylized faces or facial elements, heads, trunks or chests, heart, lamp(s) 200 are also referred to as stylized embodiment elements 4625. These are moved or controlled by an initialization unit 4607 with a specific frequency. Depending on the type of stylized embodiment element, this can take place in different ways. Eye movements on a display, for example, can be implemented purely based on software, while other stylized embodiment elements 4625, for example, servomotors require, for example, move eyelids or move a stylized chest. In one aspect, the system also has a person recognition module 110, person identification module 111, tracking module (112, 113) and/or motion evaluation module 120. In an optional aspect, the system has a wearable sensor 201 such as a smartwatch, e.g is worn by the robot sensory detected person. In one aspect, this can include the pulse-breath evaluation unit 4615 and/or the movement signal acquisition and processing unit 4620 . An overview of the components of the system is in 7 set forth. In one aspect, the system can also be used together with a skeleton creation module 5635, skeleton model-based feature extraction module 5460, possibly. gait feature extraction module 5605, gait feature classification module 5610, and gait progression classification module 5615 may also be employed to monitor the frequency of the subject's parameters during walking or other fitness exercise.

Der Ablauf stellt sich nach 8 wie folgt dar: Es erfolgt eine Erfassung von Bewegungen und/oder Vitalparametern einer Person (Schritt 6000), was bspw. Puls-, Herzrate oder Atemfrequenz umfasst. Die erfassten Bewegungen und/oder Vitalparameter der Person werden getrackt, d.h. im Zeitablauf erfasst (Schritt 6005). In einem optionalen Aspekt 6010 erfolgt eine Bandpassfilterung der erfassten Parameter und eine Fouriertransformation 6015 der erfassten Parameter. (Damit) erfolgt eine Ermittlung der Frequenz der Bewegungen und/oder Vitalparameter (Schritt 6020). Es erfolgt eine optionale Ermittlung einer Bandbreite 6025 um die ermittelte Frequenz, bspw. basierend auf einer in einem Speicher (z.B. 10) abgelegten Tabelle, die ermittelten Frequenzen Bandbreiten zuordnet. Die von der Initialisierungseinheit (4607) initiierte Bandbreite der Frequenz von der ermittelten Frequenz der Person kann sich bspw. in einem Intervall von 50% nach unten und/oder oben oder in einem Intervall von weniger als 15% nach unten und/oder oben bewegen, bspw. um weniger als 5% nach unten und 0% nach oben. Weiter erfolgt eine Bewegung und/oder Ansteuerung 6030 stilisierter Verkörperungselemente, bspw. mit einer Frequenz, die innerhalb der ermittelten Bandbreite liegt, die der ermittelten Frequenz entspricht, etc. Dies kann bspw. das Oszillieren einer Leuchte 200 umfassen, die Bewegung von Augen eines Serviceroboters 17, etc. Es erfolgt in einem optionalen Aspekt eine Absenkung 6035 der Ansteuerungsfrequenz, bspw. bis zu einem Schwellwert, der in einem Speicher (z.B. 10) abgelegt ist. Dabei kann, in einem Aspekt, ein Konstanthalten der Differenz zwischen ermittelter und angesteuerter Frequenz erfolgen (Schritt 6040). Alternativ und/oder ergänzend kann die Ansteuerungsfrequenz niedriger gehalten werden als die erfasste Frequenz der Bewegungen und/oder Vitalparameter der Person.The process follows 8th as follows: Movements and/or vital parameters of a person are recorded (step 6000), which includes, for example, pulse rate, heart rate or respiratory rate. The recorded movements and/or vital parameters of the person are tracked, ie recorded over time (step 6005). In an optional aspect 6010, the detected parameters are bandpass filtered and the detected parameters are Fourier transformed 6015 . (Thus) the frequency of the movements and/or vital parameters is determined (step 6020). There is an optional determination of a bandwidth 6025 around the determined frequency, for example based on a table stored in a memory (eg 10) which assigns determined frequencies to bandwidths. The bandwidth of the frequency initiated by the initialization unit (4607) from the determined frequency of the person can, for example, move downwards and/or upwards in an interval of 50% or downwards and/or upwards in an interval of less than 15%, e.g. less than 5% down and 0% up. Furthermore, there is a movement and/or activation 6030 of stylized embodiment elements, e.g. with a frequency that lies within the determined bandwidth, which corresponds to the determined frequency, etc. This can include, for example, the oscillation of a lamp 200, the movement of the eyes of a service robot 17, etc. In an optional aspect, the control frequency is lowered 6035, for example down to a threshold value that is stored in a memory (eg 10). In this case, in one aspect, the difference between the determined and the controlled frequency can be kept constant (step 6040). Alternatively and/or additionally, the activation frequency can be kept lower than the recorded frequency of the movements and/or vital parameters of the person.

Beispiel 1: Verfahren zur berührungslosen Erfassung von Vitalparametern einer PersonExample 1 Method for non-contact recording of a person's vital parameters

In einem Aspekt verfügt der Serviceroboter 17 über im Speicher 10 abgelegte Regeln zur Durchführung eines computer-implementierten Verfahrens zum Auslösen von Ereignissen basierend auf der Beobachtung einer Person und von dieser Person ermittelten Vitaldaten. Hierzu auch 9: In einem ersten Schritt 9000 erfolgt die Erfassung und das Tracking einer Person. Dabei wird in einem Folgeschritt 9010 eine Körperregion erfasst und getrackt, von der Vitaldaten erfasst werden sollen, die dann im Folgeschritt 9020 erfasst werden. Parallel dazu, in einem optionalen Schritt 9015, werden Körperbewegungen der Person erfasst (bspw. mittels Auswertung von Daten eines Skelettmodells über das Skelett-Erstellungs-Modul 5635) und es findet ein optionaler Abgleich der erfassten Vitaldate und der erfassten Körperbewegungen im optionalen Schritt 9025 statt. Durch diese Kombination der Daten kann bspw. erkannt werden, ob eine Überlastung der Person stattfindet, indem also einerseits eine Bewegung der Person ausgewertet wird (bspw. während eines Tests oder einer Übung), andererseits Vitaldaten wie bspw. der Puls. Dabei kann durch die Korrelation dieser Daten, ggf. zeitlich versetzt (also zunächst Ermittlung von Bewegungen im Zeitverlauf und dann zeitlich nachfolgend ein Anstieg des Pulses der Person) der Serviceroboter 17 den Schluss ziehen, dass der Pulsanstieg durch die Bewegungsintensität der Person hervorgerufen wurde. Dies kann bspw. zum optionalen Schritt 9050 führen, der Ermittlung des Sturzrisikos der Person. Hierbei handelt es sich bspw. um ein akutes Sturzrisiko, bspw. durch einen plötzlichen Abfall des Blutdrucks verursacht. Darauf basierend kann ein Ereignis ausgelöst werden (Schritt 9060), wobei dieses Ereignis auch ohne Auslösen des Schritts 9050 erreicht werden kann. In einem optionalen Aspekt werden die erfassten Vitalparameter aus Schritt 9020 im optionalen Schritt 9030 dahingehend ausgewertet, dass eine Schwellwertermittlung erfolgt basierend auf erfassten Parametern. Das kann in einem Aspekt so erfolgen, dass Vitalparameter im Zeitablauf, d.h. dynamisch, erfasst werden und aus dem Anstieg der Kurve, die die erfassten Parameter im Zeitablauf darstellen, ein Schwellwert für einen definierten Gradienten ermittelt wird, wobei der Schwellwert dann in der Einheit des ermittelten Vitalparameters angegeben wird. Es kann, alternativ und/oder ergänzend, auch eine Mittelwertbildung des Vitalparameters über einen definieren Zeitraum vorgenommen werden und dann dieser Wert als Schwellwert herangezogen werden, oder dieser Mittelwert mit dem Schwellwert verglichen werden. In einem weiteren Schritt 9040 werden erfasste Vitalparameter mit dem Schwellwert verglichen (Schritt 9040) und bei Über- oder Unterschreiten des Schwellwerts wird optional ein Sturzrisiko ermittelt (Schritt 9050), gefolgt vom Auslösen eines Ereignisses (Schritt 9060).In one aspect, the service robot 17 has rules stored in the memory 10 for carrying out a computer-implemented method for triggering events based on the observation of a person and vital data determined by this person. For this too 9 : In a first step 9000, a person is recorded and tracked. In a subsequent step 9010, a body region is recorded and tracked from which vital data are to be recorded, which are then recorded in the subsequent step 9020. In parallel, in an optional step 9015, body movements of the person are recorded (e.g. by evaluating data from a skeleton model via the skeleton creation module 5635) and an optional comparison of the recorded vital data and the recorded body movements takes place in the optional step 9025 . This combination of data makes it possible, for example, to identify whether the person is overloaded by evaluating a person’s movement (e.g. during a test or exercise) on the one hand, and vital data such as the pulse on the other. By correlating this data, possibly with a time delay (i.e. first determining movements over time and then subsequently an increase in the person’s pulse), the service robot 17 can draw the conclusion that the increase in pulse was caused by the intensity of movement of the person. This can lead, for example, to the optional step 9050 of determining the person's risk of falling. This is, for example, an acute risk of falling, caused, for example, by a sudden drop in blood pressure. Based on this, an event can be triggered (step 9060), whereby this event can also be reached without triggering step 9050. In an optional aspect, the recorded vital parameters from step 9020 are evaluated in optional step 9030 such that a threshold value is determined based on recorded parameters. In one aspect, this can be done in such a way that vital parameters are recorded over time, i.e. dynamically, and a threshold value for a defined gradient is determined from the rise in the curve that represents the recorded parameters over time, with the threshold value then being in the unit of determined vital parameter is indicated. Alternatively and/or additionally, the vital parameter can also be averaged over a defined period of time and this value can then be used as a threshold value, or this average value can be compared with the threshold value. In a further step 9040, recorded vital parameters are included compared to the threshold value (step 9040) and if the threshold value is exceeded or not reached, a fall risk is optionally determined (step 9050), followed by the triggering of an event (step 9060).

Bei den beschriebenen Ereignissen aus Schritt 9060 kann es sich bspw. darum handeln, die Geschwindigkeit des Serviceroboters 17 zu reduzieren oder zu einer Position zu fahren, wo sich bspw. eine Sitzgelegenheit für die Person befindet, deren Vitaldaten erfasst werden, so dass die Person sich dort setzen kann. Es kann aber auch über eine Schnittstelle 188 ein anderes System benachrichtigt werden, bspw. ein externes Alarmierungssystem. Die Erfassung der Vitaldaten erfolgt entweder berührungslos über Sensorik des Serviceroboters 17 oder über einen sich an der Person befindlichen Sensor 201. Bei den Vitalparametern handelt es sich bspw. um die Pulsrate, Pulsratenvariabilität, Herzrate, Herzratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz.The events described from step 9060 can, for example, involve reducing the speed of the service robot 17 or driving to a position where, for example, there is a seat for the person whose vital data are being recorded, so that the person can put there. However, another system can also be notified via an interface 188, for example an external alarm system. The vital data is recorded either contactlessly via sensors of the service robot 17 or via a sensor 201 located on the person. The vital parameters are, for example, the pulse rate, pulse rate variability, heart rate, heart rate variability, the systolic and/or diastolic blood pressure and/or or the respiratory rate.

Die berührungslose Erfassung von Vitalparametern wird hier durch folgende Aspekte ABEV1 bis ABEV20 charakterisiert:

  • ABEV1. Computer-implementiertes Verfahren zur Steuerung eines Serviceroboters (17) unter Einbezug von Vitalparametern einer Person, umfassend
    • • Erfassung und Tracking der Person;
    • • Erfassung und Tracking einer Körperregion der Person, auf bzw. über die die Vitalparameter erhoben werden;
    • • Erfassung der Vitalparameter und
    • • Vergleich der erfassten Vitalparametern mit mindestens einem hinterlegten Schwellwert und
    • • Auslösen eines Ereignisses bei Über- oder Unterschreiten des Schwellwert.
  • ABEV2. Computer-implementiertes Verfahren nach ABEV1, wobei das Ereignis eine Geschwindigkeitsreduktion umfasst.
  • ABEV3. Computer-implementiertes Verfahren nach ABEV1, wobei das Ereignis das Ansteuern einer Zielposition umfasst.
  • ABEV4. Computer-implementiertes Verfahren nach ABEV3, wobei es sich bei der Zielposition um eine Sitzgelegenheit handelt.
  • ABEV5. Computer-implementiertes Verfahren nach ABEV1, wobei der mindestens eine Schwellwert aus zuvor erfassten Vitalparametern dynamisch ermittelt wird.
  • ABEV6. Computer-implementiertes Verfahren nach ABEV5, wobei der dynamisch ermittelte Schwellwert basierend auf einer Mittelwertbildung erfasster Vitalparameter über ein definiertes Zeitintervall erfolgt.
  • ABEV7. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter berührungslos erfolgt.
  • ABEV8. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter durch einen an der Person befestigten Vitalparameter-Sensor (5425) erfolgt.
  • ABEV9. Computer-implementiertes Verfahren nach ABEV1, weiter umfassend die Erfassung von Körperbewegungen der Person und eine Auswertung der erfassten Vitalparameter unter Abgleich der erfassten Körperbewegungen.
  • ABEV10. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung von Vitalparametern in Abhängigkeit der erfassten Bewegungen der Person erfolgt.
  • ABEV11. Computer-implementiertes Verfahren nach ABEV1, wobei die erfassten Vitalparameter die Pulsrate, Pulsratenvariabilität, Herzrate, Herzratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz umfassen.
  • ABEV12. Computer-implementiertes Verfahren nach ABEV1, weiter umfassend die Ermittlung des Sturzrisikos aus den erfassten Vitalparametern.
  • ABEV13. Computer-implementiertes Verfahren nach ABEV12, wobei es sich beim Sturzrisiko um ein akutes Sturzrisiko handelt.
  • ABEV14. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter während der Durchführung eines Tests und/oder eine Übung mit der Person erfolgt.
  • ABEV15. Vorrichtung zur Durchführung eines Verfahrens nach ABEV1-ABEV14.
  • ABEV16. Serviceroboter (17) mit einem Rechner (9), einem Speicher (10) und mindestens einem Sensor zur berührungslosen Erfassung der Bewegungen der Person im Zeitablauf, und ein Vitalparameter-Auswertungs-Modul (5420), wobei es sich beim Sensor zur Erfassung der Bewegungen der Person um eine Kamera (185), einen LIDAR (1), einen Ultraschall- und/oder Radarsensor (194) handelt und wobei das Vitalparameter-Auswertungs-Modul (5420) eine Benachrichtigung eines externen Systems über eine Schnittstelle (188), eine Ausgabe über eine Ausgabeeinheit (2 oder 192), eine Geschwindigkeitsänderung des Serviceroboters 17 und/oder eine Ansteuerung einer Zielposition des Systems initiiert.
  • ABEV17. Serviceroboter (17) nach ABEV15, weiter umfassend ein Körperregions-Detektions-Modul (4810) und ein Körperregion-Tracking-Modul (4815) zum Tracking der Erfassungsregion der Vitalparameter und eine Vitalparameter-Erfassungs-Einheit (5415) zur Erfassung von Vitalparametern der Person.
  • ABEV18. Serviceroboter (17) nach ABEV15, umfassend ein Applikationsmodul (125) mit Regeln zur Durchführung mindestens einer Übung oder eines Tests.
  • ABEV19. Serviceroboter (17) nach ABEV15, umfassend eine Schnittstelle (188) und einen an einer Person befestigten Vitalparameter-Sensor (5425).
The non-contact recording of vital parameters is characterized by the following aspects ABEV1 to ABEV20:
  • ABEV1. Computer-implemented method for controlling a service robot (17) using vital parameters of a person, comprising
    • • Registration and tracking of the person;
    • • Recording and tracking of a body region of the person on or via which the vital parameters are collected;
    • • Registration of vital signs and
    • • Comparison of the recorded vital parameters with at least one stored threshold value and
    • • Triggering of an event when exceeding or falling below the threshold value.
  • ABEV2. Computer-implemented method according to ABEV1, where the event includes a reduction in speed.
  • ABEV3. Computer-implemented method according to ABEV1, wherein the event comprises driving to a target position.
  • ABEV4. Computer-implemented method according to ABEV3, where the target position is a seat.
  • ABEV5. Computer-implemented method according to ABEV1, wherein the at least one threshold value is determined dynamically from previously recorded vital parameters.
  • ABEV6. Computer-implemented procedure according to ABEV5, whereby the dynamically determined threshold value is based on an averaging of recorded vital parameters over a defined time interval.
  • ABEV7. Computer-implemented procedure according to ABEV1, whereby the vital parameters are recorded without contact.
  • ABEV8. Computer-implemented method according to ABEV1, in which the vital parameters are recorded by a vital parameters sensor (5425) attached to the person.
  • ABEV9. Computer-implemented method according to ABEV1, further comprising the detection of body movements of the person and an evaluation of the recorded vital parameters by comparing the recorded body movements.
  • ABEV10. Computer-implemented method according to ABEV1, whereby vital parameters are recorded as a function of the recorded movements of the person.
  • ABEV11. Computer-implemented method according to ABEV1, wherein the recorded vital parameters include the pulse rate, pulse rate variability, heart rate, heart rate variability, the systolic and/or diastolic blood pressure and/or the respiratory rate.
  • ABEV12. Computer-implemented procedure according to ABEV1, further comprising the determination of the risk of falling from the recorded vital parameters.
  • ABEV13. Computer-implemented method according to ABEV12, where the fall risk is an acute fall risk.
  • ABEV14. Computer-implemented method according to ABEV1, in which the vital parameters are recorded while a test is being carried out and/or an exercise is being carried out on the person.
  • ABEV15. Device for carrying out a method according to ABEV1-ABEV14.
  • ABEV16. Service robot (17) with a computer (9), a memory (10) and at least one sensor for contactless recording of the movements of the person over time, and a vital parameter evaluation module (5420), the sensor for recording the movements being the person is a camera (185), a LIDAR (1), an ultrasonic and / or radar sensor (194) and wherein the vital parameter evaluation module (5420) a notification of an external system via an interface (188), a Output via an output unit (2 or 192), a change in speed of the service robot 17 and/or activation of a target position of the system.
  • ABEV17. Service robot (17) according to ABEV15, further comprising a body region detection module (4810) and a body region tracking module (4815) for tracking the acquisition region of the vital parameters and a vital parameter acquisition unit (5415) for acquiring vital parameters of the person .
  • ABEV18. Service robot (17) according to ABEV15, comprising an application module (125) with rules for carrying out at least one exercise or one test.
  • ABEV19. Service robot (17) according to ABEV15, comprising an interface (188) and a vital parameter sensor (5425) attached to a person.

BezugszeichenlisteReference List

11
LIDARLIDAR
22
Displayscreen
33
Sensor zur berührungslosen Erfassung einer PersonSensor for non-contact detection of a person
44
druckempfindliche Stoßstangepressure sensitive bumper
55
Stützradjockey wheel
66
Antriebsraddrive wheel
77
Antriebseinheitdrive unit
88th
Energiequelleenergy source
99
Rechnercalculator
1010
SpeicherStorage
1717
Serviceroboterservice robot
1313
Terminalterminal
1818
Cloudcloud
100100
Softwareebenesoftware level
101101
Navigationsmodulnavigation module
102102
2D oder 3D-Umfelderfassungsmodul2D or 3D environment detection module
103103
Pfadplanungsmodulpath planning module
104104
Bewegungsplanermotion planner
105105
SelbstlokalisierungsmodulSelf-Location Module
106106
Kartierungsmodulmapping module
107107
Kartenmodulmap module
108108
Lademodulloading module
110110
PersonenerkennungsmodulPeople Recognition Module
111111
PersonenidentifizierungsmodulPersonal Identification Module
112112
visuelles Personentracking-Modulvisual people tracking module
113113
laserbasiertes Personentracking-Modullaser-based people tracking module
114114
PersonenreidentifizierungsmodulPerson re-identification module
115115
Sitzerkennungsmodulseat detection module
120120
Bewegungsauswertungsmodulmotion evaluation module
121121
BewegungsablaufextraktionsmodulTrajectory Extraction Module
122122
BewegungsablaufbewertungsmodulTrajectory Evaluation Module
130130
Mensch-Roboter-InteraktionsmodulHuman-Robot Interaction Module
131131
graphische Nutzeroberflächegraphical user interface
132132
Sprachauswertungsmodullanguage evaluation module
133133
Sprachsyntheseeinheitspeech synthesis unit
150150
Regelwerkset of rules
151151
Rechner des RegelwerksCalculator of the rules
152152
Speicher des RegelwerksStorage of the ruleset
160160
PersonenadministrationsmodulPeople administration module
161161
Rechner des PersonenadministrationsmodulsComputer of the person administration module
162162
Speicher des PersonenadministrationsmodulsStorage of the people administration module
170170
Navigationsmodul in der CloudNavigation module in the cloud
171171
Navigationsrechnernavigation computer
172172
Navigationsspeichernavigation memory
180180
Hardwarenebenehardware level
181181
Odometrieodometry
183183
RFIDRFID
185185
Kameracamera
186186
Bedienelementecontrols
188188
Schnittstelleinterface
190190
Ladesteuerungcharge control
191191
Motorsteuerungengine control
192192
Lautsprecherspeaker
193193
Mikrofonmicrophone
194194
Radar und/oder UltraschallsensorRadar and/or ultrasonic sensor
195195
Detektordetector
196196
Spektrometerspectrometer
200200
Leuchtelamp
201201
Tragbarer SensorWearable sensor
46054605
Personenerfassungs- und TrackingeinheitPerson detection and tracking unit
46064606
Bewegungsfrequenzermittlungseinheitmovement frequency determination unit
46074607
Initialisierungseinheitinitialization unit
46154615
Puls-Atem-AuswertungseinheitPulse-breath evaluation unit
46204620
Bewegungssignalerfassungs- und VerarbeitungseinheitMotion signal detection and processing unit
46254625
stilisierte Verkörperungselementestylized embodiment elements
46304630
Anregungseinheitexcitation unit
48104810
Körperregions-Detektions-ModulBody Region Detection Module
48154815
Körperregion-Tracking-ModulBody region tracking module
50055005
Gesichtserkennungs-ModulFace Recognition Module
50105010
Gesichts-Kandidatenregion-ModulFace Candidate Region Module
51105110
kardiovaskuläre-Bewegungen-Modulcardiovascular movements module
51205120
Belichtungsleuchteexposure light
51255125
Blutdruck-Ermittlungs-ModulBlood pressure determination module
51305130
Kippeinheittilting unit
54155415
Vitalparameter-Erfassungs-EinheitVital Signs Recording Unit
54205420
Vitalparameter-Auswertungs-ModulVital parameters evaluation module
54255425
Vitalparameter-SensorVital signs sensor
56055605
Gangmerkmalsextraktions-ModulGait Feature Extraction Module
56105610
GangmerkmalsklassifizierungsmodulGait feature classification module
56155615
Gangablaufklassifikations-ModulGait Classification Module
56205620
Inertialsensorinertial sensor
56355635
Skelett-Erstellungs-ModulSkeleton Creation Module
56405640
skelettmodell-basiertes-Merkmalsextraktions-Modulskeletal model-based feature extraction module

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • CN 106671105 [0004]CN106671105 [0004]
  • CN 104889994 [0005]CN104889994 [0005]
  • CN 204772554 [0005]CN204772554 [0005]
  • CN 105082149 [0005]CN105082149 [0005]
  • CN 105078445 [0005]CN105078445 [0005]
  • CN 105078450 [0005]CN105078450 [0005]
  • CN 108053889 [0006]CN108053889 [0006]
  • CN 108039193 [0006]CN108039193 [0006]
  • CN 107544266 [0006]CN107544266 [0006]
  • CN 106709254 [0007]CN106709254 [0007]
  • CN 106407715 [0008]CN 106407715 [0008]
  • CN 105078449 [0009]CN105078449 [0009]

Claims (15)

System zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person mit der Bewegung und/oder Leuchtfrequenz stilisierter Verkörperungselemente (4625) eines Serviceroboters (17), umfassend eine Personenerfassungs- und Trackingeinheit (4605), einer Puls-Atem-Auswertungseinheit (4615), und einer Initialisierungseinheit (4607), wobei die Bewegung mit einer Frequenz erfolgt bzw. die Leuchtfrequenz einer Frequenz entspricht, die innerhalb einer definierten Bandbreite um die ermittelte Frequenz der Bewegungen bzw. Vitalparameter der Person liegt.System for synchronizing the movements and/or vital parameters of a person with the movement and/or lighting frequency of stylized embodiment elements (4625) of a service robot (17), comprising a person detection and tracking unit (4605), a pulse-breath evaluation unit (4615), and an initialization unit (4607), the movement occurring at a frequency or the luminous frequency corresponding to a frequency that lies within a defined bandwidth around the determined frequency of the movements or vital parameters of the person. System nach Anspruch 1, weiter umfassend eine Bewegungssignalerfassungs- und Verarbeitungseinheit (4620) zur Erfassung und Auswertung erfasster Bewegungen der Person.system after claim 1 , further comprising a movement signal detection and processing unit (4620) for detecting and evaluating detected movements of the person. System nach Anspruch 1, wobei die stilisierten Verkörperungselemente (4625) in Hard- und/oder Software implementiert sind.system after claim 1 , wherein the stylized embodiment elements (4625) are implemented in hardware and/or software. System nach Anspruch 3, wobei in Software implementierte, stilisierte Verkörperungselemente (4625) die Anzeige mindestens eines stilisierten Gesichts oder Gesichtselementes auf einem Display (2) umfassen.system after claim 3 wherein stylized embodiment elements (4625) implemented in software comprise the display of at least one stylized face or face element on a display (2). System nach Anspruch 3, wobei in Hardware implementierte, stilisierte Verkörperungselemente (4625) mindestens ein stilisiertes Gesicht, Gesichtselement oder einen Rumpf, Brustkorb oder Herz umfassen.system after claim 3 wherein hardware-implemented stylized embodiment elements (4625) include at least one stylized face, face element, or a torso, rib cage, or heart. System nach Anspruch 3, wobei in Hardware implementierte, stilisierte Verkörperungselemente (4625) mindestens eine Leuchte (200) umfassen.system after claim 3 wherein stylized embodiment elements (4625) implemented in hardware include at least one light (200). System nach Anspruch 1, wobei die stilisierten Verkörperungselemente zu einer Imitation der Atmungsfrequenz, Pulsfrequenz und/oder Herzfrequenz durch die Initialisierungseinheit (4607) angeregt werden.system after claim 1 , wherein the stylized embodiment elements are stimulated to imitate the respiratory rate, pulse rate and/or heart rate by the initialization unit (4607). System nach Anspruch 1 und/oder 2, wobei sich die Puls-Atem-Auswertungseinheit (4615) und/oder eine Bewegungssignalerfassungs- und Verarbeitungseinheit (4620) in einem tragbaren Sensor (201) befinden.system after claim 1 and/or 2, wherein the pulse-breath evaluation unit (4615) and/or a motion signal detection and processing unit (4620) are located in a portable sensor (201). Computer-implementiertes Verfahren zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person und eines Serviceroboters (17), umfassend • Erfassung und Tracking einer Person und ihrer Bewegungen und/oder Vitalparameter; • Ermittlung der Frequenz der Bewegungen und/oder der Vitalparameter der Person; · Variation einer Bewegungsfrequenz und/oder einer Leuchtfrequenz von stilisierten Verkörperungselementen (4625) des Serviceroboters mit einer Frequenz, die innerhalb einer definierten Bandbreite von der ermittelten Frequenz der erfassten Bewegungen und/oder Vitalparameter der Person liegt.Computer-implemented method for synchronizing the movements and/or vital parameters of a person and a service robot (17), comprising • Capture and tracking of an individual and their movements and/or vital signs; • determining the frequency of movements and/or the vital parameters of the person; · Variation of a movement frequency and/or a lighting frequency of stylized embodiment elements (4625) of the service robot with a frequency that lies within a defined range of the determined frequency of the recorded movements and/or vital parameters of the person. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Bewegung stilisierter Verkörperungselemente (4625) die Bewegung eines Gesichts, Gesichtselements, Rumpfs, Brustkorbs oder Herzschlags und/oder eine Atmung der Person imitiert.Computer-implemented method claim 9 wherein the movement of stylized embodiment elements (4625) mimics movement of a face, facial element, torso, chest, or heartbeat and/or breathing of the person. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Frequenzdifferenz zwischen den Bewegungen der stilisierten Verkörperungselemente (4625) und der ermittelten Frequenz der Bewegungen und/oder Vitalparameter der Person im Zeitverlauf von der Initialisierungseinheit (4607) in etwa konstant gehalten wird.Computer-implemented method claim 9 , the frequency difference between the movements of the stylized embodiment elements (4625) and the determined frequency of the movements and/or vital parameters of the person being kept approximately constant over time by the initialization unit (4607). Computer-implementiertes Verfahren nach Anspruch 9, wobei es sich bei den erfassten Bewegungen und/oder Vitalparameter der Person um die Pulsfrequenz, Herzfrequenz und/oder die Atemfrequenz handelt.Computer-implemented method claim 9 , wherein the detected movements and/or vital parameters of the person are the pulse rate, heart rate and/or respiratory rate. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Bewegungen der stilisierten Verkörperungselemente (4625) von der Initialisierungseinheit (4607) auf eine Frequenz eingestellt werden, die niedriger ist als die Frequenz der erfassten Bewegungen und/oder der Vitalparameter der Person.Computer-implemented method claim 9 , wherein the movements of the stylized embodiment elements (4625) are adjusted by the initialization unit (4607) to a frequency that is lower than the frequency of the detected movements and/or the vital parameters of the person. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Frequenz des oder der stilisierten Verkörperungselemente (4625) von der Initialisierungseinheit (4607) so gesteuert wird, dass sie im Zeitablauf langsamer werden.Computer-implemented method claim 9 , wherein the frequency of the stylized embodiment element(s) (4625) is controlled by the initialization unit (4607) to become slower over time. Vorrichtung zur Durchführung des Verfahrens nach den Ansprüchen 8-14.Device for carrying out the method according to claims 8 - 14 .
DE102022104499.8A 2021-02-27 2022-02-24 Synchronization of movements of a service robot with those of a person Pending DE102022104499A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021001062 2021-02-27
DE102021001062.0 2021-02-27

Publications (1)

Publication Number Publication Date
DE102022104499A1 true DE102022104499A1 (en) 2022-09-01

Family

ID=82799404

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022104499.8A Pending DE102022104499A1 (en) 2021-02-27 2022-02-24 Synchronization of movements of a service robot with those of a person

Country Status (1)

Country Link
DE (1) DE102022104499A1 (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104889994A (en) 2015-06-30 2015-09-09 广州绿松生物科技有限公司 Intelligent health service robot
CN204772554U (en) 2015-06-30 2015-11-18 广州绿松生物科技有限公司 Healthy service robot of intelligence
CN105078450A (en) 2015-08-24 2015-11-25 华南理工大学 Health service robot capable of achieving electroencephalogram detection
CN105078445A (en) 2015-08-24 2015-11-25 华南理工大学 Old people healthy service system based on healthy service robot
CN105082149A (en) 2015-08-24 2015-11-25 华南理工大学 Health service robot capable of achieving oxyhemoglobin saturation detection
CN105078449A (en) 2015-08-24 2015-11-25 华南理工大学 Senile dementia monitoring system based on healthy service robot
CN106407715A (en) 2016-10-19 2017-02-15 上海派毅智能科技有限公司 Health identification system and method for intelligent service robot
CN106671105A (en) 2017-01-17 2017-05-17 五邑大学 Intelligent accompanying robot for old people
CN106709254A (en) 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 Medical diagnostic robot system
CN107544266A (en) 2016-06-28 2018-01-05 广州零号软件科技有限公司 Health Care Services robot
CN108039193A (en) 2017-11-17 2018-05-15 哈尔滨工大服务机器人有限公司 A kind of method and device for automatically generating physical examination report
CN108053889A (en) 2017-12-20 2018-05-18 中国科学院合肥物质科学研究院 A kind of health promotion service robot based on Agent technologies

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104889994A (en) 2015-06-30 2015-09-09 广州绿松生物科技有限公司 Intelligent health service robot
CN204772554U (en) 2015-06-30 2015-11-18 广州绿松生物科技有限公司 Healthy service robot of intelligence
CN105078450A (en) 2015-08-24 2015-11-25 华南理工大学 Health service robot capable of achieving electroencephalogram detection
CN105078445A (en) 2015-08-24 2015-11-25 华南理工大学 Old people healthy service system based on healthy service robot
CN105082149A (en) 2015-08-24 2015-11-25 华南理工大学 Health service robot capable of achieving oxyhemoglobin saturation detection
CN105078449A (en) 2015-08-24 2015-11-25 华南理工大学 Senile dementia monitoring system based on healthy service robot
CN107544266A (en) 2016-06-28 2018-01-05 广州零号软件科技有限公司 Health Care Services robot
CN106407715A (en) 2016-10-19 2017-02-15 上海派毅智能科技有限公司 Health identification system and method for intelligent service robot
CN106709254A (en) 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 Medical diagnostic robot system
CN106671105A (en) 2017-01-17 2017-05-17 五邑大学 Intelligent accompanying robot for old people
CN108039193A (en) 2017-11-17 2018-05-15 哈尔滨工大服务机器人有限公司 A kind of method and device for automatically generating physical examination report
CN108053889A (en) 2017-12-20 2018-05-18 中国科学院合肥物质科学研究院 A kind of health promotion service robot based on Agent technologies

Similar Documents

Publication Publication Date Title
WO2021038109A1 (en) System for capturing sequences of movements and/or vital parameters of a person
Hassan et al. Heart rate estimation using facial video: A review
Zhang et al. Driver drowsiness detection using multi-channel second order blind identifications
WO2014072461A1 (en) Method and device for determining vital parameters
DE102013208588A1 (en) PROCESSING A VIDEO TO ESTIMATE A RESPIRATORY RATE
WO2013165550A1 (en) Methods and systems for measuring dynamic changes in the physiological parameters of a subject
DE19621435A1 (en) Method and apparatus for monitoring eyes for the detection of a sleepy state
WO2004021879A1 (en) Apparatus and method to facilitate ordinary visual perception
DE102015210332A1 (en) RECOGNIZING A FEEDBACK WITH A THERMAL IMAGING CAMERA
DE102015208144A1 (en) Increase the accuracy of a physiological signal, obtained from a video of a patient
DE102019104798A1 (en) APPARATUS AND METHOD FOR THE PASSIVE ARRHYTHERMETIC DETECTION BASED ON PHOTOPLETHYMOGRAM (PPG) INTERVALS BETWEEN THE HITCH AND MORPHOLOGY
Mellouk et al. CNN-LSTM for automatic emotion recognition using contactless photoplythesmographic signals
Rescio et al. Ambient and wearable system for workers’ stress evaluation
Nikolaiev et al. Non-contact video-based remote photoplethysmography for human stress detection
Pursche et al. Using neural networks to enhance the quality of ROIs for video based remote heart rate measurement from human faces
DE102017118636B3 (en) Method for contactless determination of the heart rate of a person
Rakshita Communication through real-time video oculography using face landmark detection
Trivedi Attention monitoring and hazard assessment with bio-sensing and vision: Empirical analysis utilizing CNNs on the kitti dataset
KR20220069177A (en) Smart control system and method of autonomous vehicle
DE102022104499A1 (en) Synchronization of movements of a service robot with those of a person
Vettivel et al. System for detecting student attention pertaining and alerting
EP2750588B1 (en) Method for identifying the state of a vehicle driver by measuring a plethysmographic variable
Shinde et al. Facial features based prediction of Parkinson's disease
Bănică et al. Computational Method of Describing Persons Psychology After Processing EEG Waves
Islam et al. A Non-invasive Heart Rate Estimation Approach from Photoplethysmography

Legal Events

Date Code Title Description
R086 Non-binding declaration of licensing interest
R081 Change of applicant/patentee

Owner name: TEDIRO HEALTHCARE ROBOTICS GMBH, DE

Free format text: FORMER OWNER: TEDIRO GMBH, LEIPZIG, DE