DE102023123138A1 - Object localization by a mobile robot - Google Patents
Object localization by a mobile robot Download PDFInfo
- Publication number
- DE102023123138A1 DE102023123138A1 DE102023123138.3A DE102023123138A DE102023123138A1 DE 102023123138 A1 DE102023123138 A1 DE 102023123138A1 DE 102023123138 A DE102023123138 A DE 102023123138A DE 102023123138 A1 DE102023123138 A1 DE 102023123138A1
- Authority
- DE
- Germany
- Prior art keywords
- robot
- computer
- implemented method
- radar sensor
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004807 localization Effects 0.000 title description 8
- 238000000034 method Methods 0.000 claims abstract description 151
- 238000001514 detection method Methods 0.000 claims abstract description 124
- 238000011156 evaluation Methods 0.000 claims description 53
- 238000012544 monitoring process Methods 0.000 claims description 19
- 230000001960 triggered effect Effects 0.000 claims description 10
- 230000008054 signal transmission Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 33
- 238000005259 measurement Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 17
- 238000013507 mapping Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 101000872823 Xenopus laevis Probable histone deacetylase 1-A Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Pulmonology (AREA)
- Radar, Positioning & Navigation (AREA)
- Cardiology (AREA)
- Manipulator (AREA)
Abstract
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Lokalisierung von Personen und/oder der Erfassung von Vitalparametern einer Person mittels eines mobilen Roboters. Hierzu werden Parameter der Erfassungssensoren entsprechend ausgerichtet, der Roboter absolviert einen Pfad, erfasst Objekte, lokalisiert diese und vergleicht Positionen mit hinterlegten Regeln, um ggf. Ereignisse zu triggern. Es wird beschrieben, wie durch Navigation des Roboters und Variation der Signalstärke der Sensoren eine Optimierung der Erfassungsqualität realisiert werden kann.The invention relates to a method and a device for locating people and/or recording a person's vital parameters using a mobile robot. To do this, parameters of the detection sensors are aligned accordingly, the robot follows a path, detects objects, localizes them and compares positions with stored rules in order to trigger events if necessary. It is described how the detection quality can be optimized by navigating the robot and varying the signal strength of the sensors.
Description
Gebiet der ErfindungField of the invention
Die Erfindung bezieht sich auf Roboter zur Überwachung von Personen, in einem Aspekt unter Überwachung der Vitalparameter.The invention relates to robots for monitoring persons, in one aspect monitoring vital parameters.
Hintergrund der Erfindung und Stand der TechnikBackground of the invention and prior art
Immer mehr Aufgaben werden heutzutage durch technische Systeme übernommen. Dazu zählen auch mobile Roboter. Diese können Objekte oder Personen überwachen (z.B.
Die technische Herausforderung ist in einem Aspekt die Überwachung von Patienten in Krankenhäusern. Es ist bekannt, dass mobile Roboter eine solche Überwachung vornehmen können. Dabei kann ein mobiler Roboter über einen Gang patrouillieren, in jedes Zimmer fahren und dort dann die Patienten überwachen. Allerdings ist es dafür notwendig, die Zimmertüren zu öffnen. Dies ist mit zusätzlichen Öffnungsmechanismen umsetzbar, die bspw. über Funk durch den Roboter angesteuert werden können. Allerdings sind die Öffnungsmechanismen sehr aufwendig zu installieren. Die Herausforderung besteht also darin, die Patientenüberwachung bei geschlossenen Türen robust zu ermöglichen.One aspect of the technical challenge is the monitoring of patients in hospitals. It is known that mobile robots can carry out such monitoring. A mobile robot can patrol a corridor, drive into each room and then monitor the patients there. However, this requires opening the room doors. This can be implemented with additional opening mechanisms that can be controlled by the robot via radio, for example. However, the opening mechanisms are very complex to install. The challenge is therefore to enable robust patient monitoring when the doors are closed.
Ein Ansatz, der im Stand der Technik verfolgt wird, ist der Einsatz von Radartechnik auf einem Roboter, um Personen hinter Wänden zu detektieren (z.B.
Es kann in einigen Situationen wichtig sein, Personen genau zu lokalisieren, bspw. um eine möglichst genaue Messung von Vitalparametern vornehmen zu können. Das ist insbesondere dann der Fall, wenn diese Messung berührungslos erfolgen soll und ggf. die dabei genutzten Signale mehrere Medien durchlaufen müssen. Hierbei ist mit einer entsprechenden Dämpfung der Signale zu rechnen und ggf. mit einer Feinjustierung der Signalstärke. Hierbei kann es in einigen Situationen notwendig sein, den die Überwachung vornehmenden mobilen Roboter genau zu lokalisieren. Im Kontext der Vitalparametererfassung bzw. der Personenlokalisierung kann es notwendig sein, kritische Situationen zu erkennen. Dafür sind Regeln notwendig, um eine Situationsklassifikation vorzunehmen. Weiterhin kann auch die Notwendigkeit bestehen, eine Alarmierung vorzunehmen, um bspw. in kritischen Situationen den überwachten Personen zu helfen.In some situations it can be important to locate people precisely, for example in order to be able to measure vital parameters as accurately as possible. This is particularly the case if the measurement is to be contactless and the signals used may have to pass through several media. This may result in a corresponding attenuation of the signals and, if necessary, a fine adjustment of the signal strength. In some situations it may be necessary to locate the mobile robot carrying out the monitoring precisely. In the context of vital parameter recording or person localization it may be necessary to recognize critical situations. For this purpose, rules are necessary in order to classify the situation. It may also be necessary to raise an alarm, for example in order to help the monitored people in critical situations.
Die erfindungsgemäße Aufgabe ist es nun, diese Themen entsprechend zu adressieren, um eine ausreichend genaue Personenlokalisierung einer zu überwachenden Person oder eines zu überwachenden Bereichs bzw. in einem Aspekt unter Ermittlung von Vitalparametern der zu überwachenden Person durchzuführen.The object of the invention is now to address these issues accordingly in order to carry out a sufficiently precise localization of a person to be monitored or an area to be monitored or, in one aspect, to determine vital parameters of the person to be monitored.
Sofern in diesem Dokument auf bereits etablierten Stand der Technik in Systemen, Vorrichtungen oder Verfahren zurückgegriffen wird, kann dies an diesen Stellen mit weiteren Quellen referenziert sein.If this document refers to already established state of the art in systems, devices or procedures, this may be referenced at these points with further sources.
Allgemeine Beschreibung der ErfindungGeneral description of the invention
Die Erfindung umfasst in einem Aspekt ein computer-implementiertes Verfahren zur Überwachung einer Fläche durch einen mobilen Roboter. Hierbei fährt der Roboter einen Pfad ab, erfasst eine zu überwachende Fläche mittels mindestens einer Radarsensoreinheit, wertet die erfassten Radarsignale aus und löst ein Ereignis aus. Der Pfad kann bspw. ein Betriebspfad des Roboters sein und Pfadpositionen umfassen, die mit einer Positions- und Regeldatenbank des Roboters hinterlegt oder assoziiert sind. Betriebspfad bedeutet, dass der Roboter diesen während seines Überwachungsauftrags abfährt. Die Pfadpositionen können Wegmarken darstellen, die der Roboter im Rahmen seines Auftrags abfährt, oder aber Abtastpositionen, die er ebenfalls abfährt und an denen er die zu überwachende Fläche mittels der Radarsensoreinheit abtastet. Das Ereignis wiederum kann eine Signalübermittlung in die Cloud oder an ein Terminal umfassen. Dabei erfolgt die Erfassung der zu überwachenden Fläche durch eine Wand und/oder geschlossene Tür hindurch. In einem Aspekt erfolgt die Erfassung der zu überwachenden Fläche in etwa senkrecht zur Fahrtrichtung des Roboters. Die Signalauswertung wiederum umfasst die Identifikation von Objekten inkl. Personen und ermöglicht bspw. eine Differenzierung in bewegliche und unbewegliche Objekte, wobei es sich bei beweglichen Objekten vorzugweise um Personen handelt. Die Signalauswertung umfasst in einem Aspekt eine Ermittlung von mindestens einem Vitalparameter. Alternativ und/oder ergänzend kann die Signalauswertung eine Lokalisierung der Objektposition beinhalten. Diese Objektpositionen können bspw. mit im Speicher hinterlegten Objektpositionen und/oder Objektzonen verglichen werden. Dies kann bspw. auch sogenannte verbotene Zonen umfassen. Dies wiederum bedeutet, dass in diesen Zonen sich bspw. keine Objekte aufhalten dürfen, wie in Regeln, die im Speicher des Roboters hinterlegt sind, definiert sein kann. Sofern der Roboter Vitalparameter erfasst, erfolgt ein Vergleich ermittelter Vitalparameter mit hinterlegten Vitalparametern. Diese können bspw. für eine Person an einer lokalisierten Position erfasst werden. Der Roboter kann bspw. auch Vergleichswerte für Vitalparameter für Personen vorhalten, die durch ihn erfasst werden sollen. Dabei kann eine Person bspw. über die Zuordnung zu einer lokalen Position definiert sein. Diese kann der Roboter bspw. darüber ermitteln, dass er sich an einer bestimmten Position bspw. auf seinem Betriebspfad befindet und dieser Position entsprechende Vitalparameter zugeordnet sind, ggf. assoziiert mit mindestens einem Richtungsvektor, der in Länge und Orientierung beschriebt, wo sich die Person aufhalten darf, deren Vitalparameter gemessen und verglichen werden sollen. Die eigentliche Signalauswertung der Radarsignale wiederum umfasst bspw. den Vergleich mit Mustern. In einem Aspekt kann für die Signalauswertung ein Klassifikator genutzt werden, der mittels Imitation Learning erstellt wurde oder der Action Recognition nutzt. Der Klassifikator kann bspw. mit der Positions- und Regeldatenbank hinterlegt oder assoziiert sein bzw. mit Positionen oder Regeln daraus. Die vom Roboter genutzten Positionsdaten eines Objekts und/oder einer Person, die durch Auswertung von Radarsensordaten ermittelt wurden, werden in einem möglichen Aspekt durch mittels Laserscanner, Kamera, Ultraschallsensor und/oder Odometrieeinheit ermittelten Daten normiert. In einem weiteren, optionalen Aspekt erfolgt eine Aktualisierung der Karte des Roboters durch Übernahme der mittels Radarsensoreinheit detektierten Hindernisse in eine Karte, die auf Basis von Daten eines Laserscanners, einer Kamera oder eines Ultraschallsensors erstellt wurde. In einem Aspekt nimmt der Roboter zwecks Erfassung einer Fläche mittels Radarsensoreinheit auf seinem Pfad eine Abtastposition vor einer ggf. geschlossenen Tür in einem definierten Abstand ein und führt eine Rotationsbewegung durch. Dabei kann er sich, in einem optionalen Aspekt, entlang eines konvexen Pfads vor der besagten Tür bewegen und dabei einen definierten Mindestabstand zur Tür einhalten. Der Roboter absolviert diesen konvexen Pfad bspw. auch dann, wenn sich kein Hindernis auf dem Pfad bzw. Betriebspfad des Roboters befindet.In one aspect, the invention comprises a computer-implemented method for monitoring an area by a mobile robot. The robot travels a path, detects an area to be monitored using at least one radar sensor unit, evaluates the detected radar signals and triggers an event. The path can, for example, be an operating path of the robot and include path positions that are stored or associated with a position and rule database of the robot. Operating path means that the robot travels this path during its monitoring task. The path positions can represent waypoints that the robot travels as part of its task, or scanning positions that it also travels and at which it scans the area to be monitored using the radar sensor unit. The event, in turn, can include a signal transmission to the cloud or to a terminal. The area to be monitored is detected through a wall and/or closed door. In one aspect, the area to be monitored is detected approximately perpendicular to the direction of travel of the robot. The signal evaluation in turn includes the identification of objects including people and enables, for example, a differentiation between moving and immobile objects, with moving objects preferably being people. The signal evaluation includes, in one aspect, a determination of at least one vital parameter. Alternatively and/or additionally, the signal evaluation can include a localization of the object position. These object positions can, for example, be compared with object positions and/or object zones stored in the memory. This can also include so-called forbidden zones. This in turn means that no objects may be in these zones, as can be defined in rules that are stored in the robot's memory. If the robot records vital parameters, the determined vital parameters are compared with the stored vital parameters. These can, for example, be recorded for a person at a localized position. The robot can, for example, also keep comparison values for vital parameters for people that it is to record. A person can, for example, be defined by being assigned to a local position. The robot can determine this, for example, by being at a certain position, e.g. on its operating path, and corresponding vital parameters are assigned to this position, possibly associated with at least one direction vector that describes in length and orientation where the person whose vital parameters are to be measured and compared is allowed to be. The actual signal evaluation of the radar signals in turn includes, for example, the comparison with patterns. In one aspect, a classifier that was created using imitation learning or that uses action recognition can be used for the signal evaluation. The classifier can, for example, be stored or associated with the position and rule database or with positions or rules from it. The position data of an object and/or a person used by the robot, which were determined by evaluating radar sensor data, are in one possible aspect standardized by data determined using a laser scanner, camera, ultrasonic sensor and/or odometry unit. In another, optional aspect, the robot's map is updated by incorporating the obstacles detected by the radar sensor unit into a map that was created on the basis of data from a laser scanner, camera or ultrasonic sensor. In one aspect, the robot takes a scanning position in front of a possibly closed door at a defined distance in order to record an area using a radar sensor unit on its path and performs a rotational movement. In an optional aspect, it can move along a convex path in front of the door in question, maintaining a defined minimum distance from the door. The robot completes this convex path, for example, even if there is no obstacle on the path or operating path of the robot.
In einem Aspekt verfügt der Roboter über eine Rechnereinheit und einen Speicher, mindestens eine Kamera und/oder Laserscanner zur Erfassung von Hindernissen im Umfeld des Roboters, ein Pfadplanungsmodul zur Planung eines Betriebspfads des Roboters, eine Radarsensoreinheit zur Objekt- und/oder Personenerfassung durch eine Wand oder geschlossene Tür hindurch, bspw. ein Vitaldatenerfassungsmodul zur Erfassung von Vitaldaten einer Person, wobei die Person durch die Radarsensoreinheit erfasst wird, bspw. ein Personenpositionsermittlungsmodul zur Ermittlung der Position einer Person, wobei die Person durch die Radarsensoreinheit erfasst wird, bspw. eine Drahtlosschnittstelle zur Übertragung eines Signals in eine Cloud oder an ein Terminal beim Auslösen eines Ereignisses, sowie weiterhin eine Positions- und Regeldatenbank. Das Signal in die Cloud kann basierend auf einer Auswertung von Regeln erfolgen, die in der Positions- und Regeldatenbank hinterlegt sind oder die mit Positionen auf einer Karte assoziiert sind. Dazu kann bspw. zählen, dass eine Person in einer verbotenen Zone erfasst wurde, d.h. einem Areal auf einer Karte, in dem sich die Person, bspw. in Abhängigkeit einer definierten Zeit, nicht aufhalten soll. Das Vitaldatenerfassungsmodul ist für einen Vergleich ermittelter Vitalparameter mit hinterlegten Vitalparametern und/oder eine Vitalparameterbewertung konfiguriert, bspw. von der mittels Radarsensoreinheit erfassten Person. Die Positions- und Regeldatenbank enthält Regeln für einen Vergleich ermittelter Objektpositionen mit hinterlegten Objektpositionen und/oder Objektzonen, bspw. die oben erwähnte Anwesenheit einer Person in einer Verbotszone einer Karte, die bspw. zeitabhängig ist. Die Positions- und Regeldatenbank kann bspw. auch die Feldstärke der Radarsensoreinheit zum Abtasten einer Fläche enthalten, wobei bspw. die Feldstärke mit Abtastpositionen assoziiert ist und an unterschiedlichen Abtastpositionen unterschiedlich ausgeprägt sein kann. Weiter kann die Positions- und Regeldatenbank Wegmarken und/oder Abtastpositionen für einen Betriebspfad enthalten, wobei an den Abtastpositionen die Radarsensoreinheit ein Abtasten einer Fläche vornimmt.In one aspect, the robot has a computer unit and a memory, at least one camera and/or laser scanner for detecting obstacles in the robot's environment, a path planning module for planning an operating path of the robot, a radar sensor unit for object and/or person detection through a wall or closed door, e.g. a vital data acquisition module for recording vital data of a person, wherein the person is detected by the radar sensor unit, e.g. a person position determination module for determining the position of a person, wherein the person is detected by the radar sensor unit, e.g. a wireless interface for transmitting a signal to a cloud or to a terminal when an event is triggered, and also a position and rule database. The signal to the cloud can be based on an evaluation of rules that are stored in the position and rule database or that are associated with positions on a map. This can include, for example, that a person has been detected in a prohibited zone, i.e. an area on a map in which the person should not stay, e.g. depending on a defined time. The vital data acquisition module is configured to compare determined vital parameters with stored vital parameters and/or a vital parameter evaluation, e.g. of the person detected by the radar sensor unit. The position and rule database contains rules for comparing determined object positions with stored object positions and/or object zones, e.g. the above-mentioned presence of a person in a prohibited zone on a map, which is e.g. time-dependent. The position and rule database can also contain, for example, the field strength of the radar sensor unit for scanning an area, whereby the field strength is associated with scanning positions and can be different at different scanning positions. The position and rule database can also contain waypoints and/or scanning positions for an operating path, whereby the radar sensor unit scans an area at the scanning positions.
In einem Aspekt umfasst das eingangs skizzierte technische Problem ein Teilproblem, nämlich die korrekte Lokalisierung von Objekten im zu überwachenden Bereich, was bspw. auch dazu förderlich ist, Vitalparametern zielgenau zu erfassen.In one aspect, the technical problem outlined at the beginning includes a sub-problem, namely the correct localization of objects in the area to be monitored, which is also beneficial, for example, for the precise recording of vital parameters.
Hierzu umfasst die Erfindung ein computer-implementiertes Verfahren zur Ermittlung, zur Korrektur oder zur Synchronisierung von Objekt-Positionsdaten, umfassend die Erstellung einer ersten Karte durch einen Roboter, die Hindernisse bzw. Objekten aufzeigt basierend auf Laserscanner-, Kamera- und/oder Ultraschallsensor-Daten, die Erstellung einer zweiten Karte durch einen Roboter mit Hindernissen bzw. Objekten basierend auf Radarsensor-Daten und einen Vergleich der Positionsdaten für in den beiden Karten jeweils enthaltenen Hindernisse bzw. Objekte. Dabei können z.B. die Positionsdaten von Objekten bzw. Hindernissen der zweiten Karte mindestens anteilig durch Positionsdaten von Objekten bzw. Hindernissen der ersten Karte korrigiert werden. So kann es sich bspw. bei den korrigierten Positionsdaten um Positionsdaten von stationären Hindernissen bzw. Objekten handeln. Die zweite Karte wird, in einem Aspekt, bevorzugt zeitlich nach der ersten Karte erstellt. Die für die Ermittlung der Radarsensor-Daten genutzte Radarsensoreinheit umfasst z.B. eine Fläche, die nicht zugleich durch den Laserscanner, Kamera oder Ultraschallsensor erfassbar ist. In einem Aspekt umfassen die Radarsensor-Daten Objekte bzw. Hindernisse hinter einer Wand oder geschlossenen Tür. Beispielsweise können in einer Variante die korrigierten Positionsdaten der zweiten Karte auch direkt in der zweiten Karte hinterlegt werden, d.h. es werden die alten Positionsdaten überschrieben. Das computerimplementierte Verfahren kann weiter umfassen das Hinzufügen von Positionsdaten beweglicher Objekte aus der zweiten Karte in die erste Karte und/oder die Erzeugung einer dritten Karte durch Übernahme stationärer und beweglicher Objekt- bzw. Hindernispositionen aus der ersten Karte und Übernahme zusätzlicher beweglicher Objekt- bzw. Hindernispositionen aus der zweiten Karte. In einem Aspekt werden hierbei für die Roboternavigation die Koordinaten der ersten Karte übernommen, und der Roboter navigiert nach der dritten Karte. In einem Aspekt erfolgt die Erstellung der ersten Karte mittels eines Laserscanners und/oder einer Kamera und die Erstellung der zweiten Karte mittels der Radarsensoreinheit, welche Objekte bzw. Hindernisse hinter einer Wand oder Tür erfasst.For this purpose, the invention comprises a computer-implemented method for determining, correcting or synchronizing object position data, comprising the creation of a first map by a robot that shows obstacles or objects based on laser scanner, camera and/or ultrasonic sensor data, the creation of a second map by a robot with obstacles or objects based on radar sensor data and a comparison of the position data for obstacles or objects contained in the two maps. In this case, for example, the position data of objects or obstacles of the second map can be corrected at least in part by position data of objects or obstacles from the first map. For example, the corrected position data can be position data of stationary obstacles or objects. In one aspect, the second map is preferably created after the first map. The radar sensor unit used to determine the radar sensor data includes, for example, an area that cannot be simultaneously detected by the laser scanner, camera or ultrasonic sensor. In one aspect, the radar sensor data includes objects or obstacles behind a wall or closed door. For example, in one variant, the corrected position data from the second map can also be stored directly in the second map, i.e. the old position data is overwritten. The computer-implemented method can further include adding position data of moving objects from the second map to the first map and/or generating a third map by adopting stationary and moving object or obstacle positions from the first map and adopting additional moving object or obstacle positions from the second map. In one aspect, the coordinates of the first map are used for robot navigation, and the robot navigates according to the third map. In one aspect, the first map is created using a laser scanner and/or a camera and the second map is created using the radar sensor unit, which detects objects or obstacles behind a wall or door.
Auf Basis dieser teilweise optionalen Verfahrensschritte kann bspw. ein Vergleich der mit Hilfe der Radarsensoreinheit ermittelten Positionsdaten für bewegliche Objekte mit in einer Tabelle, in einer der erwähnten Karten oder in einer weiteren Karte hinterlegten Zonen für bewegliche Objekte erfolgen, wobei den Zonen jeweils Regeln zugeordnet sind. Alternativ und/oder ergänzend dazu umfasst das computerimplementierte Verfahren das Auslösen eines Ereignisses basierend auf den Regeln für die jeweilige Zone, die Nutzung der Objekt-Positionsdaten zur Anpassung der Signalstärke des Radarsignals, die Klassifizierung von Objektdaten zur Detektion von Personen, und/oder die Erfassung von mindestens einem Vitalparameter bei einer detektierten Person.Based on these partially optional process steps, for example, a comparison can be made of the position data for moving objects determined using the radar sensor unit with zones for moving objects stored in a table, in one of the maps mentioned or in another map, with rules being assigned to each zone. Alternatively and/or in addition to this, the computer-implemented method includes triggering an event based on the rules for the respective zone, using the object position data to adjust the signal strength of the radar signal, classifying object data to detect people, and/or recording at least one vital parameter for a detected person.
In einem Aspekt umfasst das eingangs skizzierte technische Problem ein Teilproblem, nämlich die zuverlässige Vitalparametererfassung einer Person über eine Distanz von mehreren Metern und durch eine Wand oder Tür bei gleichzeitig einer Minimierung der Strahlenexposition, die diese Person durch die Radarerfassung ausgesetzt ist.In one aspect, the technical problem outlined at the beginning includes a sub-problem, namely the reliable detection of a person's vital parameters over a distance of several meters and through a wall or door while at the same time minimizing the radiation exposure to which this person is exposed by radar detection.
Dazu verfügt der Roboter in einem Aspekt über ein computer-implementiertes Verfahren zur Anpassung der Signalstärke eines Radarsensors, umfassend die Bewegung des Roboters auf einem Pfad, die Erfassung von Objekten bzw. Hindernissen im Radarsignal-Erfassungsbereich, die Detektion von Personen im Radarsignal-Erfassungsbereich, die Ermittlung der Distanz zwischen Roboter und der detektierten Person und die Ermittlung einer Signalstärke für den Radarsensor auf Basis der ermittelten Distanz zwischen Roboter und der Person. Das Verfahren kann bspw. weiter umfassen die Anpassung der Signalstärke des Radarsensors (z.B. durch Erhöhung der Signalstärke), bspw. dann gefolgt von einer erneuten Anpassung der Signalstärke wie z.B. einer Absenkung. Ergänzend kann das Verfahren genutzt werden für eine radardaten-basierte Vitalparametermessung bei der detektierten Person. Die Personenposition wiederum kann in einer Karte und/oder der Positions- und Regeldatenbank auf dem Roboter hinterlegt oder assoziiert sein. In einem Aspekt kann das Verfahren eine Ermittlung der notwendigen Erfassungstiefe des Radarsensors 31 durch Abgleich des zu erfassenden Bereich mit einer Karte und/oder Positions- und Regeldatenbank umfassen und/oder weiter die Anpassung der Signalstärke des Radarsensors auf Basis der notwendigen Erfassungstiefe, welche eine Personendetektion im zu erfassenden Bereich ermöglicht. Ergänzend zu den vorgenannten, teilweise optionalen Verfahrensschritten kann eine Übermittlung eines Signals an ein Terminal basierend auf der Auswertung der ermittelten Vitalparameter erfolgen. Die im Verfahren genutzten Positionsdaten, die durch Auswertung von Radarsensordaten ermittelt wurden, können bspw. durch mittels Laserscanner, Kamera, Ultraschallsensor und/oder Odometrieeinheit ermittelte Daten normiert werden. In einem Aspekt befindet sich bei der Vitaldatenerfassung zwischen Roboter und detektierter Person eine Wand oder (geschlossene) Tür. Der Radarsignal-Erfassungsbereich wiederum kann z.B. im Wesentlichen senkrecht zum Pfad des Roboters ausgerichtet sein.For this purpose, in one aspect the robot has a computer-implemented method for adjusting the signal strength of a radar sensor, comprising the movement of the robot on a path, the detection of objects or obstacles in the radar signal detection range, the detection of people in the radar signal detection range, the determination of the distance between the robot and the detected person and the determination of a signal strength for the radar sensor based on the determined distance between the robot and the person. The method can, for example, further comprise the adjustment of the signal strength of the radar sensor (e.g. by increasing the signal strength), e.g. then followed by a further adjustment of the signal strength, such as a reduction. In addition, the method can be used for a radar data-based vital parameter measurement of the detected person. The person's position can in turn be stored or associated in a map and/or the position and rule database on the robot. In one aspect, the method can include determining the necessary detection depth of the
In einem Aspekt umfasst das eingangs skizzierte technische Problem ein Teilproblem, nämlich die Optimierung des Fahrtwegs des Roboters, um einerseits effizient Anomalien im Überwachungsbereich bzw. bei zu überwachenden Personen zu detektieren und dabei die Laufzeit des Roboters mit Blick auf den Akkustand zu optimieren, andererseits auch eine engmaschige Überwachung von Personen zu ermöglichen.In one aspect, the technical problem outlined at the beginning includes a sub-problem, namely the optimization of the robot's travel path in order to, on the one hand, efficiently detect anomalies in the surveillance area or in people to be monitored and, in doing so, to optimize the robot's running time with regard to the battery level, and, on the other hand, to enable close monitoring of people.
Um dieses Problem zu adressieren, verfügt der Roboter in einem Aspekt über ein computer-implementiertes Verfahren zum Triggern eines Verhaltens eines mobilen Roboters in Abhängigkeit von mittels eines Radarsensoreinheit detektierten Anomalien, umfassend die Bewegung des Roboters auf einem Pfad, die Erfassung von Objekten bzw. Hindernissen im Radar-Erfassungsbereich, die Positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse, einen Vergleich Erfassungsergebnisse mit zuvor gespeicherten Erfassungsergebnissen und die Ermittlung und Bewertung der Abweichung zwischen den Erfassungsergebnissen und den zuvor gespeicherten Erfassungsergebnissen. Der Pfad kann bspw. ein Betriebspfad des Roboters sein und Pfadpositionen umfassen, die mit einer Positions- und Regeldatenbank des Roboters hinterlegt oder assoziiert sind. Das Triggerereignis kann bspw. die Anpassung der Pfadplanung des Roboters umfassen und/oder das Auslösen eines Ereignisses, bspw. die Übermittlung eines Signals über eine Drahtlosschnittstelle, z.B. an ein Terminal. Eine Anomalie umfasst z.B. Erfassungsergebnisse, die von erwarteten und/oder abgespeicherten Erfassungsergebnissen abweichen. Die in diesen Schritten beschriebenen Anomalien können mit Positionen auf einer Karte assoziiert sein, die Erfassung von Objekten im Radar-Erfassungsbereich kann die Detektion von Personen umfassen, die positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse kann basierend auf definierten Teilbereichen des von der Radarsensoreinheit insgesamt erfassten Bereichs erfolgen und diese Teilbereiche können z.B. einzeln ausgewertet werden, und/oder die positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse kann bspw. in einer Mehrebenenkarte des Roboters erfolgen. Gegenüber den bisher beschriebenen Verfahrensschritten können weitere optionale Schritte das Speichern der Positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse in einer Positions- und Regeldatenbank umfassen, wobei es sich bei den Erfassungsergebnissen bspw. um Vitalparameter einer Person handeln kann. Der Radarsignal-Erfassungsbereich kann, in einem Aspekt, im Wesentlichen senkrecht zum Betriebspfad des Roboters ausgerichtet sein. Die im Verfahren genutzten Positionsdaten, die durch Auswertung von Radarsensordaten ermittelt wurden, können bspw. durch mittels Laserscanner, Kamera, Ultraschallsensor und/oder Odometrieeinheit ermittelte Daten normiert werden. Insgesamt kann sich zwischen Roboter und detektierter Person eine Wand oder geschlossene Tür befinden.To address this problem, in one aspect, the robot comprises a computer-implemented method for triggering a behavior of a mobile robot in dependence on anomalies detected by a radar sensor unit, comprising the movement of the robot on a path, the detection of objects or obstacles in the radar detection range, the position and/or time-related evaluation of the detection results, a comparison of detection results with previously saved detection results and the determination and evaluation of the deviation between the detection results and the previously saved detection results. The path can, for example, be an operating path of the robot and include path positions that are stored or associated with a position and rule database of the robot. The trigger event can, for example, include the adjustment of the path planning of the robot and/or the triggering of an event, e.g. the transmission of a signal via a wireless interface, e.g. to a terminal. An anomaly includes, for example, detection results that deviate from expected and/or saved detection results. The anomalies described in these steps can be associated with positions on a map, the detection of objects in the radar detection area can include the detection of people, the position- and/or time-related evaluation of the detection results can be based on defined sub-areas of the area covered by the radar sensor unit as a whole and these sub-areas can be evaluated individually, for example, and/or the position- and/or time-related evaluation of the detection results can be carried out, for example, in a multi-level map of the robot. Compared to the method steps described so far, further optional steps can include storing the position- and/or time-related evaluation of the detection results in a position and rule database, whereby the detection results can be, for example, vital parameters of a person. The radar signal detection area can, in one aspect, be aligned essentially perpendicular to the operating path of the robot. The position data used in the method, which were determined by evaluating radar sensor data, can be standardized, for example, by data determined using a laser scanner, camera, ultrasound sensor and/or odometry unit. Overall, there can be a wall or closed door between the robot and the detected person.
In einem Aspekt umfasst das eingangs skizzierte technische Problem ein Teilproblem, nämlich eine vereinfachte Messung von Vitalparametern, ohne notwendigerweise auf Referenzwerte für die Signalstärke in einer Tabelle zurückgreifen zu müssen, weil dies wiederum weitere Schritte zur Referenzwertermittlung außerhalb des eigentlichen Messverfahrens umfassen würde, bspw. im Rahmen einer Kalibrierung.In one aspect, the technical problem outlined at the beginning includes a sub-problem, namely a simplified measurement of vital parameters without necessarily having to resort to reference values for the signal strength in a table, because this in turn would involve further steps to determine the reference value outside the actual measurement procedure, e.g. in the context of a calibration.
Es wird daher auf ein Verfahren abgestellt, dass ohne solche Referenzwerte auskommt. Dieses computer-implementierte Verfahren zur Erfassung von mindestens einem Vitalparameter durch einen mobilen Roboter umfasst die Bewegung des Roboters auf einem Pfad, die Ermittlung der aktuellen Position des Roboters, die Erfassung von Objekten bzw. Hindernissen im Radar-Erfassungsbereich, die Detektion von Personen im Radar-Erfassungsbereich, die Erfassung von Vitalparametern einer detektierten Person im Radar-Erfassungsbereich, einen Abgleich der Vitalparameter-Messergebnisse und Anpassung der Signalstärke in Abhängigkeit vom Abgleich der Vitalparameter-Messergebnisse und die Durchführung einer Vitalparameter-Bewertung. Der Pfad kann bspw. ein Betriebspfad des Roboters sein und Pfadpositionen umfassen, die mit einer Positions- und Regeldatenbank des Roboters hinterlegt bzw. assoziiert sind. Dabei kann z.B. die Anpassung der Signalstärke (in eine Richtung) so lange vorgenommen werden, bis sich die gemessenen Vitalparameter nach einer Anpassung der Signalstärke qualitativ verschlechtern. Diese Verbesserung kann z.B. von einem Anpassungsschritt auf den nächsten ermittelt werden. Wird bspw. eine Verschlechterung festgestellt von einem Anpassungsschritt auf den nächsten, kann die Signalstärke in die andere Richtung angepasst werden. Das Verfahren kann weiter eine Vitalparameter-Bewertung umfassen, bspw. eine Positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse. Das Verfahren kann alternativ und/oder ergänzend umfassen das Auslösen eines Ereignisses wie bspw. eine Signalübermittlung in eine Cloud und/oder an ein Terminal. Ergänzend zu den vorangenannten Schritten kann eine Lokalisierung der Personenposition erfolgen, ggf. ergänzt um einen Vergleich der Objektposition mit im Speicher 15 hinterlegten Objektpositionen und/oder Objektzonen. Die Vitalparameter können z.B. für eine Person an einer lokalisierten Position erfasst werden. Die Signalauswertung erfasster Radarsignale kann bspw. einen Vergleich mit Mustern darstellen. Z.B. können die genutzten Positionsdaten, die durch Auswertung von Radarsensordaten ermittelt wurden, durch mittels Laserscanner, Kamera, Ultraschallsensor und/oder Odometrieeinheit ermittelte Daten normiert werden. In einem Aspekt nimmt der Roboter zwecks Erfassung einer Fläche mittels Radarsensoreinheit auf seinem Pfad eine Abtastposition vor einer ggf. geschlossenen Tür in einem definierten Abstand ein und führt eine Rotationsbewegung durch. Dabei kann er sich, in einem optionalen Aspekt, entlang eines konvexen Pfads vor der besagten Tür bewegen und dabei einen definierten Mindestabstand zur Tür einhalten. Der Roboter absolviert diesen konvexen Pfad bspw. auch dann, wenn sich kein Hindernis auf dem Pfad bzw. Betriebspfad des Roboters befindet.A method is therefore used that does not require such reference values. This computer-implemented method for recording at least one vital parameter by a mobile robot includes the movement of the robot on a path, the determination of the current position of the robot, the detection of objects or obstacles in the radar detection range, the detection of people in the radar detection range, the recording of vital parameters of a detected person in the radar detection range, a comparison of the vital parameter measurement results and adjustment of the signal strength depending on the comparison of the vital parameter measurement results and the implementation of a vital parameter evaluation. The path can, for example, be an operating path of the robot and include path positions that are stored or associated with a position and rule database of the robot. For example, the adjustment of the signal strength (in one direction) can be carried out until the measured vital parameters deteriorate in quality after an adjustment of the signal strength. This improvement can, for example, be determined from one adjustment step to the next. If, for example, a deterioration is detected from one adjustment step to the next, the signal strength can be adjusted in the other direction. The method can also include a vital parameter assessment, for example a position- and/or time-related evaluation of the detection results. The method can alternatively and/or additionally include the triggering of an event such as a signal transmission to a cloud and/or to a terminal. In addition to the aforementioned steps, the person's position can be localized, possibly supplemented by a comparison of the object position with object positions and/or object zones stored in the
In einem Aspekt umfasst das eingangs skizzierte technische Problem ein Teilproblem, nämlich die Erfassung von Objekten und/oder Vitalparametern durch Wände hindurch, die eine hohe Dämpfung der Radarsignale verursachen und damit eine erschwerte, präzise Erfassung von Objekten und/oder Vitalparametern.In one aspect, the technical problem outlined at the beginning includes a sub-problem, namely the detection of objects and/or vital parameters through walls, which cause a high attenuation of the radar signals and thus make it difficult to detect objects and/or vital parameters precisely.
Dieses Problem wird in der folgenden Ausführungsform adressiert. Der Roboter verfügt über ein computer-implementiertes Verfahren, umfassend die Bewegung des Roboters auf einem Pfad, die Ermittlung der aktuellen Position des Roboters, das Einnehmen einer Abtastposition, und die Durchführung einer Drehbewegung, wobei an der Abtastposition eine Erfassung von Objekten und/oder Vitalparametern durch eine Radarsensoreinheit des Roboters erfolgt. Der Pfad kann bspw. ein Betriebspfad des Roboters sein und Pfadpositionen umfassen, die mit einer Positions- und Regeldatenbank des Roboters hinterlegt oder assoziiert sind. Die Ermittlung der Abtastposition kann bspw. mittels Positionen aus einer Karte oder über eine Erfassung und Auswertung von Mustern erfolgen. Die Abtastposition kann bspw. einen definierten Abstand zu einer Tür aufweisen. Der erwähnte Winkel der Drehbewegung kann z.B. mindestens 20° umfassen. Bei der Drehbewegung kann es sich, in einem Aspekt, um eine Drehbewegung um eine rotationssymmetrische Achse des Roboters handeln. Die Drehbewegung umfasst bspw. eine Rotation in eine Richtung, optional gefolgt von einer Rotation in eine andere Richtung. In einem Aspekt bewegt sich der Roboter beim Annähern an eine Tür sich parallel zu Wänden, nimmt eine Drehbewegung hin zu einer Tür vor, gefolgt vom Abfahren eines konvexen Pfads vor der Tür (mit der Konvexität gesehen von der Tür aus). Hierbei entspricht z.B. der minimale Abstand des konvexen Pfads zur Tür dem definierten Abstand zur Tür. Der Roboter absolviert diesen konvexen Pfad bspw. auch dann, wenn sich kein Hindernis auf dem Pfad bzw. Betriebspfad des Roboters befindet.This problem is addressed in the following embodiment. The robot has a computer-implemented method, comprising moving the robot along a path, determining the current position of the robot, assuming a scanning position, and performing a rotational movement, wherein objects and/or vital parameters are detected at the scanning position by a radar sensor unit of the robot. The path can be, for example, an operating path of the robot and include path positions that are stored or associated with a position and rule database of the robot. The scanning position can be determined, for example, using positions from a map or by detecting and evaluating patterns. The scanning position can, for example, have a defined distance from a door. The mentioned angle of the rotational movement can, for example, be at least 20°. The rotational movement can, in one aspect, be a rotational movement about a rotationally symmetrical axis of the robot. The rotational movement includes, for example, a rotation in one direction, optionally followed by a rotation in another direction. In one aspect, the robot moves parallel to walls when approaching a door, makes a turning movement towards a door, followed by traveling along a convex path in front of the door (with the convexity as seen from the door). Here, for example, the minimum distance of the convex path to the door corresponds to the defined distance to the door. The robot completes this convex path, for example, even if there is no obstacle on the path or operating path of the robot.
Die Ableitung von Regeln, die sich auf Positionen von Objekten, Personen und/oder mit diesen assoziierten Werten wie bspw. Vitalparameter basieren, kann einerseits implizieren, dass es sich bei den Positionen um Positionen innerhalb oder mittels Koordinaten einer Karte definierter Räume handelt, die bspw. im operativen Betrieb des Roboters (d.h. während einer Patrouillenfahrt), nicht betreten werden. Genauso ist es aber auch möglich, Positionen über die Positionen in solchen Flächen zu definieren, die vom Roboter im operativen Betrieb betreten/befahren werden, ggf. in Kombination mit einem Richtungsvektor, der eine Orientierung und optional definierte Länge aufweist und sich auf Koordinaten bezieht, die der Roboter einnimmt oder einnehmen kann. Ersteres bedeutet, dass ein Koordinatenwert vom Pfad des Roboters bspw. mit einem definierten Richtungsvektor oder Richtungsvektorenbereich assoziiert wird, der eine definierte Länge haben kann. Letzteres bedeutet, dass bspw. bestimmte Bereiche eines vom Roboter befahrbaren Areals mit Richtungsvektoren bzw. Richtungsvektorbereichen assoziiert sind. Dieses Vorgehen erlaubt, ohne spezifische Definition der Räume mittels Koordinaten einer Karte Regeln für diese Räume zu etablieren, so dass eine Positionsauswertung oder -bewertung für Personen oder Objekte in den Räumen möglich wird.The derivation of rules based on the positions of objects, people and/or values associated with them, such as vital parameters, can imply, on the one hand, that the positions are positions within or defined by means of coordinates on a map of spaces that are not entered, for example, during the robot's operational operation (i.e. during a patrol drive). However, it is also possible to define positions via the positions in areas that are entered/traveled through by the robot during operational operation, if necessary in combination with a direction vector that has an orientation and optionally defined length and refers to coordinates that the robot takes or can take. The former means that a coordinate value from the robot's path is associated, for example, with a defined direction vector or direction vector range that can have a defined length. The latter means that, for example, certain areas of an area that the robot can travel through are associated with direction vectors or direction vector ranges. This approach allows rules to be established for the rooms using coordinates on a map without a specific definition of the rooms, so that a position evaluation or assessment for persons or objects in the rooms is possible.
Zeichnungendrawings
Es zeigen:
-
1 mobiler Roboter mit Cloud-Anbindung -
2 Hardware-Komponenten im mobilen Roboter -
3 Radarsensoreinheit -
4 Software-Komponenten im mobilen Roboter -
5 Ablauf Personenüberwachung -
6 Ablauf Objektlokalisation -
7 Initiale Kartierung -
8 Anordnung Roboter bei Überwachungsvorgang -
9 Ablauf Vitaldatenerfassung unter Anpassung der Radarsignalstärke -
10 Ablauf Anomaliedetektion -
11 Vitalparameter-Erfassung mit Regelkreis -
12 Schritte der Vitalparameter-Messung -
13 Einnehmen Abtastposition
-
1 mobile robot with cloud connection -
2 Hardware components in the mobile robot -
3 Radar sensor unit -
4 Software components in the mobile robot -
5 Personal surveillance process -
6 Object localization process -
7 Initial mapping -
8th Arrangement of robots during monitoring process -
9 Process of vital data acquisition with adjustment of radar signal strength -
10 Anomaly detection process -
11 Vital parameter recording with control loop -
12 Steps of vital parameter measurement -
13 Take scanning position
Detaillierte Beschreibung der ErfindungDetailed description of the invention
Beim Roboter 1 (siehe
Die mobile Basis 2 weist einen Aufbau 3 auf, womit der Roboter 1 eine Höhe von bspw. mindestens 50 cm, bevorzugt von bspw. mindestens 90 cm erreicht. Die mindestens eine Radarsensoreinheit 30 ist im Wesentlichen senkrecht zur Fahrtrichtung des Roboters 1 positioniert, bspw. in einer Höhe von 85 cm. Er befindet sich mit einem Verstärker 33 in einer Radarsensoreinheit 30 (dazu auch
Der Roboter verfügt, wie
Kernstück der Radarsensoreinheit 30 ist der Radarsensor 31, bei dem es sich bspw. um ein Continuous Wave-Dopplerradar, ein frequenzmoduliertes Continuous-Wave-Dopplerradar (FMCW) oder ein (Impulse Radio) Ultraweitband-Radar handeln kann, bspw. um ein UWB-Radar im Sub-10 GHz-Bereich von Novelda wie bspw. den X4 Transceiver. In einem Aspekt wird das Radarsignal von der Radarsensoreinheit 30 mittels mindestens einer Radarantenne 32 ausgesendet, bei der sich es sich bspw. um eine Richtantenne handelt, um eine bessere Rauschreduktion zu erhalten. Es können aber auch mehrere Radarantennen 32 genutzt werden, bspw. Antennenarrays. Eine Übersicht über Radarsysteme, die bspw. zur Messung der Herzrate genutzt werden können, wie auch entsprechende Messverfahren finden sich in
Die Überwachung von Objekten bzw. Personen, insbesondere innerhalb von bestimmten Bereichen ist als Ablauf in
Im Schritt 150 findet ein Vergleich der Objektposition mit im Speicher 15 hinterlegten Objektpositionen statt, in einem Aspekt eine Klassifizierung. So kann bspw. für eine Objektart wie bspw. ein Bett 54 eine Position hinterlegt sein. Es können bspw. auch Zonen in der Positions- und Regeldatenbank 48 bzw. einer Karte hinterlegt bzw. assoziiert sein, die beschreiben, innerhalb welcher Koordinaten sich welche Objekte bzw. Personen befinden dürfen und Zonen, in denen sich bestimmte Objekte wie bspw. Personen nicht befinden dürfen (verbotene Zonen). Vergleich an dieser Stelle bedeutet beispielhaft, dass das Signalmuster, welches im Schritt 120 als Bett 54 identifiziert wird, mit einer im Speicher hinterlegten Bettposition verglichen wird oder aber einer Zone, die mit einem Bett assoziiert ist. Genauso wird ein im Schritt 120 als Person (z.B. 56-58) identifiziertes Signal mit für Personen im Speicher 15 hinterlegten Positionen verglichen. Bei Abweichungen der durch das Radarsignal identifizierten Objektpositionen von hinterlegten Objektpositionen im Schritt 160 wird ein Ereignis ausgelöst, was in hinterlegten Regeln definiert sein kann, welche sich bspw. in einer im Speicher 15 hinterlegten Tabelle befinden können und/oder in der Positions- und Regeldatenbank 48. Bei diesem Ereignis kann es sich um die Benachrichtigung einer Anwendung in der Cloud 4 oder eines Terminals 5 handeln. Dies kann bspw. eine Alarmierung umfassen. So kann z.B. in der Positions- und Regeldatenbank 48 hinterlegt oder assoziiert sein, dass in bestimmten Zonen eines Raums 53 sich zu bestimmten Zeiten keine Person aufhalten darf bzw. umgekehrt, dass sich zu bestimmten Zeiten Personen nur in bestimmten Zonen aufhalten dürfen (wie bspw. im Bett 54).In step 150, the object position is compared with object positions stored in
Die Signalauswertung bzw. Mustererkennung bspw. auf Basis einer Klassifikation in Schritt 120 kann durch Erfassen von Personen 57 und Personenbewegungen mittels eines Radarsensors erfolgen, der nicht notwendigerweise auf dem Roboter 1 implementiert sein muss, sondern auch in einer Laborumgebung um Einsatz ist. Hierbei können verschiedene Bewegungsmuster eintrainiert werden. In einem Aspekt kann hierbei Imitation Learning genutzt werden (siehe z.B. Wang, Borui, et al. „Imitation learning for human pose prediction.“ Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019, welche jedoch Skelettdaten nutzen, um Körperposen zu klassifizieren, während hier Radarsignale genutzt werden). Beim Klassifizierungsverfahren kann es sich um Action Recognition handeln (siehe z.B.
In einem Aspekt umfasst die Signalauswertung in Schritt 120 alternativ und/oder ergänzend eine Ermittlung von mindestens einem Vitalparameter wie bspw. der Herz- oder Pulsrate, Atmung, etc. im Vitaldatenerfassungsmodul 41. Unter Vitalparametern werden in diesem Dokument bspw., aber nicht ausschließlich, Pulsrate, Herzratenvariabilität, usw. verstanden, deren Detektion bzw. Herleitung bspw. in
In einem Aspekt verfügt der Roboter 1 über eine Rechnereinheit 14 und einen Speicher 15, mindestens eine Kamera 11 und/oder Laserscanner 10 zur Erfassung von Hindernissen im Umfeld des Roboters, ein Pfadplanungsmodul 40 zur Planung eines Betriebspfads 63 des Roboters 1, eine Radarsensoreinheit 30 zur Objekt- und/oder Personenerfassung durch eine Wand 60 oder geschlossene Tür 52 hindurch, ein Vitaldatenerfassungsmodul 46 zur Erfassung von Vitaldaten einer Person, die durch die Radarsensoreinheit 30 erfasst wird, ein Personenpositionsermittlungsmodul zur Ermittlung der Position einer Person, die durch die Radarsensoreinheit 30 erfasst wird, eine Drahtlosschnittstelle 16 zur Übertragung eines Signals in die Cloud 4 oder an ein Terminal 5 beim Auslösen eines Ereignisses, sowie weiterhin eine Positions- und Regeldatenbank 48. Das Vitaldatenerfassungsmodul 46 ist für einen Vergleich ermittelter Vitalparameter mit hinterlegten Vitalparametern und/oder eine Vitalparameterbewertung konfiguriert. Die Positions- und Regeldatenbank 38 enthält Regeln für einen Vergleich ermittelter Objektpositionen mit hinterlegten Objektpositionen und/oder Objektzonen, für die Feldstärke der Radarsensoreinheit 30 zum Abtasten einer Fläche, wobei bspw. die Feldstärke mit Abtastpositionen assoziiert ist, und/oder die Positions- und Regeldatenbank 48 hält Wegmarken und/oder Abtastpositionen eines Betriebspfads 63 für die Radarsensoreinheit 30 zum Abtasten einer Fläche vor.In one aspect, the
Beispiel 1:Example 1:
Zusammengefasst lässt sich das computer-implementierte Verfahren wie folgt darstellen:
- A1. Computer-implementiertes Verfahren zur Überwachung einer Fläche durch einen mobilen Roboter 1, umfassend
- • Abfahren eines Betriebspfads 63,
- • Erfassung einer zu überwachenden Fläche mittels mindestens einer
Radarsensoreinheit 30, - • Signalauswertung erfasster Radarsignale und
- • Auslösen eines Ereignisses basierend auf der Auswertung, wobei die Erfassung der zu überwachenden Fläche durch eine Wand 60 und/oder geschlossene Tür 52 hindurch erfolgt.
- A2. Computer-implementiertes Verfahren nach A1, wobei die Erfassung der zu überwachenden Fläche in etwa senkrecht zur Fahrtrichtung des
Roboters 1 erfolgt. - A3. Computer-implementiertes Verfahren nach A1-A2, wobei die Signalauswertung die Identifikation von Objekten inkl. Personen umfasst.
- A4. Computer-implementiertes Verfahren nach A1-A3, wobei die Signalauswertung weiter eine Differenzierung in bewegliche und unbewegliche Objekte umfasst.
- A5. Computer-implementiertes Verfahren nach A1-A4, wobei die Signalauswertung eine Ermittlung von mindestens einem Vitalparameter umfasst.
- A6. Computer-implementiertes Verfahren nach A1-A3, weiter umfassend eine Lokalisierung der Objektposition.
- A7. Computer-implementiertes Verfahren nach A3-A6, weiter umfassend ein Vergleich der Objektposition
mit im Speicher 15 hinterlegten Objektpositionen und/oder Objektzonen. - A8. Computer-implementiertes Verfahren nach A7, wobei die
im Speicher 15 hinterlegten Objektzonen verbotene Zonen sein können. - A9. Computer-implementiertes Verfahren nach A5, weiter umfassend der Vergleich ermittelter Vitalparameter mit hinterlegten Vitalparametern und/oder eine Vitalparameterbewertung.
- A10. Computer-implementiertes Verfahren nach A1-A9, wobei beim Auslösen eines Ereignisses eine Signalübermittlung in
die Cloud 4 oder anein Terminal 5 erfolgt. - A11. Computer-implementiertes Verfahren nach A5, wobei die Vitalparameter für eine Person an einer lokalisierten Position erfasst werden.
- A12. Computer-implementiertes Verfahren nach A1-A11, wobei die Signalauswertung erfasster Radarsignale einen Vergleich mit Mustern darstellt.
- A13. Computer-implementiertes Verfahren nach A1-A12, wobei für die Signalauswertung ein Klassifikator genutzt wird, der mittels Imitation Learning erstellt wurde oder der Action Recognition nutzt.
- A14. Computer-implementiertes Verfahren nach A6, wobei genutzte Positionsdaten, die durch Auswertung von Radarsensordaten ermittelt wurden, durch mittels Laserscanner 10,
Kamera 11, Ultraschallsensor und/oder Odometrieeinheit 23 ermittelten Daten normiert werden. - A15. Computer-implementiertes Verfahren nach A3 oder A6, weiter umfassend die Aktualisierung der Karte 42 des
Roboters 1 durch Übernahme der mittels Radarsensoreinheit 30 detektierten Hindernisse. - A16. Computer-implementiertes Verfahren nach A1, wobei der Roboter 1 eine Abtastposition vor einer Tür 52 in einem definierten Abstand einnimmt und eine Rotationsbewegung durchführt.
- A17. Computer-implementiertes Verfahren nach A1, wobei der Roboter 1 sich entlang eines konvexen Betriebspfads (63) vor einer Tür 52 bewegt und dabei einen definierten Mindestabstand zur Tür 52 einhält.
- AB18. Computer-implementiertes Verfahren nach A17, wobei der Roboter 1 den konvexen Betriebspfad (63) auch in Abwesenheit eines Hindernisses auf seinem Pfad absolviert.
- AB19. Computer-implementiertes Verfahren nach A1-A18, wobei der Betriebspfad 63 Pfadpositionen aus der Positions-
und Regeldatenbank 48 enthält. - AB20. Computer-implementiertes Verfahren nach A1, wobei die Signalstärke der Radarsensoreinheit 30 für die Erfassung der zu überwachenden Fläche in der Positions-
und Regeldatenbank 30 hinterlegt ist. - AB21. Computer-implementiertes Verfahren nach A21, wobei die Signalstärke der Radarsensoreinheit 30 für die Erfassung der zu überwachenden Fläche mit Abtastpositionen des Betriebspfads 63 des
Roboters 1 assoziiert ist. - A22. Vorrichtung zur Durchführung des Verfahrens nach A1-A21.
- A23.
Roboter 1 mit einerRechnereinheit 14 und einem Speicher 15, mindestens einerKamera 11 und/oder Laserscanner 10 zur Erfassung von Hindernissen im Umfeld des Roboters, einem Pfadplanungsmodul 40 zur Planung eines Betriebspfads 63 desRoboters 1,einer Radarsensoreinheit 30 zur Objekt- und/oder Personenerfassung durch eine Wand 60 oder geschlossene Tür 52 hindurch, einem Vitaldatenerfassungsmodul 46 zur Erfassung von Vitaldaten einer Person, die durch dieRadarsensoreinheit 30 erfasst wird, einem Personenpositionsermittlungsmodul zur Ermittlung der Position einer Person, die durch dieRadarsensoreinheit 30 erfasst wird, einer Drahtlosschnittstelle 16 zur Übertragung eines Signals indie Cloud 4 oder anein Terminal 5 beim Auslösen eines Ereignisses, umfassend weiterhin eine Positions-und Regeldatenbank 48. - A24. Roboter nach A23,
wobei das Vitaldatenerfassungsmodul 46 konfiguriert ist für einen Vergleich ermittelter Vitalparameter mit hinterlegten Vitalparametern und/oder eine Vitalparameterbewertung. - A25. Roboter nach A23, wobei die Positions-
und Regeldatenbank 48 Regeln enthält für einen Vergleich ermittelter Objektpositionen mit hinterlegten Objektpositionen und/oder Objektzonen. - A26. Roboter nach A23, wobei die Positions-
und Regeldatenbank 48 Regeln enthält für die Feldstärke der Radarsensoreinheit 30 zum Abtasten einer Fläche. - A26. Roboter nach A26, wobei die Feldstärke mit Abtastpositionen assoziiert ist.
- A27. Roboter nach A23, wobei die Positions-
und Regeldatenbank 48 Wegmarken und/oder Abtastpositionen der Radarsensoreinheit 30 vorweist.
- A1. Computer-implemented method for monitoring an area by a
mobile robot 1, comprising- • Driving along an operating path 63,
- • Detection of an area to be monitored by means of at least one
radar sensor unit 30, - • Signal evaluation of detected radar signals and
- • Triggering an event based on the evaluation, whereby the area to be monitored is detected through a wall 60 and/or closed door 52.
- A2. Computer-implemented method according to A1, wherein the detection of the area to be monitored occurs approximately perpendicular to the direction of travel of the
robot 1. - A3. Computer-implemented method according to A1-A2, whereby the signal evaluation includes the identification of objects including persons.
- A4. Computer-implemented method according to A1-A3, wherein the signal evaluation further comprises a differentiation between moving and immobile objects.
- A5. Computer-implemented method according to A1-A4, wherein the signal evaluation comprises a determination of at least one vital parameter.
- A6. Computer-implemented method according to A1-A3, further comprising a localization of the object position.
- A7. Computer-implemented method according to A3-A6, further comprising a comparison of the object position with object positions and/or object zones stored in the
memory 15. - A8. Computer-implemented method according to A7, wherein the object zones stored in the
memory 15 can be prohibited zones. - A9. Computer-implemented method according to A5, further comprising the comparison of determined Vital parameters with stored vital parameters and/or a vital parameter assessment.
- A10. Computer-implemented method according to A1-A9, wherein when an event is triggered a signal is transmitted to the
cloud 4 or to aterminal 5. - A11. Computer-implemented method according to A5, wherein the vital parameters for a person are recorded at a localized position.
- A12. Computer-implemented method according to A1-A11, wherein the signal evaluation of detected radar signals represents a comparison with patterns.
- A13. Computer-implemented method according to A1-A12, whereby a classifier created by means of imitation learning or using action recognition is used for the signal evaluation.
- A14. Computer-implemented method according to A6, wherein used position data determined by evaluating radar sensor data are standardized by data determined by means of
laser scanner 10,camera 11, ultrasonic sensor and/orodometry unit 23. - A15. Computer-implemented method according to A3 or A6, further comprising updating the map 42 of the
robot 1 by incorporating the obstacles detected by means of theradar sensor unit 30. - A16. Computer-implemented method according to A1, wherein the
robot 1 assumes a scanning position in front of a door 52 at a defined distance and performs a rotational movement. - A17. Computer-implemented method according to A1, wherein the
robot 1 moves along a convex operating path (63) in front of a door 52 while maintaining a defined minimum distance from the door 52. - AB18. Computer-implemented method according to A17, wherein the
robot 1 completes the convex operating path (63) even in the absence of an obstacle on its path. - AB19. Computer-implemented method according to A1-A18, wherein the operating path 63 contains path positions from the position and
rule database 48. - AB20. Computer-implemented method according to A1, wherein the signal strength of the
radar sensor unit 30 for detecting the area to be monitored is stored in the position andcontrol database 30. - AB21. Computer-implemented method according to A21, wherein the signal strength of the
radar sensor unit 30 for detecting the area to be monitored is associated with scanning positions of the operating path 63 of therobot 1. - A22. Device for carrying out the method according to A1-A21.
- A23.
Robot 1 with acomputer unit 14 and amemory 15, at least onecamera 11 and/orlaser scanner 10 for detecting obstacles in the environment of the robot, apath planning module 40 for planning an operating path 63 of therobot 1, aradar sensor unit 30 for object and/or person detection through a wall 60 or closed door 52, a vitaldata acquisition module 46 for recording vital data of a person detected by theradar sensor unit 30, a person position determination module for determining the position of a person detected by theradar sensor unit 30, awireless interface 16 for transmitting a signal to thecloud 4 or to aterminal 5 when an event is triggered, further comprising a position andrule database 48. - A24. Robot according to A23, wherein the vital
data acquisition module 46 is configured for a comparison of determined vital parameters with stored vital parameters and/or a vital parameter evaluation. - A25. Robot according to A23, wherein the position and rule database contains 48 rules for comparing determined object positions with stored object positions and/or object zones.
- A26. Robot according to A23, wherein the position and rule database contains 48 rules for the field strength of the
radar sensor unit 30 for scanning a surface. - A26. Robot according to A26, where the field strength is associated with sensing positions.
- A27. Robot according to A23, wherein the position and
rule database 48 contains waypoints and/or scanning positions of theradar sensor unit 30.
Beispiel 2: Verfahren zur Aktualisierung von Karten zu ÜberwachungszweckenExample 2: Procedure for updating maps for surveillance purposes
In einem Aspekt besteht die technische Herausforderung im bislang beschriebenen Kontext darin, Objekte im zu überwachenden Bereich richtig zu lokalisieren und bspw. auch die Erfassung von Vitalparametern zielgenau vornehmen zu können.In one aspect, the technical challenge in the context described so far is to correctly localize objects in the area to be monitored and, for example, to be able to accurately record vital parameters.
Um dieses Ziel zu erreichen, erstellt der Roboter 1 gemäß
Bei der Kartenerstellung im Schritt 210 erfasst der Roboter 1 jeweils von seiner jeweiligen Position aus die Hindernisse in seinem Umfeld und relativ zu seiner gegenwärtigen Position und trägt sie als Hindernisse in die Karte ein. Dabei kann bspw. die aktuelle Position über eine Odometrie-Einheit ermittelt werden oder wie in
Im Schritt 220 wird mit Hilfe der durch die Radarsensoreinheit 30 erfassten Daten eine zweite Karte 43 erstellt, welche bewegliche und/oder stationäre Objekte im Radarsignal-Erfassungsbereich 59 beinhaltet. Derartige Kartenerstellungen sind aus dem Stand der Technik bekannt (z.B.
Im Schritt 230 werden die ermittelten Positionsdaten der beweglichen und/oder stationären Objekte bzw. Hindernisse aus der zweiten Karte 43 mit Positionsdaten der stationären Objekte bzw. Hindernisse aus der ersten Karte 42 verglichen. Dies kann bspw. auf dem Weg der Datenfusion erfolgen. Hierbei werden die Positionsdaten der stationären Objekte bzw. Hindernisse der ersten Karte 42 als Referenzwerte genommen und die Position der in der zweiten Karte 43 dargestellten Objekte bzw. Hindernisse korrigiert (Schritt 240). Faktisch bedeutet dies eine Synchronisierung statischer Objektdaten bzw. Hindernisdaten. Dies betrifft praktisch jedoch nur Objekte bzw. Hindernisse, welche zuvor bereits vorhanden waren und demzufolge vor allem stationäre Hindernisse bzw. Objekte wie Wände (60, 61) oder bspw. Betten 54, etc. Dies führt zu einer besseren relativen Positionsschätzung der detektierten beweglichen Hindernisse bzw. Objekte in der zweiten Karte (43). In einem Aspekt erfolgt diese Korrektur nur für solche Objekte/Hindernisse, die nicht zugleich durch Laserscanner 10 bzw. Kamera 11 detektierbar sind und sich bspw. hinter einer Wand 60 oder Tür 52 befinden und durch die Radarsensoreinheit 30 erfasst werden. Das heißt z.B., dass wie in
Alternativ zu Schritt 240, bei dem die Position der Objekte bzw. Hindernisse in der zweiten Karte 43 korrigiert wird, können die Objekte bzw. Hindernisse aus der zweiten Karte 43, die nicht in der ersten Karte 42 enthalten waren, in die erste Karte 42 übertragen werden (Schritt 250). Dies betrifft bspw. vor allem bewegliche Objekte bzw. Hindernisse. Im Ergebnis kann die erste Karte 42 damit bewegliche Objekte bzw. Hindernisse enthalten, die durch Daten des Laserscanners 10 und/oder der Kamera 11 detektiert wurden sowie Daten, die durch die Radarsensoreinheit 30 erfasst wurden. Alternativ dazu kann auch eine dritte Karte 44 erstellt werden, die die Informationen der ersten Karte 42 als Basis nimmt und die wie beschrieben aus der Karte 43 enthaltenen zusätzlichen Hindernisse bzw. Objekte übernimmt (Schritt 260). Hierbei kann, in einem Aspekt, das Koordinatensystem der ersten Karte 42 übernommen werden und bspw. diese dritte Karte 44 als Basis für die Roboternavigation genutzt werden. Zusammenfassend kann damit festgehalten werden, dass in den Schritten 230, 240 und 250 die Positionsdaten von Objekten bzw. Hindernissen aus der zweiten Karte 43 mindestens anteilig korrigiert werden. Weiterhin impliziert das hier beschriebene Verfahren, dass die Positionsdaten für Objekte bzw. Hindernisse, die aus den Radarsensordaten ermittelt werden, durch Positionsdaten, die mittels Laserscanner 10 oder Kamera 11 (ggf. auch Ultraschallsensor(en)) und ggf. alternativ und/oder ergänzend mittels Odometriedaten ermittelt wurden, normalisiert werden, da die Positionskorrektur für stationäre Objekte bzw. Hindernisse erfolgt.As an alternative to step 240, in which the position of the objects or obstacles in the second map 43 is corrected, the objects or obstacles from the second map 43 that were not included in the first map 42 can be transferred to the first map 42 (step 250). This applies, for example, primarily to moving objects or obstacles. As a result, the first map 42 can therefore contain moving objects or obstacles that were detected by data from the
Die Kartenfusion bzw. Kombination der detektierten Hindernisse kann bspw. erfolgen wie in
In einem Aspekt werden Objektdaten klassifiziert, um darüber Personen im Erfassungsbereich der Radarsensoreinheit 30 (bzw. von deren Radarantenne(n) 32 zu detektieren, wie an anderer Stelle in diesem Dokument beispielhaft beschrieben, um bspw. darüber die Position von mindestens einer Person auf Basis von Regeln auszuwerten, ggf. in Verbindung mit der Erfassung von mindestens einem Vitalparameter dieser Person. Dabei befindet sich diese Person vom Roboter aus gesehen hinter einer Wand 60 oder Tür 52.In one aspect, object data is classified in order to detect persons in the detection range of the radar sensor unit 30 (or of its radar antenna(s) 32, as described by way of example elsewhere in this document, for example in order to evaluate the position of at least one person on the basis of rules, possibly in conjunction with the detection of at least one vital parameter of this person. This person is located behind a wall 60 or door 52 as seen from the robot.
Die somit ermittelten Positionsdaten für die Objekte, die durch die Radarsensoreinheit 30 erfasst wurden, können im Schritt 140 genutzt werden, der weiter oben bereits beschrieben wurde. Alternativ und/oder ergänzend werden die Positionsdaten für bewegliche Objekte, die durch Auswertung der Radarsensordaten ermittelt wurden, mit Positionsdaten von Zonen verglichen, die in einer der Karten 42-44, einer vierten Karte und/oder einer Tabelle enthalten sind. Dies entspricht bspw. dem Schritt 150. Diesen Zonen sind wiederum Regeln zugeordnet. So kann bspw. eine Regel besagen, dass bei Identifikation eines Objekts in einer Zone ein Ereignis durch den Roboter 1 ausgelöst wird. In einem nächsten Schritt kann dann ein solches Ereignis durch den Roboter 1 ausgelöst werden, bspw. die Benachrichtigung eines Terminals 5.The position data thus determined for the objects detected by the
Das Verfahren stellt sich wie folgt dar:
- B1. Computer-implementiertes Verfahren zur Ermittlung, zur Korrektur oder zur Synchronisierung von Objekt-Positionsdaten, umfassend die folgenden Schritte:
- • Erstellung einer ersten Karte 42 durch einen mobilen Roboter 1 mit Hindernissen bzw. Objekten basierend auf Laserscanner-, Kamera- und/oder Ultraschallsensor-Daten,
- • Erstellung einer zweiten Karte 43 durch einen mobilen Roboter 1 mit Hindernissen bzw. Objekten basierend auf Radarsensor-Daten,
- • Vergleich der Positionsdaten für in den Karten (42, 43) jeweils enthaltenen Hindernissen bzw. Objekten,
- B2. Computer-implementiertes Verfahren nach B2, wobei es sich bei den korrigierten Positionsdaten um Positionsdaten von stationären Hindernissen bzw. Objekten handelt.
- B3. Computer-implementiertes Verfahren nach B1-B2, wobei die zweite Karte 43 zeitlich nach der ersten Karte 42 erstellt wird.
- B4. Computer-implementiertes Verfahren nach B1-B3, wobei die zweite Karte 43 beim Absolvieren des Betriebspfads 63
durch den Roboter 1 erstellt wird basierend auf Regeln aus bzw. an Positionen der Positions-und Regeldatenbank 48. - B5. Computer-implementiertes Verfahren nach B1, wobei der für die Ermittlung der Radarsensor-
Daten genutzte Radarsensoreinheit 30 eine Fläche erfasst, die nicht zugleich durchden Laserscanner 10,eine Kamera 11 oder einen Ultraschallsensor erfassbar ist. - B6. Computer-implementiertes Verfahren nach B1, wobei die Radarsensor-Daten Objekte bzw. Hindernisse hinter einer Wand 60 oder Tür 52 umfassen.
- B7. Computer-implementiertes Verfahren nach B1-B6, wobei die korrigierten Positionsdaten der zweiten Karte 43 in der zweiten Karte 43 hinterlegt werden.
- B8. Computer-implementiertes Verfahren nach B1-B7, weiter umfassend das Hinzufügen von Positionsdaten beweglicher Objekte aus der zweiten Karte 43 in die erste Karte 42.
- B9. Computer-implementiertes Verfahren nach B1-B7, weiter umfassend die Erzeugung einer dritten Karte 44 durch Übernahme stationärer und beweglicher Objekt- bzw. Hindernispositionen der ersten Karte 42 und Übernahme zusätzlicher beweglicher Objekt- bzw. Hindernispositionen der zweiten Karte 43.
- B10. Computer-implementiertes Verfahren nach B9, wobei die Koordinaten der ersten Karte (42) übernommen werden und der Roboter (1) nach der dritten Karte 44 navigiert.
- B11. Computer-implementiertes Verfahren nach B1-B10, weiter umfassend Vergleich der mit Hilfe der Radarsensoreinheit 30 ermittelten Positionsdaten für bewegliche Objekte mit in der Positions-
und Regeldatenbank 48 bzw. in einer der Karten (42-44) oder in einer weiteren Karte hinterlegten Zonen für bewegliche Objekte, wobei den Zonen jeweils Regeln zugeordnet sind. - B12. Computer-implementiertes Verfahren nach B11, weiter umfassend das Auslösen eines Ereignisses basierend auf den Regeln für die jeweilige Zone.
- B13. Computer-implementiertes Verfahren nach B1-B12, weiter umfassend Nutzung der Objekt-Positionsdaten zur Anpassung der Signalstärke des Radarsignals.
- B14. Computer-implementiertes Verfahren nach B1-B13, weiter umfassend die Klassifizierung von Objektdaten zur Detektion von Personen.
- B15. Computer-implementiertes Verfahren nach B14, weiter umfassend die Erfassung von mindestens einem Vitalparameter bei einer detektierten Person.
- B16. Computer-implementiertes Verfahren nach B15, wobei sich die detektierte Person hinter einer Wand 60 oder Tür 52 befindet.
- B17. Vorrichtung zur Durchführung des Verfahrens nach B1-B16.
- B1. A computer-implemented method for determining, correcting or synchronizing object position data, comprising the following steps:
- • Creation of a first map 42 by a
mobile robot 1 with obstacles or objects based on laser scanner, camera and/or ultrasonic sensor data, - • Creation of a second map 43 by a
mobile robot 1 with obstacles or objects based on radar sensor data, - • Comparison of the position data for obstacles or objects contained in the maps (42, 43),
- • Creation of a first map 42 by a
- B2. Computer-implemented method according to B2, wherein the corrected position data are position data of stationary obstacles or objects.
- B3. Computer-implemented method according to B1-B2, wherein the second map 43 is created chronologically after the first map 42.
- B4. Computer-implemented method according to B1-B3, wherein the second map 43 is created when the
robot 1 completes the operating path 63 based on rules from or at positions of the position andrule database 48. - B5. Computer-implemented method according to B1, wherein the
radar sensor unit 30 used to determine the radar sensor data detects an area that cannot be simultaneously detected by thelaser scanner 10, acamera 11 or an ultrasonic sensor. - B6. Computer-implemented method according to B1, wherein the radar sensor data comprises objects or obstacles behind a wall 60 or door 52.
- B7. Computer-implemented method according to B1-B6, wherein the corrected position data of the second map 43 are stored in the second map 43.
- B8. The computer-implemented method of B1-B7, further comprising adding position data of moving objects from the second map 43 to the first map 42.
- B9. Computer-implemented method according to B1-B7, further comprising the generation of a third map 44 by adopting stationary and moving object or obstacle positions of the first map 42 and adopting additional ual moving object or obstacle positions of the second map 43.
- B10. Computer-implemented method according to B9, wherein the coordinates of the first map (42) are adopted and the robot (1) navigates according to the third map 44.
- B11. Computer-implemented method according to B1-B10, further comprising comparing the position data for moving objects determined with the aid of the
radar sensor unit 30 with zones for moving objects stored in the position andrule database 48 or in one of the maps (42-44) or in another map, wherein rules are assigned to each zone. - B12. Computer-implemented method according to B11, further comprising triggering an event based on the rules for the respective zone.
- B13. Computer-implemented method according to B1-B12, further comprising use of the object position data to adjust the signal strength of the radar signal.
- B14. Computer-implemented method according to B1-B13, further comprising the classification of object data for the detection of persons.
- B15. Computer-implemented method according to B14, further comprising the recording of at least one vital parameter of a detected person.
- B16. Computer-implemented method according to B15, wherein the detected person is located behind a wall 60 or door 52.
- B17. Device for carrying out the method according to B1-B16.
Beispiel 3: Erfassung von Vitalparametern durch eine Wand über eine Distanz von mehreren MeternExample 3: Recording vital parameters through a wall over a distance of several meters
Die technische Aufgabenstellung ist es, im Kontext der generellen Aufgabenstellung einerseits zuverlässig Vitalparameter (wie z.B. Herzrate, Pulsrate, usw.) einer Person über eine Distanz von mehreren Metern und durch eine Wand oder Tür zu erfassen, andererseits aber auch die Strahlenexposition, die durch den hierfür genutzten Radarsensoreinheit 30 verursacht wird, bei der Person, deren Vitalparameter erfasst werden sollen, möglichst gering zu halten und zugleich auch den Energieverbrauch des Roboters 1 gering zu halten zur Optimierung seiner Reichweite bzw. Minimierung der Betriebsdauer durch Akku-Ladevorgänge.The technical task is, in the context of the general task, on the one hand to reliably record vital parameters (such as heart rate, pulse rate, etc.) of a person over a distance of several meters and through a wall or door, but on the other hand also to keep the radiation exposure caused by the
Um dieses Ziel zu erreichen, verfügt die Radarsensoreinheit 30 über einen Verstärker 33, der leistungsmoduliert ist. Unter leistungsmoduliert wird verstanden, dass seine Leistung variiert wird über den Zeitverlauf. Das Verfahren zur Erfassung von Vitalparametern stellt sich wie folgt dar und wird anhand
Der Roboter 1 bewegt sich im Schritt 310 entlang eines Pfads, auch als Betriebspfad 63 bezeichnet, da er im Gegensatz zum Explorationspfad 55 (siehe
In einem nächsten optionalen Schritt 325 wird die Distanz ermittelt, die zwischen Roboterposition und dem mit Blick auf den Roboter 1 abgewandten Randbereich des zu überwachenden Areals vorliegt, auch als Ermittlung der Erfassungstiefe bezeichnet. Das ist in
Der Roboter 1 emittiert und empfängt dabei im Wesentlichen senkrecht zur Fahrtrichtung Radarsignale mittels der Radarsensoreinheit 30 (Schritt 330 - Erfassung von Objekten bzw. Hindernissen im Radarsignal-Erfassungsbereich 59). Diese durchdringen dabei mindestens eine Wand 60 oder Tür 52. Dies ist bspw. durch den Signalkegel (Radarsignal-Erfassungsbereich 59) in
Es wird im Schritt 340 - Personendetektion ausgewertet, ob sich eine Person (56-58) in dem zu erfassenden Bereich befindet. Hierbei werden die Radarsensor-Daten für die erfassten Objekte bzw. Hindernisse klassifiziert und/oder mit hinterlegten Werten verglichen, die sich in einem Speicher 15 (bspw. einer Objektidentifizierungs-Datenbank 49) befinden. Der genutzt Klassifikator zur Personendetektion kann auf maschinellen Lernalgorithmen basieren, wie aus dem Stand der Technik hinlänglich bekannt (z.B.
Es wird im Schritt 350 eine Positionsermittlung der Person vorgenommen. Hierfür wird einerseits die Distanz zwischen Roboter 1 und detektierter Person ermittelt, bspw. über die Signallaufzeit, wie dies aus dem Stand der Technik hinlänglich bekannt ist, und es wird aus der Pose des Roboters und dem bekannten Winkel aus Radarantennenausrichtung auf dem Roboter der Winkel abgeleitet, von dem aus sich die Person im Raum befindet. Die zugehörige Position kann in einem optionalen Schritt 355 in eine Karte (bspw. 42-44) oder die Positions- und Regeldatenbank 48 übernommen bzw. mit dieser assoziiert werden. Für diese Distanz, die sich, basierend aus dem optionalen Schritt, auch aus der Karte ergeben kann, wird im Schritt 360 - Ermittlung Signalstärke - wiederum aus einem Speicher 15 (bspw. über eine dort hinterlegte Positions- und Regeldatenbank 48) ein Wert für die Signalstärke ausgelesen, der notwendig ist zur Erfassung der Vitalparameter bei der detektierten Person.In
Es wird dann im Schritt 370 der Radarverstärker 33 so eingestellt, dass seine Ausgangsleistung eine Vitalparametermessung bei der Person ermöglicht (als Anpassung der Signalstärke bezeichnet). Diese Messung wird dann, wie an anderer Stelle in diesem Dokument referenziert, entsprechend vorgenommen (Schritt 380, an anderer Stelle Teil von Schritt 120). In vielen Fällen entspricht dies einer Erhöhung der Signalstärke gegenüber dem Wert, der zur Personendetektion genutzt wird. Anschließend wird bspw. die Signalstärke im Schritt 390 wieder auf das Niveau angepasst, das notwendig ist, um Personen im auszuwertenden Bereich zu erfassen, also im Beispiel von
Damit wird erreicht, dass die höhere Leistung, die notwendig ist zur Vitalparametermessung, nur kurzzeitig genutzt wird und auch nur auf einem Niveau, das notwendig für die Messung ist. Somit ist bspw. die Strahlenexposition geringer, wenn sich eine Person 58 dichter am Roboter befindet als weiter weg (z.B. Person 57). Damit wird bspw. sichergestellt, dass Personen wie bspw. 58, die sich dicht am Roboter 1 befinden, nicht etwa einer Strahlenexposition ausgesetzt sind, als wenn man die Vitalparameter für eine Person weit weg vom Roboter 1 messen würde (wie bspw. bei Person 57).This ensures that the higher power required to measure vital parameters is only used for a short time and only at a level that is necessary for the measurement. This means that, for example, the radiation exposure is lower if a person 58 is closer to the robot than further away (e.g. person 57). This ensures, for example, that people such as 58 who are close to
As hier beschriebene Verfahren lässt sich wie folgt darstellen:
- C1. Computer-implementiertes Verfahren zur Anpassung der Signalstärke eines Radarsensors 31 auf einem mobilen Roboter 1, umfassend
- •
Bewegung des Roboters 1 auf einem Betriebspfad 63 - • Ermittlung der aktuellen Position des
Roboters 1 - • Erfassung von Objekten bzw. Hindernissen im Radarsignal-Erfassungsbereich 59
- • Detektion von Personen im Radarsignal-Erfassungsbereich 59
- • Ermittlung der Distanz zwischen Roboter 1 und der detektierten Person und
- • Ermittlung einer Signalstärke für
den Radarsensor 31 auf Basis der ermittelten Distanz zwischen Roboter 1 und der Person.
- •
- C2. Computer-implementiertes Verfahren nach C1, wobei die Positionen des Betriebspfads 63 der Positions-
und Regeldatenbank 48 entstammen, welche bspw. Wegpunkte und/oder Abtastpositionen umfasst, die auf dem Betriebspfad liegen. - C3. Computer-implementiertes Verfahren nach C1-C2, weiter umfassend die Anpassung der Signalstärke des
Radarsensors 31. - C4. Computer-implementiertes Verfahren nach C1-C3, weiter umfassend die Durchführung einer radardaten-basierten Vitalparametermessung bei der detektierten Person.
- C5. Computer-implementiertes Verfahren nach C4, weiter umfassend die erneute Anpassung der Signalstärke des
Radarsensors 31. - C6. Computer-implementiertes Verfahren nach C3, wobei die Signalstärke erhöht wird.
- C7. Computer-implementiertes Verfahren nach C5, wobei die Signalstärke reduziert wird.
- C8. Computer-implementiertes Verfahren nach C1, wobei die Personenposition in einer Karte (42, 43, 44) und/oder Positions-
und Regeldatenbank 48 hinterlegt wird. - C9. Computer-implementiertes Verfahren nach C1-C8, weiter umfassend die Ermittlung der notwendigen Erfassungstiefe des Radarsensors 31 durch Abgleich des zu erfassenden Bereich mit einer Karte 42 oder der Positions-
und Regeldatenbank 48. - C10. Computer-implementiertes Verfahren nach C9, weiter umfassend die Anpassung der Signalstärke des Radarsensors 31 auf Basis der notwendigen Erfassungstiefe, welche eine Personendetektion im zu erfassenden Bereich ermöglicht.
- C11. Computer-implementiertes Verfahren nach C1-C10, weiter umfassend die Übermittlung eines Signals an
ein Terminal 5 basierend auf der Auswertung der ermittelten Vitalparameter. - C12. Computer-implementiertes Verfahren nach C1-C11, wobei genutzte Positionsdaten, die durch Auswertung von Radarsensordaten ermittelt wurden, durch mittels Laserscanner 10,
Kamera 11, Ultraschallsensor und/oder Odometrieeinheit 23 ermittelte Daten normiert werden. - C13. Computer-implementiertes Verfahren nach C1-C12, wobei sich zwischen Roboter 1 und detektierter Person eine Wand 60 oder geschlossene Tür 52 befindet.
- C14. Computer-implementiertes Verfahren nach C1-C12, wobei der Radarsignal-Erfassungsbereich 59 im Wesentlichen senkrecht zum Pfad des Roboters 62 ausgerichtet ist.
- C16. Vorrichtung zur Durchführung des Verfahrens nach C1-C14.
- C1. Computer-implemented method for adjusting the signal strength of a
radar sensor 31 on amobile robot 1, comprising- • Movement of
robot 1 on an operating path 63 - • Determining the current position of the
robot 1 - • Detection of objects or obstacles in the radar signal detection range 59
- • Detection of persons in the radar signal detection area 59
- • Determination of the distance between
robot 1 and the detected person and - • Determination of a signal strength for the
radar sensor 31 based on the determined distance betweenrobot 1 and the person.
- • Movement of
- C2. Computer-implemented method according to C1, wherein the positions of the operating path 63 originate from the position and
rule database 48, which includes, for example, waypoints and/or sampling positions that lie on the operating path. - C3. Computer-implemented method according to C1-C2, further comprising adjusting the signal strength of the
radar sensor 31. - C4. Computer-implemented method according to C1-C3, further comprising carrying out a radar data-based vital parameter measurement of the detected person.
- C5. Computer-implemented method according to C4, further comprising readjusting the signal strength of the
radar sensor 31. - C6. Computer-implemented method according to C3, wherein the signal strength is increased.
- C7. Computer-implemented method according to C5, whereby the signal strength is reduced.
- C8. Computer-implemented method according to C1, wherein the person position is stored in a map (42, 43, 44) and/or position and
rule database 48. - C9. Computer-implemented method according to C1-C8, further comprising determining the necessary detection depth of the
radar sensor 31 by comparing the area to be detected with a map 42 or the position andrule database 48. - C10. Computer-implemented method according to C9, further comprising adjusting the signal strength of the
radar sensor 31 on the basis of the necessary detection depth, which enables person detection in the area to be detected. - C11. Computer-implemented method according to C1-C10, further comprising the transmission of a signal to a
terminal 5 based on the evaluation of the determined vital parameters. - C12. Computer-implemented method according to C1-C11, wherein used position data determined by evaluating radar sensor data are standardized by data determined by means of
laser scanner 10,camera 11, ultrasonic sensor and/orodometry unit 23. - C13. Computer-implemented method according to C1-C12, wherein a wall 60 or closed door 52 is located between
robot 1 and detected person. - C14. The computer-implemented method of C1-C12, wherein the radar signal detection area 59 is oriented substantially perpendicular to the path of the robot 62.
- C16. Device for carrying out the process according to C1-C14.
Beispiel 4: Anpassung der Pfadplanung auf Basis einer AnomalieauswertungExample 4: Adaptation of path planning based on an anomaly evaluation
Im Kontext der Überwachung von Personen bzw. Patienten soll der Fahrtweg des Roboters 1 optimiert werden, um einerseits effizient Anomalien im Überwachungsbereich bzw. bei zu überwachenden Personen zu detektieren und dabei die Laufzeit des Roboters 1 mit Blick auf den Akkustand zu optimieren, andererseits auch eine engmaschige Überwachung von Personen zu ermöglichen.In the context of monitoring people or patients, the travel path of
In einem Aspekt, wie in
Die erfassten Radarsignale werden nach einem Erfassungsvorgang ausgewertet wie an anderer Stelle in diesem Dokument beschrieben und optional in einem Speicher 15 und dort bspw. in einer Positions- und Regeldatenbank 48 assoziiert oder abgelegt (Schritt 440). Die ausgewerteten Ergebnisse des Erfassungsvorgangs werden mit zuvor gespeicherten Erfassungsvorgangsergebnissen (z.B. aus einer Positions- und Regeldatenbank 48) verglichen (Schritt 450). Wird bspw. ein anderes Erfassungsergebnis ermittelt als in den abgespeicherten Erfassungsvorgangsergebnissen, wird dies als Anomalie registriert. So kann bspw. in der Erfassung ein bewegliches Objekt in einem Raum (z.B. 53) oder in einem bspw. definierten Teil eines Raums (d.h. einer Zone wie bspw. einem Bett 54) detektiert werden. Es läge dann eine Anomalie vor, wenn ein früheres Erfassungsergebnis für den Raum oder den definierten Teil des Raums (d.h. der Zone) keine Personen detektiert worden ist. Alternativ kann eine Anomalie definiert sein über erfasste Vitalparameter einer mittels Radarsignalen analysierten Person, wobei der gemessene Vitalparameter abweicht von früher ermittelten Vitalparametern der Person. Eine Anomalie umfasst also Erfassungsergebnisse, die von erwarteten und/oder abgespeicherten Erfassungsergebnissen abweichen. Bei der Anomalieerkennung können hierbei Regeln hinterlegt werden, die auf eine Mindestdifferenz zwischen den Erfassungsergebnissen und den zuvor abgespeicherten Erfassungsergebnissen basieren. Wird diese Mindestdifferenz überschritten, wird das Erfassungsergebnis als Anomalie klassifiziert. Generell wird unter Anomalie eine oder mehrere Abweichungen eines Erfassungsergebnisses von einem (z.B. als Schwellwert) definierten (oder bspw. zuvor ermittelten) Erfassungsergebnis verstanden. Die Ermittlung der Mindestdifferenz kann einerseits bspw. über Verfahren des Maschinellen Lernens erfolgen, wie das bspw. für die Eventdetektion von Verkehr in Computernetzwerken aus dem Stand der Technik bekannt ist, andererseits über in einer Positions- und Regeldatenbank 48 definierte Regeln. So kann in einem Aspekt auch mehr als ein Erfassungsergebnis berücksichtigt werden, bspw. das aktuelle und die vorangegangenen zwei (abgespeicherten) Erfassungsergebnisse, die mit weiteren zuvor abgespeicherten Erfassungsergebnissen verglichen werden. So kann z.B. eine Anomalie erst dann vorliegen, wenn ein oder mehrere Erfassungsergebnisse über einem Schwellwert liegen, der sich bspw. aus einer Mindestzahl an berechneten Erfassungsabweichungen ergibt, ggf. pro Zeiteinheit und/oder ausgewerteter Zone. Dies wird insgesamt als Abweichungsermittlung und -bewertung- Schritt 460 verstanden.The detected radar signals are evaluated after a detection process as described elsewhere in this document and optionally associated or stored in a
Basierend auf einer detektierten Anomalie wird die Pfadplanung des Roboters 1 angepasst (Schritt 470 - optional). Die Anpassung der Pfadplanung bewirkt, dass der Roboter 1 die Frequenz, mit der er den zu erfassenden Bereich (bspw. eine Zone wie ein Bett 54 mit einer Person 56 in einem Raum 53) passiert bzw. damit assoziierte Abtastpositionen, anpasst, bspw. durch eine Erhöhung. Derartige Regeln für das Abfahren des Betriebspfads 63 befinden sich in der Positions- und Regeldatenbank 48. In einem Aspekt triggert der Roboter 1 zugleich auch ein Signal über eine Drahtlos-Schnittstelle 16 an ein Terminal 5, welches bspw. auf die Anomalie hinweist (Schritt 160 - Ereignisauslösung -optional).Based on a detected anomaly, the path planning of the
Mit Blick auf die räumliche bzw. zeitlich-räumliche Position von Objekten bzw. Hindernissen, die durch die Radarsensoreinheit 30 detektiert werden, können bspw. auf einer Karte des Roboters 1 bzw. in einer Tabelle mit Koordinaten der Karte bzw. Positions- und Regeldatenbank 48 solche Bereiche festgelegt werden, die jeweils einzeln durch den Roboter 1 mittels des Radarsensoreinheit 30 zu überwachen sind und die wiederum Teilbereiche oder Zonen beinhalten können, die anderen Überwachungsregeln unterliegen wie bspw. unterschiedlichen Schwellwerten für die Detektion von Anomalien, oder aber die unterschiedliche Konsequenzen im Fall einer Anomaliedetektion triggern.
- D1. Computer-implementiertes Verfahren zum Triggern eines Verhaltens eines mobilen Roboters 1 in Abhängigkeit von mittels eines Radarsensoreinheit 30 detektierten Anomalien, umfassend
- •
Bewegung des Roboters 1 auf einem Betriebspfad 63, - • Erfassung von Objekten bzw. Hindernissen im Radar-Erfassungsbereich 59,
- • Positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse,
- • Vergleich Erfassungsergebnisse mit zuvor gespeicherten Erfassungsergebnissen und
- • Ermittlung und Bewertung der Abweichung zwischen den Erfassungsergebnissen und den zuvor gespeicherten Erfassungsergebnissen.
- •
- D2. Computer-implementiertes Verfahren nach D1, weiter umfassend die Anpassung der Pfadplanung des
Roboters 1. - D3. Computer-implementiertes Verfahren nach D2, wobei die Pfadplanung durch Regeln der Positions- und Regeldatenbank 38 angepasst wird.
- D4. Computer-implementiertes Verfahren nach D3, wobei die Regeln der Positions- und Regeldatenbank 38 eine Erhöhung der Frequenz, mit der eine Abtastposition angefahren wird, angepasst wird.
- D5. Computer-implementiertes Verfahren nach D1-D4, weiter umfassend das Auslösen eines Ereignisses durch
den mobilen Roboter 1. - D6. Computer-implementiertes Verfahren nach D1-D6, wobei die Anomalien mit Positionen auf einer Karte (42, 43 und/oder 44) bzw. der Positions- und Regeldatenbank 38 assoziiert sind.
- D7. Computer-implementiertes Verfahren nach D1-D6, wobei die Erfassung von Objekten im Radar-Erfassungsbereich 59 die Detektion von Personen umfasst.
- D8. Computer-implementiertes Verfahren nach D1-D7, wobei die positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse basierend auf definierten Teilbereichen des
von der Radarsensoreinheit 30 insgesamt erfassten Bereichs erfolgt und diese Teilbereiche einzeln ausgewertet werden. - D9. Computer-implementiertes Verfahren nach D1-D8, wobei die positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse auf Basis einer Mehrebenenkarte des
Roboters 1 erfolgt. - D10. Computer-implementiertes Verfahren nach D1-D9, weiter umfassend Speichern der Positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse in einer Positions-
und Regeldatenbank 48. - D11. Computer-implementiertes Verfahren nach D1-D10, wobei die Erfassungsergebnisse Vitalparameter einer Person umfassen.
- D12. Computer-implementiertes Verfahren nach D1-D11, wobei der Radarsignal-Erfassungsbereich 59 im Wesentlichen senkrecht zum Betriebspfad 62 des
Roboters 1 ausgerichtet ist. - D13. Computer-implementiertes Verfahren nach D1-D12, wobei genutzte Positionsdaten, die durch Auswertung von Radarsensordaten ermittelt wurden, durch mittels Laserscanner 10,
Kamera 11, Ultraschallsensor und/oder Odometrieeinheit 23 ermittelte Daten normiert werden. - D14. Computer-implementiertes Verfahren nach D1-D13, wobei sich zwischen Roboter 1 und detektierter Person eine Wand 60 oder geschlossene Tür 52 befindet.
- D15. Vorrichtung zur Durchführung des Verfahrens nach D1-D14.
- D1. Computer-implemented method for triggering a behavior of a
mobile robot 1 depending on anomalies detected by aradar sensor unit 30, comprising- • Movement of the
robot 1 on an operating path 63, - • Detection of objects or obstacles in the radar detection range 59,
- • Position and/or time-related evaluation of the recording results,
- • Compare acquisition results with previously saved acquisition results and
- • Determination and evaluation of the deviation between the acquisition results and the previously stored acquisition results.
- • Movement of the
- D2. Computer-implemented method according to D1, further comprising adapting the path planning of the
robot 1. - D3. Computer-implemented method according to D2, wherein the path planning is adapted by rules of the position and rule database 38.
- D4. Computer-implemented method according to D3, wherein the rules of the position and rule database 38 increase the frequency with which a scanning position is approached.
- D5. Computer-implemented method according to D1-D4, further comprising triggering an event by the
mobile robot 1. - D6. Computer-implemented method according to D1-D6, wherein the anomalies are associated with positions on a map (42, 43 and/or 44) or the position and rule database 38.
- D7. Computer-implemented method according to D1-D6, wherein the detection of objects in the radar detection range 59 includes the detection of persons.
- D8. Computer-implemented method according to D1-D7, wherein the position- and/or time-related evaluation of the detection results is carried out based on defined sub-areas of the area detected by the
radar sensor unit 30 as a whole and these sub-areas are evaluated individually. - D9. Computer-implemented method according to D1-D8, wherein the position- and/or time-related evaluation of the detection results is carried out on the basis of a multi-level map of the
robot 1. - D10. Computer-implemented method according to D1-D9, further comprising storing the position and/or time-related evaluation of the detection results in a position and
rule database 48. - D11. Computer-implemented method according to D1-D10, wherein the acquisition results comprise vital parameters of a person.
- D12. Computer-implemented method according to D1-D11, wherein the radar signal detection area 59 is oriented substantially perpendicular to the operating path 62 of the
robot 1. - D13. Computer-implemented method according to D1-D12, wherein used position data determined by evaluating radar sensor data are standardized by data determined by means of
laser scanner 10,camera 11, ultrasonic sensor and/orodometry unit 23. - D14. Computer-implemented method according to D1-D13, wherein a wall 60 or closed door 52 is located between
robot 1 and detected person. - D15. Device for carrying out the method according to D1-D14.
Beispiel 5: Adaptive Anpassung der Radar-Signalstärke zur optimierten VitalparametermessungExample 5: Adaptive adjustment of radar signal strength for optimized vital parameter measurement
In einem Aspekt kommt es auf eine vereinfachte Messung von Vitalparametern an, ohne notwendigerweise auf Referenzwerte für die Signalstärke in einer Tabelle zurückgreifen zu müssen, weil dies wiederum weitere Schritte zur Referenzwertermittlung außerhalb des eigentlichen Messverfahrens umfassen würde, bspw. im Rahmen einer Kalibrierung. Es wird daher auf ein Verfahren abgestellt, dass ohne solche Referenzwerte auskommt.In one aspect, it is important to simplify the measurement of vital parameters without necessarily having to resort to reference values for the signal strength in a table, because this would in turn involve further steps to determine the reference value outside of the actual measurement procedure, e.g. as part of a calibration. The focus is therefore on a procedure that does not require such reference values.
Dieses Verfahre basiert auf den Schritten 310-340, wie sie an anderer Stelle in diesem Dokument bereits geschildert wurden. Auf diesen Schritt folgt dann die Vitalparametermessung 380 (an anderer Stelle näher erläutert) und ein Abgleich der Vitalparameter-Messergebnisse (Schritt 375). Letzteres bedeutet ein Vergleich der ermittelten Erfassungswerte mit im Speicher 15 hinterlegten Messwerte mit Blick auf qualitative Gütekriterien der Erfassung. Ziel dieses Vergleichs ist es bspw., das Rauschen in den erfassten Daten zu reduzieren. Dazu werden die erfassten Daten mit im Speicher 15 hinterlegten Daten verglichen und es werden Abweichungen ermittelt. Liegen diese bspw. über einem Schwellwert, dann findet eine Anpassung der Signalstärke (Schritt 370) über den Verstärker 33 statt. Hierbei wird bspw. zunächst die Signalstärke erhöht, es findet dann erneut eine Vitalparameter-Messung (Schritt 380) statt und ein Abgleich der Vitalparameter-Messergebnisse (Schritt 375). Ergibt dieser letzte Schritt eine Verbesserung der Messergebnisse, erfolgt eine weitere Anpassung der Signalstärke (Schritt 370) in die gleiche Richtung, bis eine weitere Verbesserung der Messergebnisse in der Schleife (bzw. Regelkreis) aus den Schritten 380 - 375 - 370 zu keiner weiteren Verbesserung der Messung mehr führt. Es ist bspw. auch ein Absenken der Signalstärke im ersten Schritt umsetzbar mit einer sukzessiven Reduktion, bis irgendwann eine Erhöhung der Signalstärke ein besseres Messergebnis liefert. Im Schritt 385 findet eine Vitalparameter-Bewertung statt. Dies kann optional bspw. beinhalten, den besten Messwert aus den vorangegangenen Messungen zu nutzen oder den zweitbesten. Im Fall des besten Messwerts ist eine Abspeicherung der Messwerte im Zeitverlauf bspw. im Speicher 15 notwendig. Die Vitalparameter-Bewertung beinhaltet einen Abgleich (bspw. schwellwertbasiert) mit Daten aus der Positions- und Regeldatenbank 48, um bspw. kritische Vitalparameter zu identifizieren. Die Vitalparameter-Bewertung kann zudem auch eine Positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse umfassen. In einem Aspekt bedeutet das, die Auswertung des mindestens einen erfassten Vitalparameters wird im Zeitverlauf beurteilt, bspw. durch einen Vergleich mit zuvor abgelegten Vitalparametern, es findet eine Bewertung auf Basis der Position statt, die dem Vitaldatenparameter zugeordnet ist, oder eine Kombination daraus. Im Folgeschritt kann dann optional, bspw. dann, wenn ein kritischer Vitalparameter ermittelt wurde, eine Ereignisauslösung stattfinden (Schritt 160), wie an anderer Stelle definiert.This method is based on steps 310-340, as already described elsewhere in this document. This step is then followed by the vital parameter measurement 380 (explained in more detail elsewhere) and a comparison of the vital parameter measurement results (step 375). The latter means a comparison of the determined recording values with measured values stored in
Die oben beschriebene Signalauswertung selbst, bspw. zur Vitalparametererfassung im Vitaldatenerfassungsmodul 46, kann wie bspw. im Stand der Technik beschrieben erfolgen (DOI: 10.1155/2018/4832605): Auf Basis einer Bandpassfilterung des Signals (Schritt 381), werden lediglich Signale im Frequenzbereich durchgelassen, die der Frequenz des Signals entsprechen, das ausgewertet werden soll, bspw. bei der Herzfrequenz einer Frequenz von 1-3 Hz. Im Schritt 382 erfolgt bspw. eine Dimensionsreduktion der erfassten Zeitreihendaten, um die dahinter liegenden Muster zu erfassen, in einem Aspekt mit einer Principal-Component-Analyse (PCA). Bspw. Mittels Fast-Fourier-Transformation lässt sich anschließend die dominante Frequenz ermitteln (Schritt 383) und mittels Filterung wie einer Tiefpassfilterung (Schritt 384) bspw. Ausreißer glätten. Der Zeitverlauf dieser Messergebnisse gibt damit bspw. die Rate des gemessenen Vitalparameters an (invers dann dessen Frequenz). Es können jedoch auch adaptive moving target identification Filter eingesetzt werden.The signal evaluation itself described above, e.g. for vital parameter recording in the vital
Zusammengefasst lässt sich der Ablauf wie folgt darstellen:
- E1. Computer-implementiertes Verfahren zur Erfassung von mindestens einem Vitalparameter durch einen mobilen Roboter 1, umfassend
- •
Bewegung des Roboters 1 auf einem Betriebspfad 63, - • Ermittlung der aktuellen Position des
Roboters 1, - • Erfassung von Objekten bzw. Hindernissen im Radar-Erfassungsbereich,
- • Detektion von Personen im Radar-Erfassungsbereich,
- • Erfassung von Vitalparametern einer detektierten Person im Radar-Erfassungsbereich.
- • Abgleich der Vitalparameter-Messergebnisse und Anpassung der Signalstärke in Abhängigkeit vom Abgleich der Vitalparameter-Messergebnisse und
- • Durchführung einer Vitalparameter-Bewertung.
- •
- E2. Computer-implementiertes Verfahren nach E1, wobei die Anpassung der Signalstärke so lange vorgenommen wird, bis sich die gemessenen Vitalparameter nach einer Anpassung der Signalstärke qualitativ verschlechtern.
- E3. Computer-implementiertes Verfahren nach E1-E2, weiter umfassend eine Vitalparameter-Bewertung.
- E4. Computer-implementiertes Verfahren nach E1-E3, weiter umfassend das Auslösen eines Ereignisses eine Signalübermittlung in
die Cloud 4 oder anein Terminal 5 umfasst. - E5. Computer-implementiertes Verfahren nach E1-E4, wobei das Auslösen eines Ereignisses eine Benachrichtigung eines Terminals umfasst.
- E6. Computer-implementiertes Verfahren nach E3, wobei die Vitalparameter-Bewertung eine Positions- und/oder zeitbezogene Auswertung der Erfassungsergebnisse umfasst.
- E7. Computer-implementiertes Verfahren nach E1-D6, weiter umfassend eine Lokalisierung der Personenposition.
- E8. Computer-implementiertes Verfahren nach E7, weiter umfassend ein Vergleich der Objektposition
mit im Speicher 15 hinterlegten Objektpositionen und/oder Objektzonen. - E9. Computer-implementiertes Verfahren nach E1-E8, wobei die Vitalparameter für eine Person an einer lokalisierten Position erfasst werden.
- E10. Computer-implementiertes Verfahren nach E1-E9, wobei die Signalauswertung erfasster Radarsignale einen Vergleich mit Mustern darstellt.
- E11. Computer-implementiertes Verfahren nach E7, wobei genutzte Positionsdaten, die durch Auswertung von Radarsensordaten ermittelt wurden, durch mittels Laserscanner 10,
Kamera 11, Ultraschallsensor und/oder Odometrieeinheit 23 ermittelten Daten normiert werden. - E12. Computer-implementiertes Verfahren nach E1, wobei die Positionen des Betriebspfads 63 der Positions- und Regeldatenbank 38 entstammen.
- E14. Computer-implementiertes Verfahren nach E3, wobei die Vitalparameterbewertung basierend auf Regeln aus der Positions- und Regeldatenbank 38 erfolgt.
- E15. Vorrichtung zur Durchführung des Verfahrens nach E1-E13.
- E1. Computer-implemented method for detecting at least one vital parameter by a
mobile robot 1, comprising- • Movement of the
robot 1 on an operating path 63, - • Determination of the current position of
robot 1, - • Detection of objects or obstacles in the radar detection area,
- • Detection of persons in the radar detection area,
- • Recording of vital parameters of a detected person in the radar detection area.
- • Comparison of the vital parameter measurement results and adjustment of the signal strength depending on the comparison of the vital parameter measurement results and
- • Conduct a vital sign assessment.
- • Movement of the
- E2. Computer-implemented method according to E1, wherein the adjustment of the signal strength is carried out until the measured vital parameters deteriorate qualitatively after an adjustment of the signal strength.
- E3. Computer-implemented procedure according to E1-E2, further comprising a vital parameter assessment.
- E4. Computer-implemented method according to E1-E3, further comprising the triggering of an event comprises a signal transmission to the
cloud 4 or to aterminal 5. - E5. The computer-implemented method of E1-E4, wherein triggering an event comprises notifying a terminal.
- E6. Computer-implemented method according to E3, wherein the vital parameter evaluation comprises a position- and/or time-related evaluation of the acquisition results.
- E7. Computer-implemented method according to E1-D6, further comprising localizing the person's position.
- E8. Computer-implemented method according to E7, further comprising a comparison of the object position with object positions and/or object zones stored in the
memory 15. - E9. Computer-implemented method according to E1-E8, wherein the vital parameters for a person are recorded at a localized position.
- E10. Computer-implemented method according to E1-E9, wherein the signal evaluation of detected radar signals represents a comparison with patterns.
- E11. Computer-implemented method according to E7, wherein used position data determined by evaluating radar sensor data are standardized by data determined by means of
laser scanner 10,camera 11, ultrasonic sensor and/orodometry unit 23. - E12. Computer-implemented method according to E1, wherein the positions of the operating path 63 originate from the position and rule database 38.
- E14. Computer-implemented method according to E3, wherein the vital parameter evaluation is based on rules from the position and rule database 38.
- E15. Device for carrying out the method according to E1-E13.
Beispiel 6: Bewegungsanpassung des Roboters zur Vermeidung hoher SignaldämpfungenExample 6: Adapting the robot’s movement to avoid high signal attenuation
In einem Aspekt weisen die Wände 61, durch die die Erfassung von Objekten und/oder Vitalparametern erfolgt, eine hohe Signaldämpfung auf. Um diese Effekte abzumildern, absolviert der Roboter 1 bestimmte Bewegungen und nimmt Positionen ein, um eine geringere Signaldämpfung und damit eine gesteigerte Erfassungsqualität zu erreichen.In one aspect, the walls 61 through which the detection of objects and/or vital parameters takes place have a high signal attenuation. To mitigate these effects, the
Das Entlangbewegen des Roboters 1 auf einem Pfad (Schritt 310) kann in einem Aspekt wie folgt ablaufen (siehe
Im Schritt 520 absolviert der Roboter 1 an der Abtastposition, insbesondere wenn es sich um einen fixen Punkt handelt und nicht um eine Serie von Punkten, eine Rotationsbewegung durch, die bspw. um eine senkrechte Achse herum erfolgt. Hierbei erfolgt die Rotation entweder zunächst in eine Richtung. Dabei dreht sich der Roboter um einen Winkel, der mindestens 20° beträgt, in einem Aspekt mindestens 45°. In einem alternativen Aspekt erfolgt eine Drehbewegung des Roboters 1 um eine Achse (die nicht notwendigerweise eine Achse sein muss, die durch den Roboter 1 verläuft). Sofern der Roboter 1 keine (mindestens nahezu vollständige) Drehung um eine Achse vorgenommen hat, findet eine gegenläufige Drehbewegung des Roboters 1 statt (optionaler Schritt 530).In step 520, the
Das Einnehmen einer Abtastposition kann in einem Aspekt bei einem Roboter 1, der in der Lage ist zum rotationssymmetrischen Drehen, eine Drehbewegung auf einem Punkt umfassen. Sofern die Radanordnung des Roboters 1 bspw. keine solche Drehbewegung zulässt, kann es sich um eine Drehbewegung um eine Achse handeln, die außerhalb des Roboters 1 liegt. In einem weiteren Aspekt umfasst die Abfolge der Schritte 510-530 ein Szenario, in dem der Roboter 1 beim Annähern an eine Tür 52 im Gang sich parallel zu Wänden 61 bewegt, eine Drehbewegung hin zur Tür 52, gefolgt vom Abfahren eines konvexen Betriebspfads 63 vor der Tür 52 (also das Abfahren eines Bogens mit einer Krümmung weg von der Tür) wieder senkrecht von der Tür weg, mit dem definierten Abstand des Roboters 1 zur Tür in einem Bereich, der bspw. in etwa in der Türmitte liegt. Der konvexe Pfad wird in einem Aspekt auch dann abgefahren, wenn sich kein Hindernis vor dem Roboter 1 befindet.In one aspect, assuming a scanning position can comprise a rotational movement at a point for a
Zusammengefasst ist lässt sich der hier beschriebene Ablauf, der sich auch mit den Abläufen aus den vorangenannten Beispielen kombinierbar ist, wie folgt darstellen:
- F1. Computer-implementiertes Verfahren zur Steuerung eines Roboters 1, umfassend
- •
Bewegung des Roboters 1 auf einem Betriebspfad 63, - • Ermittlung der aktuellen Position des
Roboters 1, - • Einnehmen einer Abtastposition,
- • Durchführung einer Drehbewegung,
Roboters 1 erfolgt. - •
- F2. Computer-implementiertes Verfahren nach F1, wobei die Ermittlung der Abtastposition aus einer Karte (42, 44), der Positions- und Regeldatenbank 38 oder über eine Erfassung und Auswertung von Mustern erfolgt.
- F3. Computer-implementiertes Verfahren nach F1-2, wobei die Abtastposition einen definierten Abstand zu einer Tür 52 aufweist.
- F4. Computer-implementiertes Verfahren nach F1-3, wobei der Winkel
der Drehbewegung mindestens 20° umfasst. - F5. Computer-implementiertes Verfahren nach F1-4, wobei die Drehbewegung eine Drehbewegung um eine rotationssymmetrische Achse des
Roboters 1 umfasst. - F6. Computer-implementiertes Verfahren nach F1-5, wobei die Drehbewegung eine Rotation in eine Richtung, gefolgt von einer Rotation in eine andere Richtung umfasst.
- F7. Computer-implementiertes Verfahren nach F1-6, wobei sich der Roboter 1 beim Annähern an eine Tür 52 sich parallel zu Wänden 61 bewegt, eine Drehbewegung hin zu einer Tür 52 vornimmt, gefolgt vom Abfahren eines konvexen Pfads 63 vor der Tür 52.
- F8. Computer-implementiertes Verfahren nach F7, wobei der minimale Abstand des konvexen Pfads zur Tür dem definierten Abstand zur Tür 52 entspricht.
- F9. Vorrichtung zur Durchführung des Verfahrens nach F1-F8.
- F1. Computer-implemented method for controlling a
robot 1, comprising- • Movement of the
robot 1 on an operating path 63, - • Determination of the current position of
robot 1, - • Taking a scanning position,
- • Performing a rotary movement,
radar sensor unit 30 of therobot 1. - • Movement of the
- F2. Computer-implemented method according to F1, wherein the determination of the scanning position is carried out from a map (42, 44), the position and rule database 38 or by detecting and evaluating patterns.
- F3. Computer-implemented method according to F1-2, wherein the scanning position has a defined distance from a door 52.
- F4. Computer-implemented method according to F1-3, wherein the angle of rotation comprises at least 20°.
- F5. Computer-implemented method according to F1-4, wherein the rotational movement comprises a rotational movement about a rotationally symmetric axis of the
robot 1. - F6. The computer-implemented method of F1-5, wherein the rotational movement comprises a rotation in one direction followed by a rotation in another direction.
- F7. Computer-implemented method according to F1-6, wherein the
robot 1 moves parallel to walls 61 when approaching a door 52, makes a rotational movement towards a door 52, followed by traveling a convex path 63 in front of the door 52. - F8. Computer-implemented method according to F7, wherein the minimum distance of the convex Path to the door corresponds to the defined distance to the door 52.
- F9. Device for carrying out the method according to F1-F8.
BezugsbezeichnungenReference designations
- 11
- Roboterrobot
- 22
- mobile Basismobile base
- 33
- AufbauConstruction
- 44
- CloudCloud
- 55
- Terminalterminal
- 1010
- LaserscannerLaser scanner
- 1111
- Kameracamera
- 1212
- Akkumulatoraccumulator
- 1313
- LadevorrichtungCharging device
- 1414
- RechnereinheitComputer unit
- 1515
- SpeicherStorage
- 1616
- DrahtlosschnittstelleWireless interface
- 1717
- SicherheitssteuerungSafety control
- 1818
- SchutzkontaktleisteProtective contact strip
- 2020
- Antriebsraddrive wheel
- 2121
- AntriebsmotorDrive motor
- 2222
- Abdeckungcover
- 2323
- OdometrieeinheitOdometry unit
- 2424
- StützradSupport wheel
- 3030
- RadarsensoreinheitRadar sensor unit
- 3131
- RadarsensorRadar sensor
- 3232
- RadarantenneRadar antenna
- 3333
- Verstärkeramplifier
- 4040
- PfadplanungPath planning
- 4141
- KartenmodulMap module
- 4242
- erste Kartefirst card
- 4343
- zweite Kartesecond card
- 4444
- dritte Kartethird card
- 4545
- PersonenpositionsermittlungsmodulPerson position determination module
- 4646
- VitaldatenerfassungsmodulVital data recording module
- 4747
- Objektpositions-ErmittlungsmodulObject position detection module
- 4848
- Positions- und RegeldatenbankPosition and rule database
- 4949
- Objektidentifizierungs-DatenbankObject identification database
- 5050
- Gangcorridor
- 5151
- geöffnete Türopen door
- 5252
- geschlossene Türclosed door
- 5353
- RaumSpace
- 5454
- BettBed
- 5555
- ExplorationspfadExploration path
- 5656
- Person im BettPerson in bed
- 57, 5857, 58
- Person außerhalb vom BettPerson out of bed
- 5959
- Radarsignal-ErfassungsbereichRadar signal detection range
- 6060
- WandWall
- 6161
- rückseitige Raumwandrear room wall
- 6262
- Erfassungsbereich LaserscannerLaser scanner detection range
- 6363
- BetriebspfadOperational path
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely to provide the reader with better information. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- JP 2019016339 A [0002]JP 2019016339 A [0002]
- CN 113715032 A [0004]CN113715032A [0004]
- WO 2005074422 A2 [0004]WO 2005074422 A2 [0004]
- DE 102020006337 A1 [0024]DE 102020006337 A1 [0024]
- EP 2100153 A1 [0028, 0049]EP 2100153 A1 [0028, 0049]
- WO 2021038109 A1 [0031]WO 2021038109 A1 [0031]
- WO 2021254975 A1 [0036]WO 2021254975 A1 [0036]
Zitierte Nicht-PatentliteraturCited non-patent literature
- Maleševic et al. (2020, DOI:10.3390/s20082351 [0027]Maleševic et al. (2020, DOI:10.3390/s20082351 [0027]
- Sun et al. 2022, DOI: 10.1109/TPAMI.2022.3183112 [0030]Sun et al. 2022, DOI: 10.1109/TPAMI.2022.3183112 [0030]
- Wang, Mingyang, Yimin D. Zhang, and Guolong Cui. „Human motion recognition exploiting radar with stacked recurrent neural network.“ Digital Signal Processing 87 (2019): 125-131 [0030]Wang, Mingyang, Yimin D. Zhang, and Guolong Cui. “Human motion recognition exploiting radar with stacked recurrent neural network.” Digital Signal Processing 87 (2019): 125-131 [0030]
- Li, M., et al. 2018, High Resolution Radar-based Occupancy Grid Mapping and Free Space Detection., In Proceedings of the 4th International Conference on Vehicle Technology and Intelligent Transport Systems (VEHITS 2018), pages 70-81, ISBN: 978-989-758-293-6 [0037]Li, M., et al. 2018, High Resolution Radar-based Occupancy Grid Mapping and Free Space Detection., In Proceedings of the 4th International Conference on Vehicle Technology and Intelligent Transport Systems (VEHITS 2018), pages 70-81, ISBN: 978-989-758-293- 6 [0037]
- Steinbaeck, Josef, et al. „Occupancy grid fusion of low-level radar and time-offlight sensor data.“ 2019 22nd Euromicro Conference on Digital System Design (DSD). IEEE, 2019 [0040]Steinbaeck, Josef, et al. “Occupancy grid fusion of low-level radar and time-offlight sensor data.” 2019 22nd Euromicro Conference on Digital System Design (DSD). IEEE, 2019 [0040]
- DOI: 10.1007/s00521-022-06886-2 [0049]DOI: 10.1007/s00521-022-06886-2 [0049]
Claims (14)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022128863 | 2022-10-31 | ||
DE102022128863.3 | 2022-10-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023123138A1 true DE102023123138A1 (en) | 2024-05-02 |
Family
ID=90628981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102023123138.3A Pending DE102023123138A1 (en) | 2022-10-31 | 2023-08-28 | Object localization by a mobile robot |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102023123138A1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005074422A2 (en) | 2004-01-20 | 2005-08-18 | Bae Systems Information And Electronic System Integration Inc. | Combined radar and communications link |
EP2100153A1 (en) | 2007-01-24 | 2009-09-16 | Raytheon Company | Intelligent biometric radar system |
JP2019016339A (en) | 2017-07-03 | 2019-01-31 | 株式会社高山商事 | Monitoring system |
WO2021038109A1 (en) | 2019-08-30 | 2021-03-04 | Metralabs Gmbh Neue Technologien Und Systeme | System for capturing sequences of movements and/or vital parameters of a person |
DE102020006337A1 (en) | 2019-10-09 | 2021-04-15 | Metralabs Gmbh Neue Technologien Und Systeme | Autonomous industrial truck |
CN113715032A (en) | 2021-05-07 | 2021-11-30 | 南京理工大学 | Mobile partition wall reconnaissance robot device |
WO2021254975A1 (en) | 2020-06-19 | 2021-12-23 | Metralabs Gmbh Neue Technologien Und Systeme | Method of operating a mobile device |
-
2023
- 2023-08-28 DE DE102023123138.3A patent/DE102023123138A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005074422A2 (en) | 2004-01-20 | 2005-08-18 | Bae Systems Information And Electronic System Integration Inc. | Combined radar and communications link |
EP2100153A1 (en) | 2007-01-24 | 2009-09-16 | Raytheon Company | Intelligent biometric radar system |
JP2019016339A (en) | 2017-07-03 | 2019-01-31 | 株式会社高山商事 | Monitoring system |
WO2021038109A1 (en) | 2019-08-30 | 2021-03-04 | Metralabs Gmbh Neue Technologien Und Systeme | System for capturing sequences of movements and/or vital parameters of a person |
DE102020006337A1 (en) | 2019-10-09 | 2021-04-15 | Metralabs Gmbh Neue Technologien Und Systeme | Autonomous industrial truck |
WO2021254975A1 (en) | 2020-06-19 | 2021-12-23 | Metralabs Gmbh Neue Technologien Und Systeme | Method of operating a mobile device |
CN113715032A (en) | 2021-05-07 | 2021-11-30 | 南京理工大学 | Mobile partition wall reconnaissance robot device |
Non-Patent Citations (6)
Title |
---|
DOI: 10.1007/s00521-022-06886-2 |
Li, M., et al. 2018, High Resolution Radar-based Occupancy Grid Mapping and Free Space Detection., In Proceedings of the 4th International Conference on Vehicle Technology and Intelligent Transport Systems (VEHITS 2018), pages 70-81, ISBN: 978-989-758-293-6 |
Maleševic et al. (2020, DOI:10.3390/s20082351 |
Steinbaeck, Josef, et al. „Occupancy grid fusion of low-level radar and time-offlight sensor data." 2019 22nd Euromicro Conference on Digital System Design (DSD). IEEE, 2019 |
Sun et al. 2022, DOI: 10.1109/TPAMI.2022.3183112 |
Wang, Mingyang, Yimin D. Zhang, and Guolong Cui. „Human motion recognition exploiting radar with stacked recurrent neural network." Digital Signal Processing 87 (2019): 125-131 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112010003000B4 (en) | Vision system for monitoring people in dynamic environments | |
DE102014106210B4 (en) | Probabilistic person tracking using the Multi-View Association | |
DE102018114042A1 (en) | DEVICE, METHOD AND SYSTEM FOR THE MULTIMODAL FUSION PROCESSING OF DATA OF MULTIPLE DIFFERENT FORMATS RECORDED BY HETEROGENIC DEVICES | |
DE102014106211A1 (en) | Vision-based multi-camera factory monitoring with dynamic integrity assessment | |
DE102015104954A1 (en) | Vision-based monitoring system for the validation of activity sequences | |
EP1475764A2 (en) | Method and apparatus for calculating the probability of a collision between a vehicle and an object | |
EP1531342B1 (en) | Method of detecting pedestrians | |
EP3782117A1 (en) | Method, device and computer-readable storage medium having instructions for processing sensor data | |
EP3391163A1 (en) | Device and method for an unmanned flying object | |
DE102021115630A1 (en) | Method of operating a mobile device | |
EP2215496A1 (en) | Method for detecting living beings | |
DE102021113651B3 (en) | System for sensor data fusion for environmental perception | |
EP2749982B1 (en) | Generation and updating of reference models | |
DE102023123138A1 (en) | Object localization by a mobile robot | |
EP3663881B1 (en) | Method for controlling an autonomous vehicle on the basis of estimated movement vectors | |
DE102022128864A1 (en) | Object localization by a mobile robot | |
DE102022128862A1 (en) | Object localization by a mobile robot | |
DE102008008499B4 (en) | Method for computer-aided calculation of the movement of an object from sensor data | |
DE102022130178A1 (en) | INTEGRITY AND SAFETY TESTING FOR ROBOTS | |
DE102020116225B3 (en) | Method for radar-based tracking of objects external to the vehicle, object tracking device and motor vehicle | |
DE60303577T2 (en) | Method for monitoring the environment of a vehicle | |
EP3663800B1 (en) | Method for detecting objects using a 3d camera | |
DE102021116177A1 (en) | System and method for the detection and avoidance of image defects | |
DE102020208080A1 (en) | Detection of objects in images under equivariance or invariance with respect to the object size | |
DE212017000107U1 (en) | Monitoring a robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R086 | Non-binding declaration of licensing interest |