-
Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen eines Auswahlbereichs in einer Umgebung für ein mobiles Gerät, insbesondere einen Roboter, sowie ein System zur Datenverarbeitung, ein mobiles Gerät, und ein Computerprogramm zu dessen Durchführung.
-
Hintergrund der Erfindung
-
Mobile Geräte wie z.B. Roboter bewegen sich typischerweise in einer Umgebung, insbesondere einer zu bearbeitenden Umgebung oder einem Arbeitsbereich, wie z.B. einer Wohnung oder in einem Garten. Hierbei kann vorgesehen sein, dass sich ein solches mobiles Gerät zu einem bestimmten Bereich innerhalb der Umgebung zu bewegen, um diesen z.B. speziell zu reinigen oder zu bearbeiten. Ebenso kann aber vorgesehen sein, dass das mobile Gerät einen bestimmten Bereich nicht befahren soll.
-
Offenbarung der Erfindung
-
Erfindungsgemäß werden ein Verfahren zum Bestimmen eines Auswahlbereichs, sowie ein System zur Datenverarbeitung, ein mobiles Gerät und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
-
Die Erfindung beschäftigt sich allgemein mit mobilen Geräten, die sich in einer Umgebung oder dort z.B. in einem Arbeitsbereich bewegen oder zumindest bewegen können. Wie schon erwähnt und noch näher erläutert werden soll, kann es nicht nur Bereiche in der Umgebung geben, in denen sich das mobile Gerät bewegen soll, sondern auch Bereiche, in denen sich das mobile Gerät nicht bewegen soll oder darf. Insbesondere beschäftigt sich die Erfindung mit dem Bestimmen eines Auswahlbereichs in einer solchen Umgebung. Unter einem Auswahlbereich ist dabei insbesondere ein Teil der Umgebung oder des Arbeitsbereichs, z.B. ein gewisser Bereich in einem bestimmten Zimmer, zu verstehen. Dabei kann der Auswahlbereich insbesondere einen von dem mobilen Gerät zu bearbeitenden Bereich umfassen, also z.B. einen Bereich, der bearbeitet oder z.B. erneut gereinigt werden soll. Ebenso kann der Auswahlbereich aber einen Bereich umfassen, in den sich das mobile Gerät nicht bewegen darf oder soll, eine sog. No-Go-Zone.
-
Beispiele für solche mobilen Geräte (oder auch mobile Arbeitsgeräte) sind z.B. Roboter und/oder Drohnen und/oder auch sich teilautomatisiert oder (vollständig) automatisiert (zu Land, Wasser oder in der Luft) bewegende Fahrzeuge. Als Roboter kommen z.B. Haushaltsroboter wie Reinigungsroboter (z.B. in Form von Saug- und/oder Wischroboter), Boden- oder Straßenreinigungsgeräte, Bauroboter oder Rasenmähroboter in Betracht, ebenso aber auch andere sog. ServiceRoboter, als sich zumindest teilweise automatisiert bewegende Fahrzeuge z.B. Personenbeförderungsfahrzeuge oder Güterbeförderungsfahrzeuge (auch sog. Flurförderfahrzeuge, z.B. in Lagerhäusern), aber auch Luftfahrzeuge wie sog. Drohnen oder Wasserfahrzeuge.
-
Ein solches mobiles Gerät weist insbesondere eine Steuer- oder Regeleinheit und eine Antriebseinheit zum Bewegen des mobilen Geräts auf, sodass das mobile Gerät in der Umgebung, z.B. auch entlang eines Bewegungspfads oder einer Trajektorie, bewegt werden kann. Außerdem kann ein mobiles Gerät einen oder mehrere Sensoren aufweisen, mittels welcher die Umgebung bzw. Informationen in der Umgebung erfasst werden können.
-
Nachfolgend soll die Erfindung insbesondere am Beispiel eines Reinigungsroboters als mobiles Gerät erläutert werden, wenngleich sich das Prinzip auch auf andere Arten von mobilen Geräten übertragen lässt.
-
Reinigungsroboter können, nach der Installation, z.B. durch eine lokales Bedienfeld auf dem Roboter (z.B. Start, Stopp, Pause, etc.), durch Nutzung einer App (Anwendung bzw. Anwendungsprogramm) auf einem Smartphone oder anderem mobilen Endgerät, durch Sprachbefehl, etc. gesteuert werden. Auch eine automatische Reinigung aufgrund von Zeitprogrammen ist denkbar. Ebenfalls kann ein Benutzer den Reinigungsroboter z.B. an einen Ort tragen und von dort eine Raum- oder Spotreinigung starten.
-
Insbesondere das Reinigen bestimmter Orte oder Bereiche, die z.B. zuvor nicht zugänglich waren (Tischgruppe, Spielzeug, Kiste im Weg) oder aktuell schmutzig geworden sind, sind jedoch schwierig zu bestimmen oder festzulegen und dem Roboter mitzuteilen. Hierbei kann auf eine Karte (der Umgebung) zurückgegriffen werden, die zur Navigation des Reinigungsroboters oder allgemein des mobilen Geräts vorgesehen ist und insbesondere auch von diesem erstellt worden ist. Auf eine solche Karte soll später noch näher eingegangen werden.
-
Hierzu kann dann z.B. in der App auf der Karte ein Ort angeklickt werden oder der Roboter kann direkt an den Ort getragen werden. Das Einzeichnen von No-Go-Zonen in der Karte ist in der Regel schwierig, da zu vermeidende Objekte (z.B. ein Hochflor-Teppich) häufig nicht von den Robotersensoren erfassbar sind, und damit auch nicht in der Karte zu sehen sind. Der Benutzer muss daher aufgrund umliegender Wände und anderer in der Karte sichtbaren Hindernisse auf die Lage des Teppichs schließen. Dies ist zeitaufwändig und fehleranfällig.
-
Die Kartendarstellung in Apps kann z.B. eine 2D-Ansicht (beispielsweise als Hindernis-Gitterkarte) sein. Einen noch nicht gereinigten Ort oder Bereich kann ein Benutzer dort aber in aller Regel gar nicht erkennen. Vielmehr wird der Benutzer einen noch nicht gereinigten und noch zu reinigenden Bereich erst dann entdecken, wenn er sich vor Ort befindet. Dann folgt noch das beschriebene, umständliche und fehleranfällige Vorgehen zum Bestimmen des Bereichs in der Karte für den Reinigungsroboter.
-
Vor diesem Hintergrund wird eine Möglichkeit vorgeschlagen, einen Auswahlbereich in der Umgebung, in der sich ein mobiles Gerät wie ein Reinigungsroboter bewegen kann (oder eben ggf. auch nicht), unter Verwendung von Sensorik zu bestimmen. Zweckmäßig ist es, wenn die Sensorik nicht dem mobilen Gerät zugeordnet ist, es sich also z.B. um Sensorik in der Umgebung handelt. Ein solche Sensorik kann z.B. zumindest zum Teil in einem mobilen Endgerät wie z.B. einem Smartphone oder Tablet vorhanden sein, oder auch in einem stationären Endgerät wie z.B. einem Smart-Home-Endgerät. So besitzen Benutzer eines Reinigungsroboters oder anderen mobilen Geräts häufig ein solches Endgerät, das meist mit vielfältiger Sensorik und entsprechenden Fähigkeiten ausgestattet ist. Informationen daraus, so haben die Erfinder erkannt, können nun mit der Karte des Roboters verknüpft werden. Der Benutzer kann dann z.B. mittels Nutzung der Smartphone-Sensorik (z.B. Kamera) noch einfacher den zu reinigenden Bereich oder einen sonstigen Bereich auswählen. Grundsätzlich kann aber auch eine dem mobilen Gerät zugeordnete Sensorik verwendet werden.
-
Ein Benutzer kann dann z.B. direkt am zu reinigenden Ort durch Nutzung seines Endgerätes den Reinigungsauftrag für den Reinigungsroboter starten. Ebenso kann er z.B. mit dem Smartphone direkt vor Ort ein Bild/Video z.B. eines Teppichs aufnehmen, um den Auswahlbereich zu bestimmen bzw. zu definieren, jeweils ohne, dass der Benutzer selbst eine Kartendarstellung nutzen muss und dort den gewünschten Ort oder Bereich manuell suchen muss.
-
Hierzu werden Sensordaten, die unter Verwendung der Sensorik in der Umgebung erhalten worden sind, bereitgestellt. Die Sensordaten charakterisieren dabei eine Position und/oder Orientierung einer Entität in der Umgebung. Basierend auf den Sensordaten wird dann die Position und/oder Orientierung der Entität in der Karte, die zur Navigation des mobilen Geräts vorgesehen ist, bestimmt. Es sei erwähnt, dass in vielen Fällen Position und Orientierung nötig oder zumindest zweckmäßig sein können. Es kann dann auch von einer Pose gesprochen werden.
-
Hierbei kommen verschiedene Entitäten in Betracht. Die Entität umfasst bevorzugt ein mobiles Endgerät, insbesondere ein Smartphone oder ein Tablet, wie schon erwähnt, das dann auch zumindest einen Teil der Sensorik aufweist. Die Sensorik kann dann z.B. eine Kamera aufweisen, mittels welcher Bilder der Umgebung als Sensordaten erfasst werden. Basierend auf den Bildern kann dann durch Abgleich mit Informationen in der Karte bestimmt werden, wo sich das mobile Endgerät befindet. Ebenso können aber andere Arten von Sensorik, ebenfalls z.B. im mobilen Endgerät, verwendet werden, z.B. drahtlose Funkmodule, die ggf. mit weiterer Infrastruktur interagieren und eine Positionsbestimmung erlauben, IMUs, oder Lidar. In einer Umgebung außerhalb eines Gebäudes kann z.B. auch GPS als Sensorik in Betracht kommen.
-
Die Entität kann auch das mobile Gerät selbst sein oder umfassen. Die Entität kann aber z.B. auch eine Person in der Umgebung umfassen, also z.B. den Benutzer. Zweckmäßig ist es dann, wenn ein stationäres Endgerät in der Umgebung, insbesondere ein Smart-Home-Endgerät, zumindest einen Teil der Sensorik aufweist. Hier kommt dann z.B. wieder eine Kamera als Sensorik in Betracht. So kann z.B. mittels einer Smart-Home-Kamera die Position und/oder Orientierung einer Person in der Umgebung erfasst werden. Bei bekannter Position und/oder Orientierung der Kamera in der Karte kann dann die Position und/oder Orientierung der Person in der Karte bestimmt werden. Ebenso kann andere Sensorik des stationären Endgeräts verwendet werden, z.B. ein Mikrofon, das eine Stimmanweisung des Benutzers erhält, dass an der Position und/oder Orientierung, an der sich der Benutzer befindet, gereinigt werden soll. Die Sensordaten bzgl. der Position und/oder Orientierung des Benutzers können dann z.B. durch Analyse der aufgezeichneten Stimme (ggf. unter Berücksichtigung der Position und/oder Orientierung des Mikrofons in der Umgebung), und/oder durch eine Kamera als Sensorik bestimmt sein. Wenngleich mittels der Sensorik des mobilen Endgeräts Position und/oder Orientierung des mobilen Endgeräts und gleichermaßen mittels der Sensorik des stationären Endgeräts Position und/oder Orientierung des stationären Endgeräts bestimmt werden können, ist es auch möglich, dass mittels der Sensorik des stationären Endgeräts Position und/oder Orientierung des mobilen Endgeräts bestimmt werden oder umgekehrt.
-
Die Entität kann außerdem z.B. eine Verschmutzung oder ein mit dem zu bestimmenden Auswahlbereich in Bezug stehendes Objekt in der Umgebung sein oder umfassen. Bei den Objekten kann es sich z.B. um Objekte (wie Legosteine, Stühle) handeln, die verschoben wurden und nun eine freie noch nicht gereinigte Fläche entstanden ist. Die Sensorik ist dann insbesondere nicht Teil der Entität. Zweckmäßig ist es auch hier, wenn ein stationäres Endgerät in der Umgebung, insbesondere ein Smart-Home-Endgerät, zumindest einen Teil der Sensorik aufweist. Hier kann die Sensorik des stationären Endgeräts genutzt werden, um automatisiert bestimmte Bereiche zu erkennen, die z.B. gereinigt werden sollen, zumal eine Sensorik am Reinigungsroboter selbst die in vielen Fällen nicht oder zumindest weniger gut erkennen kann.
-
Das Bestimmen der Position und/oder Orientierung der Entität in der Karte kann insbesondere auch zwei oder mehr Stufen umfassen. Hierbei umfassen die Sensordaten erste Sensordaten und weitere Sensordaten. Basierend auf den ersten Sensordaten wird dann eine grobe Position und/oder Orientierung der Entität in der Karte bestimmt, und basierend auf den weiteren Sensordaten und der groben Position und/oder Orientierung - sowie alternativ oder zusätzlich der ersten Sensordaten - wird dann eine feinere bzw. genauere Position und/oder Orientierung der Entität in der Karte bestimmt. Während die grobe Position und/oder Orientierung z.B. nur einen Raum in einer Wohnung oder einen bestimmten Teil eines z.B. größeren Raums betrifft, kann die feinere Position und/oder Orientierung dann die konkrete Stelle betreffen. Dieses zweitstufige Vorgehen erlaubt eine schnelle und genaue Bestimmung der Position und/oder Orientierung der Entität.
-
Außerdem ist es in diesem Zusammenhang zweckmäßig, dass die Karte mit den Sensordaten kompatibel ist, also z.B. Annotationen umfasst, die mit z.B. Kamerabilder oder Wifi-Signaturen (je nach Art der verwendeten Sensorik) als Sensordaten kompatibel sind.
-
Weiterhin werden Spezifizierungsdaten bereitgestellt, die unter Verwendung der Sensorik erhalten worden sind, wobei die Spezifizierungsdaten den Auswahlbereich charakterisieren. Basierend auf den Spezifizierungsdaten wird dann der Auswahlbereich in der Karte bestimmt. Während mit den Sensordaten zunächst die grundlegende Position und/oder Orientierung oder der Ort, an dem der Auswahlbereich sein soll, bestimmt wird, kann mit den Spezifizierungsdaten nun insbesondere die konkrete Form und/oder Größe des Auswahlbereichs bestimmt werden.
-
Hierbei kann z.B. der Benutzer mit dem mobilen Endgerät und dessen Kamera als Sensorik den gewünschten Ort aufnehmen, ggf. auch durch Bewegen des mobilen Endgeräts hierbei, um so den gewünschten Auswahlbereich zu erfassen. Ebenso kann aber z.B. einfach das mobile Endgerät auf eine bestimmte Position gelegt werden, um die dann ein gewisser Radius gezogen wird, der den Auswahlbereich bestimmt bzw. angibt.
-
Vorzugsweise charakterisieren die Spezifizierungsdaten also eine Position und/oder Orientierung des mobilen Endgeräts, indem z.B. das Smartphone auf den gewünschten Bereich gelegt worden ist. Die Position und/oder Orientierung kann hier z.B. unter Nutzung von Funkmodulen als Sensorik bestimmt werden, denkbar ist auch, auf die Sensordaten zurückzugreifen. Weiterhin werden dann Zusatzinformationen bereitgestellt, die den Auswahlbereich, insbesondere einen Durchmesser und/oder eine Fläche des Auswahlbereichs, in Bezug auf die Position und/oder Orientierung des mobilen Endgeräts charakterisieren. Hierzu kann z.B. in einer App des mobilen Endgeräts, das z.B. bereits die eben bestimmte Position und/oder Orientierung in der Karte anzeigen kann, ein Wert für den Durchmesser vorgegeben werden oder es kann z.B. auch ein Kreis oder eine sonstige beliebige Form im Wege einer Eingabe über ein Touchdisplay erzeugt werden. Der Auswahlbereich wird dann basierend auf den Spezifizierungsdaten und den Zusatzinformationen, bestimmt.
-
Vorteilhafterweise umfassen die Spezifizierungsdaten mittels der Kamera erfasste Bilder. Die Spezifizierungsdaten können dann z.B. von dem mobilen Endgerät, aber auch vom stationären Endgerät bzw. deren jeweiliger Kamera erfasst worden sein. Hier kann ein Benutzer z.B. Bilder oder ein Video (Folge von Bildern) oder eine Live-Aufnahme bzw. Live-Ansicht des gewünschten Bereichs aufnehmen. Weiterhin werden dann Zusatzinformationen bereitgestellt, die den Auswahlbereich, insbesondere Ränder und/oder eine Fläche des Auswahlbereichs, in den mittels der Kamera erfassten Bildern charakterisieren. Hierbei kann ein Benutzer z.B. in den Bildern bzw. dem Video durch Eingabe in das Endgerät die Grenzen angeben, z.B. durch Angabe von Punkten, die automatisch zu einer Grenze des Auswahlbereichs verbunden werden. Der Auswahlbereich wird dann basierend auf den Spezifizierungsdaten und den Zusatzinformationen, bestimmt.
-
Damit kann z.B. eine Bodenstruktur wie z.B. ein Teppich segmentiert und in die Karte als der Auswahlbereich, z.B. im Sinne einer No-Go-Zone, eingetragen werden. Falls der Auswahlbereich einen zu reinigenden Bereich umfasst, kann eine Reinigung an dieser Stelle erfolgen.
-
Es werden dann Informationen zu dem Auswahlbereich für das mobile Gerät bereitgestellt, und insbesondere wird das mobile Gerät angewiesen, den Auswahlbereich beim Navigieren zu berücksichtigen; so kann also z.B. das mobile Gerät angewiesen werden, zu einem bestimmten, zu reinigenden Auswahlbereich zu navigieren bzw. fahren, oder aber einen bestimmten Auswahlbereich (No-Go-Zone) beim Navigieren in der Umgebung auszusparen, also dorthin nicht zu fahren..
-
Ein erfindungsgemäßes System zur Datenverarbeitung umfasst Mittel zur Ausführung des erfindungsgemäßen Verfahrens bzw. von dessen Verfahrensschritten. Es kann sich bei dem System um einen Computer oder Server handeln, z.B. in einer sog. Cloud oder Cloud-Umgebung. Dort können dann die Sensor- und Spezifizierungsdaten erhalten und nach Bestimmung des Auswahlbereichs die Informationen hierüber an das mobile Gerät übermittelt werden. Ebenso kann das System das mobile Gerät oder das stationäre Gerät bzw. dort jeweils eine Rechen- oder Prozessoreinheit sein. Denkbar ist aber auch, dass ein solches System zur Datenverarbeitung ein Computer oder ein Steuergerät in einem solchen mobilen Gerät ist.
-
Die Erfindung betrifft auch ein mobiles Gerät, das eingerichtet ist, Informationen zu einem Auswahlbereich, die gemäß einem erfindungsgemäßen Verfahren bestimmt worden sind, zu erhalten. Auch das System zur Datenverarbeitung kann, wie erwähnt, von dem Gerät umfasst sein. Insbesondere ist das mobile Gerät eingerichtet, den Auswahlbereich beim Navigieren zu berücksichtigen. Bevorzugt weist das mobile Gerät eine Steuer- oder Regeleinheit und eine Antriebseinheit zum Bewegen des mobilen Geräts auf.
-
Das mobile Gerät ist vorzugsweise als sich zumindest teilweise automatisiert bewegendes Fahrzeug, insbesondere als Personenbeförderungsfahrzeug oder als Güterbeförderungsfahrzeug, und/oder als Roboter, insbesondere als Haushaltsroboter, z.B. Saug- und/oder Wischroboter, Boden- oder Straßenreinigungsgerät oder Rasenmähroboter, und/oder als Drohne ausgebildet, wie vorstehend schon ausführlich erläutert.
-
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Schließlich ist ein maschinenlesbares Speichermedium vorgesehen mit einem darauf gespeicherten Computerprogramm wie oben beschrieben. Geeignete Speichermedien bzw. Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Ein solcher Download kann dabei drahtgebunden bzw. kabelgebunden oder drahtlos (z.B. über ein WLAN-Netz, eine 3G-, 4G-, 5G- oder 6G-Verbindung, etc.) erfolgen.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
-
Kurze Beschreibung der Zeichnungen
-
- 1 zeigt schematisch ein mobiles Gerät in einer Umgebung zur Erläuterung der Erfindung in einer bevorzugten Ausführungsform.
- 2 zeigt schematisch eine Karte für ein mobiles Gerät.
- 3 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform.
-
Ausführungsform(en) der Erfindung
-
In 1 ist schematisch ein mobiles Gerät 100 in einer Umgebung 120 zur Erläuterung der Erfindung in einer bevorzugten Ausführungsform dargestellt. Bei dem mobilen Gerät 100 handelt es sich beispielhaft um einen Reinigungsroboter mit einer Steuer- oder Regeleinheit 102 und einer Antriebseinheit 104 (mit Rädern) zum Bewegen des Reinigungsroboters 100 in der Umgebung 120, z.B. einer Wohnung. Die Umgebung bzw. Wohnung 120 weist beispielhaft drei Räume 121, 122, 123 auf, in denen verschiedene Objekte 126, 127 wie z.B. Möbel angeordnet sind.
-
Weiterhin weist der Staubsaugerroboter 100 beispielhaft eine als Kamera ausgebildete Sensorik 106 mit einem Erfassungsfeld (gestrichelt angedeutet) auf. Zur besseren Veranschaulichung ist das Erfassungsfeld hier relativ klein gewählt; in der Praxis kann das Blickfeld aber größer sein. Mittels der Kamera können Objekte in der Umgebung erfasst oder bestimmt werden. Ebenso kann zusätzlich z.B. auch ein Lidar-Sensor vorhanden sein.
-
Weiterhin weist der Reinigungsroboter 100 ein System 108 zur Datenverarbeitung, z.B. ein Steuergerät, auf, mittels dessen z.B. über eine angedeutete Funkverbindung Daten erhalten und gesendet werden können. Mit dem System 108 kann z.B. ein erfindungsgemäßes Verfahren durchführbar sein.
-
Weiterhin ist eine Person 150 gezeigt, die z.B. ein Benutzer oder Verwender des Reinigungsroboters 100 sein kann. Zudem ist beispielhaft ein mobiles Endgerät 140, z.B. ein Smartphone, mit einer Kamera 142 als Sensorik gezeigt. Zudem ist beispielhaft ein stationäres Endgerät 130, z.B. ein Smart-Home-Endgerät, mit einer Kamera 132 als Sensorik gezeigt. Sowohl das mobile Endgerät 140 als auch das stationäre Endgerät 130 kann z.B. ebenfalls ein System zur Datenverarbeitung aufweisen oder als solches ausgebildet sein, mittels dessen z.B. über eine angedeutete Funkverbindung Daten erhalten und gesendet werden können und mit dem ein erfindungsgemäßes Verfahren durchführbar ist.
-
Weiterhin ist in der Umgebung 120, und zwar beispielhaft im Raum 123, eine Verschmutzung 112 gezeigt. Zudem ist ein Auswahlbereich 110 angedeutet. Im Rahmen der vorliegenden Erfindung kann, wie erwähnt, ein solcher Auswahlbereich 110 bestimmt werden, der dann z.B. von dem Reinigungsroboter 100 insbesondere gezielt zu reinigen ist. Wie erwähnt, kann ein solcher Auswahlbereich auch eine sog. No-Go-Zone sein, die vom Reinigungsroboter 100 zu meiden ist. Es versteht sich, dass auch jeweils mehrere davon und auch alle Arten von Auswahlbereichen zugleich vorhanden sein können.
-
In 2 ist schematisch eine Karte 200 für ein mobiles Gerät wie z.B. den Reinigungsroboter 100 aus 1 gezeigt. Wie erwähnt, soll anhand von Sensordaten von einer Sensorik wie z.B. der Kamera 142 des mobilen Endgeräts 140 eine Position einer Entität wie z.B. des mobilen Endgeräts 140 in einer solchen Karte 200 bestimmt werden, d.h. es soll eine Lokalisierung des mobilen Endgeräts erfolgen,
-
Hierzu ist es zweckmäßig, dass die Karte Daten annotiert hat, die zu der verwendeten Sensorik passt. Dies bedeutet, dass die Karte z.B. Annotationen umfasst, die mit z.B. Kamerabildern oder Wifi-Signaturen (je nach Art der verwendeten Sensorik) kompatibel sind bzw. vergleichbar sind. Wie erwähnt, wird eine solche Karte in der Regel vom Reinigungsroboter selbst erstellt. Dafür benötigt der Reinigungsroboter selbst eine entsprechende Sensorik, die häufig sowieso schon verbaut ist bzw. für die Erstellung der Karte genutzt wird.
-
Ein Beispiel ist, dass der Reinigungsroboter eine Kamera-basierte Karte (z.B. ORB-SLAM) erstellt. Bei solchen Verfahren wird in regelmäßigen Abständen ein Kamerabild ausgewählt und fester Bestandteil der Karte (sog. Keyframes). Für visuelle Merkmale in Keyframes wird dann z.B. eine Tiefenschätzung (z.B. via Bundle Adjustment) ausgeführt.
-
Ein anderes Beispiel ist, dass der Reinigungsroboter eine Lidar-basierte Karte erstellt, aber zusätzlich eine Kamera verbaut hat (wie in Bezug auf 1 erwähnt). Beim Kartieren werden dann z.B. regelmäßig Bilder mit der Kamera aufgenommen und an die entsprechende Stelle der Karte hinzugefügt.
-
Bei der Karte 200 aus 2 handelt es sich beispielhaft um eine solche Karte. Dort sind Knoten 202 und Kante 204 der Karte 200 gezeigt, und zudem sind an bestimmten Punkten Bilder 210 vorhanden.
-
Ein anderes Beispiel ist, dass der Reinigungsroboter eine Lidar-basierte Karte erstellt und für die Kommunikation mit dem Benutzer und ggf. der Cloud ein Wifi-Modul aufweist. Beim Kartieren wird dann z.B. regelmäßig ein Abbild der verfügbaren Wifi-Zugangspunkte und deren Signalstärken der Karte hinzugefügt.
-
In 3 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt, das nachfolgend insbesondere unter Verweis auf 1 erläutert werden soll.
-
Die Person (Benutzer) 150 kann sich z.B. in einem Raum der Umgebung in der Nähe einer Verschmutzung 112 befinden, wie in 1 gezeigt. Der Benutzer kann ein mobiles Endgerät 140 mit Kamera 142 als Sensorik, wie in 1 gezeigt, mit sich führen. Für die in 1 gezeigte Verschmutzung 112 soll nun der Auswahlbereich 110 bestimmt werden, der von dem Reinigungsroboter 100 dann gereinigt wird.
-
In einem Schritt 300 werden Sensordaten bereitgestellt. Auf diesen basierend wird die Position und/oder Orientierung einer Entität in der Karte bestimmt. Der Benutzer kann mit dem mobilen Endgerät 140 bzw. dessen Kamera 142 z.B. einige wenige Datenpunkte aufnehmen, zum Beispiel drei Bilder. Es werden damit erste Sensordaten 302 (die Bilder) bereitgestellt, die unter Verwendung einer nicht dem mobilen Gerät zugeordneten Sensorik in der Umgebung erhalten worden sind. Basierend auf den ersten Sensordaten 302 wird dann in Schritt 310 eine grobe Position und/oder Orientierung des mobilen Endgeräts 140 als eine Entität in der Karte bestimmt. Es erfolgt hier also zunächst eine grobe Lokalisierung.
-
Die ersten Sensordaten 302 werden dabei z.B. zu den Daten in der Karte 200 registriert. Dazu können z.B. sog. „Place Recognition“ Verfahren genutzt werden, zum Beispiel FABMAP für Kamerabilder (vgl. „Cummins, Mark, and Paul Newman. „FAB-MAP: Probabilistic localization and mapping in the space of appearance.“ The International Journal of Robotics Research") oder wie in „Nowicki, Michat, and Jan Wietrzykowski. „Low-effort place recognition with WiFi fingerprints using deep learning.“ International Conference Automation" für Wifi beschrieben.
-
Hierbei wird z.B. lediglich die Ähnlichkeit zu in der Karte existierenden Daten bestimmt. Es sei erwähnt, dass je nach Art der ersten Sensordaten auch bereits basierend darauf eine exakte, metrische Lokalisierung oder zumindest hinreichend genaue Lokalisierung möglich ist. Falls die Qualität der ersten Sensordaten aber z.B. noch nicht ausreichend ist, kann die Lokalisierungsgenauigkeit aber z.B. ausreichend sein, um Räume wie z.B. die Räume 121, 122, 123 in 1 zu differenzieren. Bei größeren Räumen können z.B. auch Bereiche in den Räumen ebenfalls unterschieden werden (z.B. Essplatz vs. Küche).
-
Weiterhin kann die Kamera des mobilen Endgeräts dann z.B. genutzt werden, um für einen kurzen Zeitraum die Bewegung des mobilen Endgeräts zu bestimmen. Es können damit weitere Sensordaten 304 bereitgestellt werden. Für einige Keyframes kann dann eine Tiefenschätzung durchgeführt werden. Dafür können Methoden wie beispielsweise LSD-SLAM in „Engel, Jakob, Thomas Schöps, and Daniel Cremers. „LSD-SLAM: Large-scale direct monocular SLAM.“ European conference on computer vision." beschrieben genutzt werden. Die Nutzung einer Inertialen Messeinheit (IMU) (z.B. ebenfalls als Teil der Sensorik im mobilen Endgerät) kann die Ergebnisse weiter verbessern.
-
Basierend auf den weiteren Sensordaten 304 und der groben Position wird dann in Schritt 312 eine feine Position und/oder Orientierung der Entität in der Karte bestimmt. Mit Hilfe einer solchen Trajektorie des mobilen Endgeräts (weitere Sensordaten) können z.B. mehrere Messungen der ersten Sensordaten 302 fusioniert werden. Dadurch kann die Position und/oder Orientierung des mobilen Endgeräts in der Karte deutlich präziser bestimmt werden. Durch Nutzung der Tiefenschätzung können z.B. Pixel eines aktuell auf dem mobilen Endgerät dargestellten Kamerabilds präzise auf eine Koordinate in der Karte abgebildet werden. Wie erwähnt, kann aber ggf. bereit mit den ersten Sensordaten eine hinreichend genaue Bestimmung der Position und/oder Orientierung erfolgen. Ebenso kann es aber sein, dass eine dritte oder noch mehr Stufen zweckmäßig sind, um eine hinreichend genaue Position und/oder Orientierung zu bestimmen.
-
In einem Schritt 320 werden Spezifizierungsdaten bereitgestellt, basierend worauf der Auswahlbereich 110 in der Karte bestimmt wird. Hierzu kann der Benutzer das mobile Endgerät 140 z.B. an dem gewünschten Ort, also z.B. neben der Verschmutzung ablegen oder über die betreffende Stelle der Verschmutzung halten. Die Position kann hier z.B. unter Nutzung von Funkmodulen als Sensorik bestimmt werden, denkbar ist auch, auf die Sensordaten (z.B. erste oder weitere Sensordaten 302, 304) zurückzugreifen. Hiermit werden Spezifizierungsdaten 322 bereitgestellt, die eine Position und/oder Orientierung des mobilen Endgeräts charakterisieren.
-
Weiterhin werden, in Schritt 330, Zusatzinformationen 322 bereitgestellt, die den Auswahlbereich 110, insbesondere eine Form, z.B. einen Durchmesser und/oder eine Fläche, des Auswahlbereichs, in Bezug auf die Position des mobilen Endgeräts charakterisieren. Hierzu kann dem Benutzer die Position und/oder Orientierung des mobilen Endgeräts in der Karte z.B. angezeigt werden, und der Benutzer kann durch Eingabe z.B. einen gewünschten Radius bzw. Durchmesser oder allgemein die Form festlegen. Denkbar ist auch, dass der Benutzer den Durchmesser ohne Ansicht der Karte bestimmt, z.B. durch Auswahl aus mehreren Möglichkeiten. Ebenso kann der Durchmesser oder eine sonstige Form des Auswahlbereichs auch automatisiert festgelegt werden. Auch auf solche automatisierte Weise können die Zusatzinformationen bereitgestellt werden. Zudem kann z.B. eine Auswahl oder Eingabe erfolgen, ob die entsprechende Stelle (Auswahlbereich) gereinigt oder als No-Go Zone markiert werden soll.
-
Alternativ oder zusätzlich kann der Benutzer z.B. mit der Kamera des mobilen Endgeräts (oder auch des stationären Endgeräts) den gewünschten Bereich erfassen oder ansehen. Hiermit werden Spezifizierungsdaten 324 (die Kamerabilder) bereitgestellt, die eine Position und/oder Orientierung des mobilen Endgeräts charakterisieren. Weiterhin werden, in Schritt 340, Zusatzinformationen 342 bereitgestellt, die den Auswahlbereich 110, insbesondere Ränder oder eine Form des Auswahlbereichs, in den mittels der Kamera erfassten Bildern charakterisieren. Hierzu kann der Benutzer z.B. gezielt und präzise bestimmte Bereiche im Kamerabild z.B. mit Markern manuell (oder auch z.B. durch Spracheingabe am mobilen oder stationären Endgerät) markieren (im Sinne einer „augmented reality zone“); dies kann ebenfalls z.B. durch Eingabe in dem mobilen Endgerät erfolgen. Zudem kann z.B. eine Auswahl oder Eingabe erfolgen, ob die entsprechende Stelle (Auswahlbereich) gereinigt oder als No-Go Zone markiert werden soll.
-
Der Auswahlbereich wird damit, in Schritt 350, basierend auf den Spezifizierungsdaten 322 und/oder 324 und den Zusatzinformationen 332 und/oder 342, bestimmt.
-
In einem Schritt 360 werden dann Informationen 362 zu dem Auswahlbereich 110 für das mobile Gerät bereitgesellt. Insbesondere wird auch das mobile Gerät angewiesen, den Auswahlbereich beim Navigieren zu berücksichtigen.
-
Wie schon erwähnt, kann nicht nur das mobile Endgerät verwendet werden. Die Sensordaten 302, 304 können z.B. auch mittels des stationären Endgeräts 130 bzw. dessen Kamera 132 erfasst werden. Die Sensordaten charakterisieren dann die Position der Person 150 als Entität. Anstelle oder zusätzlich zur Kamera kann auch ein Mikrofon oder anderes Audiosystem des stationären Endgeräts als Sensorik verwendet werden. So kann z.B. durch Stimmaufnahme die Position und/oder Orientierung der Person bestimmt werden. Eine ggf. nötige Reinigung im Auswahlbereich kann dann z.B. automatisch oder per Sprachbefehl gestartet werden.
-
Ebenso können die Sensordaten 302, 304 z.B. mittels des stationären Endgeräts 130 bzw. dessen Kamera 132 erfasst werden, und dabei die Position der Verschmutzung 112 als die Entität charakterisieren. Das stationäre Endgerät bzw. ein Smart-Home-System erkennt dabei also selbstständig Bereiche, die gereinigt werden müssen bzw. die bei der Reinigung ausgespart werden müssen oder sollen. Dabei kann auch erkannt werden, wenn Flächen, die bei einer vorherigen Reinigung nicht zugänglich waren, nun frei sind und gereinigt werden können.
-
Eine Reinigung/Zonierung kann also automatisch durch das Smart Home System erfolgen oder ggf. mit dem Benutzer per App abgeklärt werden, z.B. durch Rückfrage, ob ein erkannter Bereich bei der Reinigung ausgespart werden soll, oder z.B., dass es in diesem Bereich Reinigungsbedarf zu geben scheint, und ob hier eine Reinigung veranlasst werden soll, oder dass diese Fläche bei der letzten Reinigung nicht zugänglich war, jetzt aber wieder frei ist, und ob hier eine Reinigung veranlasst werden soll.
-
Außerdem kann ein visueller Detektionsalgorithmus verwendet werden, um den Roboter während seinen Missionen im Kamerabild zu erkennen. Das stationäre Endgerät bzw. dessen Kamera fragt dabei z.B. die Roboterpose in der Roboterkarte ab, wenn der Roboter von der Kamera detektiert wurde. Diese Daten ermöglichen eine Abbildung von Posen im Roboterkartenkoordinatensystem in das Smart Home Kamerakoordinatensystem. Damit können im Kamerabild erkannte Bereiche in Bereiche in der Roboterkarte übersetzt werden, und umgekehrt.
