DE102018113672A1

DE102018113672A1 - Mobiler Roboter und Steuerverfahren dafür

Info

Publication number: DE102018113672A1
Application number: DE102018113672.2A
Authority: DE
Inventors: Dongki Noh; Hoyoung Lee; Seungmin Baek
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2017-06-09
Filing date: 2018-06-08
Publication date: 2018-12-13
Also published as: US10717193B2; US20180354132A1; KR102314539B1; KR20180134683A

Abstract

Es wird ein mobiler Roboter offenbart, der Folgendes enthält: eine Fahreinheit, die konfiguriert ist, auf der Grundlage einer Navigationskarte, die mehrere lokale Karten enthält, einen Hauptkörper zu bewegen; eine Bilderfassungseinheit, die konfiguriert ist, während der Bewegung in Gebieten, die den mehreren lokalen Karten entsprechen, mehrere Bilder zu erfassen; eine Speichereinheit, die konfiguriert ist, die mehreren Bilder zu speichern, die durch die Bilderfassungseinheit erfasst werden; und eine Steuereinrichtung, die konfiguriert ist, ein Attribut einer lokalen Karte aus den mehreren lokalen Karten zu erkennen, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, das Attributerkennungsergebnis in dem Speicher zu speichern, eine semantische Karte zu erzeugen, die aus einer vorgegebenen Anzahl benachbarter lokaler Karten zusammengesetzt ist, und auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind, ein endgültiges Attribut eines Gebiets zu erkennen, das der semantischen Karte entspricht. Dementsprechend ist es möglich, Attribute von Gebieten wirksam zu erkennen.

Description

Diese Anmeldung beansprucht die Priorität der Koreanischen Patentanmeldung Nr. 10-2017-0072746 , eingereicht am 9. Juni 2017 beim Koreanischen Amt für geistiges Eigentum.
Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf einen mobilen Roboter und ein Steuerverfahren dafür und insbesondere auf einen mobilen Roboter, der Attribute von Gebieten in einer Karte erkennen kann, und auf ein Steuerverfahren dafür.
Beschreibung des verwandten Gebiets
Roboter wurden zur industriellen Verwendung und zur geführten Automatisierung von Produktionsvorgängen entwickelt. In letzter Zeit werden sie z. B. in der Medizinindustrie und in der Luftfahrtindustrie breiter verwendet. Es gibt sogar Heimroboter, die für Haushaltsarbeiten verwendet werden. Von derartigen Robotern wird ein Robotertyp, der eigenständig fahren kann, ein mobiler Roboter genannt.
Ein typisches Beispiel für den mobilen Roboter, der zuhause verwendet wird, ist eine Roboterreinigungseinrichtung, die eigenständig in ein bestimmtes Gebiet fährt, um durch Einsaugen von Staub oder Fremdsubstanzen eine Reinigung durchzuführen.
Ein vorhandener mobiler Roboter führt die Reinigung durch, indem er sich in Bezug auf den aktuellen Ort bewegt, ohne Gebiete zu segmentieren. Wenn in der Fahrtrichtung nach vorne ein Hindernis vorhanden ist, fährt der mobile Roboter durch Umsetzen der Richtung fort, sich zu bewegen. Als ein Ergebnis reinigt der mobile Roboter möglicherweise dasselbe Gebiet wiederholt und versagt möglicherweise dabei, an seinen ursprünglichen Ort zurückzukehren.
Aus diesem Grund wird der mobile Roboter unter Verwendung einer vorab gespeicherten Karte derart gesteuert, dass er ein bestimmtes Gebiet bearbeitet, außerdem wird verhindert, dass er dasselbe Gebiet wiederholt reinigt.
Jedoch extrahiert der mobile Roboter einfach einen Umriss eines Fahrbereichs, während er sich bewegt, indem das Folgen einer Wand ausgeführt wird, wenn eine Karte erzeugt wird. Somit ist es notwendig, mehrere Räume, die miteinander in Verbindung stehen, in getrennte Gebiete zu segmentieren.
Indessen segmentiert ein Anwender üblicherweise Räume zuhause wie etwa ein Schlafzimmer, ein Ankleidezimmer, ein Wohnzimmer und ein Lager auf der Grundlage ihrer Attribute gemäß den Verwendungszwecken.
Somit besteht ein Bedarf an einem Verfahren, durch das ein mobiler Roboter in einer ähnlichen Weise wie ein Anwender Gebiete segmentiert und Attribute der Gebiete erkennt, derart, dass der Anwender in der Lage ist, den mobilen Roboter unter Verwendung der segmentierten Gebiete leicht zu steuern.
Zusammenfassung der Erfindung
Die vorliegende Erfindung schafft einen mobilen Roboter, der Attribute von mehreren Gebieten in einem Fahrbereich erkennen kann, und ein Steuerverfahren dafür.
Die vorliegende Erfindung schafft einen mobilen Roboter, der unter geeigneter Verwendung eines Gebietsattributerkennungsergebnisses den Komfort des Anwenders verbessern kann, und ein Steuerverfahren dafür.
Die vorliegende Erfindung schafft einen mobilen Roboter, der durch maschinelles Lernen Attribute von Gebieten genau erkennen kann, und ein Steuerverfahren dafür.
In einem allgemeinen Aspekt der vorliegenden Erfindung können die obigen und andere Aufgaben durch das Schaffen eines mobilen Roboters erfüllt werden, der Folgendes enthält: eine Fahreinheit, die konfiguriert ist, auf der Grundlage einer Navigationskarte, die mehrere lokale Karten enthält, einen Hauptkörper zu bewegen; eine Bilderfassungseinheit, die konfiguriert ist, in Gebieten, die den mehreren lokalen Karten entsprechen, vorzugsweise während der Bewegung mehrere Bilder zu erfassen; eine Speichereinheit, die konfiguriert ist, die mehreren Bilder zu speichern, die durch die Bilderfassungseinheit erfasst werden; und eine Steuereinrichtung, die konfiguriert ist, ein Attribut einer lokalen Karte aus den mehreren lokalen Karten zu erkennen, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, das Attributerkennungsergebnis in der Speichereinheit zu speichern, eine semantische Karte zu erzeugen, die aus einer vorgegebenen Anzahl benachbarter lokaler Karten zusammengesetzt ist, und auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind, ein endgültiges Attribut eines Gebiets zu erkennen, das der semantischen Karte entspricht. Dementsprechend ist es möglich, Attribute von Gebieten wirksam zu erkennen.
Vorzugsweise kann die Steuereinrichtung ferner konfiguriert sein: auf der Grundlage der Anzahl N Bilder, die in der lokalen Karte erfasst werden, ein Gebiet zu erkennen, das der lokalen Karte entspricht; ein Bild zu extrahieren, das einem Gegenstand in den Anzahl N Bildern entspricht, die in der lokalen Karte erfasst werden, und auf der Grundlage des extrahierten Bildes den Gegenstand zu erkennen, der in einem Gebiet vorhanden ist, das der lokalen Karte entspricht; und ein Gebietserkennungsergebnis und ein Gegenstandserkennungsergebnis, die der lokalen Karte entsprechen, zu mischen.
Vorzugsweise kann der mobile Roboter ferner eine Sensoreinheit umfassen, die konfiguriert ist, einen oder mehrere Sensoren zum Erfassen eines Hindernisses zu umfassen.
Vorzugsweise kann die Steuereinrichtung ferner konfiguriert sein, einige Bilder aus den mehreren Bildern durch einen vorgegebenen Standard zu filtern.
Vorzugsweise kann die Steuereinrichtung konfiguriert sein, durch einen vorgegebenen Standard zu bestimmen, ob ein Fotografieren durchzuführen ist.
Ferner kann der vorgegebene Standard umfassen, ob die Sensoreinheit ein Hindernis erfasst hat.
Vorzugsweise kann die Steuereinrichtung ferner konfiguriert sein, die Bilderfassungseinheit derart zu steuern, dass in einem Gebiet, das der lokalen Karte entspricht, in der die Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchgeführt wird.
Vorzugsweise kann die Steuereinrichtung ferner konfiguriert sein, die Steuerung derart durchzuführen, dass die mehreren Bilder in Zuordnung zu Ortsinformationen und Richtungsinformationen gespeichert werden, die einem Zeitpunkt des Erfassens der mehreren Bilder entsprechen.
Vorzugsweise können die Anzahl N Bilder, die in mehreren Richtungen fotografiert werden, eine Anzahl N Bilder sein, die während des Drehens an einem bestimmten Ort fotografiert werden.
Vorzugsweise kann die Fahreinheit ferner konfiguriert sein, den Hauptkörper derart zu bewegen, dass er eine erste Rundfahrt, die das Fahren in einem Zick-Zack-Muster in einer ersten Richtung angibt, und eine zweite Rundfahrt, die das Fahren in einem Zick-Zack-Muster in einer zweiten Richtung, die zur ersten Richtung senkrecht ist, angibt, ausführt.
Vorzugsweise können die Anzahl N Bilder, die in den mehreren Richtungen fotografiert werden, ein Bild, das bei der ersten Rundfahrt erfasst wird, und ein Bild, das bei der zweiten Rundfahrt erfasst wird, umfassen.
Vorzugsweise kann die Steuereinrichtung ferner konfiguriert sein, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der Attributerkennungsergebnisse ein endgültiges Attribut eines Gebiets zu bestimmen, das der semantischen Karte entspricht.
In einem weiteren allgemeinen Aspekt der vorliegenden Erfindung können die obigen und andere Aufgaben durch das Schaffen eines Steuerverfahrens eines mobilen Roboters erfüllt werden, wobei das Verfahren Folgendes enthält: Bewegen eines Hauptkörpers auf der Grundlage einer Navigationskarte, die mehrere lokale Karten enthält; Erfassen von mehreren Bildern in Gebieten, die den mehreren lokalen Karten entsprechen, während der Bewegung durch eine Bilderfassungseinheit; Erkennen eines Attributs einer lokalen Karte aus den mehreren lokalen Karten, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden; Speichern des Attributerkennungsergebnisses; Erzeugen einer semantischen Karte, die aus einer vorgegebenen Anzahl benachbarter lokaler Karten aus den mehreren lokalen Karten zusammengesetzt ist; und Erkennen eines endgültigen Attributs eines Gebiets, das der semantischen Karte entspricht, auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind.
Vorzugsweise kann das Erkennen eines Attributs der lokalen Karte das Erkennen eines Gebiets, das der lokalen Karte entspricht, auf der Grundlage der Anzahl N Bilder, die in der lokalen Karte erfasst werden; das Extrahieren eines Bildes, das einem Gegenstand entspricht, aus den Anzahl N Bildern, die in der lokalen Karte erfasst werden; das Erkennen des Gegenstands, der in der lokalen Karte vorhanden ist, auf der Grundlage des extrahierten Bildes und das Mischen eines Gebietserkennungsergebnisses und eines Gegenstandserkennungsergebnisses, die der lokalen Karte entsprechen, umfassen.
Vorzugsweise kann das Erfassen mehrerer Bilder umfassen, in einem Gebiet, das der lokalen Karte entspricht, in der die Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchzuführen.
Vorzugsweise kann das Steuerverfahren ferner das Speichern der mehreren Bilder in Zuordnung zu Ortsinformationen, Richtungsinformationen, Informationen über eine verfolgte Linie und Informationen über die lokale Karte, die einem Zeitpunkt des Erfassens der mehreren Bilder entsprechen, umfassen.
Vorzugsweise kann das Erkennen eines Attributs des Gebiets, das der semantischen Karte entspricht, das Bestimmen eines endgültigen Attributs des Gebiets, das der semantischen Karte entspricht, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der Attributerkennungsergebnisse umfassen.
Gemäß mindestens einer der Ausführungsformen der vorliegenden Erfindung kann ein mobiler Roboter Attribute von mehreren Gebieten in einem Fahrbereich erkennen.
Außerdem kann der mobile Roboter gemäß mindestens einer der Ausführungsform der vorliegenden Erfindung unter geeigneter Verwendung eines Gebietsattributerkennungsergebnisses den Komfort des Anwenders verbessern.
Außerdem kann der mobile Roboter gemäß mindestens einer der Ausführungsformen der vorliegenden Erfindung durch maschinelles Lernen Attribute von Gebieten genau erkennen.
Indes können weitere Wirkungen explizit oder implizit in der Beschreibung der Ausführungsformen der vorliegenden Erfindung offenbart sein.
Figurenliste
Die Ausführungsformen werden nun mit Bezug auf die folgenden Zeichnungen genau beschrieben, in denen sich gleiche Bezugszeichen auf gleiche Elemente beziehen; es zeigen:

1 eine perspektivische Ansicht, die einen mobilen Roboter und eine Ladestation zum Aufladen des mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
2 eine Ansicht, die eine obere Fläche des mobilen Roboters zeigt, der in 1 gezeigt ist;
3 eine Ansicht, die eine Stirnfläche des mobilen Roboters zeigt, der in 1 gezeigt ist;
4 eine Ansicht, die eine Bodenfläche des mobilen Roboters zeigt, der in 1 gezeigt ist;
5 ein Blockdiagramm, das Steuerbeziehungen zwischen Hauptkomponenten eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
6 ein Diagramm, das ein Beispiel für das Erzeugen einer Karte durch einen mobilen Roboter gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
7 einen Ablaufplan, der ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
8 bis 11 Diagramme, die ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulichen;
12 einen Ablaufplan, der ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
13 ein Diagramm zur Erklärung der Gebietsattributerkennung gemäß einer Ausführungsform der vorliegenden Erfindung;
14 ein Diagramm, das eine Anwenderschnittstelle gemäß einer Ausführungsform der Erfindung veranschaulicht;
15 einen Ablaufplan, der ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht; und
16 bis 23 Diagramme zum Erklären eines Steuerverfahrens eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung.

Genaue Beschreibung der Ausführungsformen
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die begleitenden Zeichnungen genau beschrieben. Obwohl die Erfindung in Verbindung mit beispielhaften Ausführungsformen beschrieben wird, versteht es sich, dass die vorliegende Beschreibung nicht dafür gedacht ist, die Erfindung auf die beispielhaften Ausführungsformen einzuschränken.
In den Zeichnungen werden Komponenten, die nicht zur Beschreibung in Bezug stehen, weggelassen, um die Erfindung eindeutig und kurz zu beschreiben, und gleiche Bezugszeichen beziehen sich durchgehend auf gleiche Elemente.
In der folgenden Beschreibung werden in Bezug auf die konstituierenden Elemente, die in der folgenden Beschreibung verwendet werden, die Nachsilben „Modul“ und „Einheit“ lediglich in Anbetracht der Einfachheit bei der Vorbereitung der Beschreibung verwendet oder miteinander kombiniert und weisen keine unterschiedlichen Bedeutungen auf oder dienen nicht als unterschiedliche Bedeutungen. Dementsprechend können die Nachsilben „Modul“ und „Einheit“ miteinander vertauscht werden.
Ein mobiler Roboter 100 gemäß einer Ausführungsform der vorliegenden Erfindung bezieht sich auf einen Roboter, der sich mit einem Rad und dergleichen eigenständig bewegen kann, und der mobile Roboter 100 kann ein menschenähnlicher Roboterhelfer, eine Roboterreinigungseinrichtung usw. sein. Im Folgenden wird der mobile Roboter mit den begleitenden Zeichnungen mit einem Beispiel für eine Roboterreinigungseinrichtung, die eine Reinigung durchführen kann, beschrieben. Jedoch sind die Aspekte der vorliegenden Erfindung nicht darauf eingeschränkt.
1 ist eine perspektivische Ansicht, die einen mobilen Roboter und eine Ladestation zum Aufladen des mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung zeigt, 2 ist eine Ansicht, die eine obere Fläche des mobilen Roboters zeigt, der in 1 gezeigt ist, 3 ist eine Ansicht, die eine Stirnfläche des mobilen Roboters zeigt, der in 1 gezeigt ist, und 4 ist eine Ansicht, die eine Bodenfläche des mobilen Roboters zeigt, der in 1 gezeigt ist.
5 ist ein Blockdiagramm, das Steuerbeziehungen zwischen Hauptkomponenten eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Unter Bezugnahme auf 1 bis 5 enthält der mobile Roboter 100 einen Hauptkörper 110 und eine Bilderfassungseinheit 120 zum Erfassen von Bildern von der Umgebung des Hauptkörpers 110. Im Folgenden sind die Komponenten des Hauptkörpers 110 wie folgt definiert: eine Komponente, die einer Decke in einem Fahrbereich zugewandt ist, ist als eine obere Fläche definiert (siehe 2), eine Komponente, die einem Boden in einem Fahrbereich zugewandt ist, ist als eine Bodenfläche definiert (siehe 4), und eine Komponente, die in einem Abschnitt, der zwischen der oberen Fläche und der Bodenfläche einen Umfang des Hauptkörpers 110 bildet, einer Fahrtrichtung zugewandt ist, ist als eine Stirnfläche definiert (siehe 3).
Der mobile Roboter 100 enthält eine Fahreinheit 160, die den Hauptkörper 110 bewegt. Die Fahreinheit 160 enthält mindestens ein Antriebsrad 136, das den Hauptkörper 110 bewegt. Die Fahreinheit 160 enthält einen Antriebsmotor (nicht gezeigt), der mit dem Antriebsrad 136 verbunden ist und das Antriebsrad 136 dreht. Das Antriebsrad 136 kann auf der linken und der rechten Seite des Hauptkörpers 110 vorgesehen sein. Im Folgenden wird ein Antriebsrad, das auf der linken Seite vorgesehen ist, als ein linkes Rad 136(L) bezeichnet, und ein Antriebsrad, das auf der rechten Seite vorgesehen ist, wird als ein rechtes Rad 136(R) bezeichnet.
Das linke Rad 136(L) und das rechte Rad 136(R) können durch einen einzigen Antriebsmotor angetrieben werden, und falls notwendig können jeweils ein Antriebsmotor des linken Rads zum Antreiben des linken Rads 1136(L) und ein Antriebsmotor des rechten Rads zum Antreiben des rechten Rads 136(R) vorgesehen sein. Eine Fahrtrichtung des Hauptkörpers 110 kann durch Differenzieren einer Drehzahl zwischen dem linken Rad 136(L) und dem rechten Rad 136(R) nach links oder nach rechts umgesetzt werden.
Eine Einlassöffnung 110h, durch die Luft gesaugt wird, kann in der Bodenfläche des Hauptkörpers 110 gebildet sein. Eine Saugvorrichtung (nicht gezeigt) zum Bereitstellen einer Saugkraft, um Luft durch die Einlassöffnung 110h zu saugen, und ein Staubbehälter (nicht gezeigt) zum Sammeln des Staubs, der zusammen mit der Luft durch die Einlassöffnung 110h gesaugt wird, können im Hauptkörper 110 vorgesehen sein.
Der Hauptkörper 110 kann ein Gehäuse 111 enthalten, das einen Raum bildet, in dem eine Vielzahl von Komponenten des mobilen Roboters 100 aufgenommen sind. Eine Öffnung zum Einsetzen und Abnehmen des Staubbehälters kann im Gehäuse 111 gebildet sein, und eine Staubbehälterabdeckung 112 zum Öffnen und Schließen der Öffnung kann in Bezug auf das Gehäuse 111 drehbar vorgesehen sein.
Es kann eine walzenartige Hauptbürste 134, die Borsten aufweist, die durch die Einlassöffnung 110h freiliegen, und eine Hilfsbürste 135, die an einer Stirnkomponente der Bodenfläche des Hauptkörpers angeordnet ist und die Borsten aufweist, die aus mehreren sich radial erstreckenden Flügeln zusammengesetzt sind, geben. Der Staub wird durch Drehung der Bürsten 134 und 135 von einem Boden in einem Fahrbereich getrennt, und der vom Boden getrennte Staub wird durch die Einlassöffnung 110 gesaugt und daraufhin im Staubbehälter gesammelt.
Eine Batterie 138 stellt Energie nicht lediglich für den Antriebsmotor, sondern ebenfalls für den Gesamtbetrieb des mobilen Roboters 100 bereit. Wenn die Batterie 138 verbraucht ist, kann der mobile Roboter 100 derart fahren, dass er zum Aufladen zu einer Ladestation 200 zurückkehrt. Während er zurückkehrt, kann der mobile Roboter 100 einen Ort der Ladestation 200 eigenständig detektieren.
Die Ladestation 200 kann eine Signalübertragungseinrichtung (nicht gezeigt) enthalten, der ein vorgegebenes Rückkehrsignal überträgt. Das Rückkehrsignal kann ein Ultraschallsignal oder ein Infrarotsignal sein, jedoch sind die Aspekte der vorliegenden Erfindung nicht darauf eingeschränkt.
Der mobile Roboter 100 kann einen Signaldetektor (nicht gezeigt) enthalten, der ein Rückkehrsignal empfängt. Die Ladestation 200 kann durch die Signalübertragungseinrichtung ein Infrarotsignal übertragen, und der Signaldetektor kann einen Infrarotsensor enthalten, der das Infrarotsignal detektiert. Der mobile Roboter 100 bewegt sich in Übereinstimmung mit einem Infrarotsignal, das von der Ladestation 200 übertragen wird, zu einem Ort der Ladestation 200 und wird daraufhin an die Ladestation 200 angekoppelt. Aufgrund des Ankoppelns wird das Aufladen zwischen einem Aufladeanschluss 133 des mobilen Roboters 100 und einem Aufladeanschluss 210 der Ladestation 200 durchgeführt.
Die Bilderfassungseinheit 120 kann einen Fahrbereich fotografieren und enthält eine Digitalkamera. Die Digitalkamera kann mindestens eine optische Linse, einen Bildsensor, der mehrere Fotodioden (z. B. Bildpunkte) enthält, um durch das Licht, das durch die optische Linse verläuft, ein Bild zu bilden, und einen digitalen Signalprozessor (DSP), der auf der Grundlage der Signale, die von den Fotodioden ausgegeben werden, ein Bild konstruiert, enthalten. Der DSP kann nicht einfach ein stehendes Bild erzeugen, sondern außerdem ein Video, das aus Rahmen zusammengesetzt ist, die stehende Bilder bilden.
Die Bilderfassungseinheit 120 kann eine vordere Kamera 120a, die vorgesehen ist, ein Bild eines Bereichs vor dem Hauptkörper 110 zu erfassen, und eine obere Kamera 120b, die in der oberen Fläche des Hauptkörpers 110 vorgesehen ist, um ein Bild einer Decke in einem Fahrbereich zu erfassen, enthalten. Jedoch sind die Orte und der Fotografierbereich der Kameras, die in der Bilderfassungseinheit 120 enthalten sind, nicht darauf eingeschränkt.
In dieser Ausführungsform können die Kameras an einigen Komponenten (z. B. einer Stirnfläche, einer rückwärtigen Komponente, einer Bodenfläche) eines mobilen Roboters eingebaut sein und während der Reinigung fortwährend ein fotografiertes Bild erfassen. Derartige Kameras können mehrere Kameras sein, die für die Wirksamkeit des Fotografierens an mehreren Komponenten des mobilen Roboters 100 eingebaut sind. Ein Bild, das durch eine Kamera fotografiert wird, kann verwendet werden, um ein Attribut eines entsprechenden Raumes zu erkennen, um eine Art eines Gegenstands wie etwa Staub, der in der Luft vorhanden ist, Haare, einen Boden usw. zu erkennen, um zu prüfen, ob die Reinigung durchgeführt worden ist, oder um eine Reinigungszeit zu prüfen.
Die vordere Kamera 120a kann ein Bild innerhalb eines vorgegebenen Winkelbereichs in einer Fahrtrichtung nach vorne des mobilen Roboters 100 fotografieren, und ein Hindernis oder eine Situation eines Reinigungsbereichs, der in der Fahrtrichtung nach vorne vorhanden ist, fotografieren.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann der Hauptkörper 110 der Bilderfassungseinheit 120 mehrere Bilder erfassen, indem ein umgebender Bereich fortwährend fotografiert wird, und kann die mehreren erfassten Bilder in einer Speichereinheit 150 speichern.
Der mobile Roboter 100 kann die Genauigkeit des Erkennens eines Bereichs oder eines Gegenstands unter Verwendung von mehreren Bildern verbessern oder kann die Genauigkeit der Erkennung unter Verwendung von wirksamen Daten verbessern, indem ein oder mehrere Bilder aus den mehreren Bildern ausgewählt werden.
Außerdem kann der mobile Roboter 100 eine Sensoreinheit 170 enthalten, die Sensoren zum Erfassen von diversen Daten in Bezug auf einen Betrieb und einen Zustand des mobilen Roboters 100 enthält.
Zum Beispiel kann die Sensoreinheit 170 einen Hindernissensor 131 zum Erfassen eines Gegenstands, der in einer Vorwärtsrichtung angeordnet ist, enthalten. Außerdem kann die Sensoreinheit 170 ferner einen Klippensensor 132 zum Detektieren des Vorhandenseins einer Klippe in einem Boden innerhalb eines Fahrbereichs und einen unteren Kamerasensor 139 zum Erfassen eines Bildes des Bodens enthalten.
Unter Bezugnahme auf 1 und 3 kann der Hindernissensor 131 mehrere Sensoren enthalten, die in vorgegebenen Abständen in einer Umfangsfläche des mobilen Roboters 100 eingebaut sind.
Zum Beispiel kann die Sensoreinheit 170 einen ersten Sensor, der an einer Stirnfläche des Hauptkörpers 110 angeordnet ist, und einen zweiten und einen dritten Sensor, die in der Richtung nach links und nach rechts zum ersten Sensor beabstandet sind, enthalten.
Der Hindernissensor 131 kann einen Infrarotsensor, einen Ultraschallsensor, einen Funkfrequenzsensor, einen geomagnetischen Sensor, einen Sensor vom Typ einer positionsempfindlichen Vorrichtung (PSD-Sensor) usw. enthalten.
Indes können die Positionen und Arten der Sensoren, die im Hindernissensor 131 enthalten sind, abhängig von einem Modell des mobilen Roboters 100 variieren, und der Hindernissensor 131 kann ferner eine Vielzahl von Sensoren enthalten.
Der Hindernissensor 131 ist ein Sensor zum Detektieren eines Abstands zu einer Innenwand oder einem Gegenstand, und eine Art des Hindernissensors 131 ist in der vorliegenden Erfindung nicht eingeschränkt. Im Folgenden wird der Hindernissensor 131 beispielhaft als ein Ultraschallsensor beschrieben.
Der Hindernissensor 131 detektiert einen Gegenstand, insbesondere ein Hindernis, das in einer Fahrtrichtung (Bewegungsrichtung) des mobilen Roboters 100 vorhanden ist, und überträgt Informationen über das Hindernis an eine Steuereinrichtung 140. Das heißt, der Gegenstandsdetektionssensor 131 kann einen Vorsprung, eine Heimanwendung, Möbel, eine Wandoberfläche, eine Wandkante oder dergleichen detektieren, die in einer Fahrtrichtung vor oder auf einer Seite des mobilen Roboters 100 vorhanden sind, und kann Informationen über den detektierten Gegenstand an eine Steuereinheit übertragen.
In diesem Fall kann die Steuereinrichtung 140 einen Ort eines Hindernisses auf der Grundlage von mindestens zwei Signalen detektieren, die durch einen Ultraschallsensor empfangen werden, und die Bewegung des mobilen Roboters 100 in Übereinstimmung mit dem detektierten Ort des Hindernisses steuern.
In einigen Implementierungen kann der Hindernissensor 131, der an einer Außenfläche des Gehäuses 110 vorgesehen ist, eine Übertragungseinrichtung und einen Empfänger enthalten.
Zum Beispiel kann ein Ultraschallsensor mindestens eine Übertragungseinrichtung und mindestens zwei Empfänger, die einander kreuzen, enthalten. Dementsprechend kann der Ultraschallsensor ein Signal unter einer Vielzahl von Winkeln ausstrahlen und ein Signal empfangen, das von einem Hindernis unter einer Vielzahl von Winkeln reflektiert wird.
In einigen Implementierungen kann ein Signal, das durch den Hindernissensor 131 empfangen wird, eine Signalverarbeitungsprozedur wie etwa Verstärken und Filtern durchlaufen, und anschließend können ein Abstand von einem Hindernis und eine Richtung zum Hindernis berechnet werden.
Indes kann die Sensoreinheit 170 ferner einen Betriebssensor enthalten, der abhängig vom Antreiben des Hauptkörpers 110 den Betrieb des mobilen Roboters 100 erfasst und Betriebsinformationen ausgibt. Als der Betriebssensor können ein Gyrosensor, ein Radsensor, ein Beschleunigungssensor oder dergleichen verwendet werden. Daten, die durch den Betriebssensor erfasst werden, oder Daten, die auf der Grundlage der Daten berechnet werden, die durch den Betriebssensor detektiert werden, können Wegstreckeninformationen konstruieren.
Der Gyrosensor erfasst eine Drehrichtung und einen Drehwinkel, wenn sich der mobile Roboter 100 entsprechend einem Betriebsmodus bewegt. Der Gyrosensor detektiert eine Winkelgeschwindigkeit des mobilen Roboters 100 und gibt einen Spannungswert aus, der zur Winkelgeschwindigkeit proportional ist. Die Steuereinrichtung 140 kann eine Drehrichtung und einen Drehwinkel unter Verwendung eines Spannungswertes berechnen, der vom Gyrosensor ausgegeben wird.
Der Radsensor ist mit dem linken Rad 136(L) und dem rechten Rad 136(R) verbunden, um dadurch die Anzahl der Umdrehungen jedes der Räder zu messen. In diesem Fall kann der Radsensor ein Drehgeber sein. Der Drehgeber erfasst jeweils die Anzahl der Umdrehungen des linken Rads 136(L) und des rechten Rads 136(R) und gibt diese aus.
Unter Verwendung der Anzahl der Umdrehungen kann die Steuereinrichtung 140 jeweils eine Drehzahl des linken Rads 136(L) und des rechten Rads 136(R) berechnen. Außerdem kann die Steuereinrichtung 140 unter Verwendung der Differenz der Anzahl der Umdrehungen zwischen dem linken Rad 136(L) und dem rechten Rad 136(R) einen Drehwinkel berechnen.
Der Beschleunigungssensor erfasst eine Änderung des mobilen Roboters 100, die durch eine Änderung der Geschwindigkeit des mobilen Roboters bewirkt wird, wie etwa Starten, Anhalten, Umsetzen einer Richtung und Zusammenstoßen mit einem Gegenstand. Der Beschleunigungssensor kann angrenzend an ein Hauptrad oder ein Hilfsrad befestigt sein, um dadurch ein Rutschen oder Leerlaufen eines entsprechenden Rads zu detektieren.
Außerdem kann der Beschleunigungssensor in der Steuereinrichtung 140 eingebettet sein und eine Geschwindigkeitsänderung des mobilen Roboters 100 erfassen. Das heißt, der Beschleunigungssensor detektiert als Antwort auf eine Geschwindigkeitsänderung einen Betrag einer Stoßwirkung und gibt einen Spannungswert aus, der dem detektierten Betrag der Stoßwirkung entspricht. Somit kann der Beschleunigungssensor eine Funktion eines elektronischen Stoßdämpfers durchführen.
Die Steuereinrichtung 140 kann auf der Grundlage der Betriebsinformationen, die vom Betriebssensor ausgegeben werden, eine Änderung eines Ortes des mobilen Roboters 100 berechnen. Ein derartiger Ort ist ein relativer Ort, der einem absoluten Ort entspricht, der auf Bildinformationen basiert. Der mobile Roboter 100 kann die Leistungsfähigkeit der Ortserkennung auf der Grundlage von Bildinformationen und Hindernisinformationen durch Erkennen des relativen Ortes verbessern.
Indes kann der mobile Roboter 100 eine Energieversorgung enthalten, die eine wieder aufladbare Batterie 138, um einer Roboterreinigungseinrichtung Energie zuzuführen, enthält.
Die Energieversorgung führt jeder Komponente des mobilen Roboters 100 Antriebsleistung und Betriebsleistung zu. Wenn ein geringer Energiebetrag verbleibt, kann die Energieversorgung von der Ladestation 200 Ladeströme empfangen, um aufgeladen zu werden.
Der mobile Roboter 100 kann ferner einen Batteriedetektor (nicht gezeigt) enthalten, der den Ladezustand der Batterie 138 detektiert und ein Detektionsergebnis an die Steuereinrichtung 140 überträgt. Während die Batterie 138 mit dem Batteriedetektor verbunden ist, werden die verbleibende Batteriekapazität und der Ladezustand der Batterie 138 an die Steuereinrichtung 140 übertragen. Die verbleibende Batteriekapazität kann auf einem Bildschirm einer Ausgabeeinheit (nicht gezeigt) angezeigt werden. Außerdem enthält der mobile Roboter 100 eine Bedienungseinheit 137, die das Eingeben eines Ein/Aus-Befehls oder einer Vielzahl von Befehlen durch die Bedienungseinheit 137 ermöglicht, der mobile Roboter 100 kann eine Vielzahl von Steuerbefehlen empfangen, die für den Gesamtbetrieb des mobilen Roboters 100 erforderlich sind. Außerdem kann der mobile Roboter 100 eine Ausgabeeinheit (nicht gezeigt) enthalten, um Belegungsinformationen, einen Batteriezustand, einen Betriebsmodus, einen Betriebszustand, einen Fehlerzustand usw. anzuzeigen.
Unter Bezugnahme auf 5 kann der mobile Roboter 100 die Steuereinrichtung 140 zum Verarbeiten und Bestimmen unterschiedlicher Informationen wie etwa Erkennen des aktuellen Ortes und die Speichereinheit 150 zum Speichern diverser Arten von Daten enthalten.
Außerdem kann der mobile Roboter 100 ferner eine Kommunikationseinheit 190 zum Übertragen und Empfangen von Daten enthalten.
Der mobile Roboter 100 kann durch eine Fernbedienung (nicht gezeigt) oder ein Endgerät (nicht gezeigt) einen Befehl in Bezug auf einen Vorgang empfangen. Das Endgerät kann eine Anwendung zum Steuern des mobilen Roboters 100 enthalten und kann nach der Ausführung der Anwendung eine Karte eines Fahrbereichs anzeigen, der durch den mobilen Roboter gereinigt werden soll, und ein bestimmtes Gebiet in der Karte zuweisen, um eine Reinigung durchzuführen. Das Endgerät kann z. B. eine Fernbedienung, in der eine Anwendung zum Einstellen der Karte eingebettet ist, ein PDA, ein Laptop, ein Tablet-PC und ein Smartphone sein.
Das Endgerät kann mit dem mobilen Roboter 100 kommunizieren, um eine Karte zu empfangen und anzuzeigen und den aktuellen Ort des mobilen Roboters 100 auf der Karte anzuzeigen. Außerdem zeigt das Endgerät den aktuellen Ort an, indem derselbe in Übereinstimmung mit dem Fahren des mobilen Roboters 100 aktualisiert wird.
Die Steuereinrichtung 140 steuert die Bilderfassungseinheit 120, die Bedienungseinheit 137 und die Fahreinheit 160 des mobilen Roboters 100, um dadurch den Gesamtbetrieb des mobilen Roboters zu steuern.
Die Speichereinheit 150 speichert diverse Arten von Informationen, die notwendig sind, um den mobilen Roboter 100 zu steuern, und die Speichereinheit 150 kann ein flüchtiges oder nicht flüchtiges Aufzeichnungsmedium enthalten. Das Aufzeichnungsmedium speichert Daten, die durch einen Mikroprozessor lesbar sind, und das Aufzeichnungsmedium kann ein Festplattenlaufwerk (HDD), eine Festkörperspeicherplatte (SSD), ein Siliziumspeicherplattenlaufwerk (SDD), einen ROM, einen RAM, einen CD-ROM, ein Magnetband, eine Floppy-Disc, eine optische Datenspeichervorrichtung usw. enthalten.
Die Speichereinheit 150 kann eine Karte eines Fahrbereichs speichern. Außerdem speichert die Speichereinheit 150 Informationen über ein Hindernis, das während des Fahrens erfasst wird, einen Ort einer Ladestation und Daten, die für die Suche der Ladestation eingestellt sind.
In diesem Fall kann die Karte, die in der Speichereinheit 150 gespeichert ist, durch den mobilen Roboter 100 durch Selbstlernen erzeugt werden oder kann durch ein Endgerät eingegeben werden, das durch drahtgebundene oder drahtlose Kommunikation mit dem mobilen Roboter 100 Informationen austauschen kann.
Auf einer Karte können auf der Grundlage von Gebieten Orte von Zimmern in einem Fahrbereich angezeigt werden. Außerdem kann der aktuelle Ort des mobilen Roboters 100 auf einer Karte angezeigt und während des Fahrens aktualisiert werden. Das Endgerät speichert dieselbe Karte wie eine Karte, die in der Speichereinheit 150 gespeichert ist.
Eine Karte eines Fahrbereichs, die in der Speichereinheit 150 gespeichert ist, kann eine Navigationskarte, die zum Fahren während der Reinigung verwendet wird, ein Karte auf der Grundlage einer gleichzeitigen Positionsbestimmung und Kartenerstellung (SLAM), die zur Ortserkennung verwendet wird, eine Lernkarte, die durch das Lernen von Informationen über den Zusammenstoß mit einem Hindernis aufgrund des Zusammenstoßes erzeugt wird und die zur Reinigung verwendet wird, eine globale Ortserkennungskarte, die zur globalen Ortserkennung verwendet wird, und eine Hinderniserkennungskarte, in der Informationen über ein erkanntes Hindernis aufgezeichnet sind, sein.
Indes können die Karten, wie oben beschrieben ist, in der Speichereinheit 150 in einer unterscheidbaren Weise entsprechend Anwendungszwecken oder in einer nicht sehr eindeutig unterscheidbaren Weise entsprechend Anwendungszwecken gespeichert und verwaltet werden. Zum Beispiel können mehrere Informationselemente in einer Karte gespeichert sein, damit sie für einen oder für mehrere Zwecke verwendet werden.
Die Steuereinrichtung 140 führt die Reinigung durch Einsaugen von Staub oder Fremdsubstanzen in der Umgebung des mobilen Roboters 100 während des Fahrens durch. Die Steuereinrichtung 140 sammelt durch Betätigen der Bürsten Staub oder Fremdsubstanzen in der Umgebung des mobilen Roboters 100 und saugt den Staub oder die Fremdsubstanzen durch Betätigen der Saugvorrichtung ein.
Die Steuereinrichtung 140 kann die Reinigung mindestens eines von mehreren Gebieten anweisen, sich durch die Fahreinheit 160 in einen zugewiesenen Bereich bewegen und daraufhin beginnen zu reinigen. Selbst während des Bewegens durch die Fahreinheit 160 ist der mobile Roboter 100 in der Lage, eine Reinigung durchzuführen.
Die Steuereinrichtung 140 bestimmt durch Prüfen einer Batteriekapazität, wann zur Ladestation 200 zurückgekehrt werden muss. Wenn die Batteriekapazität einen vorgegebenen Wert erreicht, hält die Steuereinrichtung 140 einen laufenden Vorgang an und beginnt, nach der Ladestation 200 zu suchen, um zur Ladestation 200 zurückzukehren. Die Steuereinrichtung 140 kann einen Alarm in Bezug auf eine Batteriekapazität und einen Alarm in Bezug auf das Zurückkehren zur Ladestation 200 ausgeben.
Die Steuereinrichtung 140 kann ein Fahrsteuerungsmodul 141, ein Gebietssegmentierungsmodul 142, ein Lernmodul 143 und ein Erkennungsmodul 144 enthalten.
Das Fahrsteuerungsmodul 141 dient dazu, das Fahren des mobilen Roboters 100 zu steuern, und steuert das Antreiben der Fahreinheit 160 gemäß Fahreinstellungen. Außerdem kann das Fahrsteuerungsmodul 141 auf der Grundlage des Betriebs der Fahreinheit 160 einen Bewegungsweg des mobilen Roboters 100 herausfinden. Zum Beispiel kann das Fahrsteuerungsmodul 141 auf der Grundlage einer Drehzahl des Antriebsrads 136 die aktuelle oder die vergangene Fahrgeschwindigkeit und eine zurückgelegte Entfernung herausfinden. Außerdem kann das Fahrsteuerungsmodul 141 auf der Grundlage einer Drehrichtung jedes der Antriebsräder 136(L) und 136(R) ebenfalls die aktuelle oder die vergangene Richtungsumsetzungsprozedur herausfinden. Auf der Grundlage der Fahrinformationen des mobilen Roboters 100, die auf die obige Weise herausgefunden werden, kann ein Ort des mobilen Roboters 100 in der Karte aktualisiert werden.
Das Gebietssegmentierungsmodul 142 kann einen Fahrbereich durch einen vorgegebenen Standard in mehrere Gebiete segmentieren. Der Fahrbereich kann als ein Bereich definiert sein, der alle Gebiete in einer Ebene enthält, die zuvor und aktuell durch den mobilen Roboter 100 befahren wurden bzw. werden.
Das Gebietssegmentierungsmodul 142 kann den Fahrbereich in mehrere kleine Gebiete segmentieren, und jedes der kleinen Gebiete kann auf der Grundlage jedes Raumes im Fahrbereich segmentiert werden. Außerdem kann das Gebietssegmentierungsmodul 142 einen Fahrbereich in mehrere große Gebiete segmentieren, die gemäß einer Fahrfähigkeit des mobilen Roboters getrennt sind. In einem Beispiel können zwei Innenraumorte, die hinsichtlich eines Fahrwegs vollständig getrennt sind, als zwei große Gebiete klassifiziert sein. In einem weiteren Beispiel können die großen Gebiete selbst in demselben Innenraumort auf der Grundlage von Stockwerken segmentiert sein.
Wenn eine Grundkarte, in der Gebiete segmentiert sind, erstmals durch ein Lernmodul erzeugt wird, kann das Gebietssegmentierungsmodul 142 die Grundkarte in mehrere Zellen (lokale Karten) segmentieren, die Gebiete der jeweiligen Zellen erkennen und die Erkennungsergebnisse mischen, um dadurch eine endgültige Karte zu erzeugen, in der Gebiete segmentiert sind.
Alternativ kann das Gebietssegmentierungsmodul 142 durch Nutzen von Abtragen und Ausdehnen ein kleines Gebiet abtrennen und anschließend ein darstellendes Gebiet einstellen, wenn eine Grundkarte, in der Gebiete segmentiert sind, erstmals durch ein Lernmodul erzeugt wird. Nach dem Einstellen des darstellenden Gebiets kann das Gebietssegmentierungsmodul 142 ein beliebiges, abgetrenntes, kleines Gebiet als ein Detailgebiet extrahieren und daraufhin das kleine Gebiet in ein beliebiges, darstellendes Gebiet mischen, um dadurch eine endgültige Karte zu erzeugen, in der Gebiete segmentiert sind.
Das Lernmodul 143 kann eine Karte des Fahrbereichs erzeugen. Außerdem kann das Lernmodul 143 durch Verarbeiten eines Bilds, das durch die Bilderfassungseinheit 120 an jedem Ort erfasst wird, eine globale Ortsbestimmung des mobilen Roboters 100 erkennen und das verarbeitete Bild der Karte zuordnen.
Das Erkennungsmodul 144 schätzt und erkennt den aktuellen Ort des mobilen Roboters 100. Das Erkennungsmodul 144 findet unter Verwendung von Bildinformationen der Bilderfassungseinheit 120 einen Ort des mobilen Roboters 100 heraus, während es mit dem Lernmodul 143 zusammenarbeitet. Somit ist es möglich, den aktuellen Ort des mobilen Roboters 100 selbst dann zu schätzen und zu erkennen, wenn der Ort des mobilen Roboters 100 plötzlich geändert wird.
Der mobile Roboter 100 kann während des ununterbrochenen Fahrens durch das Gebietssegmentierungsmodul 142 seinen Ort erkennen. Außerdem kann der mobile Roboter 100 selbst ohne das Gebietssegmentierungsmodul 142 durch das Lernmodul 143 und das Erkennungsmodul eine Karte lernen und den aktuellen Ort schätzen.
Indes zeigt 5 ein Beispiel, bei dem das Lernmodul 143 und das Erkennungsmodul 144 in der Steuereinrichtung 140 zusätzlich vorgesehen sind, jedoch sind die Aspekte der vorliegenden Erfindung nicht darauf eingeschränkt.
Zum Beispiel können das Lernmodul 143 und das Erkennungsmodul 144 als eine einzige Klassifizierungseinrichtung einteilig ausgebildet sein. In diesem Fall wird die Klassifizierungseinrichtung unter Verwendung einer Lerntechnik wie etwa von maschinellem Lernen trainiert, und die trainierte Klassifizierungseinrichtung ist in der Lage, Eingangsdaten zu klassifizieren, um ein Attribut eines Gebiets, einen Gegenstand oder dergleichen zu erkennen.
Während des Fahrens des mobilen Roboters 100 erfasst die Bilderfassungseinheit 120 Bilder der Umgebung des mobilen Roboters 100. Im Folgenden ist ein Bild, das durch die Bilderfassungseinheit 120 erfasst wird, als ein „erfasstes Bild“ definiert. Das erfasste Bild enthält diverse Merkmale wie etwa Beleuchtungsvorrichtungen, eine Kante, eine Ecke, einen Farbfleck, eine Schwelle und dergleichen, die auf einer Decke angeordnet sind.
Das Lernmodul 143 detektiert Merkmale aus jedem erfassten Bild. In einem Gebiet des Computer-Sehens sind diverse Merkmalsdetektionsverfahren zum Detektieren von Merkmalen aus einem Bild wohlbekannt. Außerdem sind diverse Merkmalsdetektoren, die geeignet sind, derartige Merkmale zu detektieren, wohlbekannt. Zum Beispiel gibt es einen Canny-Detektor, einen Sobel-Detektor, einen Harris&Stephens/Plessey-Detektor, einen SUSAN-Detektor, einen Shi&Tomasi-Detektor, einen Krümmungsdetektor für eine Krümmung einer Ebene, einen FAST-Detektor, einen Laplace- oder Gauss-Detektor, einen Detektor für Unterschiede von Gaussverteilungen, einen Detektor für die Hesse-Determinante, einen MSER-Detektor, einen PCBR-Detektor, einen Graustufendetektor für Farbflecken, usw.
Das Lernmodul 143 erzeugt auf der Grundlage jedes Merkmals einen Deskriptor. Zur Merkmalsdetektion kann das Lernmodul 143 ein Merkmal unter Verwendung einer skaleninvarianten Merkmalstransformation (SIFT) in einen Deskriptor umsetzen. Ein Deskriptor kann durch einen n-dimensionalen Vektor dargestellt sein.
Die SIFT kann ein Merkmal detektieren, das in Bezug auf einen Maßstab, eine Drehung, eine Helligkeitsänderung eines zu fotografierenden Zielgegenstands unveränderlich ist. Somit ist es unter Verwendung der SIFT möglich, ein Merkmal (das heißt ein durch Drehung veränderliches Merkmal) zu detektieren, das unveränderlich ist, selbst, wenn dasselbe Gebiet durch Ändern der Position des mobilen Roboters 100 fotografiert wird. Selbstverständlich sind die Aspekte der vorliegenden Erfindung nicht darauf eingeschränkt, und diverse andere Techniken (z. B. Histogramm des ausgerichteten Gradienten (HOG), Haar-Merkmal, Fems, lokales binäres Muster (LBP), modifizierte Census-Transformation (MCT)) können angewendet werden.
Auf der Grundlage von Deskriptorinformationen, die aus einem Bild erhalten werden, das an jedem Ort erfasst wird, kann das Lernmodul 143 durch eine vorgegebene Klassifizierungsregel einer niedrigen Stufe mindestens einen Deskriptor jedes erfassten Bilds in mehrere Gruppen klassifizieren. Anschließend kann das Lernmodul 143 die Deskriptoren in derselben Gruppe durch eine vorgegebene darstellende Regel einer niedrigen Stufe in darstellende Deskriptoren einer niedrigen Stufe umsetzen.
In einem weiteren Beispiel kann das Lernmodul 143 alle Deskriptoren, die aus den erfassten Bildern eines bestimmten Gebiets wie etwa eines Raumes erhalten werden, durch die vorgegebene Klassifizierungsregel einer niedrigen Stufe in mehrere Gruppen klassifizieren. Anschließend kann das Lernmodul 143 die Deskriptoren in derselben Gruppe durch die vorgegebene darstellende Regel einer niedrigen Stufe in darstellende Deskriptoren einer niedrigen Stufe umsetzen.
Das Lernmodul 143 kann durch die oben beschriebene Prozedur eine Merkmalsverteilung an jedem Ort erhalten. Die Merkmalsverteilung an jedem Ort kann durch ein Histogramm oder einen n-dimensionalen Vektor dargestellt werden. In einem weiteren Beispiel kann das Lernmodul 143 einen ungewissen, aktuellen Ort auf der Grundlage eines Deskriptors schätzen, der aus jedem Merkmal berechnet wird, ohne eine bestimmte Klassifizierungsregel einer niedrigen Stufe und eine bestimmte darstellende Regel einer niedrigen Stufe zu verwenden.
Außerdem ist es möglich, den aktuellen Ort auf der Grundlage von Daten wie etwa eines vorab gespeicherten Deskriptors oder eines darstellenden Deskriptors einer niedrigen Stufe zu schätzen, wenn der aktuelle Ort des mobilen Roboters 100 durch einen Ortssprung unbekannt geworden ist.
Der mobile Roboter 100 erfasst an einem unbekannte, aktuellen Ort ein erfasstes Bild durch die Bilderfassungseinheit 120. Diverse Merkmale wie etwa Beleuchtungsvorrichtungen, eine Kante, eine Ecke, ein Farbfleck und eine Schwelle, die auf einer Decke angeordnet sind, werden in einem Bild gefunden. Das Erkennungsmodul 144 detektiert Merkmale aus einem erfassten Bild. Diverse Verfahren zum Detektieren von Merkmalen aus einem Bild in einem Gebiet des Computer-Sehens und diverse Merkmalsdetektoren, die für die Verfahren geeignet sind, sind dieselben wie oben beschrieben.
Das Erkennungsmodul 144 erzeugt auf der Grundlage jedes Erkennungsmerkmals einen Erkennungsdeskriptor. Das Erkennungsmerkmal und der Erkennungsdeskriptor werden verwendet, um einen Prozess zu beschreiben, der durch das Erkennungsmodul 144 durchgeführt wird, der von einem Prozess unterscheidbar ist, der durch das Lernmodul 143 durchgeführt wird. Jedoch sind sie lediglich verschiedene Ausdrücke, die verwendet werden, um Merkmale einer Welt außerhalb des mobilen Roboters 100 zu definieren.
Das Erkennungsmodul 144 kann unter Verwendung der SIFT ein Erkennungsmerkmal in einen Erkennungsdeskriptor umsetzen, um ein Merkmal zu detektieren. Der Erkennungsdeskriptor kann durch einen n-dimensionalen Vektor dargestellt sein.
Wie oben beschrieben ist, ist die SIFT eine Bilderkennungstechnik, die ein leicht unterscheidbares Merkmal wie etwa eine Ecke in einem erfassten Bild auswählt und einen n-dimensionalen Vektor erhält, der eine Dimensionszahl ist, die angibt, wie tiefgreifend ein Grad einer Änderung in jeder Richtung in Bezug auf die Verteilung der Helligkeitsgradienten (eine Richtung einer Helligkeitsänderung und wie tiefgreifend ein Grad der Änderung) der Bildpunkte in einem bestimmten Gebiet um jedes Merkmal ist.
Auf der Grundlage der Informationen über mindestens einen Erkennungsdeskriptor, der aus einem Bild erhalten wird, das an einem unbekannten, aktuellen Ort erfasst wird, setzt das Erkennungsmodul 144 in Ortinformationen, die verglichen werden sollen (z. B. eine Merkmalsverteilung an jedem Ort), und Vergleichsinformationen (Merkmalsverteilung auf einer niedrigen Stufe) um.
Durch eine vorgegebene Vergleichsregel einer niedrigen Stufe kann die Merkmalsverteilung an jedem Ort mit jeder Erkennungsmerkmalsverteilung verglichen werden, um dadurch eine Ähnlichkeitsstufe für jeden Ort zu erzeugen. Eine Ähnlichkeitsstufe (Wahrscheinlichkeit) für jeden Ort kann berechnet werden, und ein Ort, der die größte Wahrscheinlichkeit aufweist, kann als der aktuelle Ort bestimmt werden.
So erzeugt die Steuereinrichtung 140 eine Karte, in der ein Fahrbereich in mehrere Gebiete segmentiert ist. Außerdem kann die Steuereinrichtung 140 den aktuellen Ort des Hauptkörpers 110 auf der Grundlage einer gespeicherten Karte erkennen.
Wenn eine Karte erzeugt wird, überträgt die Steuereinrichtung 140 die erzeugte Karte durch die Kommunikationseinheit 190 an ein externes Endgerät. Außerdem kann die Steuereinrichtung 140 die empfangene Karte in der Speichereinheit 150 speichern, wenn eine Karte von einem externen Endgerät empfangen wird, wie oben beschrieben ist.
Außerdem kann die Steuereinrichtung 140 die aktualisierten Informationen an ein externes Endgerät übertragen, wenn eine Karte während des Fahrens aktualisiert wird, derart, dass dieselbe Karte derart verwaltet wird, dass sie im externen Endgerät und im mobilen Roboter 100 gespeichert ist, der mobile Roboter 100 in der Lage ist, ein zugewiesenes Gebiet in Übereinstimmung mit einem Reinigungsbefehl vom externen Endgerät zu reinigen, und der aktuelle Ort des mobilen Roboters 100 im externen Endgerät angezeigt werden kann.
Hier zeigt die Karte einen Reinigungsbereich, der in mehrere Gebiete segmentiert ist und Verbindungskanäle, die die mehreren Gebiete miteinander verbinden, und Informationen über einen Gegenstand in jedem Gebiet enthält. Der Reinigungsbereich kann durch das Gebietssegmentierungsmodul 142 in kleine Gebiete und große Gebiete segmentiert sein, wie oben beschrieben ist.
Wenn ein Reinigungsbefehl empfangen wird, bestimmt die Steuereinrichtung 140, ob ein Ort auf einer Karte mit dem aktuellen Ort des mobilen Roboters 100 übereinstimmt. Der Reinigungsbefehl kann durch eine Fernbedienung, eine Bedienungseinrichtung oder ein externes Endgerät empfangen werden.
Wenn der aktuelle Ort des mobilen Roboters 100 nicht mit dem Ort auf der Karte übereinstimmt oder wenn es nicht möglich ist, den aktuellen Ort des mobilen Roboters 100 zu bestätigen, kann die Steuereinrichtung 140 den aktuellen Ort des mobilen Roboters 100 erkennen und wiederherstellen und daraufhin die Fahreinheit 160 auf der Grundlage des aktuellen Ortes derart steuern, dass sie sich zu einem zugewiesenen Gebiet bewegt.
Wenn der aktuelle Ort des mobilen Roboters 100 nicht mit dem Ort auf der Karte übereinstimmt oder wenn es nicht möglich ist, den aktuellen Ort des mobilen Roboters 100 zu bestätigen, kann das Erkennungsmodul 144 den aktuellen Ort durch Analysieren eines erfassten Bildes schätzen, das von der Bilderfassungseinheit 120 empfangen wird. Außerdem können das Gebietssegmentierungsmodul 142 oder das Lernmodul 143 ebenso in der Lage sein, den aktuellen Ort auf dieselbe Weise wie oben beschrieben zu erkennen.
Durch Erkennen und Wiederherstellen des aktuellen Ortes des mobilen Roboters 100 berechnet das Fahrsteuerungsmodul 141 einen Bewegungsweg vom aktuellen Ort zum zugewiesenen Gebiet und steuert die Fahreinheit 160 derart, dass sie sich zu dem zugewiesenen Gebiet bewegt.
Wenn durch ein externes Endgerät mindestens ein Gebiet aus mehreren Gebieten ausgewählt wird, stellt das Fahrsteuerungsmodul 141 das zugewiesene Gebiet als ein zugewiesenes Gebiet ein und berechnet einen Bewegungsweg. Nach dem Bewegen zu dem zugewiesenen Gebiet führt das Fahrsteuerungsmodul 141 die Reinigung durch.
Wenn indes mehrere Gebiete als zugewiesene Gebiete ausgewählt werden, bestimmt das Fahrsteuerungsmodul 141, ob ein Gebiet aus den mehreren Gebieten mit einer höheren Priorität eingestellt ist oder ob eine Reihenfolge der Reinigung der mehreren zugewiesenen Gebiete eingestellt ist. Daraufhin bewegt sich das Fahrsteuerungsmodul 141 zu den zugewiesenen Gebieten und führt die Reinigung durch.
Wenn ein beliebiges aus den mehreren zugewiesenen Gebieten als ein Gebiet mit einer höheren Priorität eingestellt ist, bewegt sich das Fahrsteuerungsmodul 141 zuerst zu dem Gebiet mit der höheren Priorität und führt die Reinigung durch und bewegt anschließend den mobilen Roboter 100 zu den anderen zugewiesenen Gebieten und führt die Reinigung durch. Außerdem führt das Fahrsteuerungsmodul 141 im Fall der Reihenfolge der Reinigung der mehreren zugewiesenen Gebiete die Reinigung durch, während es sich gemäß der Reihenfolge nacheinander zu den zugewiesenen Gebieten bewegt. Außerdem bewegt das Fahrsteuerungsmodul 141 den mobilen Roboter 100 ungeachtet dessen, dass auf einer Karte mehrere Gebiete segmentiert sind, zu dem eingestellten, zugewiesenen Gebiet und führt die Reinigung durch, wenn ein beliebiges, zufälliges Gebiet neu als ein zugewiesenes Gebiet eingestellt wird.
Wenn die Reinigung eines eingestellten, zugewiesenen Gebiets abgeschlossen ist, speichert die Steuereinrichtung 140 eine Reinigungsaufzeichnung in der Speichereinheit 150.
Außerdem überträgt die Steuereinrichtung 140 durch die Kommunikationseinheit 190 in einem vorgegebenen Zyklus einen Betriebszustand oder einen Reinigungszustand des mobilen Roboters 100 an das externe Endgerät. Dementsprechend zeigt das externe Endgerät auf der Grundlage der empfangenen Daten einen Ort des mobilen Roboters zusammen mit einer Karte auf einem Bildschirm einer aktuell ausgeführten Anwendung an und gibt Informationen über den Reinigungszustand aus.
Außerdem erkennt die Steuereinrichtung 140 dann, wenn die Ladestation 200 unter Verwendung eines Rückkehrsignals der Ladestation 200 detektiert wird, den aktuellen Ort des mobilen Roboters 100, berechnet auf der Grundlage des aktuellen Ortes des mobilen Roboters 100 einen Ort der Ladestation 200 und speichert den Ort der Ladestation 200. Außerdem kann die Steuereinrichtung 140 den Ort der Ladestation 200 derart einstellen, dass er auf der Karte angezeigt wird.
6 ist ein Diagramm, das ein Beispiel zeigt, bei dem ein mobiler Roboter gemäß einer Ausführungsform der vorliegenden Erfindung Gebiete segmentiert und dementsprechend eine Karte erzeugt.
Wie in (a) von 6 veranschaulicht ist, kann der mobile Roboter 100 während des Befahrens eines Fahrbereichs X1 durch Ausführen des Folgens einer Wand eine Karte erzeugen, wenn keine Karte gespeichert ist.
Das Gebietssegmentierungsmodul 142 erzeugt eine Karte, wie in (c) von 6 veranschaulicht ist, durch Segmentieren des Fahrbereichs X1 in mehrere Gebiete A1' bis A9', wie in (b) von 6 veranschaulicht ist. Die erzeugte Karte wird in der Speichereinheit 150 gespeichert und durch die Kommunikationseinheit 190 an ein externes Endgerät übertragen. Wie oben beschrieben ist, segmentiert das Gebietssegmentierungsmodul 142 den Fahrbereich X1 in kleine Gebiete und große Gebiete und erzeugt eine Karte, die dem entspricht.
Das externe Endgerät führt eine Anwendung aus und zeigt eine empfangene Karte auf einem Bildschirm an. In diesem Fall werden die mehreren segmentierten Gebiete A1 bis A9 unterschiedlich angezeigt. Die mehreren Gebiete A1 bis S9 auf der Karte können in unterschiedlichen Farben oder mit unterschiedlichen Namen angezeigt werden.
Der mobile Roboter und das externe Endgerät speichern grundsätzlich dieselbe Karte. In diesem Fall zeigt das externe Endgerät eine Anwenderkarte an, wie in (c) von 6, in der die Gebiete vereinfacht sind, derart, dass ein Anwender in der Lage ist, die Gebiete leicht zu erkennen, und der mobile Roboter 100 fährt und führt die Reinigung durch auf der Grundlage einer Karte wie in (b) von 6, in der Informationen über einen Gegenstand enthalten sind. Selbst in der Anwenderkarte, die in (c) von 6 gezeigt ist, kann ein Gegenstand angezeigt werden. Die beispielhafte Karte, die in (b) von 6 gezeigt ist, kann eine SLAM-Karte oder eine Navigationskarte, die auf einer SLAM-Karte basiert, sein.
Wenn ein Reinigungsbefehl eingegeben wird, bestimmt der mobile Roboter 100 den aktuellen Ort auf der Grundlage einer gespeicherten Karte. Wenn der aktuelle Ort mit einem Ort auf der Karte übereinstimmt, führt der mobile Roboter 100 die zugewiesene Reinigung durch. Wenn der aktuelle Ort nicht mit einem Ort auf der Karte übereinstimmt, erkennt der mobile Roboter 100 den aktuellen Ort und stellt ihn wieder her und führt die Reinigung durch. Daher ist es ungeachtet dessen, ob der mobile Roboter 100 in den mehreren Gebieten A1 bis A9 positioniert ist, möglich, den aktuellen Ort zu bestimmen, sich zu einem zugewiesenen Gebiet zu bewegen und eine Reinigung durchzuführen.
Wie in der Zeichnung veranschaulicht ist, kann eine Fernbedienung oder ein Endgerät mindestens ein Gebiet aus den mehreren Gebieten A1 bis A9 auswählen und einen Reinigungsbefehl an den mobilen Roboter 100 eingeben. Außerdem kann der mobile Roboter 100 durch die Fernbedienung oder das Endgerät einen Teil eines beliebigen Gebiets als einen Reinigungsbereich einstellen oder kann durch Berühren oder Ziehen über die mehreren Gebiete einen Reinigungsbereich einstellen.
Wenn ein Reinigungsbefehl für mehrere Gebiete empfangen wird, kann der mobile Roboter 100 eines der mehreren Gebiete als ein Gebiet mit höherer Priorität einstellen, kann zuerst die Reinigung in einem Gebiet mit höherer Priorität durchführen und sich anschließend zu einem beliebigen, nahegelegen Gebiet bewegen, um die Reinigung durchzuführen, oder kann eine Reinigungsreihenfolge einstellen. Wenn die Reihenfolge der Reinigung von mehreren zugewiesenen Gebieten eingestellt ist, führt der mobile Roboter 100 die Reinigung durch, während er sich entsprechend der eingestellten Reihenfolge bewegt. Wenn keine zusätzliche Reihenfolge der Reinigung von mehreren Reinigungsbereichen eingestellt ist, kann sich der mobile Roboter 100 zu einem Gebiet nahe am aktuellen Ort bewegen und die Reinigung durchführen.
7 ist ein Ablaufplan, der ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Unter Bezugnahme auf 1 bis 7 kann der mobile Roboter 100 in S710 eine Reinigung durchführen, während er sich in Übereinstimmung mit einem Befehl oder einer Einstellung bewegt. Zum Beispiel kann sich der mobile Roboter 100 auf der Grundlage einer Navigationskarte bewegen. Die Navigationskarte kann eine Karte sein, die auf der Grundlage einer SLAM-Karte erzeugt wird, oder kann eine Karte sein, die in (b) von 6 veranschaulicht ist.
Indes kann die Navigationskarte mehrere lokale Karten enthalten. Die Navigationskarten können in mehrere Gebiete segmentiert sein, und jedes Gebiet kann eine oder mehrere lokale Karten enthalten. Jede lokale Karte ist derart eingestellt, dass sie einander nicht überlagern.
Die lokale Karte ist eine Art einer Einheitskarte und kann in einer beliebigen Größe eingestellt sein. Zum Beispiel kann die lokale Karte in einem N-mal-N-Quadrat oder einer beliebigen anderen Form eingestellt sein.
Indes kann das Gebietssegmentierungsmodul 142 einen Fahrbereich in mehrere kleine Gebiete segmentieren.
Wenn z. B. eine Grundkarte, in der keine Gebiete segmentiert sind, erstmals durch ein Lernmodul erzeugt wird, kann das Gebietssegmentierungsmodul 142 die Grundkarte in mehrere lokale Karten segmentieren, die Gebiete der jeweiligen lokalen Karten erkennen und die Erkennungsergebnisse mischen, um dadurch eine endgültige Karte zu erzeugen, in der Gebiete segmentiert sind.
Alternativ kann das Gebietssegmentierungsmodul 142 unter Verwendung von Abtragen und Ausdehnen ein kleines Gebiet abtrennen und ein darstellendes Gebiet einstellen, wenn eine Grundkarte, in der keine Gebiete segmentiert sind, erstmals durch ein Lernmodul erstellt wird. Nach dem Einstellen des darstellenden Gebiets kann das Gebietssegmentierungsmodul 142 ein beliebiges, abgetrenntes, kleines Gebiet als ein Detailgebiet extrahieren und das extrahierte, kleine Gebiet in ein beliebiges, darstellendes Gebiet mischen, um dadurch eine endgültige Karte zu erzeugen, in der Gebiete segmentiert sind.
In diesem Fall kann das Gebietssegmentierungsmodul 142 ein darstellendes Gebiet auf eine Weise einstellen, die durch Abtragen und Ausdehnen der Grundkarte durch eine Morphologieberechnung ein kleines Gebiet abtrennt. Dementsprechend kann ein kleines Gebiet mit einer schmalen Breite oder einer kleinen Fläche in der Grundkarte verschwinden oder teilweise übrig bleiben, und ein Gebiet, dessen Fläche groß ist, bleibt teilweise übrig. Durch Mischen eines Detailgebiets in das übrig gebliebene, groß dimensionierte Gebiet ist es möglich, einen Innenraumfahrbereich in die groß dimensionierten Gebiete zu segmentieren, die voneinander durch Grenzen unterscheidbar sind, die Gebiete mit einer schmalen Breite sind, wie etwa ein Gebiet, in dem eine Tür eingebaut ist.
Indes können in S720 während der Bewegung des mobilen Roboters 100 durch die Bilderfassungseinheit 120 in den Gebieten, die den mehreren lokalen Karten entsprechen, mehrere Bilder erfasst werden.
Während der Bewegung kann die Bilderfassungseinheit 120 durch die vordere Kamera 120a, die vorgesehen ist, ein Bild eines Bereichs vor dem Hauptkörper 110 zu erfassen, und durch die obere Kamera 120b, die auf der oberen Fläche des Hauptkörpers 110 vorgesehen ist, Bilder der Umgebung des Hauptkörpers 110 erfassen.
Indes kann die Steuereinrichtung 140 die Bilderfassungseinheit 120 derart steuern, dass in einem Gebiet, das einer lokalen Karte entspricht, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchgeführt wird. Wenn so viele Datensätze sichergestellt sind, wie zur Attributerkennung notwendig sind, wird kein weiteres Bild erfasst, um unnötige Berechnungs-, Verarbeitungs- und Erkennungsprozeduren zu verhindern.
In einigen Implementierungen kann die Steuereinrichtung 140 durch einen vorgegebenen Standard ein Bild aus mehreren Bildern filtern, die durch die Bilderfassungseinheit 120 erfasst werden.
Zum Beispiel kann der vorgegebene Standard enthalten, ob die Sensoreinheit 170 ein Hindernis erfasst hat oder nicht. Wenn die Sensoreinheit 170 ein Hindernis erfasst, ist ein fotografiertes Bild beim Erkennen des Hindernisses wirksam, es kann jedoch manchmal das Erkennen der Attribute des gesamten Gebiets stören. Wenn z. B. ein Bild eines Teils des gesamten Gebiets wie etwa einer Wand, eines Schreibtischs oder eines größer dimensionierten Gegenstands fotografiert wird, kann das Bild lediglich mit einem Teil eines Hindernisses aufgefüllt werden. In diesem Fall kann es schwierig sein, das Hindernis auf der Grundlage dieses Teils zu erkennen, und es kann viel schwieriger sein, das gesamte Gebiet zu erkennen.
Außerdem kann der vorgegebene Standard ferner enthalten, ob der mobile Roboter 100 in einem bestimmten Gebiet angeordnet ist und ob eine Position (oder eine Richtung) des mobilen Roboters 100 zur Mitte des bestimmten Gebiets ausgerichtet ist.
Das heißt, lediglich Bilder, die nach dem Filtern von Bildern, die zum Erkennen von Attributen des bestimmten Gebiets ungeeignet sind, übrig bleiben, können verwendet werden, um die Attribute des bestimmten Gebiets zu erkennen.
Alternativ kann die Steuereinrichtung 140 durch einen vorgegebenen Standard bestimmen, ob ein Fotografieren durchzuführen ist. Selbst in diesem Fall kann der vorgegebene Standard enthalten, ob die Sensoreinheit 170 ein Hindernis erfasst hat. Außerdem kann der vorgegebene Standard ferner enthalten, ob der mobile Roboter 100 in einem bestimmten Gebiet angeordnet ist und ob eine Position (oder eine Richtung) des mobilen Roboters 100 zur Mitte des bestimmten Gebiets ausgerichtet ist.
Das heißt, die Steuereinrichtung 140 kann die erfassten Bilder durch einen vorgegebenen Standard derart filtern, dass die gefilterten Bilder nicht zum Erkennen von Attributen verwendet werden, oder kann die Bilderfassungseinheit 140 durch einen vorgegebenen Standard derart steuern, dass sie nicht fotografiert.
Auf diese Weise ist es möglich, die Verwendung von Daten zu verhindern, die die Genauigkeit der Attributerkennung verschlechtern können.
Indes kann die Steuereinrichtung 140 durch Verwenden eines Bildes, das durch die Bilderfassungseinheit 120 erfasst wird, als Eingangsdaten ein Gebiet, das dem Bild entspricht, und einen Gegenstand, der in dem Bild vorhanden ist, erkennen.
Stärker bevorzugt kann die Steuereinrichtung 140 Attribute eines Gebiets und einen Gegenstand auf der Grundlage von Bildern erkennen, die durch die vorderen Kameras 120a erfasst werden.
Indes kann die Steuereinrichtung 140 die Gebietserkennung auf mehreren Bildern durchführen, die in einem bestimmten Gebiet fotografiert werden, und alle Erkennungsergebnisse aggregieren, um die Genauigkeit eines Erkennungsergebnisses zu verbessern.
Zu diesem Zweck kann der mobile Roboter 100 während der Bewegung durch die Bilderfassungseinheit 120 durch einen vorgegebenen Standard ununterbrochen Bilder fotografieren. Wenn in S730 die Anzahl der Bilder, die in einem Gebiet fotografiert werden, das einer bestimmten lokalen Karte entspricht, größer oder gleich einer vorgegebenen Referenzanzahl wird, kann die Steuereinrichtung 140 in S740 ein Attribut des Gebiets erkennen.
Stärker bevorzugt kann die Steuereinrichtung 140 in S740 ein Attribut einer lokalen Karte aus den mehreren lokalen Karten erkennen, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden.
Zum Beispiel kann die Referenzanzahl N derart eingestellt sein, dass sie 4, 5 und 16 beträgt, was 4 Richtungen (Norden, Osten, Süden, Westen), 8 Richtungen und 16 Richtungen entspricht.
In einigen Implementierungen können die Anzahl N Bilder, die in mehreren Richtungen fotografiert werden, die Anzahl N Bilder sein, die der mobile Roboter 100 fotografiert, während er sich an einem bestimmten Ort dreht.
Jedoch ist es für den mobilen Roboter 100 ineffizient, sich an mehreren Orten im gesamten Fahrbereich zu drehen, um Bilder zur Attributerkennung zu erfassen. Außerdem kann dies die Zuverlässigkeit des Produkts herabsetzen, da es für einen Anwender schwer zu verstehen ist, dass der mobile Roboter 100 wiederholt anhält und sich an seinem Ort dreht.
Somit ist es wünschenswerter, die Bilder zur Attributerkennung während des normalen Fahrens zur Reinigung zu erfassen.
Zum Beispiel kann die Bilderfassungseinheit 120 ununterbrochen Bilder erfassen, während der mobile Roboter 100 in einem Zick-Zack-Muster fährt, und die Steuereinrichtung 140 kann die erfassten Bilder auf der Grundlage der Orte des Fotografierens klassifizieren und die Steuerung derart durchführen, dass eine Anzahl N von Datensätzen in einem Gebiet, das einer bestimmten lokalen Karte entspricht, sichergestellt wird.
Stärker bevorzugt kann die Fahreinheit 160 den Hauptkörper 110 unter der Steuerung der Steuereinrichtung 140 derart bewegen, dass die erste Rundfahrt ausgeführt wird, die das Fahren eines Zick-Zack-Musters in einer ersten Richtung angibt, und anschließend die zweite Rundfahrt ausgeführt wird, die das Fahren in einem Zick-Zack-Muster in einer zweiten Richtung angibt.
In diesem Fall können die Anzahl N Bilder, die in mehreren Richtungen fotografiert werden, ein Bild, das bei der ersten Rundfahrt erfasst wird, und ein Bild, das bei der zweiten Rundfahrt erfasst wird, enthalten.
Das heißt, die Steuereinrichtung 140 kann die Steuerung derart durchführen, dass in Zick-Zack-Mustern mit mehreren Richtungen gefahren wird, und die Steuerung derart durchführen, dass auf der Grundlage der Orte Bilder klassifiziert werden, die während des Fahrens in Zick-Zack-Mustern in den mehreren Richtungen erfasst werden, um dadurch eine Anzahl N von Datensätzen in einem Gebiet, das einer bestimmten lokalen Karte entspricht, sicherzustellen.
Indes kann die Steuereinrichtung 140 die Steuerung derart durchführen, dass die mehreren Bilder in Zuordnung zu Ortsinformationen, Richtungsinformationen, Informationen über eine verfolgte Linie und Informationen über die lokale Karte, die einem Zeitpunkt des Erfassens der mehreren Bilder entsprechen, in der Speichereinheit 150 gespeichert werden.
Wenn in S730 in einem Gebiet, das einer bestimmten lokalen Karte entspricht, mehrere Bilder erfasst werden, die in mehreren Richtungen, z. B. in 4 (Norden, Osten, Süden, Westen), 8 oder 16 Richtungen, fotografiert werden, kann die Steuereinrichtung 140 in S740 unter Verwendung der Bilder, die in den mehreren Richtungen fotografiert werden, ein Attribut der lokalen Karte erkennen.
Außerdem kann die Steuereinrichtung 140 die Steuerung derart durchführen, dass das Attributerkennungsergebnis der lokalen Karte in der Speichereinheit 150 gespeichert wird.
Durch Verwenden aller oder einiger der Anzahl N Bilder, die in den mehreren Richtungen fotografiert werden, als Eingangsdaten kann die Steuereinrichtung 140 auf der Grundlage von maschinellem Lernen und den Ausgangsergebnissen davon eine Attributerkennung durchführen.
Indes kann die Steuereinrichtung 140 in S750 eine semantische Karte erzeugen, die aus einer vorgegebenen Anzahl benachbarter lokaler Karten aus den mehreren lokalen Karten zusammengesetzt ist. Auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind, kann die Steuereinrichtung 140 in S760 ein endgültiges Attribut eines Gebiets erkennen, das der semantischen Karte entspricht.
Die Steuereinrichtung 140 kann in S750 durch Gruppieren benachbarter lokaler Karten aus den lokalen Karten, bezüglich derer die Attributerkennung abgeschlossen worden ist, eine semantische Karte erzeugen. Daraufhin kann die Steuereinrichtung 140 in S760 auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind, ein endgültiges Attribut eines Gebiets erkennen, das der semantischen Karte entspricht.
Alternativ kann die Steuereinrichtung 140 in S750 durch Gruppieren benachbarter lokaler Karten eine semantische Karte vorab erzeugen. Wenn in S740 die Attributerkennung in Bezug auf die lokalen Karten, die in der semantischen Karte enthalten sind, abgeschlossen ist, kann die Steuereinrichtung 140 in S760 auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind, ein endgültiges Attribut eines Gebiets erkennen, das der semantischen Karte entspricht.
Indes kann die Steuereinrichtung 140 auf der Grundlage der Anzahl N Bilder, die von der lokalen Karte erfasst werden, ein Gebiet erkennen, das der lokalen Karte entspricht.
Außerdem kann die Steuereinrichtung 140 aus den Anzahl N Bildern, die von der lokalen Karte erfasst werden, ein Bild extrahieren, das einem Gegenstand entspricht. Auf der Grundlage des extrahierten Bildes kann die Steuereinrichtung 140 den Gegenstand erkennen, der in dem Gebiet vorhanden ist, das der lokalen Karte entspricht.
In diesem Fall kann die Steuereinrichtung 140 die Steuerung derart durchführen, dass in einer Richtung, in der ein Gegenstand angeordnet ist, der durch die Sensoreinheit 170 erfasst wird, ein Teilgebiet eines Bildes, das durch die Bilderfassungseinheit 120 erfasst worden ist, ausgeschnitten und extrahiert wird.
In einigen Implementierungen kann die Steuereinrichtung 140 selbst einen Teil eines Bildes extrahieren oder kann eine Bildverarbeitungseinheit (nicht gezeigt), die von der Steuereinrichtung 140 getrennt vorgesehen ist, derart steuern, oder die Bilderfassungseinheit 120 derart steuern, dass ein Teil eines Bildes extrahiert wird.
Indes können das Lernmodul 143 und/oder das Erkennungsmodul 144 auf der Grundlage von Daten, die durch maschinelles Lernen auf einem gesamten Bild vorab gelernt werden, ein Attribut eines bestimmten Gebiets erkennen.
Außerdem können das Lernmodul 143 und/oder das Erkennungsmodul 144 auf der Grundlage von Daten, die durch maschinelles Lernen auf zumindest einem Teil eines Bildes gelernt werden, einen Gegenstand erkennen.
Zu diesem Zweck können das Lernmodul 143 und/oder das Erkennungsmodul 144 ein künstliches neuronales Netz (ANN) enthalten, das trainiert ist, durch maschinelles Lernen Attribute wie etwa eine Art eines Hindernisses zu erkennen, und das Lernmodul 143 und/oder das Erkennungsmodul 144 können auf der Grundlage der vorab gelernten Daten Attribute eines Gebiets und einen Gegenstand erkennen.
Das maschinelle Lernen bedeutet, dass ein Computer ein Lernen auf Daten durchführt, ohne dass durch einen Anwender eine Logik angewiesen wird, derart, dass der Computer in der Lage ist, eine Problemstellung eigenständig zu lösen.
Zum Beispiel können das Lernmodul 143 und/oder das Erkennungsmodul 144 ein neuronales Faltungsnetz (CNN) enthalten. Ein vorab trainiertes CNN kann Attribute eines Gebiets und einen Gegenstand erkennen, die in den Eingangsdaten enthalten sind, und die Attributerkennungsergebnisse ausgeben.
Tiefenlernen, das eine Art des maschinellen Lernens ist, gibt das Durchführen eines Lernens, indem auf der Grundlage von Daten tief in mehrfache Schichten gegangen wird, an.
Das Tiefenlernen kann eine Gruppe von Algorithmen des maschinellen Lernens, um aus mehreren Datensätzen in einer höheren Stufe Schlüsseldaten zu extrahieren, sein.
Tiefenlernarchitekturen können ein künstliches neuronales Netz (ANN) enthalten, und die Tiefenlernarchitektur kann ein neuronales Tiefennetz (DNN) wie etwa ein neuronales Faltungsnetz (CNN), ein neuronales Rückkopplungsnetz (RNN), ein neuronales Deep-Belief-Netz (DBN) usw. sein.
Das ANN kann unter Verwendung einer gelernten Schicht, die jeder Stufe entspricht, Merkmalsinformationen extrahieren, die jeder Stufe entsprechen. Das ANN kann die Abstraktion nacheinander durchführen und ein bestimmtes Ziel unter Verwendung der Merkmalsinformationen der höchsten Stufe erkennen.
Zum Beispiel ist eine Prozedur der Gesichtserkennung auf der Grundlage von Tiefenlernen derart, dass ein Computer aus einem Eingangsbild helle Bildpunkte und dunkle Bildpunkte gemäß Helligkeitsstufen identifiziert, einfache Formen wie etwa einen Umriss und eine Kante identifiziert und daraufhin kompliziertere Formen und Gegenstände identifiziert. Schließlich ist der Computer in der Lage, eine Form zu identifizieren, die ein menschliches Gesicht definiert.
Eine Tiefenlernarchitektur gemäß der vorliegenden Erfindung kann diverse wohlbekannte Architekturen verwenden. Zum Beispiel kann die Tiefenlernarchitektur gemäß der vorliegenden Erfindung ein CNN, RNN, DBN usw. sein.
Das RNN wird hauptsächlich zur Verarbeitung von natürlicher Sprache verwendet und ist beim Verarbeiten von Zeitreihendaten, die im Zeitverlauf variieren, wirksam. Somit kann das RNN jedes Mal Schichten aufbauen, um dadurch eine ANN-Architektur zu konstruieren.
Das DBN ist eine Tiefenlernarchitektur, die durch Aufbauen einer beschränkten Boltzman-Maschine (RBM) in mehreren Schichten konstruiert wird. Wenn durch Wiederholen des RBM-Lernens eine vorgegebene Anzahl von Schichten hergestellt wird, ist es möglich, ein DBN zu konstruieren, das die entsprechende Anzahl von Schichten aufweist.
Das CNN wird insbesondere bei der Erkennung von Gegenständen verwendet.
Das CNN ist ein Modell, das in der Annahme, dass ein Mensch grundlegende Merkmale eines Gegenstands extrahiert, komplizierte Berechnungen im Gehirn durchläuft und den Gegenstand auf der Grundlage der Berechnungsergebnisse erkennt, ein menschliches Gehirn nachbildet.
Indes zeigt 5 ein Beispiel, bei dem das Lernmodul 143 und das Erkennungsmodul 144 zusätzlich in der Steuereinrichtung 140 vorgesehen sind, jedoch sind die Aspekte der vorliegenden Erfindung nicht darauf eingeschränkt.
Zum Beispiel können das Lernmodul 143 und das Erkennungsmodul 144 als eine einzige Klassifizierungseinrichtung einteilig ausgebildet sein. In diesem Fall wird die Klassifizierungseinrichtung unter Verwendung einer Lerntechnik wie etwa von maschinellem Lernen trainiert, und die trainierte Klassifizierungseinrichtung ist in der Lage, Eingangsdaten zu klassifizieren und ein Attribut eines Gebiets oder einen Gegenstand zu erkennen.
Die Steuereinrichtung 140 kann ein Attribut der lokalen Karte bestimmen, indem die Anzahl N Bilder, die in der lokalen Karte erfasst werden, auf der Grundlage von Daten klassifiziert werden, die durch maschinelles Lernen vorab gelernt werden.
Indes kann die Steuereinrichtung 140 ein endgültiges Erkennungsergebnis der lokalen Karte erzeugen, indem ein Gebietserkennungsergebnis und ein Gegenstandserkennungsergebnis, die der lokalen Karte entsprechen, gemischt werden.
Die Steuereinrichtung 140 kann ein endgültiges Attribut des Gebiets, das der semantischen Karte entspricht, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der Erkennungsergebnisse der mehreren lokalen Karten bestimmen.
In einem Beispiel können das Lernmodul 143 und/oder das Erkennungsmodul 144 bestimmen, dass ein Erkennungsergebnis, das die höchste Häufigkeit von mehreren Erkennungsergebnissen (die Erkennungsergebnisse der lokalen Karten sind, die in einer entsprechenden semantischen Karte enthalten sind) aufweist, ein endgültiges Attribut der semantischen Karte ist. Das heißt, ein Attribut, das von den mehreren Erkennungsergebnisses mit der größten Anzahl von Wiederholungen bestimmt worden ist, kann als ein endgültiges Attribut ausgewählt werden.
In einem weiteren Beispiel können das Lernmodul 143 und/oder das Erkennungsmodul 144 bestimmen, dass ein Erkennungsergebnis, das den höchsten Vertrauenswert aufweist, ein endgültiges Attribut der semantischen Karte ist. Das heißt, ein Attribut, das auf der Grundlage eines Erkennungsergebnisses bestimmt wird, das den höchsten Vertrauenswert von mehreren Erkennungsergebnissen aufweist, kann als ein endgültiges Attribut ausgewählt werden.
In einem nochmals weiteren Beispiel können das Lernmodul 143 und/oder das Erkennungsmodul 144 bestimmen, dass ein Erkennungsergebnis, das den höchsten mittleren Vertrauenswert von mittleren Vertrauenswerten aufweist, ein Attribut der semantischen Karte ist. Das heißt, das Lernmodul 143 und/oder das Erkennungsmodul 144 können dieselben Erkennungsergebnisse gruppieren, in jeder Gruppe einen Mittelwert der Vertrauenswerte berechnen und bestimmen, dass ein Erkennungsergebnis einer Gruppe, die den höchsten mittleren Vertrauenswert aufweist, ein endgültiges Attribut ist.
8 bis 11 sind Diagramme, die ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulichen.
Unter Bezugnahme auf 8 kann der mobile Roboter 100 gemäß einer Ausführungsform der vorliegenden Erfindung eine Reinigung durchführen, während er sich in Übereinstimmung mit einem Befehl oder einer Einstellung bewegt. Zum Beispiel kann sich der mobile Roboter 100 auf der Grundlage einer Navigationskarte in einem Zick-Zack-Muster bewegen.
Unter Bezugnahme auf 9 kann eine Navigationskarte 900 mehrere lokale Karten LM1, LM2, LM3, LM4, LM5, ... enthalten. Die Navigationskarte 900 ist in mehrere Gebiete segmentiert, und jedes Gebiet kann eine oder mehrere lokale Karten enthalten. Jede lokale Karte ist derart eingestellt, dass sie einander nicht überlagern.
Jede der lokalen Karten LM1, LM2, LM3, LM4 und LM5 ist eine Art einer Einheitskarte und kann in einer zufälligen Größe eingestellt sein. Zum Beispiel kann jede der lokalen Karten LM1, LM2, LM3, LM4 und LM5 in der Form eines N-mal-N-Quadrats relativ zu einer Wand eingestellt sein.
Außerdem kann der mobile Roboter 100 während der Bewegung Gebietsinformationen erfassen, die auf Informationen über ununterbrochene Bilder und Karteninformationen beruhen. Der mobile Roboter 100 kann sich bewegen, während er zuhause eine Reinigung durchführt, und kann durch Aufnehmen von Bildern während des Bewegens mehrere Bilder erfassen.
In diesem Fall kann die Steuereinrichtung 140 die Bilderfassungseinheit 120 derart steuern, dass in einem Gebiet, das einer lokalen Karte entspricht, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchgeführt wird. Dementsprechend werden keine weiteren Bilder erfasst, wenn so viele Datensätze sichergestellt sind, wie zur Attributerkennung notwendig sind, um ein unnötiges Berechnen, Verarbeiten und Erkennen zu verhindern.
Zum Beispiel kann die Steuereinrichtung 140 die Bilderfassungseinheit 120 derart steuern, dass sie für jede lokale Karte Bilder in 4 oder 8 Richtungen erfasst, und wenn alle Bilder erfasst sind, kann die Steuereinrichtung 140 die Bilderfassungseinheit 120 derart steuern, dass sie keine zusätzlichen Bilder erfasst.
Indes ist zu einem Zeitpunkt des Erfassens von Bildern ein Ort des mobilen Roboters 100 unbedeutend, jedoch ist eine Richtung davon wichtig. Eine Kamera, die in der Bilderfassungseinheit 120 vorgesehen ist, kann ein Gebiet eines vorgegebenen Bereichs gemäß einem Blickwinkel fotografieren. Somit können selbst Bilder, die an mehreren Orten und nicht an demselben Ort in einem vorgegebenen Bereich mit verschiedenen Winkeln fotografiert werden, einen Bereich von nahezu 360° abdecken, der erreichbar ist, wenn eine Kamera fotografiert, während sie sich an einem bestimmten Ort dreht. Durch Analysieren der fotografierten Bilder ist es möglich, ein Attribut des entsprechenden Gebiets genau zu erkennen.
Indes kann die Steuereinrichtung 140 bestimmen, ob ein Gebiet erkennbar ist, während mehrere Bilder fotografiert werden.
Die Steuereinrichtung 140 kann auf der Grundlage der Anzahl N Bilder, die von der lokalen Karte erfasst werden, ein Gebiet erkennen, das der lokalen Karte entspricht.
Außerdem kann die Steuereinrichtung 140 aus den Anzahl N Bildern, die in der lokalen Karte erfasst werden, ein Bild extrahieren, das einem Gegenstand entspricht. Auf der Grundlage des extrahierten Bildes kann die Steuereinrichtung 140 den Gegenstand erkennen, der in einem Gebiet vorhanden ist, das der lokalen Karte entspricht.
Indes kann die Steuereinrichtung 140 auf der Grundlage von Daten, die durch maschinelles Lernen auf dem gesamten Gebiet vorab gelernt werden, ein Attribut eines bestimmten Gebiets erkennen.
Außerdem kann die Steuereinrichtung 140 auf der Grundlage von Daten, die durch maschinelles Lernen zumindest auf einem Teil eines Bildes vorab gelernt werden, einen Gegenstand erkennen.
Die Steuereinrichtung 140 kann durch Mischen eines Gegenstandserkennungsergebnisses und eines Gebietserkennungsergebnisses jeder lokalen Karte ein endgültiges Ergebnis erzielen und kann eine hierarchische Karte konstruieren, die mehrere semantische Karten enthält, wie in 10 und 11 gezeigt ist.
Unter Bezugnahme auf 10 und 11 kann die Steuereinrichtung 140 allmählich eine semantische Karte erstellen, wenn eine Anzahl M lokaler Karten ununterbrochen gesammelt wird. In diesem Fall können sich die semantischen Karten an den Grenzen überlagern, was kein Problem ist.
Zum Beispiel kann die Steuereinrichtung 140 Folgendes konstruieren: eine semantische Karte mit einer ersten lokalen Karte LM1, einer zweiten lokalen Karte LM2 und einer dritten lokalen Karte LM3; eine semantische Karte mit der zweiten lokalen Karte LM2, der dritten lokalen Karte LM3 und einer vierten lokalen Karte LM4; und eine semantische Karte mit der dritten lokalen Karte LM3, der vierten lokalen Karte LM4 und einer fünften lokalen Karte LM5.
Die Steuereinrichtung 140 kann auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten von mehreren Erkennungsergebnissen der lokalen Karten ein endgültiges Attribut eines Gebiets bestimmen, das der semantischen Karte entspricht.
Zum Beispiel kann die Steuereinrichtung 140 in Bezug auf die semantische Karte, die aus der ersten lokalen Karte LM1, der zweiten lokalen Karte LM2 und der dritten lokalen Karte LM3 zusammengesetzt ist, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der mehreren Erkennungsergebnisse der ersten lokalen Karte LM1, der zweiten lokalen Karte LM2 und der dritten lokalen Karte LM3 bestimmen, dass ein Attribut eines Gebiets, das der semantischen Karte entspricht, ein Schlafzimmer ist.
Außerdem kann die Steuereinrichtung 140 in Bezug auf die semantische Karte, die aus der dritten lokalen Karte LM3, der vierten lokalen Karte LM4 und der fünften lokalen Karte LM5 zusammengesetzt ist, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der mehreren Erkennungsergebnisse der dritten lokalen Karte LM3, der vierten lokalen Karte LM4 und der fünften lokalen Karte LM5 bestimmen, dass ein Attribut eines Gebiets, das der semantischen Karte entspricht, ein Wohnzimmer ist.
Außerdem kann die Steuereinrichtung 140 in Bezug auf die semantische Karte, die aus der zweiten lokalen Karte LM2, der dritten lokalen Karte LM3 und der vierten lokalen Karte LM4 zusammengesetzt ist, bestimmen, dass ein Attribut eines Gebiets, das der semantischen Karte entspricht, unbekannt ist, wenn ein Vertrauenswert kleiner als ein vorgegebener Schwellenwert ist.
12 ist ein Ablaufplan, der ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Unter Bezugnahme auf 12 kann sich der mobile Roboter 100 in S1210 auf der Grundlage einer Navigationskarte bewegen. Die Navigationskarte kann mehrere lokale Karten enthalten. Die Navigationskarte ist in mehrere Gebiete segmentiert, und jedes Gebiet kann eine oder mehrere lokale Karten enthalten. Jede lokale Karte ist derart eingestellt, dass sie einander nicht überlagern.
Während der Bewegung kann der mobile Roboter 100 in S1220 durch die Bilderfassungseinheit 120 in Gebieten, die den mehreren lokalen Karten entsprechen, mehrere Bilder erfassen.
Während der Bewegung kann die Bilderfassungseinheit 120 durch eine vordere Kamera 120a, die derart vorgesehen ist, dass sie ein Bild eines Bereichs vor dem Hauptkörper 110 erfasst, und durch eine obere Kamera 120b, die auf der oberen Fläche des Hauptkörpers 110 vorgesehen ist, Bilder der Umgebung des Hauptkörpers 110 erfassen.
Indes kann die Steuereinrichtung 140 die Bilderfassungseinheit 120 derart steuern, dass in einem Gebiet, das einer lokalen Karte entspricht, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchgeführt wird. Wenn so viele Datensätze sichergestellt sind, wie zur Attributerkennung notwendig sind, wird kein weiteres Bild erfasst, um ein unnötiges Berechnen, Verarbeiten und Erkennen zu verhindern.
Außerdem kann die Steuereinrichtung 140 in S1225 durch einen vorgegebenen Standard einige Bilder aus mehreren Bildern filtern, die durch die Bilderfassungseinheit 120 erfasst werden.
Zum Beispiel kann der vorgegebene Standard enthalten, ob die Sensoreinheit 170 ein Hindernis erfasst hat. Außerdem kann der vorgegebene Standard ferner enthalten, ob der mobile Roboter 100 in einem bestimmten Gebiet angeordnet ist und ob eine Position (oder eine Richtung) des mobilen Roboters 100 zur Mitte des bestimmten Gebiets ausgerichtet ist.
Das heißt, lediglich Bilder, die nach dem Filtern von Bildern, die zum Erkennen eines Attributs des bestimmten Gebiets ungeeignet sind, übrig bleiben, können zur Attributerkennung verwendet werden.
Während der Bewegung kann der mobile Roboter 100 fortfahren, durch die Bilderfassungseinheit 120 durch einen vorgegebenen Standard Bilder aufzunehmen. Wenn die Anzahl der Bilder, die in einem Gebiet fotografiert werden, das einer bestimmten lokalen Karte entspricht, in S1230 größer oder gleich einer vorgegebenen Referenzanzahl wird, kann die Steuereinrichtung 140 in S1240 Attribute des entsprechenden Gebiets erkennen.
Die Steuereinrichtung 140 kann in S1240 ein Attribut einer lokalen Karte aus den mehreren lokalen Karten erkennen, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden. Zum Beispiel kann die Referenzanzahl N derart eingestellt sein, dass sie 4, 5 oder 16 beträgt, was 4 Richtungen (Norden, Osten, Süden, Westen), 8 Richtungen oder 16 Richtungen entspricht.
Indes kann die Steuereinrichtung 140 die Steuerung derart durchführen, dass die mehreren Bilder in Zuordnung zu Ortsinformationen, Richtungsinformationen, Informationen über eine verfolgte Linie und Informationen über die lokale Karte, die einem Zeitpunkt des Erfassens der mehreren Bilder entsprechen, in der Speichereinheit 150 gespeichert werden.
Wenn in S1230 in einem Gebiet, das einer bestimmten lokalen Karte entspricht, mehrere Bilder erfasst werden, die in mehreren Richtungen, z. B. in 4 (Norden, Osten, Süden, Westen), 8 oder 16 Richtungen, fotografiert werden, kann die Steuereinrichtung 140 in S1240 unter Verwendung der Bilder, die in den mehreren Richtungen fotografiert werden, ein Attribut der lokalen Karte erkennen.
Außerdem kann die Steuereinrichtung 140 die Steuerung derart durchführen, dass das Attributerkennungsergebnis der lokalen Karte in der Speichereinheit 150 gespeichert wird.
Durch Verwenden aller oder einiger der Anzahl N der Bilder, die in den mehreren Richtungen fotografiert werden, als Eingangsdaten kann die Steuereinrichtung 140 auf der Grundlage von maschinellem Lernen und den Ausgangsergebnissen davon eine Attributerkennung durchführen.
Indes kann die Steuereinrichtung 140 in S1250 eine semantische Karte erzeugen, die aus einer vorgegebenen Anzahl benachbarter lokaler Karten aus den mehreren lokalen Karten zusammengesetzt ist. Auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind, kann die Steuereinrichtung 140 in S1260 ein endgültiges Attribut eines Gebiets erkennen, das der semantischen Karte entspricht.
Die Steuereinrichtung 140 kann auf der Grundlage von Daten, die durch maschinelles Lernen vorab gelernt werden, Attribute eines Gebiets erkennen, das einer lokalen Karte und einer semantischen Karte entspricht.
13 ist ein Diagramm zur Erklärung der Gebietsattributerkennung gemäß einer Ausführungsform der vorliegenden Erfindung.
Der mobile Roboter 100 gemäß einer Ausführungsform der vorliegenden Erfindung kann durch Analysieren von Merkmalen von Bildern, die an dem Ort wie etwa einer Wohnung in mehreren Richtungen fotografiert werden, ein Attribut eines Ortes identifizieren (Gebietserkennung).
Unter Bezugnahme auf 13 kann die Bilderfassungseinheit 120 mehrere Bilder erfassen, die an jeder Position des mobilen Roboters 100 in einem bestimmten Gebiet fotografiert werden, während sich der mobile Roboter 100 bewegt.
Zum Beispiel kann die Bilderfassungseinheit 120 in dem Fall, in dem das Erfassen von Bildern in vier Richtungen eingestellt ist, ein Bild an einer Position von 0 bis 90 Grad (Position 0), ein Bild an einer Position von 90 bis 180 Grad (Position 1), ein Bild an einer Position von 180 bis 270 Grad (Position 2) und ein Bild an einer Position von 270 bis 360 Grad (Position 3) erfassen.
Unter Bezugnahme auf 13 kann die Steuereinrichtung 140 des mobilen Roboters 100 gemäß einer Ausführungsform der vorliegenden Erfindung auf den Bilddaten, die durch die Bilderfassungseinheit 120 erfasst werden, durch diverse Standards, die Erfassungsdaten, Koordinateninformationen, usw. berücksichtigen, ein Filtern durchführen.
Zum Beispiel kann die Steuereinrichtung 140 einige der erfassten Bilder durch einen vorgegebenen Standard entfernen, der z. B. darin besteht, ob der mobile Roboter 100 in einem Gebiet angeordnet ist, ob eine Richtung des mobilen Roboters 100 zur Mitte des Gebiets ausgerichtet ist und ob vor dem mobilen Roboter 100 kein Hindernis vorhanden ist.
Außerdem kann die Steuereinrichtung 140, wie oben unter Bezugnahme auf 5 beschrieben ist, aus mehreren Bildern, die nach dem Filterprozess übrig bleiben, auf Tiefenlernen basierende Bildmerkmale extrahieren (DNN-basierte Merkmalsextraktion). Die Steuereinrichtung 140 kann unter Verwendung der extrahierten Merkmale ein Attribut eines entsprechenden Gebiets analysieren.
Zum Beispiel kann die Steuereinrichtung 140 bestimmen, dass das Attribut des entsprechenden Gebiets ein beliebiges aus einem Wohnzimmer, einem Schlafzimmer, einem Lager, einem Ankleideraum, einer Küche, einem Badezimmer, einem Flur und einem unbekannten Raum ist.
Die Steuereinrichtung 140 gemäß einer Ausführungsform der vorliegenden Erfindung kann eine auf Tiefenlernen basierende Gebietsklassifizierungseinrichtung enthalten. Eine trainierte Gebietsklassifizierungseinrichtung kann Eingangsdaten klassifizieren und Attribute eines Gebiets und einen Gegenstand erkennen.
Das Tiefenlernen ist eine Technologie der künstlichen Intelligenz zum Trainieren eines Computers, auf der Grundlage eines ANN zum Konstruieren von künstlicher Intelligenz menschliches Denken zu lernen, derart, dass der Computer ohne Anweisung einer Person eigenständig lernen kann.
Das ANN kann in einer Softwareform implementiert sein oder kann in einer Hardwareform wie etwa einem Chip implementiert sein.
Die Steuereinrichtung 140, z. B. das Lernmodul 143 und/oder das Erkennungsmodul 144, kann ein ANN enthalten, das Attribute von Gebieten gelernt hat und das in einer Softwareform oder einer Hardwareform vorliegt.
Zum Beispiel können das Lernmodul 143 und/oder das Erkennungsmodul 144 ein DNN enthalten, das durch Tiefenlernen trainiert ist, z. B. ein CNN, ein RNN, ein DBN, usw.
Das Lernmodul 143 und/oder das Erkennungsmodul 144 können ein Attribut eines Gebiets, das in Bilddaten enthalten ist, die eingegeben werden, auf der Grundlage von Gewichtungen zwischen Knoten bestimmen, die in dem DNN enthalten sind.
Indes kann die Speichereinheit 150 Eingangsdaten zur Attributbestimmung und Daten zum Trainieren des DNN speichern.
Die Speichereinheit 150 kann ein ursprüngliches Bild, das durch die Bilderfassungseinheit 120 erfasst worden ist, und extrahierte Bilder, in denen ein bestimmtes Gebiet extrahiert ist, speichern.
Außerdem kann die Speichereinheit 150 in einigen Implementierungen Gewichtungen und Neigungen des DNN speichern.
Alternativ können in einigen Implementierungen die Gewichtungen und Neigungen des DNN in einem eingebetteten Datenspeicher der Steuereinrichtung 140 gespeichert sein.
Die Steuereinrichtung 140, die zu einer auf Tiefenlernen basierenden Bilderkennung in der Lage ist, kann mehrere Bilder analysieren und bestimmen, dass ein Attribut eines entsprechenden Gebiets ein beliebiges aus einem Wohnzimmer, einem Schlafzimmer, einem Lager, einem Ankleideraum, einer Küche, einem Badezimmer, einem Flur und einem unbekannten Raum ist.
Der mobile Roboter 100 gemäß einer Ausführungsform der vorliegenden Erfindung kann Attribute von mehreren Gebieten erkennen, die in einer Karte enthalten sind. Daraufhin kann der mobile Roboter 100 die Karte und die Attributerkennungsergebnisse durch die Kommunikationseinheit 190 an einen Server, ein externes Endgerät, usw. übertragen oder kann eine Karte, in der die Attributerkennungsergebnisse eingetragen sind, an einen Server, ein externes Endgerät, usw. übertragen.
In diesem Fall kann der mobile Roboter 100 Daten an ein Endgerät übertragen, unter deren Verwendung eine Anwenderkarte angezeigt werden kann, in der die Gebiete wie in (c) von 6 vereinfacht sind, um einem Anwender zu ermöglichen, ein Gebiet leicht zu erkennen.
14 ist ein Diagramm, das eine Anwenderschnittstelle gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Unter Bezugnahme auf 14 kann eine Anzeige eines Anwenderendgeräts eine Anwenderschnittstelle 1400 anzeigen, die den mobilen Roboter 100 steuern kann.
14 veranschaulicht ein Beispiel für die Anwenderschnittstelle 1400, das einem Reinigungselement auf der Grundlage einer Gebietssegmentierung entspricht.
Unter Bezugnahme auf 14 kann die Anwenderschnittstelle 1400 eine vereinfachte Karte 1410 und ein Anwenderbedienungsmenü 1420 enthalten.
In diesem Fall können in jedem Gebiet der Karte 1410 Symbole 1411, 1412, 1413, 1414 und 1415 angezeigt werden, die identifizierte Attribute der Gebiete wie etwa ein Wohnzimmer, ein Schlafzimmer, ein Badezimmer, ein Lager und ein Ankleidezimmer angeben.
15 ist ein Ablaufplan, der ein Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
Unter Bezugnahme auf 15 kann sich der mobile Roboter 100 in S1510 auf der Grundlage einer Navigationskarte bewegen. Die Navigationskarte kann mehrere lokale Karten enthalten. Die Navigationskarte kann in mehrere Gebiete segmentiert sein, und jedes Gebiet kann eine oder mehrere lokale Karten enthalten. Jede lokale Karte kann derart eingestellt sein, dass sie einander nicht überlagern.
Die Steuereinrichtung 140 kann in S1515 durch einen vorgegebenen Standard auf Kartenbasis bestimmen, ob fotografiert werden soll. Zum Beispiel kann die Steuereinrichtung 140 die Bilderfassungseinheit 120 derart steuern, dass in einem Gebiet, das einer lokalen Karte entspricht, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchgeführt wird. Wenn so viele Datensätze sichergestellt sind wie die Anzahl, die zur Attributerkennung notwendig ist, wird kein weiteres Bild erfasst, und somit ist es möglich, ein unnötiges Berechnen, Verarbeiten und Erkennen zu verhindern.
Außerdem kann der vorgegebene Standard enthalten, ob die Sensoreinheit 170 ein Hindernis erfasst hat, und kann ferner enthalten, ob der mobile Roboter 100 in einem bestimmten Gebiet angeordnet ist und ob eine Position (eine Richtung) des mobilen Roboters 100 zur Mitte des bestimmten Gebiets ausgerichtet ist.
Das heißt, durch das Steuern der Bilderfassungseinheit 140 durch den vorgegebenen Standard derart, dass sie nicht fotografiert, kann die Steuereinrichtung 140 das Verwenden von Daten verhindern, die die Genauigkeit der Attributerkennung verschlechtern können.
Während der Bewegung erfasst der mobile Roboter 100 in S1520 durch die Bilderfassungseinheit 120 mehrere Bilder von Gebieten, die den mehreren lokalen Karten entsprechen.
Während der Bewegung kann die Bilderfassungseinheit 120 durch eine vordere Kamera 120a, die vorgesehen ist, ein Bild eines Bereichs vor dem Hauptkörper 110 zu erfassen, und durch eine obere Kamera 120b, die auf einer oberen Fläche des Hauptkörpers 110 vorgesehen ist, Bilder der Umgebung des Hauptkörpers 110 erfassen.
Die Steuereinrichtung 140 kann in S1530 unter Verwendung eines Bildes, das durch die Bilderfassungseinheit 120 erfasst wird, ein Attribut einer lokalen Karte erkennen.
Nach dem Extrahieren eines Teilgebiets aus dem Bild kann die Steuereinrichtung 140 auf der Grundlage von Daten, die durch maschinelles Lernen vorab gelernt werden, in S1531 einen Gegenstand erkennen.
Außerdem kann die Steuereinrichtung 140 in S1532 auf der Grundlage von Daten, die durch maschinelles Lernen auf dem gesamten Bild vorab gelernt werden, ein Attribut eines bestimmten Gebiets erkennen.
Außerdem kann die Steuereinrichtung 140 in S1533 durch Mischen eines Gebietserkennungsergebnisses und eines Gegenstandserkennungsergebnisses, die der lokalen Karte entsprechen, ein endgültiges Erkennungsergebnis der lokalen Karte erzeugen.
Indes kann die Steuereinrichtung 140 die Steuerung derart durchführen, dass das endgültige Erkennungsergebnis der lokalen Karte in S1540 in der Speichereinheit 150 gespeichert wird.
Als nächstes kann die Steuereinrichtung 140 in S1550 bestimmen, ob ein Gebiet erkennbar ist, da die Erkennungsergebnisse der lokalen Karten gespeichert sind.
Wenn eine Anzahl M (z. B. drei) von lokalen Karten ununterbrochen gesammelt wird, kann die Steuereinrichtung 140 allmählich eine semantische Karte erzeugen.
Wie oben unter Bezugnahme auf 10 und 11 beschrieben ist, kann die Steuereinrichtung 140 durch Mischen eines Gegenstandserkennungsergebnisses und eines Gebietserkennungsergebnisses jeder lokalen Karte ein endgültiges Ergebnis erzielen und eine hierarchische Karte konstruieren, die mehrere semantische Karten enthält.
Wenn in S1550 eine ausreichende Anzahl von Erkennungsergebnissen der lokalen Karten, die in einer bestimmten semantischen Karte enthalten sind, gesammelt sind, kann die Steuereinrichtung 140 in S1560 ein Attribut eines entsprechenden Gebiets bestimmen, indem mehrere Erkennungsergebnisse der lokalen Karten berücksichtigt werden.
Die Steuereinrichtung 140 kann ein endgültiges Attribut eines Gebiets, das dem entsprechenden Gebiet entspricht, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der Erkennungsergebnisse bestimmen.
16 bis 23 sind Diagramme zum Erklären eines Steuerverfahrens eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung
Herkömmlicherweise gab es beschränkte Gebietserkennungstechniken, z. B. Einstellen eines Gebiets durch Befestigen einer Markierung mit einem bestimmten Muster. In diesem Fall benötigt ein Kunde Zeit, um jedes Mal eine zusätzliche Markierung zu befestigen oder zu lösen und einen Namen für jedes Gebiet einzustellen.
Jedoch ist es gemäß der vorliegenden Erfindung möglich, unter Verwendung einer Kamera des mobilen Roboters 100 ein Attribut eines Gebiets zu identifizieren und ein Fahrmuster zu erzeugen, das für das Gebiet geeignet ist.
Außerdem ist es möglich, eine Anwendererfahrung (UX) bereitzustellen, die in der Lage ist, einen Ort für jedes Gebiet zuzuweisen oder eine vorgegebene Funktion für jedes Gebiet anzuweisen.
Zum Beispiel ist es möglich, gemäß einem Attribut des Gebiets einen Befehl zu erstellen, der durch einen Anwender auf Tagesbasis verwendet wird, z. B. „Geh zum Wohnzimmer und reinige es“.
Außerdem kann der mobile Roboter 100 einen Kontext eines Ortes herausfinden und gemäß einem Attribut des Ortes ein geeignetes Handlungsszenario ausführen.
Unter Bezugnahme auf 16 kann in Bezug auf eine Haustür eine virtuelle Wand erzeugt werden. Wenn die virtuelle Wand in Bezug auf die Haustür eingestellt ist, ist es z. B. möglich zu verhindern, dass der mobile Roboter 100 in Richtung der Haustür fährt und von der Haustür abweicht.
Außerdem ist es unter Bezugnahme auf 17 durch Einstellen eines Reinigungsausgangs gemäß einem Gebietserkennungsergebnis des mobilen Roboters 100 möglich, ein Fahren und Reinigen durchzuführen, das für einen Wohnraum eines Anwenders optimiert ist.
In einigen Implementierungen ist es möglich, ein Attribut eines Gebiets unter Verwendung einer Anzahl N Bilder zu erkennen, die der mobile Roboter 100 fotografiert, während er sich an einem bestimmten Ort dreht.
Jedoch ist es für den mobilen Roboter 100 ineffizient, sich an mehreren Orten im gesamten Fahrbereich zu drehen, um Bilder zur Attributerkennung zu erfassen. Außerdem kann dies die Zuverlässigkeit des Produkts herabsetzen, da es für einen Anwender schwer zu verstehen ist, dass der mobile Roboter 100 wiederholt anhält und sich an seinem Ort dreht.
Somit ist es wünschenswerter, die Bilder zur Attributerkennung während des normalen Fahrens zur Reinigung zu erfassen.
Zum Beispiel kann die Bilderfassungseinheit 120 ununterbrochen Bilder erfassen, während der mobile Roboter 100 in einem Zick-Zack-Muster fährt, und die Steuereinrichtung 140 kann die Steuerung derart durchführen, dass die erfassten Bilder auf der Grundlage von Orten des Fotografierens klassifiziert werden, um dadurch für ein Gebiet, das einer bestimmten lokalen Karte entspricht, eine Anzahl N von Datensätzen sicherzustellen.
Unter Bezugnahme auf 18 kann die Fahreinheit 160 unter der Steuerung der Steuereinrichtung 140 den Hauptkörper 110 in einem Muster bewegen, das eine Kombination einer ersten Rundfahrt (a), die das Fahren in einem Zick-Zack-Muster in einer ersten Richtung angibt, und einer zweiten Rundfahrt (b), die das Fahren in einem Zick-Zack-Muster in einer zweiten Richtung angibt, ist.
Das heißt, in einem Gebietserkennungsmodus können Bilder erfasst werden, während die gesamte Reinigung insgesamt zweimal durchgeführt wird.
Indes ist es nicht notwendig, die gesamte Reinigung zwei Mal auf ununterbrochene Weise durchzuführen. Das heißt, die erste Rundfahrt (a) kann im gesamten Fahrbereich ausgeführt werden, um die Reinigung durchzuführen und ein Bild aufzunehmen, und beim nächsten Mal kann die zweite Rundfahrt (b) im gesamten Fahrbereich ausgeführt werden, um die Reinigung durchzuführen und ein Bild aufzunehmen.
In diesem Fall können die Anzahl N Bilder, die in mehreren Richtungen fotografiert werden, ein Bild, das bei der ersten Rundfahrt erfasst wird, und ein Bild, das bei der zweiten Rundfahrt erfasst wird, enthalten.
Das heißt, die Steuereinrichtung 140 kann die Steuerung derart durchführen, dass in Zick-Zack-Mustern in mehreren Richtungen gefahren wird, und in einem Gebiet, das einer bestimmten lokalen Karte entspricht, eine Anzahl N von Datensätzen sicherstellen, indem Bilder, die während des Zick-Zack-Fahrens in den mehreren Richtungen erfasst werden, gemäß Orten klassifiziert werden.
Dementsprechend ist es möglich, eine ausreichende Datenmenge sicherzustellen, die zur Gebietsattributerkennung notwendig ist, ohne eine neues Fahrmuster zu verwenden, das das bestehende Fahrmuster in hohem Maße beschädigt.
Wenn er zurückkehrt, kann der mobile Roboter 100 in einem ähnlichen Gebiet Bilder fotografieren.
Unter Bezugnahme auf 19 kann der mobile Roboter 100 ein Bild an einem Ort E1 in Richtung Osten und ein Bild an einem Ort W1 in Richtung Westen erfassen, während er die erste Rundfahrt in einer bestimmten lokalen Karte LM ausführt.
Außerdem kann der mobile Roboter 100 ein Bild an einem Ort N1 in Richtung Norden und an einem Ort S1 in Richtung Süden erfassen, während er die zweite Rundfahrt in der lokalen Karte LM ausführt.
Somit ist es möglich, Daten in Bezug auf vier Richtungen zu erfassen, wenn ein Fahrmuster geändert wird, ohne eine Beschädigung des bestehenden Reinigungsmusters zu bewirken.
Unter Bezugnahme auf 20 kann die Steuereinrichtung 140 während des Zick-Zack-fahrens der ersten Runde in vorgegebenen Abständen Bilder fotografieren und eine Karte zur Gebietserkennung konstruieren.
Unter Bezugnahme auf (a) von 21 können minimale Einheitsinformationen der Karte zur Gebietserkennung eine X-Koordinate des mobilen Roboters 100, eine Y-Koordinate des mobilen Roboters 100, Richtungsinformationen des mobilen Roboters 100, Informationen über eine verfolgte Linie (eine Nummer einer verfolgten Linie) des mobilen Roboters 100, ob ein Fotografieren durchgeführt wird (Belegung), Informationen über die lokale Karte (Nummer der lokalen Karte) und Bilddaten enthalten. Die Richtungsinformationen können in der Form eines numerischen Wertes gespeichert sein, der derart eingestellt ist, dass er Richtungsinformationen wie etwa Norden, Osten, Süden und Westen entspricht.
Unter Bezugnahme auf 20 und 21 kann die Steuereinrichtung 140 eine anfängliche, zu verfolgende Linie definieren, wenn begonnen wird zu fahren, und kann die Steuerung derart durchführen, dass in vorgegebenen Abständen Bilder fotografiert werden.
Wenn z. B. das Fotografieren bei der ersten Rundfahrt an einem ersten Ort P1 durchgeführt wird, können die erfassten Bilddaten in der Form (Rx1, Ry1, 0, 1, Wahr, 1, Bild) gespeichert werden, wie in (b) von 21. In diesem Fall sind „Rx1“ und Ry1" Koordinateninformationen des ersten Ortes P1, „0“ gibt Informationen über eine Richtung nach Osten an, „1“ gibt eine erste, zu verfolgende Linie L1 an, „Wahr“ gibt an, dass ein Bild fotografiert wird, und die nächste „1“ gibt eine entsprechende lokale Karte an.
Als nächstes kann der mobile Roboter 100 in vorgegebenen Abständen Bilder fotografieren, während er sich bewegt.
Wenn z. B. das Fotografieren bei der ersten Rundfahrt an einem vierten Ort P4 durchgeführt wird, können die erfassten Bilddaten in der Form (Rx4, Ry4, 0, 1, Wahr, 4, Bild) gespeichert werden, wie in (c) von 21. In diesem Fall geben „Rx4“ und Ry4" Koordinateninformationen des vierten Ortes P4 an, „0“ gibt Informationen über eine Richtung nach Osten an, „1“ gibt eine erste, zu verfolgende Linie L1 an, „Wahr“ gibt an, dass ein Bild fotografiert wird, und die nächste „4“ gibt eine entsprechende lokale Karte an.
Indes kann die Steuereinrichtung 140 eine neue, zu verfolgende Linie L2 definieren, wenn die bestehende, zu verfolgende Linie aufgrund eines Drehens geändert wird.
Die Steuereinrichtung 140 kann die Steuerung derart durchführen, dass an Koordinaten entlang der aktuellen, zu verfolgenden Linie L2 fotografiert wird, an den Koordinaten, die Koordinaten entsprechen, an denen entlang der vorhergehenden, zu verfolgenden Linie L1 ein Fotografieren durchgeführt wurde,
In diesem Fall kann die Steuereinrichtung 140 prüfen, ob es Daten gibt, die in einer benachbarten, zu verfolgenden Linie L1 fotografiert wurden, und Daten, mit denen damit ein Paar gebildet werden könnte, während in der neuen, zu verfolgenden Linie L2 gefahren wird. Wenn es keine Daten gibt, mit denen ein Paar gebildet werden könnte, kann die Steuereinrichtung 140 ein Bild an einem Ort P5 fotografieren, der dem Ort P4 entspricht, an dem in der benachbarten, zu verfolgenden Linie L1 ein Fotografieren durchgeführt wurde.
Wenn es in zwei benachbarten, zu verfolgenden Linien L1 und L2, die in einer vorgegebenen lokalen Karte enthalten sind, zwei Datensätze gibt, aus denen ein Paar gebildet wurde, wird in der aktuellen, zu verfolgenden Linie kein Fotografieren durchgeführt.
Unter Bezugnahme auf 22A kann der mobile Roboter 100 eine anfängliche, zu verfolgende Linie L1 definieren, wenn er die Ladestation 200 verlässt.
Während er entlang der anfänglichen, zu verfolgenden Linie L1 fährt, kann sich der mobile Roboter 100 über eine vorgegebene Entfernung bewegen und anschließend ein Bild fotografieren. Erneut bewegt sich der mobile Roboter 100 über die vorgegebene Entfernung geradeaus vorwärts und prüft daraufhin, ob die aktuellen Koordinaten des mobilen Roboters 100 in einer lokalen Karte liegen, in der das Bild fotografiert worden ist. Wenn die aktuellen Koordinaten des mobilen Roboters 100 in der lokalen Karte liegen, bewegt sich der mobile Roboter 100 erneut über die vorgegebene Entfernung geradeaus vorwärts. Wenn die aktuellen Koordinaten des mobilen Roboters 100 außerhalb der lokalen Karte liegen, fotografiert der mobile Roboter 100 ein Bild und bewegt sich anschließend.
Auf diese Weise kann der mobile Roboter 100 Bilder mit vorgegebenen Abständen zwischen den Orten des Fotografierens P11, P12 und P13 fotografieren und ein Bild für jede lokale Karte in einer Richtung nach Osten erfassen.
Unter Bezugnahme auf 22B kann der mobile Roboter 100 eine zweite, zu verfolgende Linie L2 definieren, nachdem er eine Wende vollzogen hat, und nach dem Fahren über eine vorgegebene Entfernung entlang der zweiten, zu verfolgenden Linie L2 ein Bild fotografieren. Außerdem können Richtungsinformationen und Informationen über die zu verfolgende Linie, die gespeichert werden, während der mobile Roboter 100 entlang der zweiten, zu verfolgenden Linie L2 fährt, geändert werden.
Indes ist ein bestimmter Ort P21 in der zweiten, zu verfolgenden Linie L2 ein Ort, aus dem mit einem bestimmten Ort P13 in der ersten, zu verfolgenden Linie L1 ein Paar gebildet wurde. Da kein Datensatz gespeichert worden ist, aus dem mit einem Datensatz ein Paar gebildet worden ist, der an dem bestimmten Ort P13 in der ersten, zu verfolgenden Linie L1 erfasst wurde, führt der mobile Roboter 100 an dem bestimmten Ort P21 ein Fotografieren durch und bewegt sind über eine vorgegebene Entfernung geradeaus vorwärts in einer Richtung nach Westen.
Auf die obige Weise wird das Fotografieren an bestimmten Orten P21, P22 und P23 in der zweiten, zu verfolgenden Linie L2 durchgeführt.
Indes kann der mobile Roboter 100 eine dritte, zu verfolgende Linie L3 definieren, wenn er eine Wende vollzieht, nachdem er entlang der zweiten, zu verfolgenden Linie L2 gefahren ist, und entlang der dritten, zu verfolgenden Linie L3 fahren.
Wenn die dritte, zu verfolgende Linie L3 zu einem Fahren in denselben lokalen Karten 1, 2 und 3 wie die vorhergehenden, zu verfolgenden Linien L1 und L2 führt, gibt es bereits einen als ein Paar gebildeten Datensatz, und daher fährt der mobile Roboter 100, ohne ein Bild aufzunehmen.
Wenn die dritte, zu verfolgende Linie L3 zu einem Befahren der lokalen Karten 4, 5, und 6 führt, die von denselben lokalen Karten 1, 2, 3 der vorhergehenden, zu verfolgenden Linien L1 und L2 verschieden sind, fährt der mobile Roboter 100, während er ein Bild aufnimmt.
Gemäß einer Einstellung kann der mobile Roboter 100 selbst dann, wenn die dritte, zu verfolgende Linie L3 zu einem Fahren in den lokalen Karten 4, 5, und 6 führt, die zu denselben lokalen Karten 1, 2, und 3 der vorhergehenden, zu verfolgenden Linien L1 und L2 verschieden sind, durch einen vorgegebenen Standard fahren, ohne ein Bild aufzunehmen.
Zum Beispiel kann das Fotografieren ausgelassen werden, wenn sich die dritte, zu verfolgende Linie L2 über die Begrenzungen von lokalen Karten erstreckt, um ein Bild an einem stabileren Ort zu erfassen.
Unter Bezugnahme auf 22C wird das Fotografieren in einer vierten, zu verfolgenden Linie L4 und einer fünften, zu verfolgenden Linie L5 durchgeführt, wenn die dritte, zu verfolgende Linie L3 ausgelassen wird.
Wie oben unter Bezugnahme auf 22A bis 22C beschrieben ist, können bei der ersten Rundfahrt Bilder nach Osten und nach Westen erfasst werden.
Als nächstes können bei der zweiten Fahrt Bilder erfasst werden, die in Richtungen nach Norden und nach Süden fotografiert werden.
Unter Bezugnahme auf 22D wird bei der zweiten Rundfahrt das Fotografieren entlang einer ersten, zu verfolgenden Linie VL1 bis zu einer sechsten, zu verfolgenden Linie VL6 durchgeführt.
Vorzugsweise kann die zweite Rundfahrt derart eingestellt sein, dass das Fotografieren von einem Ort P31 zwischen dem ersten Ort P11 des Fotografierens in der ersten lokalen Karte und einem Ort P23, aus dem mit dem Ort P11 ein Paar gebildet wurde, begonnen wird. Dementsprechend kann ein Ort des Fotografierens innerhalb eines vorgegebenen Bereichs von einer Richtung nach Norden/Osten/Süden/Westen stabil angeordnet werden.
23 zeigt Beispiele für ein Attributerkennungsergebnis jeder lokalen Karte.
Unter Bezugnahme auf 23 gibt es für jede lokale Karte Datensätze der vier Richtungen (O, W, S, N), und somit können Erkennungsergebnisse und Vertrauenswerte für die vier Richtungen erzeugt werden.
Zum Beispiel kann in Bezug auf eine erste lokale Karte ein Bild, das in der Richtung nach Osten fotografiert wurde, mit einem Vertrauenswert von 0,9 als ein Schlafzimmer erkannt werden, ein Bild, das in der Richtung nach Westen fotografiert wurde, kann mit einem Vertrauenswert von 0,7 als ein Schlafzimmer erkannt werden, ein Bild, das in der Richtung nach Süden fotografiert wurde, kann mit einem Vertrauenswert von 0,7 als ein Schlafzimmer erkannt werden, und ein Bild, das in der Richtung nach Norden fotografiert wurde, kann mit einem Vertrauenswert von 0,9 als ein Schlafzimmer erkannt werden.
In Bezug auf eine zweite lokale Karte kann ein Bild, das in der Richtung nach Osten fotografiert wurde, mit einem Vertrauenswert von 0,8 als ein Schlafzimmer erkannt werden, ein Bild, das in der Richtung nach Westen fotografiert wurde, kann mit einem Vertrauenswert von 0,6 als ein Schlafzimmer erkannt werden, ein Bild, das in der Richtung nach Süden fotografiert wurde, kann mit einem Vertrauenswert von 0,5 als ein Schlafzimmer erkannt werden, und ein Bild, das in der Richtung nach Norden fotografiert wurde, kann mit einem Vertrauenswert von 0,9 als ein Schlafzimmer erkannt werden.
In Bezug auf eine dritte lokale Karte kann ein Bild, das in der Richtung nach Osten fotografiert wurde, mit einem Vertrauenswert von 0,7 als ein Schlafzimmer erkannt werden, ein Bild, das in der Richtung nach Westen fotografiert wurde, kann mit einem Vertrauenswert von 0,5 als ein Schlafzimmer erkannt werden, ein Bild, das in der Richtung nach Süden fotografiert wurde, kann mit einem Vertrauenswert von 0,4 als ein Schlafzimmer erkannt werden, und ein Bild, das in der Richtung nach Norden fotografiert wurde, kann mit einem Vertrauenswert von 0,5 als ein Schlafzimmer erkannt werden.
Auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten von Erkennungsergebnissen der lokalen Karten kann die Steuereinrichtung 140 ein endgültiges Attribut eines Gebiets bestimmen, das einer semantischen Karte entspricht.
Unter Bezugnahme auf 10 und 11 kann die Steuereinrichtung 140 in Bezug auf die semantische Karte, die aus der ersten lokalen Karte LM1, der zweiten lokalen Karte LM2 und der dritten lokalen Karte LM3 zusammengesetzt ist, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der mehreren Erkennungsergebnisse der ersten lokalen Karte LM1, der zweiten lokalen Karte LM2 und der dritten lokalen Karte LM3 bestimmen, dass ein Attribut eines Gebiets, das der semantischen Karte entspricht, ein Schlafzimmer ist.
Gemäß mindestens einer der obigen Ausführungsformen der vorliegenden Erfindung kann ein mobiler Roboter Attribute von mehreren Gebieten in einem Fahrbereich erkennen.
Außerdem kann der mobile Roboter gemäß mindestens einer der obigen Ausführungsformen der vorliegenden Erfindung mit der zweckdienlichen Verwendung eines Gebietsattributerkennungsergebnisses den Anwenderkomfort verbessern.
Außerdem kann der mobile Roboter gemäß mindestens einer der obigen Ausführungsformen der vorliegenden Erfindung durch maschinelles Lernen Attribute von Gebieten genau erkennen.
Der mobile Roboter und das Steuerverfahren dafür gemäß der vorliegenden Erfindung können das Segmentieren eines Fahrbereichs in mehrere Gebiete, das leichte Bestimmen des aktuellen Ortes des mobilen Roboters durch Erkennen von Attributen der mehreren Gebiete, das Empfangen eines Reinigungsbefehls für jedes Gebiet und das Durchführen der Reinigung entsprechend einer Form jedes Gebiets ermöglichen, wodurch der Wirkungsgrad der Bewegungs- und Reinigungsvorgänge verbessert wird.
In Bezug auf den mobilen Roboter gemäß der vorliegenden Erfindung sind die Konfiguration und das Verfahren gemäß den Ausführungsformen der vorliegenden Offenbarung, die oben beschrieben sind, in ihrer Anwendung nicht eingeschränkt, sondern die Gesamtheit oder ein Abschnitt der Ausführungsformen können wahlweise kombiniert werden, um in diverse Modifikationen konfiguriert zu werden.
Indes kann das Steuerverfahren eines mobilen Roboters gemäß einer Ausführungsform der vorliegenden Erfindung als Code implementiert sein, der auf einem computerlesbaren Medium geschrieben sein kann, in dem ein Programm aufgezeichnet ist, und somit durch einen Computer gelesen werden. Das computerlesbare Medium enthält alle Arten von Aufzeichnungsvorrichtungen, in denen auf eine computerlesbare Weise Daten gespeichert werden. Beispiele für das computerlesbare Aufzeichnungsmedium können einen Festwertspeicher (ROM), einen Schreib/Lese-Speicher (RAM), einen Compact-Disk-Festwertspeicher (CD-ROM), ein Magnetband, eine Floppy Disk und eine optische Datenspeichervorrichtung enthalten. Außerdem kann das computerlesbare Medium als eine Trägerwelle implementiert sein (z. B. Datenübertragung über das Internet). Da die Aufzeichnungsmedien, die durch einen Prozessor lesbar sind, an die Computer verteilt werden, die durch ein Netz verbunden sind, kann Code, der durch den Prozessor lesbar ist, auf eine Weise, dass er verteilt wird, gespeichert und ausgeführt werden.
Obwohl die beispielhaften Ausführungsformen veranschaulicht und beschrieben worden sind, sind Ausführungsformen nicht auf die oben beschriebenen, bestimmten Ausführungsformen eingeschränkt, diverse Modifikationen sind durch den Fachmann auf dem Gebiet möglich, ohne von dem Umfang wie in den begleitenden Ansprüchen offenbart abzuweichen, und diese Modifikationen sollten nicht als vom Umfang getrennt verstanden werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 1020170072746 [0001]

Claims

Mobiler Roboter, der Folgendes umfasst: eine Fahreinheit (160), die konfiguriert ist, auf Grundlage einer Navigationskarte, die mehrere lokale Karten enthält, einen Hauptkörper (110) zu bewegen; eine Bilderfassungseinheit (120), die konfiguriert ist, in Gebieten, die den mehreren lokalen Karten entsprechen, mehrere Bilder zu erfassen; eine Speichereinheit (150), die konfiguriert ist, die mehreren Bilder zu speichern, die durch die Bilderfassungseinheit (120) erfasst werden; und eine Steuereinrichtung (140), die konfiguriert ist, ein Attribut einer lokalen Karte aus den mehreren lokalen Karten zu erkennen, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden, ein Erkennungsergebnis in der Speichereinheit (150) zu speichern, eine semantische Karte zu erzeugen, die aus einer vorgegebenen Anzahl benachbarter lokaler Karten zusammengesetzt ist, und auf der Grundlage der Attributerkennungsergebnisse der lokalen Karten, die in der semantischen Karte enthalten sind, ein endgültiges Attribut eines Gebiets zu erkennen, das der semantischen Karte entspricht.
Mobiler Roboter nach Anspruch 1, wobei die Steuereinrichtung (140) ferner konfiguriert ist: auf der Grundlage der Anzahl N Bilder, die in der lokalen Karte erfasst werden, ein Gebiet zu erkennen, das der lokalen Karte entspricht; ein Bild zu extrahieren, das einem Gegenstand in den Anzahl N Bildern entspricht, die in der lokalen Karte erfasst werden, und auf der Grundlage des extrahierten Bildes den Gegenstand zu erkennen, der in einem Gebiet vorhanden ist, das der lokalen Karte entspricht; und ein Gebietserkennungsergebnis und ein Gegenstandserkennungsergebnis zu mischen, die der lokalen Karte entsprechen.
Mobiler Roboter nach Anspruch 1 oder 2, der ferner eine Sensoreinheit (170) umfasst, die einen oder mehrere Sensoren umfasst und konfiguriert ist, ein Hindernis zu erfassen, wobei die Steuereinrichtung (140) konfiguriert ist, auf der Grundlage eines vorgegebenen Standards einige Bilder aus den mehreren Bildern zu filtern, und/oder die Steuereinrichtung konfiguriert ist, auf der Grundlage eines vorgegebenen Standards zu bestimmen, ob ein Fotografieren durchzuführen ist.
Mobiler Roboter nach Anspruch 3, wobei der vorgegebene Standard umfasst, ob die Sensoreinheit (170) ein Hindernis erfasst hat.
Mobiler Roboter nach einem der vorhergehenden Ansprüche, wobei die Steuereinrichtung (140) ferner konfiguriert ist, die Bilderfassungseinheit (120) derart zu steuern, dass in einem Gebiet, das der lokalen Karte entspricht, in der die Anzahl N Bilder erfasst werden, die in den mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchgeführt wird.
Mobiler Roboter nach einem der vorhergehenden Ansprüche, wobei die Steuereinrichtung (140) ferner konfiguriert ist, derart zu steuern, dass die mehreren Bilder in Zuordnung zu Ortsinformationen und Richtungsinformationen gespeichert werden, die einem Zeitpunkt des Erfassens der mehreren Bilder entsprechen.
Mobiler Roboter nach einem der vorhergehenden Ansprüche, wobei die Anzahl N Bilder, die in mehreren Richtungen fotografiert werden, eine Anzahl N Bilder ist, die während des Drehens an einem bestimmten Ort fotografiert werden.
Mobiler Roboter nach einem der vorhergehenden Ansprüche, wobei die Fahreinheit (160) ferner konfiguriert ist, den Hauptkörper (110) derart zu steuern, dass er eine erste Rundfahrt, die ein Fahren in einem Zick-Zack-Muster in einer ersten Richtung angibt, und eine zweite Rundfahrt, die ein Fahren in einem Zick-Zack-Muster in einer zweiten Richtung, die zur ersten Richtung senkrecht ist, angibt, ausführt.
Mobiler Roboter nach Anspruch 8, wobei die Anzahl N Bilder, die in den mehreren Richtungen fotografiert werden, ein Bild, das bei der ersten Rundfahrt erfasst wird, und ein Bild, das bei der zweiten Rundfahrt erfasst wird, umfassen.
Mobiler Roboter nach einem der vorhergehenden Ansprüche, wobei die Steuereinrichtung (140) ferner konfiguriert ist, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der Attributerkennungsergebnisse ein endgültiges Attribut eines Gebiets zu bestimmen, das der semantischen Karte entspricht.
Steuerverfahren eines mobilen Roboters, wobei das Verfahren Folgendes umfasst: Bewegen (S1210) eines Hauptkörpers (110) auf der Grundlage einer Navigationskarte, die mehrere lokale Karten enthält; Erfassen (S1220) von mehreren Bildern in Gebieten, die den mehreren lokalen Karten entsprechen, während der Bewegung durch eine Bilderfassungseinheit (160); Erkennen (S1240) eines Attributs einer lokalen Karte aus den mehreren lokalen Karten, in der eine Anzahl N Bilder erfasst werden, die in mehreren Richtungen fotografiert werden; Speichern eines Erkennungsergebnisses; Erzeugen (S1250) einer semantischen Karte, die aus einer vorgegebenen Anzahl benachbarter lokaler Karten aus den mehreren lokalen Karten zusammengesetzt ist; und Erkennen (S1260) eines endgültigen Attributs eines Gebiets, das der semantischen Karte entspricht, auf der Grundlage von Attributerkennungsergebnissen der lokalen Karten, die in der semantischen Karte enthalten sind.
Bewegungsverfahren nach Anspruch 11, wobei das Erkennen eines Attributs der lokalen Karte Folgendes umfasst: Erkennen eines Gebiets, das der lokalen Karte entspricht, auf der Grundlage der Anzahl N Bilder, die in der lokalen Karte erfasst werden; Extrahieren eines Bildes, das einem Gegenstand entspricht, aus den Anzahl N Bildern, die in der lokalen Karte erfasst werden; Erkennen des Gegenstands, der in der lokalen Karte vorhanden ist, auf der Grundlage des extrahierten Bildes; und Mischen eines Gebietserkennungsergebnisses und eines Gegenstandserkennungsergebnisses, die der lokalen Karte entsprechen.
Steuerverfahren nach Anspruch 11 oder 12, wobei das Erfassen von mehreren Bildern umfasst, in einem Gebiet, das der lokalen Karte entspricht, in der die Anzahl N Bilder erfasst werden, die in den mehreren Richtungen fotografiert werden, nicht zusätzlich ein Fotografieren durchzuführen.
Steuerverfahren nach Anspruch 11, 12 oder 13, das ferner das Speichern der mehreren Bilder in Zuordnung zu Ortsinformationen, Richtungsinformationen, Informationen über eine zu verfolgende Linie und Informationen über die lokale Karte, die einem Zeitpunkt des Erfassens der mehreren Bilder entsprechen, umfasst.
Steuerverfahren nach Anspruch 11, 12, 13 oder 14, wobei das Erkennen eines Attributs des Gebiets, das der semantischen Karte entspricht, das Bestimmen eines endgültigen Attributs des Gebiets, das der semantischen Karte entspricht, auf der Grundlage von Häufigkeiten und/oder Vertrauenswerten und/oder mittleren Vertrauenswerten der Attributerkennungsergebnisse umfasst.