-
Die vorliegende Anmeldung bezieht sich auf eine Bildverarbeitungsvorrichtung nach Anspruch 1 und ein Verfahren zur Bildverarbeitung nach Anspruch 8, das geeignet ist für die Verarbeitung eines erfassten Bildes einer Umgebung, das von einem beweglichen Roboter, der eine Fernbedienung durchführt, erfasst wurde.
-
Ein beweglicher Roboter, der ausgebildet ist, um einem Fernbediener ermöglichen zu können, eine Bedienung mittels eines Fernbedienungsterminals durchzuführen, ist bekannt. Der Fernbediener bedient einen beweglichen Roboter aus der Ferne, während er ein erfasstes Bild einer Umgebung ansieht, das von einer Bilderfassungseinheit dieses beweglichen Roboters unter Verwendung eines Fernbedienungsterminals erfasst wurde, und erbringt Dienstleistungen, wie zum Beispiel Krankenpflege für einen Dienstleistungsnutzer. Die japanische Patentanmeldung
JP 2016 - 203 276 A offenbart in einem Fernbedienungssystem, das den oben genannten beweglichen Roboter enthält, eine Technik zur Anzeige, wenn das erfasste Bild einen Teil enthält, den der Dienstnutze nicht angezeigt haben möchte, eines erfassten Bildes, das durch die Durchführung der Anzeigebeschränkungsverarbeitung (wie z.B. Ausmal-Verarbeitung) auf diesen Teil erzeugt wurde, auf ein Fernbedienungsterminal.
-
Nach der in der japanischen Patentanmeldung
JP 2016 - 203 276 A offenbarten Technik wird das Bild, das durch die Durchführung der Anzeigebeschränkungsverarbeitung auf ein erfasstes Bild, das durch die Bilderfassungseinheit erfasst wurde, erzeugt wurde, auf dem Fernbedienungsterminal angezeigt, wobei es möglich ist, die Privatsphäre des Dienstleistungsnutzers zu schützen. In der in der japanischen Patentanmeldung
JP 2016 - 203 276 A offenbarten Technik ist es allerdings möglich, dass der Fernbediener möglicherweise Zielobjekte, die zur Erfüllung einer Aufgabe notwendig sind, nicht ausreichend erkennen kann von dem Bild, an dem die Anzeigebeschränkungsverarbeitung durchgeführt wurde, und es ist eventuell nicht möglich, den Roboter zu veranlassen, die Aufgabe durch die Fernbedienung ordnungsgemäß durchzuführen. Ein mobiler Roboter, der ein Antriebssystem mit einer Vorwärtsfahrtrichtung, eine Steuerung, die mit dem Antriebssystem in Kommunikation steht, und ein Gerät zur Bildgebung volumetrischer Punktwolken beinhaltet, ist aus der
DE 11 2011 104 645 T5 bekannt. Das Gerät zur Bildgebung volumetrischer Punktwolken ist über dem Antriebssystem befestigt und ist ausgelegt, um eine Punktwolke aus einem Raumvolumen, das eine Bodenebene in einer Bewegungsrichtung des mobilen Roboters beinhaltet, zu erhalten. Ein Totzonensensor weist einen Erfassungsbereich auf, der ausgelegt ist, um ein Objekt in einem Raumvolumen, das für das Gerät zur Bildgebung volumetrischer Punktwolken nicht erfassbar ist, zu erfassen. Die Steuerung empfängt Punktwolkensignale vom Bildgebungsgerät und Erfassungssignale vom Totzonensensor und gibt wenigstens teilweise auf den empfangenen Punktwolken- und Erfassungssignalen basierend Antriebsbefehle an das Antriebssystem aus. Weitere Bildverarbeitungsvorrichtungen und Verfahren zur Bildverarbeitung sind aus der
US 2015 / 0 081 338 A1 , der
US 2012 / 0 075 464 A1 , der
US 7 554 282 B2 , der
JP 2005 - 056 213 A sowie
JP 2003 - 291 084 A der bekannt.
-
Die vorliegende Anmeldung wurde in Bezug auf den vorstehend erläuterten Hintergrund geschaffen und hat zur Aufgabe eine Bildverarbeitungsvorrichtung zu schaffen, die fähig ist, ein Bild zu präsentieren, das dem Fernbediener ermöglicht, den beweglichen Roboter angemessen aus der Ferne zu bedienen, um die Erfüllung der Aufgabe für den Fernbediener zu ermöglichen und gleichzeitig die Privatsphäre zu schützen. Zudem soll ein Verfahren zur Bildverarbeitung angegeben werden, das eine Anzeigebeschränkungsverarbeitung auf einem erfassten Bild, das von einer Bilderfassungseinheit in einem beweglichen Roboter erfasst wurde, durchführt Diese Aufgabe wird gelöst mit der Bildverarbeitungsvorrichtung mit den Merkmalen des Anspruchs 1 und dem Verfahren mit den Merkmalen des Anspruchs 8; vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
-
Eine Bildverarbeitungsvorrichtung nach der vorliegenden Anmeldung ist eine Bildverarbeitungsvorrichtung die eine Anzeigebeschränkungsverarbeitung auf einem erfassten Bild, das von einer Bilderfassungseinheit in einem beweglichen Roboter erfasst wurde, durchführt, wobei der bewegliche Roboter die Bilderfassungseinheit enthält, die ausgebildet ist, um ein Bild einer Umgebung zu erfassen, und der bewegliche Roboter weiter ausgebildet ist, um eine Fernbedienung mittels eines Fernbedienungsterminals durchführen zu können, wobei die Bildverarbeitungsvorrichtung enthält: eine Aufgaben-Einhol-Einheit, ausgebildet um Informationen einzuholen, die einer Eigenschaft einer Aufgabe entsprechen, die mittels der Fernbedienung, die an dem beweglichen Roboter durchgeführt wird, auszuführen ist; eine Zielobjekt-Erkennungseinheit, ausgebildet um Zielobjekte in einem erfassten Bild zu erkennen; eine beschränkte Zielobjekt-Bestimmungseinheit, ausgebildet um ein Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, unter den von der Zielobjekt-Erkennungseinheit erkannten Zielobjekten in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe basierend auf den von der Aufgaben-Einhol-Einheit eingeholten Informationen zu bestimmen; und eine Anzeigebeschränkungsverarbeitungs-Einheit, ausgebildet um die Anzeigebeschränkungsverarbeitung in einem beschränkten Bereich im erfassten Bild, das dem Zielobjekt entspricht, für das eine Anzeigebeschränkung benötigt wird, durchzuführen, wobei die Anzeigebeschränkungsverarbeitungs-Einheit Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, an eine Übermittlungseinheit ausgibt, die ausgebildet ist, um die Bilddaten an das Fernbedienungsterminal zu übermitteln.
-
Durch das Verändern des Zielobjekts im erfassten Bild, dessen Anzeige in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe beschränkt werden soll, besteht keine Möglichkeit, dass eine Anzeigebeschränkung auf dem Zielobjekt im erfassten Bild festgesetzt werden kann, das der Fernbediener klar sehen muss, um die Erfüllung der Aufgabe zu ermöglichen. Dementsprechend ist es möglich, ein Bild zu präsentieren, das dem Fernbediener ermöglicht, den beweglichen Roboter angemessen aus der Ferne zu bedienen, um die Erfüllung der Aufgabe zu ermöglichen und gleichzeitig die Privatsphäre zu schützen.
-
Die Anzeigebeschränkungsverarbeitungs-Einheit kann den beschränkten Bereich entlang der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, durch Segmentierung definieren, unter Verwendung der Segmentierung durch einen Algorithmus des Maschinellen Lernens als eine Technik zur Erkennung der Zielobjekte im erfassten Bild. Durch Verwenden der Segmentierung durch den Algorithmus des Maschinellen Lernens ist es möglich, das Zielobjekt im erfassten Bild schnell zu erkennen.
-
Die Anzeigebeschränkungsverarbeitungs-Einheit kann die Genauigkeit der Ermittlung der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe festlegen. Nach dieser Vorgehensweise ist es möglich, die Verarbeitungslast in der Bildverarbeitungsvorrichtung zu verringern.
-
Die Anzeigebeschränkungsverarbeitungs-Einheit kann Informationen bezüglich des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in dem beschränkten Bereich, der dem Zielobjekt entspricht, durch ein vorher festgelegtes Verfahren einblenden. Nach dieser Vorgehensweise wird klar, was das Zielobjekt, an dem die Anzeigebeschränkungsverarbeitung durchgeführt wurde, ist, wobei es für den Fernbediener möglich wird, dem Dienstleistungsnutzer eine angemessenere Dienstleistung zu bieten.
-
Die beschränkte Zielobjekt-Bestimmungseinheit kann den Bereich des Zielobjekts im erfassten Bild, das sich nicht auf die vom beweglichen Roboter auszuführende Aufgabe bezieht, festlegen, und die Anzeigebeschränkungsverarbeitungs-Einheit kann eine Vereinfachungs-Verarbeitung in dem Bereich des Zielobjekts, das sich nicht auf die vom beweglichen Roboter auszuführende Aufgabe bezieht, durchführen. Nach dieser Vorgehensweise ist es möglich, das Bilddatenvolumen des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, zu verringern.
-
Die vom beweglichen Roboter auszuführende Aufgabe, die Aufgabe, die von der Aufgaben-Einhol-Einheit eingeholt wird, kann vom Fernbedienungsterminal eingegeben werden. Wenn die vom beweglichen Roboter auszuführende Aufgabe eine Aufgabe ist, die vom beweglichen Roboter autonom durchgeführt wird, führt der Fernbediener lediglich eine Überwachung durch das Fernbedienungsterminal durch und bedient den beweglichen Roboter nicht. Durch Veranlassen der von der Aufgaben-Einhol-Einheit eingeholten Aufgabe, vom Fernbedienungsterminal eingegeben zu werden, wenn die Aufgabe vom beweglichen Roboter autonom durchgeführt wird, kann das Zielobjekt im erfassten Bild, dessen Anzeige beschränkt werden soll, gleichmäßig eingestellt werden. Nach dieser Vorgehensweise wird es möglich, eine Zunahme der unnötigen Verarbeitungslast zu verhindern, wenn der bewegliche Roboter die Aufgabe autonom durchführt.
-
Ein Dienstleistungsnutzer, der eine vom beweglichen Roboter erbrachte Dienstleistung erhält, kann in der Lage sein, Kriterien zur Bestimmung des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe in der beschränkten Zielobjekt-Bestimmungseinheit zu korrigieren. Nach dieser Vorgehensweise, wenn zum Beispiel einige Probleme in der Aufgabenausführung nach der tatsächlichen Bedienung des beweglichen Roboters auftreten oder wenn das weitere Verstärken des Schutzes der Privatsphäre die Aufgabenausführung nicht beeinflusst, kann der Dienstleistungsnutzer einfach die oben genannten Kriterien korrigieren.
-
Ein Verfahren zur Bildverarbeitung nach der vorliegenden Anmeldung ist ein Verfahren zur Bildverarbeitung, das eine Anzeigebeschränkungsverarbeitung auf einem erfassten Bild, das von einer Bilderfassungseinheit in einem beweglichen Roboter erfasst wurde, durchführt, wobei der bewegliche Roboter die Bilderfassungseinheit enthält, die ausgebildet ist, um ein Bild einer Umgebung zu erfassen, und der bewegliche Roboter weiter ausgebildet ist, um eine Fernbedienung mittels eines Fernbedienungsterminals durchführen zu können, wobei das Verfahren enthält: einen ersten Schritt zur Einholung von Informationen, die einer Eigenschaft einer Aufgabe entsprechen, die mittels der Fernbedienung, die an dem beweglichen Roboter durchgeführt wird, auszuführen ist; einen zweiten Schritt zur Erkennung von Zielobjekten im erfassten Bild; einen dritten Schritt zur Bestimmung eines Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, aus den in Schritt zwei erkannten Zielobjekten in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe basierend auf den im ersten Schritt eingeholten Informationen; einen vierten Schritt zur Durchführung der Anzeigebeschränkungsverarbeitung in einem beschränkten Bereich im erfassten Bild, das dem Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, entspricht, wobei im vierten Schritt Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, an eine Übermittlungseinheit ausgegeben werden, die ausgebildet ist, um die Bilddaten an das Fernbedienungsterminal zu übermitteln. Dementsprechend ist es möglich, ein Bild zu präsentieren, das dem Fernbediener ermöglicht, den beweglichen Roboter angemessen aus der Ferne zu bedienen, um eine Aufgabe auszuführen und gleichzeitig die Privatsphäre zu schützen.
-
Nach der vorliegenden Anmeldung ist es möglich, ein Bild zu präsentieren, das dem Fernbediener ermöglicht, eine für den Fernbediener angemessene Bedienung durchzuführen und gleichzeitig die Privatsphäre zu schützen.
-
Die oben genannten und andere Aufgaben, Merkmale und Vorteile der vorliegenden Anmeldung werden mit der nachfolgenden detaillierten Beschreibung und den dazugehörigen Zeichnungen, die lediglich als Abbildungen aufgeführt werden und somit nicht als Einschränkung für die vorliegende Anmeldung anzusehen sind, verständlicher werden.
- 1 ist ein konzeptionelles Diagramm zur Beschreibung eines von einem Fernbedienungssystem angestrebten Anwendungsgebiets, in dem eine Bildverarbeitungsvorrichtung nach einer Ausführungsform eingebaut ist, und einer Gesamtstruktur davon;
- 2 ist ein Blockdiagramm, das eine Steuerungsstruktur eines im Fernbedienungssystem enthaltenen beweglichen Roboters zeigt;
- 3 ist ein Blockdiagramm, das eine Steuerungsstruktur der Bildverarbeitungsvorrichtung nach dieser Ausführungsform zeigt;
- 4 ist eine schematische Ansicht, die ein Beispiel eines erfassten Bildes eines Raumes eines Dienstleistungsnutzers zeigt, wobei das erfasste Bild von einer Bilderfassungseinheit eines beweglichen Roboters erfasst wird;
- 5 ist eine schematische Ansicht, die ein Beispiel eines Bildes zeigt, das einer Anzeigebeschränkungsverarbeitung unterzogen wurde, in dem die Anzeigebeschränkungsverarbeitung in einem beschränkten Bereich, der mit einem Zielobjekt übereinstimmt, das in Übereinstimmung mit der Eigenschaft einer vom beweglichen Roboter in dem in 4 gezeigten erfassten Bild auszuführenden Aufgabe bestimmt wird, durchgeführt wird;
- 6 ist eine schematische Ansicht, die ein Beispiel eines Bildes zeigt, das einer Anzeigebeschränkungsverarbeitung unterzogen wurde, in dem die Anzeigebeschränkungsverarbeitung in einem beschränkten Bereich, der mit einem Zielobjekt übereinstimmt, das in Übereinstimmung mit der Eigenschaft einer vom beweglichen Roboter in dem in 4 gezeigten erfassten Bild auszuführenden Aufgabe bestimmt wird, durchgeführt wird;
- 7 ist eine schematische Ansicht, die einen Zustand zeigt, in dem die Anzeigebeschränkungsverarbeitung auf einem in 4 gezeigten erfassten Bild unter Verwendung von semantischer Segmentierung durchgeführt wird;
- 8 ist eine schematische Darstellung, die ein Beispiel eines Bildes zeigt, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, wenn die Genauigkeit der Ermittlung der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe festgelegt wird;
- 9 ist eine schematische Ansicht, die einen Zustand zeigt, in dem Informationen bezüglich des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in dem beschränkten Bereich, der dem Zielobjekt entspricht, durch ein vorher festgelegtes Verfahren in dem Bild, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, eingeblendet werden;
- 10 ist eine schematische Ansicht, die ein Beispiel zeigt, in dem eine Vereinfachungs-Verarbeitung in einem Bereich des Zielobjekts, das sich nicht auf eine Aufgabe in dem Bild bezieht, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, durchgeführt wird; und
- 11 ist ein Flussdiagramm zur Beschreibung eines Verarbeitungsflusses in der Bildverarbeitungsvorrichtung nach dieser Ausführungsform.
-
Nachfolgend wird die vorliegende Erfindung basierend auf der folgenden Ausführungsform beschrieben. Allerdings ist die in den Ansprüchen dargelegte Erfindung nicht auf die folgende Ausführungsform begrenzt. Vielmehr ist es nicht unbedingt notwendig, alle zu beschreibenden Ausbildungen in der folgenden Ausführungsform als ein Mittel zur Lösung des Problems zu bieten. Die folgenden Beschreibungen und Zeichnungen werden zugunsten der Klarheit der Beschreibung gegebenenfalls weggelassen und vereinfacht. Gleiche Elemente sind in allen Zeichnungen mit den gleichen Bezugszeichen versehen und übergreifende Beschreibungen werden gegebenenfalls weggelassen.
-
Zunächst wird ein Fernbedienungssystem, dem eine Bildverarbeitungsvorrichtung nach dieser Ausführungsform zugeordnet wird, beschrieben.
-
1 ist ein konzeptionelles Diagramm zur Beschreibung eines von einem Fernbedienungssystem angestrebten Anwendungsgebiets, in dem eine Bildverarbeitungsvorrichtung nach dieser Ausführungsform eingebaut ist, und einer Gesamtstruktur davon. Wie in 1 gezeigt, enthält ein Fernbedienungssystem 10 einen beweglichen Roboter 100, ein Fernbedienungsterminal 400 und einen Systemserver 500.
-
Das Fernbedienungssystem 10 ist ein System, in dem ein Fernbediener U1, der in einer zweiten Umgebung ist, den beweglichen Roboter 100, der in einer ersten Umgebung ist, die sich von der zweiten Umgebung entfernt befindet, durch Verwendung des Fernbedienungsterminals 400 aus der Ferne bedient und in dem eine vorher festgelegte Dienstleistung, wie zum Beispiel eine Krankenpflege-Dienstleistung, für einen Dienstleistungsnutzer U2 erbracht wird. Der Fernbediener U1 ist zum Beispiel ein Pfleger, der sich um den Dienstleistungsnutzer U2, der eine Person ist, die Pflege benötigt, kümmert. Ein Bedienungssignal des Fernbedienungsterminals 400 wird mittels des mit dem Internet 600 verbundenen Systemservers 500 an den beweglichen Roboter 100 übermittelt. Obwohl in dieser Ausführungsform das Internet als ein Verbindungsnetzwerk verwendet wird, kann stattdessen auch ein anderes Netzwerk, wie zum Beispiel Intranet, verwendet werden.
-
Der bewegliche Roboter 100 ist hauptsächlich aus einem Wagenteil 110 und einem Hauptkörperteil 120 gebildet. Das Wagenteil 110 trägt Antriebsräder und eine Lenkrolle (nicht gezeigt) in einem zylindrischen Gehäuse. Die Antriebsräder werden von einem Motor drehangetrieben, wobei der bewegliche Roboter 100 übersetzen und sich in eine gewünschte Richtung drehen kann. Das Wagenteil 110 enthält einen Laserscanner 132 in einem Umfangsteil einer oberen Oberfläche davon. Der Laserscanner 132 scannt eine vorher festgelegte Reichweite innerhalb einer horizontalen Ebene für jeden Schrittwinkel und gibt aus, ob sich in jeder Richtung ein Hindernis befindet.
-
Das Hauptkörperteil 120 enthält hauptsächlich ein Rumpfteil 121, das auf einer oberen Oberfläche des Wagenteils 110 angebracht ist, ein Kopfteil 122, das auf einer oberen Oberfläche des Rumpfteils 121 platziert ist, einen Arm 123, der von einer seitlichen Oberfläche des Rumpfteils 121 getragen wird, und eine Hand 124, die an einem Spitzenteil des Arms 123 montiert ist. Der Arm 123 und die Hand 124 werden mittels eines Motors (nicht gezeigt) angetrieben und greifen verschiedene Arten von Objekten in einer kontrollierten Haltung.
-
Das Kopfteil 122 enthält hauptsächlich eine Bilderfassungseinheit 131. Die Bilderfassungseinheit 131 enthält, zum Beispiel, einen komplementären Metalloxidhalbleiter-Bildsensor (CMOS: Complementary Metal-Oxide-Semiconductor) oder einen ladungsgekoppelten Bauelement-Bildsensor (CCD: Charge-Coupled Device). Die Bilderfassungseinheit 131 erfasst ein Bild einer Umgebung, gibt das erfasste Bild als ein Bildsignal aus und sendet dieses Bildsignal an die Bildverarbeitungsvorrichtung nach dieser Ausführungsform. Das Kopfteil 122 kann um eine vertikale Achse (Pfannenachse) oder eine horizontale Achse (Kippachse) in Bezug auf das Rumpfteil 121 durch eine Antriebskraft eines Motors (nicht gezeigt) gedreht werden. Ferner kann das Kopfteil 122 ausgebildet sein, um in frontaler Richtung um eine Achse (Rollenachse) der Bilderfassungseinheit 131 gedreht zu werden. Daher ist die Bilderfassungseinheit 131 in der Lage, ein Bild des Zielobjekts in einer gewünschten Richtung zu erfassen.
-
Der bewegliche Roboter 100 ist über einen drahtlosen Router 700 in der ersten Umgebung mit dem Internet 600 verbunden. Der bewegliche Roboter 100 empfängt das Bedienungssignal vom Fernbediener U1, der in einer zweiten Umgebung ist, und führt einen Bewegungsvorgang und einen Greifvorgang aus. Die Steuerungsstruktur des beweglichen Roboters 100 wird später erläutert.
-
Der Systemserver 500 empfängt das Bedienungssignal vom Fernbedienungsterminal 400, das durch den Fernbediener U1 bedient wird, und übermittelt das empfangene Signal an den beweglichen Roboter 100. Ferner holt der Systemserver 500 Bilddaten eines Bildes ein, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, die durch Durchführen der Anzeigebeschränkungsverarbeitung auf das erfasste Bild, das durch die Bilderfassungseinheit 131 erfasst wurde, erzeugt wurde, unter Verwendung der Bildverarbeitungsvorrichtung nach dieser Ausführungsform und übermittelt die eingeholten Bilddaten an das Fernbedienungsterminal 400 des Fernbedieners U1.
-
Das Fernbedienungsterminal 400 ist ein Bedienungsterminal, das dem Fernbediener U1 ermöglicht, den beweglichen Roboter 100 aus der Ferne zu bedienen. Verschiedene Arten von Informationsterminals, wie zum Beispiel ein Smartphone, ein Tablet-Terminal, ein Personal Computer oder ein tragbarer Computer, können als das Fernbedienungsterminal 400 verwendet werden. Das Fernbedienungsterminal 400 ist über den drahtlosen Router 700 in der zweiten Umgebung, die sich entfernt von der ersten Umgebung befindet, mit dem Internet 600 verbunden.
-
Das Fernbedienungsterminal 400 zeigt ein Bild an, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, die durch Durchführen der Anzeigebeschränkungsverarbeitung auf das erfasste Bild, das durch die Bilderfassungseinheit 131 erfasst wurde, erzeugt wurde, und zeigt verschiedene Arten von Informationen zur Bedienung des beweglichen Roboters 100 an. Der Fernbediener U1 bedient das Fernbedienungsterminal 400, um den beweglichen Roboter 100 zu bedienen, während er das Bild, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, durch das Fernbedienungsterminal 400 betrachtet. Das durch das Fernbedienungsterminal 400 erzeugte Bedienungssignal wird über das Internet 600 an den Systemserver 500 übermittelt.
-
Das Fernbedienungssystem 10 kann ein Dienstleistungsnutzerterminal enthalten, das dem Dienstleistungsnutzer U2 ermöglicht, ein Bedienungssignal oder Ähnliches an den beweglichen Roboter 100 zu übermitteln.
-
Als nächstes bezugnehmend auf 2, wird eine Steuerungsstruktur des beweglichen Roboters 100 erläutert. In der folgenden Beschreibung wird gegebenenfalls Bezug auf 1 genommen.
-
2 ist ein Blockdiagramm, das die Steuerungsstruktur des beweglichen Roboters 100 zeigt. Wie in 2 gezeigt, enthält der bewegliche Roboter 100 neben der oben beschriebenen Bilderfassungseinheit 131 und dem Laserscanner 132 einen Controller 150, eine Wagenantriebseinheit 160, eine Oberkörperantriebseinheit 170 und eine Kommunikationseinheit 190. Ferner ist eine Bildverarbeitungsvorrichtung 140 nach dieser Ausführungsform in den beweglichen Roboter 100 eingebaut. Es können auch andere Elemente als Steuerungsstruktur des beweglichen Roboters 100 hinzugefügt werden.
-
Der Controller 150, der zum Beispiel eine Betriebsschaltung ist, die eine zentrale Verarbeitungseinheit (CPU: Central Processing Unit) enthält, ist zum Beispiel in einer Steuereinheit, die im Rumpfteil 121 enthalten ist, gespeichert. Die Wagenantriebseinheit 160 enthält eine Antriebsschaltung oder einen Motor zum Antrieb der Antriebsräder. Der Controller 150 sendet ein Antriebssignal an die Wagenantriebseinheit 160 in Übereinstimmung mit dem Bedienungssignal des Fernbedieners U1 und führt dabei die Drehsteuerung der Antriebsräder aus. Die Oberkörperantriebseinheit 170 enthält ein Greifteil, das den Arm 123 und die Hand 124 enthält, und eine Antriebsschaltung oder einen Motor zum Antrieb des Rumpfteils 121 und des Kopfteils 122. Der Controller 150 sendet das Antriebssignal an die Oberkörperantriebseinheit 170 in Übereinstimmung mit dem Bedienungssignal des Fernbedieners U1 und führt dabei die Greifsteuerung und die Drehsteuerung des Rumpfteils 121 und des Kopfteils 122 aus. Ferner empfängt der Controller 150 ein Rückführungssignal, wie zum Beispiel einen Encoder von der Oberkörperantriebseinheit 170, um die aktuellen Positionen des Arms 123 und der Hand 124 und die Richtungen des Rumpfteils 121 und des Kopfteils 122 zu erfassen.
-
Ein Speicher 180, der ein nichtflüchtiges Speichermedium ist, kann zum Beispiel eine Solid-State-Festplatte sein. Der Speicher 180 speichert neben einem Steuerungsprogramm zur Steuerung des beweglichen Roboters 100 verschiedene Parameterwerte, Funktionen, Nachschlagtabellen und Ähnliches, das für die Steuerung verwendet wird.
-
Die Kommunikationseinheit 190, die zum Beispiel eine drahtlose LAN-Einheit ist, führt eine Funkübertragung mit dem drahtlosen Router 700 durch. Die Kommunikationseinheit 190 enthält eine Empfangseinheit 190a und eine Übermittlungseinheit 190b. Das vom Fernbedienungsterminal 400 erzeugte Bedienungssignal wird von der Empfangseinheit 190a der Kommunikationseinheit 190 empfangen und an den Controller 150 weitergegeben. Die Übermittlungseinheit 190b soll die Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, die durch Durchführen der Anzeigebeschränkungsverarbeitung auf das erfasste Bild, das durch die Bilderfassungseinheit 131 erfasst wurde, erzeugt wurde, unter Verwendung der Bildverarbeitungsvorrichtung nach dieser Ausführungsform, und die verschiedenen Arten von Informationen für die Bedienung des beweglichen Roboters 100 an das Fernbedienungsterminal 400 übermitteln.
-
Die Bilderfassungseinheit 131 erfasst ein Bild der Umgebung in Übereinstimmung mit einer Anfrage des Controllers 150 und gibt die Bilddaten des erfassten Bildes an den Controller 150 weiter. Während der Ausführung der Fernbedienung erfasst die Bilderfassungseinheit 131 durchgehend ein Bild der Umgebung. Der Laserscanner 132 ermittelt, ob es ein Hindernis in Übereinstimmung mit der Anfrage vom Controller 150 gibt und gibt das Ermittlungssignal, welches das Ergebnis der Ermittlung ist, an den Controller 150 weiter.
-
Die Bildverarbeitungsvorrichtung 140 ist eine Vorrichtung zur Durchführung der Anzeigebeschränkungsverarbeitung auf dem erfassten Bild, das von der Bilderfassungseinheit 131 im beweglichen Roboter 100 erfasst wurde. Die Anzeigebeschränkungsverarbeitung ist eine Bildverarbeitung, die in einem vorher festgelegten beschränkten Bereich im erfassten Bild durchgeführt wird, um diesen vorher festgelegten beschränkten Bereich visuell unkenntlich zu machen oder ihn visuell schwer kenntlich zu machen und ist, zum Beispiel, eine Verarbeitung zur Durchführung von visueller Abstraktion, wie zum Beispiel Ausmal-Verarbeitung, Verzerr-Verarbeitung oder Mosaik-Verarbeitung. Der vorher festgelegte beschränkte Bereich ist ein Bereich im erfassten Bild, der dem Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, entspricht. Der Bereich, der dem Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, entspricht, kann neben diesem Zielobjekt einen Bereich in der Nähe des Zielobjekts enthalten. Durch Verwendung des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, die durch Durchführen der Anzeigebeschränkungsverarbeitung auf das erfasste Bild erzeugt wurde, als das auf dem Fernbedienungsterminal 400 anzuzeigende Bild, ist die Privatsphäre des Dienstleistungsnutzers U2 geschützt.
-
Obwohl die Struktur, in der die Bildverarbeitungsvorrichtung 140 im beweglichen Roboter 100 eingebaut ist, in 2 gezeigt wird, ist sie lediglich ein Beispiel und eine Struktur, in der die Bildverarbeitungsvorrichtung 140 nicht im beweglichen Roboter 100 eingebaut ist, kann stattdessen eingesetzt werden. Die Bildverarbeitungsvorrichtung 140 kann zum Beispiel im in 1 gezeigten Systemserver 500 eingebaut sein. Ferner, wenn die Bildverarbeitungsvorrichtung 140 im beweglichen Roboter 100 eingebaut ist, kann die Bilderverarbeitungsvorrichtung 140 einteilig mit dem Controller 150 gebildet sein.
-
Als nächstes bezugnehmend auf 3, wird eine Steuerungsstruktur der Bildverarbeitungsvorrichtung 140 erläutert. In der folgenden Beschreibung wird auch auf 1 und 2 Bezug genommen.
-
3 ist ein Blockdiagramm, das eine Steuerungsstruktur der Bildverarbeitungsvorrichtung 140 zeigt. Wie in 3 gezeigt enthält die Bildverarbeitungsvorrichtung 140 eine Aufgaben-Einhol-Einheit 141, eine Zielobjekt-Erkennungseinheit 142, eine beschränkte Zielobjekt-Bestimmungseinheit 143 und eine Anzeigebeschränkungsverarbeitungs-Einheit 144.
-
Die Aufgaben-Einhol-Einheit 141 holt die vom in 1 und 2 gezeigten beweglichen Roboter 100 auszuführende Aufgabe ein. Genauer gesagt holt die Aufgaben-Einhol-Einheit 141 Informationen ein, die mit der Eigenschaft der Aufgabe, die mittels der Fernbedienung (durch die Fernbedienung) am beweglichen Roboter 100 durchgeführt wird, übereinstimmen. Die vom beweglichen Roboter 100 auszuführende Aufgabe ist eine Reihe von Handlungen, um eine bestimmte Sache zu bewältigen, und enthält zum Beispiel eine Aufgabe des Windel wechseln des Dienstleistungsnutzers U2 oder eine Aufgabe des Säuberns eines Zimmers des Dienstleistungsnutzers U2. Die vom beweglichen Roboter 100 auszuführende Aufgabe, welche die mittels der Fernbedienung auszuführende Aufgabe ist, wird zum Beispiel durch den Fernbediener U1 ausgeführt, der den beweglichen Roboter 100 aus der Ferne bedient. Ansonsten kann die vom beweglichen Roboter 100 auszuführende Aufgabe eine Aufgabe sein, die vom beweglichen Roboter 100 durch eine Aufgaben-Startanweisung mittels dem Fernbedienungsterminal 400 durch den Fernbediener U1 autonom ausgeführt wird. Ansonsten kann die vom beweglichen Roboter 100 auszuführende Aufgabe eine Aufgabe sein, die vom beweglichen Roboter durch eine autonome Aufgaben-Startfestlegung durch den beweglichen Roboter 100 in einer Situation, in welcher der bewegliche Roboter 100 durch den Fernbediener U1 überwacht wird, autonom ausgeführt wird (d.h. in einer Situation, in der die Bewegung des beweglichen Roboters 100 und die Umgebung desselben mittels des Fernbedienungsterminals 400 oder Ähnlichem erfasst werden können).
-
Die Zielobjekt-Erkennungseinheit 142 erkennt das Zielobjekt im erfassten Bild. Die beschränkte Zielobjekt-Bestimmungseinheit 143 bestimmt ein Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, unter den von der Zielobjekt-Erkennungseinheit 142 erkannten Zielobjekten in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe. Der Dienstleistungsnutzer U2 (siehe 1), der eine vom beweglichen Roboter 100 erbrachte Dienstleistung erhält, kann in der Lage sein, Kriterien zur Bestimmung des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter 100 auszuführenden Aufgabe in der beschränkten Zielobjekt-Bestimmungseinheit 143 zu korrigieren. In diesem Fall korrigiert der Dienstleistungsnutzer U2 Kriterien zur Bestimmung des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, zum Beispiel mittels einer Eingabevorrichtung, wie zum Beispiel ein Dienstleistungsnutzerterminal. Die Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe bedeutet zum Beispiel die Art oder den Zweck der Aufgabe.
-
Die Anzeigebeschränkungsverarbeitungs-Einheit 144 führt die Anzeigebeschränkungsverarbeitung im beschränkten Bereich des erfassten Bildes durch, das mit dem Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, übereinstimmt. Die Anzeigebeschränkungsverarbeitungs-Einheit 144 ist in der Lage, eine universelle Technik zur Erkennung des Zielobjekts im erfassten Bild zu verwenden. Die Anzeigebeschränkungsverarbeitungs-Einheit 144 kann den beschränkten Bereich entlang der Kontur des Zielobjekts, für das eine Anzeigebeschränkung durch Segmentierung benötigt wird, zum Beispiel unter Verwendung der Segmentierung durch einen Algorithmus des Maschinellen Lernens definieren. Die Segmentierung ist eine Technik zur Erkennung des Zielobjekts im erfassten Bild basierend auf vom Maschinellen Lernen erzeugten Verzeichnisdaten. Das durch die Segmentierung erkannte Zielobjekt kann in einem Raum zum Beispiel ein Boden, ein Teppich, eine Tatami-Matte, eine Wand, ein Stuhl, ein Tisch, ein Fenster, eine Tür, eine Person, eine Katze, ein Hund oder Ähnliches sein. Durch Verwendung der Segmentierung durch den Algorithmus des Maschinellen Lernens ist es möglich, das Zielobjekt im erfassten Bild sofort zu erkennen.
-
Die Anzeigebeschränkungsverarbeitungs-Einheit 144 gibt Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, an die Übermittlungseinheit 190b (siehe 2) der Kommunikationseinheit 190 aus. Die ausgegebenen Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, werden mittels der Übermittlungseinheit 190b an den Systemserver 500 (siehe 1) übermittelt. Wie oben beschrieben, da die Bilderfassungseinheit 131 ununterbrochen ein Bild der Umgebung erfasst, werden die Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, in Übereinstimmung mit der Bedienung durch die Bilderfassungseinheit 131 sequenziell ausgegeben und die ausgegebenen Daten werden an den Systemserver 500 übermittelt.
-
Die vom beweglichen Roboter 100 auszuführende Aufgabe, die Aufgabe, die von der Aufgaben-Einhol-Einheit 141 eingeholt wurde, kann auf die eine Eingabe durch das Fernbedienungsterminal 400 (siehe 1) begrenzt sein und zur Aufgaben-Einhol-Einheit 141 gesendet werden. Wenn die vom beweglichen Roboter 100 auszuführende Aufgabe eine Aufgabe ist, die vom beweglichen Roboter 100 autonom durchgeführt wird, führt der Fernbediener U1 lediglich eine Überwachung durch das Fernbedienungsterminal 400 durch und bedient den beweglichen Roboter 100 nicht. Daher, wenn die Aufgabe autonom vom beweglichen Roboter 100 durchgeführt wird, ist das Zielobjekt im erfassten Bild, dessen Anzeige beschränkt werden soll, gleichmäßig eingestellt. Nach dieser Vorgehensweise ist es möglich, eine Zunahme der unnötigen Verarbeitungslast zu verhindern, wenn der bewegliche Roboter 100 die Aufgabe autonom durchführt.
-
Als nächstes wird die Durchführung der Anzeigebeschränkungsverarbeitung im beschränkten Bereich im erfassten Bild, der mit dem Zielobjekt übereinstimmt, das in Übereinstimmung mit der Eigenschaft der Aufgabe bestimmt wurde, erläutert. In der folgenden Beschreibung wird, falls nötig, auch Bezug auf 1 und 2 genommen.
-
4 ist eine schematische Ansicht, die ein Beispiel des erfassten Bildes des Raumes des Dienstleistungsnutzers U2 zeigt, das von der Bilderfassungseinheit 131 (siehe 1) eines beweglichen Roboters 100 erfasst wurde. Wie in 4 gezeigt enthält der Raum des Dienstleistungsnutzer U2 als Zielobjekte, neben der Person T1, die den Dienstleistungsnutzer U2 enthält, ein Bett T2, einen Tisch T3, einen Mülleimer T4, Windeln T5, Essen T6 und Ähnliches. Die Windeln T5 enthalten die Windel, die derzeit von der Person T1 getragen wird, und die Ersatzwindel, die auf dem Bett T2 platziert ist. Das Essen T6 ist auf dem Tisch T3 platziert.
-
5 und 6 sind schematische Ansichten, die jeweils ein Beispiel des Bildes zeigen, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, in dem die Anzeigebeschränkungsverarbeitung im beschränkten Bereich, der mit dem Zielobjekt übereinstimmt, das in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter 100 im in 4 gezeigten erfassten Bild auszuführenden Aufgabe bestimmt wurde, durchgeführt wird. Es wird angenommen, dass die Anzeigebeschränkungsverarbeitung eine Ausmal-Verarbeitung ist. Es wird ferner angenommen, dass die Aufgabe im in 5 gezeigten Beispiel lautet, die Windel T5 zu wechseln und dass die Aufgabe im in 6 gezeigten Beispiel lautet, den Raum zu säubern.
-
Wie in 5 gezeigt, wenn die Aufgabe lautet, die Windel T5 zu wechseln, wird die Person T1 als das Zielobjekt bestimmt und die Windeln T5 werden nicht bestimmt. Das heißt, dass in einem erfassten Bild, das von der Bilderfassungseinheit 131 (siehe 1) erfasst wurde, der beschränkte Bereich, der mit der Person T1 übereinstimmt, einer Ausmal-Verarbeitung unterzogen wird, wohingegen die Windeln T5 visuell erkennbar sind. Wenn die Windel T5 gewechselt ist, falls der Fernbediener U1 (siehe 1) die Windeln T5 nicht deutlich sehen kann, ist es möglich, dass die Aufgabe nicht angemessen erfüllt werden kann (z.B. kann an der Windel T5 klebender Dreck abfallen). Deshalb wird die angemessene Erfüllung der Aufgabe gegenüber der Privatsphäre des Dienstleistungsnutzers U2 (siehe 1) priorisiert.
-
Wie in 6 gezeigt, wenn die Aufgabe lautet, den Raum zu säubern, werden die Person T1 und die Windeln T5 als die Zielobjekte bestimmt. Das heißt, dass in einem erfassten Bild, das von der Bilderfassungseinheit 131 (siehe 1) erfasst wurde, die beschränkten Bereiche, die mit der Person T1 und den Windeln T5 übereinstimmen, einer Ausmal-Verarbeitung unterzogen werden. Wenn der Raum gesäubert ist, ist es ausreichend, dass der Fernbediener U1 (siehe 1) die Person T1 und die Windeln T5 als die Hindernisse erkennen kann und der Fernbediener U1 muss die Zielobjekte nicht deutlich sehen. Daher wird die Privatsphäre des Dienstleistungsnutzers U2 (siehe 1) priorisiert.
-
Wie oben beschrieben, gibt es durch verändern des Zielobjekts im erfassten Bild, dessen Anzeige in Übereinstimmung mit der Eigenschaft der Aufgabe beschränkt werden soll, keine Möglichkeit, dass eine Anzeigebeschränkung auf dem Zielobjekt im erfassten Bild, das der Fernbediener U1 deutlich sehen muss, um die Erfüllung der Aufgabe zu ermöglichen, festgesetzt wird. Das heißt, dass nur eine notwendige und ausreichende Anzeigebeschränkung auf dem erfassten Bild festgesetzt werden kann, um die Erfüllung der Aufgabe zu ermöglichen. Dementsprechend ist es möglich, ein Bild zu präsentieren, das dem Fernbediener ermöglicht, eine für den Fernbediener angemessene Bedienung durchzuführen und gleichzeitig die Privatsphäre zu schützen.
-
Im beschriebenen Fall mit Bezug auf 5, in dem die Aufgabe lautet, die Windel T5 zu wechseln, kann ein Teil der Person T1 als das Zielobjekt bestimmt werden und Ausmal-Verarbeitung, welche die Anzeigebeschränkungsverarbeitung ist, kann in dem beschränkten Bereich, der mit diesem Teil der Person T1 übereinstimmt, durchgeführt werden. In der semantischen Segmentierung wird, anstatt das gesamte erfasste Bild oder einen Teil des Bildes zu ermitteln, jedes Pixel mit der angedeuteten Bedeutung markiert, wobei es möglich ist, das Zielobjekt im erfassten Bild feiner zu erkennen. Wenn zum Beispiel semantische Segmentierung, die ein Verfahren der Segmentierung ist, verwendet wird, kann jedes Teil - wie zum Beispiel das „Gesicht“, die „Oberbekleidung“, die „Hose“ und die „Unterwäsche“ - der Person T1, die das Zielobjekt ist, erkannt werden.
-
7 ist eine schematische Ansicht, die einen Zustand zeigt, in dem die Anzeigebeschränkungsverarbeitung auf einem in 4 gezeigten erfassten Bild unter Verwendung von semantischer Segmentierung durchgeführt wird. Wenn in dem in 5 gezeigten Beispiel die Aufgabe lautet, eine Windel zu wechseln, wird die ganze Person T1, die als Zielobjekt bestimmt wurde, ausgemalt. Andererseits, wenn die semantische Segmentierung wie in 7 gezeigt verwendet wird, kann die Ausmal-Verarbeitung, welche die Anzeigebeschränkungsverarbeitung ist, möglicherweise lediglich im beschränkten Bereich des erfassten Bildes, der mit einer entblößten Haut T1c - mit Ausnahme eines Gesichts T1a - übereinstimmt, durchgeführt werden. Das heißt, dass das Gesicht T1a und Klamotten T1b der Person T1, die das Zielobjekt ist, im erfassten Bild visuell erkannt werden können. Nach dieser Vorgehensweise ist der Fernbediener U1 (siehe 1) in der Lage, Arbeit durchzuführen, während er gleichzeitig den Gesichtsausdruck des Dienstleistungsnutzers U2 (siehe 1) beim Wechseln der Windel T5 überprüfen kann, wobei es für den Fernbediener U1 möglich wird, eine angemessenere Dienstleistung für den Dienstleistungsnutzer U2 zu erbringen.
-
In dem in 5 und 6 gezeigten Bild, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, sind die Genauigkeit der Ermittlung der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in der Anzeigebeschränkungsverarbeitungs-Einheit 144 (siehe 3) in dem Fall, in dem die Aufgabe lautet, die Windel T5 zu wechseln und in dem Fall, in dem die Aufgabe lautet, den Raum zu säubern, gleich. Andererseits kann die Genauigkeit der Ermittlung der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in der Anzeigebeschränkungsverarbeitungs-Einheit 144 in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter 100 auszuführenden Aufgabe festgelegt werden.
-
8 ist eine schematische Darstellung, die ein Beispiel des Bildes zeigt, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, wenn die Genauigkeit der Ermittlung der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter 100 auszuführenden Aufgabe festgelegt wird. Wenn die Aufgabe wie in 5 gezeigt lautet, die Windel T5 zu wechseln, wird die Anzeigebeschränkungsverarbeitung vorzugsweise auf dem erfassten Bild entlang der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, strikter durchgeführt, um die Erfüllung der Aufgabe ohne ein Scheitern zu ermöglichen.
-
Andererseits, wenn die Aufgabe wie in 8 gezeigt lautet, den Raum zu säubern, wird die Genauigkeit der Ermittlung der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, im erfassten Bild mehr aufgerauht als in dem Fall, in dem die Aufgabe lautet, die Windel T5 zu wechseln. Wenn die Genauigkeit der Ermittlung der Kontur des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, aufgerauht wird, nimmt der Bereich, der den Bereich in der Nähe des Zielobjekts enthält, nämlich einen Bereich außerhalb des Bereichs des Zielobjekts, im beschränkten Bereich, der mit dem Zielobjekt übereinstimmt, zu, wobei die äußere Form des Zielobjekts unscharfer wird. Wenn die Aufgabe jedoch lautet, den Raum zu säubern, kann die Aufgabe erfüllt werden, selbst wenn die äußere Form des Zielobjekts im erfassten Bild, für das eine Anzeigebeschränkung benötigt wird, unscharfer wird. Auf diese Weise, nämlich wenn die Aufgabe erfüllt werden kann, selbst wenn die äußere Form des Zielobjekts unscharfer wird durch die Anzeigebeschränkungsverarbeitung, wird es möglich, die Verarbeitungslast in der Bildverarbeitungsvorrichtung 140 durch aufrauhen der Genauigkeit der Ermittlung der Kontur des Zielobjekts (siehe 3) zu verringern.
-
Die in 3 gezeigte Anzeigebeschränkungsverarbeitungs-Einheit 144 kann Informationen bezüglich des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, im beschränkten Bereich, der mit dem Zielobjekt übereinstimmt, durch ein vorher festgelegtes Verfahren einblenden. 9 ist eine schematische Ansicht, die einen Zustand zeigt, in dem Informationen bezüglich des Zielobjekts, für das eine Anzeigebeschränkung benötigt wird, in dem beschränkten Bereich, der dem Zielobjekt entspricht, in dem Bild, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, durch ein vorher festgelegtes Verfahren eingeblendet werden. Wie in 9 gezeigt werden Informationen bezüglich des Zielobjekts an der Person T1 und den Windeln T5, welche die Zielobjekte sind, an denen die Anzeigebeschränkungsverarbeitung durchgeführt wurde, unter Verwendung von Sprechblasen F1 und F2 in der Nähe des Zielobjekts angezeigt. Nach dieser Vorgehensweise wird klar, was die Zielobjekte sind, an denen die Anzeigebeschränkungsverarbeitung durchgeführt wurde, wobei es für den Fernbediener U1 (siehe 1) möglich wird, eine angemessenere Dienstleistung für den Dienstleistungsnutzer U2 (siehe 1) zu erbringen.
-
In der in 3 gezeigten Bildverarbeitungsvorrichtung 140 kann die beschränkte Zielobjekt-Bestimmungseinheit 143 den Bereich des Zielobjekts im erfassten Bild festlegen, der sich nicht auf eine Aufgabe bezieht und die Anzeigebeschränkungsverarbeitungs-Einheit 144 kann eine Vereinfachungs-Verarbeitung in dem beschränkten Bereich durchführen, der mit dem Zielobjekt, das sich nicht auf eine Aufgabe bezieht, übereinstimmt. Die Vereinfachungs-Verarbeitung bedeutet, die Anzeigebeschränkungsverarbeitung in allen beschränkten Bereichen durchzuführen, die mit den Zielobjekten übereinstimmen. Zum Beispiel wird eine allgemeine Anzeigebeschränkungsverarbeitung in allen beschränkten Bereichen durchgeführt, die mit diesen Zielobjekten übereinstimmen.
-
10 ist eine schematische Ansicht, die ein Beispiel zeigt, in dem eine Vereinfachungs-Verarbeitung in dem Bereich, der mit dem Zielobjekt übereinstimmt, das sich nicht auf eine Aufgabe in dem Bild bezieht, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, durchgeführt wird. Wenn die Aufgabe lautet, das Essen T6 wegzuräumen, sind im in 4 gezeigten erfassten Bild die Person T1, das Bett T2, der Mülleimer T4 und die Windel T5, die in diesem erfassten Bild enthalten sind, Zielobjekte, die sich nicht auf diese Aufgabe beziehen. Deshalb, wie in 10 gezeigt, wird in dem Bild, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, die allgemeine Anzeigebeschränkungsverarbeitung in einem integrierten Bereich T7 durchgeführt, der die Person T1, das Bett T2 und die Windel T5 und den Mülleimer T4, die alle Zielobjekte sind, die sich nicht auf diese Aufgabe beziehen, enthält.
-
Nach dieser Vorgehensweise ist es möglich, das Bilddatenvolumen des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, zu verringern. Dementsprechend ist es auch in dem Fall, in dem die Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, von der in 3 gezeigten Bildverarbeitungsvorrichtung 140 zu dem in 1 gezeigten Fernbedienungsterminal 400 sequentiell übermittelt werden möglich, eine Störung, die in dem Bild auftritt, das der Anzeigebeschränkungsverarbeitung unterzogen wurde und auf dem Fernbedienungsterminal 400 anzuzeigen ist, zu verringern.
-
Als nächstes wird ein Verarbeitungsfluss der Bildverarbeitungsvorrichtung 140 nach dieser Ausführungsform erläutert. In der folgenden Beschreibung wird auch Bezug auf 1 und 2 genommen.
-
11 ist ein Flussdiagramm, das einen Verarbeitungsfluss in der Bildverarbeitungsvorrichtung 140 nach dieser Ausführungsform beschreibt. Wie in 11 gezeigt holt die Aufgaben-Einhol-Einheit 141 zunächst die vom beweglichen Roboter auszuführende Aufgabe ein (Schritt S1). Als nächstes erkennt die Zielobjekt-Erkennungseinheit 142 die Zielobjekte im erfassten Bild (Schritt S2). Als nächstes bestimmt die beschränkte Zielobjekt-Bestimmungseinheit 143 in Übereinstimmung mit der Eigenschaft der vom beweglichen Roboter auszuführenden Aufgabe ein Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, unter den von der Zielobjekt-Erkennungseinheit erkannten Zielobjekten (Schritt S3).
-
Nach Schritt S3 führ die Anzeigebeschränkungsverarbeitungs-Einheit 144 die Anzeigebeschränkungsverarbeitung im beschränkten Bereich im erfassten Bild durch, der mit dem Zielobjekt, für das eine Anzeigebeschränkung benötigt wird, übereinstimmt (Schritt S4). Als nächstes gibt die Anzeigebeschränkungsverarbeitungs-Einheit 144 die Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, an die Übermittlungseinheit aus, die ausgebildet ist, um die Bilddaten an das Fernbedienungsterminal zu übermitteln (Schritt S5).
-
Aus der vorangegangenen Diskussion und nach der Bildverarbeitungsvorrichtung nach dieser Ausführungsform ist es möglich, ein Bild zu präsentieren, das dem Fernbediener ermöglicht, eine für den Fernbediener angemessene Bedienung durchzuführen und gleichzeitig die Privatsphäre zu schützen.
-
Die vorliegende Anmeldung ist nicht auf die vorangegangenen Ausführungsformen beschränkt und kann entsprechend geändert werden, ohne von dem Geist der vorliegenden Anmeldung abzuweichen.
-
Ferner, obwohl das Beispiel, in dem das Fernbedienungssystem, dem die Bildverarbeitungsvorrichtung nach der vorangegangenen Ausführungsform zugeordnet ist, zum Erbringen von Krankenpflege-Dienstleistungen für den Dienstleistungsnutzer, der eine vom beweglichen Roboter erbrachte Dienstleistung erhält, wie beschrieben verwendet wird, ist die vorliegende Anmeldung nicht auf dieses Beispiel beschränkt. Die Bildverarbeitungsvorrichtung nach der vorangegangenen Ausführungsform kann einem Fernbedienungssystem zugeordnet werden, das eine vorher festgelegte Dienstleistung für den Dienstleistungsnutzer erbringt, die keine Krankenpflege-Dienstleistung ist. Zum Beispiel kann die Bildverarbeitungsvorrichtung nach der vorangegangenen Ausführungsform einem Fernbedienungssystem zugeordnet werden, das verwendet wird, um Sicherheitsdienstleistungen durch einen mobilen Roboter in einem Büro zu erbringen.
-
Ferner, werden in der vorangegangenen Ausführungsform, wie in 1 gezeigt, die Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, mittels der Übermittlungseinheit 190b von der Anzeigebeschränkungsverarbeitungs-Einheit 144 an den Systemserver 500 übermittelt und werden ferner vom Systemserver 500 an das Fernbedienungsterminal 400 übermittelt. Allerdings können die von der Anzeigebeschränkungsverarbeitungs-Einheit 144 ausgegebenen Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, mittels dem Systemserver 500 direkt von der Übermittlungseinheit 190b an das Fernbedienungsterminal 400 übermittelt werden. In diesem Fall werden die Bilddaten des Bildes, das der Anzeigebeschränkungsverarbeitung unterzogen wurde, mittels eines Routers von der Übermittlungseinheit 190b drahtlos an das Fernbedienungsterminal 400 übermittelt.
