DE112019006440T5 - Pfad-Bestimmungsvorrichtung, Roboter und Pfad-Bestimmungsverfahren - Google Patents

Pfad-Bestimmungsvorrichtung, Roboter und Pfad-Bestimmungsverfahren Download PDF

Info

Publication number
DE112019006440T5
DE112019006440T5 DE112019006440.1T DE112019006440T DE112019006440T5 DE 112019006440 T5 DE112019006440 T5 DE 112019006440T5 DE 112019006440 T DE112019006440 T DE 112019006440T DE 112019006440 T5 DE112019006440 T5 DE 112019006440T5
Authority
DE
Germany
Prior art keywords
robot
path
cnn
speed
road user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019006440.1T
Other languages
English (en)
Inventor
Yuji Hasegawa
Sango MATSUZAKI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=71127824&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE112019006440(T5) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of DE112019006440T5 publication Critical patent/DE112019006440T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

Eine Pfad-Bestimmungsvorrichtung und so weiter werden bereitgestellt, welche einen Pfad eines Roboters derart bestimmen kann, dass ein sich autonomer mobiler Roboter reibungslos zu einem Ziel bewegt, während eine Interferenz mit einem Verkehrsteilnehmer selbst unter einer Verkehrsumgebung wie einer Menschenmenge vermieden wird. Eine Pfad-Bestimmungsvorrichtung (1) bestimmt eine temporäre Bewegungsgeschwindigkeit-Anweisung v_cnn, indem ein CNN verwendet wird, so dass eine Interferenz zwischen einem Roboter (2) und einem Verkehrsteilnehmer vermieden wird, und bestimmt eine Bewegungsgeschwindigkeit-Anweisung v des Roboters (2), indem ein DWA verwendet wird, so dass in einem Fall, dass von dem Roboter (2) angenommen wird, dass er sich von einer momentanen Position durch die temporäre Bewegungsgeschwindigkeit-Anweisung v_cnn bewegt, eine Zielfunktion G(v), einschließlich einer Distanz dist zu dem Verkehrsteilnehmer, welcher dem Roboter (2) am nächsten ist, und der temporären Bewegungsgeschwindigkeit-Anweisung v_cnn des Roboters (2) als unabhängige Variablen, ein maximaler Wert wird.

Description

  • Technisches Feld
  • Die vorliegende Erfindung betritt eine Pfad-Bestimmungsvorrichtung und so weiter, welche einen Pfad eines autonomen mobilen Roboters bestimmen.
  • Technischer Hintergrund
  • In verwandtem Stand der Technik ist als eine Pfad-Bestimmungsvorrichtung, welche einen Pfad eines autonomen mobilen Roboters bestimmt, eine Vorrichtung bekannt geworden, welche in Patentliteratur 1 beschrieben ist. In dieser Pfad-Bestimmungsvorrichtung wird eine mögliche Interferenzzeit, in welcher für einen Roboter vorhergesagt wird, dass er möglicherweise mit einem Verkehrsteilnehmer interferiert, auf Grundlage einer Geschwindigkeit eines Verkehrsteilnehmers, wie beispielsweise eines Fußgängers, berechnet, und eine virtuelle Hindernisregion wird berechnet, zu welcher eine Bewegung des Verkehrsteilnehmers eine vorbestimmte Zeit später angenommen wird. Dann wird ein Pfad des Roboters auf Grundlage der möglichen Interferenzzeit und der virtuellen Hindernisregion bestimmt. Dementsprechend wird eine Interferenz zwischen dem Roboter und dem Verkehrsteilnehmer vermieden.
  • Zitateliste
  • Patentliteratur
  • Patentliteratur 1: veröffentlichtes japanisches Patent Nr. 2009-110495
  • Abriss der Erfindung
  • Technisches Problem
  • In der oben beschriebenen Pfad-Bestimmungsvorrichtung aus dem Stand der Technik tritt aufgrund einer möglichen Interferenzzeit eines Verkehrsteilnehmers und einer virtuellen Hindernisregion, wenn ein tatsächlicher Verkehrsteilnehmer, wie beispielsweise ein Fußgänger, sich in einem unvorhersehbaren Ort bewegt, ein Interferenzzustand zwischen einem Roboter und einem Verkehrsteilnehmer häufig auf. Folglich besteht ein Problem, dass ein Stoppzustand des Roboters häufig auftritt und eine Gebrauchstauglichkeit niedrig wird. Insbesondere wird dieses Problem unter einer Verkehrsumgebung signifikant, in welcher eine Menschenmenge präsent ist.
  • Die vorliegende Erfindung wurde gemacht, um das obige Problem zu lösen, und es ist eine Aufgabe, eine Pfad-Bestimmungsvorrichtung und so weiter bereitzustellen, welche einen Pfad eines Roboters derart bestimmen können, dass sich ein autonomer Roboter reibungslos zu einem Ziel bewegt, während eine Interferenz mit einem Verkehrsteilnehmer selbst unter einer Verkehrsumgebung wie einer Menschenmenge vermieden wird.
  • Lösung des Problems
  • Um die obige Aufgabe zu lösen, stellt die vorliegende Erfindung eine Pfad-Bestimmungsvorrichtung bereit, welche einen Pfad in einem Fall bestimmt, dass sich ein autonomer mobiler Roboter zu einem Ziel unter einer Bedingung bewegt, in welcher ein Verkehrsteilnehmer, einschließlich eines Fußgängers, in einer Verkehrsumgebung zu dem Ziel präsent ist, wobei die Pfad-Bestimmungsvorrichtung umfasst: eine Bestimmungseinheit für einen vorhergesagten Pfad, welche einen vorhergesagten Pfad als einen vorhegesagten Wert eines Pfads des Roboters bestimmt, indem ein vorbestimmter Vorhersagealgorithmus verwendet wird, so dass eine Interferenz zwischen dem Roboter und dem Verkehrsteilnehmer vermieden wird; und eine Pfad-Bestimmungseinheit, welche den Pfad des Roboters bestimmt, indem ein vorbestimmter Steueralgorithmus verwendet wird, so dass in einem Fall, in welchem für den Roboter angenommen wird, dass er sich in dem vorbestimmten Pfad von einer momentanen Position bewegt, eine Zielfunktion, einschließlich einer Distanz zu dem Verkehrsteilnehmer, welcher dem Roboter am nächsten ist, und einer Geschwindigkeit des Roboters als unabhängige Variablen, einen maximalen Wert annimmt.
  • In dieser Pfad-Bestimmungsvorrichtung wird der vorhergesagte Pfad als der vorhergesagte Wert des Pfads des Roboters bestimmt, indem der vorbestimmte Vorhersagealgorithmus verwendet wird, so dass eine Interferenz zwischen dem Roboter und dem Verkehrsteilnehmer vermieden wird. Ferner wird der Pfad des Roboters bestimmt, indem der vorbestimmte Steueralgorithmus verwendet wird, so dass in einem Fall, in welchem für den Roboter angenommen wird, dass er sich in dem vorhergesagten Pfad von der momentanen Position bewegt, die Zielfunktion, einschließlich der Distanz zu dem Verkehrsteilnehmer, welcher dem Roboter am nächsten ist, und der Geschwindigkeit des Roboters als die unabhängigen Variablen, den maximalen Wert annimmt. Wie oben beschrieben, kann in einem Fall, in welchem der Pfad des Roboters derart bestimmt wird, dass die Zielfunktion, welche die Distanz zu dem Verkehrsteilnehmer, welcher dem Roboter am nächsten ist, und die Geschwindigkeit des Roboters als unabhängige Variablen umfasst, den maximalen Wert annimmt, der Pfad des Roboters bestimmt werden, während die Distanz zu dem Verkehrsteilnehmer und die Bewegungsgeschwindigkeit des Roboters soweit möglich gesichert werden und in einer geeigneten Balance stehen.
  • Dementsprechend kann selbst unter einer Verkehrsbedingung, wie beispielsweise einer Menschenmenge, in welcher eine Abweichung in dem vorhergesagten Pfad groß wird, der Pfad des Roboters derart bestimmt werden, dass sich der autonome mobile Roboter reibungslos zu dem Ziel bewegt, während Interferenzen mit Verkehrsteilnehmern vermieden werden. Folglich kann die Gebrauchstauglichkeit des Roboters verbessert werden (es sei festgehalten, dass „ein Bestimmen eines Pfads eines Roboters“ in der vorliegenden Spezifikation ein sequentielles Bestimmen eines Werts umfasst, welcher eine Bewegungsrichtung und eine Bewegungsgeschwindigkeit eines Roboters (beispielsweise eine später beschriebene Bewegungsgeschwindigkeit-Anweisung) in einem vorbestimmten Steuerzyklus umfasst, und dass ein „Verkehrsteilnehmer“ in der vorliegenden Spezifikation unbewegliche Hindernisse zusätzlich zu beweglichen Objekten, wie Fußgänger und Fahrzeuge, umfasst).
  • In der vorliegenden Erfindung ist der vorbestimmte Steueralgorithmus bevorzugt ein Algorithmus, auf welchen ein dynamischer Fensteransatz angewendet wird.
  • Im Allgemeinen weist der dynamische Fensteransatz verglichen zu anderen Verfahren Charakteristiken auf, welche in der Lage sind, eine Zeit zu verkürzen, welche für die Pfadbestimmung des Roboters benötigt wird, und eine Berechnungslast zu reduzieren. Folglich kann in dieser Pfad-Bestimmungsvorrichtung durch Verwenden des Algorithmus, auf welchen der dynamische Fensteransatz angewendet wird, der Pfad des Roboters bestimmt werden, während eine Verkürzung der Zeit erzielt wird, welche für die Pfadbestimmung benötigt wird, sowie eine Reduzierung der Berechnungslast.
  • Um die oben beschriebene Aufgabe zu lösen, umfasst ein Roboter gemäß der vorliegenden Erfindung: die Pfad-Bestimmungsvorrichtung und eine Steuereinheit, welche einen Bewegungsmechanismus des Roboters derart steuert, dass sich der Roboter in einem Pfad bewegt, welcher durch die Pfad-Bestimmungsvorrichtung bestimmt wird.
  • Dieser Roboter kann sich reibungslos zu dem Ziel bewegen, während eine Interferenz mit einem Verkehrsteilnehmer vermieden wird.
  • Um die oben beschriebene Aufgabe zu lösen, stellt die vorliegende Erfindung ein Pfad-Bestimmungsverfahren eines Bestimmens eines Pfads in einem Fall bereit, in welchem sich ein autonomer mobiler Roboter zu einem Ziel unter einer Bedingung bewegt, in welcher ein Verkehrsteilnehmer, einschließlich eines Fußgängers, in einer Verkehrsumgebung zu dem Ziel präsent ist, wobei das Pfad-Bestimmungsverfahren umfasst:
    • Bestimmen eines vorhergesagten Pfads als ein vorhergesagter Wert eines Pfads des Roboters durch Verwenden eines vorbestimmten Vorhersagealgorithmus, so dass eine Interferenz zwischen dem Roboter und dem Verkehrsteilnehmer vermieden wird; und
    • Bestimmen des Pfads des Roboters durch Verwenden eines vorbestimmten Steueralgorithmus, so dass in einem Fall, in welchem für den Roboter angenommen wird, dass er sich in dem vorhergesagten Pfad von einer momentanen Position bewegt, eine Zielfunktion, umfassend eine Distanz zu dem Verkehrsteilnehmer, welcher dem Roboter am nächsten ist, und eine Geschwindigkeit des Roboters als unabhängige Variablen, einen maximalen Wert annimmt.
  • Figurenliste
    • 1 ist ein Diagramm, welches ein äußeres Erscheinungsbild eines Roboters illustriert, an welchem eine Pfad-Bestimmungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung angewendet wird.
    • 2 ist ein Diagramm, welches eine Konfiguration eines Führungssystems durch Roboter darstellt.
    • 3 ist ein Blockdiagramm, welches eine elektrische Konfiguration des Roboters darstellt.
    • 4 ist ein Blockdiagramm, welches eine Konfiguration einer Lernvorrichtung darstellt.
    • 5 ist eine perspektivische Ansicht eines Aufnehmens eines Gehpfads eines ersten Fußgängers.
    • 6 ist ein Diagramm, welches ein Beispiel eines Aufnahmeergebnisses des Gehpfads in 5 darstellt.
    • 7 ist ein Diagramm, welches ein erstes Muster einer Anordnung von zweiten Fußgängern in einem Fall darstellt, dass ein Aufnehmen von Gehpfaden gestartet wird.
    • 8 ist ein Diagramm, welches ein zweites Muster einer Anordnung der zweiten Fußgänger darstellt.
    • 9 ist ein Diagramm, welches ein drittes Muster einer Anordnung der zweiten Fußgänger darstellt.
    • 10 ist ein Diagramm, welches ein viertes Muster einer Anordnung der zweiten Fußgänger darstellt.
    • 11 ist ein Diagramm, welches ein fünftes Muster einer Anordnung der zweiten Fußgänger darstellt.
    • 12 ist ein Diagramm, welches ein sechstes Muster einer Anordnung der zweiten Fußgänger darstellt.
    • 13 ist ein Diagramm, welches ein siebtes Muster einer Anordnung der zweiten Fußgänger darstellt.
    • 14 ist ein Diagramm, welches ein Bild ein einem Gesichtspunkt eines virtuellen Roboters unter einer Simulationsumgebung darstellt.
    • 15 ist ein Diagramm, welches ein Maskenbild darstellt, welches aus dem Bild aus 14 erzeugt wird.
    • 16 ist ein Blockdiagramm, welches Funktionen der Pfad-Bestimmungsvorrichtung und so weiter darstellt.
    • 17 ist ein Flussdiagramm, welches einen Bewegungs-Steuerprozess darstellt.
  • Beschreibung einer Ausführungsform
  • Eine Pfad-Bestimmungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung wird im Folgenden unter Bezugnahme auf die Zeichnungen beschrieben werden. Wie in 1 dargestellt, wird eine Pfad-Bestimmungsvorrichtung 1 der vorliegenden Ausführungsform an einem Inverspendel-Roboter 2 angewendet und bestimmt einen Pfad des Roboters 2 durch eine Prozedur, welche später unter einer Bedingung beschrieben wird, dass eine Existenz-Wahrscheinlichkeit eines Verkehrsteilnehmers hoch ist.
  • Dieser Roboter 2 ist von einem autonomen mobilen Typ und wird in einem Führungssystem 3 verwendet, welches in 2 dargestellt ist. Das Führungssystem 3 ist ein System in einer Form, in welcher der Roboter 2 einen Benutzer zu seinem/ihrem Ziel führt (beispielsweise ein Geschäft oder ein Gate zum Boarden), während der Benutzer in einem Einkaufszentrum, einem Flughafen oder ähnlichem geführt wird.
  • Wie in 2 illustriert, umfasst das Führungssystem 3 mehrere Roboter 2, welche sich autonom in einer vorbestimmten Region bewegen, Eingabevorrichtungen 4, welche separat von den mehreren Robotern 2 bereitgestellt sind, und an welche Ziele von Benutzern eingegeben werden, sowie einen Server 5, welcher in der Lage ist, drahtlos und wechselseitig mit den Robotern 2 und den Eingabevorrichtungen 4 zu kommunizieren.
  • Die Eingabevorrichtung 4 ist vom Typ eines Personal Computers und überträgt ein drahtloses Signal, welches ein Ziel eines Benutzers anzeigt, zu dem Server 5, wenn das Ziel des Benutzers durch eine Betätigung an einer Maus und einer Tastatur durch den Benutzer (oder einen Bediener) eingegeben wird. Wenn der Server 5 das drahtlose Signal von der Eingabevorrichtung 4 empfängt, setzt der Server 5 das Ziel selbst des Benutzers oder einen Zwischenpunkt auf dem Weg zu dem Ziel auf Grundlage von Kartendaten, welche darin als ein Ziel Pobj gespeichert sind, und überträgt ein Zielsignal, welches dies anzeigt, zu dem Roboter 2.
  • Wie später beschrieben, liest, wenn eine Steuervorrichtung 10 in dem Roboter 2 das Zielsignal von dem Server 5 mittels einer drahtlosen Kommunikationsvorrichtung 14 empfängt, die Steuervorrichtung 10 das Ziel Pobj ein, welches in dem Zielsignal umfasst ist, und bestimmt einen Pfad zu diesem Ziel Pobj.
  • Als nächstes wird eine mechanische Konfiguration des Roboters 2 beschrieben werden. Wie in 1 dargestellt, umfasst der Roboter 2 einen Körper 20, einen Bewegungsmechanismus 21, welcher in einem unteren Teil des Körpers 20 bereitgestellt ist, und so weiter, und ist dazu eingerichtet, in welcher Lage zu sein, sich in alle Orientierungen auf einer Straßenoberfläche durch diesen Bewegungsmechanismus 21 zu bewegen.
  • Da dieser Bewegungsmechanismus 21 ähnlich zu insbesondere einem Mechanismus aus beispielsweise dem veröffentlichten japanischen Patent Nr. 2017-56763 eingerichtet ist, umfasst, wenngleich eine detaillierte Beschreibung davon hier nicht gegeben werden wird, der Bewegungsmechanismus 21 einen ringförmigen Kern 22, mehrere Rollen 23, einen ersten Aktuator 24 (siehe 3), einen zweiten Aktuator 25 (siehe 3), und so weiter.
  • Die mehreren Rollen 23 werden von der Außenseite des Kerns 22 eingesetzt, um so in äquivalenten Winkelintervallen in einer Umfangsrichtung (einer Richtung um ein axiales Zentrum herum) des Kerns 22 ausgerichtet zu sein, und jede der mehreren Rollen 23 ist in der Lage, integral mit dem Kern 22 um das axiale Zentrum des Kerns 22 zu rotieren. Ferner ist jede der Rollen 23 in der Lage, um eine zentrale Achse eines transversalen Querschnitts des Kerns 22 in einer Anordnungsposition von jeder der Rollen 23 zu rotieren (eine Achse in der tangentialen Richtung eines Umfangs mit dem axialen Zentrum des Kerns 22 das als Zentrum).
  • Zusätzlich ist der erste Aktuator 24 mit einem Elektromotor und Antrieben eingerichtet und rotiert den Kern 22 um ein axiales Zentrum mittels eines Antriebsmechanismus, welcher nicht dargestellt ist, wenn ein Steuer-Eingabesignal, welches später beschrieben wird, von der Steuereinrichtung 10 eingegeben wird.
  • Unterdessen ist ähnlich zu dem ersten Aktuator 24 der zweite Aktuator 25 ebenfalls mit einem Elektromotor und Antrieben eingerichtet und rotiert die Rollen 23 um ihre axialen Zentren mittels eines Antriebsmechanismus, welcher nicht dargestellt ist, wenn ein Steuer-Eingabesignal von der Steuervorrichtung 10 eingegeben wird. Dementsprechend wird der Körper 20 von dem ersten Aktuator 24 und dem zweiten Aktuator 25 angetrieben, ums sich so in alle Orientierungen an einer Straßenoberfläche zu bewegen. Die obige Konfiguration ermöglicht es dem Roboter 2, sich in alle Orientierungen an einer Straßenoberfläche zu bewegen.
  • Als nächstes wird eine elektrische Konfiguration des Roboters 2 beschrieben werden. Wie in 3 dargestellt, umfasst der Roboter 2 ferner die Steuervorrichtung 10, eine Kamera 11, einen LIDAR 12, einen Beschleunigungssensor 13 und die drahtlose Kommunikationsvorrichtung 14.
  • Die Steuervorrichtung 10 (Steuereinheit) ist mit einem Mikrocomputer eingerichtet, welcher mit einer CPU, einem RAM, einem ROM, einem E2PROM, einer I/O-Schnittstelle, verschiedenen Arten von elektrischen Schaltungen (alle nicht dargestellt) und so weiter gebildet ist. In diesem E2PROM werden Kartendaten, in welchen der Roboter 2 eine Führung durchführt, und ein CNN (neuronales Konvolutionsnetzwerk) gespeichert. In diesem Fall ist als das CNN ein CNN gespeichert, für welches Modellparameter des CNN, das heißt Gewichte und Vorlast-Terme (Bias-Terme) zwischen verbundenen Schichten, ausreichend von einer Lernvorrichtung 30 gelernt worden sind, welche später beschrieben wird.
  • Die Kamera 11 nimmt ein Bild einer Umweltumgebung des Roboters 2 auf und gibt ein Bildsignal, welches das Bild anzeigt, zu der Steuervorrichtung 10 aus. Ferner verwendet der LIDAR 12 Laserlicht zum Messen einer Distanz oder ähnlichem zu einem Objekt in der Umweltumgebung und gibt ein Messsignal, welches die Distanz oder ähnliches anzeigt, zu der Steuervorrichtung 10 aus. Zusätzlich detektiert der Beschleunigungssensor 13 eine Beschleunigung des Roboters 2 und gibt ein Detektionssignal, welches die Beschleunigung anzeigt, zu der Steuervorrichtung 10 aus.
  • Die Steuervorrichtung 10 verwendet das Bildsignal von der Kamera 11 und das Messsignal von dem LIDAR 12, welche oben beschrieben sind, um die eigene Position des Roboters durch ein amcl (adaptive Monte Carlo Lokalisierung)-Verfahren zu schätzen. Ferner berechnet die Steuervorrichtung 10 eine x-Achsen-Geschwindigkeit v_x und eine y-Achsen-Geschwindigkeit v_y des Roboters, welche später beschrieben werden, auf Grundlage des Messsignals von dem LIDAR 12 und dem Detektionssignal von dem Beschleunigungssensor 13.
  • Zusätzlich ist die drahtlose Kommunikationsvorrichtung 14 elektrisch mit der Steuervorrichtung 10 verbunden, und die Steuervorrichtung 10 führt eine drahtlose Kommunikation mit dem Server 5 mittels dieser drahtlosen Kommunikationsvorrichtung 14 aus.
  • Als nächstes wird eine Beschreibung über eine Konfiguration der Pfad-Bestimmungsvorrichtung 1 und das Prinzip eines Pfad-Bestimmungsverfahrens der vorliegenden Ausführungsform gegeben werden. Zuerst wird die in 4 dargestellte Lernvorrichtung 30 beschrieben werden. Diese Lernvorrichtung 30 ist zum Lernen der Modelparameter (Gewichte und Vorlast-Terme zwischen den verbundenen Schichten) des CNN, welches später beschrieben werden wird, und umfasst ein LIDAR 31, eine Gehpfad-Aufnahmeeinheit 32, eine Lerndaten-Aufnahmeeinheit 33 und eine CNN-Lerneinheit 34. Diese Elemente 32 bis 34 sind spezifisch mit Steuereinheiten und so weiter konfiguriert, welche nicht dargestellt sind.
  • Zuerst wird, um einen Gehpfad eines gewöhnlichen Fußgängers zu lernen, wie er in 5 dargestellt ist, ein erster Fußgänger M1 als ein Referenz-Fußgänger gesetzt, und eine Verkehrsumgebung einer Menschenmenge wird gesetzt, in welcher in einem Fall, in welchem dieser erste Fußgänger M1 von einem Geh-Startpunkt Ps (siehe 6) zu einem Zielpunkt Po (siehe 6) geht, beim Start des Gehens mehrere zweite Fußgänger M2 in einer unregelmäßigen Anordnung in einer Fortbewegungsrichtung des ersten Fußgängers M1 präsent sind.
  • Als nächstes wird der LIDAR 31 verwendet, um eine Änderung einer Position in einem Fall zu messen, in welchem der erste Fußgänger tatsächlich von dem Geh-Startpunkt Ps zu dem Zielpunkt Po geht, und Änderungen der Position der mehreren zweiten Fußgänger M2 und die Messergebnisse zu der Gehpfad-Aufnahmeeinheit 32 ausgegeben werden.
  • Dann nimmt auf Grundlage der Messergebnisse des LIDAR 31 die Gehpfad-Aufnahmeeinheit 32 sequentiell einen Gehpfad Rw des ersten Fußgängers M1 von dem Geh-Startpunkt Ps zu dem Zielpunkt Po, wie beispielsweise in 6 dargestellt, auf und speichert ihn. Wie in 6 dargestellt, wird der Geh-Pfad Rw des ersten Fußgängers M1 als zweidimensionale X-Y-Koordinatenwerte in einem Fall aufgenommen, in welchem eine Achse, welche sich in einer Fortbewegungsrichtung des ersten Fußgängers M1 erstreckt, als eine X-Achse definiert ist und eine Achse orthogonal zu der Fortbewegungsrichtung des ersten Fußgängers M1 als eine Y-Achse definiert ist. Es sei festgehalten, dass die Definitionen der X-Achse und Y-Achse in den folgenden Beschreibungen dieselben sind wie in 6.
  • Der Ursprung der X-Achse ist auf den Geh-Startpunkt Ps des ersten Fußgängers M1 gesetzt, und der Ursprung der Y-Achse ist auf eine vorbestimmte Position an der rechten Seite der Fortbewegungsrichtung des ersten Fußgängers M1 gesetzt. Zusätzlich werden die Positionen der zweiten Fußgänger M2 in der Periode, in welcher der erste Fußgänger M1 von dem Geh-Startpunkt Ps startet und den Zielpunkt Po erreicht, von der Gehpfad-Aufnahmeeinheit 32 aufgenommen, während sie dem Gehpfad Rw des ersten Fußgängers M1 zugeordnet werden.
  • Zusätzlich hierzu nimmt die Gehpfad-Aufnahmeeinheit 32 den Gehpfad Rw des ersten Fußgängers M1 auf, während Gehmuster der zweiten Fußgänger M2 zu ersten bis siebten Mustern umgeschaltet werden, welche jeweils in 7 bis 13 dargestellt sind. In diesem Fall sind die ersten und zweiten Muster, wie jeweils in 7 und 8 dargestellt, Muster, in welchen 10 zweite Fußgänger M2 und 5 zweite Fußgänger M2 in Richtung der Seite des ersten Fußgängers M1 parallel zu der X-Achse gehen, während entsprechende Teile der zweiten Fußgänger M2 den ersten Fußgänger M1 passieren.
  • Ferner sind die dritten und vierten Muster, wie jeweils in 9 und 10 dargestellt, Muster, in welchen 10 zweite Fußgänger M2 und 5 zweite Fußgänger M2 von der rechten Seite zu der linken Seite des ersten Fußgängers M1 gehen, während entsprechende Teile der zweiten Fußgänger M2 mit dem ersten Fußgänger M1 kreuzen. Zusätzlich sind die fünften und sechsten Muster, wie entsprechend in 11 und 12 dargestellt, und invers zu den dritten und vierten Mustern, Muster, in welchen 10 zweite Fußgänger M2 und 5 zweite Fußgänger M2 von der linken Seite zu der rechten Seite des ersten Fußgängers M1 gehen, während entsprechende Teile der zweiten Fußgänger M2 den ersten Fußgänger M1 kreuzen.
  • Zusätzlich zu diesen ist, wie in 13 dargestellt, das siebte Muster ein Muster, in welchem 5 zweite Fußgänger aus 10 zweiten Fußgängern M2 von der rechten Seite zu der linken Seite des ersten Fußgängers M1 gehen, die verbleibenden 5 zweiten Fußgänger M2 von der linken Seite zu der rechten Seite des ersten Fußgängers M1 gehen und entsprechende Teile der zweiten Fußgänger M2 gehen, während sie mit dem ersten Fußgänger M1 kreuzen.
  • Wie oben beschrieben, nimmt die Gehpfad-Aufnahmeeinheit 32 den Gehpfad Rw des ersten Fußgängers M1 auf, während das Gehmuster Rw den Positionen der zweiten Fußgänger M2 zugeordnet wird, und diese Aufnahmeergebnisse werden an die Lerndaten-Aufnahmeeinheit 33 ausgegeben.
  • Wenn ein Aufnahmeergebnis, wie beispielsweise der Gehpfad Rw von der Gehpfad-Aufnahmeeinheit 32 eingegeben wird, nimmt die Lerndaten-Aufnahmeeinheit 33 Lerndaten auf und erzeugt sie auf Grundlage des Aufnahmeergebnisses von einer Prozedur, welche im Folgenden beschrieben ist. Zuerst werden unter einer Simulationsumgebung von einem Gazebo-Simulator oder ähnlichem, virtuelle zweite Fußgänger M2' (siehe 14), entsprechend den oben beschriebenen zweiten Fußgängern M2 und einem virtuellen Roboter (nicht dargestellt), welcher dem Roboter 2 entspricht, erzeugt.
  • Als nächstes werden, während der virtuelle Roboter dazu veranlasst wird, sich zu bewegen, um dem oben beschriebenen Gehpfad Rw des ersten Fußgängers M1 zu folgen, die virtuellen zweiten Fußgänger M2' dazu veranlasst, sich gemäß den Positionen der zweiten Fußgänger M2 zu bewegen, welche von der Gehpfad-Aufnahmeeinheit 32 aufgenommen werden.
  • In der Bewegung wird ein Bild einer visuellen Umgebung vor dem virtuellen Roboter in vorbestimmten Zyklen gesampelt, und auf Grundlage der Sampling-Ergebnisse werden Maskenbilder sequentiell durch ein SSD (Single Shot Multibox Detektor)-Verfahren erzeugt. Beispielsweise werden, wie in 14 dargestellt, in einem Fall, in welchem drei zweite Fußgänger M2' vor dem virtuellen Roboter unter einer Simulationsumgebung positioniert sind, die Positionen der drei virtuellen zweiten Fußgänger M2' durch das SSD-Verfahren aufgenommen, und ein in 15 dargestelltes Maskenbild wird dabei erzeugt.
  • Wie in 15 dargestellt, sind in diesem Maskenbild die Positionen der drei virtuellen Fußgänger M2' als drei rechteckige Kästen B angezeigt. In 15 werden Regionen der drei Kästen B, welche durch diagonale Linien bezeichnet sind, tatsächlich in Rot angezeigt, und die andere gepunktete Region als diese wird tatsächlich in Schwarz angezeigt.
  • Gleichzeitig hierzu ist in einem oberen Endabschnitt des Maskenbilds der Zielpunkt Po in dem Sampling als ein weißer rechteckiger Kasten angezeigt. Der Zielpunkt Po ist als ein Wert innerhalb eines Bereichs von -90 Grad bis +90 Grad gesetzt, während die zentrale Position nach vorne als 0 Grad gesetzt ist, wenn die eigene Position des virtuellen Roboters zu der momentanen Zeit als eine Referenz gesetzt ist.
  • Zusätzlich werden an einem unteren Ende dieses Maskenbilds eine virtuelle X-Achsen-Geschwindigkeit v_x' und eine virtuelle Y-Achsen-Geschwindigkeit v_y' des virtuellen Roboters in dem Sampling als zwei weiße rechteckige Kästen angezeigt. Diese virtuelle X-Achsen-Geschwindigkeit v_x' und virtuelle Y-Achsen-Geschwindigkeit v_y' sind jeweilige Geschwindigkeitskomponenten in einer X-Achsen-Richtung und einer Y-Achsen-Richtung des virtuellen Roboters und werden als Werte innerhalb eines Bereichs einer minimalen Bewegungsgeschwindigkeit v_min (beispielsweise ein Wert von Null) bis zu einer maximalen Bewegungsgeschwindigkeit v_max des virtuellen Roboters gesetzt. Die X-Achsen-Richtung und die Y-Achsen-Richtung des virtuellen Roboters in diesem Fall sind in derselben Weise wie in der oben beschriebenen 7 und so weiter definiert.
  • Zusätzlich hierzu setzt die Lerndaten-Aufnahmeeinheit 33 eine Bewegungsrichtung-Anweisung für den virtuellen Roboter in dem Sampling als einen Vektorwert mit drei Richtungen einer „linken Richtung“, „zentrale Richtung“ und „rechten Richtung“ als Elemente. In einem Fall dieser Bewegungsrichtung-Anweisung, beispielsweise wenn sich der virtuelle Roboter geradeaus fortbewegt, wird die „zentrale Richtung“ auf einen Wert von Eins gesetzt, und die anderen Richtungen, welche die „linke Richtung“ und die „rechte Richtung“ sind, werden auf einen Wert von Null gesetzt.
  • Ferner wird, wenn sich der virtuelle Roboter in die rechte Richtung bewegt, die „rechte Richtung“ auf einen Wert von Eins gesetzt, und die anderen Richtungen werden auf einen Wert von Null gesetzt. In diesem Fall wird die „rechte Richtung“ auf einen Wert von Eins gesetzt, wenn sich der virtuelle Roboter in eine rechte Richtung bei einem vorbestimmten Winkel θ oder mehr bezüglich einer geraden Fortbewegungsrichtung bewegt. Zusätzlich wird, wenn sich der virtuelle Roboter in die linke Richtung bewegt, die „linke Richtung“ auf einen Wert von Eins gesetzt, und die anderen Richtungen werden auf einen Wert von Null gesetzt. In diesem Fall wird die „linke Richtung“ auf einen Wert von Eins gesetzt, wenn sich der virtuelle Roboter in eine linke Richtung bei einem vorbestimmten Winkel θ oder mehr bezüglich der geraden Fortbewegungsrichtung bewegt.
  • Als nächstes erzeugt die Lerndaten-Aufnahmeeinheit 33 sequentiell einen Satz von Daten, in welchem das oben beschriebene Maskenbild (siehe 15) und die Bewegungsrichtung-Anweisung einander zugeordnet sind, als die Lerndaten in dem oben beschriebenen vorbestimmten Zyklus. Dann werden zuletzt, zu einem Zeitpunkt, wenn mehrere Sätze (mehrere Tausend Sätze oder mehr) von Lerndaten erzeugt werden, diese Sätze von Lerndaten zu der CNN-Lerneinheit 34 ausgegeben. Es sei festgehalten, dass die Lerndaten-Aufnahmeeinheit 33 dazu eingerichtet sein kann, die Lerndaten an die CNN-Lerneinheit 34 jedes Mal auszugeben, wenn die Lerndaten in dem vorbestimmten Zyklus erzeugt werden.
  • Wenn die mehreren Sätze von Lerndaten von der Lerndaten-Aufnahmeeinheit 33 eingegeben werden, verwendet die CNN-Lerneinheit 34 diese Sätze von Lerndaten, um ein Lernen der Modellparameter des CNN auszuführen. Insbesondere wird das Maskenbild in einem Satz von Lerndaten zu dem CNN eingegeben, und für eine Ausgabe des CNN in diesem Fall wird die Bewegungsrichtung-Ausgabe als Trainingsdaten verwendet.
  • In diesem Fall ist eine Ausgabeschicht des CNN mit drei Einheiten konfiguriert, und eine Anweisung mit drei Softmax-Werten von diesen drei Einheiten als Elementen (im Folgenden als eine „CNN-Ausgabeanweisung“ bezeichnet) wird von dem CNN ausgegeben. Diese CNN-Ausgabeanweisung ist mit einer Anweisung konfiguriert, welche dieselben drei Richtungen („linke Richtung“, „zentrale Richtung“ und „rechte Richtung“) wie die Bewegungsrichtung-Anweisung als Elemente aufweist.
  • Als nächstes werden durch Verwenden einer Verlustfunktion (beispielsweise dem mittleren quadratischen Fehler) zwischen der Bewegungsrichtung-Anweisung und der CNN-Ausgabeanweisung die Gewichte und Vorlast-Terme zwischen den verbundenen Schichten des CNN mittels eines Gradientenverfahrens berechnet. Das heißt, dass eine Lernberechnung der Modellparameter des CNN ausgeführt wird. Dann wird die obige Lernberechnung für die Anzahl von Sätzen von Lerndaten ausgeführt (das heißt mehrere Tausend Male), und die Lernberechnung der Modellparameter des CNN in der CNN-Lerneinheit 34 wird dadurch beendet. In dieser Lernvorrichtung 30 wird ein Lernen der Modellparameter des CNN wie oben beschrieben ausgeführt.
  • Als nächstes werden Konfigurationen der Pfad-Bestimmungsvorrichtung 1 und so weiter der vorliegenden Ausführungsform unter Bezugnahme auf 16 beschrieben werden. Die Pfad-Bestimmungsvorrichtung 1 bestimmt (berechnet) eine Bewegungsgeschwindigkeit-Anweisung v als den Pfad des Roboters 2 durch eine Prozedur, welche im Folgenden beschrieben ist, und diese Bewegungsgeschwindigkeit-Anweisung v weist eine Ziel-X-Achsen-Geschwindigkeit v_x_cmd und eine Ziel-Y-Achsen-Geschwindigkeit v_y_cmd auf, welche die Ziele der X-Achsen-Geschwindigkeit v_x und der Y-Achsen-Geschwindigkeit v_y des Roboters 2 als Elemente sind.
  • Wie in 16 dargestellt, umfasst die Pfad-Bestimmungsvorrichtung 1 eine Maskenbild-Erzeugungseinheit 50, eine Bewegungsrichtung-Bestimmungseinheit 51, eine temporäre Bewegungsgeschwindigkeit-Bestimmungseinheit 52 und eine Bewegungsgeschwindigkeit-Bestimmungseinheit 53 und insbesondere sind diese Elemente 50 bis 53 mit der Steuervorrichtung 10 konfiguriert. Es sei festgehalten, dass angenommen wird, dass verschiedene Arten von Steuerprozessen, welche im Folgenden beschrieben werden, in einem vorbestimmten Steuerzyklus ΔT ausgeführt werden.
  • Als erstes wird die Maskenbild-Erzeugungseinheit 50 beschrieben werden. Wenn das Bildsignal von der Kamera 11 und das Messsignal von dem LIDAR 12 eingegeben werden, erzeugt diese Maskenbild-Erzeugungseinheit 50 ein Maskenbild durch das oben beschriebene SSD-Verfahren.
  • In diesem Maskenbild wird ähnlich zu dem oben beschriebenen Kasten B in dem Maskenbild in 15 ein Kasten (nicht dargestellt) eines Verkehrsteilnehmers nach vorne (voraus) angezeigt, und anstelle der virtuellen X-Achsen-Geschwindigkeit v_x', der virtuellen Y-Achsen-Geschwindigkeit v_y' und des Zielpunkts Po werden die X-Achsen-Geschwindigkeit v_x und die Y-Achsen-Geschwindigkeit v_y des Roboters 2 und das Ziel Pobj (alle nicht dargestellt) angezeigt.
  • In diesem Fall werden die Position und die Größe des Verkehrsteilnehmers auf Grundlage des Bildsignals von der Kamera 11 und des Messsignals von dem LIDAR 12 bestimmt. Ferner werden die X-Achsen-Geschwindigkeit v_x und die Y-Achsen-Geschwindigkeit v_y des Roboters 2 auf Grundlage des Messsignals von dem LIDAR 12 und des Detektionssignals von dem Beschleunigungssensor 13 bestimmt. Zusätzlich wird das Ziel Pobj durch das Bestimmungssignal von dem Server 5 bestimmt. Das wie oben erzeugte Maskenbild wird von der Maskenbild-Erzeugungseinheit 50 zu der Bewegungsrichtung-Bestimmungseinheit 51 ausgegeben.
  • Die Bewegungsrichtung-Bestimmungseinheit 51 umfasst ein CNN (nicht dargestellt), für welches die Modellparameter von der oben beschriebenen CNN-Lerneinheit 34 gelernt werden, und welches dieses CNN verwendet, um eine Bewegungsrichtung des Roboters 2 wie im Folgenden beschrieben zu bestimmen.
  • Zuerst wird in der Bewegungsrichtung-Bestimmungseinheit 51, wenn das Maskenbild von der Maskenbild-Erzeugungseinheit 50 zu dem CNN eingegeben wird, die oben beschriebene CNN-Ausgabeanweisung von dem CNN ausgebeben. Als nächstes wird aus den drei Elementen („linke Richtung“, „zentrale Richtung“ und „rechte Richtung“) der CNN-Ausgabeanweisung die Richtung des Elements mit dem maximalen Wert als die Bewegungsrichtung des Roboters 2 bestimmt. Dann wird die Bewegungsrichtung des Roboters 2, welche wie oben beschrieben bestimmt wird, von der Bewegungsrichtung-Bestimmungseinheit 51 an die temporäre Bewegungsgeschwindigkeit-Bestimmungsrichtung 52 ausgegeben.
  • Diese temporäre Bewegungsgeschwindigkeit-Bestimmungsrichtung 52 bestimmt eine temporäre Bewegungsgeschwindigkeit-Anweisung v_cnn auf Grundlage der Bewegungsrichtung des Roboters 2 von der Bewegungsrichtung-Bestimmungseinheit 51 und der X-Achsen-Geschwindigkeit v_x und der Y-Achsen-Geschwindigkeit v_y des Roboters 2. Diese temporäre Bewegungsgeschwindigkeit-Anweisung v_cnn weist einen temporären Wert v_x_cnn der X-Achsen-Geschwindigkeit und einen temporären Wert v_y_cnn der Y-Achsen-Geschwindigkeit des Roboters 2 als Elemente auf. Als nächstes wird die temporäre Bewegungsgeschwindigkeit-Anweisung v_cnn für den Roboter 2, welche wie oben beschrieben bestimmt wird, von der temporären Bewegungsgeschwindigkeit-Bestimmungseinheit 52 zu der Bewegungsgeschwindigkeit-Bestimmungseinheit 53 ausgegeben.
  • Diese Bewegungsgeschwindigkeit-Bestimmungseinheit 53 bestimmt die Bewegungsgeschwindigkeit-Anweisung v auf Grundlage der temporären Bewegungsgeschwindigkeit-Anweisung v_cnn durch einen Algorithmus, auf welchen ein DWA (dynamischer Fensteransatz) angewendet wird. Diese Bewegungsgeschwindigkeit-Anweisung v weist die Ziel-X-Achsen-Geschwindigkeit v_x_cmd und die Ziel-Y-Achsen-Geschwindigkeit v_y_cmd als Elemente auf, und diese zwei Geschwindigkeiten v_x_cmd und v_y_cmd werden als Zielwerte der X-Achsen-Geschwindigkeit und Y-Achsen-Geschwindigkeit des Roboters in einem Bewegung-Steuerprozess verwendet, welcher später beschrieben werden wird.
  • Insbesondere ist, wie in der folgenden Form (1) ausgedrückt, eine Zielfunktion G(v) definiert, und die Bewegungsgeschwindigkeit-Anweisung v wird derart bestimmt, dass diese Zielfunktion G(v) der maximale Wert wird. G ( v ) = α * cnn ( v ) + β * dist ( v )
    Figure DE112019006440T5_0001
  • Die Ausdrücke α und β in der obigen Formel (1) bezeichnen vorbestimmte Gewichtsparameter und werden auf Grundlage von dynamischen Charakteristiken des Roboters 2 bestimmt. Ferner bezeichnet der Term cnn(v) in der obigen Formel (1) einen Funktionswert, welcher die Abweichung zwischen einer Geschwindigkeitsanweisung mit der X-Achsen-Geschwindigkeit und der Y-Achsen-Geschwindigkeit in einem dynamischen Fenster als Elemente und die temporäre Bewegungsgeschwindigkeit-Anweisung v_cnn als eine unabhängige Variable aufweist, und welcher einen größeren Wert zeigt, wenn diese unabhängige Variable kleiner wird.
  • Zusätzlich bezeichnet in der obigen Formel (1) der Ausdruck dist(v) einen Wert, welcher die Distanz zu einem Verkehrsteilnehmer repräsentiert, welcher dem Roboter 2 am nächsten ist, unter der Annahme, dass sich der Roboter 2 bei dem temporären Wert v_x_cnn der X-Achsen-Geschwindigkeit und dem temporären Wert v_y_cnn der Y-Achsen-Geschwindigkeit bewegt, und welcher auf Grundlage des Messsignals von dem LIDAR 12 bestimmt wird.
  • Es sei festgehalten, dass in der vorliegenden Ausführungsform die Bewegungsrichtung-Bestimmungseinheit 51 und die temporäre Bewegungsgeschwindigkeit-Bestimmungseinheit 52 einer Bestimmungseinheit für einen vorhergesagten Pfad entsprechen und die Bestimmung der temporären Bewegungsgeschwindigkeit-Anweisung v_cnn (das heißt der temporäre Wert v_x_cnn der X-Achsen-Geschwindigkeit und der temporäre Wert v_y_cnn der Y-Achsen-Geschwindigkeit) einer Bestimmung eines vorhergesagten Pfads entspricht. Zusätzlich entspricht die Bewegungsgeschwindigkeit-Bestimmungseinheit 53 einer Pfad-Bestimmungseinheit, und der temporäre Wert v_x_cnn der X-Achsen-Geschwindigkeit und der temporäre Wert v_y_cnn der Y-Achsen entsprechen einer Geschwindigkeit des Roboters.
  • In der Pfad-Bestimmungsvorrichtung 1 der vorliegenden Ausführungsform wird wie oben beschrieben die Bewegungsgeschwindigkeit-Anweisung v bestimmt, welche die Ziel-X-Achsen-Geschwindigkeit v_x_cmd und die Ziel-Y-Achsen-Geschwindigkeit v_y_cmd als die Elemente aufweist.
  • Als nächstes wird der Bewegung-Steuerprozess unter Bezugnahme auf 17 beschrieben werden. Dieser Bewegung-Steuerprozess ist zum Steuern der beiden Aktuatoren 24 und 25 des Bewegungsmechanismus 21 vorgesehen, so dass sich der Roboter 2 bei den oben beschriebenen beiden Ziel-Geschwindigkeiten v_x_cmd und v_y_cmd bewegt, und er wird in dem vorbestimmten Steuerzyklus ΔT durch die Steuervorrichtung 10 ausgeführt.
  • Wie in 17 dargestellt, werden zuerst verschiedene Arten von Daten eingelesen (SCHRITT 1 in 17). Die verschiedenen Arten von Daten sind Signaldaten, welche von der oben beschriebenen Kamera 11, dem LIDAR 12, dem Beschleunigungssensor 13 und der drahtlosen Kommunikationsvorrichtung 14 zu der Steuervorrichtung 10 eingegeben werden.
  • Als nächstes wird ausgewertet, ob oder ob nicht das in dem oben beschriebenen Zielsignal enthaltene Ziel bereits eingelesen ist (SCHRITT 2 in 17). Wenn diese Auswertung negativ ausfällt (SCHRITT 2 in 17: NEIN), das heißt, wenn das Zielsignal noch nicht von dem Server 5 empfangen ist, wird der Prozess ohne eine Änderung beendet.
  • Andererseits werden, wenn diese Auswertung positiv ausfällt (SCHRITT 2 in 17: JA), die Ziel-X-Achsen-Geschwindigkeit v_x_cmd und die Ziel-Y-Achsen-Geschwindigkeit v_y_cmd durch die oben beschriebene Prozedur aus 16 berechnet (SCHRITT 3 in 17).
  • Als nächstes werden eine X-Achsen-Steuereingabe Ux und eine Y-Achsen-Steuereingabe Uy durch einen vorbestimmten Steueralgorithmus gemäß der Ziel-X-Achsen-Geschwindigkeit v_x_cmd und der Ziel-Y-Achsen-Geschwindigkeit v_y_cmd berechnet (SCHRITT 4 in 7). In diesem Fall kann als der vorbestimmte Steueralgorithmus ein Vorwärtskopplung-Steueralgorithmus, wie beispielsweise eine Kartensuche, oder ein Rückkopplung-Steueralgorithmus verwendet werden.
  • Als nächstes wird ein Steuer-Eingabesignal, welches der X-Achsen-Steuereingabe Ux entspricht, zu dem ersten Aktuator 24 ausgegeben, und ein Steuer-Eingabesignal, welches der Y-Achsen-Steuereingabe Uy entspricht, wird zu dem zweiten Aktuator 25 ausgegeben (SCHRITT 5 in 17). Anschließend wird dieser Prozess beendet. Dementsprechend wird eine Steuerung derart ausgeführt, dass die momentane X-Achsen-Geschwindigkeit v_x und Y-Achsen-Geschwindigkeit v_y des Roboters 2 die Ziel-X-Achsen-Geschwindigkeit v_x_cmd und Ziel-Y-Achsen-Geschwindigkeit v_y_cmd werden. Folglich bewegt sich der Roboter 2 in Richtung des Ziels Pobj entlang eines Pfads, welcher von diesen Ziel-Geschwindigkeiten v_x_cmd und v_y_cmd bestimmt wird, während Verkehrsteilnehmern voraus ausgewichen wird.
  • Wie oben beschrieben wird in der Pfad-Bestimmungsvorrichtung 1 der vorliegenden Ausführungsform das Maskenbild zu dem CNN eingegeben, die CNN-Ausgabeanweisung wird damit von dem CNN ausgegeben, die Richtung mit dem Element bei dem maximalen Wert aus den drei Elementen der CNN-Ausgabeanweisung wird als die Bewegungsrichtung des Roboters 2 bestimmt. In diesem Fall sind, wie oben beschrieben, die Modellparameter des CNN Modellparameter, welche ausreichend in der Lernvorrichtung 30 gelernt werden, indem das Maskenbild und die Bewegungsrichtung-Anweisung verwendet werden.
  • Ferner werden dieses Maskenbild und diese Bewegungsrichtung-Anweisung auf Grundlage von einem Bild in einem Gesichtspunkt des virtuellen Roboters und der Bewegungsrichtung des virtuellen Roboters in einem Fall erzeugt, in welchem der Gehpfad Rw in einem Fall, in welchem der erste Fußgänger M1 tatsächlich geht, während den mehreren zweiten Fußgängern M2 ausgewichen wird, gesampelt wird, und der virtuelle Roboter sich hiernach entlang dieses Gehpfads Rw in einem virtuellen Raum bewegt. Folglich kann durch Verwenden eines solchen CNN die Bewegungsrichtung des Roboters 2 derart bestimmt werden, dass eine Interferenz zwischen dem Roboter 2 und dem Verkehrsteilnehmer verhindert wird.
  • Zusätzlich wird die temporäre Bewegungsgeschwindigkeit-Anweisung v_cnn auf Grundalge dieser Bewegungsrichtung des Roboters und der X-Achsen-Geschwindigkeit v_x und der Y-Achsen-Geschwindigkeit v_y des Roboters 2 berechnet. Dann wird durch Verwenden des Algorithmus, auf welchen der DWA angewendet wird, die Bewegungsgeschwindigkeit-Anweisung v, welche die Ziel-X-Achsen-Geschwindigkeit v_x_cmd und die Ziel-Y-Achsen-Geschwindigkeit v_y_cmd als die Elemente aufweist, derart bestimmt, dass die Zielfunktion G(v) der oben beschriebenen Formel (1) der maximale Wert wird. Dementsprechend können in einem Fall, in welchem angenommen wird, dass sich der Roboter 2 in die Bewegungsrichtung bewegt, welche durch Verwenden des CNN bestimmt wird, die Ziel-X-Achsen-Geschwindigkeit v_x_cmd und die Ziel-Y-Achsen-Geschwindigkeit v_y_cmd derart bestimmt werden, dass die Distanz zu dem Verkehrsteilnehmer, welcher dem Roboter 2 am nächsten ist, und eine Bewegungsgeschwindigkeit des Roboters 2 soweit wie möglich und in einer geeigneten Balance gesichert werden.
  • Folglich kann selbst unter einer Verkehrsbedingung, wie beispielsweise einer Menschenmenge, in welcher ein Fehler in der Bewegungsrichtung, welche durch Verwenden des CNN bestimmt wird, groß wird, der Pfad (Ziel-X-Achsen-Geschwindigkeit v_x_cmd und Ziel-Y-Achsen-Geschwindigkeit v_y_cmd) des Roboters 2 derart bestimmt werden, dass sich der autonome mobile Roboter reibungslos zu dem Ziel Pobj bewegt, während Interferenzen mit Verkehrsteilnehmern vermieden werden. Dementsprechend kann ein Auftreten eines Zustands, in welchem der Roboter 2 mit einem Verkehrsteilnehmer interferiert, verringert werden, und eine Gebrauchstauglichkeit kann verbessert werden.
  • Ferner weist, verglichen mit anderen Verfahren, der DWA Charakteristiken auf, welche in der Lage sind, eine Zeit zu verkürzen, welche für eine Pfadbestimmung des Roboters 2 benötigt wird, und eine Berechnungslast zu reduzieren. Folglich kann durch Verwenden des Algorithmus, auf welchen ein solcher DWA angewendet wird, der Pfad des Roboters 2 bestimmt werden, während ein Verkürzen der Zeit, welche für eine Pfadbestimmung benötigt wird, und eine Reduktion der Berechnungslast erreicht wird.
  • Es sei festgehalten, dass die Ausführungsform ein Beispiel ist, in welchem der Roboter 2 als ein autonomer mobiler Roboter verwendet wird; jedoch ist ein Roboter der vorliegenden Erfindung nicht hierauf beschränkt sondern kann von jedem autonom beweglichen Typ sein. Beispielsweise kann ein Roboter vom Fahrzeugtyp oder ein zweibeiniger Roboter verwendet werden.
  • Ferner ist die Ausführungsform ein Beispiel, in welchem das CNN als ein vorbestimmter Vorhersagealgorithmus verwendet wird; jedoch ist ein Vorhersagealgorithmus der vorliegenden Erfindung nicht hierauf beschränkt, sondern kann ein Vorhersagealgorithmus sein, welcher einen vorhergesagten Pfad als einen vorhergesagten Wert des Pfads des Roboters bestimmen kann. Beispielsweise kann als ein vorbestimmter Vorhersagealgorithmus ein RNN (rekurrentes neuronales Netzwerk), ein DQN (tiefes Q-Netzwerk) oder ähnliches verwendet werden.
  • Zusätzlich ist die Ausführungsform ein Beispiel, in welchem der Bewegungsmechanismus 21, einschließlich des Kerns 22 und der mehreren Rollen 23 als ein Bewegungsmechanismus verwendet wird; jedoch ist ein Bewegungsmechanismus der vorliegenden Erfindung nicht hierauf beschränkt, sondern kann ein Mechanismus sein, welcher in der Lage ist, einen Roboter zu veranlassen, sich in alle Orientieren zu bewegen. Beispielsweise kann als ein Bewegungsmechanismus ein Mechanismus verwendet werden, welcher eine Konfiguration aufweist, in welcher eine Kugel und mehrere Rollen miteinander kombiniert sind, diese Rollen rotieren und die Kugel antreiben, und ein Roboter dadurch veranlasst wird, sich in alle Orientierungen zu bewegen.
  • Ferner ist die Ausführungsform ein Beispiel, in welchem das CNN in dem E2PROM der Steuervorrichtung 10 des Roboters 2 gespeichert ist; jedoch kann eine Konfiguration derart vorgesehen werden, dass das CNN auf der Seite des Servers 5 gespeichert ist, eine Berechnung für eine Pfadbestimmung auf der Seite des Servers 5 durchgeführt wird, und diese zu dem Roboter 2 übertragen wird.
  • Unterdessen ist die Ausführungsform ein Beispiel, in welchem die Bewegungsgeschwindigkeit-Bestimmungseinheit 53 als die Bewegungsgeschwindigkeit des Roboters 2 die Bewegungsgeschwindigkeit-Anweisung v mit der X-Achsen-Geschwindigkeit v_x und y-Achsen-Geschwindigkeit v_y als die Elemente durch ein DWA-Verfahren berechnet; jedoch kann anstelle hiervon die Bewegungsgeschwindigkeit-Bestimmungseinheit 53 als die Bewegungsgeschwindigkeit des Roboters 2 die X-Achsen-Geschwindigkeit v_x und eine Winkelgeschwindigkeit ω durch das DWA-Verfahren berechnen.
  • Ferner ist die Ausführungsform ein Beispiel, in welchem die Gehpfad-Aufnahmeeinheit 32 die ersten bis siebten Muster als die Gehmuster der zweiten Fußgänger M2 verwendet; jedoch kann der Gehpfad Rw des ersten Fußgängers M1 durch Verwenden eines Gehmusters aufgenommen werden, in welchem die Anzahl von zweiten Fußgängern M2 und ihre Bewegungsrichtungen zu denjenigen geändert sind, die sich von den obigen Mustern unterscheiden. Beispielsweise kann ein Muster, in welchem mehrere zweite Fußgänger M2 und mehrere zweite Fußgänger M2 gehen, während sie schräg miteinander kreuzen, ein Muster, in welchem mehrere zweite Fußgänger M2 entlang einer X-Achsen-Linie gehen, mehrere zweite Fußgänger M2 entlang einer Y-Achsen-Linie gehen, und sie dadurch miteinander kreuzen, und so weiter verwendet werden.
  • Bezugszeichenliste
  • 1
    Pfad-Bestimmungsvorrichtung
    2
    Roboter
    10
    Steuervorrichtung (Steuereinheit)
    21
    Bewegungsmechanismus
    51
    Bewegungsrichtung-Bestimmungseinheit (Bestimmungseinheit für vorhergesagten Pfad)
    52
    temporäre Bewegungsrichtung-Bestimmungseinheit (Bestimmungseinheit für vorhergesagten Pfad)
    53
    Bewegungsgeschwindigkeit-Bestimmungseinheit (Pfad-Bestimmungseinheit)
    Pobj
    Ziel
    v_x_cnn
    temporärer Wert der X-Achsen-Geschwindigkeit (vorhergesagter Pfad, Geschwindigkeit des Roboters)
    v_y_cnn
    temporärer Wert der Y-Achsen-Geschwindigkeit (vorhergesagter Pfad, Geschwindigkeit des Roboters)
    dist
    Wert, welcher eine Distanz zu dem nächsten Verkehrsteilnehmer repräsentiert
    G
    Zielfunktion
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2009110495 [0003]
    • JP 2017056763 [0020]

Claims (6)

  1. Pfad-Bestimmungsvorrichtung, welche einen Pfad in einem Fall bestimmt, in welchem sich ein autonomer mobiler Roboter zu einem Ziel unter einer Bedingung bewegt, in welcher ein Verkehrsteilnehmer, einschließlich einem Fußgänger, in einer Verkehrsumgebung zu dem Ziel präsent ist, wobei die Pfad-Bestimmungsvorrichtung umfasst: eine Bestimmungseinheit für einen vorhergesagten Pfad, welche einen vorhergesagten Pfad als einen vorhergesagten Wert eines Pfads des Roboters bestimmt, indem ein vorbestimmter Vorhersagealgorithmus verwendet wird, so dass eine Interferenz zwischen dem Roboter und dem Verkehrsteilnehmer vermieden wird; und eine Pfad-Bestimmungseinheit, welche den Pfad des Roboters bestimmt, indem ein vorbestimmter Steueralgorithmus verwendet wird, so dass in einem Fall, in welchem von dem Roboter angenommen wird, dass er sich in dem vorhergesagten Pfad von einer momentanen Position bewegt, eine Zielfunktion, einschließlich einer Distanz zu dem Verkehrsteilnehmer, welcher dem Roboter am nächsten ist, und einer Geschwindigkeit des Roboters als unabhängige Variablen, ein maximaler Wert wird.
  2. Pfad-Bestimmungsvorrichtung nach Anspruch 1, wobei der vorbestimmte Steueralgorithmus ein Algorithmus ist, auf welchen ein dynamischer Fensteransatz angewendet wird.
  3. Roboter, umfassend: die Pfad-Bestimmungsvorrichtung nach Anspruch 1; und eine Steuereinheit, welche einen Bewegungsmechanismus des Roboters derart steuert, dass sich der Roboter in einem Pfad bewegt, welcher durch die Pfad-Bestimmungsvorrichtung bestimmt wird.
  4. Roboter, umfassend: die Pfad-Bestimmungsvorrichtung nach Anspruch 2; und eine Steuereinheit, welche einen Bewegungsmechanismus des Roboters derart steuert, dass sich der Roboter in einem Pfad bewegt, welcher durch die Pfad-Bestimmungsvorrichtung bestimmt wird.
  5. Pfad-Bestimmungsverfahren eines Bestimmens eines Pfads in einem Fall, in welchem sich ein autonomer mobiler Roboter zu einem Ziel unter einer Bedingung bewegt, in welcher ein Verkehrsteilnehmer, einschließlich eines Fußgängers, in einer Verkehrsumgebung zu dem Ziel präsent ist, wobei das Pfad-Bestimmungsverfahren umfasst: Bestimmen eines vorhergesagten Pfads als ein vorhergesagter Wert eines Pfads des Roboters durch Verwenden eines vorbestimmten VorhersageAlgorithmus, so dass eine Interferenz zwischen dem Roboter und dem Verkehrsteilnehmer vermieden wird; und Bestimmen des Pfads des Roboters durch Verwenden eines vorbestimmten Steueralgorithmus, so dass in einem Fall, in welchem von dem Roboter angenommen wird, dass er sich in dem vorhergesagten Pfad von einer momentanen Position bewegt, eine Zielfunktion, einschließlich einer Distanz zu dem Verkehrsteilnehmer, welcher dem Roboter am nächsten ist, und einer Geschwindigkeit des Roboters als unabhängige Variablen, ein maximaler Wert wird.
  6. Pfad-Bestimmungsverfahren nach Anspruch 5, wobei der vorbestimmte Steueralgorithmus ein Algorithmus ist, auf welchen ein dynamischer Fensteransatz angewendet wird.
DE112019006440.1T 2018-12-27 2019-08-07 Pfad-Bestimmungsvorrichtung, Roboter und Pfad-Bestimmungsverfahren Pending DE112019006440T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-245254 2018-12-27
JP2018245254 2018-12-27
PCT/JP2019/031194 WO2020136977A1 (ja) 2018-12-27 2019-08-07 経路決定装置、ロボット及び経路決定方法

Publications (1)

Publication Number Publication Date
DE112019006440T5 true DE112019006440T5 (de) 2021-09-16

Family

ID=71127824

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019006440.1T Pending DE112019006440T5 (de) 2018-12-27 2019-08-07 Pfad-Bestimmungsvorrichtung, Roboter und Pfad-Bestimmungsverfahren

Country Status (5)

Country Link
US (1) US20220055215A1 (de)
JP (1) JP7258046B2 (de)
CN (1) CN113196195A (de)
DE (1) DE112019006440T5 (de)
WO (1) WO2020136977A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112327885B (zh) * 2020-12-01 2024-04-09 大连海事大学 一种无人船自适应全局-局部混合路径规划的方法
CN113341991B (zh) * 2021-06-18 2022-08-09 重庆大学 一种基于动态窗口和冗余节点过滤的路径优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110495A (ja) 2007-04-12 2009-05-21 Panasonic Corp 自律移動型装置、自律移動型装置用の制御装置および自律移動型装置用のプログラム
JP2017056763A (ja) 2015-09-14 2017-03-23 本田技研工業株式会社 摩擦式走行装置および乗物

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5112666B2 (ja) * 2006-09-11 2013-01-09 株式会社日立製作所 移動装置
JP4717105B2 (ja) * 2008-08-29 2011-07-06 株式会社日立製作所 自律移動ロボット装置及びかかる装置における飛び出し衝突回避方法
US9588518B2 (en) * 2012-05-18 2017-03-07 Hitachi, Ltd. Autonomous mobile apparatus, control device, and autonomous mobile method
CN107643752B (zh) * 2017-05-09 2020-12-08 清研华宇智能机器人(天津)有限责任公司 基于行人轨迹预测的全向移动机器人路径规划算法
CN107272680B (zh) * 2017-06-16 2019-10-18 华南理工大学 一种基于ros机器人操作系统的机器人自动跟随方法
CN107168342B (zh) * 2017-07-12 2020-04-07 哈尔滨工大智慧工厂有限公司 一种用于机器人路径规划的行人轨迹预测方法
DE102017120218A1 (de) * 2017-09-01 2019-03-07 RobArt GmbH Bewegungsplanung für autonome mobile roboter
US11014238B2 (en) * 2017-11-27 2021-05-25 Amazon Technologies, Inc. Dynamic navigation of autonomous vehicle with safety infrastructure
CN108255182B (zh) * 2018-01-30 2021-05-11 上海交通大学 一种基于深度强化学习的服务机器人行人感知避障方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110495A (ja) 2007-04-12 2009-05-21 Panasonic Corp 自律移動型装置、自律移動型装置用の制御装置および自律移動型装置用のプログラム
JP2017056763A (ja) 2015-09-14 2017-03-23 本田技研工業株式会社 摩擦式走行装置および乗物

Also Published As

Publication number Publication date
JPWO2020136977A1 (ja) 2021-09-27
JP7258046B2 (ja) 2023-04-14
CN113196195A (zh) 2021-07-30
US20220055215A1 (en) 2022-02-24
WO2020136977A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
DE102016223422B4 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE112019006409T5 (de) Pfadbestimmungsverfahren
DE102019101938A1 (de) Erstellung kognitiver Karten für Fahrzeuge
EP3285975B1 (de) Steuern und/oder regeln von motoren eines roboters
DE112019001046T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiler körper
DE102020113848A1 (de) Ekzentrizitätsbildfusion
DE102018100987A1 (de) Objektverfolgung durch unüberwachtes lernen
DE112013004341T5 (de) Fernbetätigungssystem
DE102019209736A1 (de) Verfahren zur Bewertung möglicher Trajektorien
DE112011105397B4 (de) Beweglicher Körper vom Typ inverses Pendel mit Geschwindigkeitsplanungsvorrichtung
DE102020100255A1 (de) Vorhersage eines weges eines flüssigkeitstropfens
DE102019207087A1 (de) Lokalisierung einer mobilen Einheit
DE112019006440T5 (de) Pfad-Bestimmungsvorrichtung, Roboter und Pfad-Bestimmungsverfahren
WO2020002100A1 (de) Verfahren zum betreiben eines wenigstens teilweise automatisierten fahrzeugs
DE112021006846T5 (de) Systeme und Verfahren zur szenarioabhängigen Trajektorienbewertung
DE112020006684T5 (de) Fahrassistenzvorrichtung, fahrzeug und fahrassistenzverfahren
DE102017108130A1 (de) Verfahren zur Datenfusion eines Datensatzes, entsprechende Recheneinheit und Fahrzeug welches mit einer entsprechenden Recheneinheit ausgestattet ist sowie Computerprogramm
DE112021006111T5 (de) Systeme und Verfahren zur monokularisierten Objekterkennung
DE102021114424A1 (de) Fahrassistenzvorrichtung, Fahrassistenzverfahren und Fahrassistenzprogramm
DE102022114048A1 (de) Bildentzerrung
DE102020109787A1 (de) Bestimmen einer Winkellage einer Komponente eines Kraftfahrzeugs
DE112022001133T5 (de) Systeme und Verfahren zur Fahrzeugbewegungsplanung
EP4244570A1 (de) Vorrichtung und verfahren zur vermessung, inspektion oder bearbeitung von objekten
DE102019107329A1 (de) Aktionskonditionierte fahrzeugsteuerung
DE112020002753T5 (de) Fahrzeugsteuerverfahren, fahrzeugsteuervorrichtung und fahrzeugsteuersystem diese enthaltend

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G05D0001020000

Ipc: G05D0001430000