-
[Technisches Gebiet]
-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen eines verfügbaren Fahrzeugeinstiegsbereichs in einem Fahrbild durch Verwenden eines künstlichen neuronalen Netzwerks, insbesondere eine Technik, bei der das Fahrzeug-Fahrbild durch Verwenden des künstlichen neuronalen Netzwerks in einen verfügbaren Einstiegsbereich und einen unverfügbaren Einstiegsbereich klassifiziert wird und dann einem Fahrer Verfügbarer-Einstiegsbereich-Informationen bereitgestellt werden.
-
[Stand der Technik]
-
Im Allgemeinen sind zwischen einer Fahrbahn für Fahrzeuge und einem Bürgersteig für Fußgänger ein hindernisfreier Bereich, in welchem ein Fußgänger auf dem Bürgersteig in ein Fahrzeug gelangen kann, und ein Bereich vorhanden, in dem Strukturen wie Zäune oder Bäume existieren, um Unfälle zu verhindern, und Fußgänger in das Fahrzeug gelangen können. Wenn ein Benutzer ein Taxi ruft, um in ein Taxi zu gelangen, oder ein Fahrzeug eines Bekannten teilt, kann daher das Auswählen eines Bereichs, in dem es möglich ist, in das Fahrzeug zu gelangen, viele Probleme verursachen, wenn geografische Informationen über den Bereich nicht genau bekannt sind.
-
Wenn ein Fahrer versucht, ein Fahrzeug auf einer Straße neben einem Bürgersteig anzuhalten, damit ein Bekannter in das Fahrzeug gelangen kann, der Fahrer jedoch im Voraus keine Position genau kennt, an der der Bekannte in das Fahrzeug gelangen kann, kann der Fahrer mit dem Problem konfrontiert werden, umherfahren zu müssen, um einen verfügbaren Einstiegsbereich zu finden, und beim plötzlichen Anhalten des Fahrzeugs auf einer Straße, um einen Bekannten an einer Position abzuholen, die nicht in einem verfügbaren Einstiegsbereich liegt, kann es zu einem Unfall kommen.
-
Wenn ein Fahrer, der ein Fahrzeug fährt, oder ein Fußgänger, der vorhat, in das Fahrzeug zu gelangen, im Voraus eine verfügbare Fahrzeugeinstiegsposition erfahren können, ist es möglich, dass die vorstehend beschriebenen Probleme nicht auftreten, es gibt jedoch immer noch keine Technik, die einem Fahrer Informationen über einen Bereich in einer Fahrspur bereitstellt, in dem ein Fußgänger sicher einsteigen kann, oder einem Fußgänger Informationen über einen verfügbaren Einstiegsbereich in einem Umgebungsbereich bereitstellt.
-
[Zusammenfassung der Erfindung]
-
[Technische Aufgabe]
-
Demgemäß sind ein Verfahren und eine Vorrichtung zum Bestimmen eines verfügbaren Fahrzeugeinstiegsbereichs in einem Fahrbild durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform - als Erfindung, die zum Lösen der vorstehend beschriebenen Probleme erdacht wurde - eine Erfindung, die eine Technik betrifft, die durch Verwenden eines künstlichen neuronalen Netzwerks Informationen über den Bereich bereitstellt, in dem ein Fußgänger in ein Fahrzeug gelangen kann.
-
Insbesondere liegt als Aufgabe zugrunde, durch Erzeugen von Informationen über einen verfügbaren Einstiegsbereich durch Verwenden eines Künstliches-Neuronales-Netzwerk-Moduls für Informationen über ein eingegebenes Fahrzeug-Fahrbild und durch Anzeigen der erzeugten Informationen über den verfügbaren Einstiegsbereich auf dem Fahrzeug-Fahrbild oder durch Bereitstellen von auf einer Karte dargestellten Informationen an einen Fahrer oder Fußgänger dem Fußgänger zu ermöglichen, sicherer in ein Fahrzeug einzusteigen.
-
Zusätzlich liegt durch Bereitstellen von Karteninformationen an einen Benutzer, in denen ein Analyseergebnis eines verfügbaren Einstiegsbereichs für ein zuvor aufgenommenes Fahrbild auf einer Karte dargestellt ist, als Aufgabe zugrunde, beim Rufen eines Taxis basierend auf dem verfügbaren Einstiegsbereich das Taxi genauer zu rufen oder es einem Bekannten und einem Fahrer zu ermöglichen, vor dem Einsteigen des Bekannten in ein Fahrzeug eine verfügbare Einstiegsposition auszutauschen.
-
Zusätzlich kann durch Bereitstellen von Informationen über einen verfügbaren Einstiegsbereich, die basierend auf einem Fahrbild automatisch erzeugt wurden, eine Karte, die die Informationen über den verfügbaren Einstiegsbereich umfasst, einfacher erzeugt werden.
-
[Lösung der Aufgabe]
-
Eine Ausführungsform stellt eine Vorrichtung zum Bestimmen eines verfügbaren Fahrzeugeinstiegsbereichs in einem Fahrbild durch Verwenden eines künstlichen neuronalen Netzwerks bereit, welche aufweist: ein Bildteilungsmodul zum Beziehen eines Fahrbilds für eine Fahrrichtung eines Fahrzeugs von einem Kameramodul und Aufteilen des Fahrbilds in mehrere Bildstreifen; ein vortrainiertes Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul zum Einrichten des Bildstreifens als Eingangsinformation und Einrichten von Einstiegsverfügbarkeit-Informationen für die Bildstreifen als Ausgangsinformation; ein Merkmalsextraktion-Modul zum Extrahieren einer Aktivierungskarte, die Merkmalsinformationen über die Bildstreifen umfasst, aus dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul; und ein Bereichsinformationen-Erzeugungsmodul zum Erzeugen von Verfügbarer-Einstiegsbereich-Informationen für die Bildstreifen auf Grundlage der in der Aktivierungskarte enthaltenen Merkmalsinformationen.
-
Die Vorrichtung zum Bestimmen des verfügbaren Fahrzeugeinstiegsbereichs in dem Fahrbild durch Verwenden des künstlichen neuronalen Netzwerks kann ferner ein vortrainiertes Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul zum Einrichten der Bildstreifen als Eingangsinformation und von Bildsegmentierungsinformationen über die Bildstreifen als Ausgangsinformation aufweisen, wobei das Bereichsinformationen-Erzeugungsmodul Verfügbarer-Einstiegsbereich-Informationen für die Bildstreifen auf Grundlage einer Aktivierungskarte und der Bildsegmentierungsinformationen erzeugt.
-
Das Bereichsinformationen-Erzeugungsmodul kann durch Nutzen von Zuverlässigkeitsinformationen für jede in den Bildsegmentierungsinformationen enthaltene Koordinate auf Grundlage eines Repräsentativpunkts der Aktivierungskarte eine korrigierte Aktivierungskarte erzeugen und kann auf Grundlage der korrigierten Aktivierungskarte Verfügbarer-Einstiegsbereich-Informationen für die Bildstreifen erzeugen.
-
Ein Verlust des Segmentierungs-Künstliches-Neuronales-Netzwerk-Moduls kann einen Repräsentativpunkt-Verlust, der ein Abstandsunterschied zwischen Repräsentativpunkt-Informationen in Referenzinformationen für die Bildstreifen und Repräsentativpunkt-Informationen in den Bildsegmentierungsinformationen ist, und einen Grenzlinien-Verlust umfassen, der ein Abstandsunterschied zwischen Grenzlinien-Informationen in Referenzinformationen für die Bildstreifen und Grenzlinien-Informationen in den Bildsegmentierungsinformationen ist, und das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul kann derart trainieren, dass ein Verlust des Segmentierungs-Künstliches-Neuronales-Netzwerk-Moduls verringert wird.
-
Das Bildteilungsmodul kann das Fahrbild derart aufteilen, dass die Bildstreifen rechteckige Bildstreifen werden, deren vertikale Länge größer ist als ihre horizontale Länge.
-
Ein Verfahren zum Bestimmen eines verfügbaren Fahrzeugeinstiegsbereichs in einem Fahrbild durch Verwenden eines künstlichen neuronalen Netzwerks kann umfassen: Beziehen eines Fahrbilds für eine Fahrrichtung eines Fahrzeugs von einem Kameramodul und Aufteilen des Fahrbilds in mehrere Bildstreifen; Extrahieren einer Aktivierungskarte, die Merkmalsinformationen über den Bildstreifen umfasst, aus einem vortrainierten Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul, wobei die Bildstreifen als Eingangsinformation und Einstiegsverfügbarkeit-Informationen für die Bildstreifen als Ausgangsinformation eingerichtet sind; und Erzeugen von Verfügbarer-Einstiegsbereich-Informationen für die Bildstreifen auf Grundlage der in der Aktivierungskarte enthaltenen Merkmalsinformationen.
-
[Vorteilhafte Wirkungen der Erfindung]
-
Da das Verfahren und die Vorrichtung zum Bestimmen des verfügbaren Fahrzeugeinstiegsbereichs in dem Fahrbild durch Verwenden des künstlichen neuronalen Netzwerks gemäß der Ausführungsform einem Fahrer eines Fahrzeugs oder einem Fußgänger Informationen über den verfügbaren Fahrzeugeinstiegsbereich auf einer aktuellen Straße bereitstellt, kann der Fußgänger sicher in das Fahrzeug einsteigen.
-
Was darüber hinaus das Bereitstellen von Informationen für den verfügbaren Fahrzeugeinstiegsbereich betrifft, so geschieht dies im Stand der Technik manuell durch eine Person, während in der vorliegenden Erfindung Informationen über einen verfügbaren Einstiegsbereich vor einem momentan fahrenden Fahrzeug durch Verwenden eines künstlichen neuronalen Netzwerks auf automatische Weise erzeugt werden können, sodass es möglich ist, Verfügbarer-Einstiegsbereich-Informationen sicherer und genauer bereitzustellen.
-
Da es möglich ist, eine Position des verfügbaren Einstiegsbereichs genau zu kennen, kann außerdem eine Wartezeit für einen Taxidienst spürbar verringert werden.
-
Wenn eine Karte mit Verfügbarer-Einstiegsbereich-Informationen erstellt wird, ist es außerdem im Stand der Technik nötig, den verfügbaren Einstiegsbereich manuell auf der Karte zu bezeichnen, während es in der vorliegenden Erfindung möglich ist, Verfügbarer-Einstiegsbereich-Informationen auf Grundlage eines bezogenen Fahrbilds automatisch zu erstellen, sodass eine Karte mit den Verfügbarer-Einstiegsbereich-Informationen einfacher erstellt werden kann.
-
Figurenliste
-
- 1 veranschaulicht ein Blockdiagramm, das einige Bestandteile einer Vorrichtung zum Bestimmen eines verfügbaren Fahrzeugeinstiegsbereichs in einem Fahrbild durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einem Ausführungsbeispiel der vorliegenden Erfindung veranschaulicht.
- 2 veranschaulicht Eingangsinformationen, die an ein Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul gemäß einem Ausführungsbeispiel eingegeben werden, und davon ausgegebene Ausgangsinformationen.
- 3 veranschaulicht eine Beziehung zwischen dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul und dem Merkmalsextraktion-Modul gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
- 4 veranschaulicht die Aktivierungskarte, die von dem Merkmalsextraktion-Modul für die Bildstreifen extrahiert wurde, die Eingangsinformationen sind.
- 5 veranschaulicht eine Beziehung zwischen dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120, dem Merkmalsextraktion-Modul und dem Bereichsinformationen-Erzeugungsmodul gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
- 6 und 7 veranschaulichen an das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul eingegebene Eingangsinformationen und davon ausgegebene Ausgangsinformationen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
- 8 veranschaulicht eine Beziehung zwischen dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul, dem Merkmalsextraktion-Modul, dem Bereichsinformationen-Erzeugungsmodul und dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
- 9 ist eine Zeichnung zur Erläuterung eines Prinzips, dass das Bereichsinformationen-Erzeugungsmodul durch Verwenden von Zuverlässigkeitsinformationen für jede Koordinate einen Bereich korrigiert, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
- 10 ist eine Zeichnung zur Erläuterung eines Prozesses, bei dem das in 9 beschriebene Prinzip auf die vorliegende Erfindung angewendet wird.
- 11 ist eine Zeichnung zur Erläuterung eines Verfahrens, bei dem das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul trainiert, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
- 12 ist eine Zeichnung zur Erläuterung eines Verfahrens, bei dem das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul durch Verwenden von Ausgangsinformationen und Referenzinformationen trainiert, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
- 13 ist eine schematische Ansicht, die eine integrierte Aktivierungskartenerzeugung eines Merkmalsextraktion-Moduls gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung veranschaulicht.
- 14 und 15 sind schematische Ansichten, die eine Erzeugung der Nullungsaktivierungskarte gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung veranschaulichen.
- 16 ist eine schematische Ansicht, die eine Erzeugung der integrierten Aktivierungskarte gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung zeigt.
- 17 ist eine Zeichnung, die ein Beispiel zeigt, in dem Verfügbarer-Einstiegsbereich-Informationen auf einer Karte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung angezeigt werden.
-
[Beschreibung von Ausführungsformen]
-
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung anhand der beigefügten Zeichnungen beschrieben. Im Hinblick auf die Zuweisung von Bezugszeichen zu Bestandteilen der einzelnen Zeichnungen sollte beachtet werden, dass gleiche Bestandteile selbst dann gleiche Bezugszeichen tragen, wenn sie in verschiedenen Zeichnungen veranschaulicht sind. Bei der Beschreibung der Ausführungsformen der vorliegenden Erfindung werden ausführliche Beschreibungen einschlägig bekannter Konstruktionen oder Funktionen weggelassen, wenn erachtet wird, dass diese das Wesen der Ausführungsformen der vorliegenden Erfindung unnötig verschleiern. Außerdem werden zwar nachstehend Ausführungsbeispiele der vorliegenden Erfindung beschrieben, die technische Idee der vorliegenden Erfindung ist jedoch nicht auf diese beschränkt oder einschränkt, sondern kann von dem Fachmann durch Abwandlung auf verschiedene Art und Weise realisiert werden.
-
Außerdem werden in der vorliegenden Beschreibung verwendete Begriffe nur verwendet, um Ausführungsbeispiele zu beschreiben, und nicht, um die vorliegende Erfindung zu beschränken oder einzuschränken. Singularformen schließen Pluralformen ein, sofern aus dem Zusammenhang nicht eindeutig etwas anderes hervorgeht.
-
Bei der vorliegenden Beschreibung ist zu verstehen, dass die Begriffe „umfassen“, „enthalten“ oder „aufweisen“ angeben, dass ein Merkmal, eine Anzahl, ein Schritt, ein Vorgang, ein Bestandteil, ein Teil bzw. eine Kombination davon, die in der Beschreibung beschrieben ist, vorhanden ist, jedoch nicht im Voraus die Möglichkeit ausschließen, dass ein oder mehrere andere Merkmale, Anzahlen, Schritte, Vorgänge, Bestandteile, Teile oder Kombinationen vorhanden oder zusätzlich vorhanden sind.
-
Außerdem gilt in der gesamten Beschreibung, dass, wenn beschrieben wird, dass ein Element mit einem anderen Element „verbunden“ ist, dies nicht nur „direkt verbunden“, sondern auch „indirekt verbunden“ mit einem weiteren Element dazwischen umfasst; und in der vorliegenden Beschreibung verwendete Begriffe mit Ordinalzahlen wie erste, zweite und dergleichen werden nur dazu verwendet, verschiedene Elemente zu beschreiben, und sind nicht so auszulegen, dass sie diese Elemente beschränken.
-
Die vorliegende Erfindung wird im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen genauer beschrieben, in denen Ausführungsbeispiele der Erfindung gezeigt sind. In den Zeichnungen sind für die Beschreibung unwichtige Teile weggelassen, um die vorliegende Erfindung übersichtlich zu beschreiben.
-
1 veranschaulicht ein Blockdiagramm, das einige Bestandteile einer Vorrichtung 100 zum Bestimmen eines verfügbaren Fahrzeugeinstiegsbereichs in einem Fahrbild durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt, und 2 veranschaulicht Eingangsinformationen, die an ein Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul gemäß einem Ausführungsbeispiel eingegeben werden, und davon ausgegebene Ausgangsinformationen. Im Folgenden wird die Vorrichtung 100 zum Bestimmen des verfügbaren Fahrzeugeinstiegsbereichs in dem Fahrbild durch Verwenden des künstlichen neuronalen Netzwerks der einfacheren Beschreibung halber als Vorrichtung 100 zum Bestimmen eines verfügbaren Fahrzeugeinstiegsbereichs bezeichnet und beschrieben.
-
Unter Bezugnahme auf 1 kann die Vorrichtung 100 zum Bestimmen des verfügbaren Fahrzeugeinstiegsbereichs ein Bildteilungsmodul 110, ein
-
Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120, ein Merkmalsextraktion-Modul 130, ein Bereichsinformationen-Erzeugungsmodul 140 und ein Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 aufweisen.
-
Das Bildteilungsmodul 110 erfasst von einer Kamera fotografierte Fahrbilder 5 einer Front und Seiten eines Fahrzeugs, teilt die erfassten Fahrbilder 5 in mehrere Bildstreifen 10 auf und überträgt dann die mehreren aufgeteilten Bildstreifen 10 an das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120.
-
Im Speziellen wird das Fahrbild 5 in mehrere Bildstreifen 10 vorbestimmter Größe aufgeteilt, und die mehreren Bildstreifen 10 können in mehrere Bildstreifen 10 aufgeteilt werden, die wie in 2 gezeigt einen gemeinsamen Überlappungsbereich aufweisen. Andererseits können sie auch derart in mehrere Bildstreifen 10 aufgeteilt werden, dass kein Überlappungsbereich existiert.
-
Wenn das Bildteilungsmodul 110 das Fahrbild 5 aufteilt, um die mehreren Bildstreifen 10 zu erzeugen, können die Bildstreifen 10 außerdem so erzeugt werden, dass sie eine rechteckige Form aufweisen, deren vertikale Länge größer als ihre horizontale Länge ist.
-
Was Hindernisse angeht, die das Einsteigen von Fußgängern in ein Fahrzeug beeinflussen, so weisen Hindernisse mit großer horizontaler Länge (z. B. Blumenbeete) im Allgemeinen einen größeren Einfluss auf als Hindernisse mit großer vertikaler Länge (z. B. Strommasten), somit ist es möglich, Einstiegsverfügbarkeit-Informationen nur durch genaues Analysieren von Informationen über die horizontale Länge genau zu erzeugen. Wenn das Bildteilungsmodul 110 der vorliegenden Erfindung die mehreren Bildstreifen 10 erzeugt, werden diese demgemäß derart aufgeteilt, dass die vertikale Länge der Bildstreifen 10 länger ist als die horizontale Länge, sodass es möglich ist, den verfügbaren Fahrzeugeinstiegsbereich des Fußgängers effektiver zu bestimmen. Eine ausführliche Beschreibung davon wird später erneut geliefert.
-
Das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 ist ein Künstliches-Neuronales-Netzwerk-Modul, dass die von dem Bildteilungsmodul 110 übertragenen mehreren Bildstreifen 10 als Eingangsinformation verwendet und für jeden Bildstreifen Einstiegsverfügbarkeit-Informationen 20 als Ausgangsinformation verwendet, und das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 kann eine Trainingssitzung 121 zum Trainieren auf Grundlage der Eingangsinformationen und der Ausgangsinformationen und eine Inferenzsitzung 122 zum Inferieren von Ausgangsinformationen auf Grundlage der Eingangsinformationen umfassen. Klassifizierung bedeutet hier eine Klassifizierung, die allgemein in dem Künstliches-Neuronales-Netzwerk-Modul verwendet wird.
-
Die Trainingssitzung 121 des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 ist eine Sitzung, in der auf Grundlage der Eingangsinformationen und Ausgangsinformationen trainiert werden kann, und die Inferenzsitzung 122 kann die in Echtzeit eingegebenen Bildstreifen 10 durch Verwenden eines Künstliches-Neuronales-Netzwerk-Moduls analysieren und dann die Einstiegsverfügbarkeit-Informationen 20, welche für jedes Bild Informationen darüber, ob ein verfügbarer Einstiegsbereich vorhanden ist, und Zuverlässigkeitsinformationen dazu umfassen, als Ausgangsinformation ausgeben.
-
Zum Beispiel kann, wie in 2 gezeigt ist, wenn fünf nacheinander oder gleichzeitig eingegebene Bilder an das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 eingegeben werden, ausgegeben werden, ob für die fünf Bilder jeweils verfügbare Einstiegsbereiche vorliegen, und können Zuverlässigkeitsinformationen dazu ausgegeben werden.
-
Zum Beispiel kann das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 Ausgangsinformationen über das Vorhandensein des verfügbaren Einstiegsbereichs und eine Zuverlässigkeit von 0,6 als erste Ausgangsinformationen 21 für ein erstes Bild ausgeben, Ausgangsinformationen über das Vorhandensein des verfügbaren Einstiegsbereichs und eine Zuverlässigkeit von 0,7 als zweite Ausgangsinformationen 22 für ein zweites Bild ausgeben, Ausgangsinformationen über das Vorhandensein des verfügbaren Einstiegsbereichs und eine Zuverlässigkeit von 0,9 als dritte Ausgangsinformationen 23 für ein drittes Bild ausgeben, Ausgangsinformationen über das Vorhandensein des verfügbaren Einstiegsbereichs und eine Zuverlässigkeit von 0,7 als vierte Ausgangsinformationen 24 für ein viertes Bild ausgeben und Ausgangsinformationen über das Vorhandensein des verfügbaren Einstiegsbereichs und eine Zuverlässigkeit von 0,6 als fünfte Ausgangsinformationen 25 für ein fünftes Bild ausgeben.
-
Außerdem veranschaulicht 2 den Fall, bei dem von dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 ausgegebene Klasseninformationen zusammen mit Einstiegsverfügbarkeitklassifizierung-Informationen und Einstiegsunverfügbarkeitklassifizierung-Informationen ausgegeben werden; die vorliegende Erfindung ist jedoch nicht darauf beschränkt, und das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 kann auch nur die Einstiegsverfügbarkeitklassifizierung-Informationen ausgeben oder im umgekehrten Fall nur die Einstiegsunverfügbarkeitklassifizierung-Informationen ausgeben. Unterdessen können der konkrete Prozess des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 und die Struktur des Künstliches-Neuronales-Netzwerk-Moduls ein herkömmlicherweise bekanntes Bildklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul nutzen.
-
Das Merkmalsextraktion-Modul 130 ist ein Modul zum Einrichten einer Aktivierungskarte 30, die Merkmalsinformationen für die Bildstreifen 10 umfasst, als Ausgangsinformation. Bezüglich des Merkmalsextraktion-Moduls 130 veranschaulicht 3 eine Beziehung zwischen dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 und dem Merkmalsextraktion-Modul 130 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung, und 4 veranschaulicht die von dem Merkmalsextraktion-Modul 130 extrahierte Aktivierungskarte für die Bildstreifen, welche Eingangsinformationen sind.
-
Wie in 3 gezeigt ist, handelt es sich bei dem Merkmalsextraktion-Modul 130 um ein Modul, das die Aktivierungskarte 30 ausgibt, die Merkmalsinformationen in einer Schicht 123 vor einer vollständig verbundenen Schicht (124) und einer Ausgabeschicht in einem vortrainierten Bildklassifizierungs-Künstliches-Neuronales-Netzwerk, einschließlich einem ConvNet, umfasst.
-
Im Speziellen kann das Merkmalsextraktion-Modul 130 die Eingangs-Bildstreifen 10 analysieren, um die Aktivierungskarte 30 zu extrahieren, die Informationen über einen Bereich, in welchem im Bild Gegenstände existieren, und einen Bereich umfasst, in welchem dort keine Gegenstände existieren. Da das Einstiegsverfügbarkeitklassifizierungs-Neuronales-Netzwerk-Modul 120 einem Künstliches-Neuronales-Netzwerk-Modul entspricht, das die Einstiegsverfügbarkeit-Informationen 20 bezüglich des eingegebenen Bildes wie vorstehend beschrieben ausgibt, umfassen die an die Schicht 123 vor dem Ausgang eingegebenen Informationen bezüglich der an das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 eingegebenen Bilder Informationen darüber, ob für jeden Bereich ein Einstieg verfügbar ist. Demgemäß kann das Merkmalsextraktion-Modul 130 die Aktivierungskarte 30, die die Einstiegsverfügbarkeit-Informationen für jeden Bereich umfasst, durch Anwenden von vorbekannten diversen Filtern auf die Schicht 123 vor dem Ausgang extrahieren.
-
Wenn das in 4 (a) gezeigte Bild in Form der Bildstreifen 10 an das Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 eingegeben wird, kann das Merkmalsextraktion-Modul 130 zum Beispiel die Aktivierungskarte 30, etwa das in 4 (b) gezeigte Bild, aus der vollständig verbundenen Schicht 124 und der Schicht 123 vor der Ausgabeschicht extrahieren.
-
In 4 (b) bezeichnen weiße Abschnitte Abschnitte, von denen bestimmt wurde, dass sie verfügbare Einstiegsbereiche sind, und schwarze Abschnitte bezeichnen Bereiche, in denen kein Einstieg verfügbar ist, und diese Informationen können als Merkmalsinformationen bezeichnet werden. Das heißt, was das Extrahieren der Aktivierungskarte 30 durch Anwenden des Filters in der Schicht 123 vor dem Ausgang betrifft, kann das Merkmalsextraktion-Modul 130 Wahrscheinlichkeitsinformationen für jeden Bereich basierend auf den Wahrscheinlichkeitsinformationen darüber, ob ein Einstieg verfügbar ist, basierend auf den an die Schicht 123 vor dem Ausgang eingegebenen Informationen anzeigen, das heißt, es kann sie, wie in 4 (b) gezeigt, zum Anzeigen in weiße Bereiche und schwarze Bereiche segmentieren.
-
Darüber hinaus kann das Merkmalsextraktion-Modul 130 auf Grundlage von Vektorinformationen, welche Positionsinformationen für jeden Bereich und Wahrscheinlichkeitsinformationen umfassen, nur Bereiche mit einer Wahrscheinlichkeit mindestens so hoch wie ein vorbestimmter Standard weiß, andere Bereiche dagegen schwarz anzeigen.
-
Das Bereichsinformationen-Erzeugungsmodul 140 kann die Verfügbarer-Einstiegsbereich-Informationen für die Bildstreifen 10 auf Grundlage der in der
-
Aktivierungskarte 30 enthaltenen Merkmalsinformationen erzeugen.
-
5 veranschaulicht eine Beziehung zwischen dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120, dem Merkmalsextraktion-Modul 130 und dem Bereichsinformationen-Erzeugungsmodul 140 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Im Speziellen kann das Bereichsinformationen-Erzeugungsmodul 140, wie in 5 gezeigt ist, Verfügbarer-Einstiegsbereich-Informationen 40 auf Grundlage von einem Hindernisbereich, der in der von dem Merkmalsextraktion-Modul 130 extrahierten Aktivierungskarte 30 enthalten ist, und Merkmalsinformationen für andere Bereiche erzeugen. Da die durch Verwenden des Filters extrahierte Aktivierungskarte 30, wie vorstehend beschrieben ist, Koordinateninformationen für jeden Bereich und Informationen darüber, ob ein Einstieg verfügbar ist, als Vektorinformationen umfasst, kann der verfügbare Einstiegsbereich auf Grundlage solcher Informationen des Bereichsinformationen-Erzeugungsmoduls 140 bestimmt werden.
-
Im Speziellen kann das Bereichsinformationen-Erzeugungsmodul 140 die Verfügbarer-Einstiegsbereich-Informationen 40 auf Grundlage der Informationen über die in 4 (b) gezeigten weißen und schwarzen Bereiche erzeugen. Da wie vorstehend erwähnt weiße Bereiche hindernisfreie Bereiche sind und schwarze Bereiche Bereiche mit Hindernissen sind, können die Verfügbarer-Einstiegsbereich-Informationen 40 basierend auf den weißen Bereichen erzeugt werden. Da hindernisfreie weiße Bereiche jedoch nicht bedeuten, dass Passagiere uneingeschränkt in das Fahrzeug einsteigen können, kann das Bereichsinformationen-Erzeugungsmodul 140 die Verfügbarer-Einstiegsbereich-Informationen 40 basierend auf Informationen darüber, ob ein weißer Bereich mindestens eine vorbestimmte Größe aufweist, damit sich eine Person darin bewegen kann, Informationen darüber, ob er mit dem Boden verbunden ist, und Informationen darüber, ob der weiße Bereich mit einem Fahrzeug verbunden ist, erzeugen, und derartige Verfügbarer-Einstiegsbereich-Informationen 40 können als Koordinateninformationen enthalten sein und erzeugt werden.
-
Daher erzeugt das Bereichsinformationen-Erzeugungsmodul 140 Bildinformationen basierend auf Verfügbarer-Einstiegsbereich-Informationen 40, die Koordinateninformationen über verfügbares Einsteigen umfassen, und dann kann es derartige Bildinformationen als getrennten Bereich auf den Bildstreifen 10 anzeigen, die an das Einstiegsverfügbarkeitklassifizierungs-Neuronales-Netzwerk-Modul 120 eingegeben wurden. Wenn die Verfügbarer-Einstiegsbereich-Informationen 40 in einen getrennten Bereich aufgeteilt und auf den Bildstreifen 10 angezeigt werden, kann der Fahrer bzw. Passagier den verfügbaren Einstiegsbereich intuitiv erfassen.
-
Nachdem das Bereichsinformationen-Erzeugungsmodul 140 die Verfügbarer-Einstiegsbereich-Informationen 40 erzeugt hat, kann das Bereichsinformationen-Erzeugungsmodul 140 sie zusätzlich in einer Weise anzeigen, bei der die Verfügbarer-Einstiegsbereich-Informationen 40, wie in 5 links unten gezeigt, die Bildstreifen 10 überlappen, oder es kann die Verfügbarer-Einstiegsbereich-Informationen 40, wie in 5 unten rechts gezeigt, als Koordinateninformationen erzeugen. „Koordinateninformationen“ bedeutet Koordinateninformationen für den verfügbaren Einstiegsbereich innerhalb der Bildstreifen 10, und die Koordinateninformationen können als Informationen verwendet werde, mit welchen der verfügbare Einstiegsbereich zusammen mit den Positionsinformationen in dem Fahrbild auf der Karte dargestellt werden kann. Wenn die Verfügbarer-Einstiegsbereich-Informationen 40 wie in der vorliegenden Erfindung als Koordinateninformationen erzeugt werden, können sie daher beim Darstellen des verfügbaren Einstiegsbereichs auf der Karte einfacher dargestellt werden.
-
Zusätzlich kann das Bereichsinformationen-Erzeugungsmodul 140 die Verfügbarer-Einstiegsbereich-Informationen 40 auch basierend auf von dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ausgegebenen Bildsegmentierungsinformationen 50 erzeugen. Nachstehend wird das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ausführlich beschrieben.
-
6 und 7 veranschaulichen an das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul eingegebene Eingangsinformationen und davon ausgegebene Ausgangsinformationen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ist ein Künstliches-Neuronales-Netzwerk-Modul, das die von dem Bildteilungsmodul 110 übertragenen mehreren Bildstreifen 10 als Eingangsinformation einrichtet und die Bildsegmentierungsinformationen 50 als Ausgangsinformation für jeden Bildstreifen einrichtet, und das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 kann eine Trainingssitzung 151 zum Trainieren basierend auf den Eingangsinformationen und den Ausgangsinformationen sowie eine Inferenzsitzung 152 zum Inferieren von Ausgangsinformationen basierend auf den Eingangsinformationen umfassen.
-
Hier bezeichnen die Bildsegmentierungsinformationen 50 ein Bild, bei dem ein Bild in mehrere Pixelsätze segmentiert ist, sowie Informationen, die durch Gruppieren von Koordinaten mit gleichen oder ähnlichen Merkmalen in mehrere Gruppen segmentiert sind. Im Allgemeinen bedeutet ein Bereich, in dem das gleiche Bild angezeigt wird, einen Bereich, in dem vorbestimmte Merkmale wie Farbe, Helligkeit und Material ähnlich sind, und ein Bereich, in dem unterschiedliche Bilder angezeigt werden, bedeutet einen Bereich, in welchem sich die Merkmale unterscheiden.
-
Die Trainingssitzung 151 des Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ist eine Sitzung, in der basierend auf Eingangsinformationen und Ausgangsinformationen trainiert werden kann, und die Inferenzsitzung 152 kann die in Echtzeit eingegebenen Bildstreifen 10 durch Verwenden des Künstliches-Neuronales-Netzwerk-Moduls analysieren, um die Bildsegmentierungsinformationen 50 zu inferieren, welche Klassifizierungsinformationen umfassen, die in jedem Bild vorhandene Gegenstände klassifiziert.
-
Wenn ein Bild mit einer Fahrbahn, einem Bürgersteig, einem Fußgänger, einem Baum und dergleichen, wie in 7 gezeigt, an das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 als Eingangsinformation eingegeben wird, können demgemäß die Bildsegmentierungsinformationen 50, die durch Gruppieren unterschiedlicher Bilder bezüglich einer Fahrbahn, eines Bürgersteigs, eines Fußgängers, eines Baums und dergleichen angezeigt werden, als Ausgangsinformation ausgegeben werden.
-
Demgemäß kann das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ein künstliches neuronales Netzwerk aufweisen, das Bildsegmentierungsinformationen für ein Eingangsbild ausgeben kann, und stellvertretend kann ein CNN-Neuronales-Netzwerk verwendet werden. Als Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 gemäß der vorliegenden Erfindung kann ein beliebiges bekanntes künstliches neuronales Netzwerk verwendet werden, solange es ein künstliches neuronales Netzwerk ist, das für ein Eingangsbild die vorstehend beschriebenen Bildsegmentierungsinformationen 50 ausgeben kann.
-
In der vorliegenden Beschreibung wurde es anhand eines CNN als das neuronale Netzwerk beschrieben, das als Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 der vorliegenden Erfindung angewendet wurde, das als Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 der vorliegenden Erfindung angewendete neuronale Netzwerk ist jedoch nicht auf ein CNN beschränkt und es können verschiedene gut bekannte Künstliches-Neuronales-Netzwerk-Modelle wie Google Mobile Net v2, VGGNet16 und ResNet50, die zur Bilderkennung nützlich sind, angewendet werden, und künstliche neuronale Netzwerke wie CNN, Google Mobile Net v2, VGGNet16 und ResNet50 können auch in dem vorstehend beschriebenen Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 verwendet werden.
-
8 veranschaulicht eine Beziehung zwischen dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul, dem Merkmalsextraktion-Modul, dem Bereichsinformationen-Erzeugungsmodul und dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul gemäß dem Ausführungsbeispiel.
-
Wie in 8 gezeigt ist, kann das Bereichsinformationen-Erzeugungsmodul 140 den verfügbaren Einstiegsbereich durch Verwenden der Bildsegmentierungsinformationen 50 für die von dem Merkmalsextraktion-Modul 130 extrahierte Aktivierungskarte 30 bestimmen, und es kann die bestimmten Verfügbarer-Einstiegsbereich-Informationen 40 als getrennten Bereich auf den Bildstreifen 10 anzeigen.
-
Damit die Verfügbarer-Einstiegsbereich-Informationen so genau wie möglich ausgegeben werden, ist es nötig, dass die Merkmalsinformationen, bei welchen es sich um Informationen über die in der Aktivierungskarte 30 bestimmten Hindernisse und andere Informationen handelt, genau sind. Demgemäß kann das Bereichsinformationen-Erzeugungsmodul 140 die Genauigkeit der Merkmalsinformationen basierend auf den für jeden Bereich gruppierten Informationen erhöhen, die von dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ausgegeben werden.
-
Im Speziellen kann das Bereichsinformationen-Erzeugungsmodul 140 basierend auf den von dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ausgegebenen Bildsegmentierungsinformationen 50 und Zuverlässigkeitsinformationen dafür eine korrigierte Aktivierungskarte erzeugen, welche die korrigierte Aktivierungskarte 30 ist, an der eine Segmentierungskorrektur vorgenommen wurde, und den verfügbaren Einstiegsbereich basierend auf der erzeugten korrigierten Aktivierungskarte bestimmen.
-
Wie vorstehend beschrieben ist, gibt das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 jede geclusterte Information für konkrete Gegenstände geclustert aus, und da die ausgegebenen Informationen geclustert sind und in unterschiedlichen Bildern ausgegeben werden, umfassen diese Informationen Informationen darüber, ob in jeder Zone Hindernisse existieren. Demgemäß korrigiert das Bereichsinformationen-Erzeugungsmodul 140 die Aktivierungskarte basierend auf den geclusterten Informationen für jeden von dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ausgegebenen Bereich, und somit kann eine Aktivierungskarte, die für jeden Bereich Informationen über die Existenz von Hindernissen und verfügbaren Einstiegsbereichen umfasst, genauer erzeugt werden. Nachfolgend wird ein Verfahren zum Erzeugen der Aktivierungskarte ausführlich beschrieben.
-
Ein Segmentierungskorrekturprozess für die Aktivierungskarte wird unter Bezugnahme auf 9 und 10 beschrieben. 9 ist eine Zeichnung zur Erläuterung eines Prinzips, dass das Bereichsinformationen-Erzeugungsmodul durch Verwenden von Zuverlässigkeitsinformationen für jede Koordinate einen Bereich korrigiert, gemäß einem Ausführungsbeispiel, und 10 ist eine Zeichnung zur Erläuterung eines Prozesses, bei dem das in 9 beschriebene Prinzip auf die vorliegende Erfindung angewendet wird.
-
„Segmentierung" bedeutet beim vorstehend beschriebenen Bestimmen der Beziehung zum umgebenden Bereich unter Bezug auf den Merkmalspunkt in den gleichen Bereich klassifizieren, wenn bestimmt wird, dass Zugehörigkeit zur gleichen Gruppe vorliegt, und in einen anderen Bereich klassifizieren, wenn dies nicht der Fall ist; und im Allgemeinen wird, wie in 10 (a) gezeigt, nach dem Bestimmen eines Repräsentativpunkts (roter Punkt) in der Aktivierungskarte ein Clustern basierend auf dem roten Punkt durchgeführt.
-
Im Allgemeinen wird das Clustern durchgeführt, während die Beziehung zwischen dem Repräsentativpunkt und dem Umgebungsbereich des Repräsentativpunkts bestimmt wird, welcher der Anfangspunkt ist; und im Stand der Technik ist es üblich, basierend auf den RGB-Werten (Rot-, Grün-, Blauwerte) im Umgebungsbereich zu bestimmen, ob Zugehörigkeit zur gleichen Klassifizierungsgruppe vorliegt. Das Bereichsinformationen-Erzeugungsmodul 140 gemäß der vorliegenden Erfindung ist jedoch im Gegensatz zum Stand der Technik dadurch gekennzeichnet, dass es einen Segmentierungskorrekturprozess basierend auf den Zuverlässigkeitsinformationen für jede in den Bildsegmentierungsinformationen 50 enthaltene Koordinate durchführt.
-
Wenn hinsichtlich des Repräsentativpunkts der Aktivierungskarte 30 der Zuverlässigkeitswert in den Bildsegmentierungsinformationen 50 für den Bereich um den Repräsentativpunkt herum größer als ein vorbestimmter Wert ist, erweitert das Bereichsinformationen-Erzeugungsmodul 140 insbesondere die Reichweite des Bereichs durch Gruppieren des Bereichs in die gleiche Klassifizierungsgruppe wie den Repräsentativpunkt. Wenn jedoch der Zuverlässigkeitswert in den Bildsegmentierungsinformationen 50 für den Bereich um den Repräsentativpunkt herum kleiner als ein vorbestimmter Wert ist, wird der Bereich einer anderen Klassifizierungsgruppe zugewiesen als der Repräsentativpunkt und die Reichweite wird nicht erweitert. Demgemäß wird bestimmt, dass die in 10 (b) und (c) gezeigten gelben Punkte in einem auf dem roten Repräsentativpunkt basierenden Bereich hoher Zuverlässigkeit liegen, und sie werden als der gleichen Klassifizierungsgruppe (A) zugehörig angezeigt, und es wird bestimmt, dass die violetten Punkte in einem auf dem Repräsentativpunkt basierenden Bereich geringer Zuverlässigkeit liegen, und sie werden als einer anderen Klassifizierungsgruppe (B) zugehörig angezeigt.
-
Wenn dieses Verfahren wie in 10 gezeigt auf die Aktivierungskarte 30 angewendet wird, werden die in 10 gelb dargestellten Punkte als der gleichen Klassifizierungsgruppe (A) wie der Repräsentativpunkt zugehörig klassifiziert, sie sind also Bereiche, die die Aktivierungskarte 30 nicht beeinflussen. Dagegen ist der durch den violetten Punkt angegebene Abschnitt zwar ein Bereich, der in der von dem Merkmalsextraktion-Modul 130 extrahierten Aktivierungskarte als dem gleichen Bereich wie der Repräsentativpunkt zugehörig klassifiziert wurde, jedoch ein Bereich, der beim Klassifizieren basierend auf den Bildsegmentierungsinformationen 50 einer anderen Klassifizierungsgruppe (B) zugeordnet wird; basierend auf den Bildsegmentierungsinformationen 50 ist also für diesen Abschnitt eine Korrektur nötig.
-
Demgemäß kann das Bereichsinformationen-Erzeugungsmodul 140 eine korrigierte Aktivierungskarte erzeugen, bei der ein Bereich für die violetten Punkte wie in 10 (c) gezeigt von einem weißen Bereich in einen schwarzen Bereich korrigiert wird, und basierend darauf den verfügbaren Einstiegsbereich bestimmen und die Verfügbarer-Einstiegsbereich-Informationen 40 auf den Bildstreifen 10 anzeigen, wie in 8 gezeigt ist.
-
Das heißt, das Bereichsinformationen-Erzeugungsmodul 140 gemäß dem Ausführungsbeispiel verwendet die in den Bildsegmentierungsinformationen 50 enthaltenen Zuverlässigkeitsinformationen, um die Genauigkeit der Aktivierungskarte zu verbessern, welche die Merkmalsinformationen umfasst, und erzeugt darauf basierend die Verfügbarer-Einstiegsbereich-Informationen, wodurch es die Verfügbarer-Einstiegsbereich-Informationen genauer erzeugt.
-
Da die korrigierte Aktivierungskarte basierend auf den von dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ausgegebenen Bildsegmentierungsinformationen 50 erzeugt wird, kann zusätzlich die Zuverlässigkeit der Verfügbarer-Einstiegsbereich-Informationen erhöht werden, wenn das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 gut trainiert ist. Demgemäß kann das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 durch Verwenden von Referenzinformationen 60 trainieren. Dies wird nachstehend unter Bezugnahme auf 12 und 13 beschrieben.
-
11 ist eine Zeichnung zur Erläuterung eines Verfahrens, bei dem das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 trainiert, gemäß einem Ausführungsbeispiel, und 12 ist eine Zeichnung zur Erläuterung eines Verfahrens, bei dem das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul durch Verwenden von Ausgangsinformationen und Referenzinformationen trainiert, gemäß einem Ausführungsbeispiel.
-
Unter Bezugnahme auf 11 kann das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 eine Verlustfunktion einrichten, um einen Parameter des Segmentierungs-Künstliches-Neuronales-Netzwerk-Moduls 150 durch Verwenden des Bildstreifens 10 als Eingangsinformation, durch Verwenden der Bildsegmentierungsinformationen 50, welche die Repräsentativpunkt-Informationen 51 und die Grenzlinien-Informationen 52 umfassen, als Ausgangsinformation und durch Verwenden der Referenzinformationen 60, die tatsächliche Repräsentativpunkt-Informationen 61 und tatsächliche Grenzlinien-Informationen 62 umfassen, als Wahrheitsinformation derart zu aktualisieren, dass ein Unterschied zwischen Ausgangsinformationen und Referenzinformationen verringert wird.
-
Die Genauigkeit der Segmentierung ist eine Grenzlinie zwischen dem Repräsentativpunkt, der der Anfangspunkt des Clusters ist, und einem weiteren Bereich, das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 der vorliegenden Erfindung kann also unabhängig oder gleichzeitig an dem Repräsentativpunkt und der Grenzlinie trainieren.
-
Im Speziellen kann die Verlustfunktion des Segmentierungs-Künstliches-Neuronales-Netzwerk-Moduls 150 eine Repräsentativpunkt-Verlustfunktion und eine Grenzlinien-Verlustfunktion umfassen, und in diesem Fall bezeichnet die Repräsentativpunkt-Verlustfunktion einen Unterschied zwischen den Repräsentativpunkt-Informationen 51, die einem Mittelpunkt des inferierten verfügbaren Einstiegsbereichs entsprechen, und den Repräsentativpunkt-Referenzinformationen 61, die einem Mittelpunkt des tatsächlichen verfügbaren Einstiegsbereichs entsprechen, und die Grenzlinien-Verlustfunktion bezeichnet einen Unterschied zwischen den Grenzlinien-Informationen 52, die der Grenzlinie des inferierten verfügbaren Einstiegsbereichs entsprechen, und den Grenzlinien-Referenzinformationen 62, die den Grenzlinien-Informationen 62 des tatsächlichen verfügbaren Einstiegsbereichs entsprechen, und das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 kann den Parameter des Segmentierungs-Künstliches-Neuronales-Netzwerk-Moduls 150 derart aktualisieren, dass ein Wert einer Gesamtverlustfunktion, der eine Summe der Repräsentativpunkt-Verlustfunktion und der Grenzlinien-Verlustfunktion ist, verringert wird.
-
In 11 wurde die Verlustfunktion anhand der Summe der Repräsentativpunkt-Verlustfunktion und der Grenzlinien-Verlustfunktion beschrieben, das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 kann jedoch auch basierend auf nur der Repräsentativpunkt-Verlustfunktion oder nur der Grenzlinien-Verlustfunktion trainieren.
-
Bei der Beschreibung anhand von 12 zeigt 12 (a) die von dem Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 ausgegebenen Bildsegmentierungsinformationen 50 (Zuverlässigkeit nicht dargestellt), 12 (b) ist eine Zeichnung, in der ein Bereich, der in einen verfügbaren Einstiegsbereich in den Bildsegmentierungsinformationen 50 segmentiert ist, auf einem tatsächlichen Bild angezeigt wird, und 12 (c) ist ein tatsächliches Bild, das als Referenzinformation dient.
-
Das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 erzeugt Koordinateninformationen basierend auf einem Mittelpunkt C1 des inferierten verfügbaren Einstiegsbereichs, wie vorstehend beschrieben ist, und erzeugt ebenfalls Koordinateninformationen bezogen auf einen Mittelpunkt C2 des tatsächlichen verfügbaren Einstiegsbereichs und kann dann derart an dem Mittelpunkt trainieren, dass der Wert zwischen den einzelnen erzeugten Koordinateninformationsfragmenten am kleinsten ist, oder in einer Richtung trainieren, in der C1 basierend auf C2 mit C2 übereinstimmt.
-
Auf ähnliche Weise erzeugt das Segmentierungs-Künstliches-Neuronales-Netzwerk-Modul 150 die Grenzlinien-Informationen basierend auf einer Grenzlinie L1 des verfügbaren Einstiegsbereichs und erzeugt die Grenzlinien-Informationen bezogen auf eine Grenzlinie L2 des tatsächlichen verfügbaren Einstiegsbereichs und kann dann derart an dem Mittelpunkt trainieren, dass der Wert zwischen den erzeugten Koordinateninformationsfragmenten am kleinsten ist, oder in einer Richtung trainieren, in der L1 basierend auf L2 mit L2 übereinstimmt.
-
In Bezug auf die Extrahierung der Aktivierungskarte durch das Merkmalsextraktion-Modul 130 ist 13 eine schematische Ansicht, die eine integrierte Aktivierungskartenerzeugung eines Merkmalsextraktion-Moduls 130 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung veranschaulicht. Wie in 13 gezeigt ist, kann das Merkmalsextraktion-Modul 130 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung mehrere Nullungsaktivierungskarten 31 aus dem Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Modul 120 extrahieren, um durch Integrieren der extrahierten mehreren Nullungsaktivierungskarten 31 eine einzige Aktivierungskarte 30 zu erzeugen.
-
Bei der Nullungsaktivierungskarte 31 handelt es sich um eine Aktivierungskarte, die durch Nullen eines Teils eines Faltungsfilters (Convolution-Filters) des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 ausgegeben wird. Dies bedeutet, dass ein Filter, der genullt wird, beim Extrahieren einer Aktivierungskarte durch Verwenden eines Filters allgemein verwendet wird, und bedeutet, dass ein Filter, der genullt wird, verwendet wird, und die Bedeutung von „Nullen eines Filters“ ist, dass ein Merkmal in einem Teilbereich des Filters zufällig auf 0 gesetzt wird.
-
Nach dem Nullen eines Teils des Faltungsfilters (Convolution-Filters) des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 kann demgemäß die Aktivierungskarte, die durch das Merkmalsextraktion-Modul 130 derart aus der Convolution-Schicht vor der vollständig verbundenen Schicht (FC) des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 zum Trainieren des Künstliches-Neuronales-Netzwerk-Moduls extrahiert wird, dass der Verlust zwischen den Einstiegsverfügbarkeit-Informationen 20, die von der Ausgabeschicht des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 ausgegeben werden, und den tatsächlichen Einstiegsverfügbarkeit-Informationen, das heißt der Wahrheit, abnimmt, als Nullungsaktivierungskarte 31 definiert werden, und demgemäß kann die Nullungsaktivierungskarte die Aktivierungskarte 31 mit anderen Vektorwerten sein.
-
Ausführlich und mit Bezug auf das Verfahren zum Erzeugen der Nullungsaktivierungskarte 31 sind 14 und 15 schematische Ansichten, die eine Erzeugung der Nullungsaktivierungskarte gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung veranschaulichen.
-
Im Fall von 14 kann in Bezug auf das Nullungsverfahren ein Faltungsvorgang durch ein Verfahren durchgeführt werden, bei dem eine Schrittweite des Faltungsfilters auf 1 gesetzt ist und eine zufällige Auswahl angewendet wird, in welcher der Faltungsfilter bei jeder Fensterverschiebung zufällig genullt wird (der mit x gekennzeichnete Abschnitt in der Zeichnung ist ein Abschnitt, in dem genullt wird). Beim Durchführen des Faltungsvorgangs durch Nullen in einer zufälligen Auswahl ist der genullte Abschnitt im Filter nicht festgelegt, sondern wird bei jedem Durchführen einer Fensterverschiebung zufällig geändert.
-
Wenn der Filter erstmals die Fensterverschiebung durchführt, wie durch x im roten Filter 51 angezeigt ist, kann der Faltungsvorgang basierend auf dem Filter, auf den die zufällige Auswahl angewendet wird, durchgeführt werde. Danach kann der Faltungsvorgang, wie durch x im blauen Filter 52 angezeigt ist, basierend auf dem Filter durchgeführt werden, auf den die zufällige Auswahl angewendet wird. Anders ausgedrückt bedeutet dies, dass beim Verschieben der Merkmalskarte mit einem Filter das Merkmal für jede Fensterverschiebung zufällig ausgewählt wird.
-
Demgemäß kann in Form eines roten Filters durchgeführtes Nullen des Faltungsfilters (Convolution-Filters) des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 eine erste Nullungsaktivierungskarte 31a extrahiert werden, und es kann durch in Form eines blauen Filters durchgeführtes Nullen des Faltungsfilters (Convolution-Filters) des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 eine zweite Nullungsaktivierungskarte 31b extrahiert werden. Wenn diese Schritte wiederholt werden, kann das Merkmalsextraktion-Modul 130 demgemäß mehrere Nullungsaktivierungskarten 31 extrahieren.
-
Als weiteres Ausführungsbeispiel der vorliegenden Erfindung kann, wie in 15 gezeigt ist, beim Durchführen des Faltungsvorgangs die Zufallsauswahl-Merkmalskarte 12 auf vergrößerte Bildstreifen 11 angewendet werden, bei denen die Bildstreifen 10 vergrößert sind, und es kann ein darauf basierender Faltungsvorgang durchgeführt werden. In 15 bezeichnen die vergrößerten Bildstreifen 11 Bildstreifen, die durch Multiplizieren einer Größe des Eingangsbildstreifens 10 mit „s“ vergrößert wurden, welches eine Schrittweite-Zahl ist, die beim Durchführen des Faltungsvorgangs angewendet wird.
-
Beim Vergleich mit 14 wird in 14 beim Verschieben des Filters bei der Durchführung des Faltungsvorgangs die Zufallsauswahl an dem Filter selbst durchgeführt (in 14 beträgt die Schrittweite 1), während in 15 die Zufallsauswahl-Merkmalskarte 12, die der Größe des vergrößerten Bildstreifens 11 entspricht, auf den vergrößerten Bildstreifen 11 angewendet wird (der in 15 mit x markierte Abschnitt zeigt einen Zustand, in dem die Zufallsauswahl angewendet ist) und dann der Faltungsvorgang an dem angewendeten Bild durchgeführt werden kann.
-
Das heißt, in 14 wird die Zufallsauswahl angewendet, während der Filter die Fensterverschiebung bezüglich des Bildstreifens 10 durchführt, während in 15 stattdessen ein zufällig vorausgewähltes Merkmal vergrößert werden kann, sodass es mit der Größe des Bildstreifens 10 übereinstimmt, und dann der Faltungsvorgang durch Verwenden des Filters durchgeführt werden kann.
-
Demgemäß kann im Fall von 15 nach dem Nullen eines Abschnitts der Faltungsschicht (Convolution-Filters) des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 das Künstliches-Neuronales-Netzwerk-Modul 120 derart trainiert werden, dass der Verlust zwischen den Einstiegsverfügbarkeit-Informationen 20, die von der Ausgabeschicht des Einstiegsverfügbarkeitklassifizierungs-Künstliches-Neuronales-Netzwerk-Moduls 120 ausgegeben werden, und den tatsächlichen Einstiegsverfügbarkeit-Informationen, das heißt der Wahrheit, abnimmt, und das Merkmalsextraktion-Modul 130 kann die Nullungsaktivierungskarte 31 aus der Convolution-Schicht vor der vollständig verbundenen Schicht (FC) extrahieren.
-
Wenn der Faltungsvorgang in gleicher Weise wie in 15 durchgeführt wird, ist das extrahierte Ergebnis das gleiche wie im Fall der 14, es besteht jedoch keine Notwendigkeit, die Zufallsauswahl mit Verschieben durchzuführen, und es ist möglich, einen Faltungsvorgang durchzuführen, bei dem die Zufallsauswahl auf das gesamte vergrößerte Bild auf einmal angewendet wird, sodass es möglich ist, die Nullungsaktivierungskarte 31 schneller als mit dem Verfahren in 14 zu erzeugen. Das heißt, im Fall von 14 sollte das Verschiebefenster beim Durchführen der Faltung zufällig extrahiert werden, und wenn dies mit einem getrennten Prozessor implementiert ist, ist es schwierig, dies in einem gewöhnlichen Deep-Learning-Framework (zum Beispiel PyTorch oder TensorFlow) zu implementieren. Wenn die Faltung jedoch auf die gleiche Weise wie in 15 durchgeführt wird, kann der Faltungsvorgang, der mit Zufallsauswahl angewendet wird, vergleichsweise rasch durchgeführt werden, sodass ein Gesamtprozess eines Prozessors verkürzt werden kann.
-
Zusätzlich kann, obwohl dies in den Zeichnungen nicht gezeigt ist, bei der vorliegenden Erfindung, wenn nach dem Durchführen der Faltung ein Dropout auf die extrahierte Merkmalskarte angewendet wird, das Dropout anstelle durch Anwendung eines allgemeinen Dropout-Verfahrens auf eine Weise angewendet werden, bei der ein Merkmal, das dem Mittelpunkt eines jeweiligen Verschiebefensters entspricht, nicht durch das Dropout entfernt wird. Wenn das allgemeine Dropout-Verfahren verwendet wird, werden, da der Nachteil besteht, dass es schwierig ist, eine Korrelation zwischen allen Verschiebefenstern zu verstehen, räumliche Informationen beim Trainieren des künstlichen neuronalen Netzwerks vermischt, sodass dessen Effizienz abnehmen kann. Wenn jedoch das Dropout gemäß dem Verfahren durchgeführt wird, bei dem das Merkmal, das der Mitte entspricht, vorhanden ist, wird die Information über die Mitte bewahrt, sodass das Künstliches-Neuronales-Netzwerk-Modul beim Trainieren normal basierend auf den räumlichen Informationen trainieren kann.
-
Eine integrierte Aktivierungskarte 32 bezieht sich auf eine Aktivierungskarte, bei der mehrere aus dem Merkmalsextraktion-Modul 130 extrahierte Nullungsaktivierungskarten 31 in eine Matrix integriert sind. 16 ist eine schematische Ansicht, die eine Erzeugung der integrierten Aktivierungskarte 32 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung zeigt. Wie in 16 gezeigt ist, kann das Merkmalsextraktion-Modul 130 dazu eingerichtet sein, die integrierte Aktivierungskarte 32 durch Integration von mehreren extrahierten Nullungsaktivierungskarten 31 zu einer Matrix zu erzeugen.
-
Die auf diese Weise erzeugte integrierte Aktivierungskarte 32 wird an das Bereichsinformationen-Erzeugungsmodul 140 eingegeben, und, wie vorstehend unter Bezugnahme auf 5 beschrieben ist, kann das Bereichsinformationen-Erzeugungsmodul 140 den verfügbaren Einstiegsbereich auf den Bildstreifen 10 basierend auf den Informationen über die in der integrierten Aktivierungskarte 32 enthaltenen Hindernisbereiche und andere Bereiche bestimmen und die bestimmten Verfügbarer-Einstiegsbereich-Informationen 40 als getrennten Bereich auf den Bildstreifen 10 anzeigen.
-
Als weiteres Ausführungsbeispiel kann das Bereichsinformationen-Erzeugungsmodul 140, wie in 8 gezeigt ist, den verfügbaren Einstiegsbereich durch Verwenden der Bildsegmentierungsinformationen 50 für die von dem Merkmalsextraktion-Modul 130 extrahierte integrierte Aktivierungskarte 32 bestimmen und die bestimmten Verfügbarer-Einstiegsbereich-Informationen 40 als getrennten Bereich auf den Bildstreifen 10 anzeigen. Das Verfahren für das Bereichsinformationen-Erzeugungsmodul 140 zum Bestimmen des verfügbaren Einstiegsbereichs durch Verwenden der Bildsegmentierungsinformationen 50 wurde zuvor ausführlich beschrieben, es wird somit nachstehend weggelassen.
-
17 ist eine Zeichnung, die ein Beispiel zeigt, in dem Verfügbarer-Einstiegsbereich-Informationen auf einer Karte gemäß einem Ausführungsbeispiel der vorliegenden Erfindung angezeigt werden.
-
Die vorliegende Erfindung kann dem Benutzer basierend auf der aktuellen Position des Benutzers Informationen über den nächstgelegenen verfügbaren Einstiegsbereich bereitstellen, indem die Informationen über den verfügbaren Einstiegsbereich an der Straße, die basierend auf dem Fahrzeug-Fahrbild erzeugt wurden, auf der Karte dargestellt werden.
-
Im Speziellen kann das Bereichsinformationen-Erzeugungsmodul 140 Einstiegsbereich-Informationen 70 erzeugen, indem die Koordinateninformationen der Verfügbarer-Einstiegsbereich-Informationen 40 basierend auf den Verfügbarer-Einstiegsbereich-Informationen 40 und den aktuellen Positionsinformationen und Fahrrichtungsinformationen in dem Fahrbild auf der Karte dargestellt werden.
-
Demgemäß kann die Vorrichtung 100 zum Bestimmen des verfügbaren Einstiegsbereichs gemäß dem Ausführungsbeispiel der vorliegenden Erfindung die aktuelle Position des Benutzerendgeräts über das auf dem Benutzerendgerät installierte Applikationsmodul bestimmen und das auf dem Benutzerendgerät installierte Applikationsmodul derart steuern, dass die der aktuellen Position des Benutzerendgeräts am nächsten gelegenen Einstiegsbereich-Informationen 70 auf der Karte des Benutzerendgerät-Applikationsmoduls angezeigt werden können.
-
Wenn zum Beispiel die aktuelle Position des Benutzers von dem Benutzerendgerät als die in 17 durch das Bezugszeichen 80 angegebene Position bestimmt wird, kann die Vorrichtung 100 zum Bestimmen eines verfügbaren Einstiegsbereichs das Applikationsmodul derart steuern, dass die dem Benutzerendgerät am nächsten gelegenen Einstiegsbereich-Informationen 70 wie in 17 gezeigt auf der Karte des Applikationsmoduls angezeigt werden, das auf dem Benutzerendgerät installiert ist.
-
Demgemäß kann der Benutzer im Fall eines Taxirufs basierend auf den Einstiegsbereich-Informationen 70 ein Taxi rufen oder die Position der Einstiegsbereich-Informationen 70 kann an den Fahrer übertragen werden, wenn der Benutzer in ein Fahrzeug eines Bekannten einsteigen möchte, damit es möglich ist, sicherer in das Fahrzeug zu gelangen.
-
Bislang wurden das Verfahren und die Vorrichtung zum Bestimmen des verfügbaren Fahrzeugeinstiegsbereichs für das Fahrbild durch Verwenden des künstlichen neuronalen Netzwerks gemäß dem Ausführungsbeispiel ausführlich beschrieben.
-
Da das Verfahren und die Vorrichtung zum Bestimmen des verfügbaren Fahrzeugeinstiegsbereichs für das Fahrbild durch Verwenden des künstlichen neuronalen Netzwerks gemäß dem Ausführungsbeispiel einem Fahrer eines Fahrzeugs oder einem Fußgänger Informationen über einen verfügbaren Fahrzeugeinstiegsbereich an einer aktuellen Straße bereitstellen, kann der Fußgänger sicher in das Fahrzeug einsteigen. Was das Bereitstellen von Informationen über einen verfügbaren Fahrzeugeinstiegsbereich betrifft, so geschieht dies im Stand der Technik außerdem manuell durch eine Person, wohingegen in der vorliegenden Erfindung Informationen über einen verfügbaren Einstiegsbereich vor einem momentan fahrenden Fahrzeug durch Verwenden eines künstlichen neuronalen Netzwerks auf automatische Weise erzeugt werden können, sodass es möglich ist, Verfügbarer-Einstiegsbereich-Informationen sicherer und genauer bereitzustellen. Zusätzlich ist es möglich, eine dementsprechende Position des verfügbaren Einstiegsbereichs genau zu kennen; somit kann eine Wartezeit für einen Taxidienst spürbar verringert werden.
-
Wenn eine Karte mit Verfügbarer-Einstiegsbereich-Informationen erstellt wird, ist es außerdem im Stand der Technik nötig, den verfügbaren Einstiegsbereich manuell auf der Karte zu bezeichnen, während es in der vorliegenden Erfindung möglich ist, Verfügbarer-Einstiegsbereich-Informationen automatisch basierend auf bezogenen Fahrbildern zu erstellen, sodass eine Karte mit den Verfügbarer-Einstiegsbereich-Informationen einfacher erstellt werden kann.
-
Bestandteile, Einheiten, Module, Komponenten und dergleichen, die in der vorliegenden Erfindung als „-Teil oder -Abschnitt“ bezeichnet sind, können zusammen oder individuell als zusammenarbeitende und dennoch individuelle logische Vorrichtungen implementiert sein. Beschreibungen unterschiedlicher Merkmale von Modulen, Einheiten oder dergleichen sollen unterschiedliche funktionale Ausführungsformen betonen und implizieren nicht notwendigerweise, dass die Ausführungsformen durch individuelle Hardware- oder Softwarekomponenten realisiert sein sollen. Stattdessen können die Funktionen, die ein oder mehrere Module oder Einheiten betreffen, von individuellen Hardware- oder Softwarekomponenten ausgeführt werden oder in gemeinsamen oder individuellen Hardware- oder Softwarekomponenten integriert sein.
-
Ein Computerprogramm (auch als Programm, Software, Softwareapplikation, Script oder Code bezeichnet) kann in einer Programmiersprache beliebiger Form verfasst sein, einschließlich kompilierter oder interpretierter Sprachen, deklarativer oder prozeduraler Sprachen, und es kann in beliebiger Form genutzt werden, einschließlich als alleinstehendes Programm oder als Modul, Komponente, Subroutine, Objekt oder andere zur Verwendung in einer Computerumgebung geeignete Einheit.
-
Außerdem können die in diesem Patentdokument beschriebenen logischen Abläufe und Strukturblockdiagramme, welche bestimmte Verfahren und/oder entsprechende Handlungen zur Unterstützung von Schritten und entsprechende Funktionen zur Unterstützung von offenbarten Strukturmitteln unterstützen, genutzt werden, um entsprechende Softwarestrukturen und Algorithmen sowie Äquivalente davon zu implementieren.
-
Die in dieser Beschreibung beschriebenen Prozesse und logischen Abläufe können durch einen oder mehrere programmierbare Prozessoren durchgeführt werden, die ein oder mehrere Computerprogramme ausführen, um durch Bearbeitung von Eingangsdaten und Erzeugen von Ausgaben Funktionen auszuführen.
-
Diese schriftliche Beschreibung legt die beste Ausführungsform der vorliegenden Erfindung dar und stellt Beispiele bereit, um die vorliegende Erfindung zu beschreiben und es einem Fachmann zu ermöglichen, die vorliegende Erfindung herzustellen und zu verwenden. Diese schriftliche Beschreibung beschränkt die vorliegende Erfindung nicht auf die dargelegten konkreten Begriffe.
-
Zwar wurde die vorliegende Erfindung unter Bezugnahme auf bestimmte Ausführungsbeispiele davon aufgezeigt und beschrieben, der Fachmann versteht jedoch, dass an ihr verschiedene Änderungen von Gestalt und Einzelheiten vorgenommen werden können, ohne den Geist und Umfang der vorliegenden Erfindung, wie sie von den beigefügten Ansprüchen und den Äquivalenten davon definiert ist, zu verlassen. Daher lässt sich der technische Umfang der vorliegenden Erfindung durch den technischen Umfang der beigefügten Ansprüche bestimmen.
