DE102021105073A1

DE102021105073A1 - Vorrichtung zum Erfassen eines bestimmten Bereichs

Info

Publication number: DE102021105073A1
Application number: DE102021105073.1A
Authority: DE
Inventors: Shusaku Asada; Yoshihito KOKUBO; Yoshihisa SUETSUGU
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2020-03-09
Filing date: 2021-03-03
Publication date: 2021-09-09
Also published as: JP2021140699A

Abstract

Eine Vorrichtung zum Erfassen eines bestimmten Bereichs umfasst: Eine Punktschätzungseinheit (242), die unter Verwendung eines Lernmodells, das durch Lernen über einen bestimmten Bereich, der durch Punkte definiert ist, die erste und zweite Punkte umfassen, unter Verwendung eines aufgenommenen Bildes zum Lernen erzeugt wird, eine Vielzahl der ersten und zweiten Punkte auf Grundlage eines aufgenommenen Bildes zum Schätzen schätzt; eine Vektorschätzungseinheit (243), die, für eine Kombination von jeweils einem der ersten und zweiten Punkte, erste und zweite Vektoren, dessen Startpunkte die ersten und zweiten Punkte sind und deren Endpunkte Positionen sind, die als Positionen der zweiten und ersten Punkte geschätzt sind, schätzt; eine Auswahleinheit (244), die den ersten oder zweiten Vektor ausgewählt; eine Bestimmungseinheit (245), die eine Kombination der ersten und zweiten Punkte auf Grundlage eines durch die Auswahleinheit ausgewählten Vektors bestimmt; und eine Erfassungseinheit (246), die den bestimmten Bereich auf Grundlage eines Bestimmungsergebnisses erfasst.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft eine Vorrichtung zum Erfassen eines bestimmten Bereichs.
TECHNISCHER HINTERGRUND
Bei der verwandten Technik gibt es in einem Fahrzeug beispielsweise eine Technik des Aufnehmens eines Bildes eines Parkplatzes und des Erfassens von individuellen Parkabschnitten auf Grundlage des aufgenommenen Bildes. In diesem Fall beispielsweise, in einem Beispiel eines Verfahrens unter Verwendung von Deep Learning, wird zuerst eine Vielzahl von Eckpunkten eines rechteckigen Parkabschnitts aus einem aufgenommenen Bild erfasst, werden dann Punkte, die den gleichen Parkabschnitt bilden unter Verwendung von Informationen von Vektoren, die auf die Eckpunkte bezogen sind, kombiniert und gruppiert, und wird dadurch der Parkabschnitt erfasst. Die verwandten Techniken umfassen JP 2018-41176 A und Zhe Cao et al., „OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", [online], 30. Mai 2019, IEEE, [gesucht am 23. Februar, zweites Jahr von Reiwa], Internet <URL https://arxiv.org/pdf/1812.08008.pdf>.
Bei den oben beschriebenen verwandten Techniken kann der Parkabschnitt aufgrund eines großen Vektorfehlers jedoch nicht korrekt erfasst werden.
Es besteht daher der Bedarf nach einer Vorrichtung zum Erfassen eines bestimmten Bereichs, die in der Lage ist einen bestimmten Bereich wie beispielsweise einen Parkabschnitt mit hoher Genauigkeit aufgrund eines aufgenommenen Bildes zu erfassen.
ZUSAMMENFASSUNG
Eine Vorrichtung zum Erfassen eines bestimmten Bereichs nach einem Ausführungsbeispiel dieser Offenbarung umfasst, beispielsweise, eine Punktschätzungseinheit, die dazu eingerichtet ist, um, unter Verwendung eines Lernmodells, das unter Verwendung eines aufgenommenen Bildes zum Lernen durch Lernen über einen bestimmten Bereich erstellt wird, der durch eine vorbestimmte Anzahl von Punkten definiert ist, die einen ersten Punkt und einen zweiten Punkt umfassen, die vorbestimmte relative Positionen in dem bestimmten Bereich angeben, der in einem Bildbereich existiert, eine Vielzahl der ersten Punkte und eine Vielzahl der zweiten Punkte auf Grundlage eines aufgenommenen Bildes zur Schätzung zu schätzen; eine Vektorschätzungseinheit, die dazu eingerichtet ist, um für eine Kombination von einem der ersten Punkte und einem der zweiten Punkte einen ersten Vektor zu schätzen, dessen Startpunkt so eingestellt ist, um der erste Punkt zu sein und dessen Endpunkt eingestellt ist, um eine Position zu sein, die als eine Position des ersten Punkts in dem bestimmten Bereich geschätzt wird, zu dem der zweite Punkt gehört; einer Auswahleinheit, die dazu eingerichtet ist, um einen ersten Abstand, der ein Abstand von dem Endpunkt des ersten Vektors zu dem zweiten Punkt ist, mit einem zweiten Abstand, der ein Abstand von dem Endpunkt des zweiten Vektors zu dem ersten Punkt ist, zu vergleichen, den ersten Vektor auszuwählen, falls der erste Abstand kleiner ist und den zweiten Vektor auszuwählen, falls der zweite Abstand kleiner ist; eine Bestimmungseinheit, die dazu eingerichtet ist, um eine Kombination des ersten Punkts und des zweiten Punkts für jeden bestimmten Bereich in dem aufgenommenen Bild zum Schätzen auf Grundlage eines durch die Auswahleinheit ausgewählten Vektors zu bestimmen; und eine Erfassungseinheit, die dazu eingerichtet ist, um den bestimmten Bereich auf Grundlage eines Bestimmungsergebnisses der Kombination der Punkte durch die Bestimmungseinheit zu erfassen.
Gemäß dieser Konfiguration werden beim Erfassen des bestimmten Bereichs bidirektionale Vektoren des ersten Vektors und des zweiten Vektors für eine Kombination des ersten Punkts und des zweiten Punkts geschätzt und ein Vektor, der den kleineren von dem ersten Abstand und dem zweiten Abstand aufweist, wird ausgewählt und verwendet und der bestimmte Bereich kann dadurch mit hoher Genauigkeit erfasst werden.
Bei der Vorrichtung zum Erfassen eines bestimmten Bereichs kann der bestimmte Bereich beispielsweise ein Parkabschnitt sein, der durch vier Punkte einschließlich des ersten Punkts und des zweiten Punkts definiert ist.
Gemäß dieser Konfiguration kann der viereckige Parkabschnitt, der durch vier Punkte einschließlich des ersten Punkts und des zweiten Punkts definiert ist, der als der bestimmte Bereich fungiert, mit hoher Genauigkeit geschätzt werden.
Bei der Vorrichtung zum Erfassen eines bestimmten Bereichs kann beispielsweise, wenn die Kombination des ersten Punkts und des zweiten Punkts für jeden Parkabschnitt in dem aufgenommenen Bild zum Schätzen auf Grundlage des durch die Auswahleinheit ausgewählten Vektors bestimmt ist, die Bestimmungseinheit eine Kombination des ersten Punkts und des zweiten Punkts suchen, bei der Kosten unter Verwendung einer Kostenmatrix minimiert werden, die einem zweigeteilten Graphen der Vielzahl von ersten Punkten und der Vielzahl von zweiten Punkten entspricht, wodurch die Kombination des ersten Punkts und des zweiten Punkts bestimmt wird und in diesem Fall ein kleinerer des ersten Abstands und des zweiten Abstands als die Kosten hergenommen wird.
Gemäß dieser Konfiguration kann beim Erfassen des Parkabschnitts der Parkabschnitt unter Verwendung des zweigeteilten Graphen und der Kostenmatrix einfach und genau geschätzt werden.
Bei der Vorrichtung zum Erfassen eines bestimmten Bereichs kann beispielsweise die Bestimmungseinheit eine Ungarische Methode, beziehungsweise Hungarian method auf die Kostenmatrix anwenden und eine Kombination des ersten Punkts und des zweiten Punkts suchen, bei der die Kosten minimiert werden.
Gemäß dieser Konfiguration kann durch Anwenden der Ungarischen Methode auf die Kostenmatrix der Parkabschnitt durch einen einfachen Algorithmus genau geschätzt werden.
Die Vorrichtung zum Erfassen eines bestimmten Bereichs kann ferner beispielsweise eine Anzeigesteuerungseinheit umfassen, die dazu eingerichtet ist, um eine Anzeigeeinheit zu veranlassen, den durch die Erfassungseinheit erfassten Parkabschnitt anzuzeigen.
Gemäß dieser Konfiguration können ein Parkassistent und dergleichen für einen Fahrer durch Anzeigen des erfassten Parkabschnitts bereitgestellt werden.
Figurenliste
Die vorstehend genannten und zusätzlichen Merkmale und Charakteristika dieser Offenbarung werden aus der folgenden detaillierten Beschreibung unter Berücksichtigung der Bezugnahme zu den beigefügten Zeichnungen weiter ersichtlich, wobei:

1 eine schematische Planansicht zeigt, die ein Beispiel eines Fahrzeugs veranschaulicht, auf das eine Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß einem Ausführungsbeispiel befestigt werden kann;
2 ein Beispiel eines Blockdiagramms einer Konfiguration eines Parkassistenzsystems zeigt, das die Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel umfasst;
3 ein Beispiel eines Blockdiagramms einer Konfiguration einer CPU gemäß dem Ausführungsbeispiel zeigt;
4 ein erklärendes Diagramm von vier Eckpunkten zeigt, die einen Parkabschnitt gemäß dem Ausführungsbeispiel definieren;
5 ein schematisches Diagramm zeigt, das ein Beispiel eines aufgenommenen Bildes gemäß dem Ausführungsbeispiel veranschaulicht;
6 ein erklärendes Diagramm zeigt, das sich auf Vektoren gemäß dem Ausführungsbeispiel bezieht;
7A und 7B schematische Diagramme zeigen, die ein Beispiel eines zweigeteilten Graphen und einer Kostenmatrix gemäß dem Ausführungsbeispiel zeigen;
8 ein schematisches Diagramm zeigt, das ein Anzeigebeispiel eines vorgeschlagenen Parkabschnitts gemäß dem Ausführungsbeispiel veranschaulicht;
9 ein Einflussdiagramm zeigt, das eine Verarbeitung zu einem Zeitpunkt des Lernens veranschaulicht, die durch die Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel ausgeführt wird;
10 ein Flussdiagramm zeigt, das eine Gesamtverarbeitung zu einem Zeitpunkt eines Parkassistenten, beziehungsweise einer Einparkhilfe veranschaulicht, die durch die Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel ausgeführt wird; und
11 ein Flussdiagramm zeigt, das Details einer Verarbeitung in Schritt S2 aus 10 veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Hier im Folgenden ist ein Beispiel eines offenbarten Ausführungsbeispiels gezeigt. Eine Konfiguration des unten gezeigten Ausführungsbeispiels und durch die Konfiguration bereitgestellte Aktionen, Ergebnisse und Wirkungen sind Beispiele. Diese Offenbarung kann durch Konfigurationen implementiert sein, die sich von der in dem folgenden Ausführungsbeispiel gezeigten Konfiguration unterscheiden und es kann mindestens eine der Wirkungen und abgeleiteten Effekte auf Grundlage der grundlegenden Konfiguration erhalten werden.
1 zeigt eine schematische Draufsicht, die ein Beispiel eines Fahrzeugs 10 zeigt, auf dem eine Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel angebracht werden kann. Das Fahrzeug 10 kann beispielsweise ein Automobil (Automobil mit internem Verbrennungsmotor) unter Verwendung eines (nicht gezeigten Motors) internen Verbrennungsmotors als eine Antriebsquelle sein oder ein Automobil (elektrisches Automobil, Brennstoffzellenautomobil oder dergleichen) unter Verwendung eines (nicht gezeigten Motors) Elektromotors als die Antriebsquelle sein oder ein Automobil (Hybridautomobil) unter Verwendung des internen Verbrennungsmotors und des elektrischen Motors als die Antriebsquelle sein. Das Fahrzeug 10 kann mit unterschiedlichen Übertragungsvorrichtungen ausgestattet sein und kann ebenfalls mit unterschiedlichen Vorrichtungen (System, Komponente und dergleichen) ausgestattet sein, die zum Antreiben des internen Verbrennungsmotors oder des Elektromotors erforderlich sind. Ein Verfahren, die Anzahl, ein Layout und dergleichen einer auf die Antriebsräder 12 (Vorderräder 12F, Hinterräder 12R) bezogenen Vorrichtung des Fahrzeugs 10 können unterschiedlich eingestellt sein.
Wie in 1 gezeigt, sind beispielsweise vier Abbildungseinheiten 14a bis 14d als eine Vielzahl von Abbildungseinheiten 14 an dem Fahrzeug 10 bereitgestellt. Die Abbildungseinheiten 14 sind beispielsweise eine Digitalkamera, die ein Abbildungselement wie beispielsweise ein Charge Coupled Device (CCD) oder einen CMOS-Abbildungssensor (CIS) umfasst. Die Abbildungseinheiten 14 können bewegte Bilddaten (aufgenommene Bilddaten) in einer vorbestimmten Frame Rate ausgeben. Jede der Abbildungseinheiten 14 weist eine Weitwinkellinse oder eine Fischaugenlinse, beziehungsweise Weitwinkelobjektiv oder Fischaugenobjektiv auf und kann ein Bild aus beispielsweise einem Bereich von 140° bis 220° in einer horizontalen Richtung aufnehmen. Eine optische Achse der Abbildungseinheiten 14 kann schräg nach unten eingestellt sein. Somit nehmen die Abbildungseinheiten 14 sequenziell ein Bild einer umgebenden Umgebung außerhalb des Fahrzeugs 10 auf und geben das aufgenommene Bild als aufgenommene Bilddaten aus. Die umgebende Umgebung umfasst eine Straßenoberfläche auf der das Fahrzeug 10 fahren kann, einen Index (einschließlich einer Abschnittslinie, die einen Parkabschnitt, beziehungsweise einen Parkplatz, eine Spurseparationslinie, einen Pfeil und dergleichen angibt), der der Straßenoberfläche beigefügt ist, und ein Objekt (beispielsweise ein Fußgänger und ein Fahrzeug als ein Hindernis).
Die Abbildungseinheiten 14 sind an einem äußeren peripheren Abschnitt des Fahrzeugs 10 bereitgestellt. Die Abbildungseinheit 14a ist beispielsweise an einer hinteren Seite des Fahrzeugs 10 bereitgestellt, d.h., an einem wesentlichen mittleren Endabschnitt in einer Fahrzeugbreitenrichtung an einer Hinterseite in einer Vorne-Hinten-Richtung eines Fahrzeugs, beispielsweise an einer oberen Position einer hinteren Stoßstange 10a und ist in der Lage ein Bild eines hinteren Bereichs aufzunehmen, der einen hinteren Endabschnitt (beispielsweise die hintere Stoßstange 10a) des Fahrzeugs 10 umfasst. Die Abbildungseinheit 14b ist beispielsweise an einer Vorderseite des Fahrzeugs 10 bereitgestellt, d.h., an einem im wesentlichen mittleren Endabschnitt in der Fahrzeugbreitenrichtung auf einer Vorderseite in der Vorne-Hinten-Richtung des Fahrzeugs, beispielsweise an einer vorderen Stoßstange 10b oder einem vorderen Kühlergrill und ist in der Lage ein Bild eines vorderen Bereichs aufzunehmen, der einen vorderen Endabschnitt (beispielsweise die vordere Stoßstange 10b) des Fahrzeugs 10 umfasst.
Die Abbildungseinheit 14c ist beispielsweise an einen rechten Endabschnitt des Fahrzeugs 10 bereitgestellt, beispielsweise an einem Türspiegel 10c auf einer rechten Seite und ist in der Lage ein Bild eines rechten Bereichs aufzunehmen, der einen Bereich (beispielsweise ein Bereich von einer rechten Vorderseite zu einer rechten Rückseite, beziehungsweise Hinterseite), der auf der rechten Seite des Fahrzeugs 10 mittig angeordnet ist, umfasst. Die Abbildungseinheit 14d ist beispielsweise an einem linken Endabschnitt des Fahrzeugs 10 bereitgestellt, beispielsweise an einem Türspiegel 10d auf einer linken Seite und ist in der Lage ein Bild eines linken Bereichs aufzunehmen, der einen Bereich (beispielsweise ein Bereich von einer linken Vorderseite zu einer linken Rückseite), der auf der linken Seite des Fahrzeugs 10 mittig angeordnet ist, umfasst.
Die Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem vorliegenden Ausführungsbeispiel kann einen Parkabschnitt, beziehungsweise Parkplatz, der ein Beispiel eines bestimmten Bereichs darstellt, durch Ausführen einer Berechnungsverarbeitung auf Grundlage eines aufgenommenen Bildes erfassen, das durch die Abbildungseinheiten 14 (hier im Folgenden auch als ein aufgenommenes Bild bezeichnet) erhalten wird.
2 zeigt ein Beispiel eines Blockdiagramms einer Konfiguration eines Parkassistenzsystems 100, das die Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel umfasst. Eine Anzeigevorrichtung 16 und eine Audioausgabevorrichtung 18 sind in einem Fahrzeuginneren des Fahrzeugs 10 bereitgestellt. Die Anzeigevorrichtung 16 ist beispielsweise eine Flüssigkristallanzeige (LCD) oder eine organische Elektroluminiszenzanzeige (OELD). Die Audioausgabevorrichtung 18 ist beispielsweise ein Lautsprecher. Die Anzeigevorrichtung 16 ist mit einer transparenten Bedieneingabeeinheit 20 wie beispielsweise einem Touchpanel, beziehungsweise Touchscreen bedeckt. Ein Insasse (beispielsweise ein Fahrer) kann visuell ein auf einem Anzeigebildschirm der Anzeigevorrichtung 16 über die Bedieneingabeeinheit 20 angezeigtes Bild visuell erkennen. Der Insasse kann eine Bedieneingabe durch Berühren, Drücken oder Bewegen der Bedieneingabeeinheit 20 mit einem Finger oder dergleichen an einer Position ausführen, die dem auf dem Anzeigebildschirm der Anzeigevorrichtung 16 angezeigten Bild entspricht. Die Anzeigevorrichtung 16, die Audioausgabevorrichtung 18, die Bedieneingabeeinheit 20 und dergleichen sind beispielsweise auf einer Monitorvorrichtung, beziehungsweise Überwachungsvorrichtung 22 bereitgestellt, die an einem mittleren Abschnitt eines Armaturenbretts des Fahrzeugs 10 in der Fahrzeugbreitenrichtung, d.h., einer Links-Rechts-Richtung, positioniert ist. Die Monitorvorrichtung 22 kann eine (nicht gezeigte) Bedieneingabeeinheit wie beispielsweise einen Schalter, einen Hebel, einen Joystick und einen Druckknopf umfassen. Die Monitorvorrichtung 22 kann beispielsweise ebenfalls als ein Navigationssystem und ein Audiosystem verwendet werden.
Wie in 2 gezeigt, umfasst das Parkassistenzsystem 100 eine elektronische Steuerungseinheit (ECU) 24 zusätzlich zu den Abbildungseinheiten 14 (14a bis 14d) und der Monitorvorrichtung 22. Bei dem Parkassistenzsystem 100 sind die ECU 24 und die Monitorvorrichtung 22 über ein fahrzeuginternes Netzwerk 26, das als eine elektrische Kommunikationslinie fungiert, elektrisch verbunden. Das fahrzeuginterne Netzwerk 26 ist beispielsweise ein Controller Area Network (CAN). Die ECU 24 kann unterschiedliche Systeme durch Senden eines Steuerungssignals durch das fahrzeuginterne Netzwerk 26 steuern. Beispielsweise sind in dem Parkassistenzsystem 100 zusätzlich zu der ECU 24, der Monitorvorrichtung 22 und dergleichen ein Lenksystem 28, ein Lenkwinkelsensor 30, ein Bremssystem 32, ein Antriebssystem 34, ein Beschleunigungssystem 36, ein Shift-Sensor 38, ein Raddrehzahlsensor 40 und dergleichen elektronisch über das fahrzeuginterne Netzwerk 26 verbunden. Die ECU 24 kann das Lenksystem 28, das Bremssystem 32, das Antriebssystem 34 und dergleichen durch Senden eines Steuerungssignals durch das fahrzeuginterne Netzwerk 26 steuern. Die ECU 24 kann ein Erfassungsergebnis eines Drehmomentsensors 28a, eines Bremssensors 32a, des Lenkwinkelsensors 30, des Beschleunigungssensors 36, des Shift-Sensors 38, des Raddrehzahlsensors 40 und dergleichen und ein Bediensignal der Bedieneingabeeinheit 20 und dergleichen über das fahrzeuginterne Netzwerk 26 empfangen.
Die ECU 24 umfasst beispielsweise eine zentrale Verarbeitungseinheit (CPU) 24a, einen Read-Only-Speicher (ROM) 24b, einen Random-Access-Speicher (RAM) 24c, eine Anzeigesteuerungseinheit 24d, eine Audiosteuerungseinheit 24e, ein Solid-State-Laufwerk (SSD, ein Flash-Speicher) 24f und dergleichen. Die CPU 24a führt unterschiedliche Arten von Berechnungsverarbeitungen und Steuerungen durch.
Die CPU 24a liest ein in einer nicht flüchtigen Speichervorrichtung wie beispielsweise dem ROM 24b gespeichertes Programm ein und führt die Berechnungsverarbeitung gemäß dem Programm aus. Der ROM 24b speichert Programme, zum Ausführen des Programms erforderliche Parameter und dergleichen. Der RAM 24c speichert vorübergehend unterschiedliche Arten von Daten, die in der Berechnung durch die CPU 24a verwendet werden. Die Anzeigesteuerungseinheit 24d führt hauptsächlich eine Bildverarbeitung unter Verwendung von durch die Abbildungseinheiten 14 erhaltenen Bilddaten und eine Synthese der auf der Anzeigevorrichtung 16 angezeigten Bilddaten bei der durch die ECU 24 durchgeführten Berechnungsverarbeitung durch. Die Audiosteuerungseinheit 24e führt hauptsächlich eine Verarbeitung von Audiodaten, die durch die Audioausgabevorrichtung 18 ausgegeben werden, bei der Berechnungsverarbeitung durch die ECU 24 durch. Die SSD 24f ist eine wiederbeschreibbare nicht flüchtige Speichereinheit und kann Daten selbst dann speichern, wenn eine Energie der ECU 24 ausgeschaltet ist. Die CPU 24a, der ROM 24b, und der RAM 24c können in dem gleichen Gehäuse integriert sein. Die ECU 24, eine Logikschaltung, ein anderer logischer Verknüpfungsprozessor wie beispielsweise ein Digital Signal Prozessor (DSP) oder dergleichen kann anstelle der CPU 24a verwendet werden. Ein Festplattenlaufwerk (HDD) kann anstelle der SSD 24f bereitgestellt sein oder die SSD 24f und die HDD können separat von der ECU 24 bereitgestellt sein.
Wie in 1 gezeigt, ist das Fahrzeug 10 beispielsweise ein vierrädriges Fahrzeug und umfasst beispielsweise linke und rechte Vorderreifen 12F und linke und rechte Hinterreifen 12R. Alle vier Räder 12 können lenkbar sein. Wie in 2 gezeigt, lenkt das Lenksystem 28 mindestens zwei Räder 12 des Fahrzeugs 10. Das Lenksystem 28 umfasst den Drehmomentsensor 28a und einen Aktuator 28b. Das Lenksystem 28 wird elektrisch durch die ECU 24 oder dergleichen gesteuert, um den Aktuator 28b zu betreiben. Das Lenksystem 28 ist beispielsweise ein elektrisches Servolenksystem oder ein drahtgebundenes Lenksystem (SBW, Steer by Wire). Das Lenksystem 28 fügt ein Drehmoment hinzu, d.h., ein Hilfsdrehmoment zu einer Lenkeinheit (beispielsweise einem Lenkrad) durch den Aktuator 28b, um eine Lenkkraft zu ergänzen oder die Räder 12 durch den Aktuator 28b zu lenken. In diesem Fall kann der Aktuator 28b ein Rad 12 oder die Vielzahl von Rädern 12 lenken. Der Drehmomentsensor 28a erfasst beispielsweise das an die Lenkeinheit durch den Fahrer angelegte Drehmoment.
Der Lenkwinkelsensor 30 ist ein Sensor der beispielsweise einen Lenkbetrag der Lenkeinheit erfasst. Der Lenkwinkelsensor 30 ist beispielsweise durch ein Hall-Element ausgebildet. Die ECU 24 erlangt den Lenkbetrag der Lenkeinheit durch den Fahrer, den Lenkbetrag von jedem Rad 12 während eines automatischen Lenkens und dergleichen von dem Lenkwinkelsensor 30, um unterschiedliche Steuerungen auszuführen. Der Lenkwinkelsensor 30 erfasst einen Rotationswinkel eines in der Lenkeinheit enthaltenen Rotationsabschnitts.
Das Bremssystem 32 ist beispielsweise ein Antiblockierbremssystem (ABS), das ein Blockieren einer Bremse verhindert, ein Antirutschbremssystem (ESC: elektronische Stabilitätssteuerung), das ein Rutschen des Fahrzeugs 10 zum Zeitpunkt eines Kurvenfahrens verhindert, ein elektrisches Bremssystem, das die Bremskraft erhöht (Ausführen einer Bremshilfe) und einer drahtgebundenen Bremse (BBW, Brake by Wire). Das Bremssystem 32 legt über den Aktuator 32b eine Bremskraft an die Räder 12 an und konsequenterweise an das Fahrzeug 10. Das Bremssystem 32 kann ein Blockieren der Bremse, ein Leerlauf der Räder 12, ein Anzeichen eines Rutschens und dergleichen aus einem Drehzahlunterschied zwischen den linken und rechten Rädern 12 erfassen und unterschiedliche Steuerungen ausführen. Der Bremssensor 32a ist ein Sensor, der eine Position eines bewegbaren Abschnitts von beispielsweise einer Bremsbetätigungseinheit (beispielsweise einem Bremspedal) erfasst.
Das Antriebssystem 34 ist ein internes Verbrennungsmotor-(Motor)System oder ein Motorsystem, das als die Antriebsquelle fungiert. Das Antriebssystem 34 steuert eine Brennstoffeinspritzmenge und eine Luftansaugmenge des Motors und einen Ausgabewert des Motors als Antwort auf eine Betätigungsmenge (beispielsweise eine Depressionsmenge eines Beschleunigungspedals), die durch den Fahrer (Nutzer) angefordert wird, das durch den Beschleunigungssensor 36 erfasst wird. Ungeachtet einer Betätigung des Nutzers kann der Ausgabewert des Antriebs bzw. des Motors in Übereinstimmung mit der Steuerung des Lenksystems 28 oder des Bremssystems 32 gemäß eines Fahrzustands des Fahrzeugs 10 gesteuert werden. Dasselbe gilt für einen Fall, in dem das Fahrzeug 10 in einem automatischen Fahrmodus fährt.
Der Beschleunigungssensor 36 ist ein Sensor, der eine Position eines bewegbaren Abschnitts von beispielsweise einer Beschleunigungsbetätigungseinheit (beispielsweise einem Beschleunigungspedal) erfasst. Der Beschleunigungssensor 36 kann die Position des Beschleunigungspedals, das als der bewegbare Abschnitt fungiert, erfassen.
Der Shift-Sensor 38 ist ein Sensor, der eine Position eines bewegbaren Abschnitts von beispielsweise einer Schalthebel-Bedieneinheit (beispielsweise ein Schalthebel) erfasst. Der Shift-Sensor 38 kann eine Position eines Hebels, eines Arms, eines Knopfs oder dergleichen erfassen, das als der bewegbare Abschnitt fungiert. Der Shift-Sensor 38 kann einen Versetzungssensor umfassen oder kann ein Schalter sein. Die ECU 24 kann auf Grundlage eines Erfassungsergebnisses des Shift-Sensors 38 bestimmen, ob das Fahrzeug 10 eine Aufforderung zum Vorwärtsfahren empfängt oder eine Aufforderung zum Rückwärtsfahren empfängt.
Der Raddrehzahlsensor 40 ist in jedem Rad 12 bereitgestellt und ist ein Sensor, der einen Rotationsbetrag und eine Drehzahl pro Zeiteinheit von jedem Rad 12 erfasst und eine Radgeschwindigkeitspulszahl ausgibt, die die erfasste Drehzahl als Erfassungswert ausgibt. Der Raddrehzahlsensor 40 kann beispielsweise durch ein Hall-Element ausgebildet sein. Die ECU 24 berechnet eine Fahrzeuggeschwindigkeit, einen Bewegungsbetrag und dergleichen des Fahrzeugs 10 auf Grundlage des Erfassungswerts, der von dem Raddrehzahlsensor 40 erlangt wird und führt unterschiedliche Steuerungen aus. Beim Berechnen der Fahrzeuggeschwindigkeit des Fahrzeugs 10 auf Grundlage des Erfassungswerts, der von dem Raddrehzahlsensor 40 von jedem Rad 12 erlangt wird, bestimmt die ECU 24 die Fahrzeuggeschwindigkeit des Fahrzeugs 10 auf Grundlage einer Geschwindigkeit des Rads 12, das den kleinsten Erfassungswert aus den vier Rädern aufweist, und führt unterschiedliche Steuerungen durch.
Konfigurationen, Anordnungen, elektrische Verbindungsformen und dergleichen der unterschiedlichen Sensoren und Aktuatoren, die oben beschrieben sind, sind Beispiele und können auf unterschiedliche Art und Weise eingestellt (geändert) werden.
Beispielsweise führt die ECU 24 eine Parkassistenzverarbeitung auf Grundlage des aufgenommenen Bildes durch, das von den Abbildungseinheiten 14 erlangt wird, und überträgt ein auf Grundlage der aufgenommenen Bilddaten generiertes peripheres Bild und Daten in Bezug auf Sprache zu der Monitorvorrichtung 22.
3 zeigt ein beispielhaftes Blockdiagramm der Konfiguration der CPU 24a (Vorrichtung zum Erfassen eines bestimmten Bereichs) gemäß dem Ausführungsbeispiel. Beispielsweise erfasst die CPU 24a den Parkabschnitt in dem Abbildungsbereich auf Grundlage des aufgenommenen Bildes. Insbesondere umfasst die CPU 24a, als jedes Modul, eine Erlangungseinheit 241, eine Punktschätzungseinheit 242, eine Vektorschätzungseinheit 243, eine Auswahleinheit 244, eine Bestimmungseinheit 245, eine Erfassungseinheit 246, eine Anzeigesteuerungseinheit 247, eine Einstellungseinheit 248, eine Berechnungseinheit 249 und eine Lerneinheit 250. Jedes Modul ist durch die CPU 24a implementiert, die ein in einer Speichervorrichtung wie beispielsweise der ROM 24b gespeichertes Programm liest und das Programm ausführt. Wenn in der folgenden Beschreibung eine Verarbeitung beschrieben ist, die sich von denen unterscheidet, die durch die Einheiten 241 bis 250 bei einer durch die CPU 24a ausgeführten Verarbeitung ausgeführt werden, wird ein Betriebsgegenstand als „CPU 24a“ bezeichnet.
Die Erlangungseinheit 241 erlangt unterschiedliche Daten von jeder Konfiguration. Beispielsweise erlangt die Erlangungseinheit 241 das aufgenommene Bild von den Abbildungseinheiten 14.
Hier im Folgenden ist ein durch vier Punkte definierter Parkabschnitt, die einen ersten Punkt und einen zweiten Punkt umfassen, als ein Beispiel des bestimmten Bereichs beschrieben. Hierbei zeigt 4 ein erklärendes Diagramm von vier Eckpunkten, die einen Parkabschnitt gemäß dem Ausführungsbeispiel definieren. In einem Lernmodell gemäß dem vorliegenden Ausführungsbeispiel ist ein viereckiger Parkabschnitt durch vier Eckpunkte P1 bis P4 definiert. Insbesondere ist auf Grundlage einer Richtung, in der das Fahrzeug in den Parkabschnitt einfährt ein vorderer Punkt auf einer linken Seite der Punkt P1, ein vorderer Punkt auf einer rechten Seite der Punkt P2, ein hinterer Punkt auf einer rechten Seite der Punkt P3 und ein hinterer Punkt auf einer linken Seite der Punkt P4. Obwohl in einem Teil des Parkabschnitts aus 4 weiße Linien gezeigt sind, können die weißen Linien weggelassen, beziehungsweise ausgelassen sein.
Das Lernmodell kann beispielsweise durch Deep Learning erzeugt werden. Beim Deep Learning wird ein Lernen unter Verwendung von Lerndaten, bzw. Teacher-Daten (Korrekte-Antwort-Daten) ausgeführt, die den Parkabschnitt durch die Punkte P1 bis P4 definieren. In diesem Fall beispielsweise wird eine Funktion unter Verwendung von Parametern konstruiert, ein Verlust für Korrekte-Antwort-Daten definiert und ein Lernen durch Minimieren des Verlusts ausgeführt.
Hier im Folgenden sind zwei beliebige Punkte der Punkte P1 bis P4 als der erste Punkt und der zweite Punkt beschrieben.
Mit Blick zurück auf 3 verwendet die Punktschätzungseinheit 242 ein Lernmodell, das durch Lernen über einen bestimmten Bereich, der durch eine vorbestimmte Anzahl von den ersten Punkt und den zweiten Punkt umfassenden Punkten definiert ist, die vorbestimmte relative Positionen in einem in einem aufgenommenen Bereich existierenden bestimmten Bereich angeben, unter Verwendung eines aufgenommenen Bildes zum Lernen, beziehungsweise aufgenommenen Lernbildes erzeugt wird, um eine Vielzahl von ersten Punkten und eine Vielzahl von zweiten Punkten auf Grundlage eines aufgenommenen Bildes zum Schätzen zu schätzen.
In diesem Falle, wenn die Punkte geschätzt werden, schätzt die Punktschätzungseinheit 242 die Punkte bevorzugt als eine Gaußverteilung und führt eine Nachbearbeitung durch eine nicht-Maximalunterdrückung (NMS, Non Maximum Suppression) durch. Als Ergebnis kann eine Genauigkeit einer Punktschätzung verbessert werden. Ein Grund dafür ist, dass Koordinatenechtwerte der Eckpunkte des Parkabschnitts in den Teacher-Daten in Einheiten von Pixeln durch menschliche Hand eingegeben werden und dadurch die wahren Werte möglicherweise nicht genau auf bestimmte Positionen festgelegt sind. Durch Behandeln der geschätzten Positionen als eine Gaußverteilung kann somit ein Fehler der wahren Werte absorbiert, beziehungsweise aufgefangen werden und das Lernmodell kann mit hoher Genauigkeit gelernt werden.
Die Vektorschätzungseinheit 243 schätzt, für eine Kombination eines ersten Punkts und eines zweiten Punkts, einen ersten Vektor, dessen Startpunkt derart eingestellt ist, um der erste Punkt zu sein und dessen Endpunkt derart eingestellt ist, um eine Position zu sein, die als eine Position des zweiten Punkts in dem bestimmten Bereich geschätzt wird, zu dem der erste Punkt gehört und einen zweiten Vektor, dessen Startpunkt derart eingestellt ist, um der zweite Punkt zu sein und dessen Endpunkt derart eingestellt ist, um eine Position zu sein, die als eine Position des ersten Punkts in dem bestimmten Bereich geschätzt wird, zu dem der zweite Punkt gehört.
Die Auswahleinheit 244 vergleicht einen ersten Abstand, der ein Abstand von dem Endpunkt des ersten Vektors zu dem zweiten Punkt ist und einen zweiten Abstand, der ein Abstand von dem Endpunkt des zweiten Vektors zu dem ersten Punkt ist, wählt den ersten Vektor, falls der erste Abstand kleiner ist und wählt den zweiten Vektor, falls der zweite Abstand kleiner ist.
Die Bestimmungseinheit 245 bestimmt eine Kombination des ersten Punkts und des zweiten Punkts für jeden bestimmten Bereich in dem aufgenommenen Bild zum Schätzen, beziehungsweise aufgenommenen Schätzungsbild auf Grundlage eines durch die Auswahleinheit ausgewählten Vektors. Beispielsweise, wenn die Kombination des ersten Punkts und des zweiten Punkts für jeden Parkabschnitt in dem aufgenommenen Bild zum Schätzen auf Grundlage des durch die Auswahleinheit 244 ausgewählten Vektors bestimmt wird, sucht die Bestimmungseinheit 245 nach einer Kombination des ersten Punkts und des zweiten Punkts, bei der die Kosten unter Verwendung einer Kostenmatrix entsprechend eines zweigeteilten, beziehungsweise zweiteiligen Graphen der Vielzahl von ersten Punkten und der Vielzahl von zweiten Punkten minimiert werden und bestimmt dadurch die Kombination des ersten Punkts und des zweiten Punkts. In diesem Fall wird der kleinere des ersten Abstands und des zweiten Abstands als Kosten hergenommen, beziehungsweise herangezogen. Die Bestimmungseinheit 245 sucht nach der Kombination des ersten Punkts und des zweiten Punkts, bei der die Kosten unter Anwendung der Ungarischen Methode auf die Kostenmatrix minimiert werden.
Die Erfassungseinheit 246 erfasst den Parkabschnitt auf Grundlage eines Bestimmungsergebnisses der Kombination der Punkte gemäß der Bestimmungseinheit 245.
Hier im Folgenden ist eine Verarbeitung der Punktschätzungseinheit 242, der Vektorschätzungseinheit 243, der Auswahleinheit 244, der Bestimmungseinheit 245 und der Erfassungseinheit 246 mit Bezug zu 5 bis 7B beschrieben.
5 zeigt ein schematisches Diagramm, das ein Beispiel des aufgenommenen Bildes gemäß dem Ausführungsbeispiel veranschaulicht. 6 zeigt ein erklärendes Diagramm, das sich auf die Vektoren gemäß dem Ausführungsbeispiel bezieht. 7A und 7B zeigen schematische Diagramme, die ein Beispiel des zweigeteilten Graphen und der Kostenmatrix gemäß dem Ausführungsbeispiel veranschaulichen.
Wie in 5 gezeigt, wird angenommen, dass die Punkte P1a, P2a, die Punkte P1b, P2b, ein Punkt P4b, die Punkte P1c, P2c, ein Punkte P3c, ein Punkt P4c, die Punkte P1d, P2d, ein Punkt P3d und ein Punkt P4d durch die Punktschätzungseinheit 242 als Eckpunkte von Parkabschnitten in dem aufgenommenen Bild (Fischaugenbild) geschätzt werden. Selbst wenn ein Abschnitt tatsächlich als ein Eckpunkt der Parkabschnitte existiert, wird der Abschnitt nicht ein Ziel, wenn der Abschnitt durch ein Fahrzeug oder dergleichen versteckt ist und nicht gesehen werden kann. Wenn hier als ein Beispiel einer der vier Punkte des Punkts P1 bis zu dem Punkt P4, die einen Parkabschnitt ausbilden, sichtbar ist, wird dann der Punkt berechnet, selbst wenn nicht alle vier Punkte sichtbar sind.
Hier im Folgenden, wie in 6 gezeigt, schätzt die Vektorschätzungseinheit 243 für eine Kombination eines vorbestimmten Punkts P1 und des vorbestimmten Punkts P4 einen ersten Vektor V1, dessen Startpunkt derart eingestellt ist, dass er der Punkt P1 ist und dessen Endpunkt derart eingestellt ist, dass er eine Position P1e ist, die als eine Position des Punkts P4 in dem Parkabschnitt geschätzt wird, zu dem der Punkt P1 gehört. Die Vektorschätzungseinheit 243 schätzt für die Kombination des vorbestimmten Punkts P1 und des vorbestimmten Punkts P4 einen zweiten Vektor V2, dessen Startpunkt derart eingestellt ist, dass er P4 ist und dessen Endpunkt derart eingestellt ist, um eine Position P4e zu sein, die als eine Position von P1 in dem Parkabschnitt geschätzt wird, zu dem P4 gehört.
Dann vergleicht die Auswahleinheit 244 einen Abstand D1, der ein Abstand von dem Endpunkt P1e des ersten Vektors V1 zu P4 ist, mit einem Abstand D2, der ein Abstand von dem Endpunkt P4e des zweiten Vektors V2 zu P1 ist, wählt den ersten Vektor V1 aus, falls der Abstand D1 kleiner ist und wählt den zweiten Vektor V2 aus, falls der Abstand D2 kleiner ist.
Bei der verwandten Technik werden nur Vektoren einer Richtung in einer Vektorschätzungsverarbeitung geschätzt und Punkte, die den gleichen Parkabschnitt bilden, werden unter Verwendung der Vektoren verbunden. Der Parkabschnitt kann aufgrund eines großen Vektorfehlers jedoch nicht korrekt bestimmt sein.
Hier im Folgenden wurde aus bisherigem Wissen der Erfinder herausgefunden, dass, wenn bidirektionale Vektoren (V1, V2) wie oben beschrieben geschätzt werden und es eine Abweichung zwischen den Vektoren gibt, es selten vorkommt, dass beide Fehler der Vektoren groß sind und ein Vektor, der zu einem kürzeren der zwei Abstände (D1, D2) gehört, höchstwahrscheinlich eine hohe Genauigkeit aufweist. Daher werden bei dem vorliegenden Ausführungsbeispiel die bidirektionalen Vektoren geschätzt und der Vektor, der dem kürzeren der oben beschriebenen beiden Abstände (D1, D2) entspricht, wird angenommen, beziehungsweise übernommen und die Erfassungsgenauigkeit des Parkabschnitts kann dadurch signifikant erhöht werden.
Weil die Bestimmungseinheit 245 eine Anpassung zwischen den Punkten durchführt, d.h., die Vielzahl von Punkten für jeden Parkabschnitt klassifiziert, wird eine Korrespondenz zwischen den Punkten als der zweigeteilte Graph betrachtet, die in einem optimalen Anpassungsproblem des zweigeteilten Graphen resultiert. Insbesondere beim Bestimmen der Kombination des Punkts P1 und des Punkts P4 sucht die Bestimmungseinheit 245 nach einer Kombination des Punkts P1 und des Punkts P4, bei der die Kosten unter Verwendung einer Kostenmatrix entsprechend dem zweigeteilten Graphen der Vielzahl von Punkten P1 und der Vielzahl von Punkten P4 minimiert werden, wodurch die Kombination des Punkts P1 und des Punkts P4 bestimmt wird. In diesem Fall wird der kleinere des Abstands D1 und des Abstands D2 als Kosten herangezogen.
Um das optimale Anpassungsproblem zu lösen, kann beispielsweise eine Ungarische Methode verwendet werden. Die Ungarische Methode ist eine Technik zum Lösen eines sogenannten Allokationsproblems und ist ein bekannter Algorithmus zum Ausführen einer Operation wie für eine Matrix beispielsweise einem Subtrahieren eines Minimalwerts einer Reihe von jedem Element von jeder Reihe und einem anschließenden Subtrahieren eines Minimalwerts einer Spalte aus jedem Element von jeder Spalte. Bei der Ungarischen Methode wird hierbei die Kostenmatrix, die dem zweigeteilten Graphen entspricht, erzeugt und nach einer Kombination eines Kostenminimums gesucht. Die Bestimmungseinheit 245 sucht nach einer Kombination des Punkts P1 und des Punkts P4, bei der die Kosten unter Anwendung der Ungarischen Methode auf die Kostenmatrix minimiert werden.
7A zeigt den zweigeteilten Graphen wenn der Punkt P1 (Punkt P1a bis P1d) und der Punkt P4 (Punkt P4a bis P4d) ausgewählt sind. 7B zeigt eine Kostenmatrix in diesem Fall. Die Kosten S₁ bis S₁₆ sind die Kleineren des Abstands D1 und des Abstands D2.
Auf diese Art und Weise kann durch ein Suchen nach der Kombination des Punkts P1 (Punkt P1a bis Punkt 1d) und des Punkts P4 (Punkt P4a bis P4d) eine geeignete Kombination einfach mit hoher Genauigkeit erhalten werden. Das liegt daran, weil, wenn zwei zu dem gleichen Parkabschnitt gehörende Punkte ausgewählt werden, eine Chance sehr hoch ist, dass die oben beschriebenen Kosten minimiert werden.
Nicht nur die Kombination des Punkts P1 und des Punkts P4 sondern ebenfalls eine Kombination des Punkts P2 und des Punkts P3 und eine Kombination des Punkts P1 und des Punkts P2 können auf ähnliche Art und Weise wie oben beschrieben berechnet (angepasst) werden, um eine geeignete Kombination zu erhalten.
Nach einer Maximum-Likelihood-Schätzung für die Kombinationen des Punkts P1 und des Punkts P4, des Punkts P2 und des Punkts P3, und des Punkts P1 und des Punkts P2 klassifiziert die Erfassungseinheit 246 die Vielzahl von Punkten für jeden Parkabschnitt durch Integrieren von Anpassungsergebnissen auf Grundlage von beispielsweise der Kombination des Punkts P1 und des Punkts P2.
Kombinationen von Punkten die nicht integriert werden, werden aus dem Schätzungsergebnis ausgeschlossen.
Die Anzeigesteuerungseinheit 247 veranlasst die Anzeigevorrichtung 16 (Anzeigeeinheit) den durch die Erfassungseinheit 246 erfassten Parkabschnitt anzuzeigen. Hier im Folgenden zeigt 8 ein schematisches Diagramm, das ein Anzeigebeispiel eines vorgeschlagenen Parkabschnitts gemäß dem Ausführungsbeispiel veranschaulicht. Ein vorgeschlagener Parkabschnitt PR, der in 8 gezeigt ist, ist beispielsweise ein Parkabschnitt, wenn eine Vielzahl von Parkabschnitten vorhanden ist, bei denen das Parken erlaubt ist.
Mit Blick zurück auf 3, wenn der Nutzer eine Eingabebetätigung eines Zielparkabschnitts unter Verwendung der Bedieneingabeeinheit durchführt, stellt die Einstellungseinheit 248 den Zielparkabschnitt ein.
Wenn die Einstellungseinheit 248 den Zielparkabschnitt einstellt, berechnet die Berechnungseinheit 249 unter Verwendung einer bekannten Bewegungsbahnberechnungstechnik eine Bewegungsbahn von einer aktuellen Position des Fahrzeugs zu dem Zielparkabschnitt.
Die Lerneinheit 250 führt ein Lernen eines Lernmodells unter Verwendung von Lerndaten aus. Hier im Folgenden ist eine Verarbeitung zu einem Zeitpunkt des Lernens, das von der Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel ausgeführt wird, mit Bezug zu 9 beschrieben. 9 zeigt ein Flussdiagramm, das eine Verarbeitung zu einem Zeitpunkt des Lernens veranschaulicht, das durch die Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel ausgeführt wird.
Als erstes erlangt die Erlangungseinheit 241 in Schritt S101 für das aufgenommene Bild, das im Vorfeld aufgenommen wurde, Lerndaten, in denen die Koordinaten-Echtwerte der Eckpunkte des Parkabschnitts und eine Anmerkung, beziehungsweise eine Kommentierung zu der Kombination von korrekten Punkten gegeben sind.
Als nächstes gibt die Lerneinheit 250 in Schritt S102 die Lerndaten in das Lernmodell für das Deep Learning ein.
Als nächstes schätzt die Lerneinheit 250 in Schritt S103 die Koordinaten der Eckpunkte des Parkabschnitts und bidirektionale Vektoren zum Verbinden der Punkte.
Als nächstes berechnet die Lerneinheit 250 in Schritt S104 einen Fehler zwischen einem Schätzungsergebnis (Koordinaten der Eckpunkte des Parkabschnitts und bidirektionale Vektoren, die durch die Schätzung erhalten werden) und dem echten Wert (Echtwert-Koordinaten und bidirektionale Vektoren, die auf Grundlage der Echtwert-Koordinaten berechnet werden).
Als nächstes bestimmt die Lerneinheit 250 in Schritt S105, ob eine Lernendbedingung erfüllt ist, beendet die Verarbeitung in einem Fall des Erfülltseins, Ja, und geht zu Schritt S106 in einem Fall des nicht Erfülltseins, Nein, über. Beispielsweise in einem Fall, in dem der in Schritt S104 berechnete Fehler gleich oder geringer als ein vorbestimmter Wert ist, bestimmt die Lerneinheit 250, dass die Lernendbedingung erfüllt ist.
In Schritt S106 aktualisiert die Lerneinheit 250 das Lernmodell auf Grundlage des Fehlers. Nach dem Schritt S106 kehrt die Verarbeitung zu Schritt S101 zurück.
Als nächstes ist eine Gesamtverarbeitung zu einem Zeitpunkt eines Parkassistenten, der durch die Vorrichtung zum Erfassen eines bestimmten Bereichs gemäß dem Ausführungsbeispiel ausgeführt wird, mit Bezug zu 10 beschrieben. 10 zeigt ein Flussdiagramm, das eine Gesamtverarbeitung zu einem Zeitpunkt eines Parkassistenten, der durch die Vorrichtung zur Erfassung eines bestimmten Bereichs gemäß dem Ausführungsbeispiel ausgeführt wird, veranschaulicht. Die Verarbeitung wird beispielsweise durch den Fahrer gestartet, der eine Anweisung unter Verwendung einer Bedieneingabeeinheit wie beispielsweise einem Knopf, einem Touchpanel oder einer Stimmerkennungsvorrichtung tätigt.
Als erstes erlangt die Erlangungseinheit 241 in Schritt S1 das aufgenommene Bild von den Abbildungseinheiten 14. Als nächstes erfasst die CPU 24a in Schritt S2 den Parkabschnitt, bei dem Parken erlaubt ist. Hier zeigt 11 ein Flussdiagramm, das die Details der Verarbeitung in Schritt S2 aus 10 veranschaulicht.
In Schritt S21 verwendet die Punktschätzungseinheit 242 das Lernmodell, um die Eckpunkte des Parkabschnitts auf Grundlage des aufgenommenen Bilds (aufgenommenes Bild zum Schätzen) zu schätzen.
Als nächstes schätzt die Vektorschätzungseinheit 243 in Schritt S22 die oben beschriebenen bidirektionalen Vektoren. Obwohl die Schritte S21 und S22 der Einfachheit halber in der Beschreibung separat beschrieben wurden, können die Schritte S21 und S22 parallel ausgeführt werden.
Als nächstes wählt die Auswahleinheit 244 in Schritt S23 einen Vektor wie oben beschrieben entsprechend des Kleineren des ersten Abstands und des zweiten Abstands aus den bidirektionalen Vektoren aus.
Als nächstes passt die Bestimmungseinheit 245 in Schritt S24 die Punkte unter Verwendung der Kostenmatrix, der Ungarischen Methode oder dergleichen auf Grundlage der in Schritt 23 ausgewählten Vektoren an. In Schritt S25 klassifiziert die Bestimmungseinheit 245 eine Vielzahl von Punkten für jeden Parkabschnitt.
Als nächstes erfasst die Erfassungseinheit 246 in Schritt S26 den Parkabschnitt auf Grundlage des Klassifizierungsergebnisses aus Schritt S25.
Mit Blick zurück auf 10 erfasst die CPU 24a in Schritt S3 nach dem Schritt S2 einen geschätzten, beziehungsweise vorgeschlagenen Parkabschnitt. Wenn es beispielsweise eine Vielzahl von Parkabschnitten gibt, bei denen Parken erlaubt ist, bestimmt die CPU 24a einen Parkabschnitt als den geschätzten, beziehungsweise vorgeschlagenen Parkabschnitt auf Grundlage einer vorbestimmten Referenz. Die CPU 24a bestimmt als den geschätzten, beziehungsweise vorgeschlagenen Parkabschnitt beispielsweise einen Parkabschnitt, der in dem Kamerabild groß erscheint (d.h., ein Abstand gering ist) oder einen Parkabschnitt, der nahe einer Bestimmungseinrichtung gelegen ist.
Als nächstes veranlasst die Anzeigesteuerungseinheit 247 in Schritt S4 die Anzeigevorrichtung 16 den in Schritt S3 bestimmten geschätzten Parkabschnitt anzuzeigen.
Als nächstes bestimmt die CPU 24a in Schritt S5, ob der Nutzer die Eingabebetätigung des Zielparkabschnitts unter Verwendung der Bedieneingabeeinheit ausführt, wobei die Verarbeitung zu dem Schritt S6 im Falle einer positiven Bestätigung, Ja, voranschreitet und zu dem Schritt S3 im Fall einer negativen Bestätigung, Nein, zurückkehrt.
In Schritt S6 stellt die Einstellungseinheit 248 den Zielparkabschnitt ein und die Anzeigesteuerungseinheit 247 veranlasst die Anzeigevorrichtung 16 anzuzeigen, dass der Zielparkabschnitt eingestellt ist.
Als nächstes berechnet die Berechnungseinheit 249 in Schritt S7 unter Verwendung einer bekannten Bewegungsbahnberechnungstechnik, beziehungsweise Bewegungswegberechnungstechnik die Bewegungsbahn, beziehungsweise den Bewegungsweg von der aktuellen Position des Fahrzeugs zu dem Zielparkabschnitt.
Als nächstes führt die CPU 24a in Schritt S8 den Parkassistenten, beziehungsweise die Einparkhilfe aus. Wenn beispielsweise ein „komplett automatischer Parkassistent“ als der Parkassistent ausgeführt wird, steuert die CPU 24a das Lenksystem 28, das Bremssystem 32, das Antriebssystem 34 und dergleichen, um das Fahrzeug 10 entlang der Bewegungsbahn zu bewegen. Zusätzlich, wenn eine „teilweise automatische Parkassistenz“ oder „Anleitungsassistenz“ als die Parkassistenz ausgeführt wird, benachrichtigt die CPU 24a den Fahrer über einen Bedienungsinhalt durch Sprache oder Anzeige und der Fahrer führt einen Teil oder alle der Operationen, bzw. Bedingungen aus, um den Parkbetrieb zu implementieren. Anschließend, wenn beispielsweise das Fahrzeug sicher in den Parkabschnitt eingeparkt ist, endet die Verarbeitung.
Auf diese Art und Weise gemäß der Vorrichtung zum Erfassen eines bestimmten Bereichs des vorliegenden Ausführungsbeispiels werden, wenn ein bestimmter Bereich erfasst ist, bidirektionale Vektoren des ersten Vektors und des zweiten Vektors für eine Kombination des ersten Punkts und des zweiten Punkts geschätzt und der Vektor, der einen kleineren des ersten Abstands und des zweiten Abstands aufweist, wird ausgewählt und verwendet und der bestimmte Bereich kann dadurch mit hoher Genauigkeit erfasst werden.
Der viereckige Parkabschnitt, der durch vier Punkte definiert ist, die den ersten Punkt und den zweiten Punkt umfassen, der als der bestimmte Bereich fungiert, kann mit hoher Genauigkeit geschätzt werden.
Beim Erfassen des Parkabschnitts kann der Parkabschnitt einfach und genau unter Verwendung des zweigeteilten Graphen und der oben beschriebenen Kostenmatrix geschätzt werden.
Durch Anwenden der Ungarischen Methode auf die Kostenmatrix kann der Parkabschnitt mit hoher Genauigkeit und einem einfachen Algorithmus geschätzt werden.
Durch Anzeigen des erfassten Parkabschnitts kann eine Parkassistenz für den Fahrer ausgeführt werden.
Ein Programm zur Parkassistenzausführung, das durch die CPU 24a gemäß dem vorliegenden Ausführungsbeispiel ausgeführt wird, kann bereitgestellt sein, indem es auf ein computerlesbares Aufnahmemedium aufgespielt ist, wie beispielsweise eine CD-ROM, eine flexible Diskette (FD), ein CD-R oder eine Digital Versatile Disk (DVD), in einer installierbaren oder ausführbaren Form eines Files, beziehungsweise einer Datei.
Ein Parkassistenzverarbeitungsprogramm kann in einem Computer gespeichert sein, der mit einem Netzwerk verbunden ist, wie beispielsweise dem Internet und durch Download über das Netzwerk bereitgestellt ist. Das Parkassistenzverarbeitungsprogramm, das in dem vorliegenden Ausführungsbeispiel ausgeführt wird, kann über ein Netzwerk wie beispielsweise das Internet bereitgestellt oder verteilt, beziehungsweise verbreitet werden.
Obwohl das Beispiel des Ausführungsbeispiels und eine Modifikation dieser Offenbarung beschrieben sind, sind ein solches Ausführungsbeispiel und eine solche Modifikation als Beispiele präsentiert und beabsichtigen nicht den Bereich dieser Offenbarung zu beschränken. Solche neuen Beispiele von Ausführungsbeispielen können in anderen unterschiedlichen Formen implementiert werden und unterschiedliche Weglassungen, Ersetzungen und Änderungen können ohne sich von dem Grundgedanken dieser Offenbarung zu entfernen durchgeführt werden. Die Ausführungsbeispiele und Modifikationen davon sind in dem Umfang des Grundgedankens dieser Offenbarung umfasst und sind ebenfalls in dieser Offenbarung umfasst, die in den Ansprüchen und einem äquivalenten Umfang davon beschrieben ist.
Beispielsweise ist der bestimmte Bereich, der auf Grundlage des aufgenommenen Bildes zu erfassen ist, nicht auf den Parkabschnitt beschränkt und kann eine Person, ein Fahrzeug oder dergleichen sein. In diesem Fall kann ein Erfassungsziel durch eine vorbestimmte Anzahl von Punkten definiert sein.
Das aufgenommene Bild, das beim Lernen oder bei Störungen zu verwenden ist, ist nicht auf ein Fischaugenbild beschränkt und kann ein Weitwinkelbild, ein normales Bild oder ein Overhead-Bild sein, das auf Grundlage einer Vielzahl von aufgenommenen Bildern synthetisiert ist.
Die für die Kostenmatrix verwendeten Kosten sind nicht auf das obere Beispiel beschränkt und können einen anderen Wert annehmen.
In Bezug auf die Verarbeitung zum Zeitpunkt des Lernens in 9, beispielsweise wenn die Lernendbedingung erfüllt ist (Ja in Schritt S105), kann das Lernmodell auf Grundlage des Fehlers aktualisiert werden (die Verarbeitung entsprechend Schritt S106 kann ausgeführt werden) und die Verarbeitung kann dann beendet werden.
Eine Vorrichtung zum Erfassen eines bestimmten Bereichs umfasst: Eine Punktschätzungseinheit (242), die unter Verwendung eines Lernmodells, das durch Lernen über einen bestimmten Bereich, der durch Punkte definiert ist, die erste und zweite Punkte umfassen, unter Verwendung eines aufgenommenen Bildes zum Lernen erzeugt wird, eine Vielzahl der ersten und zweiten Punkte auf Grundlage eines aufgenommenen Bildes zum Schätzen schätzt; eine Vektorschätzungseinheit (243), die, für eine Kombination von jeweils einem der ersten und zweiten Punkte, erste und zweite Vektoren, dessen Startpunkte die ersten und zweiten Punkte sind und deren Endpunkte Positionen sind, die als Positionen der zweiten und ersten Punkte geschätzt sind, schätzt; eine Auswahleinheit (244), die den ersten oder zweiten Vektor ausgewählt; eine Bestimmungseinheit (245), die eine Kombination der ersten und zweiten Punkte auf Grundlage eines durch die Auswahleinheit ausgewählten Vektors bestimmt; und eine Erfassungseinheit (246), die den bestimmten Bereich auf Grundlage eines Bestimmungsergebnisses erfasst.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018041176 A [0002]

Zitierte Nicht-Patentliteratur

Zhe Cao et al., „OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields“, [online], 30. Mai 2019, IEEE, [gesucht am 23. Februar, zweites Jahr von Reiwa] [0002]

Claims

Vorrichtung zum Erfassen eines bestimmten Bereichs, mit: einer Punktschätzungseinheit (242), die dazu eingerichtet ist, um, unter Verwendung eines Lernmodells, das durch Lernen über einen bestimmten Bereich, der durch eine vorbestimmte Anzahl von einen ersten Punkt und einen zweiten Punkt umfassenden Punkten definiert ist, die vorbestimmte Relativpositionen in dem in einem Bildbereich existierenden bestimmten Bereich angeben, unter Verwendung eines aufgenommenen Bildes zum Lernen erzeugt wird, eine Vielzahl der ersten Punkte und eine Vielzahl der zweiten Punkte auf Grundlage eines aufgenommenen Bildes zum Schätzen zu schätzen; einer Vektorschätzungseinheit (243), die dazu eingerichtet ist, um für eine Kombination von einem der ersten Punkte und einem der zweiten Punkte einen ersten Vektor, dessen Startpunkt derart eingestellt ist, um der erste Punkt zu sein und dessen Endpunkt derart eingestellt ist, um eine Position zu sein, die als eine Position des zweiten Punkts in dem bestimmten Bereich geschätzt ist, zu dem der erste Punkt gehört, und einen zweiten Vektor, dessen Startpunkt derart eingestellt ist, um der zweite Punkt zu sein und dessen Endpunkt derart eingestellt ist, um eine Position zu sein, die als eine Position des ersten Punkts in dem bestimmten Bereich geschätzt ist, zu dem der zweite Punkt gehört, zu schätzen; einer Auswahleinheit (244), die dazu eingerichtet ist, um einen ersten Abstand, der ein Abstand von dem Endpunkt des ersten Vektors zu dem zweiten Punkt ist, mit einem zweiten Abstand, der ein Abstand von dem Endpunkt des zweiten Vektors zu dem ersten Punkt ist, zu vergleichen, den ersten Vektor auszuwählen, falls der erste Abstand kleiner ist und den zweiten Vektor auszuwählen, falls der zweite Abstand kleiner ist; einer Bestimmungseinheit (245), die dazu eingerichtet ist, um eine Kombination des ersten Punkts und des zweiten Punkts für jeden bestimmten Bereich in dem aufgenommenen Bild zum Schätzen auf Grundlage eines durch die Auswahleinheit ausgewählten Vektors zu bestimmen; und einer Erfassungseinheit (246), die dazu eingerichtet ist, um den bestimmten Bereich auf Grundlage eines Bestimmungsergebnisses der Kombination der Punkte durch die Bestimmungseinheit zu erfassen.
Vorrichtung zum Erfassen eines bestimmten Bereichs nach Anspruch 1, wobei der bestimmte Bereich ein Parkabschnitt ist, der durch vier Punkte definiert ist, die den ersten Punkt und den zweiten Punkt umfassen.
Vorrichtung zum Erfassen eines bestimmten Bereichs nach Anspruch 2, wobei, wenn die Kombination des ersten Punkts und des zweiten Punkts für jeden Parkabschnitt in dem aufgenommenen Bild zum Schätzen auf Grundlage des durch die Auswahleinheit ausgewählten Vektors bestimmt wird, die Bestimmungseinheit nach einer Kombination des ersten Punkts und des zweiten Punkts sucht, bei der Kosten unter Verwendung einer Kostenmatrix entsprechend eines zweigeteilten Graphen der Vielzahl von ersten Punkten und der Vielzahl von zweiten Punkten minimiert werden, wodurch die Kombination des ersten Punkts und des zweiten Punkts bestimmt wird und in diesem Fall ein Kleinerer des ersten Abstands und des zweiten Abstands als Kosten herangezogen wird.
Vorrichtung zum Erfassen eines bestimmten Bereichs nach Anspruch 3, wobei die Bestimmungseinheit eine Ungarische Methode auf die Kostenmatrix anwendet und nach einer Kombination des ersten Punkts und des zweiten Punkts sucht, bei der die Kosten minimiert werden.
Vorrichtung zum Erfassen eines bestimmten Bereichs nach Anspruch 2, ferner mit: einer Anzeigesteuerungseinheit (247), die dazu eingerichtet ist, um eine Anzeigeeinheit (16) zu veranlassen den durch die Erfassungseinheit erfassten Parkabschnitt anzuzeigen.