DE102013226476A1

DE102013226476A1 - Bildverarbeitungsverfahren und -system eines rundumsichtüberwachungssystems

Info

Publication number: DE102013226476A1
Application number: DE201310226476
Authority: DE
Inventors: Seong Sook Ryu; Jae Seob Choi; Eu Gene Chang
Original assignee: Hyundai Motor Co
Current assignee: Hyundai Motor Co
Priority date: 2013-10-08
Filing date: 2013-12-18
Publication date: 2015-04-09
Anticipated expiration: 2033-12-19
Also published as: KR101573576B1; DE102013226476B4; CN104517096A; US20150098622A1; KR20150041334A

Abstract

Ein Bildverarbeitungsverfahren und -system eines AVM-Systems werden bereitgestellt. Das Verfahren beinhaltet: Fotografieren, durch ein Steuerglied, einer Umgebung rund um ein Fahrzeug, um ein Draufsichtbild zu erzeugen, und Erstellen einer Differenz-Zählungskarte durch Vergleichen von zwei Draufsichtbildern, welche bei Zeitintervallen fotografiert sind. Partielle Bereiche in der erstellten Differenz-Zählungskarte werden extrahiert, und ein Objekt-Erkennungsbild wird durch kontinuierliches Verbinden der extrahierten Bereiche der Differenz-Zählungskarte erzeugt. Genaue Positionen der Formen und Objekte, welche rund um das Fahrzeug positioniert sind, können erkannt werden, und genauere Information bezüglich der Objekte rund um das Fahrzeug kann einem Fahrer bereitgestellt werden.

Description

HINTERGRUND
Bereich der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren und -system eines Rundumsicht-Überwachungs-(AVM-)Systems, und spezieller ausgedrückt auf ein Bildverarbeitungsverfahren und -system eines AVM-Systems, welches eine Position und eine Form eines Objektes rund um ein Fahrzeug genauer erkennt und die erkannte Position und Form einem Fahrer bereitstellt.
Beschreibung des Standes der Technik
Im Allgemeinen wird ein Sichtfeld eines Fahrers in einem Fahrzeug hauptsächlich in Richtung der Front bzw. nach vorne geführt. Da die Sichtfelder nach links und nach rechts und nach hinten des Fahrers hauptsächlich durch den Fahrzeugaufbau verdeckt sind, sind diese deshalb sehr begrenzt. Deshalb wurde im Allgemeinen eine Sichtfeld-Hilfseinheit (z. B. ein Seitenspiegel oder Ähnliches), welche einen Spiegel beinhaltet, um ein Sichtfeld des Fahrers, welches einen begrenzten Bereich besitzt, benutzt. In jüngster Zeit wurden Technologien entwickelt, wobei eine bilderfassende Einrichtung beinhaltet ist, welche ein Bild des Äußeren des Fahrzeugs fotografiert und das fotografierte Bild dem Fahrer bereitstellt.
Im Speziellen wurde ein Rundumsicht-Überwachungs-(AVM-)System entwickelt, in welchem eine Vielzahl von bilderzeugenden Einrichtungen rund um das Fahrzeug installiert ist, um Bilder nach allen Richtungen (z. B. 360 Grad) rund um das Fahrzeug zu zeigen. Das AVM-System kombiniert Bilder rund um das Fahrzeug, welche durch die Vielzahl der bilderzeugenden Einrichtungen fotografiert sind, um ein Bild einer Ansicht von oben des Fahrzeugs bereitzustellen, um so ein Hindernis rund um das Fahrzeug anzuzeigen und einen verdeckte Zone bzw. einen Totbereich zu entfernen.
Jedoch kann in dem Draufsichtbild, welches durch das AVM-System bereitgestellt wird, die Form eines Objektes, speziell eines dreidimensionalen Objektes, rund um das Fahrzeug, basierend auf Fotografierrichtungen der bilderzeugenden Einrichtungen, verzerrt werden und so gezeigt werden. Ein Gegenstand, bei welchem eine Fotografierrichtung und ein Abstand nahe sind, basierend auf einer Position der bilderzeugenden Einrichtung, wird fotografiert, um ähnlich zu einer aktuellen Form zu sein. Wenn jedoch ein relativer Abstand zu der bilderzeugenden Einrichtung und ein Winkel von der Fotografierrichtung zunimmt, kann die Form des dreidimensionalen Objektes gestört werden. Deshalb kann eine genaue Position und Form des Gegenstandes rund um das Fahrzeug dem Fahrer nicht bereitgestellt werden.
ZUSAMMENFASSUNG
Entsprechend stellt die vorliegende Erfindung ein Bildverarbeitungsverfahren und -system eines Rundumsicht-Überwachungs-(AVM-)Systems bereit, welches zu einer aktuelleren Erkennung eines dreidimensionalen Gegenstandes rund um ein Fahrzeug hilft, wenn eine Form des dreidimensionalen Objektes gestört ist und in einer Draufsicht gezeigt wird, welche einem Fahrer über das AVM-System bereitgestellt wird.
In einem Gesichtspunkt der vorliegenden Erfindung kann ein Bildverarbeitungsverfahren eines AVM-Systems beinhalten: das Fotografieren durch eine bilderzeugende Einrichtung einer Umgebung rund um ein Fahrzeug, um ein Draufsichtbild zu erzeugen; das Erstellen, durch ein Steuerglied, einer Differenz-Count-Map bzw. Differenz-Zählungskarte durch das Vergleichen von zwei Draufsichtbildern, welche zu unterschiedlichen Zeiten erzeugt sind; das Extrahieren, durch das Steuerglied, partieller Bereiche in der erstellten Differenz-Zählungskarte; und das Erzeugen, durch das Steuerglied, eines Objekt-Erkennungsbildes durch kontinuierliches Verbinden der extrahierten Bereiche der Differenz-Zählungskarte miteinander. Das Bildverarbeitungsverfahren kann beinhalten: das Erkennen, durch das Steuerglied, eines Objektes bzw. Gegenstandes rund um das Fahrzeug, wobei das Objekt-Erkennungsbild benutzt wird; und das Einbeziehen des erkannten Objektes in dem Draufsichtbild und das Anzeigen durch das Steuerbild des Draufsichtbildes, welches das erkannte Objekt beinhaltet.
Das Schaffen bzw. Erstellen der Differenz-Zählungskarte kann beinhalten: Korrigieren, durch ein Steuerglied, einer relativen Positionsänderung eines Objektes rund um das Fahrzeug, welche in den zwei Draufsichtbildern beinhaltet ist, basierend auf einer Bewegung des Fahrzeugs; und Vergleichen, durch das Steuerglied, der zwei Draufsichtbilder, in welchen die Positionsänderung korrigiert ist, um die Differenzwerte für jedes Pixel zu berechnen. Der extrahierte Bereich kann Pixel beinhalten, welche eine Zahl besitzen, welche einem Bewegungsabstand des Fahrzeugs in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte entsprechen. Der extrahierte Bereich kann eine vorher eingestellte Anzahl von Pixeln in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte beinhalten.
Bei der Erzeugung des Objekt-Erkennungsbildes können die extrahierten Bereiche der Differenz-Zählungskarte verbunden werden, um in Proportion zu einem Bewegungsabstand des Fahrzeugs zu sein, und ein finaler Wert kann bestimmt werden, basierend auf Wichtungsfaktoren, welche jedem Pixel verliehen sind, mit Bezug auf einen überlappten Pixelbereich. Wenn ein Winkel von einer Fotografierrichtung einer bilderfassenden Einrichtung basierend auf einer Position der bilderzeugenden Einrichtung in der Differenz-Zählungskarte zunimmt, können die Wichtungsfaktoren für jedes Pixel abnehmen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die oberen und anderen Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Beschreibung offensichtlicher, welche in Verbindung mit den beigefügten Zeichnungen gegeben wird, in welchen:
1 ein beispielhaftes Blockdiagramm ist, welches eine Konfiguration eines Rundumsicht-Überwachungs-(AVM-)Systems entsprechend einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt;
2 ein beispielhaftes Ablaufdiagramm ist, welches ein Bildverarbeitungsverfahren eines AVM-Systems entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung darstellt;
3A und 3B beispielhafte Zeichnungen sind, welche einen Prozess des Erzeugens eines Draufsichtbildes entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung beschreiben;
4A und 4B beispielhafte Zeichnungen sind, welche einen Prozess des Erstellens einer Differenz-Zählungskarte entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung beschreiben;
5 eine beispielhafte Zeichnung ist, welche eine Differenz-Zählungskarte darstellt, welche, während die Zeit verstreicht, erstellt ist, entsprechend einer beispielhaften Ausführungsform der vorliegenden Erfindung;
6 eine beispielhafte Zeichnung ist, welche einen Prozess des Extrahierens eines teilweisen Bereiches in der Differenz-Zählungskarte beschreibt, entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung;
7 eine beispielhafte Zeichnung ist, welche einen Prozess des Erzeugens eines Objekt-Erkennungsbildes beschreibt, entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung; und
8 eine beispielhafte Zeichnung ist, welche Wichtungsfaktoren beschreibt, welche jedem Pixel der Differenz-Zählungskarte verliehen sind, entsprechend einer beispielhaften Ausführungsform der vorliegenden Erfindung; und
9A bis 9C beispielhafte Zeichnungen sind, welche einen Prozess des Beschreibens und Anzeigens eines Objektes rund um ein Fahrzeug beschreiben, entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung.
DETAILLIERTE BESCHREIBUNG
Es ist davon auszugehen, dass der Term „Fahrzeug” oder „fahrzeugartig” oder ein anderer ähnlicher Term, wie er hier benutzt wird, inklusive für Motorfahrzeuge im Allgemeinen ist, wie zum Beispiel für Personenautomobile, wobei Fahrzeuge für den Sportgebrauch (SUV), Omnibusse, Lastwagen, verschiedene kommerzielle Fahrzeuge, Wasserkraftfahrzeuge beinhaltet sind, wobei eine Vielzahl von Booten und Schiffen, Flugzeuge und ähnliche und wobei Hybridfahrzeuge, Elektrofahrzeuge, Verbrennungs-, Einsteckhybridelektrische Fahrzeuge, Wasserstoff betriebene Fahrzeuge und andere Fahrzeuge mit alternativen Kraftstoff (z. B. Kraftstoffen, welche von Ressourcen anders als Öl abgeleitet sind) beinhaltet sind.
Obwohl eine beispielhafte Ausführungsform beschrieben wird, indem sie eine Vielzahl von Einheiten benutzt, um den beispielhaften Prozess durchzuführen, ist davon auszugehen, dass die beispielhaften Prozesse auch durch einen oder eine Vielzahl von Modulen durchgeführt werden können. Zusätzlich ist davon auszugehen, dass der Term Steuerglied sich auf eine Hardware-Einrichtung bezieht, welche einen Speicher und einen Prozessor beinhaltet. Der Speicher ist konfiguriert, um die Module zu speichern, und der Prozessor ist speziell konfiguriert, um diese Module auszuführen, um einen oder mehrere Prozesse durchzuführen, welche weiter unten beschrieben werden.
Außerdem kann die Steuerlogik der vorliegenden Erfindung als nicht-transitorische, von einem Computer lesbare Medien auf einem von einem Computer lesbaren Medium eingebettet sein, welcher ausführbare Programminstruktionen enthält, welche durch einen Prozessor, ein Steuerglied oder Ähnliches ausgeführt werden. Beispiele des von einem Computer lesbaren Mediums beinhalten, sind jedoch nicht begrenzt auf ROM, RAM, Compact Disc-(CD-)ROMs, Magnetbänder, Floppy Disks, Flash-Laufwerke, Smart-Karten und optische Datenspeichereinrichtungen. Das von einem Computer lesbare Aufzeichnungsmedium kann auch auf an ein Netz gekoppelte Computer-Systeme verteilt sein, so dass die vom Computer lesbaren Medien in einer verteilten Weise gespeichert und ausgeführt werden, z. B. durch einen Telematik-Server oder ein Steuerglied-Flächennetz (CAN).
Die hier benutzte Terminologie dient nur dem Zweck des Beschreibens einzelner Ausführungsformen und es ist nicht beabsichtigt, dass sie die Erfindung begrenzt. Wie sie hier benutzt werden, sollen die Singularformen „ein”, „eine”, „eines” und „der”, „die” „das” ebenso die Pluralformen einschließen, es sei denn, es wird im Kontext klar in anderer Weise angezeigt. Es ist ferner davon auszugehen, dass die Terme „weist auf” und/oder „aufweisend”, wenn sie in dieser Spezifikation benutzt werden, das Vorhandensein der aufgeführten Merkmale, Integer, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, jedoch nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, Integer, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen. Wie es hier benutzt wird, beinhaltet der Term „und/oder” jegliche und alle Kombinationen einer oder mehrerer zusammenhängender, aufgelisteter Begriffe.
Es sei denn es wird speziell festgelegt oder es ist aus dem Kontext offensichtlich, wie es hier benutzt wird, ist der Term „ungefähr” als innerhalb eines Bereiches normaler Toleranz in der Fachwelt zu verstehen, zum Beispiel innerhalb von 2 Standardabweichungen vom Mittelwert. „Ungefähr” kann als innerhalb von 10%, 9%, 8%, 7%, 6%, 5%, 4%, 3%, 2%, 1%, 0,5%, 0,1%, 0,05% oder 0,01% des angegebenen Wertes verstanden werden. Es sei denn, es geht andernfalls klar aus dem Kontext hervor, sind alle hier bereitgestellten Werte mit „ungefähr” modifiziert.
Hier nachfolgend wird die vorliegende Erfindung im Detail mit Bezug auf die beigefügten Zeichnungen beschrieben. 1 ist ein beispielhaftes Blockdiagramm, welches eine Konfiguration eines Rundumsicht-Überwachungs-(AVM-)Systems entsprechend einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt. Wie in 1 dargestellt wird, kann das AVM-System eine Fotografiereinheit 110, eine Kommunikationseinheit 120, eine Anzeigeeinheit 130 und ein Steuerglied 140 beinhalten. Das Steuerglied 140 kann konfiguriert sein, um die Fotografiereinheit 110, die Kommunikationseinheit 120 und die Anzeigeeinheit 130 zu betreiben.
Die Fotografiereinheit 110 kann konfiguriert sein, eine Umgebung um ein Fahrzeug herum zu fotografieren. Die Fotografiereinheit 110 kann beinhalten: eine Vielzahl von bilderzeugenden Einrichtungen (z. B. Kamera, Videokameras und Ähnliches), um die Umgebung rund um das Fahrzeug in allen Richtungen (z. B. 360 Grad) zu fotografieren. Zum Beispiel kann die Fotografiereinheit 10 vier bilderzeugende Einrichtungen beinhalten, welche an der Front, an der Rückseite, auf der Linken und der Rechten des Fahrzeugs installiert sind. Zusätzlich kann die Fotografiereinheit 110 Weitwinkel-bilderfassende Einrichtungen beinhalten, welche konfiguriert sind, die Umgebung rund um das Fahrzeug zu fotografieren, wobei eine geringere Anzahl von bilderfassenden Einrichtungen verwendet wird. Das von der Fotografiereinheit 110 fotografierte Bild rund um das Fahrzeug kann in ein Draufsichtbild durch die Bildverarbeitung gewandelt werden, wie es von dem Fahrzeug von oben aus betrachtet wird. Die Fotografiereinheit 110 kann konfiguriert sein, um die Umgebung rund um das Fahrzeug kontinuierlich zu fotografieren, um kontinuierlich Information bezüglich der Umgebung rund um das Fahrzeug für einen Fahrer bereitzustellen.
Die Kommuniziereinheit 120 kann konfiguriert sein, um verschiedene Sensorwerte zu empfangen, um das Draufsichtbild von den Steuereinheiten (ECUs) zu bearbeiten, um die jeweiligen Teilbereiche des Fahrzeugs zu justieren. Zum Beispiel kann die Kommunikationseinheit 120 konfiguriert sein, um einen Lenkwinkel-Sensorwert und einen Radgeschwindigkeit-Sensorwert zu empfangen, um einen Bewegungsabstand und eine Bewegungsrichtung des Fahrzeuges zu erfassen bzw. abzutasten. Die Kommunikationseinheit 120 kann eine Steuerglied-Flächennetzwerk-(CAN-)Kommunikation benutzen, um die Sensorwerte der ECUs zu empfangen. Die CAN-Kommunikation, welche ein Standard-Kommunikationsprotokoll ist, welches für Mikrosteuerglieder oder -geräte gestaltet ist, um ohne einen Host-Computer in dem Fahrzeug zu kommunizieren, ist ein Kommunikationsschema, in welchem eine Vielzahl von ECUs parallel angeschlossen sind, um Information zwischen den jeweiligen ECUs auszutauschen.
Die Anzeigeeinheit 130 kann konfiguriert sein, um das Draufsichtbild, welches durch das Steuerglied 140 erzeugt ist, anzuzeigen. Die Anzeigeeinheit 130 kann konfiguriert sein, um das Draufsichtbild, in welchem das virtuelle Bild beinhaltet ist, entsprechend einem Objekt-Erkennungsergebnis anzuzeigen. Die Anzeigeeinheit 130 kann verschiedene Anzeigeeinrichtungen beinhalten, zum Beispiel eine Kathodenstrahlröhre (CRT), eine Flüssigkeitskristallanzeige (LCD), eine organische lichtemittierende Diode (OLED) und ein Plasmaanzeige-Panel (PDP) und Ähnliches. Zusätzlich kann das Steuerglied 140 konfiguriert sein, um das AVM-System zu betreiben. Spezieller ausgedrückt, das Steuerglied 140 kann konfiguriert sein, um rund um das Fahrzeug durch die Fotografiereinheit 110 fotografierte Bilder zu kombinieren, um das Draufsichtbild zu erzeugen.
Außerdem kann das Steuerglied 140 konfiguriert sein, zwei Draufsichtbild-Bilder, welche zu unterschiedlichen Zeiten erzeugt sind, zu vergleichen, um eine Differenz-Zählungskarte zu erstellen. Die Differenz-Zählungskarte kann ein Bild sein, welches einen Differenzwert zwischen entsprechenden Pixeln innerhalb der Pixel anzeigt, welche in den zweiten Draufsichtbildern beinhaltet sind, welche zu unterschiedlichen Zeitperioden erzeugt sind, und kann unterschiedliche Werte für jedes Pixel besitzen, basierend auf einem Grad davon.
Wie oben beschrieben, kann ein Objekt, speziell ein dreidimensionales Objekt, um das Fahrzeug herum als eine gestörte Form gezeigt werden, welche in dem Draufsichtbild beinhaltet ist. Die Differenz-Zählungskarte kann Information bezüglich des gestörten dreidimensionalen Objektes durch das Vergleichen von zwei kontinuierlichen bzw. aufeinander folgenden Draufsichtbildern und das Berechnen der Differenzwerte beinhalten. Zusätzlich kann das Steuerglied 140 konfiguriert sein, teilweise Bereiche in den erstellten Differenz-Zählungskarten zu extrahieren und aufeinander folgend bzw. kontinuierlich die extrahierten Bereiche, wenn die Zeit verstreicht, zu verbinden, um ein Objekt-Erkennungsbild zu erzeugen. Außerdem kann das Steuerglied 140 konfiguriert sein, um das Objekt um das Fahrzeug herum zu erkennen, wobei das erzeugte Objekt-Erkennungsbild benutzt wird. Spezieller ausgedrückt, das Steuerglied kann konfiguriert sein, eine Form des Objektes rund um das Fahrzeug und einen Abstand von dem Fahrzeug zu dem Objekt rund um das Fahrzeug zu erkennen, wobei das Objekt-Erkennungsbild benutzt wird. Zusätzlich kann das Steuerglied 140 konfiguriert sein, die erkannte Form des Objektes mit den vorher gespeicherten Mustern bzw. Modellen zu vergleichen und ein virtuelles Bild auszugeben, welches der erkannten Form in dem Draufsichtbild entspricht, wenn ein Muster, welches der erkannten Form des Objektes entspricht, vorhanden ist.
Darüber hinaus, obwohl nicht in 1 dargestellt, kann das AVM-System entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung ferner einen Speicher beinhalten (nicht dargestellt). Der Speicher (nicht dargestellt) kann konfiguriert sein, um Muster und virtuelle Bilder für die Formen der Objekte zu speichern. Das Steuerglied 140 kann konfiguriert sein, die Form des Objektes, welches in dem Objekt-Erkennungsbild gezeigt wird, und die Muster, welche in dem Speicher gespeichert sind (nicht dargestellt), zu vergleichen und ein entsprechendes virtuelles Bild in dem Draufsichtbild beinhalten, wenn ein Muster, welches der Form des Objektes entspricht, vorhanden ist. Deshalb kann ein Benutzer aktueller eine Position und eine Form des Objektes rund um das Fahrzeug empfangen.
2 ist ein beispielhaftes Ablaufdiagramm, welches ein Bildverarbeitungsverfahren eines AVM-Systems entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung darstellt. Mit Bezug auf 2 können Draufsichtbilder erzeugt werden (S210), und die erzeugten Draufsichtbilder können verglichen werden, um eine Differenz-Zählungskarte zu erstellen (S220). Dann können Teilbereiche in den Differenz-Zählungskarten extrahiert werden (S230), und die extrahierten Bereiche können verbunden werden, um ein Objekt-Erkennungsbild zu erzeugen (S240). Hier nachfolgend werden die jeweiligen Operationen im Detail mit Bezug auf 3A bis 9C beschrieben.
Als Erstes können die Draufsichtbilder erzeugt werden (S210). Spezieller ausgedrückt, eine Umgebung rund um ein Fahrzeug kann von allen Richtungen (z. B. 360 Grad) fotografiert werden, und die fotografierten Bilder können kombiniert werden, um die Draufsichtbilder zu erzeugen. Dies wird detaillierter mit Bezug auf 3 beschrieben.
3A und 3B sind beispielhafte Zeichnungen, welche einen Prozess des Erzeugens eines Draufsichtbildes entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung beschreiben. 3A stellt Bilder dar, welche durch das Fotografieren einer Umgebung rund um ein Fahrzeug erhalten werden, wobei eine Vielzahl von Bildeinrichtungen benutzt wird. Speziell stellen 3A und 3B die Umgebung rund um das Fahrzeug dar, welche fotografiert ist, wobei vier bilderfassende Einrichtungen benutzt werden, welche an der Front, auf der linken, der rechten bzw. der hinteren Seite des Fahrzeugs befestigt sind. Obwohl die vier bilderzeugenden Einrichtungen, wie sie in 3A dargestellt sind, allgemein benutzt werden können, um die Umgebung rund um das Fahrzeug von allen Richtungen zu fotografieren, ist dies nur ein Beispiel. Mit anderen Worten, die Umgebung rund um das Fahrzeug kann fotografiert werden, indem jegliche Anzahl von Bildeinrichtungen benutzt wird.
3B stellt ein beispielhaftes Draufsichtbild dar, welches durch das Kombinieren der Bilder, welche durch die Vielzahl der bilderzeugenden Einrichtungen fotografiert sind, erzeugt ist. Das Bild, welches durch das Fotografieren der Umgebung rund um das Fahrzeug erzeugt ist, kann in das Draufsichtbild, wie es von der Oberseite des Fahrzeugs gesehen wird, durch Bildverarbeitung gewandelt werden. Da eine Technologie des Bearbeitens der Vielzahl von Bildern, welche durch das Fotografieren der Umgebung rund um das Fahrzeug erzeugt sind, um die Vielzahl der Bilder in das Draufsichtbild zu wandeln, bereits bekannt ist, wird eine detaillierte Beschreibung davon weggelassen.
Außerdem können mit Bezug auf 3B Formen der anderen Fahrzeuge, welche in dem Draufsichtbild gezeigt werden, verzerrt werden. Wie in 3B zu sehen ist, können die Formen der dreidimensionalen Objekte, welche in dem Draufsichtbild gezeigt werden, basierend auf einer Fotografierrichtung der bilderzeugenden Einrichtung radial verformt sein. Mit anderen Worten, wenn ein Winkel von der Fotografierrichtung der bilderzeugenden Einrichtung zunimmt, können die Formen der Objekte weiter verformt werden. Deshalb kann, obwohl sogar das Draufsichtbild entsprechend dem aktuellen AVM-System einem Fahrer ausgegeben wird, der Fahrer aufgrund der Verzerrung die genauen Positionen und Formen des Objektes rund um das Fahrzeug nicht erkennen. Jedoch können genauere Positionen und Formen der Objekte rund um das Fahrzeug durch Prozesse erkannt werden, welche nachfolgend beschrieben werden.
Wenn die Draufsichtbilder erzeugt werden, können zwei Draufsichtbilder, welche zu unterschiedlichen Zeitperioden erzeugt sind, verglichen werden, um die Differenz-Zählungskarte zu erzeugen (S220). Wie oben beschrieben, kann die Differenz-Zählungskarte ein Bild sein, welches einen Differenzwert zwischen entsprechenden Pixeln innerhalb der Pixel anzeigt, welche in den zwei Draufsichtbildern beinhaltet sind, welche zu unterschiedlichen Zeitperioden erzeugt sind. Das Erstellen der Differenz-Zählungskarte kann beinhalten: das Korrigieren, durch das Steuerglied, einer relativen Positionsänderung der Umgebung rund um das Fahrzeug, welche in den zwei Draufsichtbildern beinhaltet ist, basierend auf der Bewegung, und das Vergleichen, durch das Steuerglied, der beiden Draufsichtbilder, in welchen die Positionsänderung korrigiert ist, um die Differenzwerte für jedes Pixel zu berechnen. Diese Prozesse werden im Detail mit Bezug auf 4A und 4B beschrieben.
4A und 4B sind beispielhafte Diagramme, welche einen Prozess des Erstellens einer Differenz-Zählungskarte entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung beschreiben. Mit Bezug auf 4A werden ein Draufsichtbild [Draufsicht (t)] zu einer Zeit t und ein Draufsichtbild [Draufsicht (t – 1)] zu einer Zeit t – 1 dargestellt, bei welcher eine Positionsänderung korrigiert ist.
Die bilderzeugende Einrichtung, welche innerhalb des Fahrzeugs befestigt ist, kann konfiguriert sein, um kontinuierlich die Umgebung rund um das Fahrzeug in vorher eingestellten Zeitintervallen zu fotografieren, wenn sich das Fahrzeug bewegt, und kann allgemein ungefähr 10 bis 30 Rahmen pro Sekunde fotografieren. Zusätzlich können die Draufsichtbilder kontinuierlich erzeugt werden, wenn die Zeit verstreicht, wobei die Bilder, welche kontinuierlich durch die Vielzahl der Bildeinrichtungen fotografiert sind, benutzt werden. Im Speziellen kann eine Änderung in den Positionen der Objekte rund um das Fahrzeug erzeugt werden, welche in dem Bild zwischen den jeweiligen Draufsichtbildern beinhaltet ist, wenn sich das Fahrzeug bewegt. Wenn die Differenz-Zählungskarte erstellt ist, kann eine relative Positionsänderung des Objektes rund um das Fahrzeug, welche in dem anderen Draufsichtbild beinhaltet ist, korrigiert werden, basierend auf einer der zwei zeitlich kontinuierlichen Draufsichtbilder, um einen Fehler zu entfernen (z. B. zu minimieren), basierend auf der Bewegung des Fahrzeugs. In 4A ist eine Position des Draufsichtbildes [Draufsicht (t – 1)], welche zuvor erzeugt worden ist, korrigiert worden, basierend auf dem Draufsichtbild [Draufsicht (t)], welches aktuell erzeugt ist.
Im Speziellen kann ein Korrosionsgrad des Draufsichtbildes basierend auf einem Bewegungsabstand und einer Bewegungsrichtung des Fahrzeugs bestimmt werden. Zum Beispiel, wenn angenommen wird, dass ein Abstand von ungefähr 2 cm durch ein Pixel in dem Draufsichtbild repräsentiert ist und sich das Fahrzeug um ungefähr 10 cm in einer Vorwärtsrichtung während einer Zeit bewegt, in welcher die zwei Draufsichtbilder fotografiert werden, kann das vergangene gesamte Draufsichtbild um 5 Pixel in einer entgegengesetzten Richtung zu einer Bewegungsrichtung des Fahrzeugs, basierend auf dem aktuellen Draufsichtbild, bewegt werden. Alternativ kann das gesamte Draufsichtbild um fünf Pixel in der Bewegungsrichtung des Fahrzeugs, basierend auf dem vergangenen Draufsichtbild, bewegt werden. Im Speziellen kann der Bewegungsabstand des Fahrzeugs berechnet werden, und zwar durch das Empfangen eines Bewegungsabstands der elektronischen Steuereinheiten (ECUs), welche die jeweiligen Bereiche des Fahrzeugs und die Sensorwerte (z. B. einen Lenkwinkel-Sensorwert und einen Radgeschwindigkeit-Sensorwert) justieren, welche erforderlich sind, um eine Bewegungsrichtung zu berechnen.
Außerdem können die zwei Draufsichtbilder, in welchen die Positionsänderung basierend auf der Bewegung des Fahrzeugs korrigiert ist, verglichen werden, um die Differenz-Zählungskarte zu erzeugen. 4B stellt ein beispielhaftes Ergebnis des Erstellens einer Differenz-Zählungskarte dar, wobei zwei Draufsichtbilder benutzt werden, welche in 4A dargestellt sind. Die Differenz-Zählungskarte kann erstellt werden, wobei verschiedene Algorithmen benutzt werden, welche eine Differenz zwischen zwei Bildern als einen numerischen Wert schaffen. Zum Beispiel kann ein Zensus-Transformationsalgorithmus benutzt werden. Der Zensus-Transformationsalgorithmus ist eine gut bekannte Technologie. Ein Prozess des Erstellens einer Differenz-Zählungskarte durch den Zensus-Transformationsalgorithmus wird schematisch beschrieben. Als Erstes können Referenzpixel, welche an der gleichen Position positioniert sind, für die jeweiligen zwei Bilder ausgewählt werden, und Pixelwerte der jeweiligen Referenzpixel und Pixelwerte der benachbarten Pixel können verglichen werden, um die Differenzwerte zu berechnen.
Im Speziellen kann die Anzahl und das Muster der benachbarten Pixel durch verschiedene Verfahren ausgewählt werden. Die Differenz-Zählungskarte, welche in 4B dargestellt ist, stellt die Anzahl der benachbarten Pixel dar, welche auf 16 eingestellt ist. Dann kann bestimmt werden, in welchen der vorher eingestellten Abschnitte der Differenzwert zwischen dem Referenzpixel und den benachbarten Pixeln beinhaltet ist. Die Anzahl und der Bereich der eingestellten Abschnitte können, basierend auf einem Genauigkeitspegel, verschieden eingestellt sein. Wenn alle der Abschnitte, in welchen die Differenzwerte zwischen den Referenz- und den benachbarten Pixeln beinhaltet sind, bestimmt sind, können Ergebnisse der zwei Bilder verglichen werden, um die Anzahl der unterschiedlichen Abschnittswerte zu zählen. Die Anzahl der unterschiedlichen Abschnittswerte kann als ein finaler Differenzwert des Referenzpixels berechnet werden. Der finale Differenzwert kann einen Wert von ungefähr 0 bis 15 besitzen, wenn die Anzahl der benachbarten Pixel auf 16 eingestellt ist. In diesem Schema können finale Differenzwerte für alle Pixel berechnet werden, um eine Differenz-Zählungskarte zu erstellen.
Im Speziellen, da das Objekt, speziell das dreidimensionale Objekt, welches rund um das Fahrzeug in dem Draufsichtbild beinhaltet ist, als die verzerrte Form gezeigt wird, kann die Differenz-Zählungskarte Information bezüglich des verzerrten und gezeigten dreidimensionalen Objektes durch das Vergleichen zweier kontinuierlicher Draufsichtbilder und das Berechnen der Differenzwerte beinhalten. Darüber hinaus, wenn ein neues Draufsichtbild erzeugt wird, kann das neue Draufsichtbild mit dem vorherigen Draufsichtbild verglichen werden, um eine Differenz-Zählungskarte zu erstellen. Dies wird mit Bezug auf 5 beschrieben.
5 ist eine beispielhafte Zeichnung, welche eine Differenz-Zählungskarte darstellt, welche erstellt ist, während die Zeit verstreicht. 5 stellt eine beispielhafte Differenz-Zählungskarte dar, welche von dem letzten Zeitpunkt t – 4 zu einem aktuellen Zeitpunkt t erstellt ist. Mit Bezug auf 5 kann gewürdigt werden, dass Positionen des dreidimensionalen Objektes rund um ein Fahrzeug, welche in der Differenz-Zählungskarte gezeigt werden, sich bewegen können, wenn sich das Fahrzeug bewegt. Dann kann ein partieller Bereich in der erstellten Differenz-Zählungskarte extrahiert werden (S230). Wie oben beschrieben, kann die Information bezüglich der Positionen und der Formen des dreidimensionalen Objektes rund um das Fahrzeug in der Differenz-Zählungskarte beinhaltet sein. Ein spezieller Bereich, welcher eine hohe Zuverlässigkeit in der Differenz-Zählungskarte besitzt, kann extrahiert werden, um die Genauigkeit der Objekterkennung zu erhöhen. Dies wird mit Bezug auf 6 beschrieben.
6 ist eine beispielhafte Zeichnung, welche einen Prozess des Extrahierens eines partiellen Bereiches in der Differenz-Zählungskarte entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung beschreibt. Mit Bezug auf 6 kann ein rechtwinkliger Bereich, welcher eine Fotografierrichtung (z. B. rechte Richtung basierend auf einer Bewegungsrichtung des Fahrzeugs), einer bilderfassenden Einrichtung beinhaltet, basierend auf einer Position (Markierung x) der bilderzeugenden Einrichtung, extrahiert werden, welche die rechte Seite des Fahrzeugs fotografiert. Wie oben beschrieben, kann, da ein Winkel aus der Fotografierrichtung basierend auf der Position der bilderzeugenden Einrichtung zunimmt, das fotografierte Objekt verzerrt werden. Deshalb kann, wenn der Winkel von der Fotografierrichtung der bilderzeugenden Einrichtung zunimmt, Information bezüglich des dreidimensionalen Objektes, dessen Form verzerrt ist, in der Differenz-Zählungskarte beinhaltet sein. Deshalb kann ein Bereich benachbart zu der Fotografierrichtung der bilderzeugenden Einrichtung, basierend auf der Position der bilderzeugenden Einrichtung, extrahiert werden, um die Information bezüglich des verzerrten dreidimensionalen Objektes auszuschließen und um eine zuverlässigere Information zu erhalten.
Darüber hinaus kann die Anzahl der Pixel in der Bewegungsrichtung des Fahrzeugs in dem Bereich, welcher in der Differenz-Zählungskarte extrahiert ist, basierend auf einer Bewegungsgeschwindigkeit des Fahrzeugs bestimmt werden. Die Bereiche, welche jeweils in kontinuierlich erstellten Differenz-Zählungskarten extrahiert sind, können, wenn die Zeit verstreicht, verbunden werden, wie dies nahfolgend beschrieben wird. Im Speziellen, wenn ein Bereich, welcher Pixel beinhaltet, welche eine Anzahl geringer als ein Bewegungsabstand des Fahrzeugs besitzen, extrahiert wird, kann ein diskontinuierlicher Bereich auftreten. Deshalb kann ein ausreichender Bereich unter Berücksichtigung des Bewegungsabstands des Fahrzeugs extrahiert werden. Als ein Beispiel kann der extrahierte Bereich eine vorher eingestellte Anzahl von Pixeln in der Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte beinhalten.
Das AVM-System kann hauptsächlich benutzt werden, wenn das Fahrzeug geparkt ist oder wenn das Fahrzeug durch eine enge Straße gelangt, in welcher ein Hindernis vorhanden ist. Die eingestellte Anzahl von Pixeln kann basierend auf einer maximalen Bewegungsgeschwindigkeit des Fahrzeugs bestimmt werden. Spezieller ausgedrückt, die vorher eingestellte Anzahl der Pixel kann eingestellt werden, um gleich oder größer als die Anzahl der Pixel zu sein, in welcher sich das Fahrzeug maximal in dem Bild bewegt, basierend auf der maximalen Bewegungsgeschwindigkeit des Fahrzeugs. Die Anzahl der Pixel, welche entsprechend der maximalen Bewegungsgeschwindigkeit des Fahrzeugs erforderlich ist, kann durch die folgende Gleichung 1 repräsentiert werden.
Gleichung 1

x = V / F×D
wobei X die vorher eingestellte Anzahl der Pixel ist, V die maximale Bewegungsgeschwindigkeit des Fahrzeugs ist, F eine Bild-Fotografiergeschwindigkeit und D ein aktueller Abstand pro Pixel ist. Spezieller ausgedrückt, X ist die Anzahl der Pixel, welche in der Bewegungsrichtung des Fahrzeugs in einer Differenz-Zählungskarte zu extrahieren ist, und besitzt eine Einheit von px/f. Die maximale Geschwindigkeit V des Fahrzeugs kann eine maximale Bewegungsgeschwindigkeit des Fahrzeugs sein und besitzt eine Einheit von cm/s. Die Bild-Fotografiergeschwindigkeit F kann die Anzahl der Bildrahmen sein, welche durch die bilderzeugende Einrichtung pro Sekunde fotografiert wird, und besitzt eine Einheit von f/s. Der aktuelle Abstand D pro Pixel, welcher ein aktueller Abstand sein kann, welcher einem Pixel der Differenz-Zählungskarte entspricht, besitzt eine Einheit von cm/px. Die Bild-Fotografiergeschwindigkeit F und der aktuelle Abstand D pro Pixel können basierend auf der Leistungsfähigkeit oder einem Einstellzustand der bilderzeugenden Einrichtung geändert werden.

Zum Beispiel, wenn die maximale Bewegungsgeschwindigkeit des Fahrzeugs ungefähr 36 km/h ist, kann die Bild-Fotografiergeschwindigkeit ungefähr 20 f/s sein, und der aktuelle Abstand pro Pixel kann ungefähr 2 cm/px sein, da die maximale Bewegungsgeschwindigkeit (z. B. 36 km/h) des Fahrzeugs ungefähr 1000 cm/s entsprechen kann, wenn diese Werte in der obigen Gleichung 1 substituiert werden, wobei die vorher eingestellte Anzahl X der Pixel ungefähr 25 px/f sein kann. Mit anderen Worten, ein Bereich von ungefähr 25 Pixeln oder mehr in der Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte kann extrahiert werden. Als ein anderes Beispiel kann der extrahierte Bereich Pixel beinhalten, welche eine Anzahl besitzen, welche einem Bewegungsabstand des Fahrzeugs in der Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte entspricht. Wenn zum Beispiel angenommen wird, dass ein Abstand von ungefähr 2 cm als ein Pixel in dem Draufsichtbild gezeigt wird, und wenn das Fahrzeug sich ungefähr 20 cm in einer Vorwärtsrichtung für eine Zeit bewegt, in welcher zwei Draufsichtbilder fotografiert werden, kann ein Bereich, welcher ungefähr 10 Pixel in der Bewegungsrichtung des Fahrzeugs beinhaltet, extrahiert werden. Alternativ kann, wenn sich das Fahrzeug um ungefähr 30 cm in der Vorwärtsrichtung bewegt, ein Bereich, welcher ungefähr 15 Pixel in der Bewegungsrichtung des Fahrzeugs beinhaltet, extrahiert werden.
Im Speziellen kann, wie oben mit Bezug auf 4A und 4B beschrieben, der Bewegungsabstand des Fahrzeugs durch das Empfangen eines Bewegungsabstands der ECUs, welche die jeweiligen Bereiche des Fahrzeugs justieren, und durch Sensorwerte (z. B. einen Lenkwinkel-Sensorwert und einen Radgeschwindigkeit-Sensorwert), welche erforderlich sind, um eine Bewegungsrichtung zu berechnen, berechnet werden. Obwohl der extrahierte rechtwinklige Bereich mit Bezug auf 6 beschrieben worden ist, ist dies nur ein Beispiel. Mit anderen Worten, ein Bereich, welcher jegliche Form besitzt, in welcher ein diskontinuierlicher Bereich nicht auftritt, wenn extrahierte Bereiche verbunden werden, wie zum Beispiel eine trapezförmige Form, oder Ähnliches, kann extrahiert werden. Zusätzlich kann, obwohl nur ein Verfahren des Extrahierens eines rechten Bereiches, basierend auf der Bewegungsrichtung des Fahrzeugs, mit Bezug auf 6 beschrieben worden ist, ein Verfahren des Extrahierens eines linken Bereiches in ähnlicher Weise angewendet werden.
Außerdem können die extrahierten Bereiche der Differenz-Zählungskarten kontinuierlich verbunden werden, wenn die Zeit verstreicht, um das Objekt-Erkennungsbild zu erzeugen (S240). Da das Erzeugen des Objekt-Erkennungsbildes in der Bewegungsrichtung des Fahrzeugs, basierend auf einem Schema des Extrahierens von Teilbereichen, in den Differenz-Zählungskarten geändert werden kann, werden jeweils Beispiele beschrieben. Als ein Beispiel kann der extrahierte Bereich eine vorher eingestellte Anzahl von Pixeln in der Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte beinhalten. Im Speziellen, da vorher eingestellte Bereiche extrahiert werden können, wenn die Differenz-Zählungskarten ohne den Bewegungsabstand des Fahrzeugs erstellt werden, wenn die extrahierten Bereiche verbunden werden, kann ein Fehler zwischen den verbundenen extrahierten Bereichen und einem aktuellen Bewegungsabstand des Fahrzeugs auftreten. Deshalb können, wenn die extrahierten Bereiche eine vorher eingestellte Anzahl von Pixeln beinhalten, die Bereiche verbunden werden, um dem Bewegungsabstand des Fahrzeugs in der Bewegungsrichtung des Fahrzeugs zu entsprechen. Dies wird im Detail mit Bezug auf 7 beschrieben.
7 ist eine beispielhafte Zeichnung, welche einen Prozess des Erzeugens eines Objekt-Erkennungsbildes, entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung, beschreibt. Mit Bezug auf 7 können die extrahierten Bereiche verbunden werden, wenn die Zeit verstreicht, von einem Anfangspunkt zur Zeit t bis zu einem aktuellen Punkt zur Zeit t + 2, um das Objekt-Erkennungsbild zu erzeugen. Im Einzelnen, obwohl die Abmessungen der extrahierten Bereiche zu jedem Zeitpunkt ungefähr die gleichen sind, kann ein neuer extrahierter Bereiche an die vorher extrahierten Bereiche angeschlossen werden, um dem Bewegungsabstand des Fahrzeugs in der Bewegungsrichtung des Fahrzeugs zu entsprechen, wenn der neue extrahierte Bereich an die vorher extrahierten Bereiche angeschlossen ist, um überlappte Bereiche zu erzeugen.
Ein finaler Pixelwert kann durch verschiedene Verfahren bestimmt werden, wie zum Beispiel das Verfahren des Gebens einer Priorität für einen neuen extrahierten Bereich, ein Verfahren des Selektierens eines Zwischenwertes von Pixelwerten jedes extrahierten Bereiches, ein Verfahren des Selektierens irgendeines Pixelwertes basierend auf den Wichtungsfaktoren, welche jedem Pixel zugeführt sind, ein Verfahren des Bestimmens eines Pixelwertes durch Einstellen eines Beitrags basierend auf Wichtungsfaktoren, welche jedem Pixel zugeführt sind, und Ähnliches, mit Bezug auf den überlappten Bereich. Wenn die Zuteilung bzw. der Beitrag basierend auf den Wichtungsfaktoren, welche jedem Pixel übertragen bzw. zugeteilt sind, eingestellt wird, kann ein finaler Pixelwert durch die folgende Gleichung 2 bestimmt werden. Die folgende Gleichung 2 ist eine Gleichung, um einen finalen Pixelwert zu bestimmen, wenn n extrahierte Bereiche überlappt sind, mit Bezug auf ein Pixel, welches in dem Objekt-Erkennungsbild zu zeigen ist. Gleichung 2
wobei p_f ein finaler Pixelwert ist, _Pi ein Pixelwert eines ersten extrahierten Bereiches ist, p₂ ein Pixelwert eines zweiten extrahierten Bereiches ist, p_n ein Pixelwert eines n-ten extrahierten Bereiches ist, w₁ ein Wichtungsfaktor ist, welcher einem Pixel des ersten extrahierten Bereiches zugeführt ist, w₂ ein Wichtungsfaktor ist, welcher einem Pixel des zweiten extrahierten Bereiches zugeführt ist, und w_n ein Wichtungsfaktor ist, welcher einem Pixel des n-ten extrahierten Bereiches zugeführt ist.
Darüber hinaus werden Wichtungsfaktoren, welche jedem Pixel zugeführt sind, mit Bezug auf 8 beschrieben. 8 ist eine beispielhafte Zeichnung, welche Wichtungsfaktoren beschreibt, welche jedem Pixel der Differenz-Zählungskarte zugeführt sind. Mit Bezug auf 8 können unterschiedliche Wichtungsfaktoren zu jedem Pixel der Differenz-Zählungskarte zugeführt werden. Die Wichtungsfaktoren können durch die Verlässlichkeit der Pixelwerte jedes Pixels bestimmt werden. Wie oben beschrieben, wenn der Winkel von der Fotografierrichtung, basierend auf der Position (Markierung x) der bilderzeugenden Einrichtung, zunimmt, kann das fotografierte Objekt verzerrt sein. Deshalb kann, wenn der Winkel aus der Fotografierrichtung zunimmt, die Verlässlichkeit der Pixelwerte, welche in der Differenz-Zählungskarte beinhaltet sind, vermindert werden. Deshalb kann, wie in 8 dargestellt ist, ein im Wesentlichen hoher Wichtungsfaktor den Pixeln zugeführt sein, welche einen im Wesentlichen kleinen Winkel aus der Fotografierrichtung besitzen, basierend auf der Position der bilderzeugenden Einrichtung, und ein im Wesentlichen niedriger Wichtungsfaktor kann den Pixeln zugeführt sein, welche einen im Wesentlichen großen Winkel aus der Fotografierrichtung besitzen, basierend auf der Position der bilderzeugenden Einrichtung.
Als ein anderes Beispiel wird beschrieben, wenn die extrahierten Bereiche Pixel beinhalten, welche eine Anzahl besitzen, welche dem Bewegungsabstand des Fahrzeugs in der Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte entspricht. Wenn die extrahierten Bereiche dem Bewegungsabstand des Fahrzeugs entsprechen, können die extrahierten Bereiche in der Bewegungsrichtung des Fahrzeugs verbunden werden, ohne überlappte Bereiche, wann immer die Differenz-Zählungskarten erstellt werden, um das Objekt-Erkennungsbild zu erzeugen. Im Einzelnen kann das Objekt-Erkennungsbild erzeugt werden, da der Bewegungsabstand des Fahrzeugs bereits betrachtet worden ist, wenn die Teilbereiche in den Differenz-Wertkarten extrahiert werden.
Entsprechend zu den Beispielen, wie oben beschrieben, wenn sich das Fahrzeug bewegt, kann eine neue Differenz-Zählungskarte erstellt werden, und wenn die Differenz-Zählungskarte erstellt wird, kann ein neuer extrahierter Bereich aktualisiert werden, so dass damit Information bezüglich des Objektes rund um das Fahrzeug, welches sich geändert hat, basierend auf der Bewegung des Fahrzeugs reflektiert werden kann. zusätzlich kann, obwohl nicht in 2 dargestellt, in dem Bildverarbeitungsverfahren eines AVM-Systems, entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung, das Objekt rund um das Fahrzeug erkannt werden, wobei das Objekt-Erkennungsbild benutzt wird, und das erkannte Objekt kann beinhaltet sein und in dem Draufsichtbild angezeigt werden. Dies wird mit Bezug auf 9 beschrieben.
9A bis 9C sind beispielhafte Zeichnungen, welche einen Prozess des Erkennens und Anzeigens eines Objektes rund um ein Fahrzeug entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung anzeigen. 9A stellt ein allgemeines Draufsichtbild dar. Mit Bezug auf 9A können Formen des dreidimensionalen Objektes rund um das Fahrzeug verzerrt sein, so dass genaue Formen und Positionen nicht erkannt werden können. Zusätzlich stellt 9B ein beispielhaftes Objekt-Erkennungsbild dar, welches durch das Bearbeiten eines Draufsichtbildes entsprechend der beispielhaften Ausführungsform der vorliegenden Erfindung erzeugt ist. Mit Bezug auf 9B kann Information bezüglich dreidimensionaler Objekte rund um das Fahrzeug in dem Objekt-Erkennungsbild beinhaltet sein. Deshalb können genauere Positionen, Abstände und Formen der dreidimensionalen Objekte rund um das Fahrzeug erkannt werden, wobei das Objekt-Erkennungsbild benutzt wird. Zusätzlich können die Formen der dreidimensionalen Objekte, welche in dem Objekt-Erkennungsbild gezeigt werden, mit vorher gespeicherten Mustern und virtuellen Bildern verglichen werden, und virtuelle Bilder, welche den Formen entsprechen, können in dem Draufsichtbild gezeigt werden, wenn die Muster, welche den Formen entsprechen, vorhanden sind. 9C stellt dar, wenn die dreidimensionalen Objekte rund um das Fahrzeug als Fahrzeuge bestimmt sind, um virtuelle Bilder von Fahrzeugumrissen an entsprechenden Positionen anzuordnen. Wenn 9C mit 9A verglichen wird, können Positionen, Abstände und Umrisse der dreidimensionalen Objekte rund um das Fahrzeug genauer erkannt werden.
Darüber hinaus kann das Bildverarbeitungsverfahren eines AVM-Systems entsprechend zu verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung durch Programme implementiert werden, welche in einem Datenendgerät ausgeführt werden. Zusätzlich können diese Programme gespeichert werden und in verschiedenen Arten von Aufzeichnungsmedien benutzt werden.
Spezieller ausgedrückt, Codes können für das Durchführen der oben erwähnten Verfahren in verschiedenen Arten von nichtflüchtigen Aufzeichnungsmedien, wie z. B. einem Flash-Speicher, einem Nur-Lese-Speicher (ROM), einem löschbaren programmierbaren ROM (EPROM), einem elektronischen löschbaren und programmierbaren ROM (EEPROM), einer Festplatte, einer entfernbaren Disk, einer Speicherkarten, einem universellen Serienbus-(USB-)Speicher, einer Compact-Disk-(CD-)ROM und Ähnlichem gespeichert werden. Entsprechend zu verschiedenen beispielhaften Ausführungsformen der vorliegenden Erfindung, wie oben beschrieben, kann das AVM-System Positionen und Formen der Objekte, welche rund um das Fahrzeug positioniert sind, genauer erkennen und eine genauere Information bezüglich der Objekte rund um das Fahrzeug einem Fahrer bereitstellen.
Obwohl die beispielhaften Ausführungsformen der vorliegenden Erfindung für erläuternde Zwecke offenbart worden sind, werden Fachleute würdigen, dass verschiedene Modifikationen, Hinzufügungen und Substitutionen möglich sind, ohne vom Umfang und Geist der Erfindung abzuweichen, wie sie in den beigefügten Ansprüchen offenbart sind. Entsprechend ist davon auszugehen, dass derartige Modifikationen, Hinzufügungen und Substitutionen auch in den Umfang der vorliegenden Erfindung fallen.
Bezugszeichenliste

110: FOTOGRAFIEREINHEIT
120: KOMMUNIKATIONSEINHEIT
130: ANZEIGEEINHEIT
140: STEUEREINHEIT
S210: ERZEUGE DRAUFSICHTBILD
S220: VERGLEICHE ZWEI DRAUFSICHTBILDER MITEINANDER, UM EINE DIFFERENZ-ZÄHLUNGSKARTE ZU ERSTELLEN
S230: EXTRAHIERE PARTIELLE BEREICHE IN DER DIFFERENZ-ZÄHLUNGSKARTE
S240: VERBINDE EXTRAHIERTE BEREICHE MITEINANDER, UM EIN OBJEKT-ERKENNUNGSBILD ZU ERZEUGEN

Claims

Bildverarbeitungsverfahren eines Rundumsicht-Überwachungs-(AVM-)Systems, welches aufweist: Fotografieren, durch ein Steuerglied, einer Umgebung rund um ein Fahrzeug, um ein Draufsichtbild zu erzeugen; Erstellen, durch das Steuerglied, einer Differenz-Count-Map bzw. Differenz-Zählungskarte durch das Vergleichen von zwei Draufsichtbildern, welche bei unterschiedlichen Zeitintervallen fotografiert sind; Extrahieren, durch das Steuerglied, partieller Bereiche in der erzeugten Differenz-Zählungskarte; und Erzeugen, durch das Steuerglied, eines Objekt-Erkennungsbildes durch kontinuierliches Verbinden der extrahierten Bereiche der Differenz-Zählungskarte.
Bildverarbeitungsverfahren nach Anspruch 1, welches ferner aufweist: Erkennen, durch das Steuerglied, eines Objektes rund um das Fahrzeug, wobei das Objekt-Erkennungsbild benutzt wird; und Einbeziehen, durch das Steuerglied, des erkannten Objektes in dem Draufsichtbild und Anzeigen des Draufsichtbildes, welches das erkannte Objekt beinhaltet.
Bildverarbeitungsverfahren nach Anspruch 1, wobei das Erstellen der Differenz-Zählungskarte beinhaltet: Korrigieren, durch das Steuerglied, einer relativen Positionsänderung eines Objektes rund um das Fahrzeug, welche in den zwei Draufsichtbildern beinhaltet ist, basierend auf der Bewegung des Fahrzeugs; und Vergleichen, durch das Steuerglied, der zwei Draufsichtbilder, in welchen die Positionsänderung korrigiert ist, um Differenzwerte für jedes Pixel zu berechnen.
Bildverarbeitungsverfahren nach Anspruch 1, wobei der extrahierte Bereich Pixel beinhaltet, welche eine Anzahl besitzen, welche einem Bewegungsabstand des Fahrzeugs in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte entsprechen.
Bildverarbeitungsverfahren nach Anspruch 1, wobei der extrahierte Bereich eine vorher eingestellte Anzahl von Pixeln in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte beinhaltet.
Bildverarbeitungsverfahren nach Anspruch 5, wobei beim Erzeugen des Objekt-Erkennungsbildes die extrahierten Bereiche der Differenz-Zählungskarte verbunden sind, um in Proportion zu dem Bewegungsabstand des Fahrzeugs zu sein, und ein finaler Wert bestimmt wird, basierend auf den Wichtungsfaktoren, welche jedem Pixel verliehen sind, bezüglich eines überlappten Pixelbereiches.
Bildverarbeitungsverfahren nach Anspruch 5, wobei als ein Winkel von einer Fotografierrichtung einer bilderzeugenden Einrichtung basierend auf einer Position der bilderzeugenden Einrichtung in der Differenz-Zählungskarte zunimmt, während die Wichtungsfaktoren jedes Pixels abnehmen.
Bildverarbeitungsverfahren nach Anspruch 1, wobei das Steuerglied konfiguriert ist, eine bilderzeugende Einrichtung zu betreiben, um die Umgebung rund um das Fahrzeug zu fotografieren.
Bildverarbeitungssystem eines Rundumsicht-Überwachungs-(AVM-)Systems, welches aufweist: einen Speicher, welcher konfiguriert ist, Programminstruktionen zu speichern; und einen Prozessor, welcher konfiguriert ist, die Programminstruktionen auszuführen, wobei die Programminstruktionen, wenn sie ausgeführt werden, konfiguriert sind, um: eine Umgebung rund um ein Fahrzeug zu fotografieren, um ein Draufsichtbild zu erzeugen; eine Differenz-Zählungskarte, durch das Vergleichen von zwei Draufsichtbildern zu erstellen, welche bei unterschiedlichen Zeitintervallen fotografiert sind; partielle Bereiche in der erstellten Differenz-Zählungskarte zu extrahieren; und ein Objekt-Erkennungsbild durch das kontinuierliche Verbinden der extrahierten Bereiche der Differenz-Zählungskarte zu erzeugen.
System nach Anspruch 9, wobei die Programminstruktionen, wenn sie ausgeführt werden, ferner konfiguriert sind, um: ein Objekt rund um das Fahrzeug zu erkennen, wobei das Objekt-Erkennungsbild benutzt wird; und das erkannte Objekt in dem Draufsichtbild einzubeziehen, und Anzeigen des Draufsichtbildes, welches das erkannte Objekt beinhaltet.
System nach Anspruch 9, wobei die Programminstruktionen, wenn sie ausgeführt werden, ferner konfiguriert sind, um: eine relative Positionsänderung eines Objektes rund um das Fahrzeug zu korrigieren, welche in den zwei Draufsichtbildern beinhaltet ist, basierend auf der Bewegung des Fahrzeugs; und die zwei Draufsichtbilder zu vergleichen, in welchen die Positionsänderung korrigiert ist, um Differenzwerte für jedes Pixel zu berechnen.
System nach Anspruch 9, wobei der extrahierte Bereich Pixel beinhaltet, welche eine Anzahl besitzen, welche einem Bewegungsabstand des Fahrzeugs in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte entsprechen.
System nach Anspruch 9, wobei der extrahierte Bereich eine vorher eingestellte Anzahl von Pixeln in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte beinhaltet.
Nicht-transitorisches, von einem Computer lesbares Medium, welches Programminstruktionen enthält, welche durch ein Steuerglied ausgeführt werden, wobei das vom Computer lesbare Medium aufweist: Programminstruktionen, welche eine bilderzeugende Einrichtung steuern, um eine Umgebung rund um ein Fahrzeug zu fotografieren, um ein Draufsichtbild zu erzeugen; Programminstruktionen, welche eine Differenz-Zählungskarte erstellen, durch Vergleichen von zwei Draufsichtbildern, welche bei unterschiedlichen Zeitintervallen fotografiert sind; Programminstruktionen, welche partielle Bereiche in der erstellten Differenz-Zählungskarte extrahieren; und Programminstruktionen, welche ein Objekt-Erkennungsbild durch kontinuierliches Verbinden der extrahierten Bereiche der Differenz-Zählungskarte erzeugen.
Nicht-transitorisches, von einem Computer lesbares Medium nach Anspruch 14, welches ferner aufweist: Programminstruktionen, welche ein Objekt rund um das Fahrzeug erkennen, wobei das Objekt-Erkennungsbild benutzt wird; und Programminstruktionen, welche das erkannte Objekt in dem Draufsichtbild beinhalten, und das Anzeigen des Draufsichtbildes, welches das bekannte Objekt beinhaltet.
Nicht-transitorisches, von einem Computer lesbares Medium nach Anspruch 14, welches ferner aufweist: Programminstruktionen, welche eine relative Positionsänderung eines Objektes rund um das Fahrzeug korrigieren, welche in den zwei Draufsichtbildern beinhaltet sind, basierend auf der Bewegung des Fahrzeugs; und Programminstruktionen, welche die zwei Draufsichtbilder vergleichen, in welchen die Positionsänderung korrigiert ist, um Differenzwerte für jedes Pixel zu berechnen.
Nicht-transitorisches, von einem Computer lesbares Medium nach Anspruch 14, wobei der extrahierte Bereiche Pixel beinhaltet, welche eine Anzahl besitzen, welche einem Bewegungsabstand des Fahrzeugs in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte entsprechen.
Nicht-transitorisches, von einem Computer lesbares Medium nach Anspruch 14, wobei der extrahierte Bereich eine vorher eingestellte Anzahl von Pixeln in einer Bewegungsrichtung des Fahrzeugs in der Differenz-Zählungskarte beinhaltet.