-
Die Erfindung betrifft ein Verfahren zum Bestimmen von zumindest einem charakteristischen Bildpunkt mittels einer Auswerteeinheit eines Kraftfahrzeugs. Es wird zumindest ein Bild von einem Umgebungsbereich des Kraftfahrzeugs mittels einer Sensoreinrichtung des Kraftfahrzeugs bereitgestellt. Zudem wird ein Teilbereich des Bildes ausgewählt, wobei der Teilbereich eine vorbestimmte Anzahl an Bildpunkten umfasst. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
-
Verfahren zum Bestimmen von charakteristischen Bildpunkten sind aus dem Stand der Technik bekannt. Zum Bestimmen von charakteristischen Bildpunkten können Interest-Operatoren verwendet werden. Hierzu beschreibt die
US 2013/0089261 A1 das Bestimmen von charakteristischen Bildpunkten mit einem FAST-Operator (Features from Accelerated Segment Test) als Interest-Operator, wobei Entscheidungsbäume verwendet werden. Hierbei soll eine bestimme Anzahl von Ecken in einem digitalen Bild gefunden werden. Der FAST-Operator ist veröffentlicht in:
Rosten, Edward; Porter, R.; Drummond, Tom, "Faster and Better: A Machine Learning Approach to Corner Detection" Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 32, no. 1, pp. 105–119, 2010.
-
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem der zumindest eine charakteristische Bildpunkt mit geringerem Rechenaufwand bestimmt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Bei einem erfindungsgemäßen Verfahren wird zumindest ein charakteristischer Bildpunkt mittels einer Auswerteeinheit eines Kraftfahrzeugs bestimmt. Es wird zumindest ein Bild von einem Umgebungsbereich des Kraftfahrzeugs mittels einer Sensoreinrichtung des Kraftfahrzeugs bereitgestellt, und es wird ein Teilbereich des Bildes ausgewählt, wobei der Teilbereich eine vorbestimmte Anzahl an Bildpunkten umfasst. Weiterhin wird eine räumliche Anordnung der Bildpunkte in dem ausgewählten Teilbereich bestimmt, und die bestimmten Bildpunkte der räumlichen Anordnung werden mit einer Mehrzahl von Referenzanordnungen, die in einer Lookup-Tabelle hinterlegt sind, verglichen, wobei die Mehrzahl von Referenzanordnungen mögliche Ergebnisse einer Anwendungen eines Interest-Operators auf vorbestimmte Teilbereiche mit der vorbestimmten Anzahl von Bildpunkten darstellt und wobei jeder der Referenzanordnungen eine Wertung zugeordnet ist, welche eine Eindeutigkeit eines charakteristischen Bildpunktes beschreibt. Es wird der charakteristische Bildpunkt für den ausgewählten Teilbereich anhand der Wertung der Referenzanordnungen bestimmt, welche mit der Anordnung der Bildpunkte des Teilbereichs übereinstimmt.
-
Durch das erfindungsgemäße Verfahren wird es also möglich, den charakteristischen Bildpunkt mit geringem Rechenaufwand anhand der Lookup-Tabelle zu bestimmen. Die Lookup-Tabelle beziehungsweise Umsetzungstabelle wird in der Informatik und in der Digitaltechnik genutzt, um Informationen statisch zu definieren und diese zur Vermeidung von aufwendigen Berechnungen zur Laufzeit eines Programms zu nutzen. Die Lookup-Tabelle kann also beispielsweise alle möglichen Ergebnisse des Interest-Operators für den ausgewählten Teilbereich beinhalten. Es muss also nicht mehr die Funktion des Interest-Operators zur Laufzeit auf den Teilbereich angewandt werden, sondern die räumliche Anordnung der Bildpunkte in dem ausgewählten Teilbereich kann mit einer Mehrzahl von Referenzanordnungen verglichen werden. Anhand der Wertung der Referenzanordnung, welche mit der Anordnung der Bildpunkte des ausgewählten Teilbereichs übereinstimmt, kann ein charakteristischer Bildpunkt bestimmt werden. Die räumliche Anordnung der Bildpunkte kann ein Vektor sein, welcher beispielsweise die aneinander gefügten Zeilen des Teilbereichs umfasst.
-
Vorteilhaft ist nun, dass nur noch der Vergleich durchgeführt wird und nicht mehr der Interest-Operator auf den Teilbereich angewandt wird. Besonders effektiv ist die Lookup-Tabelle im Fall von SIMD-Rechnern (Single Instruction, Multiple Data), welche auch als Array-Prozessoren oder Vektor-Prozessoren bekannt sind. Diese dienen der schnellen Ausführung gleichartiger Rechenoperationen auf mehreren gleichzeitig eintreffenden oder zur Verfügung stehenden Eingangsdatenströmen und werden vorwiegend in der Verarbeitung von Videodaten eingesetzt. So kann also beispielsweise die räumliche Anordnung der Bildpunkte in Form eines Vektors mit der Referenzanordnung, welche auch in Form eines Vektors vorliegen kann, verglichen werden. Das Übereinstimmen kann beispielsweise dann gegeben sein, falls alle einzelnen Elemente des Vektors beziehungsweise der Anordnung im Wesentlichen identisch sind.
-
Insbesondere ist vorgesehen, dass beim Anwenden des Interest-Operators auf den ausgewählten Teilbereich ein Bildpunkt ausgewählt wird und ermittelt wird, ob eine vorbestimmte Anzahl von Bildpunkten einen zusammenhängenden Bereich in einer Umgebung des ausgewählten Bildpunktes bilden, indem die Bildpunkte einen zu dem ausgewählten Bildpunkt unterschiedlichen Intensitätswert aufweisen. Vorteilhaft an diesem Vorgehen ist, dass sich somit besonders einfach ein charakteristischer Bildpunkt beziehungsweise ein möglichst eindeutiger Bildpunkt bestimmen lässt. So kann davon ausgegangen werden, dass, wenn sich die Bildpunkte in der Umgebung des ausgewählten Bildpunktes zusammenhängend, also ohne Unterbrechung, von dem ausgewählten Bildpunkt unterscheiden, eine Kante oder vielmehr eine Ecke in dem Teilbereich des Bildes vorliegt. Diese Vorgehensweise kann beispielsweise einer Berechnung wie bei einem FAST-Operator als Interest-Operator entsprechen. Dann wäre der ausgewählte Teilbereich ein Kreis, welcher in einem vorbestimmten Abstand um den ausgewählten Bildpunkt herum angeordnet ist. Entscheidend ist jedoch, dass die vorbestimmte Anzahl von Bildpunkten zusammenhängend auftritt und einen zu dem ausgewählten Bildpunkt unterschiedlichen Intensitätswert aufweist.
-
Vorzugsweise ist vorgesehen, dass als der Interest-Operator ein FAST-Operator angewendet wird. Dem FAST-Operator liegt folgendes Funktionsprinzip zugrunde: Es wird ein zentraler Bildpunkt in dem Teilbereich ausgewählt und um den ausgewählten zentralen Bildpunkt herum wird ein gedachter Kreis gezogen. Der Kreis kann beispielsweise mit dem Bresenham-Algorithmus bestimmt werden. Der Bresenham-Algorithmus ist ein Algorithmus in der Computergraphik zum Zeichnen von Geraden oder Kreisen auf einer Rasteranzeige. Bei dem Anwenden des FAST-Operators wird nun untersucht, wie viele zusammenhängende Bildpunkte auf dem Kreis liegen, die entweder eine höhere Intensität oder eine niedrigere Intensität als der ausgewählte zentrale Bildpunkt aufweisen. Die höhere Intensität kann also bedeuten, dass um den ausgewählten zentralen Bildpunkt herum ein hellerer Bereich des Teilbereichs des Bildes angeordnet ist, während bei einer niedrigeren Intensität der Bildpunkte auf dem Kreis als der ausgewählte zentrale Bildpunkt von einem dunkleren Bereich teilweise um den ausgewählten zentralen Bildpunkt herum umgeben ist. Je nachdem, wie viele zusammenhängende Bildpunkte auf dem Kreis angeordnet sind, desto stärker ist die Eindeutigkeit des Bildpunktes beziehungsweise desto herausragender ist der charakteristische Bildpunkt. Sind also beispielsweise 270° des Kreises mit Bildpunkten belegt, welche zusammenhängend eine unterschiedliche Intensität beziehungsweise einen unterschiedlichen Intensitätswert verglichen mit dem ausgewählten zentralen Bildpunkt aufweisen, so kann von einer Ecke ausgegangen werden. Die Ecke tritt dann auf, wenn sich Kanten überschneiden beziehungsweise treffen. Die Erweiterung des FAST-Operator zum Interest-Operator kann fortgeschrittenere, der Wirklichkeit entsprechende Objektstrukturen wie Blobs, Kurven, stabile Punkte und einzigartige Objektmerkmale beschreiben. Die automatische Umrüstung eines Interest-Operators zu einem Satz Lookup-Tabellen von FAST-Operator-artigen Operatoren bietet Laufzeiteffizienz beim Auffinden stabiler Interest-Punkte.
-
Der Kreis weist typischerweise einen Radius von 3 Bildpunkten auf. Weiterhin ist üblicherweise vorgesehen, dass der Unterschied zwischen den Intensitätswerten der Bildpunkte auf dem Kreis und dem Intensitätswert des ausgewählten zentralen Bildpunktes größer als ein vorbestimmter Grenzwert ist. Als vorbestimmter Grenzwert kann beispielsweise der Wert 30 für ein 8-Bit-Bild verwendet werden. Das bedeutet, der Grenzwert beträgt vorzugsweise 10 oder insbesondere 15 Prozent des Wertebereichs des Bildes. Das 8-Bit-Bild weist einen ganzzahligen Wertebereich von 0 bis 255 auf und somit 256 Werte, also 2 hoch 8 Werte. Der Grenzwert kann bei einem Bild mit einem anderen Wertebereich jedoch dementsprechend angepasst werden. Ebenfalls kann der Grenzwert angepasst werden, falls ein stärker herausragender charakteristischer Bildpunkt oder ein weniger stark herausragender charakteristischer Bildpunkt gewünscht ist. Der Grenzwert kann durch Bildqualitäts-Lookup-Tabellen der Kamera erstellt sein, die Informationen zur Kamera enthalten.
-
Weiterhin ist vorgesehen, dass bei der Anwendung des Interest-Operators auf den ausgewählten Teilbereich zusätzlich ein Entscheidungsbaum berücksichtigt wird, der anhand von Trainingsdaten anhand von vorbestimmten Teilbereichen bestimmt wird. So kann es beispielsweise vorgesehen sein, dass der Interest-Operator auf die Trainingsdaten, welche vorbestimmte Teilbereiche sind, die unterschiedlich zu dem ausgewählten Teilbereich sind, angewendet wird, um nach einer Mehrzahl von Anwendungen einen Entscheidungsbaum des Interest-Operators bereitzustellen. Der Entscheidungsbaum ist ein geordneter, gerichteter Baum, der zur Darstellung von Entscheidungsregeln dient. Er veranschaulicht hierarchisch, aufeinanderfolgende Entscheidungen. Weiterhin hat der Entscheidungsbaum eine Bedeutung in zahlreichen Bereichen, in denen automatisch klassifiziert wird oder aus Erfahrungswissen formale Regeln hergeleitet oder dargestellt werden. Vorliegend werden aus dem Erfahrungswissen, nämlich den Trainingsdaten, die formalen Regeln des Interest-Operators hergeleitet. Als die Trainingsdaten können also beispielsweise so viele vorbestimmte Teilbereiche herangezogen werden, bis eine ausreichende Menge an Ergebnissen des Interest-Operators vorliegen. Als der Interest-Operator kann beispielsweise ein Harris-Operator und/oder ein MSER-Operator und/oder ein SUSAN-Operator und/oder ein Plessey-Operator und/oder ein Förstner-Operator und/oder ein Moravec-Operator und/oder ein Trajkovic und Hedley Operator auf den Teilbereich angewandt werden.
-
Insbesondere ist vorgesehen, dass die Lookup-Tabelle anhand des Entscheidungsbaums des Interest-Operators automatisch erzeugt wird. So können beispielsweise sämtliche Äste beziehungsweise Möglichkeiten des Entscheidungsbaums in die Lookup-Tabelle übertragen werden. Es kann nun beispielsweise ein charakteristischer Bildpunkt, welcher mit einem Interest-Operator, welcher unterschiedlich zu dem FAST-Operator ist, also beispielsweise der Harris-Operator und/oder der MSER-Operator und/oder der SUSAN-Operator und/oder der Plessey-Operator und/oder der Förstner-Operator und/oder der Moravec-Operator und/oder der Trajkovic und Hedley Operator, bestimmt worden ist, durch eine Lookup-Tabelle auf Basis des FAST-Operators approximiert werden. So können die in den Trainingsdaten bestimmten charakteristischen Bildpunkte, welche mit den von dem FAST-Operator unterschiedlichen Operatoren bestimmt wurden, so überführt werden, dass diese mittels der Lookup-Tabelle, welche die charakteristischen Bildpunkte mit der Methode des FAST-Operators beschreibt, annähernd ähnlich bestimmt werden, also approximiert werden. Das Ziel ist also, die Wertung der Referenzanordnung in der Lookup-Tabelle, welche auf dem FAST-Operator basiert, entsprechend dem Entscheidungsbaum der anderen, von dem FAST-Operator unterschiedlichen, Interest-Operatoren anzupassen. Darüberhinaus kann der Entscheidungsbaum als eine Annäherung eines komplexen Interest-Operators konstruiert sein. Damit wird eine Interest-Operator Annäherung durch einen Satz der Lookup-Tabellen, die das Ergebnis eines Trainingsprozesses auf Basis der Trainingsdaten sind, bereitgestellt. Dies kann beispielsweise ein ähnlicher Trainingsprozess sein wie bei Auswahl und Training von FAST-Merkmalen in einer Kaskade.
-
Vorzugsweise ist vorgesehen, dass der Entscheidungsbaum eine Kernfunktion aufweist, die an die Anwendung eines nicht-linearen Interest-Operators angepasst ist. Durch die Kernfunktion kann die Operation der Bestimmung eines charakteristischen Pixels oder eines Interest-Punktes nicht-linear sein und eine solche nicht-lineare Operation kann effizient durch eine Lookup-Tabelle beschrieben werden. Die Kernfunktion umfasst Kernfunktionsknoten und bietet eine präzisere Bestimmung von dem charakteristischen Bildpunkt.
-
Des Weiteren ist vorgesehen, dass mehrere der Lookup-Tabellen verwendet werden, um die Kernfunktion zu beschreiben. Für eine fortgeschrittenere Bestimmung der Interest-Punkte oder der charakteristischen Bildpunkte kann die Lookup-Tabelle für die Kernfunktion so konstruiert sein, dass sie Wiederholbarkeit der Nachbarschaft und Robustheit der Interest-Punkte oder charakteristischen Bildpunkte effizienter beschreibt als Ecken. In diesem Szenario kann eine Lookup-Tabelle einen Index oder einen Verweis auf eine andere Lookup-Table der Kernfunktion haben.
-
Im Vergleich zum Stand der Technik ist die automatische Erstellung von Lookup-Tabellen und die Fähigkeit fortgeschrittenere Interest-Operators zum Beschreiben der Pixel oder des Bildbereichs zu benutzen von Vorteil. Die Benutzung von Lookup-Tabellen statt des Entscheidungsbaums bietet Laufzeiteffizienz. Die Verwendung mehrerer Lookup-Tabellen für die Kernfunktion und die Zerlegung von Lookup-Tabellen in Lookup-Tabellen mit niedrigeren Dimensionen bietet mehr Laufzeiteffizienz. Die Lookup-Tabellen können eine vorteilhafte Hardware-Beschleunigungstechnik beispielsweise für eine Embedded Vision/Vector Engine (EVE) Prozessor-Architektur. Die Embedded Vision/Vector Engine ist bekannt als spezialisierter voll programmierbarer Prozessor zum Beschleunigen von Computervisionalgorithmen.
-
Weiterhin ist vorgesehen, dass zumindest zwei Lookup-Tabellen mit jeweiligen Referenzanordnungen hinterlegt werden und bestimmte räumliche Anordnungen der Bildpunkte mit den Referenzanordnungen der zumindest zwei Lookup-Tabellen verglichen werden. Dies ist beispielsweise vorteilhaft, wenn die Lookup-Tabelle eine hohe Dimension aufweist. Dann kann die Lookup-Tabelle mit der hohen Dimension beispielsweise in Lookup-Tabellen mit niedrigerer Dimension verlegt werden. Somit können die Lookup-Tabellen mit niedrigerer Dimension die Lookup-Tabelle mit der hohen Dimension zumindest annähernd beschreiben. Dieses Vorgehen kann zu einer weiteren Beschleunigung der Bestimmung der charakteristischen Bildpunkte führen.
-
Weiterhin ist vorgesehen, dass eine erste Lookup-Tabelle erzeugt wird, falls einen zentralen Bildpunkt umgebende Bildpunkte einen geringeren Intensitätswert aufweisen als der zentrale Bildpunkt, und eine zweite Lookup-Tabelle erzeugt wird, falls die umgebenden Bildpunkte einen höheren Intensitätswert der als der zentrale Bildpunkt aufweisen. Vorteilhaft daran ist, dass zwei Fälle berücksichtigt werden können. So kann es beispielsweise der Fall sein, dass der zentrale Bildpunkt dunkel ist, also einen geringen Intensitätswert aufweist und die Bildpunkte, welche den zentralen Bildpunkt umgeben, einen um einen vorbestimmten Grenzwert höheren Intensitätswert aufweisen als der zentrale Bildpunkt und somit der charakteristische Bildpunkt anhand der zweiten Lookup-Tabelle bestimmt werden kann. Andererseits kann es der Fall sein, dass der zentrale Bildpunkt einen höheren Intensitätswert als die ihn umgebenden Bildpunkte aufweist und somit die erste Lookup-Tabelle zum Bestimmen des charakteristischen Bildpunktes genutzt werden kann. Es können also allgemein gesagt mehrere Lookup-Tabellen verwendet werden, falls davon auszugehen ist, dass der charakteristische Bildpunkt in verschiedenen Ausprägungen vorliegt und diese nicht mit einer Lookup-Tabelle alleine bestimmt werden können.
-
Weiterhin ist vorgesehen, dass als der Interest-Operator ein Eckendetektor auf den Teilbereich angewandt wird. Es kann also vorgesehen sein, dass der Interest-Operator dazu ausgelegt ist, eine Ecke in dem Teilbereich zu bestimmen. Die Ecke eignet sich besonders gut als der charakteristische Punkt, weil sie selten in dem Bild vorkommt und somit die gewünschte Eindeutigkeit des charakteristischen Bildpunktes mit sich bringt. Die Ecke kann dort in dem Bild sein, wo sich zwei Kanten des Bildes treffen. Eine Kante ist ein Übergang von einem hohen Intensitätswert auf einen niedrigen Intensitätswert oder anders herum, wobei der Übergang innerhalb eines bestimmten Bereiches und eines bestimmten Intensitätswertes aufgetreten sein sollte. So sind als Kanten meist steile Übergänge beziehungsweise plötzliche und/oder steile Übergänge der Intensitätswerte zu verstehen. Die Kante kann auch als hochfrequenter Bereich in dem Bild beschrieben werden. In fortgeschritteneren Szenarios können andere Interest-Punkte wie Blobs, Kurvenspitzen, Gegenstände oder einzigartige Merkmale verwendet werden. Zusätzliche Kernfunktions-Lookup-Tabellen können in Betracht gezogen werden.
-
Weiterhin ist vorgesehen, dass der ausgewählte Teilbereich eine Abmessung von 5 × 5 oder 7 × 7 oder 9 × 9 Bildpunkten aufweist. Diese Abmessung ist vorteilhaft, damit Ecken in dem Bild in einer Größe bestimmt werden können, welche besonders eindeutig sind. Dies hat weiterhin den Vorteil, dass die besonders eindeutigen Ecken in einer späteren Anwendung, bei welcher die Ecken beziehungsweise die charakteristischen Bildpunkte genutzt werden, sehr zuverlässig sind. So können besonders eindeutige Ecken besonders gut in einem anderen Bild der ähnlichen Szene wiedergefunden werden.
-
Weiterhin ist vorgesehen, dass die Lookup-Tabelle einen Speicherbereich von 2 hoch 16 Bytes aufweist. Dies ist vorteilhaft, weil dieser Speicherbereich eine Datenmenge darstellt, welche mit einer entsprechenden Recheneinrichtung, beispielsweise einem Prozessor, zügig verschoben und/oder durchlaufen werden kann.
-
Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst eine Sensoreinrichtung und eine Auswerteeinheit, wobei die Auswerteeinheit dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen.
-
In einer Ausführungsform ist vorgesehen, dass die Sensoreinrichtung eine Kamera und/oder einen LiDAR-Sensor umfasst. Somit können die charakteristischen Bildpunkte in einem Bild von der Kamera bestimmt werden und/oder in einem Bild beziehungsweise in einer Punktwolke von einem LiDAR-Sensor. Die charakteristischen Bildpunkte können somit auch in einer Punktwolke, welche beispielsweise eine 2,5-D-Information enthält, bestimmt werden.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems;
-
2 in schematischer Darstellung ein Bild, anhand welchem ein Interest-Operator, insbesondere ein FAST-Operator, beschrieben wird;
-
3 eine Lookup-Tabelle, welche eine Mehrzahl von Referenzanordnungen umfasst;
-
4 eine schematische Darstellung zum Bestimmen einer räumlichen Anordnung von Bildpunkten in einem ausgewählten Teilbereich des Bildes;
-
5 eine weitere schematische Darstellung zum Bestimmen der räumlichen Anordnung; und
-
6 eine weitere Lookup-Tabelle, wobei eine enthaltene Wertung als Funktion beschrieben wird.
-
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel eine Sensoreinrichtung 3 und eine Auswerteeinheit 4. Gemäß dem Ausführungsbeispiel in 1 ist die Sensoreinrichtung 3 an einer Front 5 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Sensoreinrichtung 3 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 6 des Kraftfahrzeugs 1 erfasst werden kann.
-
Die Sensoreinrichtung 3 kann beispielsweise eine Kamera umfassen. Die Kamera kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche das Bild 7 – wie in 2 dargestellt – zur Verfügung stellt, in dem charakteristische Bildpunkte bestimmt werden können. Es können auch mehrere solcher Kameras eingesetzt werden. Die Kamera kann eine Videokamera sein, welche kontinuierlich eine Bildsequenz von Bildern 7 bereitstellt. Das Bild 7 ist ein Einzelbild. Die Auswerteeinheit 4 verarbeitet dann die Bildsequenz der Bilder 7 beispielsweise in Echtzeit.
-
Die Sensoreinrichtung 3 kann aber auch einen LiDAR-Sensor und/oder einen Laserscanner umfassen, welcher eine 3D- oder 2,5D-Punktwolke bereitstellt. Dem LiDAR-Sensor und dem Laserscanner liegt das gleiche Prinzip zugrunde, wobei mittels Aussenden eines Laserpulses und Empfangen dieses Laserpulses die Laufzeit von dem Aussendezeitpunkt zu dem Empfangszeitpunkt gemessen wird und dadurch eine Entfernung zu dem den Laserstrahl reflektierenden Objekt bestimmt werden kann. Somit kann anders als mit einem einzelnen Bild einer Kamera eine Tiefeninformation bereitgestellt werden. Das Bild 7 kann also auch eine Punktwolke sein.
-
2 zeigt das Bild 7, welches vorliegend nur ausschnittsweise dargestellt ist. In dem Bild 7 ist ein Teilbereich 8 ausgewählt, welcher eine vorbestimmte Anzahl an Bildpunkten 9 umfasst. In 2 ist weiterhin die Funktionsweise eines Interest-Operators nach dem Prinzip eines FAST-Operators beschrieben. So wird in dem Zentrum des Teilbereichs 8 ein zentraler Bildpunkt P ausgewählt. Des Weiteren wird ein gedachter Kreis 10 bereitgestellt, der den zentralen Bildpunkt P umgibt. Der Kreis 10 ist vorliegend ein Bresenham-Kreis, welcher nach dem Bresenham-Algorithmus bestimmt wird. Der Kreis 10 weist einen Radius R auf. In dem vorliegenden Beispiel entspricht der Radius R drei Bildpunkten 9. Der Radius R kann beliebig innerhalb des Teilbereichs 8 gewählt werden.
-
Um zu Überprüfen, ob der zentrale Bildpunkt P ein charakteristischer Bildpunkt 11 ist, wird zunächst ein Intensitätswert IP des zentralen Bildpunktes P bestimmt. Der Intensitätswert IP des zentralen Bildpunktes P soll sich mit einem vorbestimmten Intensitätsunterschied TH von einer vorbestimmten Anzahl N von Bildpunkten 9 in einem zusammenhängenden Bereich auf dem Kreis 10 unterscheiden. Mit anderen Worten ist es also vorgesehen, dass eine zusammenhängende Anzahl N von Bildpunkten 9 auf dem Kreis 10 einen mindestens um den Intensitätsunterschied TH verschiedenen Intensitätswert zu dem Intensitätswert IP des zentralen Bildpunktes P aufweisen. Der Intensitätsunterschied TH gilt für die Bildpunkte 9 auf dem Kreis 10 ausschließlich in eine Intensitätsrichtung, das heißt sie müssen alle größer sein als der Intensitätswert IP des zentralen Bildpunktes P oder sie müssen alle kleiner sein als der Intensitätswert IP des zentralen Bildpunktes P.
-
Gemäß dem Ausführungsbeispiel wird die Anzahl N mit neun Bildpunkten 9 typischerweise angegeben. Die Anzahl N kann aber auch einen anderen von neun abweichenden Wert aufweisen. Die Anzahl N gibt an, wie deutlich beziehungsweise wie eindeutig beziehungsweise wie herausragend der charakteristische Bildpunkt 11 ist. Je höher die Anzahl N, desto herausragender beziehungsweise eindeutiger kann der Bildpunkt 11 angenommen werden. Die Anzahl N gleich neun schließt beispielsweise ungefähr einen Teilkreis von 270° ein. Der Teilkrei s von 270° kann also beispielsweise eine Ecke beschreiben.
-
Es kann also vorgesehen sein, dass der Intensitätswert IP des zentralen Bildpunktes P um den Intensitätsunterschied TH geringer ist als die Anzahl N der zusammenhängenden Bildpunkte 9 auf dem Kreis 10, dann ist die Ecke beispielsweise hell, und die Umgebung um die Ecke herum ist beispielsweise dunkel. Oder es kann auch sein, dass der Intensitätswert IP des zentralen Bildpunktes P dunkler ist als der Intensitätswert der Anzahl N der Bildpunkte 9 auf dem Kreis 10 wodurch die Ecke dunkel ist und die Umgebung beziehungsweise der Hintergrund der Ecke hell ist, also einen hohen Intensitätswert aufweist. Der Kreis 10 hat mit dem Radius R gleich drei sechzehn Bildpunkte 9 auf dem Kreis 10 vorzuweisen.
-
Weiterhin ist es vorgesehen, dass die möglichen Ergebnisse beziehungsweise möglichen räumlichen Anordnungen der Bildpunkte 9 auf dem Kreis 10 in einer Lookup-Tabelle 12 hinterlegt werden. 3 zeigt ausschnittsweise die Lookup-Tabelle 12, welche anhand des Interest-Operators gemäß 2 erzeugt werden kann. Die Lookup-Tabelle 12 umfasst eine Mehrzahl von Referenzanordnungen 13, wobei jede der Referenzanordnungen 13 eine andere Kombination von der vorbestimmten Anzahl N der Bildpunkte 9 auf dem Kreis 10 darstellt. Eine Spaltennummer 14 der Lookup-Tabelle 12 bezieht sich auf eine Positionsnummer 15 der Bildpunkte 9 auf dem Kreis 10.
-
Jeder Referenzanordnung 13 in der Lookup-Tabelle 12 ist eine Wertung 16 zugeordnet. Die Wertung 16 gibt darüber Auskunft, ob die Referenzanordnung 13 als der charakteristische Bildpunkt 11 bezeichnet werden kann. Die Wertung 16 kann beispielsweise als Boolesche Variable ausgebildet sein und somit als Wert wahr (true) oder falsch (false) annehmen.
-
4 zeigt das Bestimmen der räumlichen Anordnung der Bildpunkte 9 beziehungsweise das Erstellen eines Vektors der charakteristischen Bildpunkte 11 auf dem Kreis 10, welche dann mit der Referenzanordnung 13 verglichen werden kann. Die räumliche Anordnung 17 wird also erzeugt, indem der Intensitätswert des jeweiligen Bildpunktes 9 auf dem Kreis 10 mit dem Intensitätswert IP des zentralen Bildpunkts P, von welchem der Intensitätsunterschied TH abgezogen wird, verglichen wird. So zeigt 4 den Fall, wenn der zentrale Bildpunkt P heller ist beziehungsweise der Intensitätswert IP des zentralen Bildpunktes P größer ist als die Bildpunkte 9 auf dem Kreis 10. Der Vektor 18 der räumlichen Anordnung 17 wird nun ebenfalls binär bestimmt. Hierzu wird untersucht, ob der Intensitätswert des jeweiligen Bildpunkts 9 auf dem Kreis 10 mit der Positionsnummer 15 sich mindestens um den Intensitätsunterschied TH von dem Intensitätswert des zentralen Bildpunktes P unterscheidet. Der Binärwert 1 steht für Erfüllen, der Binärwert 0 dagegen für Nichterfüllen. In dem Vektor 18 wird also für jeden der Bildpunkte 9 auf dem Kreis 10 ein Binärwert abgelegt. Der Vektor 18 hat also so viele Elemente wie Bildpunkte 9 auf dem Kreis liegen. Oberhalb des Vektors 18 in der Ebene von 4 befindet sich eine Reihe mit den Positionsnummern 15, welche den Bezug der Position der Bildpunkte 9 auf dem Kreis zu ihrer Position in dem Vektor 18 angeben. Es kann also nun der Vektor 18 mit der jeweiligen Referenzanordnung 13 in der Lookup-Tabelle 12 verglichen werden und bei Übereinstimmung des Vergleichs anhand der Wertung 16 der charakteristische Bildpunkt 11 in Form des zentralen Bildpunktes P bestimmt werden.
-
5 zeigt das Erzeugen des Vektors 18 für den Fall, dass der zentrale Bildpunkt P dunkler ist als der jeweilige Bildpunkt 9 auf dem Kreis 10. Der Intensitätsunterschied TH wird also zu dem Intensitätswert IP des zentralen Bildpunktes P hinzuaddiert, und damit der Bildpunkt 9 auf dem Kreis 10 mit dem Wert 1 in den Vektor 18 eingeht, muss dieser größer sein, andernfalls geht er mit dem Wert 0 in den Vektor 18 ein. Der Ablauf ist also analog zu 4 mit dem Unterschied, dass der Intensitätswert IP des zentralen Bildpunktes P niedriger ist als die Intensitätswerte der Bildpunkte 9 auf dem Kreis 10. Falls der jeweilige Bildpunkt 9 einen größeren Intensitätswert aufweist als IP + TH so wird der Binärwert auf eins gesetzt, andernfalls auf null. Dieser Vektor 18 kann dann ebenfalls mit der Lookup-Tabelle 12 verglichen werden.
-
Somit ist es vorzugsweise vorgesehen, dass zumindest zwei der Lookup-Tabellen 12 bereitgestellt werden, eine für den Fall, dass der zentrale Bildpunkt P heller ist als die Bildpunkte 9 auf dem Kreis 10 und eine andere Lookup-Tabelle 12 für den Fall, dass der zentrale Bildpunkt P dunkler ist als die Bildpunkte 9 auf dem Kreis 10. Der Vektor 18 wird dann dementsprechend mit der Lookup-Tabelle 12 für den dunklen Fall oder für den hellen Fall verglichen.
-
6 zeigt die Lookup-Tabelle 12, wobei die Wertung 16 als eine Funktion F1–F6 angegeben wird. Die Funktion F1–F6 ermöglicht also eine komplexere Antwort oder eine Antwort auf eine typische Kernfunktion auf die Frage, ob es sich bei der jeweiligen Referenzanordnung 13 um eine Ecke beziehungsweise einen charakteristischen Bildpunkt 11 handelt oder nicht. Die Funktion F1–F6 ermöglicht somit auch eine tiefergehende Fragestellung, ob es sich bei der Referenzanordnung 13 um ein gesuchtes Objekt, beispielsweise ein Gesicht, handelt oder nicht.
-
Zusammenfassend kann also gesagt werden, dass die räumliche Anordnung 17 der Bildpunkte 9 um den zentralen Bildpunkt P herum mit der Referenzanordnung 13 in der Lookup-Tabelle 12 verglichen wird, um anhand der daraus bestimmten Wertung festlegen zu können, ob es sich bei dem zentralen Bildpunkt P um einen charakteristischen Bildpunkt 11 beziehungsweise eine Ecke handelt oder nicht.
-
Dieser Vergleich der räumlichen Anordnung 17 mit der räumlichen Referenzanordnung 13 anhand der Lookup-Tabelle 12 läuft besonders effektiv ab, wenn die Auswerteeinheit 4 einen SIMD-fähigen Prozessor umfasst.
-
Ergänzend oder alternativ kann die so erzeugte Lookup-Tabelle 12 für jeden anderen Interest-Operator, also beispielsweise einen Harris-Operator und/oder einen MSER-Operator und/oder einen SUSAN-Operator und/oder einen Plessey-Operator und/oder einen Förstner-Operator und/oder einen Moravec-Operator und/oder einen Trajkovic und Hedley Operator verwendet werden. Hierzu werden die anderen Interest-Operatoren auf Trainingsdaten von beispielsweise anderen Bildern als dem Bild 7 angewandt und die jeweiligen Ergebnisse mittels der Lookup-Tabelle 12 approximiert. Dies kann beispielsweise so geschehen, dass der Lookup-Tabelle anhand der Ergebnisse aus den Trainingsdaten die dementsprechende Wertung 16 zugeordnet wird. So kommt beispielsweise ein bestimmter Interest-Operator zu einer anderen Wertung 16 für eine jeweilige Referenzanordnung 13 als ein wiederum anderer Interest-Operator.
-
Es können somit Entscheidungsbäume, welche aus den jeweiligen Interest-Operatoren resultieren, in Lookup-Tabellen 12 übersetzt werden beziehungsweise in Lookup-Tabellen 12 dargestellt werden. Die Lookup-Tabelle 12 approximiert also den jeweiligen Entscheidungsbaum und ermöglicht ein zügiges und/oder einem SIMD-Prozessor angepasstes beziehungsweise optimiertes Bestimmen der charakteristischen Bildpunkte 11.
-
Weiterhin kann ein sogenannter Ping-Pong- beziehungsweise Doppelpuffer in dem Speicher der Auswerteeinheit 4 vorgesehen sein. Der Doppelpuffer ist zweiteilig mit einem Ping-Teil und einem Pong-Teil ausgelegt. Meist sind bei der Bestimmung der charakteristischen Bildpunkte 11 besonders die Speicherbewegungen zeitaufwendig, während die Rechenzeit entsprechend geringer ausfällt. Der Doppelpuffer ermöglicht also, dass, während ein aktueller Teilbereich in dem Ping-Teil prozessiert wird, in dem Pong-Teil ein weiterer Teilbereich transferiert bzw. bewegt wird, also dort die Speicherverschiebung durchgeführt wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2013/0089261 A1 [0002]
-
Zitierte Nicht-Patentliteratur
-
- Rosten, Edward; Porter, R.; Drummond, Tom, "Faster and Better: A Machine Learning Approach to Corner Detection" Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 32, no. 1, pp. 105–119, 2010 [0002]
