DE102020202160A1

DE102020202160A1 - Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten, Verfahren zum Steuern einer Funktion und Vorrichtung

Info

Publication number: DE102020202160A1
Application number: DE102020202160.0A
Authority: DE
Inventors: Stephan Simon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-02-19
Filing date: 2020-02-19
Publication date: 2021-08-19

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten (105). In einem Schritt des Einlesens werden die Bilddaten (105) von einer Schnittstelle (122) zu einer Kamera (102) eines Systems (100) eingelesen und es wird für eine Mehrzahl von Pixeln eine Signatur (127) unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt. Jede der Signaturen (127) weist für jedes Filter des Deskriptors ein Vorzeichen auf. Auf jedes der Vorzeichen einer der Signaturen (127) wird zumindest ein Reflektor angewandt, um zumindest eine Spiegelsignatur (129) für zumindest eine Symmetrieart der Filter zu ermitteln. In einem Schritt des Überprüfens wird ein eine Signatur (127) aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der Spiegelsignatur (129) entsprechenden Signatur (127) überprüft, um zumindest ein symmetrisches Signaturpaar zu ermitteln. In einem Schritt des Auswertens werden die Pixelkoordinaten (131) des zumindest einen Signaturpaars ausgewertet, um zumindest eine Symmetrievorschrift zum Bestimmen der Symmetrieeigenschaft zu identifizieren.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Vor dem Hintergrund des hochautomatisierten Fahrens von Fahrzeugen stellen beispielsweise das maschinelle Sehen, die Objekterkennung oder die Objektverfolgung Aufgaben im Hinblick auf eine Bildverarbeitung dar. Auf dem Gebiet der Bildverarbeitung können Deskriptoren verwendet werden, beispielsweise um Korrespondenzen von Bild zu Bild zu finden, z. B. in zeitlicher Richtung auf derselben Kamera, um eine Bewegung im Bild zu ermitteln, oder in örtlicher Richtung von Kamera zu Kamera, um per Triangulation Distanzen zu ermitteln.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen kann insbesondere eine Detektion von mindestens eine Symmetrieeigenschaft aufweisenden Bildinhalten in Bilddaten durchgeführt werden. Die Bildinhalte stammen beispielsweise von einer Fahrzeugkamera. Dabei können für einzelne Pixel erzeugte, filterbasierte Deskriptoren, die je nach gesuchter Symmetrieeigenschaft mittels Reflektoren modifiziert werden können, verwendet werden, um je nach Symmetrieart korrespondierende Pixelpaare in den Bilddaten zu suchen und zu erkennen. Beispielsweise im Bereich des maschinellen Sehens können Symmetrien in Bilddaten detektiert und genutzt werden, beispielsweise als Vorverarbeitungsschritt zur Detektion oder Verfolgung von Objekten, die insbesondere Achsensymmetrie und zusätzlich oder alternativ Punktsymmetrie aufweisen können.
Vorteilhafterweise kann gemäß Ausführungsformen insbesondere eine effiziente und exakte Detektion einer Symmetrieeigenschaft in Bilddaten ermöglicht werden. Dies ermöglicht auch eine Erkennung von symmetrischen Objekten in Bilddaten. Unter Verwendung von auf solche Weise bestimmten Symmetrieeigenschaften können beispielsweise Bildverarbeitungsaufgaben wie Objekterkennung, Objektverfolgung oder dergleichen vorteilhaft ausgeführt werden, um beispielsweise Fahrzeugsysteme zu steuern. Die Detektion von Symmetrien in Bildern kann hierbei mit minimalem Aufwand erzielt werden. So kann insbesondere eine zentrale Bereitstellung von Symmetrieinformationen für nachfolgende Algorithmen, z. B. eine Objektdetektion oder eine Verfolgung von Objekten, auf effiziente Weise erreicht werden. Wenn Symmetrieinformationen zu Anfang einer Verarbeitungskette bereitgestellt werden, können diese in vorteilhafter Weise durch nachfolgende Algorithmen verwendet werden, ohne Zusatzkosten zu verursachen. Idealerweise können dabei Symmetrieinformationen für ein gesamtes Bild bereitgestellt werden. Vorteile von Ausführungsformen können sich insbesondere durch eine Abkehr von einem Vorgehen ergeben, bei dem ein jeweiliger Algorithmus, gegebenenfalls lediglich in einem örtlich begrenzten Bildbereich, Symmetrieinformationen einbeziehen würde, die lediglich nach Bedarf ermittelt würden. Somit kann gemäß Ausführungsformen eine Effizienz bei einer Symmetriedetektion in Bilddaten gesteigert werden. Dies kann insbesondere im Zusammenhang mit kompakten Deskriptoren erreicht werden, wobei auch bestehende Deskriptoren mitgenutzt werden können, sodass ein Rechenaufwand weiter minimiert werden kann. Ein dann noch verbleibender Aufwand zur Detektion von Symmetrien kann minimiert werden, was eine Eignung für einen praktischen Einsatz in eingebetteten Systemen erhöht, wo es insbesondere auf geringe elektrische Leistungsaufnahme, hohen Datendurchsatz und hohe Effizienz ankommt.
Es wird ein Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Einlesen der Bilddaten von einer Schnittstelle zu einer Kamera eines Systems, wobei die Bilddaten eine Umgebung des Systems repräsentieren;
Erzeugen einer Signatur für eine Mehrzahl von Pixeln zumindest eines Ausschnitts eines Bildes der Bilddaten, um eine Mehrzahl von Signaturen zu erhalten, wobei jede der Signaturen unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt wird, wobei jedes Filter zumindest eine Symmetrieart aufweist, wobei jede der Signaturen für jedes Filter des Deskriptors ein Vorzeichen aufweist;
Anwenden zumindest eines Reflektors auf die Vorzeichen einer der Signaturen, um für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter zu ermitteln, wobei jeder Reflektor für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweist;
Überprüfen eines die Signatur aufweisenden Pixels auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem von zumindest einem der angewendeten Reflektoren abhängigen Suchbereich in einer Umgebung um das Pixel, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln; und
Auswerten der Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars des Bildes, um zumindest eine Symmetrievorschrift zum Bestimmen der Symmetrieeigenschaft zu identifizieren.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Die Symmetrieeigenschaft kann eine Achsensymmetrie, eine Punktsymmetrie oder eine andere Symmetrieart oder Symmetrieeigenschaft in den Bilddaten repräsentieren. Auch kann die Symmetrieeigenschaft zumindest ein gemäß einer Symmetrieart symmetrisches Objekt kennzeichnen. Der Deskriptor kann einen Bildinhalt in einer lokalen Umgebung um ein Pixel oder Referenzpixel in einer kompakten Form beschreiben. Eine Signatur kann einen Wert des Deskriptors für ein Pixel beschreiben, beispielsweise in einer binären Darstellung. Eine Symmetrievorschrift kann eine Symmetrieachse oder ein Symmetriezentrum repräsentieren, insbesondere eine Position, eine Lage, eine Ausrichtung und zusätzlich oder alternativ eine Abmessung einer Symmetrieachse oder eines Sym metriezentru ms.
Gemäß einer Ausführungsform kann oder können der Schritt des Erzeugens und zusätzlich oder alternativ der Schritt des Anwendens und zusätzlich oder alternativ der Schritt des Überprüfens sequenziell Pixel für Pixel zumindest in dem Ausschnitt des Bildes ausgeführt werden. Zusätzlich oder alternativ können im Schritt des Auswertens Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars des Bildes gesammelt ausgewertet werden. Insbesondere können der Schritt des Erzeugens, der Schritt des Anwendens und der Schritt des Überprüfens für alle Pixel des Bildes oder des Ausschnitts sequenziell nacheinander ausgeführt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine schnelle, effiziente, unaufwändige und genaue Bestimmung von Symmetrieeigenschaften ermöglicht wird.
Auch können im Schritt des Erzeugens für jede erzeugte Signatur Pixelkoordinaten zumindest eines die gleiche Signatur aufweisenden Pixels in zumindest einer Nachschlagtabelle gespeichert werden. Dabei kann im Schritt des Überprüfens auf die zumindest eine Nachschlagtabelle zugegriffen werden, um das zumindest eine weitere Pixel zu finden. Eine solche Ausführungsform bietet den Vorteil, dass symmetrische Signaturpaare einfach, rasch und zuverlässig gefunden werden können.
Dabei können im Schritt des Erzeugens in der Nachschlagtabelle für jede erzeugte Signatur die Pixelkoordinaten eines die gleiche Signatur aufweisenden Nachfolgerpixels gespeichert werden, für das die Signatur zuletzt erzeugt wurde. Zusätzlich oder alternativ können hierbei in einem Verkettungsspeicher Pixelkoordinaten von zumindest einem die gleiche Signatur aufweisenden Vorgängerpixel gespeichert werden, für das die Signatur vorhergehend erzeugt wurde. Somit kann die Signatur für das zumindest eine Vorgängerpixel vor der Signatur für das Nachfolgerpixel erzeugt worden sein. In dem Verkettungsspeicher können für jedes Vorgängerpixel Pixelkoordinaten von demjenigen Vorgängerpixel gespeichert werden, für das die Signatur unmittelbar vorhergehend erzeugt wurde. Anders ausgedrückt kann in dem Verkettungsspeicher eine Verkettung unter den Vorgängerpixeln gespeichert werden. Eine solche Ausführungsform bietet den Vorteil, dass durch eine derartige Verkettung die symmetrischen Signaturpaare auf eine Rechenressourcen und Speicherressourcen sparende Weise ermittelt werden können.
Auch können dabei im Schritt des Erzeugens für jede erzeugte Signatur Pixelkoordinaten eines die gleiche Signatur aufweisenden Pixels in jedem von mehreren vordefinierten Teilabschnitten des Bildes in nach Teilabschnitten getrennten Nachschlagtabellen gespeichert werden. Das Bild kann in die Teilabschnitte unterteilt sein. Für jeden Teilabschnitt kann somit eine gesonderte Nachschlagtabelle vorgesehen sein. Eine solche Ausführungsform bietet den Vorteil, dass eine einfach zu realisierende Möglichkeit zur Registrierung von Pixeln mit identischer Signatur lediglich unter Verwendung von Nachschlagtabellen bereitgestellt werden kann.
Vorteilhaft ist es auch, wenn im Schritt des Erzeugens zumindest ein Verkettungsspeicher und mehrere Nachschlagtabellen miteinander kombiniert sind bzw. werden, sodass jedem Teilabschnitt des Bildes ein eigener Verkettungsspeicher und eine zugehörige Nachschlagtabelle zugeordnet sind. Anders ausgedrückt kann für den Schritt des Erzeugens eine Unterteilung des Bilds mit mehreren Nachschlagetabellen und mehreren zugeordneten Signaturverkettungen vorgenommen werden. Vorteilhafterweise brauchen somit weniger möglicherweise irrelevante Teile der Signaturverkettungen abgearbeitet werden, als wenn sich die Signaturverkettungen über das gesamte Bild erstrecken würden, während der Suchbereich schmaler ist.
Ferner können dabei im Schritt des Erzeugens für jede erzeugte Signatur ausschließlich Pixelkoordinaten eines die gleiche Signatur aufweisenden Pixels, das in einem verschiebbaren Fenster angeordnet ist, das einen Teilabschnitt des Bildes umfasst, in der Nachschlagtabelle gespeichert werden. Das Fenster kann einen Teilabschnitt umfassen, der dem Suchbereich entspricht oder ähnelt. Eine solche Ausführungsform bietet den Vorteil, dass eine Speicherressourcen sparende Erfassung von Pixeln mit identischer Signatur ermöglicht wird.
Gemäß einer Ausführungsform kann im Schritt des Überprüfens der Suchbereich für jeden Reflektor einen Teilbereich aufweisen. Hierbei können Abmessungen jedes Teilbereichs abhängig von akzeptierten Abmessungen von in den Bilddaten zu detektierenden Objekten und zusätzlich oder alternativ abhängig von Vorgabedaten hinsichtlich einer Symmetriegenauigkeit gewählt sein oder werden. Eine solche Ausführungsform bietet den Vorteil, dass die Suche nach Pixeln mit der Spiegelsignatur effizient und schnell abgeschlossen werden kann.
Auch kann im Schritt des Auswertens eine Mittelposition zwischen Signaturposition und Spiegelsignaturposition des zumindest einen symmetrischen Signaturpaars mit einem Gewichtungsfaktor gewichtet werden, um für zumindest eine Symmetrieart ein gesondertes Abstimmungsbild mit Pixelkoordinaten von gewichteten Mittelpositionen zu erzeugen. Hierbei kann der Gewichtungsfaktor von einer Lage der Mittelposition relativ zu Grenzen zwischen Pixeln und zusätzlich oder alternativ von Länge und Richtung einer Verbindungslinie zwischen Signaturposition und Spiegelsignaturposition und zusätzlich oder alternativ von Signaturhäufigkeiten oder Spiegelsignaturhäufigkeiten abhängig sein. Eine solche Ausführungsform bietet den Vorteil, dass eine robuste und exakte Detektion von Symmetrievorschriften, insbesondere Symmetrieachsen und Symmetriezentren, ermöglicht werden kann.
Der Gewichtungsfaktor kann auch von der aktuell beobachteten Häufigkeit des Auftretens der jeweiligen Signatur oder von der aktuell beobachteten Häufigkeit des Auftretens der jeweiligen Spiegelsignatur abhängig gewählt werden. Dabei ist es von Vorteil, das Gewicht umso kleiner zu wählen, je größer die jeweilige Häufigkeit und somit die Mehrdeutigkeit ist.
Insbesondere kann im Schritt des Auswertens die Mittelposition mit dem Gewichtungsfaktor gewichtet werden, um bei einer Lage der Mittelposition auf einer Grenze zwischen benachbarten Pixeln eine Aufteilung des Gewichtungsfaktors auf die Pixelkoordinaten der benachbarten Pixel zu bewirken. Insbesondere kann die Aufteilung unter Berücksichtigung der Länge der Verbindungslinie und zusätzlich oder alternativ gemäß einer bilinearen Interpolation vorgenommen werden.
Dabei kann im Schritt des Auswertens jedes Abstimmungsbild mittels eines für die jeweilige Symmetrieart spezifischen Glättungsfilters gefiltert werden. Zusätzlich oder alternativ kann im Schritt des Auswertens zumindest ein Maximum in jedem Abstimmungsbild ermittelt werden. Eine solche Ausführungsform bietet den Vorteil, dass Genauigkeit und Robustheit einer Identifikation von Symmetrievorschriften erhöht werden können.
Ferner kann dabei im Schritt des Auswertens zu jedem Abstimmungsbild ein Akkumulatorbild generiert werden. Hierbei kann in jedes Akkumulatorbild zu Pixelkoordinaten jeder Mittelposition eine Abstandsinformation über einen Abstand zwischen dem Pixel und dem weiteren Pixel des zu der Mittelposition gehörigen symmetrischen Signaturpaars eingetragen werden. Optional zusätzlich kann jede Abstandsinformation mit der zugehörigen gewichteten Mittelposition normiert werden. Eine solche Ausführungsform bietet den Vorteil, dass genauere Aussagen hinsichtlich Symmetrievorschriften getroffen werden können, wobei auch Anschlussaufgaben wie Objekterkennung und Objektverfolgung erleichtert werden können.
Zudem kann das Verfahren einen Schritt des Generierens eines Reflektors für zumindest eine Symmetrieart in Abhängigkeit von Symmetrieeigenschaften der Filter des Deskriptors aufweisen, insbesondere mittels einer binären XOR-Operation. Eine solche Ausführungsform bietet den Vorteil, dass aufgrund der Nutzung von Reflektoren die Signaturen lediglich einmalig pro Pixel für das Bild erzeugt zu werden brauchen. Da die Reflektoren bei gegebener Vorschrift zur Berechnung des Deskriptors konstant sind, können die Reflektoren auch Konstanten sein, die lediglich einmal generiert werden.
Es wird auch ein Verfahren zum Steuern einer Fahrzeugfunktion vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Bestimmen einer Symmetrieeigenschaft in Bilddaten gemäß einer Ausführungsform des vorstehend genannten Verfahrens;
Durchführen einer Objekterkennung und/oder Objektverfolgung unter Verwendung der bestimmten Symmetrieeigenschaft, um ein Steuersignal zu erzeugen; und
Ausgeben des Steuersignals an eine Schnittstelle zu einem die Fahrzeugfunktion bereitstellenden Fahrzeugsystem, um die Fahrzeugfunktion zu steuern.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Bei einer Fahrzeugfunktion kann es sich um eine Assistenzfunktion zur Fahrerassistenz, eine hochautomatisierte Fahrfunktion oder dergleichen handeln.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Ausführung eines Algorithmus zum Bestimmen einer Symmetrieeigenschaft in Bilddaten und zusätzlich oder alternativ eine Steuerung einer Fahrzeugfunktion. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie Kamerasignale mit Bilddaten und andere Umfeldsensorsignale, wie beispielsweise Radar, Lidar oder dergleichen zugreifen. Die Ansteuerung erfolgt über Aktoren zum Verändern eines Lenkwinkels und/oder zum Anfordern einer Beschleunigung oder Verzögerung, ggf. mit Rekuperation, oder dergleichen.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. Dabei kann das Verfahren als Hardware-Beschleuniger auf einem SoC oder ASIC implementiert sein.
Insbesondere kann gemäß Ausführungsformen ein Symmetriedetektor im Sinne eines Algorithmus verwendet werden, der auf effiziente Weise präzise Ergebnisse erzielen kann und dafür mit lediglich minimalen Rechenressourcen auskommen kann. Einen Beitrag hierzu kann beispielsweise eine Modifikation des Deskriptors mittels Reflektoren leisten. Durch einfache Manipulation, z. B. eine binäre XOR-Operation, kann der Deskriptor in eine der Symmetriearten umgewandelt werden. Ein solcher Operator kann als ein Reflektor bezeichnet werden. Zu jeder Symmetrieart kann ein eigener Reflektor vorliegen. Die Anwendung des Reflektors auf den Deskriptor kann zum selben Ergebnis wie eine Neuberechnung des Deskriptors auf einem gespiegelten Eingangsbild führen. Einen weiteren Beitrag dazu kann eine Bildung von Korrespondenzen, also ein Auffinden eines symmetrischen Gegenstücks zu einem Deskriptor-Wert bzw. einer Signatur leisten. Die Aufgabe der Korrespondenzbildung kann hierbei effizient gelöst werden, indem nicht nach Spiegel-Ähnlichkeit, sondern nach Spiegel-Identität gesucht wird. Noch einen weiteren Beitrag dazu kann eine Umgehung dessen leisten, dass aufgrund der Forderung nach Spiegel-Identität verbundener manche Korrespondenzen, die nur gespiegelt-ähnlich, aber nicht gespiegelt-identisch sind, möglicherweise unerfasst bleiben. Hierzu können die Deskriptoren dicht gebildet werden, z. B. an jedem Pixel. Dadurch kann eine große Menge an Korrespondenzen gebildet werden, die im Rahmen des Auswertens an einer Abstimmung bzw. Gewichtung teilnehmen können. Potentielle falsche Zuordnungen können hierbei ausgesondert werden, da sie bei der Gewichtung keine Mehrheit erhalten, während tatsächlich symmetrische Bereiche ein hohes Gewicht auf sich vereinen können. Somit können selbst schwach ausgeprägte Symmetrien sicher gefunden werden.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Systems mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
2 Beispiele für symmetrische Objekte in Bilddaten;
3 eine schematische Darstellung eines Filters eines Deskriptors gemäß einem Ausführungsbeispiel;
4 eine schematische Darstellung eines durch Anwendung des Filters aus 3 erhaltenen Ergebnisses gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung von Filtern eines Deskriptors gemäß einem Ausführungsbeispiel;
6 eine schematische Darstellung einer Signatur gemäß einem Ausführungsbeispiel;
7 eine schematische Darstellung von Filtern und Symmetriearten zur Veranschaulichung einer Generierung eines Reflektors gemäß einem Ausführungsbeispiel;
8 eine schematische Darstellung einer Signatur, von Reflektoren und von Spiegelsignaturen gemäß einem Ausführungsbeispiel;
9 eine schematische Darstellung von Spiegelsignaturen zu einer jeweiligen Signatur gemäß einem Ausführungsbeispiel;
10 eine schematische Darstellung einer Vielzahl von Spiegelsignaturen zu jeweiligen Signaturen gemäß einem Ausführungsbeispiel;
11 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
12 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
13 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
14 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
15 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
16 eine zusammenfassende Darstellung der 13, 14 und 15;
17 eine vereinfachte Darstellung von 16;
18 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem weiteren Ausführungsbeispiel;
19 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem weiteren Ausführungsbeispiel;
20 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem weiteren Ausführungsbeispiel;
21 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem weiteren Ausführungsbeispiel;
22 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem weiteren Ausführungsbeispiel;
23 ein Ablaufdiagramm eines Verfahrens zum Bestimmen gemäß einem Ausführungsbeispiel; und
24 ein Ablaufdiagramm eines Verfahrens zum Steuern gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Systems 100 mit einer Vorrichtung 110 gemäß einem Ausführungsbeispiel. Das System 100 kann als ein Fahrzeug, z. B. ein Landfahrzeug, ein Wasserfahrzeug oder ein Luftfahrzeug, als ein tragbares Gerät oder dergleichen ausgeführt sein. Bei dem beispielhaft als Fahrzeug ausgeführten System 100 handelt es sich beispielsweise um ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, einen Lastkraftwagen oder ein anderes Nutzfahrzeug. Von dem System 100 sind in der Darstellung von 1 außer der Vorrichtung 110 auch eine Kamera 102 und ein Teilsystem 108 gezeigt. Die Kamera 102 ist ausgebildet, um eine Umgebung des Systems 100 zu erfassen bzw. aufzunehmen und Bilddaten 105 bereitzustellen, welche die Umgebung des Systems 100 repräsentieren. Das Teilsystem 108 ist ausgebildet, um die Funktion bereitzustellen, beispielsweise eine Assistenzfunktion und/oder Fahrfunktion für hochautomatisiertes Fahren.
Die Vorrichtung 110 ist gemäß dem hier dargestellten Ausführungsbeispiel ausgebildet, um eine Symmetrieeigenschaft in den Bilddaten 105 zu bestimmen und um eine durch das Teilsystem 108 bereitgestellte Funktion zu steuern. Dazu weist die Vorrichtung 110 eine Bestimmungseinheit 120 zum Bestimmen der Symmetrieeigenschaft in den Bilddaten 105 und eine Steuereinheit 140 zum Steuern der durch das Teilsystem 108 bereitgestellten Funktion auf. Gemäß einem anderen Ausführungsbeispiel kann die Vorrichtung 110 auch lediglich die Bestimmungseinheit 120 oder die Steuereinheit 140 aufweisen oder können die Bestimmungseinheit 120 und die Steuereinheit 140 kombiniert bzw. integriert als eine einzige Einheit ausgeführt sein.
Zum Bestimmen der Symmetrieeigenschaft in den Bilddaten 105 weist die Vorrichtung 110 bzw. insbesondere die Bestimmungseinheit 120 eine Einleseeinrichtung 124, eine Erzeugungseinrichtung 126, eine Anwendungseinrichtung 128, eine Überprüfungseinrichtung 130 und eine Auswerteeinrichtung 132 auf. Ferner weist die Vorrichtung 110 bzw. insbesondere die Bestimmungseinheit 120 eine Schnittstelle bzw. Eingangsschnittstelle 122 zur datenübertragungsfähigen Verbindung zumindest mit der Kamera 102 auf.
Die Einleseeinrichtung 124 ist ausgebildet, um die Bilddaten 105 von der Eingangsschnittstelle 122 zu der Kamera 102 einzulesen. Die Einleseeinrichtung 120 ist auch ausgebildet, Bilddaten 105 an die Erzeugungseinrichtung 126 weiterzuleiten.
Die Erzeugungseinrichtung 126 ist ausgebildet, um für eine Mehrzahl von Pixeln zumindest eines Ausschnitts eines Bildes der Bilddaten 105 eine Signatur 127 zu erzeugen, um eine Mehrzahl von Signaturen 127 zu erhalten. Hierbei wird jede der Signaturen 127 unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt. Jedes Filter weist zumindest eine Symmetrieart auf. Jede Signatur 127 weist für jedes Filter des Deskriptors ein Vorzeichen auf. Jede Signatur 127 ist beispielsweise durch zumindest ein Datenwort in binärer Form repräsentiert. Die Erzeugungseinrichtung 126 ist ausgebildet, um die Signaturen 127 bzw. zumindest eine der Signaturen 127 an die Anwendungseinrichtung 128 und an die Überprüfungseinrichtung 130 weiterzu leiten.
Die Anwendungseinrichtung 128 ist ausgebildet, um auf die Vorzeichen einer der Signaturen 127 einen Reflektor anzuwenden, um für die Signatur 127 zumindest eine Spiegelsignatur 129 für zumindest eine Symmetrieart der Filter des Deskriptors zu ermitteln. Jeder Reflektor weist für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen der Signatur 127 auf. Die Anwendungseinrichtung 128 ist auch ausgebildet, um die zumindest eine Spiegelsignatur 129 an die Überprüfungseinrichtung 130 weiterzuleiten.
Die Überprüfungseinrichtung 130 ist ausgebildet, um ein die Signatur 127 aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur 129 entsprechenden Signatur 127 in einem von zumindest einem der angewendeten Reflektoren abhängigen Suchbereich in einer Umgebung um das Pixel zu überprüfen, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten 131 zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln. Die Überprüfungseinrichtung 130 ist auch ausgebildet, um die ermittelten Pixelkoordinaten 131 an die Auswerteeinrichtung 132 weiterzuleiten.
Die Auswerteeinrichtung 132 ist ausgebildet, um die Pixelkoordinaten 131 des zumindest einen symmetrischen Signaturpaars des Bildes auszuwerten, um zumindest eine Symmetrievorschrift zum Bestimmen der Symmetrieeigenschaft 135 zu identifizieren. Die Vorrichtung 110 bzw. insbesondere die Bestimmungseinheit 120 ist ausgebildet, um unter Verwendung der zumindest einen identifizierten Symmetrievorschrift die Symmetrieeigenschaft 135 zu bestimmen und bereitzustellen. Bei der Symmetrieeigenschaft 135 kann es sich um eine Achsensymmetrie, eine Punktsymmetrie oder eine Kombination aus mehreren solchen Symmetriearten handeln.
Insbesondere sind die Erzeugungseinrichtung 126, die Anwendungseinrichtung 128 und die Überprüfungseinrichtung 130 ausgebildet, um sequenziell Pixel für Pixel zumindest in dem Ausschnitt des Bildes der Bilddaten 105 eine Signatur 127 zu erzeugen, einen Reflektor auf die Signatur 127 anzuwenden, um die zumindest eine Spiegelsignatur 129 zu ermitteln, und die Überprüfung durchzuführen, um die Pixelkoordinaten 131 zumindest eines symmetrischen Signaturpaars zu ermitteln. Die Auswerteeinrichtung 132 ist beispielsweise ausgebildet, um Pixelkoordinaten 131 des zumindest einen symmetrischen Signaturpaars eines Bildes der Bilddaten 105 gesammelt auszuwerten bzw. zu sammeln und für ein Bild auszuwerten. Die Auswerteinrichtung 132 ist gemäß einem Ausführungsbeispiel ausgebildet, um Pixelkoordinaten 131 einer Teilmenge von symmetrischen Signaturpaaren eines Bildes der Bilddaten 105 gesammelt auszuwerten. Somit braucht kein komplettes Bild prozessiert werden, sondern es können zwischendurch auch Ergebnisse bereitgestellt werden, und zwar insbesondere diejenigen Teile des Abstimmungsbilds, die im weiteren Verlauf der Verarbeitung unverändert bleiben.
Zum Steuern der durch das Teilsystem 108 bereitgestellten Funktion weist die Vorrichtung 110 bzw. insbesondere die Steuereinheit 140 eine weitere Einleseeinrichtung 142 zum Einlesen der Symmetrieeigenschaft 135, eine Durchführungseinrichtung 144 und eine Ausgabeeinrichtung 146 auf. Ferner weist die Vorrichtung 110 bzw. insbesondere die Steuereinheit 140 eine Schnittstelle bzw. Ausgangsschnittstelle 148 zur datenübertragungsfähigen Verbindung zumindest mit dem Teilsystem 108 auf.
Die Durchführungseinrichtung 144 ist ausgebildet, um unter Verwendung der Symmetrieeigenschaft 135 eine Objekterkennung und/oder Objektverfolgung eines Objekts in dem Umfeld des Systems 100 durchzuführen, um ein Steuersignal 145 zu erzeugen. Die Ausgabeeinrichtung 146 ist ausgebildet, um das Steuersignal 145 an die Schnittstelle 148 zu dem die Funktion bereitstellenden Teilsystem 108 auszugeben, um die Funktion zu steuern.
Insbesondere Deskriptoren, Reflektoren, Signaturen 127, Spiegelsignaturen 129, symmetrische Signaturpaare und andere im Zusammenhang mit 1 erwähnte Begriffe sind im Kontext nachfolgend beschriebener Figuren noch detaillierter erläutert.
2 zeigt Beispiele für symmetrische Objekte 201, 202, 203, 204, 205 und 206 in Bilddaten. Die Objekte 201, 202, 203, 204, 205 und 206 sind hierbei durch Bilddaten repräsentiert, wie die Bilddaten aus 1. Bei den Objekten 201, 202, 203, 204, 205 und 206 handelt es sich beispielsweise um spezielle punktsymmetrische Marker, die als Landmarken verwendet werden können. Horizontale und vertikale Symmetrie ist in den hier dargestellten Beispielen ebenfalls gegeben. Die Objekte 201, 202, 203 sind auch als Siemensstern aus der technischen Optik bekannt.
In 2 soll veranschaulicht werden, dass die Bestimmung der Symmetrieeigenschaft mittels der Vorrichtung aus 1 für viele oder alle Formen der Symmetrie gültig ist, beispielsweise horizontale Spiegelsymmetrie durch Spiegelung an einer senkrechten Achse, vertikale Spiegelsymmetrie durch Spiegelung an einer waagerechten Achse, Punktsymmetrie durch Spiegelung an einem Punkt, diagonale Symmetrie durch Spiegelung an einer steigenden Diagonale, diagonale Symmetrie durch Spiegelung an einer fallenden Diagonale, Achsensymmetrie durch Spiegelung an einer beliebigen anderen Achse, Drehsymmetrie durch Rotation um einen Punkt sowie Kombination der vorstehend genannten. Hierbei ist insbesondere anzumerken, dass sich eine Punktspiegelung auch durch eine zweifach durchgeführte Achsenspiegelung darstellen lässt, wobei die beiden Spiegelachsen senkrecht zueinander stehen.
Horizontale Symmetrie ist beispielsweise gegeben für Fahrzeuge von vorne oder hinten, Räder von Fahrzeugen, insbesondere in einer Seitenansicht des Fahrzeugs, Autokennzeichen bzw. Anteile davon, insbesondere deren Ränder, Personen, insbesondere in frontaler Ansicht von vorne oder hinten sowie aus der Vogelperspektive, Hydranten, Pfosten, insbesondere mit rundem Profil, Verkehrsschilder bzw. Anteile davon, insbesondere der äußere Teil, Ampeln, Straßenlaternen, Gebäude als Ganzes sowie deren Bestandteile wie Fenster, Türen, Balkone, Erker, Giebel, etc. Vertikale Symmetrie ist beispielsweise gegeben für Spiegelungen von beliebigen Objekten in Wasserpfützen oder auf nasser Straße oder auf einer Wasseroberfläche oder auf einer sonstigen spiegelnden Oberfläche, z. B. Metall, Lack, Kunststoff etc., Räder von Fahrzeugen, insbesondere in Seitenansicht, Autokennzeichen bzw. Anteile davon, Verkehrsschilder bzw. Anteile davon, Ampeln, Gebäudeteile, insbesondere Fenster, etc. Punktsymmetrie ist beispielsweise gegeben für spezielle Marker bzw. Landmarken, wie in 2 für Beispiele gezeigt, Räder von Fahrzeugen, insbesondere in Seitenansicht, Autokennzeichen bzw. Anteile davon, Verkehrsschilder bzw. Anteile davon, Ampeln etc.
Nachfolgend und gemäß Ausführungsbeispielen wird - ohne Beschränkung der Allgemeingültigkeit - insbesondere auf die drei erstgenannten Symmetriearten Bezug genommen, d.h. horizontale Symmetrie, vertikale Symmetrie und Punktsymmetrie, da diese für die meisten technischen Anwendungen die wichtigsten Symmetriearten darstellen und in der realen Welt - insbesondere in vom Mensch geschaffenen Umgebungen - auch am häufigsten anzutreffen sind. Nachfolgend sind auch noch einige Anwendungsbeispiele genannt, bei denen Symmetrieinformationen bzw. Symmetrieeigenschaften natürlicherweise in Bilddaten vorkommt und genutzt werden kann, z. B. zur Objektdetektion oder Objektplausibilisierung, ggf. im Zusammenhang mit weiteren Algorithmen, oder zur Objektverfolgung oder zur Detektion von Landmarken.
3 zeigt eine schematische Darstellung eines Filters 300 eines Deskriptors gemäß einem Ausführungsbeispiel. Ein solcher Deskriptor ist durch die Erzeugungseinrichtung der Vorrichtung aus 1 verwendbar. In 3 ist beispielhaft ein einfaches Filter 300 dargestellt, hier 12 mal 12 Pixel groß, das mit einem Bild gefiltert wird. Es wird hierbei nicht zwischen Filterung und Faltung unterschieden, da beide im Falle der symmetrischen Filter Ergebnisse liefern, die ineinander überführbar und gleichwertig sind. Anders ausgedrückt wird ein Bildsignal bzw. werden Bilddaten mittels des Filters 300 bzw. mit einem Filterkern gefiltert, das an jeder Pixelposition angewendet werden kann. In den weiß dargestellten Bereichen des Filters 300 wird der entsprechende Pixelwert mit 1 multipliziert. In den schwarz dargestellten Bereichen des Filters 300 wird der entsprechende Pixelwert mit -1 multipliziert. In den anderen Bereichen des Filters 300 wird der entsprechende Pixelwert mit 0 multipliziert. Das entspricht vom Ergebnis her einem Ignorieren der anderen Bereiche, also können diese Rechenoperationen eingespart werden. Die Ergebnisse werden aufaddiert. Es können auch andere Grauwerte, hier nicht dargestellt, und entsprechende Zwischenwerte verwendet werden.
An den weißen Stellen wird das darunter liegende Pixel mit +1 multipliziert, an den schwarzen Stellen mit -1. Die Koeffizienten können auch andere Werte aufweisen. Alle (hier 144) Teilergebnisse werden aufsummiert und quantisiert. Optional können dabei auch nichtlineare Operationen und/oder Verknüpfungen mit anderen Teilergebnissen vorgenommen werden. Die Quantisierung kann mehr oder weniger grob erfolgen, das Ergebnis benötigt für seine Darstellung also mehr oder weniger Bits. Im gröbsten Falle wird auf nur 1 Bit quantisiert, z. B. durch Vergleich mit einem Schwellwert. Wenn beispielsweise 0 als Schwellwert gewählt ist, bleibt also lediglich das Vorzeichen als Information erhalten. Wenn für das quantisierte Ergebnis mehr als 1 Bit vorgesehen ist, kann es vorteilhaft sein, eine binäre Zahlendarstellung zu wählen, bei der Vorzeichen und Amplitude getrennt dargestellt werden, statt z. B. Zweierkomplement. Wenn beispielsweise 4 Bit vorgesehen sind, können mit 1 Bit das Vorzeichen und mit 3 Bit die Amplitudenwerte {0; 1; 2; 3; 4; 5; 6; 7} darstellen werden. Diese Darstellung ist zwar unter Umständen nicht redundanzfrei, denn eine 0 ist als -0 und +0 darstellbar, während eine -8 im Gegensatz zum Zweierkomplement nicht darstellbar ist. Doch das soll hier nicht stören, da nachfolgend Wert auf eine Umkehrbarkeit des Vorzeichens gelegt wird, was bei der -8 nicht gegeben wäre, da die 4-bit-Zweierkomplement-Darstellung nur die Werte {-8; ...; +7} umfassen würde.
4 zeigt eine schematische Darstellung eines durch Anwendung des Filters 300 aus 3 erhaltenen Ergebnisses 400 gemäß einem Ausführungsbeispiel. Das Ergebnis 400 der in 3 beschriebenen Operation stellt einen Beitrag zum Deskriptor und somit auch zur Signatur dar, die einer bezogen auf das Filter 300 zentral dargestellten Pixelposition 404 zugeordnet werden kann. Das Ergebnis 400 bzw. Ergebnis-Pixelgitter braucht nicht mit dem ursprünglichen Pixelgitter, siehe auch 3, übereinzustimmen. In 4 sind die Gitter zueinander versetzt. Das Ergebnis 400 der Filteroperation und auch der nachfolgenden Signaturbildung wird der Pixelposition 404 zugeordnet, die sinnvollerweise, aber nicht notwendigerweise, einer Zentrumsposition des Filters 300 zugeordnet ist. Da eine Beschränkung auf Filter mit bestimmten Symmetrieeigenschaften bzw. Symmetriearten gewählt wird, entspricht die Zentrumsposition einem Symmetriepunkt. Dem Ergebnispixel an diesem Ort wird die mittels des Deskriptors erzeugte Signatur zugeordnet, z. B. gespeichert. Diese Pixelposition 404 ist in 4 eingezeichnet. Das zugehörige Ergebnis-Pixelgitter bzw. Ergebnis 400 ist versetzt bzw. nicht deckungsgleich mit dem ursprünglichen Pixelgitter. Ein hier vorliegender Halbpixelversatz ist dadurch zu erklären, dass das Filter 300 gerade Längen aufweist, hier 12 mal 12 Pixel. Ein Versatz um weitere 5 Pixel bezüglich der Ränder links und oben in 4 ist einer Ausdehnung des Filters geschuldet. Das Ergebnis 400 der Filterung wäre undefiniert, wenn das Filter 300 über den Rand des Bildes bzw. Eingangsbildes hinausragen würde, was daher vermieden wird.
5 zeigt eine schematische Darstellung von Filtern 300, 500, 550 eines Deskriptors gemäß einem Ausführungsbeispiel. Hierbei sind zusätzlich zu einem Filterkern bzw. Filter (A) 300, welches dem Filter aus 3 entspricht, weitere Filterkerne bzw. Filter (B, C) 500 und 550 dargestellt, die ebenfalls auf das Bild bzw. Bildsignal angewandt werden. Die Ergebnisse tragen jeweils zur Bildung der Signatur bei. Die Signatur wird nicht nur aus dem Ergebnis einer Filteroperation gebildet, sondern es sind mehrere Filter beteiligt, die unterschiedlich aufgebaut sind, wie es in 5 anhand der beispielhaft lediglich drei Filter (A, B, C) 300, 500, 550 dargestellt ist.
Es ist zu beachten, dass alle beteiligten Filter, hier die Filter (A, B, C) 300, 500, 550, zu mindestens einer Achse oder einem Punkt eine gerade oder ungerade Symmetrie aufweisen. In diesem Ausführungsbeispiel ist darüber hinaus auch die Symmetrie bezüglich einer zweiten Achse gegeben, die senkrecht zur ersten Achse steht. Die Symmetrieachsen sind in 5 schematisch dargestellt. Eine gerade oder ungerade Punktsymmetrie ist dann automatisch gegeben, und zwar um einen Kreuzungspunkt der beiden Symmetrieachsen. Dabei bedeutet gerade Symmetrie, dass das jeweilige Filter bei Spiegelung um die jeweilige Achse identisch auf sich selbst abgebildet wird, während bei ungerader Symmetrie ein Vorzeichenwechsel vorzunehmen ist, um die Identität zu erreichen. Ein ungerades Filter ist automatisch auch mittelwertfrei, d. h. die Koeffizienten summieren sich zu 0, während dies für ein gerades Filter nicht gilt. Das Filter (A) 300 in 5 ist horizontal gerade symmetrisch, bei Spiegelung an der Senkrechten, und vertikal ungerade symmetrisch, bei Spiegelung an der Waagerechten. Das Filter (B) 500 ist horizontal ungerade symmetrisch und vertikal ebenfalls ungerade symmetrisch. Das Filter (C) 550 ist sowohl horizontal als auch vertikal gerade symmetrisch.
Unter Bezugnahme insbesondere auf 2 bis 5 sei angemerkt, dass der Deskriptor den Bildinhalt in einer lokalen Umgebung um ein Referenzpixel in einer kompakten Form beschreibt. Einen Deskriptor-Wert bzw. Wert des Deskriptors für das Referenzpixel bzw. jeweils betrachtete Pixel wird als Signatur bezeichnet. Es sind eine Vielzahl von Deskriptoren bekannt, beispielsweise SIFT, SURF, ORB, BRISK, BRIEF, DAISY und viele mehr, von denen auch manche in Verbindung mit Ausführungsbeispielen verwendet werden können. Aus Gründen der Anschaulichkeit sind Deskriptoren gemäß Ausführungsbeispielen einfach gewählt, wobei in der Praxis ein Deskriptor aufwändiger aufgebaut sein kann. Beispielhaft umfasst der Deskriptor mehrere Filteroperationen, die auf das Bild angewandt werden. Das Bild kann z. B. digital gespeicherte Grauwerten im Wertebereich 0 bis 65535 umfassen. Die Ergebnisse dieser Filteroperationen, die selbst wieder Bilder darstellen, mit im allgemeinen vorzeichenbehafteten Werten und in einem anderen Wertebereich als das Eingangsbild, werden quantisiert und pro Pixel mit den Ergebnissen weiterer Filteroperationen verknüpft. Im einfachsten Falle ist diese Verknüpfung eine Konkatenation, also ein einfaches Aneinanderhängen quantisierter Teilergebnisse pro Pixel.
6 zeigt eine schematische Darstellung einer Signatur 127 gemäß einem Ausführungsbeispiel. Bei der Signatur 127 handelt es sich um eine 12 Bit lange Signatur, beispielsweise mit dem Wert 100101101100₂ = 2412, hier durch Konkatenation von jeweils 4 Bit langen Binärworten 601, 602, 603, die sich aus der Filterung mit den Filtern (A, B, C) aus 5 und jeweils anschließender Quantisierung auf je 4 Bit ergeben. Der Index 2 kennzeichnet die Binärnotation. Hier sind Vorzeichenbits jeweils separat von Signaturwerte darstellenden Bits gespeichert. Getrennt von der 12 Bit langen Signatur 127 ist als Extremfall der Quantisierung eine 3 Bit lange Signatur, hier mit dem Wert 101₂ = 5, dargestellt, bei der auf eine Speicherung des Wertes verzichtet und nur das jeweilige Vorzeichen beibehalten wird.
Die mit den verschiedenen Filtern resultierenden quantisierten Ergebnisse werden pro Pixel zu einer Signatur zusammengesetzt, beispielsweise aneinander gehängt, wie in 6 für die den Filtern (A, B, C) aus 5 zugeordneten Binärworte 601, 602, 603 dargestellt. Die Signatur 127 ist in diesem Beispiel also ein Binärwort der Länge 12 Bit, das sich aus 3 Binärworten 601, 602, 603 mit je 4 Bit zusammensetzt. Diese 4 Bit sind vorteilhafterweise getrennt nach Vorzeichen und Betrag. Wie die einzelnen Bits innerhalb der Signatur 127 angeordnet sind, ist willkürlich. Vorteilhaft ist aber, wenn auf die Vorzeichenbits leicht zugegriffen werden kann, um sie zu lesen oder zu manipulieren.
In einer Variante mit besonders stark verlustbehafteter Datenkompression werden nur die Vorzeichen behalten und die Beträge ignoriert. Dann ergibt sich in diesem Ausführungsbeispiel eine Signatur der Länge 3 Bit, die 6 getrennt von der 12 Bit langen Signatur 127 dargestellt ist.
Gemäß Ausführungsbeispielen können Signaturen 127 auch als reine Binärzahlen ohne Rücksicht auf die Vorzeichen und wegen der besseren Lesbarkeit auch als nichtnegative Dezimalzahlen aufgefasst und dargestellt werden. Es ist anzumerken, dass eine Signatur 127 auch als Adresse aufgefasst werden kann, z. B. Adresse für den Zugriff auf eine Nachschlagetabelle. Die Signatur 127 kann noch weitere nützliche Informationsanteile beinhalten, die z. B. über eine mittlere Helligkeit oder Farbe in der lokalen Umgebung des jeweils betrachteten Pixels Auskunft geben. Für nachfolgend angestellte Symmetriebetrachtungen können Zusatzinformationen solcher Art jedoch ignoriert werden.
7 zeigt eine schematische Darstellung von Filtern und Symmetriearten zur Veranschaulichung einer Generierung eines Reflektors gemäß einem Ausführungsbeispiel. Hierbei ist eine Matrix aus drei Spalten aus den Filtern (A) 300, (B) 500 und (C) 550 aus 5 und vier Zeilen aus einer Originalform 701 der Filter (A) 300, (B) 500 und (C) 550 sowie drei unterschiedlichen Symmetriearten 702, 703 und 704 dargestellt.
Die Filterkerne bzw. Filter (A) 300, (B) 500 und (C) 550 aus 5 sind hier jeweils nacheinander in ihrer Originalform 701, gemäß einer ersten Symmetrieart 702 bzw. horizontal gespiegelt, gemäß einer zweiten Symmetrieart 703 bzw. vertikal gespiegelt und gemäß einer dritten Symmetrieart 704 gespiegelt bzw. punktgespiegelt dargestellt. Das Ergebnis der jeweiligen Spiegelung kann auch erreicht werden, indem ein Vorzeichen geändert wird, gekennzeichnet durch (-), oder nicht geändert wird, gekennzeichnet durch (+). Dies ist darin begründet, dass die betrachteten Filterkerne alle gerade oder ungerade symmetrisch zur jeweiligen Symmetrieachse bzw. zum Symmetriepunkt aufgebaut sind.
Solche Symmetriebeziehungen sind in 7 zusammenfassend dargestellt. Die erste Zeile zeigt die Filterkerne bzw. Filter (A) 300, (B) 500 und (C) 550 in ihrer Originalform 701. In der zweiten Zeile sind sie jeweils gemäß der ersten Symmetrieart 702 bzw. horizontal gespiegelt dargestellt. Wenn sich hierdurch das Vorzeichen gegenüber der Originalform 701 ändert, ist das mit einem (-) Symbol gekennzeichnet, ansonsten mit einem (+) Symbol. Fasst man diese Symbole zeilenweise zusammen, hier für die erste Symmetrieart 702 also (+)(-)(+), so ergibt sich ein sogenannter Reflektor, in diesem Fall der horizontale Reflektor R_H. Er ist hier mit den Binärwerten 0 und 1 dargestellt, wobei jedes (+) als 0 und jedes (-) als 1 dargestellt wird. Mit anderen Worten zeigt eine 1 jeweils an, dass das zugeordnete Vorzeichen umgekehrt werden muss. In diesem Beispiel lautet der horizontale Reflektor R_H= 010₂. Es ist also nur beim Filterungsergebnis des Filters (B) 500 das Vorzeichen umzukehren. Der Index 2 kennzeichnet die Binärnotation. In der dritten Zeile sind die gemäß der zweiten Symmetrieart 703 bzw. vertikal gespiegelten Filterkerne bzw. Filter (A) 300, (B) 500 und (C) 550 dargestellt. Hier ergibt sich der vertikale Reflektor Rv= 110₂. Das bedeutet, dass für die Filterungsergebnisse des Filters (A) 300 und des Filters (B) 500 jeweils das Vorzeichen umzukehren ist. Die vierte Zeile zeigt schließlich die gemäß der dritten Symmetrieart 704 gespiegelten bzw. punktgespiegelten Filterkerne bzw. Filter (A) 300, (B) 500 und (C) 550, wobei das Spiegelzentrum mit dem Schnittpunkt der ebenfalls dargestellten Symmetrieachsen übereinstimmt. Hier ergibt sich der Punktreflektor R_P= 100₂. Es ist also nur beim Filterungsergebnis des Filters (A) 300 das Vorzeichen umzukehren.
Der Reflektor für die Punktspiegelung bzw. der Punktreflektor R_P kann auch auf alternative Weise ermittelt werden: Und zwar sind pro Filter (A) 300, (B) 500 und (C) 550 die gefundenen Vorzeichen für horizontale und vertikale Spiegelung miteinander zu multiplizieren, sodass sich beispielsweise bei Filter (A) 300 ergibt: (+)·(-) = (-). Entsprechend für Filter (B) 500 somit (-)·(-) = (+), sowie für Filter (C) 550 somit (+)·(+) = (+). In der binären Darstellung bedeutet dies, dass die Reflektoren per binärer XOR-Operation (Binäres Exklusiv-Oder), dargestellt mit dem Symbol ^ wie in der Programmiersprache C++, miteinander zu verknüpfen sind, wie folgt: R_H ^ R_v= Rp, was anhand des Beispiels 010₂ ^ 110₂= 100₂ nachprüfbar ist.
8 zeigt eine schematische Darstellung einer Signatur 127, von Reflektoren R_H, R_V und R_P und von Spiegelsignaturen 129H, 129V und 129P gemäß einem Ausführungsbeispiel. Genauer gesagt veranschaulicht 8 das Anwenden der Reflektoren R_H, R_V und R_P aus 7 auf die Signatur 127 aus 6, um die Spiegelsignaturen 129H, 129V und 129P zu erhalten. Die ursprüngliche Signatur 127 bzw. original-Signatur 127 kann auch mit s gekennzeichnet sein. Eine horizontal gespiegelte Signatur bzw. horizontale Spiegelsignatur 129H kann auch mit s_H gekennzeichnet sein, eine vertikal gespiegelte Signatur bzw. vertikale Spiegelsignatur 129V kann auch mit sv gekennzeichnet sein und eine punktgespiegelte Signatur bzw. Spiegelsignatur 129P kann auch mit s_P gekennzeichnet sein.
In 8 sind drei Blöcke aus jeweils der ursprünglichen Signatur 127 bzw. Original-Signatur 127, einem der Reflektoren R_H, R_V und R_P und einer der Spiegelsignaturen 129H, 129V und 129P bzw. s_H, s_V und s_P dargestellt. In einem ersten Block ist die Original-Signatur s, mit einem Wert von 2412, mit dem horizontalen Reflektor R_H horizontal reflektiert zu der horizontalen Spiegelsignatur 129H bzw. S_H, mit einem Wert von 2540. In einem zweiten Block ist die Original-Signatur s mit dem vertikalen Reflektor Rv vertikal reflektiert zu der vertikalen Spiegelsignatur 129V bzw. sv, mit einem Wert von 492. In einem dritten Block ist die Original-Signatur s mit dem Punktreflektor R_P punktreflektiert zu der punktgespiegelten Spiegelsignatur 129P bzw. s_P, mit einem Wert von 364. Die Reflektoren R_H, R_V und R_P nehmen nur Einfluss auf die Vorzeichen der Original-Signatur 127 bzw. s. Die restlichen Anteile der Original-Signatur 127 bzw. s bleiben unbeeinflusst.
Jeder Reflektor R_H, R_V, R_P ist jeweils auf Vorzeichen-Bits der Signatur 127 bzw. s anzuwenden. Ein aktiver Teil jedes Reflektors R_H, R_V, R_P hat demnach die gleiche Länge in Bit wie die Signatur 127 bzw. s Vorzeichen aufweist. Damit existiert also eine eindeutige Zuordnung zwischen Reflektor-Bits und Vorzeichen-Bits der Signatur 127 bzw. s. Zusätzlich kann jeder Reflektor R_H, R_V, R_P noch passive Füll-Bits aufweisen, die keine Wirkung bei Anwendung auf die Signatur haben. Jeder Reflektor R_H, R_V, R_P wird so auf die Signatur 127 bzw. s angewandt, dass das Vorzeichen-Bit genau dann umzukehren ist, wenn das entsprechende Reflektor-Bit 1 ist.
8 zeigt dies anhand der 12 Bit langen Signatur 127 bzw. s aus 6, auf die die Reflektoren R_H, R_V und R_P angewandt werden, um somit die Spiegelsignaturen 129H, 129V und 129P bzw. gespiegelten Signaturen S_H (horizontale Spiegelung), s_V (vertikale Spiegelung) und s_P (Punktspiegelung) zu erhalten. Die passiven Bits ohne Wirkung sind ausgegraut bzw. blass dargestellt. Sie sind stets zu 0 gesetzt. Zusammenfassend werden in diesem Ausführungsbeispiel mit den drei Reflektoren R_H; R_V; R_P die folgenden binären XOR-Operation durchgeführt, um aus der Signatur 127 bzw. s die reflektierten Deskriptoren bzw. Spiegelsignaturen 129H, 129V und 129P bzw. s_H, s_V und s_P zu erhalten: s_H= s ^ R_H, s_V= s ^ R_V, s_P= s ^ R_P.
Die Anwendung der Reflektoren R_H, R_V und R_P ist mit erheblich weniger Rechenoperationen verbunden, als wenn jeweils gespiegelte Filter auf das Originalbild oder alternativ die originalen Filter auf ein gespiegeltes Bild angewandt würden. Trotzdem werden gleichwertige bzw. identische Ergebnisse erhalten. Es wird somit also ermöglicht, zu einer ermittelten bzw. erzeugten Signatur 127 bzw. s, die vielleicht auch für weitere Zwecke benötigt wird, z. B. um den optischen Fluss zu ermitteln, auf sehr aufwandsgünstige Weise die gespiegelten Varianten bzw. Spiegelsignaturen s_H, s_V, und s_P zu ermitteln. Nachfolgend wird noch detaillierter aufgezeigt, wie hieraus Nutzen gezogen werden kann.
Es sei angemerkt, dass (s^ R) ^ R= s gilt: Das Anwenden eines Reflektors auf die reflektierte bzw. gespiegelte Signatur führt also wieder auf die ursprüngliche Signatur 127 bzw. s. Es spielt demzufolge keine Rolle, ob man zu einer Signatur s bzw. 127 die gespiegelte Signatur bzw. Spiegelsignatur (s ^ R) sucht oder ob man zur gespiegelten Signatur (s ^ R) die zweifach gespiegelte Signatur s = (s ^ R) ^ R sucht. In beiden Fällen findet man das gleiche Signaturpaar, jedoch in unterschiedlicher Reihenfolge. In der Praxis ist es sinnvoll und ausreichend, das jeweilige Signaturpaar nur einmal zu finden: Dies halbiert den Aufwand. Abschließend sei noch darauf hingewiesen, dass die hier betrachteten drei Reflektoren R_H; R_V; R_P nur eine kleine Teilmenge aller möglichen Reflektoren darstellen: Wenn zu einer Signatur k vorzeichenbehaftete Werte beitragen, dann können also k Vorzeichen umgekehrt werden und es sind demzufolge 2^k Reflektoren darstellbar. Einige weitere als die drei obengenannten sind für praktische Anwendungen nützlich, beispielsweise die Reflektoren für eine Achsensymmetrie zu einer steigenden Diagonale oder zu einer fallenden Diagonale.
9 zeigt eine schematische Darstellung von Spiegelsignaturen s_H, s_V, und s_P zu einer jeweiligen Signatur s gemäß einem Ausführungsbeispiel. Gezeigt sind hier zu drei Teilbilder 901, 902 und 903 mit jeweils einer Signatur s und einer der Spiegelsignaturen s_H, s_V, und s_P. In einem ersten Teilbild 901 ist ein symmetrisches Signaturpaar aus einer Signatur s und einer horizontal gespiegelten Signatur s_H gezeigt, in einem zweiten Teilbild 902 ist ein symmetrisches Signaturpaar aus einer Signatur s und einer vertikal gespiegelten Signatur sv gezeigt und in einem dritten Teilbild 903 ist ein symmetrisches Signaturpaar aus einer Signatur s und einer punktgespiegelten Signatur s_P gezeigt.
In 9 gezeigte Raster entsprechen dem Pixelgitter aus 4. In diesem Raster sollen die Signaturen s vorliegen, die jeweils den Bildinhalt einer lokalen Umgebung in kompakter Form beschreiben. Tritt in einem Suchbereich um eine Signatur s bzw. in einer Umgebung einer Signatur s die zugehörige Spiegelsignatur s_H bzw. s_V bzw. s_P auf, so liefert dies einen Hinweis auf eine möglicherweise vorliegende Symmetrie. Auf Mittelpositionen von Verbindungslinien von symmetrischen Signaturpaaren ist dabei im Falle von Achsensymmetrie eine Lage der Symmetrieachse zu erwarten, wobei die Verbindungslinie im Idealfall normal zur Symmetrieachse steht. In 9 ist dies im ersten Teilbild 901 und dem zweiten Teilbild 902 der Fall und sind Mittelpositionen 911 und 912 eingezeichnet. Im Falle einer Punktsymmetrie, wie in dem dritten Teilbild 903, ist an einer Mittelposition 913 ein Symmetriezentrum zu erwarten.
In den Pixelgittern der Teilbilder 901, 902 und 903 seien jeweils Signaturen s gespeichert. Wird bei dem ersten Teilbild 901 in der Umgebung einer Signatur s die zugehörige horizontal gespiegelte Signatur s_H gefunden, so ist das ein Hinweis auf eine möglicherweise etwa mittig dazwischen befindliche senkrechte Symmetrieachse, deren Lage und per Konstruktion erwartete Richtung mit einer ersten Mittelposition 911 angedeutet ist. Analoges gilt, wenn in dem zweiten Teilbild 902 zu einer Signatur s die zugehörige vertikal gespiegelte Signatur sv gefunden wird, was ein Hinweis auf eine etwa mittig dazwischen befindliche waagerechte Symmetrieachse an einer zweiten Mittelposition 912 ist. Wird in dem dritten Teilbild 903 zur Signatur s die zugehörige punktgespiegelte Signatur s_P gefunden, ist dies ein Hinweis auf ein Punktsymmetriezentrum etwa mittig dazwischen an einer dritten Mittelposition 913.
Es kann sinnvoll sein, eine Größe eines Suchbereichs um die Signaturen s einzuschränken: Beispielsweise braucht ein Suchbereich höchstens so groß zu sein wie das größte symmetrische Objekt im Bild, das noch von Interesse ist bzw. in der vorliegenden Bildauflösungsstufe gefunden werden soll. Noch größere symmetrische Objekte können dann in einem Bild mit reduzierter Auflösung gesucht werden, z. B. im Sinne einer Auflösungspyramide. Ebenso kann es sinnvoll sein, eine Beschränkung nach unten vorzunehmen, d. h. symmetrische Signaturpaare mit zu kleinem Abstand zu ignorieren oder geringer zu gewichten, z. B. weil diese nicht von Interesse sind oder weil sie in einer höheren Auflösungsstufe besser, z. B. genauer, behandelt werden können. Somit ist die Überprüfungseinrichtung der Vorrichtung aus 1 ausgebildet, um im Hinblick auf den Suchbereich für jeden Reflektor einen Teilbereich zu berücksichtigen, wobei Abmessungen jedes Teilbereichs abhängig von akzeptierten Abmessungen von in den Bilddaten zu detektierenden Objekten und/oder abhängig von Vorgabedaten hinsichtlich einer Symmetriegenauigkeit gewählt sind.
10 zeigt eine schematische Darstellung einer Vielzahl von Spiegelsignaturen zu jeweiligen Signaturen gemäß einem Ausführungsbeispiel. Gewissermaßen zeigt 10 eine Fortsetzung zu 9 ebenfalls in drei Teilbildern 1001, 1002 und 1003. Hierbei ähneln die Teilbilder 1001, 1002 und 1003 den Teilbildern aus 9, wobei in 10 in jedem der Teilbilder 1001, 1002 und 1003 mehrere symmetrische Signaturpaare dargestellt sind.
Werden mehrere symmetrische Signaturpaare aus einer Signatur und ihrer Spiegelsignatur gefunden, so können sich Hinweise auf ein Vorhandensein einer Symmetrie und der zugehörigen Symmetrieachse verdichten, wie hier dargestellt. Ein Abstand zwischen Signatur und Spiegelsignatur eines symmetrischen Signaturpaares darf dabei kleiner oder größer sein. Auch können kleinere Ungenauigkeiten akzeptiert und somit in der Praxis mehr Treffer im Sinne eines erfolgreichen Auffindens von symmetrischen Signaturpaaren und dadurch schließlich eine höhere Robustheit erzielt werden, z. B. indem zugelassen wird, dass die Verbindungslinie eines symmetrischen Signaturpaares nicht exakt senkrecht zur erwarteten Symmetrieachse steht, sondern von diesem Idealfall um einen vordefinierten Toleranzwert abweichen darf.
11 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem Ausführungsbeispiel. Die Nachschlagtabelle 1130 ist hierbei durch die Überprüfungseinrichtung aus 1 verwendbar. Die Nachschlagtabelle 1130 kann hier auch als eine Einstiegstabelle bezeichnet werden. Gezeigt ist ein Pixelgitter 1100, in dem für ein aktuell betrachtetes bzw. bearbeitetes Pixel eine Signatur s mit dem beispielhaften Wert 2412 erzeugt wurde. Anders ausgedrückt zeigt 11 eine Momentaufnahme während einer Bildung einer Verkettung von Pixeln bzw. Pixelkoordinaten mit identischer Signatur s. Zur besseren Übersichtlichkeit ist nur eine von bis zu N möglichen Ketten dargestellt. In dem Pixelgitter 1100 kann pro Pixel ein Verweis auf die Position der letzten Vorgängersignatur gespeichert werden, die denselben Signaturwert hatte. Die Signaturwerte selbst brauchen somit nicht gespeichert zu werden. In der Nachschlagtabelle 1130 bzw. Einstiegstabelle mit N Tabellenfeldern ist pro Signaturwert eine entsprechende Einstiegsposition in dem Pixelgitter 1100 gespeichert. Dabei entspricht N einer Anzahl möglicher Signaturwerte. Der gespeicherte Wert kann auch „ungültig“ sein.
Eine z. B. zeilenweise Bearbeitung Pixel für Pixel in dem Pixelgitter 1100 begann z. B. oben links in 11, wie es durch einen Pfeil veranschaulicht ist, und ist aktuell bis zu einem Pixel fortgeschritten, das die Signatur s = 2412 aufweist. Zu diesem Signaturwert existiert bereits eine Verkettung, auf welche die Einstiegstabelle 1130 verweist. Diese umfasst zum dargestellten Zeitpunkt zwei Elemente: die Pixelpositionen mit der Signatur s mitsamt den durch geschwungene Pfeile veranschaulichten Verweisen darauf. Eine Verkettung zwischen Pixelpositionen mit der Signatur s ist hierbei lediglich für einen ersten Bildbereich 1101 gespeichert. Für einen zweiten Bildbereich 1102 im unteren Bildteil sind die Verkettungen und Signaturen zum dargestellten Zeitpunkt noch nicht bekannt, und für einen dritten Bildbereich 1103 im oberen Bildteil wird die Verkettung, z. B. aufgrund einer Beschränkung eines vertikalen Suchbereichs, nicht mehr benötigt, wobei ein Verkettungsspeicher für Pixel in dem dritten Bildbereich 1103 wieder freigegeben werden kann.
12 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem Ausführungsbeispiel. Die Darstellung in 12 entspricht hierbei der Darstellung aus 11, mit Ausnahme dessen, dass eine Fortsetzung der Momentaufnahme von 11 gezeigt ist, wobei in 12 dargestellt ist, wie die aktuelle Pixelposition, der die Signatur s = 2412 zugeordnet ist, in die entsprechende Verkettung eingebaut wird bzw. in der Nachschlagtabelle 1130 bzw. Einstiegstabelle gespeichert ist.
Sobald an der aktuellen Pixelposition der Signaturwert, hier s = 2412, bekannt ist, kann in der Einstiegstabelle 1130 die entsprechende Einstiegsposition nachgelesen werden. Siehe hierzu auch die gepunktete Linie in der vorherigen 11. Diese alte Einstiegsposition wird an der aktuellen Pixelposition eingetragen. Anschließend wird als neue Einstiegsposition die aktuelle Pixelposition selbst eingetragen. Somit ist die Verkettung nun auf drei Elemente angewachsen, sodass alle gültigen Pixelpositionen im ersten Bildbereich 1101, denen der Signaturwert s = 2412 zugeordnet ist, hierüber erreicht werden können.
13 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem Ausführungsbeispiel. Die Darstellung in 13 entspricht der Darstellung aus 11 bzw. 12 mit Ausnahme dessen, dass auf die Signatur s bzw. den Signaturwert s = 2412 der aktuellen Pixelposition der vertikale Reflektor Rv angewandt wurde, s ^ Rv, um die vertikale Spiegelsignatur s_V mit dem Signaturwert s_V = 492 und deren Verkettung von Pixelkoordinaten bzw. Pixelpositionen in dem Pixelgitter 1100 zu finden.
13 zeigt somit anders ausgedrückt eine Suche nach vertikal-symmetrischen Korrespondenzen in Gestalt einer Momentaufnahme. Die Momentaufnahme von 13 kann eine mögliche Fortsetzung der Momentaufnahme von 12 sein. Für die an der aktuell bearbeiteten Pixelposition gebildete Signatur s mit Wert 2412 wird mittels des vertikalen Reflektors Rv die vertikal gespiegelte Signatur s_V = 492 gebildet, wie es auch in 8 gezeigt ist. Dieser Wert der vertikal gespiegelten Signatur s_V wird als Adresse in die Nachschlagtabelle 1130 verwendet, um diejenige Verkettung von Pixelpositionen zu finden, denen derselbe Signaturwert sv = 492 zugeordnet ist. Diese Verkettung besteht hier aus drei Pixelpositionen, von denen der älteste Eintrag in dem dritten Bildbereich 1103 bereits veraltet und nicht mehr von Interesse ist. Er kann auch bereits gelöscht und der entsprechende Speicher inzwischen anderweitig verwendet sein. Die jüngeren beiden Pixelpositionseinträge sind noch von Interesse und werden beim Durchhangeln entlang der Kette gefunden. Nur der zweite Eintrag befindet sich innerhalb eines Suchbereichs 1330 für vertikale Symmetrie. Die diesem Pixel zugeordnete Signatur, die gleich der vertikalen Spiegelsignatur sv zu der Signatur s ist, bildet mit der aktuellen Signatur s ein vertikales Symmetrie-Paar bzw. symmetrisches Signaturpaar. Etwa mittig auf eine Verbindungslinie zwischen den Partnern des vertikalen Symmetrie-Paars ist die waagerechte Symmetrieachse zu erwarten, deren Lage und Orientierung hier an der entsprechenden Mittelposition 912 veranschaulicht ist.
Damit ist diese Aufgabe, also das Suchen nach der vertikalen Symmetrie-Korrespondenz, gelöst. In diesem Beispiel wird nur eine Symmetrie-Korrespondenz innerhalb des Suchbereichs 1330 für vertikale Symmetrie gefunden, es könnten jedoch auch mehrere sein. Die Form des Suchbereichs 1330 für vertikale Symmetrie ergibt sich hier aus folgenden Überlegungen: Er ist nach oben beschränkt, da größere Objekte nicht gesucht werden und/oder weil die Größe des Verkettungsspeichers beschränkt ist. Er ist nach unten beschränkt, um sehr kleine Objekte auszuschließen. Er ist zu beiden Seiten links und rechts beschränkt, da vertikalsymmetrische Signaturpaare etwa untereinander angeordnet sind. Geringfügige Abweichungen im Sinne schiefer Verbindungsachsen werden dabei zugelassen, wobei sich hierfür den Suchbereich 1330 für vertikale Symmetrie eine Keulenform ergibt.
Die Keulenform befindet sich hier also oberhalb der Position der Signatur s mit Wert 2412. Die mögliche Vermutung, dass eine zweite, symmetrisch zur ersten, angeordnete Keulenform im Bereich 1102 unterhalb der Signatur s mit Wert 2412 nötig sei, um alle vertikalsymmetrische Signaturpaare finden zu können, ist nichtzutreffend.
Denn Aufgrund der Eigenschaft (s ^ R) ^ R= s werden alle gesuchten vertikalsymmetrische Signaturpaare bereits mit dem eingezeichneten keulenförmigen Suchbereich 1330 gefunden.
14 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem Ausführungsbeispiel. Die Darstellung in 14 entspricht der Darstellung aus 13 mit Ausnahme dessen, dass auf die Signatur s bzw. den Signaturwert s = 2412 der aktuellen Pixelposition der horizontale Reflektor R_H angewandt wurde, s ^ R_H, um die horizontale Spiegelsignatur s_H mit dem Signaturwert s_H = 2540 und deren Verkettung von Pixelkoordinaten bzw. Pixelpositionen in dem Pixelgitter 1100 zu finden.
14 zeigt somit anders ausgedrückt eine Suche nach horizontalsymmetrischen Korrespondenzen in Gestalt einer Momentaufnahme. Für die soeben an der aktuell bearbeiteten Pixelposition gebildete Signatur s mit Wert 2412 wird mittels des horizontalen Reflektors R_H die horizontal gespiegelte Signatur s_H mit Wert s_H = 2540 gebildet, siehe auch 8. Dieser Wert wird als Adresse in die Einstiegstabelle 1130 verwendet, um diejenige Verkettung von Pixelpositionen zu finden, denen derselbe Signaturwert s_H= 2540 zugeordnet ist. Diese Verkettung besteht hier aus drei Pixelpositionen, die alle im ersten Bildbereich 1101 liegen.
Anders als bei der Suche nach der vertikal-symmetrischen Korrespondenz in 13 ist hier ein Suchbereich 1430 für horizontale Symmetrie geteilt in einen linken und einen rechten Abschnitt. Das ist aus Kausalitätsgründen nötig, denn zur aktuell erzeugten Signatur s können nur Korrespondenzen zu Pixelkoordinaten gesucht werden, deren Signatur bereits berechnet worden ist und die sich innerhalb des ersten Bildbereichs 1101 befinden. Aufgrund der Eigenschaft (s ^ R) ^ R= s wird auch hier, auch trotz der Zweiteilung des Suchbereichs 1430 für horizontale Symmetrie, das gewünschte Ergebnis erreicht. In diesem Beispiel wird eine Kette von drei Pixelpositionen gefunden, von denen das erste Element innerhalb des Suchbereichs 1430 für horizontale Symmetrie liegt und somit einen gesuchten Symmetriepartner eines symmetrischen Signaturpaars liefert. Eine erwartete senkrechte Symmetrieachse liegt etwa mittig auf einer Verbindungslinie des symmetrischen Signaturpaares - hier veranschaulicht durch Mittelposition 911. Die weitere Suche kann hier vorzeitig abgebrochen werden, und zwar ab einer Begrenzungslinie 1404, die eine obere Grenze des Suchbereichs 1430 für horizontale Symmetrie darstellt. Denn wird beim Durchhangeln entlang der Kette von Signaturpositionen diese Begrenzungslinie 1404 überschritten, ist es anschließend unmöglich, weitere Korrespondenzen zu finden, die innerhalb des Suchbereichs 1430 für horizontale Symmetrie liegen. Die Suche kann somit abgebrochen werden.
15 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem Ausführungsbeispiel. Die Darstellung in 15 entspricht der Darstellung aus 13 bzw. 14 mit Ausnahme dessen, dass auf die Signatur s bzw. den Signaturwert s = 2412 der aktuellen Pixelposition der Punktreflektor R_P angewandt wurde, s ^ R_P, um die punktgespiegelte Spiegelsignatur s_P mit dem Signaturwert s_P = 364 und deren Verkettung von Pixelkoordinaten bzw. Pixelpositionen in dem Pixelgitter 1100 zu finden.
15 zeigt somit anders ausgedrückt eine Suche nach punktsymmetrischen Korrespondenzen in Gestalt einer Momentaufnahme. Für die soeben an der aktuell bearbeiteten Pixelposition gebildete Signatur s mit Wert 2412 wird mittels des Punktreflektors R_P die punktgespiegelte Signatur s_P = 364 gebildet, siehe auch 8. Dieser Wert wird als Adresse in die Nachschlagtabelle 1130 verwendet, um diejenige Verkettung von Pixelpositionen zu finden, denen derselbe Signaturwert s_P = 364 zugeordnet ist. Diese Verkettung besteht hier aus drei Pixelpositionen, die alle im ersten Bildbereich 1101 liegen.
Der Suchbereich 1530 für Punktsymmetrie hat hier als Außengrenze und als Innengrenze eine Achteckform. Es könnte auch eine andere Form gewählt sein, z. B. Rechteck oder Kreis. Aufgrund der Kausalität ist wieder nur der Teil der Achteckfläche zu betrachten, der im ersten Bildbereich 1101 liegt. Auch hier zeigt eine Begrenzungslinie 1504 an, ab welcher Stelle die Suche vorzeitig abgebrochen werden darf. Beim Durchhangeln entlang der Verkettung werden hier zwei punktsymmetrische Korrespondenz-Kandidaten innerhalb des Suchbereichs 1530 für Punktsymmetrie gefunden. Somit entstehen mittig auf der jeweiligen Verbindungslinie auch zwei Kandidaten für eine Lage des Symmetriezentrums an den Mittelpositionen 913. Diese Mehrdeutigkeit stellt kein Problem dar - sie braucht an dieser Stelle nicht aufgelöst zu werden, denn dies ist in einem nachgeordneten Verarbeitungsschritt einfacher und besser lösbar, z. B. mit einer Gewichtung bzw. einem Voting-Ansatz, wie es nachfolgend noch detaillierter ausgeführt ist.
16 zeigt eine zusammenfassende Darstellung der 13, 14 und 15. Hierbei sind die 13, 14 und 15 in der Darstellung von 16 übereinandergelegt. Der Suchbereich 1330 für horizontale Symmetrie, der Suchbereich 1430 für vertikale Symmetrie und der Suchbereich 1530 für Punktsymmetrie sind auch als Teilbereiche eines gemeinsamen Suchbereichs zu verstehen, der alle genannten Suchbereiche 1330, 1430 und 1530 umfasst. Anhand von 16 soll verdeutlicht werden, dass die Suchen nach den unterschiedlichen Symmetriearten alle gleichzeitig oder quasi gleichzeitig stattfinden können. Für die soeben an der aktuell bearbeiteten Pixelposition gebildete Signatur s mit Wert 2412 können also zumindest teilweise zeitgleich die verschiedenen Reflektoren R_H, R_V und R_P angewandt und die drei Einstiegskoordinaten in die horizontal symmetrische, vertikal symmetrische und punktsymmetrische Signaturverkettung gefunden werden, hier beispielsweise an den Adressen 2540, 492 und 364. Es ist automatisch gegeben, dass diese Adressen voneinander verschieden sind, da die zugehörigen Reflektoren voneinander verschieden sind. Ebenso können die Verkettungen parallel abgearbeitet werden. Ebenso kann das Aktualisieren der Verkettung gemäß 11 bis 12 parallel abgearbeitet werden, denn die Adresse zu der Signatur s ist wiederum verschieden zu den obengenannten drei Adressen. Somit entsteht bei paralleler Abarbeitung kein Zugriffskonflikt, auch nicht bei der parallelen Abarbeitung entlang der Signaturverkettungen. Damit ist das nachfolgend unter Bezugnahme auf 23 beschriebene Verfahren auch sehr gut für eine Implementierung in Hardware geeignet, z. B. in einem ASIC oder SoC. Sollte eine Verkettung sich während der Bearbeitung als zu lang erweisen, um diese in einem vorgesehenen Zeitbudget abzuschließen, so können ein vorzeitiger Abbruch und/oder ein Verwerfen der Ergebnisse dieser Kette durchgeführt werden.
17 zeigt eine vereinfachte Darstellung von 16. Die Verkettungen sowie die Nachschlagtabelle sind zur besseren Übersichtlichkeit hier nicht dargestellt, jedoch sind der Suchbereich 1330 für vertikale Symmetrie, der Suchbereich 1430 für horizontale Symmetrie und der Suchbereich 1530 für Punktsymmetrie gezeigt. Ebenso dargestellt sind die gefundenen Pixelpositionen, die jeweils mit der aktuellen Pixelposition ein symmetrisches Signaturpaar darstellen. Weiterhin dargestellt sind die Verbindungslinien und jeweils mittig darauf die Mittelpositionen 911, 912 und 913, an denen die Lage der Symmetrieachsen bzw. die Lage des jeweiligen Punktsymmetriezentrums zu erwarten ist. Die weitere Verarbeitung im Sinne einer Informationsverdichtung ist nachfolgend noch detaillierter beschrieben.
Unter Bezugnahme insbesondere auf die 11 bis 17 wird nachfolgend eine Suche nach symmetrischen Signaturpaaren nochmals mit anderen Worten und zusammenfassend erläutert.
Hierbei wird eine Bildung von Symmetrie-Korrespondenzen anhand eines Ausführungsbeispiels veranschaulicht. Dabei sollen zu einem Deskriptor-Wert ein oder mehrere symmetrische Gegenstücke gefunden werden. Während Korrespondenzbildung im Allgemeinen ein rechenaufwendiges Problem darstellen kann, wird hierin eine Lösung aufgezeigt, die effizient ist. Dabei wird nicht nach Spiegel-Ähnlichkeit, sondern nach Spiegel-Identität gesucht. Es können eine oder auch mehrere Symmetriearten gleichzeitig betrachtet werden, beispielsweise drei Symmetriearten: vertikale Symmetrie, horizontale Symmetrie und Punktsymmetrie.
Hinsichtlich des Pixelgitters 1100 ist anzumerken, dass nicht die Signaturen s selbst abgespeichert werden, sondern lediglich Verweise bzw. Zeiger auf Pixelpositionen mit gesuchten Signaturen s. Hierbei ist es beispielsweise ausreichend, wenn pro Pixel ein Verweis abgespeichert werden kann. Dieser soll auf denjenigen letzten gültigen Vorgängerpixel verweisen, dem derselbe Signaturwert zugewiesen ist wie dem aktuellen Pixel. Somit entsteht eine Verkettung von Verweisen, entlang derer man sich durchhangeln kann. Dabei erreicht man alle Pixelkoordinaten, denen derselbe gültige Signaturwert zugeordnet ist. Ungültige Signaturwerte, die aus irgendeinem Grunde nicht von Interesse sind, können dabei ignoriert und ausgespart werden, d. h. sie werden bei der Bildung der Verkettung übersprungen.
Der Einstieg in die Verkettung erfolgt mittels der Nachschlagtabelle 1130 bzw. Einstiegstabelle. Diese Nachschlagtabelle (Lookup-Tabelle) gibt für die jeweilige Signatur s die Einstiegskoordinate in die Kette an. Diese ist dynamisch, d. h. die Einstiegskoordinate kann sich im Lauf der Zeit ändern. Wie diese Verkettung entsteht bzw. fortlaufend aktualisiert wird, ist aus 11 und 12 zu entnehmen. Diese Form des Abspeicherns von Signaturen s mit einer Nachschlagtabelle 1130 und im Pixelgitter 1100 gespeicherten Verweisen als Ketten bietet den Vorteil, dass zur jeweiligen Signatur s alle Pixelkoordinaten mit derselben Signatur s direkt und ohne aufwändige Suche gefunden werden können, nämlich durch einfaches Abarbeiten der jeweiligen Kette bzw. Verkettung.
Die 13 bis 15 veranschaulichen für jeweils eine Symmetrieform, wie unter Nutzung der Verkettungen die symmetrischen Signaturpaare gefunden werden können, wobei jeweils ein für die Symmetrieform spezifischer Suchbereich 1330, 1430, 1530 berücksichtigt werden kann. 16 fasst die vorgenannten drei Figuren zusammen, um zu verdeutlichen, dass alle Symmetrieformen gemeinsam und gleichzeitig gesucht werden können, und zwar unter Nutzung derselben Ressourcen, d. h. derselben Einstiegstabelle 1130 und desselben Verkettungsspeichers, um eine erhöhte Effizienz zu bieten. 17 stellt die so schließlich gefundenen symmetrischen Signaturpaare übersichtlicher dar.
Bezogen auf die Vorrichtung aus 1 sei angemerkt, dass die Erzeugungseinrichtung somit gemäß einem Ausführungsbeispiel ausgebildet ist, um für jede erzeugte Signatur s Pixelkoordinaten eines die gleiche Signatur s aufweisenden Pixels in der Nachschlagtabelle 1130 zu speichern, und die Überprüfungseinrichtung ausgebildet ist, um auf die Nachschlagtabelle 1130 zuzugreifen, um das zumindest eine weitere Pixel zu finden. Insbesondere ist die Erzeugungseinrichtung auch ausgebildet, um in der Nachschlagtabelle 1130 für jede erzeugte Signatur s die Pixelkoordinaten eines die gleiche Signatur s aufweisenden Nachfolgerpixels zu speichern, für das die Signatur s zuletzt erzeugt wurde. Zusätzlich oder alternativ ist die Erzeugungseinrichtung ausgebildet, um in einem Verkettungsspeicher Pixelkoordinaten von zumindest einem die gleiche Signatur s aufweisenden Vorgängerpixel zu speichern, für das die Signatur s vorhergehend erzeugt wurde.
Wenn symmetrische Signaturpaare vorliegen, ist es sinnvoll, für das Bestimmen einer Symmetrieeigenschaft noch eine Informationsverdichtung anzuschließen, um zu einer robusten Symmetriedetektion zu kommen. Nachfolgend werden hierzu kurz lediglich einige mögliche Vorgehensweisen dargestellt.
Eine besonders robuste Detektion von Symmetriezentren bzw. Symmetrieachsen wird mit einem Voting-Ansatz erreicht, also einem Abstimmen. Dabei kann jedes symmetrische Signaturpaar eine Stimme bzw. ein Stimmgewicht abgeben. Zum Aufsammeln der Stimmen wird ein Abstimmungsbild verwendet, in dem Stimmgewichte akkumuliert bzw. additiv aufsummiert werden. Das Abstimmungsbild kann die gleiche Größe wie das Signaturbild bzw. Pixelgitter 1100 aufweisen. Es genügt im Sinne der Momentaufnahme auch, nur den Teil des Abstimmungsbildes zu speichern, der dem ersten Bildbereich 1101 entspricht, denn nur in diesen Bereich können die abgegebenen Stimmen fallen. Was in Richtung des dritten Bildbereichs 1103 hinauswandert, ändert sich danach nicht mehr und kann sofort ausgewertet werden, z. B. mittels Glättungsfilterung und Bestimmung der lokalen Maxima. Das führt zu einer Informationsverdichtung und spart Speicher oder zur schnelleren Verfügbarkeit von (Zwischen-) Ergebnissen. Das symmetrische Signaturpaar gibt seine Stimme für die jeweilige Mittelposition 911, 912, 913, d.h. eine Position mittig zwischen Signaturposition und Spiegelsignaturposition ab. Fällt diese Mittelposition 911, 912, 913 auf eine Ganzpixelposition im Abstimmungsbild, so wird das Stimmgewicht an dieser Speicherstelle hinzuaddiert. Das Stimmgewicht kann im einfachsten Falle konstant 1 betragen oder es kann gewichtet sein, z. B. in Abhängigkeit von Länge und Richtung der Verbindungslinie oder in Abhängigkeit von Signaturhäufigkeiten oder Spiegelsignaturhäufigkeiten. Fällt die Mittelposition 911, 912, 913 nicht auf eine Ganzpixelposition, siehe auch 10, so kann das Stimmgewicht auf benachbarte Pixelpositionen bzw. Pixelkoordinaten aufgeteilt werden. Beispielsweise kann es auf die zwei oder vier nächstgelegenen Pixelpositionen aufgeteilt werden, z. B. unter Berücksichtigung der Abstände, z. B. nach den Regeln der bilinearen Interpolation. Je mehr Stimmgewichte sich an einer Pixelposition im Abstimmungsbild und in unmittelbarer Nähe anhäufen, umso stärker ist damit ein Indiz für das Vorhandensein eines Punktsymmetriezentrums bzw. einer Symmetrieachse gegeben.
Bezogen auf die Vorrichtung aus 1 sei angemerkt, dass die Auswerteeinrichtung hierbei ausgebildet ist, um eine Mittelposition 911, 912, 913 zwischen Signaturposition und Spiegelsignaturposition des zumindest einen symmetrischen Signaturpaars mit einem Gewichtungsfaktor zu gewichten, um für zumindest eine Symmetrieart ein gesondertes Abstimmungsbild mit Pixelkoordinaten von gewichteten Mittelpositionen 911, 912, 913 zu erzeugen. Der Gewichtungsfaktor ist dabei von einer Lage der Mittelposition 911, 912, 913 relativ zu Grenzen zwischen Pixeln und/oder von Länge und Richtung der Verbindungslinie zwischen Signaturposition und Spiegelsignaturposition und/oder von Signaturhäufigkeiten oder Spiegelsignaturhäufigkeiten abhängig.
Zur weiteren Auswertung des Abstimmungsbildes ist es vorteilhaft, dieses zu filtern, z. B. mit einem gerichteten, vorzugsweise vertikal ausgedehnten Glättungsfilter für die horizontale Symmetriedetektion, mit einem gerichteten, vorzugsweise horizontal ausgedehnten Glättungsfilter für die vertikale Symmetriedetektion, mit einem ungerichteten, vorzugsweise isotropen Glättungsfilter für die Punktsymmetriedetektion, etc. In dem so geglätteten Abstimmungsbild können dann dominante Maxima ermittelt werden. Die Positionen dieser Maxima entsprechen den Positionen der gefundenen Punktsymmetriezentren bzw. Symmetrieachsen. Somit ist bezogen auf die Vorrichtung aus 1 die Auswerteeinrichtung ausgebildet, um jedes Abstimmungsbild mittels eines für die jeweilige Symmetrieart spezifischen Glättungsfilters zu filtern und/oder in jedem Abstimmungsbild zumindest ein Maximum zu ermitteln.
Es ist darauf hinzuweisen, dass es vorteilhaft ist, die Symmetriearten getrennt zu behandeln, also horizontale, vertikale, und Punktsymmetrie nicht frühzeitig miteinander zu vermischen. Das kann bedeuteten, dass mehrere Abstimmungsbilder entsprechend der verschiedenen Symmetrieformen parallel nebeneinander existieren und auch unabhängig voneinander geglättet werden.
Eine Zusammenführung der Symmetriearten erfolgt idealerweise erst spät, z. B. abhängig vom gesuchten Objekttyp, beispielsweise mittels der Durchführungseinrichtung der Vorrichtung aus 1. Beispielsweise würde bei einer Suche nach einem Fahrzeug in Frontansicht oder Heckansicht nur horizontale Symmetrie betrachtet, während bei einer Suche nach einem Verkehrszeichen alle drei Symmetriearten relevant sind.
Optional kann zusätzlich zu jedem Abstimmungsbild auch ein Akkumulator-Bild angelegt werden, das zur Ermittlung der Ausdehnung von symmetrischen Objekten genutzt werden kann. Dazu wird bei jeder Eintragung in das Abstimmungsbild zusätzlich an entsprechender Position auch ein Eintrag in das Akkumulator-Bild vorgenommen, wobei ein geometrischer Abstand des symmetrischen Signaturpaares bzw. eine davon abgeleitete Größe - ggf. gewichtet - kumulativ eingetragen wird. Alternativ oder zusätzlich kann auch ein bisheriger Maximal-Abstand eingetragen werden. Bei der späteren Auswertung, insbesondere der Maxima im Abstimmungsbild, kann ggf. der jeweilige Wert im Akkumulator-Bild mit dem entsprechenden Wert im Abstimmungsbild normiert werden. Es wird somit ein, ggf. gemitteltes, Maß erhalten, das von der Ausdehnung des symmetrischen Objekts abhängt und somit entsprechende Rückschlüsse ermöglicht. Die Auswerteeinrichtung der Vorrichtung aus 1 ist hierbei ausgebildet, um zu jedem Abstimmungsbild ein Akkumulatorbild zu generieren, in jedes Akkumulatorbild zu Pixelkoordinaten jeder Mittelposition 911, 912, 913 eine Abstandsinformation über einen Abstand zwischen dem Pixel und dem weiteren Pixel des zu der Mittelposition 911, 912, 913 gehörigen symmetrischen Signaturpaars einzutragen und optional zusätzlich jede Abstandsinformation mit der zugehörigen gewichteten Mittelposition zu normieren.
Zusammenfassend kann angemerkt werden, dass gemäß Ausführungsbeispielen nach Spiegel-Identität statt Spiegel-Ähnlichkeit gesucht wird. Auch kann auf eine Berechnung von Kostenfunktionen und Ähnlichkeitsmaßen verzichtet werden. Lokale Bildbereiche werden durch Signaturen s mit kurzer Wortlänge beschrieben. Es sind Nachschlagtabellen 1130 vorhanden, deren Länge (0 bis N-1) der Mächtigkeit des Raums der Signaturen s entspricht. Signaturen s werden vor dem Zugriff auf die Nachschlagtabellen 1130 durch einfache Operationen, die Reflektoren R_H, R_V und R_P, modifiziert, wobei die Modifikationen jeweils systematisch einen festen Teil der Bits betreffen, die invertiert werden. Es sind Speicherbereiche für die Verkettungen vorhanden, deren Größe mit einer Bilddimension sowie dem Suchbereich 1330, 1430, 1530 zusammenhängt.
18 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem weiteren Ausführungsbeispiel. Die Darstellung in 18 entspricht der Darstellung in 16 mit Ausnahme dessen, dass in 18 auf eine Bildung von Verkettungen von Pixeln mit gleicher Signatur verzichtet ist und lediglich die letzten bekannten Pixelpositionen bzw. Pixelkoordinaten von weiteren Pixeln mit den Spiegelsignaturen gespeichert sind. Es ist auch lediglich die Mittelposition 911 für ein horizontal symmetrisches Signaturpaar dargestellt. Ferner sind in 18 lediglich ein erster Bildbereich 1801 und ein zweiter Bildbereich 1802 in das Pixelgitter 1100 eingezeichnet.
Durch den Verzicht auf die Verkettungen werden der Speicher für die Verkettungen und der Aufwand für das Abarbeiten der Ketten eingespart. Über die Nachschlagtabelle 1130 kann somit lediglich die jeweils letzte bekannte Position eines weiteren Pixels mit einer jeweiligen Spiegelsignatur innerhalb des ersten Bildbereichs 1801 gefunden werden. Bei Verzicht auf die Verkettungen kann über die Einstiegstabelle 1130 zur jeweiligen Signatur s lediglich die zuletzt eingetragene Koordinate für jede Spiegelsignatur gefunden werden. Frühere Eintragungen sind bereits überschrieben.
19 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem weiteren Ausführungsbeispiel. Die Darstellung in 19 entspricht der Darstellung aus 18 mit Ausnahme dessen, dass die Nachschlagtabelle 1130 in 19 ausgebildet ist, um zwei Einstiegskoordinaten zu speichern. Während in der Nachschlagtabelle von 18 lediglich eine Einstiegskoordinate pro Signatur s gespeichert ist, sind in der Nachschlagtabelle 1130 von 19 zwei Einstiegskoordinaten gespeichert, und zwar für das bisher letzte und vorletzte Auftreten der jeweiligen Signatur s bzw. Spiegelsignatur innerhalb des ersten Bildbereichs 1801. Somit können mehr Korrespondenzen gefunden werden als dies in 18 der Fall ist. Es sind auch die Mittelposition 911 für ein horizontal symmetrisches Signaturpaar, die Mittelposition 912 für ein vertikales symmetrisches Signaturpaar und die Mittelposition 913 für ein punktsymmetrisches Signaturpaar dargestellt. Dieser Ansatz ist erweiterbar auf mehr als zwei in der Nachschlagtabelle 1130 gespeicherte Einträge pro Signatur s, indem auch das drittletzte Auftreten gespeichert ist etc. Anders ausgedrückt kann die Nachschlagtabelle 1130 pro Signatur s mehrere Koordinaten von Pixeln des Pixelgitters 1100 speichern, zum Beispiel die letzte und vorletzte.
20 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem weiteren Ausführungsbeispiel. Die Darstellung in 20 entspricht der Darstellung aus 19 mit Ausnahme dessen, dass in der Nachschlagtabelle 1130 eine Einstiegskoordinate pro Signatur s und pro Teilabschnitt 2005, 2006 des Bildes bzw. Pixelgitters 1100 gespeichert sind. Dabei ist der erste Bildbereich 1801 durch eine Trennlinie 2004 in einen lediglich beispielhaft der linken Bildhälfte entsprechenden ersten Teilabschnitt 2005 und den einen lediglich beispielhaft der rechten Bildhälfte entsprechenden zweiten Teilabschnitt 2006 unterteilt.
Somit sind in der Nachschlagtabelle 1130 ebenfalls zwei Einstiegskoordinaten pro Signatur s gespeichert - jedoch nicht für die beiden letzten Auftreten der jeweiligen Signatur s in dem ersten Bildbereich 1801 bzw. auf der Gesamtbreite des Bildes, sondern für das letzte Auftreten in dem ersten Teilabschnitt 2005 und für das letzte Auftreten in dem zweiten Teilabschnitt 2006. Dieses Ausführungsbeispiel kann auch so interpretiert werden, dass das Bild in Teilabschnitte 2005, 2006 zerlegt wird und jedem der Abschnitte 2005, 2006 eine eigene Abschnitts-Einstiegstabelle zugeordnet ist. Dadurch wird auch der Vorteil ersichtlich, dass bei der Symmetrie-Suche nur diejenigen Abschnitts-Einstiegstabellen abgefragt werden brauchen, deren zugehöriger Teilabschnitt 2005, 2006 mit dem jeweiligen Symmetrie-Suchbereich überlappt. Siehe als Beispiel den Suchbereich 1330 für die vertikale Symmetrie, der in dieser Momentaufnahme vollständig im zweiten Teilabschnitt 2006 liegt. Der erste Teilabschnitt 2005 kann momentan also keine Korrespondenz durch eine vertikale Spiegelsignatur s_V beitragen, sodass eine entsprechende Abfrage in der zugehörigen Abschnitts-Einstiegstabelle zeitweise entfallen kann. Auch dieser Ansatz ist erweiterbar auf mehr als zwei in der Einstiegstabelle gespeicherte Einträge pro Signatur s. Das Bild wäre dann in drei oder mehr Teilabschnitte aufzuteilen und die Nachschlagtabelle 1130 wäre so eingerichtet, dass sie für jede Signatur s die Einstiegskoordinate in jeden der Teilabschnitte speichern kann.
21 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem weiteren Ausführungsbeispiel. Die Darstellung in 21 entspricht der Darstellung aus 18 mit Ausnahme dessen, dass in der Nachschlagtabelle 1130 für jede Signatur s eine Einstiegskoordinate pro Spiegelsignatur gespeichert ist, die in einem verschiebbaren bzw. gleitenden Fenster 2101 angeordnet ist. Hierbei sind eine Mittelposition 911 für horizontale Symmetrie und eine Mittelposition 913 für Punktsymmetrie jeweiliger symmetrischer Signaturpaare gefunden und eingezeichnet.
Gemäß diesem Ausführungsbeispiel wird mit einem gleitenden Fenster 2101 gearbeitet, das rechteckig sein kann oder eine andere, komplexere Form aufweist. Gemäß dem hier dargestellten Ausführungsbeispiel entspricht eine Form des gleitenden Fensters 2101 einer Vereinigungsmenge der Suchbereiche 1330, 1430 und 1530 plus einige Pixel im unteren mittleren Bereich und das Pixel mit der aktuell erzeugten Signatur s, die dafür sorgen, dass das Fenster 2101 pro Zeile zusammenhängend ist. So kann ein Aufwand verringert werden. Das Fenster 2101 wird hier zeilenweise von links nach rechts verschoben, wie es durch Pfeile veranschaulicht ist. Bei jedem Schritt des pixelweisen Gleitens von links nach rechts werden die mit A gekennzeichneten Pixelpositionen an der Adresse, die ihrer jeweiligen Signatur s entspricht, in die Nachschlagtabelle 1130 eingetragen. Als optionaler Schritt können vor dem Eintragen der A-Pixel die mit B gekennzeichneten Pixelpositionen, sofern dort noch vorhanden, wieder aus der Nachschlagtabelle 1130 ausgetragen werden, da sie sie sich bereits außerhalb aller Suchbereiche 1330, 1430 und 1530 befinden. Der weitere Ablauf zur Symmetriedetektion ist wie vorhergehend beschrieben.
Anders als bei vorgenannten Ausführungsbeispielen wird die Eintragung einer jeweiligen Pixelkoordinate in die Nachschlagtabelle 1130 nicht einmalig, sondern mehrfach vorgenommen, z. B. einmal pro Zeilendurchlauf. Dies führt dazu, dass zwischenzeitlich stattgefundene Überschreibungen rechtzeitig wieder geheilt werden. Bei dieser Variante kann die Vereinigungsmenge der Suchbereiche 1330, 1430 und 1530 als gleitendes Fenster veranschaulicht werden, das z. B. von links nach rechts in 21 über das Signaturbild bzw. das Pixelgitter 1100 gleitet, wobei die Koordinaten der am rechten Rand in das Fenster 2101 eintretenden Signaturpixel an den entsprechenden Adressen der Nachschlagtabelle 1130 eingetragen werden.
22 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1130 gemäß einem weiteren Ausführungsbeispiel. Die Darstellung in 22 entspricht der Darstellung aus 21 mit Ausnahme dessen, dass in der Nachschlagtabelle 1130 pro Signatur s zwei Einstiegskoordinaten gespeichert sein können, beispielsweise für das letzte und vorletzte Auftreten der jeweiligen Signatur s innerhalb des Fensters 2101. Das in 22 dargestellte Ausführungsbeispiel stellt somit eine Kombination des Ausführungsbeispiels aus 21 mit dem Ausführungsbeispiel aus 19 dar. Hierbei sind eine Mittelposition 911 für horizontale Symmetrie, eine Mittelposition 912 für vertikale Symmetrie und zwei Mittelpositionen 913 für Punktsymmetrie jeweiliger symmetrischer Signaturpaare gefunden und eingezeichnet. In diesem Ausführungsbeispiel werden somit sämtliche Pixelpositionen gefunden, die mit der aktuellen Pixelposition ein symmetrisches Signaturpaar darstellen, wie es auch in 17 der Fall ist.
23 zeigt ein Ablaufdiagramm eines Verfahrens 2300 zum Bestimmen gemäß einem Ausführungsbeispiel. Das Verfahren 2300 zum Bestimmen ist ausführbar, um eine Symmetrieeigenschaft in Bilddaten zu bestimmen. Hierbei ist das Verfahren 2300 zum Bestimmen unter Verwendung der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung bzw. insbesondere unter Verwendung der Bestimmungseinheit der Vorrichtung ausführbar. Auch ist das Verfahren 2300 zum Bestimmen beispielsweise in Verbindung mit dem System aus 1 oder einem anderen System ausführbar. Das Verfahren 2300 zum Bestimmen weist einen Schritt 2310 des Einlesens, einen Schritt 2320 des Erzeugens, einen Schritt 2330 des Anwendens, einen Schritt 2340 des Überprüfens und einen Schritt 2350 des Auswertens auf.
Im Schritt 2310 des Einlesens werden die Bilddaten, welche eine Umgebung des Systems repräsentieren, von einer Schnittstelle zu einer Kamera des Systems eingelesen. Nachfolgend wird im Schritt 2320 des Erzeugens für eine Mehrzahl von Pixeln zumindest eines Ausschnitts eines Bildes der Bilddaten eine Signatur erzeugt, um eine Mehrzahl von Signaturen zu erhalten. Jede der Signaturen wird unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt. Jedes Filter weist zumindest eine Symmetrieart auf. Jede der Signaturen weist für jedes Filter des Deskriptors ein Vorzeichen auf.
Nachfolgend wird Schritt 2330 des Anwendens zumindest ein Reflektor auf die Vorzeichen einer der Signaturen angewendet, um für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter zu ermitteln. Jeder Reflektor weist für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen der Signatur auf. Nachfolgend wird im Schritt 2340 des Überprüfens ein die Signatur aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem von zumindest einem der angewendeten Reflektoren abhängigen Suchbereich in einer Umgebung um das Pixel überprüft, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln.
Wiederum nachfolgend werden im Schritt 2350 des Auswertens die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars des Bildes ausgewertet, um zumindest eine Symmetrievorschrift zum Bestimmen der Symmetrieeigenschaft zu identifizieren und die Symmetrieeigenschaft unter Verwendung der Symmetrievorschrift zu bestimmen.
Insbesondere werden der Schritt 2320 des Erzeugens und/oder der Schritt 2330 des Anwendens und/oder der Schritt 2340 des Überprüfens sequenziell Pixel für Pixel zumindest in dem Ausschnitt des Bildes ausgeführt. Zusätzlich oder alternativ werden im Schritt 2350 des Auswertens Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars des Bildes gesammelt ausgewertet.
Gemäß einem Ausführungsbeispiel weist das Verfahren 2300 zum Bestimmen auch einen Schritt 2325 des Generierens auf. Der Schritt 2325 des Generierens ist dabei vor dem Schritt 2330 des Anwendens ausführbar. In dem Schritt 2325 des Generierens wird ein Reflektor für zumindest eine Symmetrieart in Abhängigkeit von Symmetrieeigenschaften der Filter des Deskriptors, insbesondere mittels einer binären XOR-Operation, generiert. Der generierte Reflektor wird im Schritt 2330 des Anwendens verwendet.
24 zeigt ein Ablaufdiagramm eines Verfahrens 2400 zum Steuern gemäß einem Ausführungsbeispiel. Das Verfahren 2400 zum Steuern ist ausführbar, um eine Funktion eines Systems zu steuern. Hierbei ist das Verfahren 2400 zum Steuern unter Verwendung der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung bzw. insbesondere unter Verwendung der Steuereinheit der Vorrichtung ausführbar. Auch ist das Verfahren 2400 zum Steuern beispielsweise in Verbindung mit dem System aus 1 oder einem anderen System ausführbar. Das Verfahren 2400 zum Steuern weist einen Schritt 2410 des Bestimmens, einen Schritt 2420 des Durchführens und einen Schritt 2430 des Ausgebens auf.
In dem Schritt 2410 des Bestimmens wird eine Symmetrieeigenschaft der Bilddaten durch Ausführen des Verfahrens aus 23 oder eines ähnlichen Verfahrens bestimmt. Insbesondere weist der Schritt 2410 des Bestimmens die Schritte des Verfahrens aus 23 als Teilschritte auf. Nachfolgend wird in dem Schritt 2420 des Durchführens eine Objekterkennung und/oder Objektverfolgung unter Verwendung der bestimmten Symmetrieeigenschaft durchgeführt, um ein Steuersignal zu erzeugen. Nachfolgend wird in dem Schritt 2430 des Ausgebens das Steuersignal an eine Schnittstelle zu einem die Funktion bereitstellenden Teilsystem ausgegeben, um die Funktion zu steuern.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (2300) zum Bestimmen einer Symmetrieeigenschaft in Bilddaten (105), wobei das Verfahren (2300) folgende Schritte aufweist: Einlesen (2310) der Bilddaten (105) von einer Schnittstelle (122) zu einer Kamera (102) eines Systems (100), wobei die Bilddaten (105) eine Umgebung des Systems (100) repräsentieren; Erzeugen (2320) einer Signatur (127, s) für eine Mehrzahl von Pixeln zumindest eines Ausschnitts eines Bildes der Bilddaten (105), um eine Mehrzahl von Signaturen (127, s) zu erhalten, wobei jede der Signaturen (127, s) unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern (300, 500, 550) erzeugt wird, wobei jedes Filter (300, 500, 550) zumindest eine Symmetrieart aufweist, wobei jede der Signaturen (127, s) für jedes Filter (300, 500, 550) des Deskriptors ein Vorzeichen aufweist; Anwenden (2330) zumindest eines Reflektors (R_H, R_V, R_P) auf die Vorzeichen einer der Signaturen (127, s), um für die Signatur (127, s) zumindest eine Spiegelsignatur (129, 129H, 129V, 129P, s_H, s_V, s_P) für zumindest eine Symmetrieart der Filter (300, 500, 550) zu ermitteln, wobei jeder Reflektor (R_H, R_V, R_P) für eine Symmetrieart spezifische und von den Filtern (300, 500, 550) des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweist; Überprüfen (2340) eines die Signatur (127, s) aufweisenden Pixels auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur (129, 129H, 129V, 129P, s_H, s_V, s_P) entsprechenden Signatur (127, s) in einem von zumindest einem der angewendeten Reflektoren (R_H, R_V, R_P) abhängigen Suchbereich (1330, 1430, 1530; 2101) in einer Umgebung um das Pixel, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten (131) zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln; und Auswerten (2350) der Pixelkoordinaten (131) des zumindest einen symmetrischen Signaturpaars des Bildes, um zumindest eine Symmetrievorschrift (911, 912, 913) zum Bestimmen der Symmetrieeigenschaft zu identifizieren.
Verfahren (2300) gemäß Anspruch 1, bei dem der Schritt (2320) des Erzeugens und/oder der Schritt (2330) des Anwendens und/oder der Schritt (2340) des Überprüfens sequenziell Pixel für Pixel zumindest in dem Ausschnitt des Bildes ausgeführt werden, und/oder wobei im Schritt (2350) des Auswertens Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars des Bildes gesammelt ausgewertet werden.
Verfahren (2300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (2320) des Erzeugens für jede erzeugte Signatur (127, s) Pixelkoordinaten (131) zumindest eines die gleiche Signatur (127, s) aufweisenden Pixels in zumindest einer Nachschlagtabelle (1130) gespeichert werden, wobei im Schritt (2340) des Überprüfens auf die zumindest eine Nachschlagtabelle (1130) zugegriffen wird, um das zumindest eine weitere Pixel zu finden.
Verfahren (2300) gemäß Anspruch 3, bei dem im Schritt (2320) des Erzeugens in der Nachschlagtabelle (1130) für jede erzeugte Signatur (127, s) die Pixelkoordinaten (131) eines die gleiche Signatur (127, s) aufweisenden Nachfolgerpixels gespeichert werden, für das die Signatur (127, s) zuletzt erzeugt wurde, und/oder wobei in einem Verkettungsspeicher Pixelkoordinaten (131) von zumindest einem die gleiche Signatur (127, s) aufweisenden Vorgängerpixel gespeichert werden, für das die Signatur (127, s) vorhergehend erzeugt wurde.
Verfahren (2300) gemäß einem der Ansprüche 3 bis 4, bei dem im Schritt (2320) des Erzeugens für jede erzeugte Signatur (127, s) Pixelkoordinaten (131) eines die gleiche Signatur (127, s) aufweisenden Pixels in jedem von mehreren vordefinierten Teilabschnitten (2005, 2006) des Bildes in nach Teilabschnitten (2005, 2006) getrennten Nachschlagtabellen (1130) gespeichert werden.
Verfahren (2300) gemäß einem der Ansprüche 3 bis 5, bei dem im Schritt (2320) des Erzeugens für jede erzeugte Signatur (127, s) ausschließlich Pixelkoordinaten (131) eines die gleiche Signatur (127, s) aufweisenden Pixels, das in einem verschiebbaren Fenster (2101) angeordnet ist, das einen Teilabschnitt des Bildes umfasst, in der Nachschlagtabelle (1130) gespeichert werden.
Verfahren (2300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (2340) des Überprüfens der Suchbereich (1330, 1430, 1530) für jeden Reflektor (R_H, R_V, R_P) einen Teilbereich aufweist, wobei Abmessungen jedes Teilbereichs abhängig von akzeptierten Abmessungen von in den Bilddaten zu detektierenden Objekten und/oder abhängig von Vorgabedaten hinsichtlich einer Symmetriegenauigkeit gewählt sind.
Verfahren (2300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (2350) des Auswertens eine Mittelposition (911, 912, 913) zwischen Signaturposition und Spiegelsignaturposition des zumindest einen symmetrischen Signaturpaars mit einem Gewichtungsfaktor gewichtet wird, um für zumindest eine Symmetrieart ein gesondertes Abstimmungsbild mit Pixelkoordinaten (131) von gewichteten Mittelpositionen zu erzeugen, wobei der Gewichtungsfaktor von einer Lage der Mittelposition (911, 912, 913) relativ zu Grenzen zwischen Pixeln und/oder von Länge und Richtung einer Verbindungslinie zwischen Signaturposition und Spiegelsignaturposition und/oder von Signaturhäufigkeiten oder Spiegelsignaturhäufigkeiten abhängig ist.
Verfahren (2300) gemäß Anspruch 8, bei dem im Schritt (2350) des Auswertens die Mittelposition (911, 912, 913) mit dem Gewichtungsfaktor gewichtet wird, um bei einer Lage der Mittelposition (911, 912, 913) auf einer Grenze zwischen benachbarten Pixeln eine Aufteilung des Gewichtungsfaktors auf die Pixelkoordinaten (131) der benachbarten Pixel zu bewirken, insbesondere wobei die Aufteilung unter Berücksichtigung der Länge der Verbindungslinie und/oder gemäß einer bilinearen Interpolation vorgenommen wird.
Verfahren (2300) gemäß einem der Ansprüche 8 bis 9, bei dem im Schritt (2350) des Auswertens jedes Abstimmungsbild mittels eines für die jeweilige Symmetrieart spezifischen Glättungsfilters gefiltert wird und/oder zumindest ein Maximum in jedem Abstimmungsbild ermittelt wird.
Verfahren (2300) gemäß einem der Ansprüche 8 bis 10, bei dem im Schritt (2350) des Auswertens zu jedem Abstimmungsbild ein Akkumulatorbild generiert wird, wobei in jedes Akkumulatorbild zu Pixelkoordinaten (131) jeder Mittelposition (911, 912, 913) eine Abstandsinformation über einen Abstand zwischen dem Pixel und dem weiteren Pixel des zu der Mittelposition (911, 912, 913) gehörigen symmetrischen Signaturpaars eingetragen wird, wobei optional zusätzlich jede Abstandsinformation mit der zugehörigen gewichteten Mittelposition normiert wird.
Verfahren (2400) zum Steuern einer Funktion eines Systems, wobei das Verfahren (2400) folgende Schritte aufweist: Bestimmen (2410) einer Symmetrieeigenschaft in Bilddaten (105) nach dem Verfahren (2300) gemäß einem der vorangegangenen Ansprüche; Durchführen (2420) einer Objekterkennung und/oder Objektverfolgung unter Verwendung der bestimmten Symmetrieeigenschaft, um ein Steuersignal (145) zu erzeugen; und Ausgeben (2430) des Steuersignals (145) an eine Schnittstelle (148) zu einem die Funktion bereitstellenden Teilsystem (108), um die Funktion zu steuern.
Vorrichtung (110), die eingerichtet ist, um die Schritte eines Verfahrens (2300, 2400) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (124, 126, 128, 130, 132, 142, 144, 146) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (2300, 2400) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.