DE102014117074A1 - Bildbasierte Objekterkennungstechnik - Google Patents

Bildbasierte Objekterkennungstechnik Download PDF

Info

Publication number
DE102014117074A1
DE102014117074A1 DE102014117074.1A DE102014117074A DE102014117074A1 DE 102014117074 A1 DE102014117074 A1 DE 102014117074A1 DE 102014117074 A DE102014117074 A DE 102014117074A DE 102014117074 A1 DE102014117074 A1 DE 102014117074A1
Authority
DE
Germany
Prior art keywords
image
value
difference
values
reference object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014117074.1A
Other languages
English (en)
Inventor
c/o ADASENS Automotive GmbH Jilg Alexander
c/o ADASENS Automotive GmbH Trujillo Noel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adasens Automotive GmbH
Original Assignee
Adasens Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adasens Automotive GmbH filed Critical Adasens Automotive GmbH
Priority to DE102014117074.1A priority Critical patent/DE102014117074A1/de
Priority to DE202015100437.0U priority patent/DE202015100437U1/de
Priority to PCT/EP2015/077207 priority patent/WO2016079292A1/de
Priority to PCT/EP2015/077212 priority patent/WO2016079295A1/de
Priority to DE112015005258.5T priority patent/DE112015005258A5/de
Publication of DE102014117074A1 publication Critical patent/DE102014117074A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Technik zur bildbasierten Objekterkennung, basieren auf der Ermittlung von Übereinstimmungen zwischen einem Referenz-Objekt (4) und Bildinformationswerten (A[i]) in einem von einem bildgebenden Sensor (1) bezogenen Bilddatenelement (2). Das Referenz-Objekt (4) enthält auf Übereinstimmung zu prüfende Soll-Bildstrukturmerkmale (BS*[k]). Es werden mindestens drei Differenzwert-Bereichsabschnitten (D-A1, D-A2, D-A3 / D-B1, D-B2, D-B3) definiert, innerhalb derer ein Differenzwert (D[k]) auftreten kann. Die Soll-Bildstrukturmerkmale (BS[k]) sind auf eine Prüfung darüber gerichtet sind, ob ein Differenzwert (D[k]) zwischen den Bildinformationswerten (A[i]) in zwei wertemäßig zu vergleichenden Mikro-Bildbereichen (MB1, MB2) an einer vorgegebenen Bezugsposition [k] in einem der drei vordefinierten Differenzwert-Bereichsabschnitte liegt.

Description

  • Die Erfindung betrifft eine bildbasierte Objekterkennungstechnik, d.h. eine Technik zur Verarbeitung von Bildinformationen, die von einem bildgebenden Sensor bereitgestellt sind sowie eine damit verbundene Technik zur Erkennung von Übereinstimmungen mit vorbestimmten Charakteristiken von zu erkennenden Objekten. Die Technik ist zur Verwendung mit kamerabasierten Objekterkennungssystemen geeignet, insbesondere zur Unterstützung von Fahrerassistenzsystemen von Fahrzeugen.
  • Es ist Aufgabe der vorliegenden Erfindung, eine bildbasierte Objekterkennungstechnik aufzuzeigen, mit der gegenüber vorbekannten Techniken eine schnellere und/oder bessere Objekterkennung ermöglicht wird.
  • Diese Aufgabe wird durch verschiedene Aspekte gelöst, die separat oder in Kombination angewendet werden können. Je nach Anwendung der Objekterkennungstechnik können diese Aspekte unterschiedliche Beiträge liefern und in Kombination Synergien erzeugen. Nachfolgend wird auf einige wesentliche Aspekte eingegangen, die im Rahmen der Erfindung jeweils einzeln oder in beliebiger Kombination verwendbar sind.
  • Ein erster Aspekt der vorliegenden Erfindung betrifft ein Verfahren zur bildbasierten Objekterkennung, das Übereinstimmungen zwischen einem Referenz-Objekt und Bildstrukturmerkmalen in einem von einem bildgebenden Sensor erzeugten Bilddatenelement prüft. Das Referenz-Objekt enthält Soll-Bildstrukturmerkmale, die auf eine Prüfung darüber gerichtet sind, ob der Differenzwert zwischen den Bildinformationswerten in zwei wertemäßig zu vergleichenden Mikro-Bildbereichen im Bilddatenelement in einem von mindestens drei vordefinierten Differenzwert-Bereichsabschnitten liegt.
  • Unter einem Differenzwert wird ein quantitativ ermittelter Unterschied zwischen zwei verglichenen Bildinformationen verstanden, wobei die verglichenen Bildinformationen aus verschiedenen Mikro-Bildbereichen stammen.
  • Die Differenzwerte können innerhalb von bekannten Maximal- und Minimalwerten auftreten, welche den Differenzwert-Wertebereich begrenzen. Ein sehr niedriger Wert bedeutet beispielsweise, dass ein starker Wertunterschied in negativer Richtung zwischen den verglichenen Bildinformationswerten vorliegt, während ein hoher Wert bedeutet, dass ein starker Werteunterschied in positiver Richtung vorliegt. Ein dazwischen liegender Wert bedeutet einen vergleichsweise geringen Wertunterschied.
  • Die Definition von mindestens drei vordefinierten Differenzwert-Wertabschnitten ermöglicht gemäß einer bevorzugten Verwendungsweise eine Prüfung darauf, ob die Bildinformationswerte in den zu vergleichenden Mikro-Bildbereichen in etwa gleiche Bildinformationswerte enthalten oder ob eine (signifikante) positive oder negative Werteänderung vorliegt.
  • Die Technik gemäß der vorliegenden Offenbarung bezieht somit als wesentliches Charakteristikum für die Objekterkennung ein, dass an einer vorgesehenen Prüfposition keine großen Wertunterschiede, sondern gleiche oder in etwa gleiche Bildinformationswerte vorliegen sollen, also beispielsweise gleich beziehungsweise ähnlich helle Mikro-Bildbereiche oder gleich bzw. ähnlich farbige Mikro-Bildbereiche. Daneben wird als weiteres Charakteristikum berücksichtigt, dass an einer Prüfposition signifikante Wertunterschiede zwischen den Bildinformationswerten vorliegen, also beispielsweise Helligkeitskontraste oder erwartete Farbübergänge. Die überprüfbaren Differenz-Zustände sind also beispielsweise zu verstehen als „(Signifikante) Änderung Positiv“, „(Signifikante) Änderung Negativ“, „Keine (signifikante) Änderung“.
  • Alternativ können andere Verwendungsweisen bestehen, die zu einer anderen Definition der Differenzwert-Werteabschnitte führen.
  • Ein Soll-Zustand drückt eine erwartete Zugehörigkeit eines im Bilddatenelement zu ermittelnden Differenzwerts zu einem Teilbereich des maximal möglichen Differenzwert-Wertebereichs aus. Ein solcher Teilbereich wird als Differenzwert-Bereichsabschnitt bezeichnet.
  • Es können mindestens drei Soll-Zustände für einen erwarteten Differenzwert definiert und auf Übereinstimmung mit den tatsächlichen Differenzwerten überprüft werden. Für die rechnerische Verarbeitung werden diese Soll-Zustände bevorzugt als logische Zustände in Form von einzelnen Bits gespeichert. Der Wert eines Bits sagt aus, ob der jeweilige Soll-Zustand ein erwartetes Merkmal des Referenz-Objekts darstellt.
  • Nachfolgend werden Soll-Zustände, die Erwartungen im Hinblick auf Differenzwerte betreffen, als Soll-Differenz-Zustände bezeichnet.
  • An dem Bilddatenelement können Werteunterschiede zwischen Bilddaten in verschiedenen Vergleichsrichtungen vorkommen. Es können insbesondere Bildinformationswerte an direkt benachbarten oder nahe beieinander liegenden Raster-Positionen im Bilddatenelement verglichen werden. Vergleiche können für eine Grundposition in verschiedenen Richtungen ausgeführt werden, beispielsweise Horizontal (links gegenüber rechts), Vertikal (oben gegenüber unten), Links-Diagonal (links-oben gegenüber rechts-unten) und Rechts-Diagonal (rechts-oben gegenüber links-unten). Für jede Vergleichsrichtung können jeweils separat Soll-Zustände vorgegeben werden. Somit kann in einem Referenz-Objekt angegeben werden, dass an einer bestimmten Stelle ein signifikanter positiv gerichteter Werteunterschied in horizontaler Richtung bestehen soll, während in vertikaler Richtung gerade kein Werteunterschied erwartet wird. Diese Kombination von Soll-Zuständen und Vergleichsrichtung beschreibt einen erwarteten horizontalen Kontrast.
  • Referenz-Objekte werden in einer geordneten Datenstruktur gespeichert bzw. verarbeitet, insbesondere in Form von Wertetupeln bzw. Vektoren. Die Platzierung eines Bits innerhalb der geordneten Datenstruktur gibt an, für welchen Soll-Zustand (d.h. beispw. „Aus dem ersten Differenzwert-Bereichsabschnitt“ / „aus dem zweiten Differenzwert-Bereichsabschnitt“ / „aus dem dritten Differenzwert-Bereichsabschnitt“ ...) die logische Aussage steht sowie ggfs. für welche Vergleichsrichtung.
  • Gemäß einem eigenständigen Aspekt der vorliegenden Erfindung können in einem Referenz-Objekt für dieselbe Vergleichsrichtung an derselben Bezugs-Position mehrere logische Zustände als Soll-Zustände erlaubt werden. Mit anderen Worten kann für ein Referenz-Objekt bestimmt werden, dass an einer bestimmten Bezugs-Position in horizontaler Richtung eine signifikante positive Wertänderung ODER eine signifikante negative Wertänderung erwartet werden. Wenn an der zugehörigen Position im Bilddatenelement in der angegebenen Vergleichsrichtung einer dieser Zustände ermittelt wird, führt dies zu einem positiven Übereinstimmungswert. Auf diese Weise können mit einem Referenz-Objekt verschiedene Merkmale kombiniert, deren Auftreten obligatorisch oder optional ist.
  • Alternativ oder zusätzlich zu den Soll-Differenz-Zuständen können auch Erwartungen in Hinblick auf den Absolutwert von Bildinformationen aufgestellt und verarbeitet werden. Unter einem Absolutwert wird ein Wert verstanden, der sich auf einen einzigen Mikro-Bildbereich bezieht, also beispielsweise der Farbwert in einem einzelnen Pixel oder der Mittelwert aus mehreren Pixeln, die in einem einzelnen Mikro-Bildbereich zusammengefasst sind. Bei der Bestimmung eines Absolutwerts wird also kein Vergleich zwischen Bildinformationen aus verschiedenen Mikro-Bildbereichen durchgeführt. Es ist jedoch möglich, einen Vergleich zwischen Bildinformationen desselben Mikro-Bildbereichs zu verwenden.
  • Soll-Zustände, die Erwartungen im Hinblick auf Absolutwerte betreffen, werden als Soll-Absolut-Zustände bezeichnet.
  • Gemäß einem weiteren eigenständigen Aspekt der vorliegenden Erfindung kann ein Referenz-Objekt mindestens ein Soll-Bildstrukturmerkmal enthalten, das bestimmt, dass für ein positives Übereinstimmungsergebnis ein an der Bezugsposition erwarteter Bildinformationswert aus einem von mindestens drei vorbestimmten Absolutwert-Bereichsabschnitten stammen muss. So kann beispielsweise ein Soll-Absolut-Zustand definiert sein, der bestimmt, dass der Rot-Anteil an der Bezugs-Position in einem niedrigen, mittleren oder hohen Bereich liegt.
  • Ein Soll-Bildstrukturmerkmal kann alternativ oder zusätzlich für ein positives Übereinstimmungsergebnis bestimmten, dass mehrere an der Bezugsposition erwartete Spartenwerte (bspw. Farbwerte für Rot, Grün und Gelb) jeweils aus einem von mindestens drei für die jeweilige Sparte vorbestimmten Absolutwert-Bereichsabschnitten stammen müssen. So kann ein Soll-Bildstrukturmerkmal bestimmten, dass an einer Bezugs-Position ein niedriger Rot-Wert, ein niedriger Grün-Wert und ein hoher Blau-Wert vorliegen müssen. Diese Konstellation entspricht dem Vorliegen eines im Wesentlichen „blauen“ Bildinformationswerts.
  • Im Rahmen der vorliegenden Offenbarung wird unter einem „Bilddatenelement“ eine Menge von Bildinformationen verstanden, die mit einem zweidimensionalen Bezug, d.h. mit einer Raster-Referenzierung erfasst wird, insbesondere in Form einer Rastergrafik. Die Bildinformationen stammen von zumindest einem bildgebenden Sensor. Ein bildgebender Sensor kann beliebig ausgebildet sein, beispielsweise als CMOS-Sensor, als CCD-Sensor, als 3D-Kamera, als LiDAR- oder LaDAR-Sensor.
  • Unter einer „Raster-Position“ einer Bildinformation wird der logische Ort der Zugehörigkeit im Bild bzw. die flächenbezogene Adressierung der Bildinformation verstanden. Der logische Ort kann dabei von dem physikalischen Ort der Speicherung abweichen. Die Raster-Position kann beispielsweise mit x- und y-Koordinaten innerhalb einer Bilddatei oder einer Rasterstruktur (Array) angegeben sein.
  • Unter einer „Bildinformation“ werden quantitative Daten verstanden, die beispielsweise einen Helligkeitswert, einen Farbwert oder einen Entfernungswert repräsentieren. Die Bildinformation ist in der Regel von einem bildgebenden Sensor in Form von Einzelwerten auf einer quantitativen Skala mit bekannten Maximal- und Minimalwerten erfasst worden. Mit anderen Worten ist für eine Bildinformation ein Wertebereich bekannt, innerhalb dessen die konkreten Messwerte auftreten können. Dieser Wertebereich wird im Folgenden als Absolutwert-Wertebereich bezeichnet.
  • Alternativ oder zusätzlich kann eine Bildinformation durch zwischengeschaltete Datentransformation aus einem oder mehreren erfassten Messwerten des Sensors generiert und in einem bekannten Absolutwert-Wertebereich gespeichert oder bereitgestellt sein.
  • Eine Datentransformation in Bezug auf die Bildinformationen des Bilddatenelements kann vor, während oder zeitlich abwechselnd mit einer Objekterkennung ausgeführt werden. Sie kann in verschiedener Art vorliegen, beispielsweise in Form einer selektiven Auswahl eines Sensorbereichs zur Erzeugung eines Teil-Bilds oder in Form einer Auswahl eines Bildausschnitts aus einem größeren Gesamtbild. Ferner kann eine Datentransformation eine Skalierung einer Bilddatei oder eine Optimierung der Bildinformationen zur Kontrasterhöhung o.Ä. umfassen.
  • Bildinformationen können als Spartenwerte vorliegen, die für eine gemeinsame Rasterposition verfügbar sind. Es kann beispielsweise je eine Sparte vorliegen für Helligkeitswerte, verschiedene Farben (Farbkanäle), Entfernungen, Wärmestrahlungsintensität, usw.
  • Mit einer 3D-Kamera können Stereobilder aufgenommen werden, aus deren Vergleich Entfernungswerte ermittelbar sind. Das von einer 3D-Kamera ausgegebene Bilddatenelement kann Helligkeits- und/oder Farb- und/oder Entfernungswerte enthalten.
  • Ein Bilddatenelement kann aus Informationen von mehreren Sensoren aggregiert sein und beispielsweise Helligkeitswerte von einer Schwarz-Weiß Kamera, Farbwerte von einer Farbkamera und Entfernungswerte von einem Radar- oder Lidar-Sensor enthalten. Mit anderen Worten können die in dem Bilddatenelement enthaltenen Informationen von mehr als einem Sensor stammen.
  • In den nachfolgend erläuterten Beispielen wird zur einfacheren Darstellung zunächst davon ausgegangen, dass es sich bei der Bildinformation um eine Helligkeitsinformation handelt. Später wird erläutert, dass sich die vorliegende Technik ebenso mit Bildinformationswerten durchführen lässt, die alternativ oder zusätzlich Farbwerte oder Entfernungswerte spezifizieren.
  • Für die unten erläuterten Beispiele ferner wird davon ausgegangen, dass ein Bildinformationswert als Pixel vorliegt und in einem vorbestimmten Wertebereich auftritt. Dieser Wertebereich wird rein beispielhaft mit Werten von 0 bis 255 angesetzt, also einem Bereich, der in einem Byte (= 8 Bit) darstellbar ist. Die Erfindung ist auf keine der verwendeten Zahlen- und Bereichsangaben beschränkt. Es wird stets davon ausgegangen, dass die Bildinformation in beliebiger anderer Form und Dimension gespeichert sein kann. Hierzu gehört insbesondere, dass andere Grenzen für die benannten Wertebereiche vorgesehen sind.
  • In der Praxis sind zahlreiche Verfahren bekannt, die eine Umrechnung zwischen Farb- und Helligkeitswerten für diverse Farb-Speichersysteme ermöglichen. Hierzu gehören beispielsweise das RGB-Farbsystem, das CMY-Farbsystem und das CMYK-Farbsystem.
  • Gemäß einem weiteren eigenständigen Aspekt der vorliegenden Erfindung können die Ermittlung von tatsächlichen Bildstrukturmerkmalen und die Übereinstimmungsprüfung mit Soll-Bildstrukturmerkmalen in verschiedenen Prozessen ausgeführt werden. Die Prozesse können ferner mehrfach parallel durchgeführt werden. Zwischen den Prozessen können Ergebnisse bzw. Erkenntnisse ausgetauscht werden, um die weitere Verarbeitung zu optimieren.
  • In den nachfolgend erläuterten Beispielen werden weitere Aspekte der Erfindung erläutert, die mit den oben beschriebenen Aspekten in beliebiger Weise kombiniert oder für sich allein umgesetzt werden können.
  • Die Erfindung ist in den Zeichnungen beispielsweise und schematisch dargestellt. Es zeigen:
  • 1: Eine Übersichtsdarstellung zur Erläuterung verschiedener Aspekte der Objekterkennungstechnik anhand einer ersten Ausführungsvariante für ein Objekterkennungsverfahren;
  • 2: Ein Erläuterungsdiagramm zu möglichen Prozessverteilungen;
  • 3: Ein Diagramm zur Erläuterung einer regelbasierten Auswahl von Mikro-Bildbereichen für durchzuführende Vergleiche;
  • 4: Ein Rechenbeispiel zur Ermittlung von Differenzwerten;
  • 5: Eine Skalendarstellung zur Erläuterung von möglichen Zusammenhängen zwischen Absolutwert-Wertebereich und Differenzwert-Wertebereich;
  • 6 u. 7: Eine erste Variante zur Definition von Differenzwert-Bereichsabschnitten und Klassifizierung von Differenzmerkmalen sowie deren Speicherung in einem Merkmalsvektor;
  • 8 u. 9: Eine zweite Variante zur Definition von Differenzwert-Bereichsabschnitten und Klassifizierung von Differenzmerkmalen sowie deren Speicherung in einem Merkmalsvektor;
  • 10: Eine Darstellung zur Erläuterung eines Referenz-Objekts und seiner geordneten Datenstruktur;
  • 11: Eine Erläuterung über die Bedeutung von Soll-Differenz-Zuständen innerhalb eines Referenz-Objekts;
  • 12 u. 13: Eine Gegenüberstellung eines Referenz-Objekts in einer Ausgangsform und einer skalierten Form;
  • 14: Eine Erläuterungsdarstellung über die Definition von Farbkanälen im RGB-System mit Zuordnung von separaten Absolut-Grenzwerten für jede Farbe;
  • 15: Kennzeichnungen definierbarer Farbräume im RGB-System durch Festlegung von Absolut-Grenzwerten;
  • 16: Eine Erläuterungsdarstellung über die Klassifikation von Absolutmerkmalen;
  • 17: Eine Erläuterungsdarstellung über den Zusammenhang zwischen Absolutmerkmalen in verschiedenen Sparten und daraus aggregierten Absolutzuständen bzw. Soll-Absolutzuständen;
  • 18: Eine Darstellung gemäß 10 zur Erläuterung eines Referenz-Objekts mit einer alternativen bzw. erweiterten geordneten Datenstruktur;
  • 19: Eine Objektdatenbank mit mehreren Referenz-Objekten, die in einer Objekt-Hierarchie strukturiert sind.
  • Die Objekterkennungstechnik gemäß der vorliegenden Offenbarung kann in verschiedener Weise in Hard- und Software umgesetzt sein. Die verschiedenen Aspekte der Objekterkennungstechnik, insbesondere die oben sowie nachfolgend erläuterten Verfahren zur Verarbeitung von Bildinformationen und die Verfahren zur Erkennung von Übereinstimmungen mit Referenz-Objekten können auf mehrere Prozesse bzw. Prozessoren verteilt sein. Sie können insbesondere mehrfach parallel ausgeführt werden. Alternativ können sie in einem einzelnen Prozess oder auf einem einzelnen Prozessor ausgeführt werden. Wiederum alternativ sind beliebige Zwischenstufen für die Aufteilung in Soft- und Hardwareteile möglich.
  • 1 erläutert exemplarisch eine erste Form der Umsetzung. Ein Bilddatenelement (2) wird direkt von einem bildgebenden Sensor (1) an eine Datenverarbeitungseinrichtung übertragen, welche die gesamte Objekterkennung durchführt. Diese Datenverarbeitungseinrichtung kann über eine Datenbank mit einem oder mehreren Referenz-Objekten (4) verfügen, die in die Verarbeitung einbezogen werden.
  • 2 erläutert demgegenüber eine zweite Form der Umsetzung, bei der eine Aufteilung von verschiedenen Verarbeitungsaspekten auf separat ausführbare Prozesse erfolgt. Dort ist vorgesehen, dass ein Bilddatenelement (2) zunächst einer Datentransformation unterzogen wird.
  • Anschließend wird eine Klassifizierung von Differenzmerkmalen oder Bildstrukturmerkmalen durchgeführt. Die Ergebnisse der Klassifizierung werden in einem Merkmalsvektor und insbesondere einem Merkmalsraster gespeichert. Die Klassifizierung kann parallel durch mehrere Prozesse ausgeführt werden, die ihre Ergebnisse in dem Merkmalsraster zusammenführen.
  • Eine Übereinstimmungsprüfung vergleicht die Soll-Bildstrukturmerkmale aus einem Referenz-Objekt mit den Daten aus dem Merkmalsvektor bzw. Merkmalsraster und gibt ein Prüfergebnis aus. Auch die Übereinstimmungsprüfung kann parallel durch mehrere Prozesse ausgeführt werden, deren Ergebnisse ggfs. zusammengefasst oder aggregiert werden.
  • Das Prüfergebnis kann weiterhin einer Validierung unterworfen werden, bei der bspw. eine Gewichtung zwischen mehreren aufgefundenen Charakteristika vorgenommen wird.
  • Nachfolgend werden anhand von 1 bevorzugte Varianten für die Durchführung einer Klassifizierung und einer Übereinstimmungsprüfung erläutert.
  • Ab hier Diktat.
  • Im oberen Bereich von 1 ist schematisch der Verlauf eines bildbasierten Objekterkennungsverfahrens durch einen Prozesspfeil dargestellt. Der Prozess übernimmt ein Bilddatenelement (2), dass von einem bildgebenden Sensor (1) bezogen wird. Das Bilddatenelement (2) kann direkt von dem Sensor (1) an das Objekterkennungsverfahren übertragen werden. Alternativ können die oben genannten Transformationen zwischengeschaltet sein.
  • Das Bilddatenelement (2) ist in 1 als Ausschnitt eines Rasterbildes illustriert. Es weist eine Raster-Referenzierung (RR) auf, die hier rein exemplarisch in einer x-Richtung (Koordinate nach rechts) A, B, C, D und in einer y-Richtung (nach unten) mit Zahlenwerten 0, 1, 2, 3 ... bestimmt wird. Der Index (i) wird als Platzhalter für eine beliebige Rasterposition (beispielsweise A1, B12, ...) innerhalb des Bilddatenelements (2) verwendet.
  • An jeder Rasterposition (i) sind Bildinformationen (A[i]) abgelegt. An einer Rasterposition (i) kann lediglich ein Einzelwert, insbesondere ein Helligkeitswert gespeichert sein, wie durch die drei Einzelwerte (128, 253, 12) an verschiedenen Rasterpositionen illustriert. Alternativ können an einer Rasterposition mehrere Einzelwerte für unterschiedliche Sparten (R, G, B) gespeichert sein. Diese werden im Folgenden als Spartenwerte bezeichnet und sind hier exemplarisch für Werte aus drei Farbkanälen angegeben, beispielsweise ein Rotwert (R[A[i]]), ein Grünwert (G[A[i]]) und ein Blauwert (B[A[i]]).
  • In der rechten Hälfte von 1 ist ein illustratives Beispiel für ein Referenz-Objekt (4) in graphischer und nummerischer Repräsentation dargestellt. Das Referenz-Objekt (4) charakterisiert äußerliche Merkmale eines realen Objektes. In dem Beispiel von 1 ist das reale Objekt (5) ein Verkehrszeichen, das aus einem Kreisring besteht, in dem weitere Informationen, hier beispielsweise die Zahl 70 enthalten sein können. Das graphisch illustrierte Referenz-Objekt (4) umfasst eine Mehrzahl von Prüfelementen (T*[k]) mit jeweils einer Bezugsposition (BP[k]).
  • Für jedes Prüfelement (T*[k]) sind ein oder mehrere Soll-Bildstrukturmerkmale (BS*[k]) definiert, welche sich hier aus jeweils drei Soll-Differenzzuständen (DZ1*, DZ2*, DZ3*) zusammensetzen. Weiter unten werden verschiedene Alternativen für die Festlegung von Soll-Bildstrukturmerkmalen (BS*[k]) sowie deren Zusammensetzung aus Soll-Differenzmerkmalen und/oder Soll-Absolutmerkmalen aufgezeigt.
  • In dem Beispiel von 1 repräsentieren die Soll-Bildstrukturmerkmale (BS[k]) bzw. die darin enthaltenden Soll-Differenzzustände (DZ1*, DZ2*, DZ3*) jeweils eine Erwartung für einen Differenzwert (D[k]) an der jeweiligen Bezugsposition (BP[k]). Der Wert des Bits, für einen Soll-Differenzzustand (DZ1*, DZ2*, DZ3*) gibt an, ob dieser Soll-Zustand für ein positives Übereinstimmungsergebnis erwartet wird (Bitwert = 1) oder nicht (Bitwert = 0). Der Laufindex (k) bezeichnet eine Position innerhalb eines Referenz-Objekts (4). An dieser Position können Soll-Zustände Soll-Differenzzustände (DZ1*, DZ2*, DZ3*) für eine oder mehrere spezifizierte Vergleichsrichtungen (H1, H2, H3, H4) angegeben sein, die weiter unten erläutert werden. In den dargestellten Beispielen für Referenz-Objekte (4) wird aus Gründen der Vereinfachung stets davon ausgegangen, dass genau vier Vergleichsrichtungen (H1, H2, H3, H4) für jedes Prüfelement (T*[k]) vorgesehen sind. Hiervon kann jedoch in beliebiger Weise abgewichen werden.
  • Eine Bezugsposition (BP[k]) bestimmt zumindest eine relative Positionierung, d.h. insbesondere relative Distanzverhältnisse in x- und y-Richtung für die Prüfelemente (T*[k]). Darüber hinaus kann eine Bezugsposition (BP[k]) angaben über die ein oder mehreren Vergleichsrichtungen (H1, H2, H3, H4) enthalten, für die in dem zugeordneten Prüfelement (T*[k]) Soll-Differenzmerkmale (DZ1*, DZ2*, DZ3*) enthalten sind. Weiter unten werden verschiedene Möglichkeiten solcher spezifizierten Vergleichsrichtungen im Detail erläutert.
  • In dem Beispiel von 1 wird davon ausgegangen, dass aus dem Bildstrukturmerkmal (2) in einem ersten Verarbeitungsschritt, insbesondere einem ersten separat ausführbaren Klassifizierungsprozess, ein Merkmalsvektor (3) erzeugt wird. In dem Merkmalsvektor (3) werden Bildstrukturmerkmale in codierter Form gespeichert. Der Merkmalsvektor (3) kann bevorzugt als Merkmalsraster ausgebildet sein und insbesondere eine Raster-Referenzierung (RR) aufweisen, die mit derjenigen des Bilddatenelements (2) identisch ist.
  • In den nachfolgenden Beispielen wird stets davon ausgegangen, dass das Bilddatenelement (2) und der Merkmalsvektor (3) dieselbe Raster-Referenzierung (RR) aufweisen. Somit verweist ein Index (i) für den Merkmalsvektor (3) auf Bildstrukturmerkmale (BS[i]), die sich auf eine korrespondierende Rasterposition (i) im Bilddatenelement (2) beziehen, wodurch Übereinstimmungen zwischen den Rasterpositionen leichter nachvollziehbar werden. In der praktischen Umsetzung können jedoch unterschiedliche Raster-Referenzierungen für den Merkmalsvektor (3) und das Bilddatenelement (2) vorliegen, zwischen denen bevorzugt eine bekannte Abbildungsregel besteht.
  • In dem Merkmalsvektor (3) gemäß 1 sind an jeder Rasterposition (i) mehrere Differenzmerkmale (DM1, DM2) gespeichert, die in Ergebnis-Segmenten (ES) strukturiert sind. Mehrere Ergebnis-Segmente (ES), die sich auf eine gemeinsame Rasterposition (i) beziehen, sind bevorzugt zu einem Ergebnis-Datensatz (EDS) zusammengefasst. In dem gezeigten Beispiel besteht ein Ergebnis-Datensatz (EDS) jeweils aus 1 Byte = 8 Bit und enthält vier Ergebnis-Segmente (ES), die jeweils für eine vorgegebene Vergleichsrichtung stehen. Die Erzeugung der Differenzmerkmale (DM1, DM2) sowie der Ergebnis-Datensätze (EDS) wird weiter unten genauer erläutert.
  • Aus den in dem Merkmalsvektor (3) gespeicherten Differenzmerkmalen (DM1, DM2) können durch logische Verknüpfungen der enthaltenen Bit-Werte die bestehenden Differenzzustände (DZ1, DZ2, DZ3) erzeugt werden.
  • Rechts unten in 1 ist ein Prüfvektor dargestellt, in dem mehrere Sätze von bestehenden Differenzzuständen (DZ1, DZ2, DZ3) für verschiedene Vergleichsrichtungen (j) an einer einzelnen Rasterposition (i) zusammengefasst sind. Die bestehenden Differenzzustände (DZ1, DZ2, DZ3) im Prüfvektor beschreiben die vorhandenen Bildstrukturmerkmale (BS[i]) an einer ausgewählten Rasterposition und können mit den Soll-Bildstrukturmerkmalen (BS*[k]) verglichen werden.
  • Bei der Übereinstimmungsprüfung wird über die Bezugspositionen (BP[k]) ermittelt, welche Ergebnis-Datensegmente (EDS) aus welchen Rasterpositionen (i) im Merkmalsvektor (3) auszuwerten sind. Diese Ergebnis-Datensegmente werden bevorzugt selektiert und in einem Prüfvektor (PV) umgewandelt, der für die enthaltenen bestehenden Differenzzustände (DZ1, DZ2, DZ3) eine Strukturierung verwendet, die mit der Strukturierung der Soll-Differenzzustände (DZ1*, DZ2*, DZ3*) im Referenz-Objekt (4) korrespondiert. Durch die übereinstimmende Strukturierung können auf einfache Weise die bestehenden Differenzzustände und die Soll-Differenzzustände mit bitweisen logischen Operatoren verglichen werden. Eine Überprüfung kann bevorzugt derart erfolgen, dass eine positive Übereinstimmung festgestellt wird, wenn ein bestehender Differenzzustand (DZ1, DZ2, DZ3) mit einem zugehörigen erwarteten Soll-Differenzzustand (DZ1, DZ2, DZ3) übereinstimmt. Ein solcher Fall der Übereinstimmung ist in 1 an der mit einem Ausrufezeichen markierten Stelle dargestellt.
  • Anhand von 3 werden nachfolgend verschiedene Möglichkeiten zur Spezifizierung von Vergleichsrichtungen erläutert, anhand derer Mikro-Bildbereiche (MB1, MB2) innerhalb eines Auswahlfensters (W[i}]) für die Durchführung von Vergleichen selektiert werden.
  • In der oberen Spalte von 3 ist ein Auswahlfenster (W) dargestellt, das vier Rasterpositionen in x-Richtung und vier Rasterpositionen in y-Richtung überdeckt. In der unteren Spalte von 3 ist beispielhaft ein 3 × 3 Rasterpositionen umfassendes Auswahlfenster gezeigt. Alternativ können beliebige andere Formen von Auswahlfenstern verwendet werden, Diese können beispielsweise ein Rechteckformat oder ein angenähertes Kreis-, Ellipsen oder Dreieckformat haben.
  • Ein Auswahlfenster (W) kann für die Durchführung von Klassifizierungen verwendet werden und beispielsweise gleitend durch das Bilddatenelement (2) bewegt werden. In dem in 1 dargestellten Rasterbild (2) ist ein 3 × 3 Auswahlfenster (W) gezeigt, welches sukzessiv, d.h. zeilen- und spaltenweise über einige oder alle Rasterpositionen (i) bewegt wird. Diese Verwendung eines Auswahlfensters wird in der Praxis als Floating-Window-Technik bezeichnet und ist an sich bekannt.
  • Durch die momentane Positionierung des Auswahlfensters (W[i]) ist spezifiziert, welche Bildinformationswerte (A[i]) grundsätzlich an einem oder mehreren Vergleichen (j / H1, H2, H3, H4) für diese Rasterposition (i) teilnehmen können. Innerhalb des Auswahlfensters (W) werden dann gemäß einer vorgegebenen Regel jeweils ein erster und ein zweiter Mikro-Bildbereich (MB1, MB2) ausgewählt. Die in den Mikro-Bildbereichen (MB1, MB2) enthaltenen Bildinformationswerte werden wertemäßig miteinander verglichen. Bei der regelbasierten Auswahl werden die Mikro-Bildbereiche (MB1, MB2) als Teilbereiche des Auswahlfensters (W) definiert. Alternativ kann ein analoges Vorgehen zur regelbestimmten Auswahl von Mikro-Bildbereichen (MB1, MB2) auch ohne ein Auswahlfenster (W) erfolgen.
  • In der oberen Spalte von 3 werden flächenmäßige Vergleiche ausgeführt, wobei für jeden Vergleich (H1, H2, H3, H4) beide Mikro-Bildbereiche (MB1, MB2) neu festgelegt werden. Der Vergleich (H1) erfolgt in horizontaler Richtung, wobei die Bildinformationen in der linken Hälfte des Auswahlfensters als erster Mikro-Bildbereich (MB1) und die Bildinformationen in der rechten Hälfte als zweiter Mikro-Bildbereich (MB2) definiert werden. Jeder der Mikro-Bildbereiche (MB1, MB2) überdeckt somit Bildinformationswerte aus mehreren Rasterpositionen (i), die für die Durchführung des Vergleichs bevorzugt durch Mittelwertbildung zusammengefasst werden. Die Vergleiche (H2, H3, H4) werden in entsprechender Weise in den Richtungen vertikal, rechts-diagonal und links-diagonal ausgeführt, wobei jeweils die von den Mikro-Bildbereichen (MB1, MB2) überdeckten Rasterpositionen (i) neu festgelegt werden.
  • In der unteren Spalte von 3 sind gemäß einer anderen Regel acht Vergleiche (H1–H8) spezifiziert. Bei diesem Beispiel wird jeweils ein Vergleich zwischen den Bildinformationswerten von zwei einzelnen Rasterpositionen (i) ausgeführt. Der erste und der zweite Mikro-Bildbereich (MB1, MB2) überdecken somit jeweils genau eine Rasterposition für jeden Vergleich. Eine Zusammenfassung von Bildinformationen ist diesem Fall also nicht erforderliche.
  • In dem gezeigten Beispiel wird der erste Mikro-Bildbereich (MB1) für alle Vergleiche beibehalten und nur der zweite Mikro-Bildbereich (MB2) überdeckt bei jedem Vergleich eine andere Rasterposition (i). Die Position des erste Mikro-Bildbereichs (MB1) kann in diesem Fall vorteilhaft als Referenz-Position für die Lage des Suchfensters (W[i]) bzw. den Ort der Speicherung der Ergebnissegmente (ES) im Merkmalsvektor (3) übernommen werden.
  • Im Rahmen der vorliegenden Offenbarung wird bevorzugt für die Durchführung von Klassifizierungen bzw. für die Spezifikation von Soll-Differenzmerkmalen in einem Referenz-Objekt eine einzige Spezifikation oder ein vorbestimmter Satz von Spezifikationen für die durchzuführenden Vergleiche verwendet.
  • Nachfolgend wird unter Bezugnahme auf 4 exemplarisch die Ermittlung von Differenzzuständen erläutert. Für das in 4 verwendete Rechenbeispiel werden die Vergleiche (H1, H2, H3, H4) gemäß der zweiten Spalte von 3 verwendet. Das gezeigte Rechenbeispiel kann sinngemäß auf beliebige andere Spezifikationen für die durchzuführenden Vergleiche übertragen werden.
  • 4 zeigt einen Ausschnitt eines Bilddatenelements (2), der von einem Auswahlfenster (W[B2]) überdeckt wird. Die Rasterposition (B2) bildet das mittlere Element des Auswahlfensters (W[B2]) und dient als Basis-Referenzierung für die Position des Auswahlfensters.
  • Es werden vier Vergleiche (H1, H2, H3, H4) ausgeführt, bei denen jeweils ein Differenzwert (D[H1], D[H2], D[H3], D[H4]) durch Subtraktion der jeweiligen Bildinformationswerte (A[i]) berechnet wird. Der Laufindex (j) steht in den Zeichnungen als Repräsentant für die Mehrzahl der Vergleiche (H1, H2, H3, H4)
  • Beim ersten Vergleich (H1) beträgt der Differenzwert (D[H1]) 120. Dieser Differenzwert (D[H1]) quantifiziert die Änderung der Bildinformation vom ersten Mikro-Bildbereich (MB1) (= Rasterposition (B2)) zum Mikro-Bildbereich (MB2) (= Rasterposition (B1)).
  • In entsprechender Weise wird im Vergleich (H2) eine Differenz zwischen den Bildinformationswerten (A[C3]) und (A[B2]) als Differenzwert (D[H2]) ermittelt. Dieser hat den Betrag 226. Der Differenzwert (D[H3]) für die Vergleichsrichtung (H3) beträgt in analoger Anwendung –18 und der Differenzwert (D[H4]) für die Vergleichsrichtung (H4) beträgt 105.
  • In 5 sind der Absolutwert-Wertebereich (A-WB) für die Bildinformationen (A[i]) und der maximal mögliche Differenzwert-Wertebereich (D-WB) einander gegenüber gestellt. Der Absolutwert-Wertebereich (A-WB) erstreckt sich von Minimalwert 0 bis zum Maximalwert 255, entsprechend der oben genannten Annahme.
  • Bei einer Subtraktion von zwei Bildinformationswerten aus diesem Wertebereich (A-WB) können Differenzwerte in einem maximal möglichen Differenzwert-Wertebereich (D-WB) von –255 bis +255 auftreten. Die Bildinformationswerte (A[i]) und die zugehörigen Differenzwerte (D[j]) aus dem Rechenbeispiel von 4 sind in 5 als Wertepunkte innerhalb von Skalen für D-WB und A-WB skizziert.
  • 6 und 7 illustrieren eine erste Variante für die Klassifizierung von Differenzmerkmalen basierend auf den gemäß 4 und 5 ermittelten Differenzwerten. Die später erläuterten 8 und 9 illustrieren eine Alternative hierzu.
  • In 4 ist nochmals der Differenzwert-Wertebereich aus 5 mit den ermittelten Differenzwerten (D[j]) aufgetragen. Dieser Wertebereich (D-WB) wird in drei Teilbereiche gegliedert, die als erster Differenzwert-Bereichsabschnitt (D-A1), sowie als zweiter und dritter Differenzwert-Bereichsabschnitt (D-A2, D-A3) bezeichnet sind. Eine Trennung zwischen diesen Teilbereichen wird durch einen ersten und einen zweiten Differenz-Grenzwert (D-T1, D-T2) herbeigeführt. Der erste Teilbereich (D-A1) deckt die Werte von -255 bis (D-T1) ab, der zweite Teilbereich die Werte von (D-T1) bis (D-T2) und der dritte Bereich (D-A3) die Werte von (D-T2) bis zum Maximalwert 255.
  • Gemäß 7 werden Differenzmerkmale (DM1, DM2) als Ergebnisse von vordefinierten logischen Aussagen (L1, L2) klassifiziert. Die logischen Aussagen (L1, L2) verarbeiten die Differenzwerte (D[j]) aus den jeweiligen Vergleichen (H1, H2, H3, H4) und damit indirekt die in den jeweiligen Vergleichen verarbeiteten Bildinformationswerte (A[i]).
  • Die erste logische Aussage (L1) überprüft, ob der jeweilige Differenzwert (D[j]) kleiner ist als der erste Differenz-Grenzwert (D-T1). Wenn diese Aussage zutrifft, wird das zugehörige Differenzmerkmal (M1) auf den Wert 1 gesetzt. Ist die Aussage negativ, wird das Differenzmerkmal (DM1) auf den Wert 0 gesetzt.
  • Die zweite logische Aussage (L2) prüft, ob der Differenzwert (D[j]) größer ist als der zweite Differenz-Grenzwert (D-T2). Ist das Ergebnis dieser Prüfung positiv, wird der Wert des zweiten Differenzmerkmals (DM2) auf 1 gesetzt, ansonsten auf den Wert 0.
  • Die erfassten Differenzmerkmale (DM1, DM2) für jeden der durchgeführten Vergleiche (H1, H2, H3, H4) können jeweils in einem Ergebnis-Segment (ES) abgelegt werden. Die vorliegend vier Ergebnis-Segmente werden in einem Ergebnis-Datensatz (EDS) zusammengefasst, welcher für die Referenzposition des Auswahlfensters, hier die Position (B2) gemäß Auswahlfenster ((W[B2]) in 4) in einem Merkmalsvektor (3) gespeichert.
  • In der unteren Hälfte von 7 ist dargestellt, wie aus den ermittelten Differenz-Merkmalen (DM1, DM2) jeweils Differenz-Zustände (DZ1, DZ2, DZ3) durch eine logische Verknüpfung ermittelbar sind. Der Wert des Differenz-Zustandes (DZ1) ist dabei gleich dem Wert des Differenz-Merkmals (DM1). Der Wert des Differenz-Zustandes (DZ3) ist gleich dem Wert des zweiten Differenz-Merkmals (DM2). Der Wert des zweiten Differenz-Zustandes (DZ2) ist gleich der logischen Verknüpfung nicht (DM1) und nicht (DM2).
  • Die Zusammenfassung der drei Differenz-Zustände (DZ1, DZ2, DZ3) bildet das bestehende Bildstrukturmerkmal (BS[j]) für den jeweiligen Vergleich.
  • Die Berechnung eines Differenz-Zustandes (DZ1, DZ2, DZ3) kann grundsätzlich in einer einzigen Rechenprozedur erfolgen, in der mit direkten Zugriff auf die Bildinformationswerte in den entsprechenden Mikro-Bildbereichen (A[MB2], A[MB1]) alle vorgenannten Rechenoperationen zusammengefasst werden. Es bringt jedoch verschiedene Vorteile, die Klassifizierung der Differenz-Merkmale (DM1, DM2) von der Bestimmung der Differenz-Zustände (DZ1, DZ2, DZ3) zu trennen.
  • Einerseits ist die Form der Speicherung der Differenz-Merkmale (DM1, DM2) in einem Ergebnis-Datensegment mit 8 Bit für die Datenverarbeitung besonders vorteilhaft. Viele Speichersysteme bieten 1 Byte als die geringste übliche Speicherpartitionierung an. Ein Merkmalsvektor der mit den ermittelten Differenz-Merkmalen (DM1, DM2) für jede Rasterposition eine gerade Anzahl von solchen Speicherpartitionen verwendet, ist besonders ressourceneffizient. Ferner können die als Ergebnis-Datensegmente (EDS) gespeicherten Werte bei der Durchführung eines Überprüfungsprozesses in einem einzigen Rechentakt eingelesen und durch die genannten logischen Verknüpfungen in die Differenz-Zustände (DZ1, DZ2, DZ3) umgewandelt werden.
  • Es ist besonders vorteilhaft, zunächst das gesamte Bilddatenelement (2) in einen Merkmalsvektor (3) unter Berechnung der genannten Differenz-Merkmale (DM1, DM2) umzuwandeln und in der speichereffizienten Form abzulegen. Bei dieser Umwandlung müssen zwar jedes Mal die Bildinformationswerte (A[i]) für jeden Vergleich eingelesen und ausgewertet werden. Allerdings ist das dabei erzeugte Ergebnis, nämlich der Inhalt des Merkmalsvektors (3) für ein oder mehrere nachfolgende Prozesse, die die Übereinstimmungsprüfung mit Referenz-Objekten (4) ausführen, besonders effizient einlesbar und für die Ermittlung des Prüfergebnisses umsetzbar. Es kann somit durch eine vergleichsweise zeitaufwendige Umwandlung in den Merkmalsvektor ein deutlich größeres Zeiteinsparungspotenzial für die Übereinstimmungsprüfung ergeben.
  • Gemäß einer alternativen Ausführungsvariante ist es jedoch möglich, direkt für jede Rasterposition (i) und alle dort durchgeführten Vergleiche (j) die Differenz-Zustände (DZ1, DZ2, DZ3) zu ermitteln und im Merkmalsvektor abzuspeichern. Wiederum alternativ ist es möglich, die Differenz-Zustände erst bei der Durchführung einer Übereinstimmungsprüfung zu ermitteln, wobei direkt auf die Bildinformationswerte (A[i]) im Bilddatenelement (2) zugegriffen wird. Weiter unten werden Anwendungssituationen diskutiert, in denen solche Berechnungsformen sinnvoll sein können.
  • In 8 und 9 sind Darstellungen in Analogie zu den 6 und 7 enthalten, wobei hier allerdings die Grenzen zwischen den Differenzwert-Bereichsabschnitten (D-B1, D-B2, D-B3) auf andere Weise definiert sind.
  • Während in 6 zwei separate Differenz-Grenzwerte (D-T1, D-T2) verwendet wurden, die im Wesentlichen vollkommen frei innerhalb des Differenzwert-Wertebereichs (D-WB) setzbar sind, wird in dem Beispiel gemäß 8 und 9 nur ein einzelner Differenzbetrag-Schwellenwert (D-T3) verwendet. Die Differenzmerkmale (DM1‘, DM2‘) werden durch alternative logische Aussagen (L1‘, L2‘) ermittelt. Die erste logische Aussage (L1‘) prüft, ob der Differenzwert (D[j]) für den jeweiligen Vergleich (H1, H2, H3, H4) ein positives Vorzeichen hat. Die zweite logische Aussage (L2‘) prüft, ob der Betrag des Differenzwertes (D[j]) den Differenzbetrag-Schwellenwert (D-T3) unterschreitet.
  • Die so definierten Differenz-Merkmale (DM1‘, DM2‘) sind ebenfalls dazu geeignet, mittels logischen Verknüpfungen Differenz-Zustände (DZ1‘, DZ2‘, DZ3‘) zu ermitteln.
  • Wie aus dem unteren Bereich von 9 ersichtlich ist, wird der Wert des ersten Differenz-Zustandes (DZ1‘) durch die Verknüpfung nicht (DM1‘) und nicht (DM2‘) ermittelt. Der zweite Differenz-Zustand (DZ2‘) entspricht dem Wert von (DM2‘) und der dritte Differenz-Zustand (DZ3‘) wird ermittelt durch die Verknüpfung (DM1‘) und nicht (DM2‘).
  • In 9A ist ein Beispiel für eine rechnerische Umsetzung der Berechnung eines Differenzwertes (hier: (D[H3]) gemäß Rechenbeispiel von 4) und dessen optimierte Verwendung in der Prüfung der logischen Aussagen (L1‘, L2‘) erläutert.
  • Auf der linken Seite ist die durchgeführte Rechenoperation im Dezimalsystem dargestellt. Im Vergleich dazu ist rechts die Entsprechung im Binärsystem erläutert. Die erste Stelle innerhalb der 8 Bitzahl steht im binären System für den Wert 128 und jede nachfolgende Stelle für einen entsprechend halbierten Wert. Demzufolge ist der Wert der Dezimalzahl 9 die Binärzahl 00001001. Der Wert der Dezimalzahl 27 ist die Binärzahl 00011011.
  • Werden zwei Binärzahlen im 8 Bit-System voneinander subtrahiert, wobei das Rechenergebnis eine negative Zahl ist, so wäre regulär mindestens ein weiteres Bit notwendig, um die Vorzeicheninformation aufzunehmen. Wird jedoch in dem Ergebniswert die letzte Stelle nicht zur Angabe des Einerwertes verwendet, sondern durch die Vorzeichen-Information ersetzt, d.h. als Vorzeichen-Bit (S) gesetzt, reicht wiederum eine 8 Bitzahl-Darstellung aus, um den Differenzwert (D[j]) zu speichern. Bei einer derartigen Repräsentation der Zahl kann die Prüfung der logischen Aussagen (L1‘, L2‘) in besonders einfacher und ressourceneffizienter Weise durchgeführt werden. Für die Prüfung der Abfrage (L1‘) (Betrag von (D[j]) > 0?) muss lediglich der Wert des Vorzeichen-Bits (S) ausgewertet werden. Für die Prüfung darauf, ob der Betrag von (D[j]) kleiner als der Differenz-Schwellenwert (D-T3) ist, müssen lediglich die führenden Stellen in der Zahl ausgewertet werden, innerhalb derer zumindest ein positiver Wert vorliegen muss. In dem gezeigten Beispiel ist der Grenzwert (D-T3) auf 31 gesetzt. Wenn also keines der drei führenden Bits für die Wertpositionen 128, 64, 32 den Wert 1 aufweist, folgt hieraus, dass der Betrag des Differenzwertes (D[j]) kleiner ist als der Schwellenwert (D-T3). Somit lässt sich diese Prüfung vollständig in einem 8 Bitzahlen-System mit binär arbeitenden Operatoren durchführen.
  • Je nach der Art des verwendeten Rechensystems und der Speicherform der Bildinformationswerte (A[i]) können andere rechnerische Umsetzungen zur Ressourcenschonung vorteilhaft sein.
  • 10 illustriert ein Referenz-Objekt (4) gemäß der vorliegenden Offenbarung in einer graphischen Repräsentation sowie einer Repräsentation einer bevorzugten geordneten Datenstruktur. Diese Datenstruktur ist rein exemplarisch gewählt, bietet allerdings einige Vorteile in Bezug auf die ressourceneffiziente Nutzung.
  • Die geordnete Datenstruktur umfasst einen ersten Abschnitt, in dem die Bezugspositionen (BP[k]) enthalten sind. Diese Bezugspositionen umfassen jeweils zumindest einen Wert für eine x-Koordinate und einen Wert für eine y-Koordinate, durch die relative Abstände zwischen einem Basispunkt des Referenz-Objektes, hier beispielsweise dem Bezugspunkt (BP[0]) und den weiteren Bezugspunkten angeben. In diesem vorderen Teil kann ferner ein Datenelement, insbesondere als erstes Datenelement, enthalten sein, das die Anzahl der in dem Referenz-Objekt (4) gespeicherten Prüfelemente (T*[k]) angibt. Dieses Element wurde in der Darstellung von 10 aus Gründen der Vereinfachung weggelassen.
  • In dem gezeigten Beispiel sind Inhalte von Prüfelementen (T*) für die Positionen (k = 0) und (k = 1) gezeigt. Darin sind jeweils vier erwartete Bildstrukturelemente (BS*[H1]) bis (BS*[H4]) enthalten. Mit anderen Worten liegt für jede spezifizierte Vergleichsrichtung ein erwartetes Bildstrukturmerkmal (BS*) vor. Darüber hinaus kann in einem Prüfelement (T*[k]) ein Relevanz-Wert (RW) hinterlegt sein, auf dessen Nutzung später eingegangen wird.
  • Jedes Prüfelement (T*) umfasst in dem Beispiel 16 Bits und ist somit mit einer Speichereinheit von 2 Byte darstellbar und rechentechnisch verarbeitbar, was für eine ressourceneffiziente Verarbeitung sehr zuträglich ist. Ein 64-bit Prozessor mit geeigneter Architektur kann in nur einem Rechenschritt mindestens zwei Prüfelemente (T*[k]) gleichzeitig mit den zugehörigen bestehenden Bildstrukturmerkmalen (BS[i]) an den zugehörigen Positionen vergleichen. Die Einzel-Vergleiche in Bezug auf ausgewählte Gruppen von Prüfelementen (T*[k]) können auf mehreren Prozessorkernen parallelisiert ausgeführt werden.
  • Jedes Bildstrukturmerkmal (BS*) setzt sich aus drei einzelnen Bits zusammen, die jeweils für erwartete Soll-Zustände, hier Soll-Differenz-Zustände (DZ1*, DZ2*, DZ3*) stehen.
  • In 11 ist eine Erläuterungsdarstellung enthalten, anhand derer die Bedeutung der einzelnen Soll-Differenz-Zustände nachvollzogen werden kann.
  • Für das Prüfelement (T*[0]) ist die erste Vergleichsrichtung (H1) als horizontaler Vergleich definiert. Der erste Soll-Differenz-Zustand (DZ1*) in dieser Vergleichsrichtung würde aussagen, dass in horizontaler Vergleichsrichtung ein Differenzwert vorliegt, der im ersten definierten Differenzwert-Bereichsabschnitt (D-A1) bzw. (D-B1) liegt (vgl. 6 bis 9 und obiger Ausführungen). Mit anderen Worten würde für diese Vergleichsposition erwartet, dass die Werteänderung von dem ersten Mikro-Bildbereich zum zweiten Mikro-Bildbereich einen geringen Wert einnimmt. Der zweite Soll-Differenz-Zustand (DZ2*) würde Aussagen, dass ein Differenzwert im zweiten Differenzwert-Bereichsabschnitt (D-A2) bzw. (D-B2) erwartet wird, d.h. ein im Wesentlichen betragsmäßig geringer Werteunterschied unterhalb dem Differenz-Schwellenwert (D-T3) bzw. zwischen den definierten Differenz-Grenzwerten (D-T1) und (D-T2). Der Soll-Differenz-Zustand (DZ3*) würde entsprechend bedeuten, dass ein Differenzwert im dritten Differenzwert-Bereichsabschnitt (D-A3) bzw. (D-B3) mit entsprechender Deutung vorliegt. Diese Unterschiede sind durch die Farbgebung bzw. Schraffur der gezeigten Rasterpositionen innerhalb des jeweiligen Mirko-Bildbereiches verdeutlicht.
  • In dem gezeigten Beispiel sind im Prüfelement (T*[0]) für die Vergleichsrichtung (H1) alle Soll-Differenz-Zustände mit dem Wert 0 angegeben, d.h. das keiner dieser Zustände erwartet wird. Demzufolge kann keine Übereinstimmung in dieser Vergleichsrichtung zu einem positiven Übereinstimmungsergebnis führen.
  • Für die Vergleichsrichtung (H4) sind jedoch der erste Soll-Differenz-Zustand (DZ1*) und der dritte Soll-Differenz-Zustand (DZ3*) mit der Ziffer 1 und somit als erwartet angegeben. Hier würde also ein positives Übereinstimmungsergebnis erreicht, wenn der tatsächlich bestehende Differenzwert an der angegebenen Position und in der angegebenen Vergleichsrichtung entweder aus dem ersten oder aus dem dritten definierten Differenzwert-Bereichsabschnitt (D-A1/D-A3 bzw. D-B1/D-B3) stammt.
  • Vergleicht man dieses Prüfelement (T*[0]) mit der graphischen Repräsentation in 10 ist ersichtlich, dass mit dem besagten Soll-Bildstrukturmerkmal (BS*[H4]) eine schräg von links unten nach rechts oben verlaufende Kontrastlinie als erwartetes Merkmal spezifiziert wird. Der Kontrast kann dabei entweder von außen hell zu innen dunkel oder umgekehrt von außen dunkel zu innen hell erfolgen.
  • Im unteren Bereich von 11 ist ein weiteres Prüfelement (T*[1]) dargestellt, bei dem entsprechend ein Kontrast in horizontaler Richtung für die Vergleichsrichtung (H2) von hell nach dunkel oder von dunkel nach hell erwartet wird.
  • Im Übergang von 12 zu 13 wird eine Möglichkeit zur Transformation eines Referenz-Objekts (4) in ein skaliertes Referenz-Objekt (4‘) erläutert.
  • In der Darstellung von 12 weist das Referenz-Objekt (4) gemäß der graphischen Repräsentation sowie der Darstellung der geordneten Datenstruktur dieselbe Ausbildung auf, wie zuvor zu 10 erläutert. Allerdings wird hier das Referenz-Objekt (4) auf einen Bereich eines Bilddatenelements (2) angewendet, in dem die vorhandenen Bildstrukturmerkmale (hier durch die gestrichelten Linien für den oben erläuterten Kreisring skizziert) nicht mit den Soll-Bildstrukturmerkmalen an den Prüfelementen (T*[k]) übereinstimmen. Mit anderen Worten passt das Referenz-Objekt (4) nicht deckungsgleich auf die Repräsentation des realen Objekts im Bilddatenelement. Das Referenz-Objekt (4) ist zu klein.
  • Das Prüfelement (T*[0]), in dem eine von links unten nach schräg rechts oben verlaufende Kontrastkante erwartet wird, trifft hier auf einen Bildbereich, in dem im Wesentlichen keine Kontraste vorliegen. Das Prüfelement (T*[1]) in dem eine horizontale Kontrastlinie erwartet wird, fällt ebenfalls in einem in Wesentlichen gleichfarbigen bzw. gleichhellen Bereich ohne Kontrast. In dem gezeigten Beispiel würde die Übereinstimmungsprüfung somit kein positives Ergebnis für diese Punkte bringen.
  • In der Darstellung gemäß 13 ist ein skaliertes Referenz-Objekt (4‘) dargestellt, bei dem die entsprechenden Prüfelemente (T*[0]) und (T*[1]) auf den erwarteten Kontrastlinien zu liegen kommen. In diesem Fall wäre somit die Übereinstimmungsprüfung zwischen dem skalierten Referenz-Objekt (4‘) und den tatsächlich vorhandenen Bildstrukturmerkmalen positiv.
  • Eine Skalierung des Referenz-Objektes (4) kann besonders bevorzugt durch Multiplikation der Bezugspunkte (BP[k]) mit Skalierungsfaktoren (SFx, SFy) ausgeführt werden. Mit anderen Worten kann eine unterschiedliche Skalierung in x- und y-Richtung erfolgen. Diese Skalierung führt in der rechnerischen Umsetzung innerhalb des Prüfungsverfahrens lediglich dazu, dass die Bildstrukturmerkmale zu anderen Rasterpositionen (i) für die Übereinstimmungsprüfung ausgewählt werden. Insbesondere wenn die Bildstrukturmerkmale bereits explizit im Merkmalsvektor vorliegen oder im Merkmalsvektor die Differenz-Merkmale enthalten sind, aus denen durch logische Verknüpfungen innerhalb eines oder sehr wenigen Rechenschritten die tatsächlichen Bildstrukturmerkmale ableitbar sind, bietet die Skalierung des Referenz-Objektes Vorteile im Hinblick auf eine besonders effiziente Ressourcennutzung. Es ist insbesondere nicht notwendig, für jede Skalierung das gesamte Bilddatenelement zu transformieren und in einen neuen Merkmalsvektor umzuwandeln.
  • Besonders bei der Anwendung für Fahrerassistenzsysteme für Kraftfahrzeuge werden reale Objekte wie Verkehrsschilder oder übliche Objekte der Verkehrsumgebung wie Fahrbahnbegrenzungen, Ampeln etc. häufig in untereinander nur geringfügig variierenden Größenverhältnissen erfasst, wenn diese eng beieinander stehen. Ferner kann aus der Ausrichtung des bildgebenden Sensors und seiner etwaig bestehenden technischen Ausrüstung mit Linsensystemen und hierzu bekannten Parametern häufig eine zu erwartende Größenrelation zwischen Objekten bestimmt werden, die in verschiedenen Zonen des Bilddatenelementes auftreten können. Wenn somit eine Skalierung eines Referenz-Objektes (4) zu einer positiven Übereinstimmungserkennung geführt hat, können die hierbei benutzten Skalierungsfaktoren (SFx, SFy) als Ausgangspunkt für optimierte Suchstrategien verwendet werden. Es können insbesondere aus einer erfolgreichen Erkennung sinnvoll Startwerte für die Skalierung anderer Referenz-Objekte gewählt werden.
  • 14 zeigt eine Darstellung zur Erläuterung des RGB-Farbraums, welcher zur Wiedergabe von Farbinformationen durch bildgebende Sensoren häufig verwendet wird. Ein Bildinformationswert (A[i]) kann hier aus den Sparten (R, G, B = Rot, Grün, Gelb) bestehen. Die tatsächlich aufgenommene Farbe wird bei der Sensierung in die entsprechenden Farbanteile zerlegt. Der hier exemplarisch gezeigte Farbwert setzt sich aus dem Spartenwert Rot gleich 132, dem Spartenwert Gelb gleich 228 und dem Spartenwert Blau gleich 204 zusammen und kennzeichnet eine Gesamtfarbe die im Bereich Cyan liegt.
  • Setzt man den Nullpunkt des Farbraums an dem Maximalpunkt von 14 an, wo Rot, Grün und Blauwerte jeweils 255 betragen und kehrt die Richtung der Achsen um, entspricht dies derselben Farbdarstellung im sogenannten CMY-Farbraum. Es wird im Weiteren davon ausgegangen, dass die Darstellung im RGB-Farbraum stets in andere Farbräume übertragbar ist, so dass auf entsprechende Erläuterungen zu den anderen Farbsystemen verzichtet wird.
  • In den Darstellungen von 15 sind verschiedene Bereiche des RGB-Farbraums hervorgehoben und es ist jeweils angegeben, welcher Mischfarbe die Bildinformationswerte innerhalb eines solchen angegebenen Raums im Wesentlichen entsprechen.
  • Es ist ersichtlich, dass wenn alle drei Spartenwerte in einem niedrigen Bereich liegen, ein Farbwert im Wesentlichen als Schwarz bezeichnet wird. Sind hingegen alle Spartenwerte im Wesentlichen hoch, wird die Farbe im Wesentlichen als Weiß wahrgenommen.
  • Ist nur ein Spartenwert hoch, während die beiden anderen Spartenwerte im Wesentlichen klein sind, entspricht dies den Grundfarben Rot, Grün oder Blau des Farbsystems. Eine Kombination aus einem hohen Rot und einem hohen Grünwert bei niedrigem Blauwert entspricht der Farbe Gelb. Die Kombination von einem hohen Blau und einem hohen Rotwert ergibt die Farbe Magenta und die Kombination eines hohen Grünwerts mit einem hohen Blauwert ergibt die Farbe Cyan.
  • Gemäß einem eigenständigen Aspekt der vorliegenden Erfindung können in einem Referenz-Objekt Soll-Bildstrukturmerkmale (BS*[k]) enthalten sein, die bestimmen, das für ein positives Übereinstimmungsergebnis ein an der Bezugsposition (BP[k]) erwarteter Bildinformationswert (A[i]) aus einem von mindestens drei vorbestimmten Absolutwert-Bereichsabschnitten (A-A1, A-A2, A-A3) stammen muss.
  • Ferner kann insbesondere vorgesehen sein, dass ein Soll-Bildstrukturmerkmal bestimmt, das für ein positives Übereinstimmungsergebnis mehrere an der Bezugsposition (BP[k]) erwartete Spartenwerte (R[A[i]], G[A[i]], B[A[i]]) jeweils aus einem von mindestens drei für die jeweilige Sparte (R, G, B) vorbestimmten Absolutwert-Bereichsabschnitten stammen muss.
  • Diese Bildstrukturmerkmale können insbesondere durch Soll-Absolutzustände (AZ*1–AZ*5) ausgedrückt sein.
  • Nachfolgend wird die Klassifizierung von Absolutmerkmalen und Absolutzuständen für solche eben genannten Bildstrukturmerkmale erläutert, die auf eine Prüfung darüber gerichtet sind, ob ein Absolutwert eines Bildinformationswerts (A[i]) oder eine Kombination von Absolutwerten an einer vorgegebenen Bezugsposition (k) im Bilddatenelement (2) jeweils aus einem von mindestens drei vordefinierten Absolutwert-Bereichsabschnitten liegt, die gegebenenfalls separat für jede Sparte des Bildinformationswertes festgelegt sein können.
  • Eine solche Klassifizierung kann im Wesentlichen analog zu dem oben für Differenzwerte bzw. Differenzmerkmale und Differenz-Zustände erläuterten Verfahren erfolgen. Innerhalb eines Absolutwert-Wertebereichs (A-WB) werden Absolutwert-Bereichsabschnitte (A-A1, A-A2, A-A3) definiert. Absolutmerkmale (AM1, AM2) werden als Ergebnis von logischen Aussagen (L3, L4) klassifiziert, die eine Bestimmung darüber ermöglichen, in welchem Absolutwert-Bereichsabschnitt ein verarbeiteter Bildinformationswert (A[i]) bzw. die jeweiligen Spartenwerte liegen.
  • 16 erläutert unter Bezugnahme auf 15 Beispiele für bevorzugte logische Aussagen (L3, L4) für die jeweiligen Sparten (R, G, B).
  • Eine logische Aussage (LR) für die Sparte Rot prüft demnach, ob der Spartenwert (R[A[i]]) kleiner ist als ein erster Absolut-Grenzwert (A-T1R) für diese Sparte. Wenn das Ergebnis positiv ist, wird der Wert eines ersten Absolutmerkmals (AM1-R) für die Sparte Rot auf 1 gesetzt.
  • Eine weitere logische Aussage (L4) prüft, ob der Spartenwert (R[A[i]]) größer ist als ein zweiter Absolut-Grenzwert (A-T2R) für die Sparte Rot. Entsprechend wird ein zweites Absolutmerkmal (AM2-R) für die Sparte Rot auf 1 gesetzt, wenn das Ergebnis dieser Prüfung positiv ist.
  • In derselben Weise sind gemäß dem Beispiel von 16 logische Aussagen für die beiden anderen Sparten Grün und Blau definiert, wobei auf jeweils zugehörige absolute Bindestrichgrenzwerte (A-T1G, A-T2G, A-T1B, A-T2B) Bezug genommen wird.
  • In 16 sind beispielhaft zwei Konstellationen für an einem Rasterpunkt (i) ermittelte Absolutmerkmale dargestellt. In dem linken Beispiel liegen die Spartenwerte für alle drei Farben Rot, Gelb, Blau unterhalb des ersten Absolut-Grenzwerts und entstammen somit jeweils aus einem im Wesentlichen niedrigen Absolutwert-Bereichsabschnitt. Ein Vergleich mit der linken Darstellung von 15 ergibt, dass eine solche Konstellation einem Farbwert Schwarz entspricht. In dem rechten Beispiel von 16 ist ein Spartenwert Rot größer als der zweite Absolut-Grenzwert für diese Sparte, während die Spartenwerte für Grün und Blau im Wesentlichen niedrig sind. Dies entspricht einer im Wesentlichen roten Gesamtfarbe.
  • In 17 sind logische Verknüpfungen der vorgenannten Absolutmerkmale zur Bildung bzw. Abfrage von Absolut-Zuständen bzw. Soll-Absolut-Zustände (AZ*1 bis AZ*5) erläutert. Ein Soll-Absolut-Zustand (AZ*1) ist hier auf die Überprüfung gerichtet, ob eine logische Verknüpfung der Absolutmerkmale (AM1-R und AM1-G und AM1-B) den Wert 1 ergibt. Dies entspricht einer Erwartung darüber, dass in dem jeweiligen Bildinformationswert ein Farbwert Schwarz enthalten ist. In dem gezeigten Beispiel sind Soll-Absolut-Zustände für solche Farbwerte enthalten, die für die Erkennung von Verkehrszeichen besonders vorteilhaft genutzt werden können, also die bei Schülern häufig vorkommenden Farben Schwarz, Weiß, Rot, Gelb und Blau. Für andere Verwendungen können entsprechend abweichende Soll-Absolut-Zustände definiert werden.
  • Im unteren Bereich von 17 ist eine alternative Form eines Prüfelements (T*[k]) dargestellt, welches als Soll-Bildstrukturmerkmal (BS*[k]) bestimmt, in welchem Absolutwert-Bereichsabschnitt ein an einer Rasterposition (i) vorliegender Bildinformationswert (A[i]) bzw. hier jeweils ein Spartenwert liegt, bzw. welche Kombination von Zuordnungen der Spartenwerte zu den definierten Absloutwert-Bereichsabschnitten vorliegt.
  • 18 zeigt entsprechend beispielhaft ein Referenz-Objekt (4), in dem ein Prüfelement (T*5) enthalten ist, das 5 Bits enthält, die jeweils für erwartete Soll-Absolutwert-Zustände (AZ1* bis AZ5*) stehen. Ein positives Überprüfungsergebnis wird für dieses Prüfelement (T*[5]) erreicht, wenn an der entsprechenden Bezugsposition Absolutwerte bzw. Kombinationen von Spartenwerten vorliegen, die die Farbe Weiß oder Blau verkörpern.
  • Aus 18 ist weiterhin ersichtlich, dass ein Referenz-Objekt (4) bevorzugt beliebige Zusammensetzungen von Prüfelementen (T*[k]) enthalten kann, die auf Soll-Differenz-Zustände oder Soll-Absolut-Zustände gerichtet sind. Wenn eine Mischung von solchen Soll-Zuständen vorliegt, kann das Referenz-Objekt (4) bei der Angabe einer Bezugsposition (BP[k]) zusätzlich zu den Koordinateninformationen eine Angabe darüber enthalten, welche Art von Soll-Zuständen in dem jeweiligen Prüfelement enthalten sind.
  • 19 zeigt beispielhaft eine Objektdatenbank mit einer Mehrzahl von Referenz-Objekten (O1, O2, O3). Diese sind in einer Objekt-Hierarchie (OH) bzw. eine Baumstruktur gegliedert. Anders ausgedrückt können die Objekte in einer Vererbungshierarchie gegliedert sein. Auf einer obersten Hierarchieebene (HE1) können bevorzugt recht abstrakte Referenz-Objekte angeordnet sein, die wenige und leicht aufzufindende Charakteristiken von realen Objekten beschreiben, also bzw. geometrische Grundformen wie Kreisringe, Rechtecke, Dreiecke oder ähnliche. Ein jeweils auf einer darunterliegenden Hierarchieebene (HE2) angeordnetes Referenz-Objekt (O2, O3) kann zu den von dem auf der darüber liegenden Hierarchieebene (HE1) liegendem Referenz-Objekt (O1) die dort definierten Prüfelemente übernehmen und diese mit weiteren Prüfelementen ergänzen. In dem gezeigten Beispiel ist ein Referenz-Objekt (O1) dazu ausgebildet, einen Kreisring aufzufinden, dessen Innenbereich weiß oder gelb sein kann. Auf der darunterliegenden Hierarchieebene (HE2) werden bei dem Referenz-Objekt (O2) weitere Prüf-Elemente hinzugefügt, mittels derer eine Zahlenangabe auffindbar ist. Bei dem nebengeordneten Referenz-Objekt (O3) werden hingegen andere Prüfelemente hinzugefügt, anhand derer ein innerhalb des Kreisrings angeordnetes Kreuzbalkenmuster erkennbar ist.
  • Abwandlungen der bildbasierten Objekterkennungstechnik und insbesondere der beschriebenen und/oder gezeigten Ausführungsbeispiele sind in verschiedener Weise möglich. Insbesondere können die vorgenannten Aspekte und die jeweiligen Detailmerkmale aller Ausführungsbeispiele in beliebiger Weise miteinander kombiniert, gegeneinander ersetzt, ergänzt oder weggelassen werden.
  • Für die Definition von Soll-Absolut-Zuständen kann es ausreichend sein, innerhalb eines Absolutwert-Wertebereichs lediglich zwei Teilbereiche zu definieren und eine Merkmalsprüfung lediglich mit einer logischen Aussage durchzuführen. Dies kann insbesondere dann ausreichen, wenn die Prüfung leidglich darauf gerichtet sein soll, ob ein jeweils hoher Spartenwert, also bzw. ein hoher Rotanteil, ein hoher Grünanteil oder ein hoher Blauanteil vorliegt bzw. ob jeweils ein niedriger Spartenwert vorliegt.
  • Wiederum alternativ können mehr als drei Absolutwerte im Strichbereichsabschnitte bzw. Differenzwert-Bereichsabschnitte definiert sein, um eine noch detailliertere Zustandsprüfung durchzuführen. Wenn beispielsweise fünf Differenzwert-Bereichsabschnitte definiert werden sollen, kann hierzu ein zusätzlicher Differenz-Schwellenwert definiert werden, der höher ist als der in 8 und 9 dargestellte Differenz-Schwellenwert (DT3). Eine weitere logische Aussage kann entsprechend darauf gerichtet sein, ob der Betrag eines Differenzwerts (D[j]) kleiner ist als dieser weitere Differenz-Schwellenwert.
  • Für den Fachmann ist offensichtlich, dass dasselbe logische Konzept der vorliegenden Offenbarung umgesetzt werden kann, wenn teilweise oder vollständig Negierungen der verwendeten logischen Aussagen bzw. Bitwerte verwendet werden. Im Rahmen der vorliegenden Offenbarung kann somit jeweils eine Prüfung darauf, ob ein Wert einen anderen unterschreitet ersetzt werden durch eine Prüfung darauf, ob der Wert kleiner bzw. kleiner-gleich ist als der andere Wert oder das ein Überschreiten stattfindet.
  • Die Ausführung der bildbasierten Objekterkennungstechnik in mehreren Teilprozessen ist für viele Anwendungsbereiche vorteilhaft. Insbesondere die in den Ausführungs- und Rechenbeispielen gezeigten und beschriebenen Datenrepräsentation sind besonders dafür geeignet, eine Mehrfachausführung von Klassifizierungsvorgängen bzw. Übereinstimmungsprüfungen durch parallel oder überlappend arbeitende Prozessorkerne zu ermöglichen. Die Ausbildung eines Merkmalsvektors, der lediglich Differenz-Zustände und/oder Absolut-Zustände speichert, führt in Kombination mit der ausschließlich durch logische und bitorientiert arbeitende Operatoren umsetzbaren Übereinstimmungsprüfung zu einem Geschwindigkeitszuwachs um den Faktor 90 gegenüber vorbekannten Objekterkennungstechniken bei gleicher Rechenkapazität. Ferner kann durch die modulare Kombinierbarkeit von erwarteten Differenz-Zuständen mit erwarteten Absolut-Zuständen eine besonders zielgerichtete Objekterkennung durchgeführt werden.
  • Die verschiedenen parallel ausgeführten Prozesse können während der Ausführung miteinander Zwischenergebnisse austauschen. So können insbesondere Informationen über erfolgreiche Skalierungen von Referenz-Objekten die Erkennungsgüte in den parallel oder nachfolgend ausgeführten Prozessen verbessern.
  • Es kann auch sinnvoll sein, lediglich die Differenz-Zustände mit Hilfe eines gleitenden Auswahlfensters für ein gesamtes Bilddatenelement zu klassifizieren und in einem Merkmalsvektor umzuwandeln, während die Klassifizierung von Absolutmerkmalen bzw. Absolut-Zuständen nur dann ausgeführt wird, wenn eine konkrete Prüfabfrage für eine bestimmte Rasterposition bzw. einen bestimmten Mikro-Bildbereich durch eine konkret ausgeführte Übereinstimmungsprüfung angestoßen bzw. angefragt wird.
  • Das Ergebnis einer Übereinstimmungsprüfung kann auf beliebige Weise gebildet werden. Gemäß einer ersten Variante können die positiven Ergebnisse der in Bezug auf die in einem Referenz-Objekt enthaltenden Bildstrukturmerkmale (jeweils Bit-Ergebnis = 1) aufsummiert werden. Je höher das Summenergebnis ausfällt, desto höher ist die Wahrscheinlichkeit, dass das gesuchte Objekt tatsächlich in dem Bilddatenelement enthalten ist.
  • Alternativ oder zusätzlich können die positiven Übereinstimmungsergebnisse mit dem jeweils zugeordneten Relevanzwert des Prüfelements multipliziert und dann aufaddiert werden.
  • Eine weitere Optimierung kann beispielsweise dadurch erfolgen, dass ein aufsummierter Wert der Prüfergebnisse noch während der Durchführung eines Übereinstimmungsprozesses für ein konkretes Referenz-Objekt validiert wird. Sind beispielsweise schon einige Prüfelemente verarbeitet worden, ohne dass es zu signifikanten positiven Übereinstimmungsergebnissen gekommen ist, kann der Prüfvorgang vorzeitig abgebrochen und beispielsweise mit einem skalierten Referenz-Objekt erneut gestartet werden. Wird hingegen schon nach wenigen der enthaltenen Prüfelemente ein hoher Summenwert erreicht, kann die Übereinstimmungsprüfung gegebenenfalls vorzeitig ein Objekt als erkannt bewerten und mit der Übereinstimmungsprüfung für die Referenz-Objekte nächst unteren Hierarchie-Ebene fortfahren.
  • Es ist weiterhin möglich, dass die Prüfergebnisse in Bezug auf eine oder mehrere zeitlich vorangehend verarbeitete Versionen eines Bilddatenelements im Rahmen eines Tracking weiter verwendet werden. Wurde beispielsweise in einer Mehrzahl von Bilddatenelementen über einen Zeitraum von mehreren Sekunden ein Objekt mit einer bestimmten Bewegungstendenz erkannt, so können hieraus geeignete Startwerte für die Übereinstimmungsprüfung im aktuellen Bilddatenelement abgeleitet werden. Ferner kann gegebenenfalls eine Übereinstimmungsprüfung direkt mit Referenz-Objekten auf unteren Hierarchieebenen beginnen.
  • Eine Relevanzwertung in Hinblick auf die in einem Referenz-Objekt enthaltenen Prüfelemente kann alternativ oder zusätzlich durch deren Reihenfolge vorgegeben werden. Es kann insbesondere sinnvoll sein, am Anfang des Referenz-Objekts Soll-Bildstrukturmerkmale zu definieren, die als besonders wichtig bzw. besonders charakteristisch für das zu erkennende reale Objekt gehalten werden. Ferner ist es natürlich möglich innerhalb eines Prüfelementes Soll-Bildstrukturmerkmale zu mischen, die einerseits auf Soll-Differenz-Zustände und andererseits auf Soll-Absolut-Zustände gerichtet sind.
  • Die Grenzwerte (D-T1, D-T2, A-T1, A-T2, ...) und/oder Schwellenwerte (D-T3, ...), die innerhalb der logischen Abfragen (L1, L2, L3, L4, ...) zur Klassifizierung von Differenzmerkmalen oder Absolutmerkmalen verwendet werden, können in einer geordneten Datenstruktur bzw. als Datensätze abgelegt sein. Für unterschiedliche Erkennungssituation (bspw. Tag / Nacht / Regen / Künstliche Beleuchtung etc.) können verschiedene vorbereitete Datensätze ausgewählt werden, sodass die jeweilige Definition der Absolutwert- und Differenzwert-Bereichsabschnitte in geeigneter Weise verändert wird. Alternativ oder zusätzlich können die Grenz- und/oder Schwellenwerte während des Betriebs durch geeignete Verfahren optimiert und angepasst werden.
  • Bezugszeichenliste
    • 1
    Bildgebender Sensor
    2
    Bilddatenelement
    3
    Merkmalsvektor / Merkmalsraster
    4
    Referenz-Objekt
    4‘
    Referenz-Objekt skaliert
    5
    Objekt / Reales Objekt
    i
    Index für Rasterposition (in Bilddatenelement / Merkmalsraster), i = A1, A2, B1, B2 ...
    j
    Index für Vergleichsposition, j = H1, H2, H3 ...
    k
    Index für Prüfelemente und deren Bezugspositionen (in Referenz-Objekt)
    A[i]
    Bildinformationswert / Absolutwert oder Spartenwert an Rasterposition i
    AM1-R
    Erstes Absolutmerkmal Rot-Kanal
    AM2-R
    Zweites Absolutmerkmal Rot-Kanal
    AM1-G
    Erstes Absolutmerkmal Grün-Kanal
    AM2-G
    Zweites Absolutmerkmal Grün-Kanal
    AM1-B
    Erstes Absolutmerkmal Blau-Kanal
    AM2-B
    Zweites Absolutmerkmal Blau-Kanal
    AZ*1
    Erster Soll-Absolut-Zustand – SCHWARZ
    AZ*2
    Zweiter Soll-Absolut-Zustand – WEISS
    AZ*3
    Dritter Soll-Absolut-Zustand – ROT
    AZ*4
    Vierter Soll-Absolut-Zustand – GELB
    AZ*5
    Fünfter Soll-Absolut-Zustand – BLAU
    A-WB
    Absolutwert-Wertebereich
    A-A1
    Erster Absolutwert-Bereichsabschnitt
    A-A2
    Zweiter Absolutwert-Bereichsabschnitt
    A-A3
    Dritter Absolutwert-Bereichsabschnitt
    A-T1
    Erster Absolut-Grenzwert
    A-T2
    Zweiter Absolut-Grenzwert
    B
    Sparte – Farbkanal Blau
    B[A[i]]
    Spartenwert – Farbwert Blau an Position i
    BP[k]
    Bezugsposition für Prüfelement mit Index k
    BS[i]
    Bildstrukturmerkmal an Rasterposition i
    BS*[k]
    Soll-Bildstrukturmerkmal an Bezugsposition k
    D[j]
    Differenzwert an Vergleichsposition j
    DM1
    Erstes Differenzmerkmal
    DM2
    Zweites Differenzmerkmal
    DM1‘
    Erstes Differenzmerkmal (alternativ)
    DM2‘
    Zweites Differenzmerkmal (alternativ)
    DZ1
    Erster Differenz-Zustand
    DZ2
    Zweiter Differenz-Zustand
    DZ3
    Dritter Differenz-Zustand
    DZ1‘
    Erster Differenz-Zustand (alternativ)
    DZ2‘
    Zweiter Differenz-Zustand (alternativ)
    DZ3‘
    Dritter Differenz-Zustand (alternativ)
    DZ1*
    Erster Soll-Differenz-Zustand
    DZ2*
    Zweiter Soll-Differenz-Zustand
    DZ3*
    Dritter Soll-Differenz-Zustand
    D-A1
    Erster Differenzwert-Bereichsabschnitt
    D-A2
    Zweiter Differenzwert-Bereichsabschnitt
    D-A3
    Dritter Differenzwert-Bereichsabschnitt
    D-B1
    Erster Differenzwert-Bereichsabschnitt
    D-B2
    Zweiter Differenzwert-Bereichsabschnitt
    D-B3
    Dritter Differenzwert-Bereichsabschnitt
    D-T1
    Erster Differenz-Grenzwert
    D-T2
    Zweiter Differenz-Grenzwert
    D-T3
    Differenzbetrag-Schwellenwert
    D-WB
    Differenzwert-Wertebereich
    EDS
    Ergebnis-Datensatz
    ES
    Ergebnis-Segment
    G
    Sparte – Farbkanal Grün
    G[A[i]]
    Spartenwert – Farbwert Grün an Position i
    H1
    Erste Vergleichsposition
    H2
    Zweite Vergleichsposition
    H3
    Dritte Vergleichsposition
    H4
    Vierte Vergleichsposition
    H5
    Fünfte Vergleichsposition
    H6
    Sechste Vergleichsposition
    H7
    Siebte Vergleichsposition
    H8
    Achte Vergleichsposition
    HE1
    Hierarchieebene 1
    HE2
    Hierarchieebene 2
    HE3
    Hierarchieebene 3
    L1
    Erste logische Aussage
    L2
    Zweite logische Aussage
    L1‘
    Erste logische Aussage (alternativ)
    L2‘
    Zweite logische Aussage (alternativ)
    L3
    Dritte logische Aussage
    L4
    Vierte logische Aussage
    MB1
    Erster Mikro-Bildbereich
    MB2
    Zweiter Mikro-Bildbereich
    O1
    Erstes Referenz-Objekt
    O2
    Zweites Referenz-Objekt
    O3
    Drittes Referenz-Objekt
    OH
    Objekt-Hierarchie
    PV
    Prüfvektor
    R
    Sparte – Farbkanal Rot
    R[A[i]]
    Spartenwert – Farbwert Rot an Position i
    RR
    Raster-Referenzierung
    RW
    Relevanzwert
    S
    Vorzeichen-Bit
    SFx
    Skalierungsfaktor x-Richtung
    SFy
    Skalierungsfaktor y-Richtung
    T*[k]
    Prüfelement bei Index k
    TV
    Prüfvektor
    W A
    uswahlfenster
    W[i]
    Auswahlfenster an Rasterposition i
    ~
    Logisches NICHT

Claims (30)

  1. Verfahren zur Klassifizierung von Bildstrukturmerkmalen (BS[i]) innerhalb eines Bilddatenelements (2), das von einem bildgebenden Sensor (2) bezogen ist und in dem Bildinformationswerte (A[i]) mit einer bekannten Raster-Referenzierung (RR) gespeichert sind, wobei die Bildinformationswerte (A[i]) in einem bekannten Absolutwert-Wertebereich (A-WB) auftreten, dadurch gekennze ich net, dass das Verfahren die folgenden Schritte umfasst: – Ein erster und ein zweiter Mikro-Bildbereich (MB1, MB2) mit bekannten Raster-Positionen (i) innerhalb des Bilddatenelements (2) werden ausgewählt; – Die Bildinformationswerte (A[i]) in dem ersten und in dem zweiten Mikro-Bildbereich (MB1, MB2) werden wertemäßig verglichen (H1, H2, H3, H4), wobei zumindest ein Differenzwert (D[j]) zwischen den Bildinformationswerten (A[i]) des ersten und des zweiten Mikro-Bildbereichs (MB1, MB2) berechnet wird; – Innerhalb eines möglichen Wertebereichs der Differenzwerte (Differenzwert-Wertebereich D-WB) sind mindestens drei Differenzwert-Bereichsabschnitte (D-A1, D-A2, D-A3 / DB-1, DB-2, D-B3) vorbestimmt; – Es werden Differenzmerkmale (DM1, DM2 / DM1‘, DM2‘) als Ergebnisse von vordefinierten logischen Aussagen (L1, L2 / L1‘, L2‘) über die verarbeiteten Bildinformationswerte (A[i]) klassifiziert; – Die logischen Aussagen (L1, L2) ermöglichen zumindest eine Bestimmung darüber, in welchem Differenzwert-Bereichsabschnitt (D-A1, D-A2, D-A3) ein ermittelter Differenzwert (D[j]) liegt.
  2. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die logischen Aussagen umfassen: – Erste logische Aussage (L1): Der Differenzwert (D[j]) ist kleiner als ein erster Differenz-Grenzwert (D-T1) (JA/NEIN); – Zweite logische Aussage (L2): Der Differenzwert (D[j]) ist größer als ein zweiter Differenz-Grenzwert (D-T2) (JA/NEIN);
  3. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die logischen Aussagen umfassen: – Erste logische Aussage (L1‘): Der Differenzwert (D[j]) hat ein positives Vorzeichen (JA/NEIN); – Zweite logische Aussage (L2‘): Der Betrag des Differenzwerts (|D[j]|) unterschreitet einen vordefinierten Differenzbetrag-Schwellenwert (D-T3) (JA/NEIN).
  4. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst: – Es werden Differenz-Zustände (DZ1, DZ2, DZ3 / DZ1‘, DZ2‘, DZ3‘) klassifiziert, die beschreiben, ob ein ermittelter Differenzwert (D[j]) in jeweils einem der festgelegten Differenzwert-Bereichsabschnitte (D-A1, D-A2, D-A3 / DB-1, DB-2, D-B3) liegt.
  5. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Differenz-Zustand (DZ1, DZ2, DZ3, DZ1‘, DZ2‘, DZ3‘) durch eine logische Verknüpfung aus zwei oder mehr erfassten Differenzmerkmalen (DM1, DM2) bzw. den jeweiligen logischen Aussagen (L1, L2 / L1‘, L2‘) gebildet wird.
  6. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst: – Die erfassten Differenzmerkmale (DM1, DM2) und/oder die erfassten Differenz-Zustände (DZ1, DZ2, DZ3) werden in einem Ergebnis-Datensegment (ES) gespeichert.
  7. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorgenannten Schritte gemäß einer bekannten Abfolge für eine Mehrzahl [j] von Vergleichen (H1, H2, H3, H4) zwischen Mikro-Bildbereichen (MB1, MB2) wiederholt werden, wobei die Ergebnis-Segmente (ES) in einem Merkmalsvektor (3) zusammengefasst werden.
  8. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswahl der Mikro-Bildbereiche (MB1, MB2) innerhalb eines gleitenden Auswahlfensters (W[i]) erfolgt, das eine vorbestimmte Gruppe von Rasterpositionen überdeckt, wobei die Mikro-Bildbereiche (MB1, MB2) für jeden Vergleich (H1, H2, H3, H4) als vorbestimmte Auswahl aus dieser Gruppe definiert sind.
  9. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Mikro-Bildbereich (MB1, MB2) jeweils die Bildinformationswerte (A[i]) einer einzelnen Raster-Position innerhalb des Bilddatenelements (2) umfasst.
  10. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Mikro-Bildbereich (MB1, MB2) mehrere Raster-Positionen (i) innerhalb des Bilddatenelements (2) überdeckt, deren Bildinformationswerte (A[i]) rechnerisch zusammengefasst werden, insbesondere durch Mittelwertbildung.
  11. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere Ergebnis-Segmente (ES), die Vergleiche in Bezug auf eine gemeinsame Raster-Position (i) oder eine gemeinsame Position des Auswahlfensters (W[i]) betreffen, in jeweils einem Ergebnisdatensatz (EDS) zusammengefasst werden.
  12. Klassifizierungsverfahren nach dem Oberbegriff von Anspruch 1 oder nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass innerhalb des Absolutwert-Wertebereichs (A-WB) zwei oder mehr Absolutwert-Bereichsabschnitte (A-A1, A-A2, A-A3) definiert sind und Absolutmerkmale (AM1, AM2) als Ergebnis von logischen Aussagen (L3, L4) klassifiziert werden, die eine Bestimmung darüber ermöglichen, in welchem Absolutwert-Bereichsabschnitt (A-A1, A-A2, A-A3) ein verarbeiteter Bildinformationswert (A[i]) liegt.
  13. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die logischen Aussagen (L3, L4) umfassen: – Dritte logische Aussage (L3): Der Absolutwert (A[i]) ist kleiner als ein erster Absolut-Grenzwert (A-T1) (JA/NEIN).
  14. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die logischen Aussagen (L3, L4) umfassen: – Vierte logische Aussage (L3): Der Absolutwert (A[i]) ist größer als ein zweiter Absolut-Grenzwert (A-T2) (JA/NEIN).
  15. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für eine Rasterposition (i) mehrere Bildinformationswerte als separierte Spartenwerte (R[A[i]], G[A[i]]), B[A[i]]) zur Repräsentation verschiedener Informationsgehalte vorliegen, wobei für jede Sparte eine separate Bestimmung von Absolutmerkmalen (AM1-R, AM2-R, AM1-G, AM2-G, AM1-B, AM2-B) erfolgt.
  16. Klassifizierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Grenzwerte (D-T1, D-T2, A-T1, A-T2) und/oder Schwellenwerte (T3), die innerhalb der logischen Abfragen (L1, L2, L3, L4) verwendet werden, in einer geordneten Datenstruktur als Datensätze abgelegt sind, wobei für unterschiedliche Erkennungssituation verschiedene Datensätze auswählbar sind.
  17. Merkmalsvektor zur Verwendung in einem Verfahren zur Übereinstimmungsprüfung von Bildstrukturmerkmalen mit mindestens einem Referenz-Objekt, wobei der Merkmalsvektor durch ein Klassifizierungsverfahren auf Basis eines Bilddatenelements (2) erzeugt ist, welches von einem bildgebenden Sensor (1) bereitgestellt worden ist, dadurch gekennzeichnet, dass der Merkmalsvektor folgende Informationen umfasst: – Eine Mehrzahl von Ergebnis-Segmenten (ES) zu bekannten Rasterpositionen (i) im Bilddatenelement (2), die jeweils ein oder mehrere Bildstrukturmerkmale BS[i] umfassen oder Differenzmerkmale (DM1, DM2 / DM1‘, DM2‘) aus denen Bildstrukturmerkmale BS[i] durch logische Verknüpfung ableitbar sind; – wobei ein Bildstrukturmerkmal (BS[i]) bestimmt, in welchem Differenzwert-Bereichsabschnitt (D-A1, D-A2, D-A3) ein mit Bezug auf die Rasterposition (i) ermittelter Differenzwert (D[j]) liegt.
  18. Merkmalsvektor nach dem Oberbegriff des vorhergehenden Anspruchs oder nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Merkmalsvektor folgende Informationen umfasst: – Eine Mehrzahl von Ergebnis-Segmenten (ES) zu bekannten Rasterpositionen (i) im Bilddatenelement (2), die jeweils ein oder mehrere Bildstrukturmerkmale BS[i] umfassen oder Absolutmerkmale (AM1, AM2) aus denen Bildstrukturmerkmale (BS[i]) durch logische Verknüpfung ableitbar sind; – wobei ein Bildstrukturmerkmale (BS[i]) bestimmt, in welchem Absolutwert-Bereichsabschnitt (A-A1, A-A2, A-A3) ein an der Rasterposition (i) vorliegender Bildinformationswert (A[i]) und/oder ein Spartenwert (R[A[i]], G[A[i]], B[A[i]]) liegt.
  19. Referenz-Objekt zur Verwendung in einem bildbasierten Objekterkennungsverfahren, das dazu ausgebildet ist, ein Objekt (5) in einem von einem bildgebenden Sensor (1) bezogenen Bilddatenelement (2) oder einem aus dem Bilddatenelement (2) durch ein Klassifizierungsverfahren erzeugten Merkmalsvektor zu erkennen, wobei das Referenz-Objekt (4) äußerliche Merkmale eines realen Objekts (5) charakterisiert, dadurch gekennzeichnet, dass das Referenz-Objekt folgende in einem Vektor gespeicherte Informationen umfasst, die auf Übereinstimmung mit dem Bilddatenelement (2) oder dem Merkmalsvektor zu prüfen sind: – Bezugspositionen (BP[k]) für eine Mehrzahl von Prüfelementen (T*[k]); – Ein oder mehrere Soll-Bildstrukturmerkmale (BS*[k]) für jedes Prüfelement (T*[k]); – wobei ein Soll-Bildstrukturmerkmal (BS*[k]) bestimmt, dass für ein positives Übereinstimmungsergebnis ein an der Bezugsposition (BP[k]) erwarteter Differenzwert (D[k]), der durch Vergleich zwischen Bildinformationswerten aus zwei Mikro-Bildbereichen zu errechnen ist, aus einem von mindestens drei vorbestimmten Differenzwert-Bereichsabschnitten (D-A1, D-A2, D-A3 / D-B1, D-B2, D-B3) stammen muss.
  20. Referenz-Objekt nach dem Oberbegriff des vorhergehenden Anspruchs oder nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Referenz-Objekt folgende in einem Vektor gespeicherte Informationen umfasst, die auf Übereinstimmung mit dem Bilddatenelement (2) oder dem Merkmalsvektor zu prüfen sind: – Bezugspositionen (BP[k]) für eine Mehrzahl von Prüfelementen (T*[k]); – Ein oder mehrere Soll-Bildstrukturmerkmale (BS*[k]) für jedes Prüfelement (T*[k]); – wobei ein Soll-Bildstrukturmerkmal (BS*[k]) bestimmt, dass für ein positives Übereinstimmungsergebnis ein an der Bezugsposition (BP[k]) erwarteter Bildinformationswert (A[i]) aus einem von mindestens drei vorbestimmten Absolutwert-Bereichsabschnitten (A-A1, A-A2, A-A3) stammen muss.
  21. Referenz-Objekt nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Soll-Bildstrukturmerkmal (BS*[k]) bestimmt, dass für ein positives Übereinstimmungsergebnis mehrere an der Bezugsposition (BP[k]) erwartete Spartenwerte (R[A[i]], G[A[i]], B[A[i]]) jeweils aus einem von mindestens drei für die jeweilige Sparte vorbestimmten Absolutwert-Bereichsabschnitten (A-A1, A-A2, A-A3) stammen muss.
  22. Referenz-Objekt nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Referenz-Objekt (4) für manche oder alle Prüfelemente (T*[k]) einen Relevanzwert (RW[k]) umfasst;
  23. Objektdatenbank mit einer Mehrzahl an Referenz-Objekten (O1, O2, O3) mit einer Ausbildung gemäß einem der vorhergehenden Ansprüche.
  24. Objektdatenbank nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Referenz-Objekte (O1, O2, O3) in einer Objekt-Hierarchie (OH) oder Baumstruktur gegliedert sind, wobei ein Referenz-Objekt (O2, O3) einer unteren Hierarchie-Ebene (H2) weitere Prüfelemente (T*[k]) zu denjenigen des Referenz-Objekts (O1) der darüber liegenden Hierarchie-Ebene (H1) hinzufügt.
  25. Verfahren zur Übereinstimmungsprüfung zwischen einem Merkmalsvektor und einem Referenz-Objekt (3), wobei der Merkmalsvektor und das Referenz-Objekt (3) jeweils nach einem der vorhergehenden Ansprüche ausgebildet sind, dadurch gekennzeichnet, dass das Prüfungsverfahren die folgenden Schritte aufweist: – Zwei oder mehr Bildstrukturmerkmale (BS[i]) aus dem Merkmalsvektor (3) werden anhand einer Bezugspositionen (BP[k]) im Referenz-Objekt (4) ausgewählt; – Die ausgewählten Bildstrukturmerkmale (BS[i]) werden mit den zugehörigen Soll-Bildstrukturmerkmalen (BS*[i]) verglichen; – Merkmalsübereinstimmungen (BS[i]) = (BS[k]) werden ausgewertet.
  26. Prüfungsverfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die ausgewählten Bildstrukturmerkmale (BS[i]) zu einem Prüfvektor (PV) aggregiert werden.
  27. Prüfungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bezugspositionen (BP[k]) in einem Referenz-Objekt (4) mit einem oder mehreren Skalierungsfaktoren (SKx, SKy) zur Bildung eines skalierten Referenz-Objekts (4‘) transformiert, insbesondere multipliziert werden.
  28. Bildbasiertes Objekterkennungsverfahren zur Verarbeitung von Bildinformationen (A[i]) in einem Bilddatenelement (2) mit einer bekannten Raster-Referenzierung (RR), wobei das Bilddatenelement (2) von einem bildgebenden Sensor (1) bezogen ist, dadurch gekennzeichnet, dass – In dem Bilddatenelement wiederholt ein erster und ein zweiter Mikro-Bildbereich (MB1, MB2) ausgewählt werden; und – Bildstrukturmerkmale (BS[i]) auf Basis einer Mehrzahl (j) an wertemäßigen Vergleichen (H1, H2, H3, H4) zwischen den Bildinformationswerten (A[i]) der ausgewählten Mikro-Bildbereiche (MB1, MB2) ermittelt werden; – wobei ein Bildstrukturmerkmal (BS[i]) bestimmt, dass ein in einem Vergleich (H1, H2, H3, H4) ermittelter Differenzwert (D[j]) aus einem von mindestens drei vorbestimmten Differenzwert-Bereichsabschnitten (D-A1, D-A2, D-A3 / D-B1, D-B2, D-B3) stammt; und – wobei eine Übereinstimmungsprüfung gegenüber einem Referenz-Objekt (4) ausgeführt wird, welches eine zu detektierende geometrische Form eines realen Objekts (5) charakterisiert; und – wobei in dem Referenz-Objekt (4) Prüfelemente (T*[k]) mit Soll-Bildstrukturmerkmalen (BS*[k]) definiert sind; und – ein Soll-Bildstrukturmerkmal (BS*[k]) bestimmt, dass für ein positives Übereinstimmungsergebnis ein erwarteter Differenzwert (D[k]) aus einem der Differenzwert-Bereichsabschnitte (D-A1, D-A2, D-A3 / D-B1, D-B2, D-B3) stammen muss.
  29. Bildbasiertes Objekterkennungsverfahren nach dem Oberbegriff des vorhergehenden Anspruchs, dadurch gekennzeichnet, dass in dem Objekterkennungsverfahren ein Klassifizierungsverfahren und/oder ein Verfahren zur Übereinstimmungsprüfung nach einem der vorhergehenden Ansprüche verwendet werden.
  30. Verfahren zur bildbasierten Objekterkennung durch Ermittlung von Übereinstimmungen zwischen einem Referenz-Objekt (4) und Bildinformationswerten (A[i]) in einem von einem bildgebenden Sensor (1) bezogenen Bilddatenelement (2), dadurch gekennzeichnet, dass das Referenz-Objekt (4) auf Übereinstimmung zu prüfende Soll-Bildstrukturmerkmale (BS*[k]) enthält, die auf eine Prüfung darüber gerichtet sind, ob der Differenzwert (D[k]) zwischen den Bildinformationswerten (A[i]) in zwei wertemäßig zu vergleichenden Mikro-Bildbereichen (MB1, MB2) an einer vorgegebenen Bezugsposition [k] im Bilddatenelement (2) in einem von mindestens drei vordefinierten Differenzwert-Bereichsabschnitten (D-A1, D-A2, D-A3 / D-B1, D-B2, D-B3) liegt.
DE102014117074.1A 2014-11-21 2014-11-21 Bildbasierte Objekterkennungstechnik Withdrawn DE102014117074A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102014117074.1A DE102014117074A1 (de) 2014-11-21 2014-11-21 Bildbasierte Objekterkennungstechnik
DE202015100437.0U DE202015100437U1 (de) 2014-11-21 2015-01-30 Bildbasierte Objekterkennungstechnik
PCT/EP2015/077207 WO2016079292A1 (de) 2014-11-21 2015-11-20 Bildbasierte objekterkennungstechnik
PCT/EP2015/077212 WO2016079295A1 (de) 2014-11-21 2015-11-20 Bildbasierte objekterkennungstechnik
DE112015005258.5T DE112015005258A5 (de) 2014-11-21 2015-11-20 Bildbasierte objekterkennungstechnik

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014117074.1A DE102014117074A1 (de) 2014-11-21 2014-11-21 Bildbasierte Objekterkennungstechnik

Publications (1)

Publication Number Publication Date
DE102014117074A1 true DE102014117074A1 (de) 2016-05-25

Family

ID=55486218

Family Applications (3)

Application Number Title Priority Date Filing Date
DE102014117074.1A Withdrawn DE102014117074A1 (de) 2014-11-21 2014-11-21 Bildbasierte Objekterkennungstechnik
DE202015100437.0U Active DE202015100437U1 (de) 2014-11-21 2015-01-30 Bildbasierte Objekterkennungstechnik
DE112015005258.5T Withdrawn DE112015005258A5 (de) 2014-11-21 2015-11-20 Bildbasierte objekterkennungstechnik

Family Applications After (2)

Application Number Title Priority Date Filing Date
DE202015100437.0U Active DE202015100437U1 (de) 2014-11-21 2015-01-30 Bildbasierte Objekterkennungstechnik
DE112015005258.5T Withdrawn DE112015005258A5 (de) 2014-11-21 2015-11-20 Bildbasierte objekterkennungstechnik

Country Status (2)

Country Link
DE (3) DE102014117074A1 (de)
WO (2) WO2016079292A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3239401T3 (pl) * 2016-04-29 2020-03-31 Ausbau Mügeln Gmbh Sposób zarządzania urządzeniami do kontroli ruchu

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (de) * 1998-11-14 2000-05-25 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US20040086153A1 (en) * 2002-10-30 2004-05-06 Yichang Tsai Methods and systems for recognizing road signs in a digital image
DE102006012477A1 (de) * 2006-03-16 2007-09-20 Robert Bosch Gmbh Bewertungsvorrichtung, Verfahren und Computerprogramm
DE102008000758A1 (de) * 2007-04-09 2009-02-05 Denso Corp., Kariya-shi Vorrichtung zum Erkennen eines Objekts in einer Abbildung
DE102010020330A1 (de) * 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
WO2012056002A1 (en) * 2010-10-28 2012-05-03 Cyclomedia Technology B.V. Method for detecting and recognising an object in an image, and an apparatus and a computer program therefor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19831413C2 (de) * 1998-07-14 2002-03-07 Daimler Chrysler Ag Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (de) * 1998-11-14 2000-05-25 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US20040086153A1 (en) * 2002-10-30 2004-05-06 Yichang Tsai Methods and systems for recognizing road signs in a digital image
DE102006012477A1 (de) * 2006-03-16 2007-09-20 Robert Bosch Gmbh Bewertungsvorrichtung, Verfahren und Computerprogramm
DE102008000758A1 (de) * 2007-04-09 2009-02-05 Denso Corp., Kariya-shi Vorrichtung zum Erkennen eines Objekts in einer Abbildung
DE102010020330A1 (de) * 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
WO2012056002A1 (en) * 2010-10-28 2012-05-03 Cyclomedia Technology B.V. Method for detecting and recognising an object in an image, and an apparatus and a computer program therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shojania, Hassa: Real-time traffic sign detection. In: Report Project on Fall, 2003, 1-24. *

Also Published As

Publication number Publication date
DE202015100437U1 (de) 2016-02-23
WO2016079292A1 (de) 2016-05-26
WO2016079295A1 (de) 2016-05-26
DE112015005258A5 (de) 2017-08-17

Similar Documents

Publication Publication Date Title
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE112018004797T5 (de) Ansichtspunktinvariante objekterkennung durch synthetisierung und domänenanpassung
DE112017007579T5 (de) Verfahren und System zum automatischen Kolorieren von Nachtsichtbildern
DE102018128531A1 (de) System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE102019218613B4 (de) Objektklassifizierungsverfahren, Objektklassifizierungsschaltung, Kraftfahrzeug
DE112010002232T5 (de) Semantische Szenensegmentierung mittels Random multinominalem Logit (RML)
DE102019127282A1 (de) System und Verfahren zum Analysieren einer dreidimensionalen Umgebung durch tiefes Lernen
DE102017218889A1 (de) Unscharf parametriertes KI-Modul sowie Verfahren zum Betreiben
DE102012005325A1 (de) Maschinelles Bilderkennungsverfahren basierend auf einem Kl-System
DE102012220619A1 (de) Farberfassungsvorrichtung für ein Fahrzeug
EP3644239A1 (de) Verfahren und vorrichtung zum abstrahieren eines datensatzes
DE102021203020A1 (de) Generative-adversarial-network-modelle zur detektion kleiner strassenobjekte
WO2021122338A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
DE102015205502A1 (de) Bildverarbeitungsverfahren und Bildverarbeitungssystem zum Extrahieren verzerrter kreisförmiger Bildelemente
DE102014117074A1 (de) Bildbasierte Objekterkennungstechnik
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
DE102019129029A1 (de) System und verfahren zur objektdetektion
DE102022209528A1 (de) Visuelle Analysesysteme zur Diagnose und Verbesserung von Deep-Learning-Modellen für bewegbare Objekte beim autonomen Fahren
DE102019208234A1 (de) Verfahren und Vorrichtung zum automatischen Ausführen einer Steuerfunktion eines Fahrzeugs
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
DE112020001625T5 (de) Bildsuchsystem und Bildsuchverfahren
DE102007025620A1 (de) Vorrichtung zur Bestimmung einer Objekt- und/oder Existenzwahrscheinlichtkeit eines Suchobjekts in einem Auslesefenster eines Bildes, Verfahren sowie Computerprogramm
DE10136649B4 (de) Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen
DE102019103192A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein digitales, lernfähiges Kamerasystem

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE

R016 Response to examination communication
R118 Application deemed withdrawn due to claim for domestic priority