DE10351778A1 - Verfahren zur Korrespondenzanalyse in Bilddatensätzen - Google Patents

Verfahren zur Korrespondenzanalyse in Bilddatensätzen Download PDF

Info

Publication number
DE10351778A1
DE10351778A1 DE10351778A DE10351778A DE10351778A1 DE 10351778 A1 DE10351778 A1 DE 10351778A1 DE 10351778 A DE10351778 A DE 10351778A DE 10351778 A DE10351778 A DE 10351778A DE 10351778 A1 DE10351778 A1 DE 10351778A1
Authority
DE
Germany
Prior art keywords
signature
image data
correspondence
string
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10351778A
Other languages
English (en)
Inventor
Fridtjof Dr. Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE10351778A priority Critical patent/DE10351778A1/de
Priority to PCT/EP2004/011633 priority patent/WO2005048195A2/de
Priority to US10/578,414 priority patent/US7664314B2/en
Publication of DE10351778A1 publication Critical patent/DE10351778A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

Bei der Verarbeitung von Bilddaten bewegter Szenarien, insbesondere, um darin befindliche Objekte zu erkennen und zu verfolgen (Tracking), ist es notwendig, in den einzelnen zeitlich aufeinander folgenden Bilddatensätze miteinander korrespondierende Bildpunkte bzw. Bildbereiche zu identifizieren. Gleichsam ist es auch bei der Stereobildverarbeitung notwendig, in zwei im Wesentlichen zum selben Zeitpunkt aus unterschiedlichen Blickwinkeln aufgenommenen Bildern diejenigen Datenbereiche zu identifizieren, welche miteinander korrespondieren. DOLLAR A Bei dem neuartigen Verfahren zur Korrespondenzanalyse in Bilddatensätzen werden in einem ersten Schritt die zu vergleichenden Bilddatensätze mit einem Signaturoperator derart transformiert, dass für jedes Pixel ein Signaturstring berechnet und in einer den einzelnen Bilddatensätzen zugeordneten Signaturtabelle gemeinsam mit den Pixelkoordinaten abgelegt wird. Nachfolgend werden für diejenigen Signaturstrings, welche in beiden Tabellen aufzufinden sind, eine Korrespondenzhypothese generiert und in einer Hypothesenliste zur Weiterverarbeitung gespeichert wird. Durch die Erfindung wird in vorteilhafter Weise eine in Bezug auf die Rechenzeit sehr effiziente Korrespondenzanalyse ermöglicht, welche auch in der Lage ist, Bildpaare auch dann noch schnell zu verarbeiten, wenn sich einzelne Objekte in den beiden Bilddatensätzen an stark unterschiedlichen Stellen abbilden.

Description

  • Die Erfindung betrifft ein Verfahren zur Korrespondenzanalyse in Bilddatensätzen und eine zur Durchführung des Verfahrens geeignete Vorrichtung nach den Oberbegriffen der Patentansprüche 1 und 11.
  • Bei der Verarbeitung von Bilddaten bewegter Szenarien, insbesondere um darin befindliche Objekte zu erkennen und zu verfolgen (Tracking) ist es notwendig, in den einzelnen zeitlich aufeinanderfolgenden Bilddatensätze miteinander korrespondierende Bildpunkte bzw. Bildbereiche zu identifizieren.
  • Es ist jedoch insbesondere bei monokularen Kamerasystemen schwer Objekte in von der Umgebung gewonnen Bilddaten zu erkennen und deren Bewegungsparameter zu vermessen. Eine Möglichkeit bietet sich jedoch durch die Analyse des Optischen Flusses von Objekten innerhalb der Bilddaten. Der Optische Fluss beschreibt die Verschiebung der zu einem Zeitpunkt i aufgenommenen Bildpunkte eines Objektes in Bezug zu den zum Zeitpunkt j aufgenommenen Bildpunkten. Das Problem welches sich hierbei stellt, besteht darin, festzulegen, welche der Bildpunkte zum Zeitpunkt i, mit welchen Bildpunkten des Kamerabildes zum Zeitpunkt j korrespondieren, also zum selben Objekt gehören. Im Zusammenhang mit diesem zu lösenden Korrespondenzproblem werden Hypothesen dahingehend aufgestellt, welche Paare von Bildpunkten (Bildpixel) aus den Bild zum Zeitpunkt i und aus dem Bild zum Zeitpunkt j zusammengehören. Diese Hypothesen werden sodann zu weiteren Verarbeitung, wie der geometrischen Objektbildung und Objektverfolgung, in einer Hypothesen Liste abgelegt.
  • In den vergangen Jahren wurden eine Vielzahl von unterschiedlichen Algorithmen zum Optischen Fluss entwickelt, deren bekannteste Vertreter in einem Übersichtsartikel von Barron et. all () gegenübergestellt wurden. Barron unterscheidet
    • – Differentielle Techniken, bei welchen der Optische Fluss auf Grundlage von örtlich und zeitlich begrenzten Intensitätsveränderungen („spatio-temporal derivatives of image intensities") der Bildpunkte berechnet wird,
    • – Matching-Techniken, bei welchen die Lageänderung von zumeist mehrere Bildpunkte umfassenden Objekten im Bild beobachtet wird und in definierten Zeitabständen anhand der Lageverschiebung dieser Objekte deren Geschwindigkeit und somit der Optische Fluss bestimmt wird,
    • – Energie-basierte Techniken, bei welchen die Berechnung des Optischen Flusses auf der Ausgangsenergie von geschwindigkeitsoptimierten Filtern basiert. Derartige Techniken werden auch als frequenz-basierte Techniken bezeichnet, da die geschwindigkeits-angepassten Filter im Frequenzbereich (Fourier Domain) definiert sind,
    • – Phasen-basierte Techniken, welche auf dem Grundsatz basieren, dass sich Geschwindigkeit in Bilddaten in dem Phasen-verhalten der Ausgangssignale von Bandpassfiltern wiederspiegelt.
  • Die bekannten Methoden beruhen in der Regel beruhen auf rechenintensiven Korrelationsansätzen und sind im allgemeinen nur in Lage kleine Verschiebungen von Objekten (geringer op tischer Fluss) von einer Bildaufnahme zur nächsten zu messen. Insbesondere bei der Verwendung derartiger Algorithmik bei der Bilderkennung in Kraftfahrzeugen stellt sich das Problem, dass die dort verwandten Steuergeräte nur begrenzte Rechenressourcen aufweisen und insbesondere bei starken Lenkbewegungen oder hohen Fahrgeschwindigkeiten große Optische Flüsse in den Bilddaten auftreten.
  • Neben der Verwendung der Korrespondenzanalyse bei der Bestimmung des Optischen Flusses von Objekten aus zeitlich aufeinander folgenden Bilddatensätzen, ist es auch bei der Stereobildverarbeitung notwendig in zwei im wesentlichen zum selben Zeitpunkt aus unterschiedlichen Blickwinkeln aufgenommenen Bildern diejenigen Datenbereiche zu identifizieren, welche miteinander korrespondieren. Die als korrespondierend identifizierten Bereiche werden sodann einem Objekt zugeordnet, so dass aus den bekannten geometrischen Verhältnissen der Kamerapositionen und -blickrichtungen auf die Entfernung und Position dieses Objektes geschlossen werden kann. Da das Funktionsprinzip der Stereobildverarbeitung eben gerade darauf basiert, dass sich ein und dasselbe Objekt in den im wesentlich zeitgleich aufgenommenen Bilddaten an unterschiedlicher Stelle abbildet, bildet die Korrespondenzanalyse den rechenintensivsten Teil der Bildauswertung und ist der Leistungsbeschränkende Faktor, insbesondere bei Anwendungen bei welchen nur eine begrenzte Menge an Rechenressource zur Verfügung gestellt werden kann.
    •
  • Aufgabe der Erfindung ist es somit ein Verfahren zur Korrespondenzanalyse in Bilddatensätzen und ein zur Durchführung dieses Verfahrens geeignete Vorrichtung zu finden, welche Rechenzeit effizient arbeitet und auch in der Lage ist, große Optische Flüsse zu verarbeiten.
  • Die Aufgabe wird durch ein Verfahren und eine Vorrichtung zur Korrespondenzanalyse in Bilddatensätzen mit den Merkmalen der Patentansprüche 1 und 11 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen beschrieben.
  • Bei dem neuartigen Verfahren zur Korrespondenzanalyse in Bilddatensätzen werden einzelne Bildpunkte innerhalb von zwei Bilddatensätzen i (20) und j (21) verglichen, um miteinander korrespondierende Bildpunkte (Pixel) uivi und ujvj zu identifizieren. Hierzu wird in erfinderischer Weise in einem ersten Schritt der Bilddatensatz i (20) mit einem Signaturoperator derart transformiert, dass für jedes Pixel uivi ein Signaturstring (27) berechnet und in einer Signaturtabelle (22) gemeinsam mit den Pixelkoordinaten abgelegt wird. In besonderer Weise wird sodann in einem nächsten Schritt jedes Pixel ujvj des andere Bilddatensatzes j (21) mittels desselben Signaturoperators transformiert, worauf die resultierenden Signaturstrings (27) gemeinsam mit den jeweiligen Pixelkoordinaten in einer weiteren dem Bilddatensatz j (21) zugeordneten Signaturtabelle (23) abgelegt werden. Nachfolgend werden sodann die Einträge der beiden Signaturtabellen (22, 23) dahingehend untersucht, ob Signaturstrings (27) vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings (27) zugeordneten Koordinaten eine Korrespondenzhypothese (25) generiert und in einer Hypothesenliste (26) zur Weiterverarbeitung gespeichert wird. In einfachster Weise kann die Korrespondenzhypothese dergestalt definiert sein, dass dann wenn in beiden Signaturtabellen (22, 23) übereinstimmende Signaturstrings (27) aufgefunden wurden, davon ausgegangen wird, dass die jeweiligen Bildpunkte des Bildpunktpaares Abbilder des selben Objektes bzw. Teilen davon entsprechen. Es ist für das erfinderische Verfahren unerheblich, ob im Rahmen der erfindungsgemäßen Ausgestaltung der Vorrichtung zur Korrespondenzanalyse die Speichereinheit zur Speicherung der den Bilddatensätzen i und j zugeordnete Signaturtabellen (22, 23) physikalisch oder virtuell in zwei Speicherbereiche gegliedert ist. Auf jeden Fall ist in einer solchen Vorrichtung dieser Speichereinheit eine Einheit zur Generierung von den Signaturstrings zugeordneten Korrespondenzhypothesen nachgeschaltet sein, welche mit einem Speicher zur Speicherung dieser Korrespondenzhypothesen (25) in Form einer Hypothesenliste (26) versehen ist.
  • Durch die Erfindung wird in vorteilhafter Weise eine in Bezug auf die Rechenzeit sehr effiziente Korrespondenzanalyse ermöglicht, welche auch in der Lage ist Bildpaare auch dann noch schnell zu verarbeiten, wenn sich einzelne Objekte in den beiden Bilddatensätzen an stark unterschiedlichen Stellen abbilden.
  • Nachfolgend soll anhand von Ausführungsbeispielen und mit Hilfe von Figuren die Erfindung und deren vorteilhaften Ausgestaltungen näher erläutert werden.
  • 1 erläutert die Census-Transformation und die hieraus resultierenden Signaturstrings
  • 2 beschreibt schematisch den Ablauf der Korrespondenzanalyse.
  • In besonders vorteilhafter Weise wird der Signaturoperator zur Transformation der einzelnen Bildpunkte als Census-Operator ausgestaltet, welcher einer nichtlinearen Transformation der einen Bildpunkt umgebenden Bilddaten entspricht. Anhand der 1 sie beispielhaft die Funktionalität der Census-Transformation erläutert. Hierzu ist in 1a) ein 3 × 3 Bildpunkte (Pixel) umfassender Ausschnitt aus einem Grau wertbild schematisch dargestellt. Jeder der 9 Bildpunkte beinhaltet einen bestimmten Grauwert, welcher hier als Wert an der entsprechenden Stelle des Bildpunktes angegeben ist; bei einem Grauwertebereich von 0–255 entspricht ein Wert von 157 einem recht hellen Pixel, während mit einem Grauwert von 18 ein sehr dunkles, annähernd Schwarzes Pixel beschrieben wird. Soll nun in Bezug auf den mittleren Bildpunkt eine Census-Transformation (hier: Grauwert 64) erfolgen, so wird dessen Grauwert mit den Grauwerten der benachbarten Bildpunkte verglichen. Hierbei wird die Differenz der Grauwerte gebildet und mit Schwellwerten verglichen, wobei die jeweiligen benachbarten Bildpunkt auf Grundlage dieses Vergleichs mit einem speziellen Wert belegt werden:
    • → 0,
    wenn der Grauwert des benachbarten Pixels kleiner als der des zu transformierenden Pixels ist,
    → 1,
    wenn der Grauwert des benachbarten Pixels um weniger als einen bestimmten Wert (im allgemeinen um weniger als 16) vom zu transformierenden Pixel abweicht.
    → 2,
    wenn der Grauwert des benachbarten Pixels größer als der des zu transformierenden Pixels ist.
  • Bei dem vorliegenden Beispiel ergibt sich im Rahmen der Transformation des zentralen Bildpunktes mit dem Grauwert 64 die in 1b aufgezeigte Zuweisung von Werten zu den benachbarten Bildpunkten. Ausgehend von diesen Werten kann sodann auf einfache Weise ein den zentralen Bildpunkt beschreibender Signaturstring (27) generiert werden, indem beispielsweise die Werte reihum im Uhrzeigersinn ausgehend von oben, links aneinander gereiht werden; hier ergäbe sich somit ein Signaturstring (27) mit dem Wert „21002222". Selbstverständlich ist es auch möglich diesen Signaturstring nochmals zu transformieren um, ihn an eine bestimmte Algorithmik oder Speicherhardware besser anzupassen. So könnte in diesem Fall der Signaturstring (27) beispielsweise von dem 3-er-Zahlensystem in ein 10-er-Zahlensystem transformiert werden (hier: „5183").
  • Selbstverständlich ist es denkbar den Vergleich des zu transformierenden Bildpunktes mit dessen Nachbarn auf Basis einer Anzahl andersgestufter Schwellwerten durchzuführen oder auch die Nachbarschaft anders zu definieren. So wäre es in gewinnbringender Weise auch möglich nicht die direkt benachbarten Bildpunkte sondern erst die übernächsten 15 Bildpunkte (Nachbarschaftsabstand 2) zur Transformation heranzuziehen. Hierdurch würde zwar ein längerer Signaturstring entstehen, die Grauwerte der miteinander verglichenen Bildpunkte wären jedoch wesentlich unkorrelierter. Auch besteht die Möglichkeit, dass benachbarte Bildpunkte nur teilweise herangezogen werden, wobei beispielsweise sternförmig nur jeder 2. Nachbarwert zur Transformation herangezogen wird.
  • In besonders effizienter Weise lassen sich die Signaturtabellen (22, 23) erstellen und verarbeiten, wenn sie in Form einer Hash-Tabelle organisiert werden. Eine Hash-Tabelle ermöglicht es den einzelnen Tabelleneintrag direkt ausgehend von einem bestimmten dort einzutragenden Wert (hier: Signaturstring (27)) zu adressieren; d.h. jedem Signaturstring (27) ist ein spezifischer Tabellen bzw. Speicherplatz zugeordnet. Die Länge der Tabelle kann jedoch unabhängig von der Anzahl unterschiedlicher Signaturstrings (27) dahingehend begrenzt werden, dass in einen einzelnen Tabellenplatz innerhalb der Hash-Tabelle mehrere Eintrage miteinander verzeigert eingetragen werden. Die einzelnen Einträge werden hierbei mittels einer Rechenregel den vorhandenen Tabellenplätzen zugeordnet und mit einer Verzeigerung mit den bereits dort vorhandenen Einträgen verbunden. Diese Abwandlung bietet den Vorteil, dass bei einer großen Anzahl unterschiedlicher Signaturstrings (27) nur ein begrenzter Speicherbereich vorreserviert werden muss.
  • Um den für die erfindungsgemäße Korrespondenzanalyse notwendigen Speicherplatz weiter zu optimieren kann in vorteilhafter Weise vor dem Ablegen eines Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten in einer Signaturtabelle (22, 23), diese dahingehend untersucht wird, ob bereits ein dem Signaturstring entsprechender Signaturstring (27) in der Tabelle abgelegt ist. Ist dies der Fall, so wird infolge der neuerliche Signaturstring nicht abgelegt. Es werden stattdessen nur die diesem Signaturstring zugeordneten Pixelkoordinaten als zusätzliche Pixelkoordinaten zu dem bereits vorhanden Tabelleneintrag des gleichen Signaturstrings hinzugefügt.
  • In besonders gewinnbringender Weise lässt sich die Korrespondenzanalyse dadurch effizienter gestalten, dass dem Verfahren vor der dem Eintrag der Signaturstrings (27) in die Signaturtabellen (22, 23) beziehungsweise vor der Generierung der Korrespondenzhypothesen (25) Filter eingebaut werden, welche nur sinnvolle Signaturstrings eintragen bzw. nur plausible Korrespondenzhypothesen zulassen.
  • In diesem Sinne kann in besonderer Weise ein statischer, applikations-spezifischer Filter geschaffen werden, indem im Rahmen der Korrespondenzanalyse vor dem Eintrag eines Signaturstrings (27) in die Signaturtabellen (22, 23) auf einen Speicher zugegriffen wird, in welchem Signaturstrings abgelegt sind, bei deren Auftreten davon ausgegangen werden kann, dass das einem solchen Signaturstring (27) zugeordnete Pixel bei der Korrespondenzanalyse nicht beachtet werden braucht.
  • Hierbei kann es sich beispielsweise um für Himmel- oder Straßenbereiche typische Signaturstrings handeln, welche in den meisten Anwendungen nicht weiter ausgewertet werden brauchen. Auch ist es sehr wohl denkbar anwendungsspezifisch typische Signaturstrings nicht weiter auswertbarer geometrischer Objekte oder Objektfragmente in dem Speicher für nicht zu beachtende Signaturstrings abzulegen. Hierbei könnte es sich beispielsweise um einen Signaturstring handeln, welcher einem Kantenfragment ohne eine Eck- oder Abschlussinformation entspricht. Solche Kantenfragmente können anderen Kantenfragmenten in nachfolgenden Bildern nicht eindeutig zugeordnet werden (jedes Kantenfragment mit gleicher Signatur in einem korrespondierenden Bild könnte ein Abbild dieses einen Kantenfragmentes sein), so dass keine sinnvolle Korrespondenzanalyse für diese Bilddatenausschnitte durchgeführt werden kann. Es wird deshalb in vorteilhafter Weise vor dem Ablegen eines Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten in einer Signaturtabelle (22, 23), dieser dahingehend überprüft, ob er mit einem in diesem Speicher abgelegten Signaturstring übereinstimmt. Ist dies der Fall, so wird der Signaturstring (27) und seine zugehörigen Pixelkoordinaten nicht in der Signaturtabelle (22, 23) abgelegt.
  • Es ist weiterhin ein dynamisch wirkender Filter denkbar, welcher die Effizienz der Korrespondenzanalyse im Hinblich auf die Generierung der Korrespondenzhypothesen (25) weiter steigert. Hierzu werden vor der Generierung der Korrespondenzhypothesen die Einträge der Signaturstrings (27) in den Signaturtabellen (22, 23) daraufhin überprüft, ob ein Signaturstring in einer der Signaturtabellen (22, 23) häufig vorkommt. In diese Fall wird der betreffende Signaturstring (27) nicht zur Generierung einer Korrespondenzhypothese herangezogen wird. Auf diese Weise wird vermieden, dass eine Unzahl gleichartiger Korrespondenzhypothesen (25) generiert wird.
  • Welche Anzahl gleichartiger Signaturstrings (27) als häufig zu bezeichnen ist, ist insbesondere von der Art des Signaturoperators abhängig. Wird als Signaturoperator der Census-Operator verwendet, so hat sich bei einem Operator, welcher nur die nächsten Nachbarn betrachtet ein Schwellwert für die Häufigkeit von 10 bewährt, während es sich bei einer Nachbarschaftsbetrachtung mit den übernächsten Nachbarn ein Schluss auf häufiges Auftreten bei Überschreiten eines Häufigkeitsschwellwertes von 3 anbietet.
  • Ein weiterer dynamischer Filter im Hinblick auf die Generierung der Korrespondenzhypothesen (25) kann dadurch geschaffen werden, dass vor der Generierung der Korrespondenzhypothese aus in beiden Signaturtabellen (22, 23) übereinstimmend vorkommenden Signaturstrings, zusätzliche die diesen Signaturstrings zugehörigen Bilddaten und/oder die Bildaufnahmesituation betreffenden Parameter beachtet werden. Als Ergebnis dieser Betrachtung wird nur dann, wenn diese zusätzlich zu beachtenden Parameter nicht über ein bestimmtes Maß voneinander abweichen, eine Korrespondenzhypothese generiert.
  • Hierbei könnte in besondere Weise einer der zusätzlich zu beachtenden Parameter die Helligkeit des einzelnen transformierten Bildpunktes beschreiben. Meist wertet der Signaturoperator, so auch der Census-Operator, nur die relativen Helligkeitsunterschiede des zu transformierenden Bildpunktes zu den diesem benachbarten Bildpunkten aus. Der absolute Helligkeitswert des Bildpunktes geht hierbei im Rahmen der Transformation verloren, so dass es denkbar ist, dass zwei in ihrer Grundhelligkeit deutlich unterschiedlichen Bildbereich denselben Signaturstring (27) aufweisen. Es ist jedoch in der Regel davon auszugehen, dass in diesem Fall diese beiden Bildbereiche in den beiden zur Korrespondenzanalyse herange zogenen Bilddatensätzen nicht tatsächlich miteinander korrespondieren, so dass eine auf diese beiden Bildpunkte basierende Korrespondenzhypothese (25) nicht sinnvoll und plausibel erscheint. Insbesondere aus den Gesichtspunkten der Effektivität der Korrespondenzanalyse sollte deshalb auf die Erzeugung einer einsprechenden Korrespondenzhypothese verzichtet werden.
  • In besonderer Weise könnte als zu beachtender Parameter auch die den Signaturstrings (27) zugeordneten Pixelkoordinaten herangezogen werden. Hierbei wäre von besonderem Interesse zu wissen, ob sich die betreffenden Bildpunkte im Zentrum oder im Randbereich des durch die Bilddaten i (20) oder j (21) beschriebenen Bildes befinden. Dies deshalb, da sich auf Grund der bekannten Bildaufnahme- und Abbildungsgeometrien diejenigen Objekte, welche sich im Randbereich der Bilddatensätze (20, 21) befinden bei identischer relativer Geschwindigkeit in Bezug auf die Bildaufnahmeeinrichtung im gleichen Zeitraum um einen größeren Bereich bewegen, als dies für Objekte, welche sich weiter im Zentrum der Bilddatensätze abbilden, der Fall ist. Dies bedeutet, dass die den Signaturstrings von Bildpunkten im Randbereich der Bilddatensätze bei aufeinanderfolgenden Bildern größere Abweichungen in ihren jeweiligen Pixelkoordinaten aufweisen dürfen, als dies für die Pixelkoordinaten von Signaturstrings, welche Bildzentrumsnahen Bildpunkten zuzuordnen sind, in Bezug auf eine plausible Korrespondenzhypothese toleriert werden könnte.
  • Selbstverständlich ist die erfindungsgemäße Korrespondenzanalyse nicht auf die Analyse von Kamerabilddaten (parallel aufgenommene Stereobilddaten oder sequentielle Bildinformation im Rahmen einer Objektverfolgung) beschränkt, sondern läßt sich in einer für den Fachmann naheliegender Weise auch auf andere abbildenden Sensorsysteme übertragen; beispielsweise Radar- oder Lidar-Systeme oder kombinierte Systeme zur Sensorfusion von Radar und Kamera. Auch kann das Verfahren selbstverständlich durch geeignete naheliegende Adaption zur Korrespondenzanalyse von Kamerabilddaten genutzt werden, welche mit in unterschiedlichen Wellenlängenbereichen arbeitenden Kamerasystemen erzeugt wurden.
    •

Claims (14)

  1. Verfahren zur Korrespondenzanalyse in Bilddatensätzen um innerhalb von zwei Bilddatensätzen i (20) und j (21) miteinander korrespondierende Bildpunkte (Pixel) uivi und ujvj zu identifizieren, wobei in einem ersten Schritt der Bilddatensatz i mit einem Signaturoperator derart transformiert wird, dass für jedes Pixel uivi ein Signaturstring (27) berechnet und in einer Signaturtabelle (22) gemeinsam mit den Pixelkoordinaten abgelegt wird, wobei in einem nächsten Schritt jedes Pixel ujvj des anderen Bilddatensatzes j mittels desselben Signaturoperators transformiert wird, worauf die resultierenden Signaturstrings gemeinsam mit den jeweiligen Pixelkoordinaten in einer weiteren Signaturtabelle (23) abgelegt werden, und wobei die Einträge der beiden Signaturtabellen (22, 23) dahingehend untersucht werden, ob Signaturstrings vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings (27) zugeordneten Koordinaten eine Korrespondenzhypothese (25) generiert und in einer Hypothesenliste (26) zur Weiterverarbeitung gespeichert wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Signaturoperator als Census-Operator ausgestaltet ist, welcher einer nichtlinearen Transformation der einen Bildpunkt umgebenden Bilddaten (20, 21) entspricht.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Signaturtabellen (22, 23) in Form einer Hash-Tabelle organisiert werden.
  4. verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Ablegen eines Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten in einer Signaturtabelle (22, 23), diese dahingehend untersucht wird, ob bereits ein dem Signaturstring entsprechender Signaturstring (27) in der Tabelle abgelegt ist, worauf in den Fällen, in welchen ein entsprechender Signaturstring (27) bereits abgelegt wurde, der neuerliche Signaturstring nicht abgelegt wird, sondern nur dessen zugeordnete Pixelkoordinaten als zusätzliche Pixelkoordinaten zu dem bereits vorhanden Tabelleneintrag des entsprechenden Signaturstrings hinzugefügt werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren auf einen Speicher zugreift, in welchem insbesondere applikations-spezifische Signaturstrings abgelegt sind, bei deren Auftreten davon ausgegangen werden kann, dass das einem solchen Signaturstring (27) zugeordnete Pixel bei der Korrespondenzanalyse nicht beachtet werden braucht, und dass vor dem Ablegen eines Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten in einer Signaturtabelle (22, 23), dieser dahingehend überprüft wird, ob er mit einem in diesem Speicher abgelegten Signaturstring übereinstimmt, worauf in diesem Fall, der Signaturstring (27) und seine zugehörigen Pixelkoordinaten nicht in der Signaturtabelle (22, 23) abgelegt werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Generierung der Korrespondenzhypothesen die Einträge der Signaturstrings (27) in den Signaturtabellen (22, 23) daraufhin überprüft werden, ob ein Signaturstring in einer der Signaturtabellen (22, 23) häufig vorkommt, worauf in diesem Fall, der betreffende Signaturstring (27) nicht zur Generierung einer Korrespondenzhypothese herangezogen wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Generierung der Korrespondenzhypothese aus in beiden Signaturtabellen (22, 23) übereinstimmend vorkommenden Signaturstrings zusätzliche die Bilddaten und/oder die Bildaufnahmesituation betreffende Parameter beachtet werden, und dass nur dann, wenn diese zusätzlich zu beachtenden Parameter der beiden einzelnen bei der Korrespondenzanalyse herangezogenen Bildpunkten nicht über ein bestimmtes Maß voneinander abweichen, eine Korrespondenzhypothese generiert wird.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass einer der zusätzlich zu beachtenden Parameter die Helligkeit des einzelnen Bildpunktes beschreibt.
  9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass einer der zusätzlich zu beachtenden Parameter die Pixelkoordinaten in Bezug auf den Signaturstring (27) übereinstimmenden Bildpunkte beschreibt.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass hierbei zusätzlich beachtet wird, ob sich die betreffenden Bildpunkte im Zentrum oder im Randbereich des durch die Bilddaten i (20) oder j (21) beschriebenen Bildes befinden, Wobei bei Bilddaten, welche sich im Randbereich des Bilddatensatzes (20, 21) befinden größere Abweichungen bei den Pixelkoordinaten zulässig sind.
  11. Vorrichtung zur Korrespondenzanalyse in Bilddatensätzen um innerhalb von zwei Bilddatensätzen i und j miteinander korrespondierende Bildpunkte (Pixel) uivi und ujvj zu identifizieren, wobei die Vorrichtung einen Signaturoperator umfasst, mittels welchem sowohl der Bilddatensatz i (20) als auch der Bilddatensatz j (21) derart transformiert werden, dass für jeden der Pixel uivi und ujvj ein Signaturstring (27) berechnet wird, wobei die Einheit des weiteren eine Speichereinrichtung beinhaltet, welche so ausgestaltet ist, dass sie physikalisch oder virtuell in zwei Speicherbereiche gegliedert ist, welche jeweils eine den Bilddatensätzen i und j zugeordnete Signaturtabellen (22, 23) umfassen, in welche die mittels dem Signaturoperator ermittelten Signaturstrings (27) mit ihren zugehörigen Pixelkoordinaten abgelegt werden können, und wobei die Vorrichtung dieser Speichereinrichtung nachgeschaltet eine Einheit zur Generierung von den Signaturstrings (27) zugeordneten Korrespondenzhypothesen (25) umfasst, welche mit einem Speicher (26) zur Speicherung dieser Korrespondenzhypothesen in Form einer Hypothesenliste versehen ist.
  12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass der Signaturoperator mit einer Speichereinheit in Verbindung steht, in welcher insbesondere applikations-spezifische Signaturstrings abgelegt sind, bei deren Auftreten davon ausgegangen werden kann, dass das einem solchen Signaturstring (27) zugeordnete Pixel bei der Korrespondenzanalyse nicht beachtet werden braucht, wobei bei vorliegen eines solchen Signaturstrings (27) eine Übertragung des Signaturstrings in eine der Signaturtabellen (27) verhindert wird.
  13. Verwendung des Verfahrens oder der Vorrichtung nach einem der vorhergehend Ansprüche zur Korrespondenzanalyse bei der Berechnung des Optischen Flusses innerhalb einer Sequenz von Kamerabilddaten.
  14. Verwendung des Verfahrens oder der Vorrichtung nach einem der vorhergehend Ansprüche zur Korrespondenzanalyse innerhalb eines Bildpaares bei der Stereobildverarbeitung.
DE10351778A 2003-11-06 2003-11-06 Verfahren zur Korrespondenzanalyse in Bilddatensätzen Withdrawn DE10351778A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE10351778A DE10351778A1 (de) 2003-11-06 2003-11-06 Verfahren zur Korrespondenzanalyse in Bilddatensätzen
PCT/EP2004/011633 WO2005048195A2 (de) 2003-11-06 2004-10-15 Verfahren zur korrespondenzanalyse in bilddatensätzen
US10/578,414 US7664314B2 (en) 2003-11-06 2004-10-15 Method for the analysis of correspondences in image data sets

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10351778A DE10351778A1 (de) 2003-11-06 2003-11-06 Verfahren zur Korrespondenzanalyse in Bilddatensätzen

Publications (1)

Publication Number Publication Date
DE10351778A1 true DE10351778A1 (de) 2005-06-09

Family

ID=34559374

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10351778A Withdrawn DE10351778A1 (de) 2003-11-06 2003-11-06 Verfahren zur Korrespondenzanalyse in Bilddatensätzen

Country Status (3)

Country Link
US (1) US7664314B2 (de)
DE (1) DE10351778A1 (de)
WO (1) WO2005048195A2 (de)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009049976A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Verfahren zur schätzung der relativbewegung von video-objekten und fahrerassistenzsystem für kraftfahrzeuge
DE102008042223A1 (de) 2008-09-19 2010-04-01 Robert Bosch Gmbh Anordnung zum Erfassen und Auswerten einer Fahrzeugbewegung in einem vorgegebenen Überwachungsbereich
DE102008042446A1 (de) 2008-09-29 2010-04-01 Robert Bosch Gmbh Sicherheitssystem
DE102009009100A1 (de) 2009-02-14 2010-08-19 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Prädiktion einer Position eines Objekts
DE102010006522A1 (de) 2010-02-02 2010-09-30 Daimler Ag Verfahren zur Analyse von korrespondierenden Bildpunkten in Bilddatensätzen
DE102010055867A1 (de) 2010-12-22 2011-07-28 Daimler AG, 70327 Verfahren zur Ermittlung eines optischen Flusses von korrespondierenden Bildpunkten
DE102011013765A1 (de) 2011-03-12 2011-11-10 Daimler Ag Verfahren zur Ermittlung eines optischen Flusses in Videodaten
DE102011013776A1 (de) 2011-03-12 2011-11-10 Daimler Ag Verfahren zur Erfassung und/oder Verfolgung von Objekten
DE102012001858A1 (de) 2012-02-01 2012-09-27 Daimler Ag Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
DE102013003117A1 (de) 2013-02-25 2013-08-29 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs
DE102013018561A1 (de) 2013-09-05 2014-06-18 Daimler Ag Verfahren zur Datenerfassung und Datenverarbeitung für eine Fahrspurkennung eines Fahrzeugs
DE102014019078A1 (de) 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102015006571A1 (de) 2015-05-21 2015-12-10 Daimler Ag Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016223074A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Schreibprozess in mehreren Korrespondenztabellen
DE102016223071A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Lesen aus mehreren Korrespondenztabellen
DE102016223079A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Korrespondenztabelle
DE102017216065A1 (de) * 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
DE102017221839A1 (de) 2017-12-04 2019-06-06 Robert Bosch Gmbh Verfahren zur Positionsbestimmung für ein Fahrzeug, Steuergerät und Fahrzeug
DE102018209898A1 (de) 2018-06-19 2019-12-19 Robert Bosch Gmbh Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug
WO2021008926A1 (de) 2019-07-18 2021-01-21 Robert Bosch Gmbh VERFAHREN ZUM ERMITTELN EINER POSITION EINES ERSTEN BILDBEREICHS IN EINEM KORRESPONDENZ-BILD, SoC UND STEUERVORRICHTUNG UND SYSTEM ZUR DURCHFÜHRUNG DES VERFAHRENS, SOWIE COMPUTERPROGRAMM

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5340029B2 (ja) * 2008-06-27 2013-11-13 キヤノン株式会社 情報処理装置及びその制御方法、検証装置及びその制御方法
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
US8879829B2 (en) * 2012-10-23 2014-11-04 Intel Corporation Fast correlation search for stereo algorithm
US9400939B2 (en) 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
US20160093069A1 (en) * 2014-09-26 2016-03-31 Subramaniam Maiyuran Method and apparatus for pixel hashing
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US10764561B1 (en) * 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
DE102016218852A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
US11069074B2 (en) * 2018-04-23 2021-07-20 Cognex Corporation Systems and methods for improved 3-D data reconstruction from stereo-temporal image sequences
US11107268B2 (en) * 2018-09-07 2021-08-31 Cognex Corporation Methods and apparatus for efficient data processing of initial correspondence assignments for three-dimensional reconstruction of an object
US11030478B1 (en) 2019-11-27 2021-06-08 Compound Eye, Inc. System and method for correspondence map determination
WO2021150779A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
US11270467B2 (en) 2020-01-21 2022-03-08 Compound Eye, Inc. System and method for camera calibration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US6456737B1 (en) * 1997-04-15 2002-09-24 Interval Research Corporation Data processing system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5390359A (en) * 1992-03-20 1995-02-14 International Business Machines Corporation Storing and retrieving records in a computer system
US5721788A (en) * 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
US6983020B2 (en) * 2002-03-25 2006-01-03 Citrix Online Llc Method and apparatus for fast block motion detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US6456737B1 (en) * 1997-04-15 2002-09-24 Interval Research Corporation Data processing system and method

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009049976A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Verfahren zur schätzung der relativbewegung von video-objekten und fahrerassistenzsystem für kraftfahrzeuge
DE102008042223A1 (de) 2008-09-19 2010-04-01 Robert Bosch Gmbh Anordnung zum Erfassen und Auswerten einer Fahrzeugbewegung in einem vorgegebenen Überwachungsbereich
DE102008042446A1 (de) 2008-09-29 2010-04-01 Robert Bosch Gmbh Sicherheitssystem
DE102009009100A1 (de) 2009-02-14 2010-08-19 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Prädiktion einer Position eines Objekts
DE102010006522A1 (de) 2010-02-02 2010-09-30 Daimler Ag Verfahren zur Analyse von korrespondierenden Bildpunkten in Bilddatensätzen
DE102010055867A1 (de) 2010-12-22 2011-07-28 Daimler AG, 70327 Verfahren zur Ermittlung eines optischen Flusses von korrespondierenden Bildpunkten
DE102011013765A1 (de) 2011-03-12 2011-11-10 Daimler Ag Verfahren zur Ermittlung eines optischen Flusses in Videodaten
DE102011013776A1 (de) 2011-03-12 2011-11-10 Daimler Ag Verfahren zur Erfassung und/oder Verfolgung von Objekten
DE102012001858A1 (de) 2012-02-01 2012-09-27 Daimler Ag Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
DE102013003117A1 (de) 2013-02-25 2013-08-29 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs
DE102013018561A1 (de) 2013-09-05 2014-06-18 Daimler Ag Verfahren zur Datenerfassung und Datenverarbeitung für eine Fahrspurkennung eines Fahrzeugs
DE102014019078A1 (de) 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102015009657A1 (de) 2014-12-18 2016-03-31 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102015006571A1 (de) 2015-05-21 2015-12-10 Daimler Ag Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
US10984264B2 (en) 2016-09-29 2021-04-20 Conti Temic Microelectronic Gmbh Detection and validation of objects from sequential images of a camera
WO2018095698A1 (de) * 2016-11-23 2018-05-31 Robert Bosch Gmbh Korrespondenzsuche zwischen matrixelementen
US11341654B2 (en) 2016-11-23 2022-05-24 Robert Bosch Gmbh Correspondence search between matrix elements
DE102016223071A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Lesen aus mehreren Korrespondenztabellen
DE102016223071B4 (de) * 2016-11-23 2019-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Lesen aus mehreren Korrespondenztabellen
DE102016223079B4 (de) 2016-11-23 2024-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Korrespondenztabelle
DE102016223074B4 (de) * 2016-11-23 2019-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Schreibprozess in mehreren Korrespondenztabellen
CN109983503B (zh) * 2016-11-23 2023-09-12 罗伯特·博世有限公司 矩阵元素之间的对应搜索
DE102016223079A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Korrespondenztabelle
CN109983503A (zh) * 2016-11-23 2019-07-05 罗伯特·博世有限公司 矩阵元素之间的对应搜索
DE102016223074A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Schreibprozess in mehreren Korrespondenztabellen
US11443521B2 (en) 2017-09-12 2022-09-13 Robert Bosch Gmbh Method and device for evaluating images, operational assistance method and operating device
DE102017216065A1 (de) * 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
WO2019110179A1 (de) 2017-12-04 2019-06-13 Robert Bosch Gmbh Verfahren zur positionsbestimmung für ein fahrzeug, steuergerät und fahrzeug
US11485373B2 (en) 2017-12-04 2022-11-01 Robert Bosch Gmbh Method for a position determination of a vehicle, control unit, and vehicle
DE102017221839A1 (de) 2017-12-04 2019-06-06 Robert Bosch Gmbh Verfahren zur Positionsbestimmung für ein Fahrzeug, Steuergerät und Fahrzeug
WO2019242929A1 (de) 2018-06-19 2019-12-26 Robert Bosch Gmbh Verfahren zur bestimmung von zueinander korrespondierenden bildpunkten, soc zur durchführung des verfahrens, kamerasystem mit dem soc, steuergerät und fahrzeug
DE102018209898A1 (de) 2018-06-19 2019-12-19 Robert Bosch Gmbh Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug
US11361450B2 (en) 2018-06-19 2022-06-14 Robert Bosch Gmbh Method for determining mutually corresponding pixels, SoC for carrying out the method, camera system including the SoC, control unit and vehicle
WO2021008926A1 (de) 2019-07-18 2021-01-21 Robert Bosch Gmbh VERFAHREN ZUM ERMITTELN EINER POSITION EINES ERSTEN BILDBEREICHS IN EINEM KORRESPONDENZ-BILD, SoC UND STEUERVORRICHTUNG UND SYSTEM ZUR DURCHFÜHRUNG DES VERFAHRENS, SOWIE COMPUTERPROGRAMM
US12033337B2 (en) 2019-07-18 2024-07-09 Robert Bosch Gmbh Method for determining the position of a first image region in a correspondence image, SOC and control device, and system for carrying out the method, and computer program

Also Published As

Publication number Publication date
WO2005048195A2 (de) 2005-05-26
WO2005048195A3 (de) 2005-09-01
US7664314B2 (en) 2010-02-16
US20070121998A1 (en) 2007-05-31

Similar Documents

Publication Publication Date Title
DE10351778A1 (de) Verfahren zur Korrespondenzanalyse in Bilddatensätzen
DE102018116111A1 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
EP2275989B1 (de) Stereoskopische 3D-Kamera
DE102004018813A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE112010003914T5 (de) Verfahren und Vorrichtung zur Erkennung von Müdigkeit am Steuer sowie ein Fahrzeug
DE102005034597A1 (de) Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
DE10037697A1 (de) Adaptive Maskentechnik zur Inspektion von Defekten
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE69129099T2 (de) Bewegungsausziehverfahren mit der Entstehung von Differenzbildern und einem dreidimensionalen Filter
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102018132805A1 (de) Verfahren für eine verbesserte Objekterfassung
DE4028191A1 (de) Schaltungsanordnung zum erkennen eines menschlichen gesichtes
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
EP3655920B1 (de) Verfahren und vorrichtung zur bewertung von bildausschnitten für eine korrespondenzbildung
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102006040349B4 (de) Verfahren und Vorrichtung zur Erkennung von defekten Pixeln eines Bildaufnahmesensors in einem Fahrerassistenzsystem
DE10145608A1 (de) Modellbasierte Objektklassifikation und Zielerkennung
DE102018100738A1 (de) Selektive Merkmalsextraktion
DE102021002011A1 (de) Verfahren zur Annotation von Daten einer Umgebungserfassung
DE102020202974A1 (de) Detektion von Adversarial Attacks durch einen Bildsignalvorverarbeitungsprozessor
DE102019008081A1 (de) Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion
DE102017215051A1 (de) Vorrichtung und Verfahren zum Reduzieren des Einflusses von Streulicht und Reflexionen auf optische Bilderkennung
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit
EP2887264B1 (de) Kreissegment- und Formdetektion
DE102017217156B4 (de) Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
ON Later submitted papers
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

8110 Request for examination paragraph 44
R120 Application withdrawn or ip right abandoned

Effective date: 20131121