DE102010015532B4 - Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts - Google Patents

Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts Download PDF

Info

Publication number
DE102010015532B4
DE102010015532B4 DE102010015532.2A DE102010015532A DE102010015532B4 DE 102010015532 B4 DE102010015532 B4 DE 102010015532B4 DE 102010015532 A DE102010015532 A DE 102010015532A DE 102010015532 B4 DE102010015532 B4 DE 102010015532B4
Authority
DE
Germany
Prior art keywords
image
distance
camera arrangement
spatial frequency
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102010015532.2A
Other languages
English (en)
Other versions
DE102010015532A1 (de
Inventor
Dr. Kornmeier Hans
Dr. May Thomas
Martin Buck
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH filed Critical IFM Electronic GmbH
Priority to DE102010015532.2A priority Critical patent/DE102010015532B4/de
Publication of DE102010015532A1 publication Critical patent/DE102010015532A1/de
Application granted granted Critical
Publication of DE102010015532B4 publication Critical patent/DE102010015532B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

Verfahren zur Abstandsbestimmung eines sich relativ zu einer Kameraanordnung bewegenden Objektes mit folgenden Verfahrensschritten: a. Erzeugung eines Bildobjekts o in einer Bildebene E einer Kameraanordnung K mit einer Brennweite f b. Bestimmung einer Bildgeschwindigkeit v des Bildobjekts o in der Bildebene E c. Bestimmung einer Relativgeschwindigkeit V zwischen Kameraanordnung K und Objekt O d. Bestimmung eines Richtungswinkels α zwischen einer optischen Achse A der Kameraanordnung K und einem Objektrichtungsvektor O→ , e. Bestimmung eines Abstandswertes R des Objekts O aus der Relativgeschwindigkeit V, der Bildgeschwindigkeit v, der Brennweites f und dem Richtungswinkel α.

Description

  • Die Erfindung betrifft ein Verfahren zur Abstandsbestimmung eines sich relativ zu einer Kameraanordnung bewegenden Objekts.
  • Es sind verschiedene Anwendungen bekannt, bei denen eine Abstandsbestimmung zu einem oder mehreren Objekten notwendig ist. Insbesondere im Automobilbereich werden bereits Fahrerassistenzsysteme eingesetzt bzw. entwickelt, bei denen Objekte erkannt und deren Abstand zum betreffenden Fahrzeug schnell und zuverlässig bestimmt werden muss. Ein solches spezielles ACC-System (automatic cruise control) ist z. B. eine Radarabstandswarneinrichtung, bei der der Abstand zum vorausfahrenden Fahrzeug über Radarwellen ermittelt wird und der Fahrer bei Unterschreiten eines Mindestabstandes gewarnt wird. Komplexere Systeme erlauben es auch einzelne Objekte (z. B. Fußgänger, Fahrzeuge) in einem Kamerabild zu identifizieren und deren Abstand zum Bezugsfahrzeug anzugeben, gegebenenfalls den Fahrer zu warnen oder selbsttätig einen Fahreingriff auszulösen. Der Abstand wird dabei z. B. über die Auswertung der Bilddaten einer Stereokamera gewonnen. Eine alternative Möglichkeit der Abstandsbestimmung bietet eine PMD-Kamera, der Fa. PMDTechnologies GmbH (Siegen), bei der die Abstandsinformation über die Phasenverschiebung eines modulierten Sendelichtstrahls mittels eines Autokorrelationsverfahrens gewonnen wird. Bei dieser Kamera liegt für einzelne Pixel eines Pixelarrays von bis zu 40k Pixel direkt die Abstandsinformation vor.
  • Komplexe Systeme benötigen in der Regel eine aufwendige Objekterkennung, die nur mit sehr leistungsfähigen Rechnereinheiten und einer aufwendigen Bildverarbeitung möglich ist. Viele bekannte Systeme zur Abstandsbestimmung sind empfindlich gegen mechanische Einwirkungen und müssen teilweise auch nachjustiert bzw. aufwendig kalibriert bzw. nachkalibriert werden. Bei den meisten bekannten Systemen ist eine Abstandsbestimmung für Objekte in Echtzeit, das heißt ohne nennenswerte Verzögerungen, nicht möglich. Aus der nachveröffentlichten Druckschrift WO2009/049 887 A1 ist ein Verfahren zur Abstandsbestimmung eines sich relativ zu einer Kameraanordnung bewegenden Objekts bekannt, bei dem die Objektwinkelgeschwindigkeit ausgewertete wird, wobei die Brennweite der Kameraanordnung keine Rolle spielt.
  • Aufgabe der Erfindung ist es, ein Verfahren zur Abstandsbestimmung eines sich relativ zu einer Kameraanordnung bewegenden Objekts anzugeben, das einfach und schnell durchführbar ist und das keine aufwendige Bildverarbeitung benötigt.
  • Gelöst wird diese Aufgabe durch das in Anspruch 1 angegebene Verfahren.
  • Vorteilhafte Weiterentwicklungen der Erfindung sind in den Unteransprüchen angegeben.
  • Die wesentliche Idee der Erfindung besteht darin, aus der Bewegung eines Bildobjektes in der Bildebene einer Kameraanordnung und aus der bekannten Relativgeschwindigkeit zwischen Kameraanordnung und Objekt, den Abstand des Objektes zu bestimmen. In vorteilhafter Weise wird hierbei ein Ortsfrequenzfilterverfahren verwendet.
  • Gegenstand der Erfindung ist auch eine Vorrichtung zur Durchführung des Verfahrens.
  • Nachfolgend ist die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert. Es zeigen:
  • 1 schematische Darstellung eines Kraftfahrzeuges mit einer Kameraanordnung,
  • 2 schematische Darstellung der Abbildung eines Objektes mit der Kameraanordnung gemäß 1,
  • 3 schematische Darstellung eines Pixelarrays der Kameraanordnung gemäß 2
  • 3a schematische Darstellung einer Gruppe von Pixel aus dem Pixelarray gemäß 3 mit analoger Signalverarbeitung,
  • 4 optischer Fluss einer bewegten Szene auf dem Pixelarray gemäß 3,
  • 5 Blockschaltbild einer PMD-Kamera
  • 6 Kamerasystem in einem Kraftfahrzeug mit einer PMD-Kamera und zwei erfindungsgemäßen Kameraeinheiten
  • In 1 ist ein Kraftfahrzeug 1 mit einer erfindungsgemäßen Kameraanordnung K dargestellt Die Kameraanordnung K ist im Bereich der Frontscheibe des Fahrzeugs auf der Höhe des Rückspiegels angeordnet. Das Fahrzeug bewegt sich geradlinig mit einer gleichmäßigen Geschwindigkeit auf einer Strasse 10. Die optische Achse der Kameraanordnung K verläuft in Fahrtrichtung. Parallel zu der Straße 10 befindet sich eine strukturierte Fläche 30 z. B. eine Böschung oder eine Mauer. Die Kameraanordnung K ist mit einer Auswerteeinheit 3, z. B. einem Mikrocontroller, die an eine zentrale Steuereinheit 4 des Kraftfahrzeugs angeschlossen ist, verbunden. Der horizontale und vertikale Erfassungsbereich der Kameraanordnung 10 ist gestrichelt angedeutet.
  • In 2 sind zunächst die geometrischen Verhältnisse der Abbildung eines Objektes O mit der Kameraanordnung K so vereinfacht dargestellt, wie so zum Verständnis der vorliegenden Erfindung notwendig sind. Dabei wird von einer Zentralprojektion, wie sie bei einer Lochkamera bekannt ist, ausgegangen. Die Darstellung ist stark schematisiert und natürlich nicht maßstabsgetreu.
  • Die Kameraanordnung K besteht aus einer Linse L und einem hinter der Linse L angeordneten Sensor S, mit dem die Szene vor dem Fahrzeug 1 erfasst wird. Das Fahrzeug 1 bewegt sich mit der konstanten Geschwindigkeit V in z-Richtung. Bei dem Sensor S kann es sich z. B. um einen CMOS- oder CCD-Chip als Pixelarray mit einer Vielzahl von Einzelpixel handeln. Die optische Achse A der Kameraanordnung K verläuft in z-Richtung. Sie schneidet die Sensorebene, die die Bildebene E darstellt, im Hauptpunkt H, der die Koordinaten (0,0,-f) aufweist. Mit f ist die Brennweite der Kameraanordnung K bezeichnet. Der Koordinatenursprung befindet sich im Mittelpunkt der Linse L. Das Objekt O wird durch die Linse L in ein Bildobjekt o abgebildet. Zum Objekt führt der Objektvektor R →, zum Bildobjekt o der Bildvektor r ⇀. Der Winkel α bezeichnet den Richtungswinkel zwischen der optischen Achse A und dem Vektor, der in die Objektrichtung zeigt, d. h. dem Objektrichtungsvektor O →. Der Objektvektor R ⇀, der auch in die Objektrichtung zeigt, schließt deshalb den selben Winkel α mit der optischen Achse A ein.
  • Die Abbildungsgleichung der Kameraanordnung K lautet in vektorieller Form
    Figure DE102010015532B4_0002
    mit dem Linsenmittelpunkt als Koordinatenursprung.
  • Durch die Bewegung des Fahrzeuges 1 bewegt sich Objekt O auf die Kameraanordnung zu und deshalb bewegt sich das Bildobjekt o in der Bildebene E in x-Richtung. Die positive Geschwindigkeit des Fahrzeugs wird im Bezugssystem der Kameraanordnung K entsprechend als negative Geschwindigkeit wahrgenommen.
  • Differenziert man die Gleichung (1) nach der Zeit
    Figure DE102010015532B4_0003
    so erhält man die für die Bildgeschwindigkeit ν ⇀ des Bildobjektes o folgende Formel
  • Figure DE102010015532B4_0004
  • Wobei V → die Relativgeschwindigkeit von Kameraanordnung K und Objekt O bezeichnet.
  • Sind die Relativgeschwindigkeit V → und die Bildgeschwindigkeit ν ⇀ bekannt, so kann diese Gleichung nach dem Abstand R, d. h. dem Betrag des Vektors R → R = |R →| aufgelöst werden. Für den Fall, dass der Geschwindigkeitsvektor der Realtivgeschwindigkeit parallel zur optischen Achse A liegt, erhält man für den Abstandswert R = f / cosa·tanα· V / ν (3)
  • Die Relativgeschwindigkeit V → muss natürlich nicht parallel zur optischen Achse liegen. Außerdem kann sie auch durch eine Rotation der Kameraanordnung K hervorgerufen werden.
  • Im allgemeinen Fall muss die Relativgeschwindigkeit V → in zwei Komponenten eine Translationsanteil (Translationsgeschwindigkeit T →) und einen Rotationsanteil (Rotationsgeschwindigkeit Ω →) zerlegt werden. Die Realtivgeschwindigkeit V → lässt sich dann durch V → = –T → – Ω → × R → ausdrücken.
  • In einem Kraftfahrzeug stehen beide Geschwindigkeitskomponenten z. B. über ein zentrales Steuergerät zur Verfügung.
  • Bei einer reinen Rotation der Kameraanordnung K mit der Rotationsgeschwindigkeit Ω → ist eine Abstandsbestimmung von Objekten nicht möglich, da sich alle Objekte in einer Objektrichtung unabhängig von ihrem Abstand mit der gleichen Bildgeschwindigkeit bewegen. Dies sieht man unmittelbar auch an der Gleichung (2), wo sich beim Einsetzen von –Ω → × R → als Realtivgeschwindigkeit, der Betrag R im Zähler und Nenner des Bruchs herauskürzt.
  • In einen einfachen Fall, wenn die Rotationsgeschwindigkeit Ω → in y-Richtung, also in die Zeichenebene von 2 hineinzeigt, erhält man für den Betrag der Bildgeschwindigkeit folgenden Wert, v = f / cosα· Ω / cosα der nicht mehr vom Abstand des Objekts O abhängt. Sowohl nahe wie auch ferne Objekte bewegen sich mit der gleichen Geschwindigkeit in der Bildebene E.
  • Bei einer Rotationsbewegung der Kameraanordnung K muss dieser Anteil der Bildgeschwindigkeit bei der Abstandsbestimmung entsprechend berücksichtig werden.
  • 3 zeigt in stark vereinfachter Darstellung ein Pixelarray PA mit einer Vielzahl von Pixel P, das in der Bildebene E der Kameraanordnung K angeordnet ist.
  • 3a zeigt einen eindimensionalen Ausschnitt aus dem Pixelarray PA in vergrößerter Darstellung. Mehrere Pixel P bilden eine Pixelgruppe PG. Die einzelnen Pixel P (lichtempfindliche Sensorelemente) weisen jeweils eine Breite p auf. Die Ausgänge der zu der Gruppe PG von Pixel gehörenden Pixel P sind mit einem Differenzverstärker D verbunden, so dass die Signale mit der dargestellten +/– Gewichtung entsprechend einem Differenzgitter als Ortsfrequenzfilter verarbeitet werden. Dem Ortsfrequenzfilter sind somit eine Gruppe PG von Pixel P aus dem Pixelarray PA zugeordnet. Wie viele Pixel die Gruppe GP umfasst, hängt von der gewünschten Genauigkeit der Abstandsbestimmung ab. Die Gitterkonstante bzw. Periode des Ortsfrequenzfilters beträgt 2p. Die Länge des Ortsfrequenzfilters beträgt n p, wobei n die Anzahl der zu dem Ortsfrequenzfilter gehörenden Pixel angibt. Die Pixelgruppe PG muss natürlich nicht parallel zu einer der Seitenkanten des Pixelarrays PA verlaufen.
  • Wird ein bewegtes Objekt O mit einer strukturierten Oberfläche am besten mit einer stochastischen Oberflächenstruktur, die eine Vielzahl von Ortsfrequenzen aufweist, z. B. eine Böschung, eine Wand oder ein Fahrbahnabschnitt, durch die Kameraanordnung K abgebildet und weist das Bildobjekt eine Ortsfrequenz auf, die zu der Periode L des Ortsfrequenzfilter passt, so erhält man am Ausgang des Differenzverstärkers D ein periodisches Ausgangssignal, dessen Frequenz F direkt proportional zum Betrag der Bildgeschwindigkeit v ist. v = F·L
  • Somit kann der Abstandswert R des Objekts O unmittelbar aus der Frequenz F des Ausgangssignals des Differenzverstärkers D gewonnen werden. Hierzu wird das Ausgangssignal des Differenzverstärkers D, das von der Pixelgruppe PG stammt, an die Auswerteeinheit 3 weitergeleitet und dort in digitalisierter Form verarbeitet. Der Abstand R, der Böschung, der Wand oder einem Fahrbahnabschnitt kann so in einfacher Weise berechnet werden. Im Prinzip ist jedem Pixel P des Pixelarrays PA ein Objektrichtungsvektor zugeordnet. Bei einer Gruppe GP von Pixel werden die Objektrichtungsvektoren der einzelnen Pixel gemittelt. Damit ist auch einer Gruppe GP ein Objektrichtungsvektor zugeordnet. Das Verfahren erlaubt es, wenn die Bildgeschwindigkeit v auf der Pixelgruppe PG mit ausreichender Genauigkeit bestimmbar ist, eine Abstandsangabe in Richtung des Objektrichtungsvektors O → zu machen. Weitere Informationen, wie Größe und Form des Objektes sind für das Verfahren ohne Bedeutung. Die Ausdehnung des Objektes sollte nur so groß sein, dass das zugehörige Bildobjekt größer als die Länge des Ortsfrequenzfilters ist. Kanten von Objekten können unter Umständen auch zu einem auswertbaren Ausgangssignal führen.
  • Je mehr Pixel P die Pixelgruppe PG umfasst, desto mehr Perioden können für das Ortsfrequenzfilter realisiert werden und desto besser wird die Filterwirkung des Ortsfrequenzfilters. Damit einher geht die Genauigkeit der Geschwindigkeitsbestimmung für die Bildgeschwindigkeit v und die Genauigkeit der Abstandsbestimmung. Um eine Genauigkeit bei der Geschwindigkeitsbestimmung im Prozentbereich zu erzielen, sind etwa 100 Perioden notwendig. Durch entsprechende mathematische Auswerteverfahren kann diese Anzahl aber noch verringert werden.
  • Um den Fehlereinfluss höherer Harmonischer, die bei einem Differenzgitter mit einer rechteckförmigen Durchlasscharakteristik immer auftreten, zu verringern, ist eine sinusförmige Durchlasscharakteristik wünschenswert. Dabei werden mehrere Pixel P mit einer Gewichtung verschaltet, die mehr einer Sinusapproximation entspricht. Eine Periode umfasst dabei nicht nur zwei Pixel, wie im Falle des Differenzgitters, sondern entsprechend mehr Pixel.
  • Ein wesentlicher Vorteil den das Verfahren bietet, besteht darin, dass die Signalverarbeitung insbesondere auch die Ortsfrequenzfilterung bereits auf dem Sensor S z. B. einem CMOS-Chip bzw. CCD-Chip, analog, erfolgen kann. Wie die Signalverarbeitung bei einem linearen also einem 1-dimensionalen Pixelarray mit Ortsfrequenzfilter erfolgt, ist in der Dissertation „Eindimensionale CMOS Bildsensorik mit integrierter Signalverarbeitung”, Michael Schanz, Gerhard – Mercator – Universität – Gesamthochschule Duisburg 1998 ausführlich beschrieben.
  • Der Vorteil der analogen Signalverarbeitung liegt sicher in der Geschwindigkeit. Eine analoge Signalverarbeitung ist aber nicht zwingend notwendig. Die Signalverarbeitung insbesondere die Ortsfrequenzfilterung kann auch digital in der Auswerteeinheit 3 z. B. mit einem entsprechenden Signalprozessor DSP oder einem FPGA erfolgen.
  • Eine bestimmte Ortsfrequenz des Objekts O erscheint in der Bildebene bei größer werdendem Richtungswinkeln α gedehnt. Um eine spezielle Ortsfrequenz über eine größeren Sensorbereich verfolgen zu können, ist es sinnvoll die Pixelbreite p mit zunehmendem Abstand vom Hauptpunkt H zu vergrößern und zwar um den Faktor tanα. Wenn die Gitterperiode genügend Pixel aufweist, ist auch eine Vergrößerung der Gitterperiode möglich.
  • In 4 ist der optische Fluss einer vor dem Kraftfahrzeug 1 befindlichen bewegten Szene in der Bildebene E d. h. auf dem Pixelarray PA dargestellt. Der Punkt an dem der optische Fluss verschwindet ist mit FOE (focus of extension) bezeichnet. Bei einer Bewegung in z-Richtung ist dies der Hauptpunkt H. Bevorzugt sind die eindimensionalen Pixelgruppen PG, die jeweils ein Ortsfrequenzfilter bilden, parallel zu den Flussvektoren ausgerichtet. Beispielhaft sind 3 Pixelgruppen eingezeichnet. Wie man aus der Figur sieht, können eine Vielzahl von Pixelgruppen auf dem Pixelarray PA untergebracht werden. Typische Pixelarrays weisen 1 Mio. Einzelpixel auf. Wenn die Ortsfrequenzanalyse nicht direkt auf dem Sensorchip erfolgt, werden die Pixelgruppen PG entsprechend in der Auswerteeinheit 3 definiert.
  • In 5 ist ein Blockschaltbild einer PMD-Kamera dargestellt. Die Funktion einer solchen Kamera ist in zahlreichen Veröffentlichungen der Fa. PMDTechnologies GmbH (Siegen) näher beschrieben, deshalb wird nur auf die für die vorliegende Erfindung wichtigen Punkte eingegangen. Die Signale der einzelnen Pixel des Pixelarrays PA, hier als „IQ PMD Array” bezeichnet, werden in einem A/D-Wandler gewandelt und in einem Mikrocontroller μ-Controller als Auswerteeinheit verarbeitet. Das Differenzsignal einzelner Pixel dient zur Entfernungsbestimmung, das Summensignal liefert die Helligkeitsinformation und kann zur Grauwertdarstellung des Kamerabildes dienen. Wird das Summensignal von mehreren Pixel, d. h. einer Pixelgruppe PG, entsprechend einem Ausschnitt aus dem Pixelarray PA, gemäß der vorliegenden Erfindung verarbeitet, so liegt ein unabhängiger Abstandswert für das von dieser Pixelgruppe PG erfasste Objekt O vor. Das erfindungsgemäße Verfahren kann somit in vorteilhafter Weise zur Plausibilisierung oder zur Nachkalibrierung der mit einer PMD Kamera gewonnenen Entfernungswerte dienen. Da die Signale für beide Verfahren nicht von unterschiedlichen Kameras sondern sogar vom gleichen Sensorchip stammen, ist eine optimale diversitäre Redundanz gegeben. Man hat hier ein Kamerasystem aber zwei völlig unterschiedliche Auswerteverfahren zur Entfernungsbestimmung. Insbesondere bei sicherheitskritischen Anwendungen bzw. wenn Fahreingriffe notwendig werden, ist diese Redundanz von großer Bedeutung.
  • Wenn die Ortsfrequenzanalyse nicht analog sondern digital erfolgt, können auch gleichzeitig zwei unterschiedliche Ortsfrequenzen des Objekts O ausgewertet werden. Im Auswertealgorithmus müssen nur zwei unterschiedliche Gitterkonstanten für die entsprechende Pixelgruppe PG definiert werden. Nur wenn die Entfernungswerte in beiden Fällen übereinstimmen wird der Abstandswert R akzeptiert.
  • Eine redundante Abstandsbestimmung ist bei vielen Anwendungen nicht nur im Automobilbereich von großer Bedeutung. Erfolgt bei den bekannten Verfahren zur Abstandsbestimmung bereits eine digitale Bildverarbeitung, so kann das erfindungsgemäße Verfahren leicht zur redundanten Abstandsbestimmung eingesetzt werden, um die Vorteile Plausibilisierung, Nachkalibrierung etc. zu erzielen. Außerdem kann, wenn bereits mit dem bekannten Verfahren eine Objekterkennung erfolgt, das erfindungsgemäße Verfahren speziell für gewisse erkannte Objekte (Böschung, Mauern, Wände, Kanten etc. eingesetzt werden.
  • Nachfolgend wird das erfindungsgemäße Verfahren im Einzelnen erläutert. Wesentlich für das Verfahren ist, dass eine Abstandsbestimmung nur für bewegte Objekte O möglich ist. Außerdem müssen die Objekte O eine gewisse Oberflächenstruktur aufweise, die von dem verwendeten Ortsfrequenzfilter erfassbar ist. In einem ersten Verfahrensschritt a) wird das Objekt O mit Hilfe der Kameraanordnung K abgebildet und in der Bildebene E ein Bildobjekt o erzeugt. Aufgrund der Relativbewegung von Objekt O und Kameraanordnung K bewegt sich das Bildobjekt in der Bildebene. In einem weiteren Verfahrensschritt b) wird die Bildgeschwindigkeit v des Bildobjektes o in der Bildebene E ermittelt. Für das Verfahren ist wichtig, dass die Relativgeschwindigkeit von Kameraanordnung K und Objekt O ermittelbar ist. Ist die Kameraanordnung K in einem Kraftfahrzeug vorgesehen und bewegt sich nur das Fahrzeug, so ist die Relativgeschwindigkeit aller Objekte außerhalb des Fahrzeuges bekannt. Diese Information steht in Kraftfahrzeugen unmittelbar zur Verfügung, andernfalls muss sie mit entsprechenden Sensoren erfasst werden. In einem weiteren Verfahrensschritt c) wird der Richtungswinkel cx, unter dem das Objekt O von der Kameraanordnung K aus gesehen wird, bestimmt. Sind z. B. die Koordinaten des Bildobjektes o auf dem Pixelarray PA bekannt, so ist der Winkel α einfach zu bestimmen bzw. kann aus entsprechenden Tabellen gewonnen werden. Diese Größen reichen aus um in einem Verfahrensschritt e) den Abstand R des Objektes zu bestimmen z. B. gemäß Gleichung (3).
  • In einer Weiterentwicklung der Erfindung gemäß Anspruch 2 erfolgt die Bestimmung der Bildgeschwindigkeit v über eine Ortsfrequenzfilterung des Bildobjektes o. Hierzu muss das Objekt O nur ausreichend ausgedehnt und eine strukturierte Oberfläche insbesondere mit einer stochastischen Struktur oder einer scharfen Kante aufweisen. Dem Ortsfrequenzfilter ist dabei eine Gruppe PG von Pixel auf dem Pixelarray PA zugeordnet. Die Zuordnung kann dabei hardwaremäßig direkt auf dem Sensorchip oder softwaremäßig in der Auswerteeinheit 3 erfolgen. Über die Ausrichtung und Position der Pixelgruppe PG auf dem Pixelarray kann auch die Bildgeschwindigkeit v ⇀ in vektorieller Form bestimmt werden. Die Richtung der Bildgeschwindigkeit kann auch durch die vektorielle Addition von zwei Geschwindigkeitskomponenten z. B. in x- bzw. in y-Richtung gewonnen werden. Hierfür sind zwei senkrecht aufeinander angeordnete Ortsfrequenzfilter notwendig.
  • Für eine genaue Geschwindigkeits- bzw. Abstandsbestimmung ist es vorteilhaft, dass die Pixelgruppe PG in Richtung der Bewegung des Objektes O ausgerichtet ist. Der optische Fluss den eine bewegte Szene auf dem Pixelarray erzeugt kann vorab bestimmt werden. Die Pixelgruppe PG, die einem Ortsfrequenzfilter zugeordnet ist, ist dann gemäß Anspruch 3 entsprechend dem optischen Fluss ausgerichtet.
  • Für eine sehr schnelle Abstandsbestimmung kann das Ortsfrequenzfilter hardwaremäßig direkt auf dem Sensorchip, auf dem das Pixelarray PA vorgesehen ist, „verdrahtet” sein. Das Ortsfrequenzfilter ist so gemäß Anspruch 4 in analoger Form realisiert.
  • Von besonderem Vorteil sind bei Frequenzfiltern sinusförmige Aperturfunktionen. Dadurch erhält man ein sehr schmalbandiges Filter und der Einfluss höherer Harmonischen wird verringert bzw. ganz unterdrückt. Für eine genaue Geschwindigkeitsbestimmung ist deshalb ein Ortsfrequenzfilter mit einer sinusförmigen Charakteristik gemäß Anspruch 5 von Vorteil.
  • Mit dem erfindungsgemäßen Verfahren kann eine Abstandsbestimmung für mehrere Objektrichtungen, d. h. verschieden Objektrichtungsvektoren, gleichzeitig vorgenommen werden. Deshalb sind nach Anspruch 6 auf dem Pixelarray PA mehrere Pixelgruppen PG vorgesehen, denen jeweils ein Ortsfrequenzfilter zugeordnet ist, und mit denen der Abstand zu unterschiedlichen Objekten bestimmt werden kann. Im Prinzip könnte jedes Pixel auf dem Pixelarray PA zu einer Pixelgruppe PG gehören.
  • Insbesondere bei einer digitalen Auswertung der Signale des Sensorchips ist es vorteilhaft, mit einer Pixelgruppe PG zwei Ortsfrequenzen des Bildobjektes o auszuwerten. Hierbei werden wie in Anspruch 7 angegeben zwei unterschiedliche Gitterkonstanten für die jeweiligen Ortsfrequenzfilter gewählt. Dadurch kann eine höhere Genauigkeit bzw. Zuverlässigkeit bei der Geschwindigkeitsbestimmung erzielt werden. Im Prinzip ist auch ein adaptives Ortsfrequenzfilter denkbar, dessen Gitterkonstante adaptiv an eine charakteristische Ortsfrequenz des Bildobjektes o angepasst wird. Auch die Anzahl der dem Filter zugeordneten Pixel kann optimal, durch eine entsprechende Signalauswertung, angepasst werden. Neben einer schachbrettartigen Pixelstruktur sind auch andere Strukturen wie z. B. hexagonale Strukturen denkbar.
  • Einen wesentlichen Vorteil, den das erfindungsgemäße Verfahren bietet besteht darin, dass es mit anderen Abstandsbestimmungsverfahren einfach kombiniert werden kann, um eine redundante Abstandsbestimmung zu ermöglichen. Durch die Einfachheit des Verfahrens kann dieses leicht mit anderen Verfahren zur Abstandsbestimmung, wie in Anspruch 8 angegeben, kombiniert werden.
  • Das erfindungsgemäße Verfahren erlaubt eine einfache und schnelle Abstandsbestimmung von einem oder mehreren Objekten, die sich relativ zu der Kameraanordnung K bewegen, ohne aufwendige Objekterkennung. Es kann somit auch sehr kostengünstig umgesetzt werden.
  • Nachfolgend wird die Kameraanordnung K mit der entsprechenden Auswertung, analog bzw. digital, allgemein als erfindungsgemäße Kameraeinheit KE bezeichnet.
  • Diese Kameraeinheit KE ist für sehr kleine Richtungswinkel α weniger gut zur Abstandsbestimmung geeignet. Insbesondere bei einem Kraftfahrzeug 1 ist die Abstandsbestimmung genau in Fahrtrichtung nicht möglich.
  • Deshalb kann die Kameraeinheit KE optimal mit einer PMD-Kamera kombiniert werden, um die gesamte Szene vor einem Kraftfahrzeug entfernungsmäßig zu erfassen. Die PMD-Kamera „schaut” im Wesentlichen in Fahrtrichtung, die Kameraeinheit KE mehr in die äußeren Winkelbereiche. In einer Weiterentwicklung werden zwei Kameraeinheiten KE1, KE2 mit einer PMD-Kamera eingesetzt, wobei die eine Kameraeinheit KE1 mehr nach links und die zweite Kameraeinheit KE2 mehr nach rechts relativ zur Fahrtrichtung FR schaut (6). Diese Kombination ist für Fahrerassistenzsystem in Kraftfahrzeugen besonders geeignet.
  • Bezugszeichenliste
  • R
    Abstand
    3
    Auswerteeinheit
    E
    Bildebene
    ν ⇀
    Bildgeschwindigkeit
    o
    Bildobjekt
    r ⇀
    Bildvektor
    f
    Brennweite
    D
    Differenzverstärker
    z ⁀
    Einheitsvektor
    30
    Fläche
    F
    Frequenz
    H
    Hauptpunkt
    K
    Kameraanordnung
    1
    Kraftfahrzeug
    L
    Linse
    O
    Objekt
    O →
    Objektrichtungsvektor
    R →
    Objektvektor
    A
    Optische Achse
    P
    Pixel
    PA
    Pixelarray
    p
    Pixelbreite
    PG
    Pixelgruppe
    V →
    Relativgeschwindigkeit
    α
    Richtungswinkel
    Ω →
    Rotationsgeschwindigkeit
    S
    Sensor
    10
    Strasse
    4
    Zentrale Steuereinheit

Claims (8)

  1. Verfahren zur Abstandsbestimmung eines sich relativ zu einer Kameraanordnung bewegenden Objektes mit folgenden Verfahrensschritten: a. Erzeugung eines Bildobjekts o in einer Bildebene E einer Kameraanordnung K mit einer Brennweite f b. Bestimmung einer Bildgeschwindigkeit v des Bildobjekts o in der Bildebene E c. Bestimmung einer Relativgeschwindigkeit V zwischen Kameraanordnung K und Objekt O d. Bestimmung eines Richtungswinkels α zwischen einer optischen Achse A der Kameraanordnung K und einem Objektrichtungsvektor O →, e. Bestimmung eines Abstandswertes R des Objekts O aus der Relativgeschwindigkeit V, der Bildgeschwindigkeit v, der Brennweites f und dem Richtungswinkel α.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Objekt O ausgedehnt ist und eine strukturierte Oberfläche insbesondere mit einer stochastischen Struktur aufweist und die Bildgeschwindigkeit v über ein Ortsfrequenzfilter ermittelt wird, das einer Gruppe PG von Pixel eines in der Bildebene E angeordneten Pixelarrays PA zugeordnet ist.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Gruppe PG von Pixel, die dem Ortsfrequenzfilter zugeordnet sind, entsprechend dem optischen Fluss in der Bildebene E ausgerichtet ist.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Ortsfrequenzfilter in analoger Form realisiert ist.
  5. Verfahren nach einem der vorhergehenden Ansprüche 2–4, dadurch gekennzeichnet, dass das Ortsfrequenzfilter eine sinusförmige Charakteristik aufweist.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass auf dem Pixelarray PA mehrere Pixelgruppen PG vorgesehen sind, um den Abstand von mehreren Objekten zu bestimmen.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mit einer Pixelgruppe PG zwei Ortsfrequenzfilter mit unterschiedlichen Gitterkonstanten realisiert sind.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es bei einem bekannten Abstandsbestimmungsverfahren mit Objekterkennung, wie Radarverfahren, Stereoverfahren oder Autokorrelationsverfahren mit moduliertem Sendelicht, zur Gewinnung einer redundanten Abstandsinformation eingesetzt wird.
DE102010015532.2A 2009-04-16 2010-04-16 Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts Active DE102010015532B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010015532.2A DE102010015532B4 (de) 2009-04-16 2010-04-16 Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009017664 2009-04-16
DE102009017664.0 2009-04-16
DE102010015532.2A DE102010015532B4 (de) 2009-04-16 2010-04-16 Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts

Publications (2)

Publication Number Publication Date
DE102010015532A1 DE102010015532A1 (de) 2010-11-04
DE102010015532B4 true DE102010015532B4 (de) 2014-07-10

Family

ID=42813850

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010015532.2A Active DE102010015532B4 (de) 2009-04-16 2010-04-16 Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts

Country Status (1)

Country Link
DE (1) DE102010015532B4 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012213294B4 (de) 2012-07-27 2020-10-22 pmdtechnologies ag Verfahren zum Betreiben eines Sicherheitssystems in einem Kraftfahrzeug, das eine 3D-Ortsfrequenzfilter-Kamera und eine 3D-TOF-Kamera aufweist
EP3038011B1 (de) * 2014-12-22 2019-06-05 Aptiv Technologies Limited Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
DE102017210489A1 (de) * 2017-06-22 2018-12-27 Continental Automotive Gmbh Fahrerassistenzsystem zur Validierung von Messdaten
DE102019202059A1 (de) * 2019-02-15 2020-08-20 Zf Friedrichshafen Ag Sensorvorrichtung und Verfahren für ein autonomes Kraftfahrzeug sowie autonomes Kraftfahrzeug
CN111175715B (zh) * 2019-09-24 2024-03-29 纵目科技(上海)股份有限公司 可抑制雷达近距离谐波的辅助驾驶系统、方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2835390A1 (de) * 1978-08-12 1980-02-21 Leitz Ernst Gmbh Optischer korrelator
DE3830417A1 (de) * 1987-09-07 1989-03-16 Hitachi Ltd Ortsfrequenzfilter verwendetes geschwindigkeitsmessgeraet
DE4035039A1 (de) * 1990-10-05 1992-04-09 Christofori Klaus Verfahren und einrichtung zur erfassung der bewegung strukturierter objekte
DE10306417A1 (de) * 2002-09-23 2004-04-15 Stefan Reich Verfahren und Vorrichtung zur optischen Abtastung
WO2009049887A1 (de) * 2007-10-16 2009-04-23 I F M Electronic Gmbh Verfahren und vorrichtung zur abstandsbestimmung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2835390A1 (de) * 1978-08-12 1980-02-21 Leitz Ernst Gmbh Optischer korrelator
DE3830417A1 (de) * 1987-09-07 1989-03-16 Hitachi Ltd Ortsfrequenzfilter verwendetes geschwindigkeitsmessgeraet
DE4035039A1 (de) * 1990-10-05 1992-04-09 Christofori Klaus Verfahren und einrichtung zur erfassung der bewegung strukturierter objekte
DE10306417A1 (de) * 2002-09-23 2004-04-15 Stefan Reich Verfahren und Vorrichtung zur optischen Abtastung
WO2009049887A1 (de) * 2007-10-16 2009-04-23 I F M Electronic Gmbh Verfahren und vorrichtung zur abstandsbestimmung

Also Published As

Publication number Publication date
DE102010015532A1 (de) 2010-11-04

Similar Documents

Publication Publication Date Title
DE112014005398B4 (de) Fahrunterstützungsvorrichtung
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102014216285B4 (de) Bildsystem für Kraftfahrzeugsicherheitsanwendungen
DE102010015532B4 (de) Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts
DE102015223176A1 (de) Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
DE102011101246A1 (de) Redudante objektdetektion für fahrerassistenzsysteme
DE102009000401A1 (de) Verfahren und Vorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem Objekt
DE102004060402A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrzeuggeschwindigkeit
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
WO2019162794A1 (de) Verfahren und system zur erkennung von für ein fahrzeug geeigneten parklücken
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102013224954A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
DE102008026876A1 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102008042631B4 (de) Verfahren und Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem
EP3268928B1 (de) Verfahren zum zusammensetzen von zwei bildern einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
DE102012213294B4 (de) Verfahren zum Betreiben eines Sicherheitssystems in einem Kraftfahrzeug, das eine 3D-Ortsfrequenzfilter-Kamera und eine 3D-TOF-Kamera aufweist
DE102017209427B3 (de) Vorrichtung zur Fahrschlauchabsicherung
DE102015217265A1 (de) Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
DE102010034127A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
DE102014206677A1 (de) Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
DE102015210870A1 (de) Vorrichtung und Verfahren zum Erfassen eines Bildes einer Fahrzeugumgebung

Legal Events

Date Code Title Description
8181 Inventor (new situation)

Inventor name: MAY, THOMAS, DR., 78464 KONSTANZ, DE

Inventor name: BUCK, MARTIN, 88131 LINDAU, DE

Inventor name: KORNMEIER, HANS, DR., 88069 TETTNANG, DE

R012 Request for examination validly filed

Effective date: 20120806

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE