DE112010003752T5

DE112010003752T5 - Dynamische echtzeitreferenzbilderzeugung für ein entfernungsbildgebungssystem

Info

Publication number: DE112010003752T5
Application number: DE112010003752T
Authority: DE
Inventors: Bruno Mirbach; Thomas Solignac; Frédéric Grandidier
Original assignee: IEE International Electronics and Engineering SA
Current assignee: IEE International Electronics and Engineering SA
Priority date: 2009-09-23
Filing date: 2010-09-16
Publication date: 2013-06-27
Also published as: US20120229646A1; CN102576407B; WO2011036090A1; EP2302564A1; CN102576407A; US9400917B2

Abstract

Ein Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds umfasst die Bereitstellung eines Referenzentfernungsbilds, das dynamisch zu aktualisieren ist, aus Pixeln besteht, von welchen jedes einen Referenzentfernungswert enthält. Ein erfasstes Entfernungsbild wird bereitgestellt, dessen Pixel jeweils einen gemessenen Entfernungswert enthalten, wobei die gemessenen Entfernungswerte bei einer vorgegebenen Bildfrequenz aktualisiert werden. Pixel des erfassten Entfernungsbilds, die einen ungültigen gemessenen Entfernungswert enthalten, werden entsprechend markiert. Der gemessene Entfernungswert jedes Pixels des erfassten Entfernungsbilds, das nicht als einen ungültigen gemessenen Entfernungswert enthaltend markiert ist, wird mit dem Referenzentfernungswert des entsprechenden Pixels des Referenzentfernungsbilds verglichen. Der Referenzentfernungswert dieses Pixels des Referenzentfernungsbilds wird beispielsweise auf den gemessenen Entfernungswert oder auf einen Mittelwert des gemessenen Entfernungswerts und eines oder mehrerer vorher gemessener Entfernungswerte aktualisiert, wenn a) der gemessene Entfernungswert für kleiner als der Referenzentfernungswert erachtet wird und für eine erste Zeitdauer im Wesentlichen konstant blieb, oder wenn b) der gemessene Entfernungswert für größer als der Referenzentfernungswert erachtet wird und für eine zweite Zeitdauer, die kleiner als die erste Zeitdauer ist, im Wesentlichen konstant blieb. Wenn keine der Bedingungen a) und b) erfüllt ist, wird der Referenzentfernungswert statt dessen im Wesentlichen konstant gehalten.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft allgemein das Gebiet des maschinellen Sehens und insbesondere die Erzeugung eines dynamischen Referenzbilds für ein Entfernungsbildgebungssystem.
Technischer Hintergrund
Das maschinelle Sehen ist die wissenschaftliche Disziplin, die sich mit dem Abrufen der Information von Bildern befasst. Eine bedeutende Aufgabe bei zahlreichen Anwendungen des maschinellen Sehens besteht darin, zwischen interessierenden Objekten und Hintergrundobjekten, die für die spezifische Anwendung nicht von Interesse sind, zu unterscheiden. Eine weithin bekannte Methode, diesem Problem zu begegnen, ist die Hintergrundsubtraktion, bei der ein Referenzbild von jedem Eingangsbild subtrahiert wird, um alle Objekte zu löschen, die dem Eingangsbild und dem Referenzbild gemeinsam sind. Diese Methode funktioniert gut, wenn der vom Bildgebungssystem aufgenommene Hintergrund konstant bleibt – d. h. wenn der Hintergrund keine Objekte enthält, bei denen die Gefahr besteht, dass sie eine Szene betreten, verlassen oder sich darin bewegen (beispielsweise ein geparktes Fahrzeug in einem Verkehrsüberwachungsystem) – und wenn die Lichtverhältnisse gleich bleiben (was bei Bildfolgen im Freien normalerweise nicht der Fall ist).
Wenn der Hintergrund Veränderungen ausgesetzt sein kann, müssen Maßnahmen ergriffen werden, um das Referenzbild dynamisch zu aktualisieren. In dem Artikel „A practical approach to real-time dynamic background generation based an a temporal median filter" (von B. Shoushtarian et al., Journal of Sciences, Islamische Republik Iran, 14 (4), 2003, S. 351–362) präsentieren die Autoren einen Algorithmus für die Erzeugung eines dynamischen Echtzeithintergrunds, der auf einem zeitlichen Medianfilter mit einer Filterung mit exponentiell gewichtetem gleitendem Mittelwert (EWMA; exponentially weighted moving average) beruht. Der Algorithmus dieses Artikels nutzt ein Referenzbild, das mit einem eingehenden Bild auf Pixel-zu-Pixel-Basis verglichen wird. Wenn der Pixelwert eines bestimmten Pixels der eingehenden Bilder für eine gewisse Zeit konstant (innerhalb eines Toleranzbereichs) bleibt, wird vorausgesetzt, dass der Pixelwert ein Teil des Hintergrunds ist, wobei dieser Wert dann zum Referenzbild kopiert wird.
Ein Entfernungsbild ist ein Bild, bei dem jedes Pixel (Bildelement) einen Entfernungswert enthält, welcher dem Abstand des Bildgebersystems zu dem Teil der Szene entspricht, der auf dem spezifischen Pixel abgebildet ist. Die Pixel eines Referenzentfernungsbilds enthalten Referenzentfernungswerte. Wie im Falle der 2D-Bildgebung ist die Hintergrundsubtraktion bei der Entfernungsbildgebung einfach, wenn der Hintergrund der Szene konstant ist. In diesem Fall kann ein konstantes Referenzbild der leeren Szene verwendet werden, um den Hintergrund zu entfernen. Ein Problem bei dieser Methode besteht darin, dass der Hintergrund der Szene während der Lebensdauer des maschinellen Sehsystems konstant bleiben muss; andernfalls kann das Ausgabeergebnis des Systems falsch sein. Obwohl die Voraussetzung eines konstanten Hintergrunds in einer Labor- oder Industrieumgebung gerechtfertigt sein kann, gilt dies generell nicht für Systeme, die in Bereichen mit freiem Zugang eingebaut sind.
Technisches Problem
Diese Erfindung befasst sich mit dem Problem eines veränderlichen Bildhintergrunds, indem sie ein Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds vorschlägt. Dieses Verfahren ist in Anspruch 1 definiert. Die bevorzugten Ausgestaltungen des Verfahrens, die in einem Computerprogramm oder einer Entfernungsbildkamera implementiert werden können, sind in den abhängigen Verfahrensansprüchen definiert.
Allgemeine Beschreibung der Erfindung
Das Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds umfasst erfindungsgemäß die Bereitstellung eines dynamisch zu aktualisierenden Referenzentfernungsbilds, das aus Pixeln besteht, von welchen jedes einen Referenzentfernungswert enthält. Es ist ferner ein erfasstes Entfernungsbild vorgesehen, welches aus Pixeln besteht, wobei jedes Pixel des erfassten Entfernungsbilds ein entsprechendes Pixel in dem Referenzentfernungsbild aufweist und einen gemessenen Entfernungswert enthält, wobei die gemessenen Entfernungswerte bei einer vorgegebenen Bildfrequenz aktualisiert werden. Mit anderen Worten: es wird hier vorausgesetzt, dass das erfasste Entfernungsbild dem aktuellen Bild entspricht. Wenn in dem erfassten Entfernungsbild Pixel vorhanden sind, die einen ungültigen gemessenen Entfernungswert enthalten, werden solche Pixel entsprechend markiert. Der gemessene Entfernungswert jedes Pixels des erfassten Entfernungsbilds, das nicht als einen ungültigen gemessenen Entfernungswert enthaltend markiert ist, wird mit dem Referenzentfernungswert des entsprechenden Pixels des Referenzentfernungsbilds verglichen. Der Referenzentfernungswert dieses Pixels des Referenzentfernungsbilds wird beispielsweise auf den gemessenen Entfernungswert oder auf einen Mittelwert des gemessenen Entfernungswerts und eines oder mehrerer vorher gemessener Entfernungswerte aktualisiert, wenn

a) der gemessene Entfernungswert für kleiner als der Referenzentfernungswert erachtet wird und für eine erste Zeitdauer im Wesentlichen konstant blieb, oder wenn
b) der gemessene Entfernungswert für größer als der Referenzentfernungswert erachtet wird und für eine zweite Zeitdauer, die kleiner als die erste Zeitdauer ist, im Wesentlichen konstant blieb.

Wenn keine der Bedingungen a) und b) erfüllt ist, wird der Referenzentfernungswert statt dessen im Wesentlichen konstant gehalten.
Es ist für den Fachmann zu erkennen, dass das Verfahren für unterschiedliche Bedingungen die Aktualisierung eines Pixels des Referenzentfernungsbilds in Abhängigkeit davon bereitstellt, ob der gemessene Entfernungswert des entsprechenden Pixels der erfassten Bilds kleiner oder größer als der gespeicherte Referenzentfernungswert ist. Im Vordergrund der Szene ist ein Objekt vorhanden, wenn die aktuelle gemessene Entfernung kleiner als die Referenzentfernung ist. Falls die aktuelle gemessene Entfernung größer als die Referenzentfernung ist, wurde ein Objekt, das bereits zu dem Referenzbild gehörte, entfernt. Gemäß dem Verfahren wird, wenn ein vorher beständiges Objekt verschwindet (was zu einer größeren zu messenden Entfernung bei den entsprechenden Pixeln führt), das Referenzbild schneller aktualisiert als wenn ein Objekt erscheint (was zu einer kleineren zu messenden Entfernung bei den entsprechenden Pixeln führt). Die zweite Zeitdauer, d. h. die Wartezeit für die Aktualisierung eines Referenzentfernungswerts im Falle eines gemessenen Entfernungswerts, der größer als der Referenzentfernungswert ist, kann derart als kleiner als die Bildperiode gesetzt werden, dass die Aktualisierung in diesem Fall unmittelbar erfolgt.
Da das Verfahren eine Überprüfung, ob ein Pixel einen ungültigen gemessenen Entfernungswert enthält (was bei Entfernungsbildern normal ist, wenn Teile der bildlich erfassten Szene einen großen Abstand zum Bildgeber haben), vorsieht und das entsprechende Referenzpixel nur dann aktualisiert, wenn der gemessene Entfernungswert gültig ist, ist das Verfahren robust gegen die Einführung von Messfehlern in das Referenzentfernungsbild.
Der gemessene Entfernungswert wird vorzugsweise nur dann für kleiner als der Referenzentfernungswert erachtet, wenn der Referenzentfernungswert den gemessenen Entfernungswert zumindest um einen vordefinierten Toleranzwert überschreitet. in ähnlicher Weise wird der gemessene Entfernungswert vorzugsweise nur dann für größer als der Referenzentfernungswert erachtet, wenn der gemessene Entfernungswert den Referenzentfernungswert zumindest um einen vordefinierten Toleranzwert überschreitet. Die Toleranzwerte sind vorzugsweise gleich, doch sie könnten sich auch unterscheiden, wenn Abweichungen von dem aktuellen Wert in einer Richtung wahrscheinlicher und/oder höher sind als in der anderen.
Das Halten des Referenzentfernungswerts bei einem im Wesentlichen konstanten Wert, wenn keine der Bedingungen i.a) und i.b) erfüllt ist, umfasst vorzugsweise das Integrieren des gemessenen Entfernungswerts (einen Anteil davon) in den Referenzentfernungswert, wenn der gemessene Entfernungswert als dem Referenzentfernungswert gleich (d. h. weder größer noch kleiner) erachtet wird. Der Anteil des gemessenen Entfernungswerts wird vorzugsweise mit einem vorgegebenen Filter wie beispielsweise einem Filter mit gleitendem Mittelwert, einem Medianfilter oder dergleichen ausgewählt. Es ist zu erkennen, dass dies dabei hilft, das Rauschen bei dem Referenzentfernungsbild zu reduzieren.
Die erste Zeitdauer und/oder die zweite Zeitdauer können als absolute Zeitdauern vordefiniert werden. Alternativ dazu können sie relativ zu einer anderen Zeitdauer definiert werden, die während der Laufzeit bestimmt werden kann. Beispielsweise kann die erste Zeitdauer oder die zweite Zeitdauer derart ausgewählt werden, dass sie der (dynamisch bestimmten) Zeitdauer gleich ist, während welcher der gemessene Entfernungswert als dem Referenzentfernungsbild gleich erachtet wurde, bevor die erste bzw. zweite Zeitdauer begonnen hatte. Dies bedeutet, dass, wenn ein gemessener Entfernungswert um einen von dem gespeicherten Referenzentfernungswert verschiedenen Wert herum im Wesentlichen für eine längere Zeit konstant bleibt, als er vorher dem gespeicherten Referenzwert gleich war, wird letzterer auf den aktuellen gemessenen Entfernungswert aktualisiert.
Vorzugsweise wird für jedes Pixel des erfassten Entfernungsbilds, das als einen ungültigen gemessenen Entfernungswert enthaltend markiert wurde, der Referenzentfernungswert des entsprechenden Pixels des Referenzbilds auf einen maximalen Entfernungswert aktualisiert, wenn das Pixel für eine dritte Zeitdauer als einen ungültigen gemessenen Entfernungswert enthaltend markiert blieb. Bei dieser Variante des Verfahrens werden die Pixel, die als einen ungültigen gemessenen Entfernungswert enthaltend markiert sind, ignoriert, sofern sie nicht für die dritte Zeitdauer derart markiert bleiben – in diesem Fall wird das Referenzbildpixel auf den maximalen Entfernungswert aktualisiert. Die dritte Zeitdauer des Verfahrens kann derart ausgewählt werden, dass sie einer von einer vorgegebenen (absoluten) Zeitdauer und der (dynamisch bestimmten) Zeitdauer gleich ist, während welcher der gemessene Entfernungswert als dem Referenzentfernungswert gleich erachtet wurde, bevor das Pixel des erfassten Entfernungsbilds als einen ungültigen gemessenen Entfernungswert enthaltend markiert worden war. Bei einer bevorzugten Variante des Verfahrens wird während der Laufzeit die dritte Zeitdauer der kürzeren von einer vorgegebenen Zeitdauer und der (dynamisch bestimmten) Zeitdauer gleich gesetzt, während welcher der gemessene Entfernungswert als dem Referenzentfernungsbild gleich erachtet wurde, bevor das Pixel des erfassten Entfernungsbilds als einen ungültigen gemessenen Entfernungswert enthaltend markiert worden war.
Es ist für den Fachmann zu erkennen, dass das Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds in einem Verfahren zur Erkennung von interessierenden Objekten in einem Entfernungsbild verwendbar ist, wobei ein „hintergrundfreies” Entfernungsbild auf Basis des erfassten Entfernungsbilds und des Referenzentfernungsbilds berechnet und die Objekterkennung in dem hintergrundfreien Bild durchgeführt wird. Der Begriff „hintergrundfrei” soll das Bild bezeichnen, dass dem erfassten Entfernungsbild entspricht, aus welchem Objekte, die dem Referenzentfernungsbild und dem erfassten Entfernungsbild gemeinsam sind, entfernt wurden. „Hintergrundfrei” soll nicht bedeuten, dass nur interessierende Objekte in dem hintergrundfreien Entfernungsbild vorhanden sind. Zur Erzeugung eines derartigen hintergrundfreien Entfernungsbilds wird das aktuelle erfasste Entfernungsbild vorzugsweise mit dem Referenzentfernungsbild auf Pixel-zu-Pixel-Basis verglichen. Wenn der gemessene Entfernungswert eines Pixels für kleiner als der Referenzentfernungswert des entsprechenden Pixels des Referenzentfernungsbilds erachet wird, wird der gemessene Entfernungswert in dem entsprechenden Pixel des hintergrundfreien Entfernungsbilds behalten. Im entgegengesetzten Fall wird das entsprechende Pixel des hintergrundfreien Entfernungsbilds als Hintergrund enthaltend markiert, beispielsweise durch Setzen des Entfernungswerts dieses Pixels auf einen Standardwert. Mit anderen Worten: Pixel, die den gleichen oder einen höheren Entfernungswert in dem erfassten Entfernungsbild enthalten als in dem Referenzentfernungsbild, werden in dem hintergrundfreien Entfernungsbild als Hintergrund markiert und können in den anschließenden Bildverarbeitungsschritten aussortiert werden.
Ein Aspekt der vorliegenden Erfindung betrifft ein Computerprogramm, das Befehle umfasst, welche, wenn das Computerprogramm auf einem Computer ausgeführt wird, den Computer dazu veranlassen, das Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds und/oder das Verfahren zur Erkennung von interessierenden Objekten in einem Entfernungsbild durchzuführen.
Ein anderer Aspekt der vorliegenden Erfindung betrifft ein Computerprogrammprodukt, das ein Trägermedium umfasst, das einen Programmcode mit computerimplementierbaren Befehlen trägt, um einen Computer dazu zu veranlassen, das Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds und/oder das Verfahren zur Erkennung von interessierenden Objekten in einem Entfernungsbild durchzuführen. Das Trägermedium kann beispielsweise einen permanten oder einen nicht-permanenten Speicher, ein Speicherlaufwerk, elektromagnetische Signale mit dem darin gemäß einem vordefinierten Protokoll kodierten Progammcode usw. umfassen.
Noch ein weiterer Aspekt der Erfindung betrifft eine Entfernungsbildkamera, die Mittel zur Durchführung des Verfahrens zur Erzeugung eines dynamischen Referenzentfernungsbilds und/oder des Verfahrens zur Erkennung von interessierenden Objekten in einem Entfernungsbild umfasst. Eine bevorzugte Ausgestaltung dieses Aspekts der Erfindung betrifft ein Verkehrsüberwachungs- und/oder -steuerungssystem, wobei eine oder mehrere Entfernungsbildkameras derart in (vorzugsweise erhöhten) Positionen angeordnet sind, dass sie Entfernungsbilder von Straßenbenutzern (z. B. Autos, Busse, LKWs, Fahrräder, Fußgänger usw.) erfassen, wobei das System Mittel zur Durchführung des Verfahrens zur Erzeugung eines dynamischen Referenzentfernungsbilds und/oder des Verfahrens zur Erkennung von interessierenden Objekten in den von der einen oder den mehreren Entfernungsbildkameras erfassten Entfernungsbildern umfasst. Solche Mittel zur Durchführung des Verfahrens zur Erzeugung eines dynamischen Referenzentfernungsbilds und/oder des Verfahrens zur Erkennung von interessierenden Objekten in einem Entfernungsbild umfassen vorzugsweise mindestens eines von einer anwendungsspezifischen integrierten Schaltung, einer feldprogrammierbaren Anordnung von Logik-Gattern, einem digitalen Signalprozessor und einem Computerprogramm.
Kurze Beschreibung der Zeichnungen
Es wird nun eine bevorzugte Ausgestaltung der Erfindung beispielhaft anhand der begleitenden Zeichnungen beschrieben. Es zeigen:
1: eine schematische Darstellung einer 3D-Laufzeitkamera gemäß dem Stand der Technik;
2: eine Folge von Bildern, die die Aktualisierung des Referenzentfernungsbilds darstellen, wenn ein statisches Objekt in das Sichtfeld eines Entfernungsbildgebers gestellt wird;
3: eine Folge von Bildern, die die Aktualisierung des Referenzentfernungsbilds darstellen, wenn das statische Objekt aus dem Sichtfeld des Entfernungsbildgebers herausgenommen wird;
4: eine schematische Zeichnung eines Verkehrsüberwachungs- und steuerungssystems gemäß einem Aspekt der vorliegenden Erfindung.
Beschreibung einer bevorzugten Ausgestaltung
Entfernungsbilder können durch mehrere Erfassungsmethoden erfasst werden, bei denen beispielsweise Radar-, akustische oder optische Laufzeitmessungen (TOF-Messungen; time-of-flight) zum Einsatz kommen. Zum Zwecke der Veranschaulichung wird ein bekanntes optisches TOF-Entfernungsbild-Verfahren unter Bezugnahme auf 1 beschrieben.
Die Abstandsmessung mittels Lichtwellen (sichtbares Licht, Infrarot- oder Ultraviolettlicht) erfordert generell die Veränderlichkeit der Intensität des ausgestrahlten Lichts im Zeitverlauf. Das TOF-Verfahren kann beispielsweise unter Einsatz der Phasenverschiebungstechnik oder der Impulstechnik implementiert werden. Bei der Phasenverschiebungstechnik wird die Amplitude des ausgestrahlten Lichts periodisch moduliert (z. B. durch Sinusmodulation) und die Phase der Modulation bei der Ausstrahlung mit der Phase der Modulation beim Empfang verglichen. Bei der Impulstechnik wird Licht in diskreten Impulsen ausgestrahlt, ohne dass Periodizität vorliegen muss. Bei Phasenverschiebungsmessungen liegt die Modulationsperiode normalerweise in der Größenordnung des Zweifachen der Differenz zwischen dem maximalen Messabstand und dem minimalen Messabstand dividiert durch die Lichtgeschwindigkeit. Bei dieser Methode wird das Ausbreitungszeitintervall als Phasendifferenz mittels eines Phasenvergleichs zwischem dem ausgestrahlten und dem aufgefangenen Lichtsignal ermittelt. Ein derartiger Phasenvergleich erfordert die Synchronisation des Demodulationssignals mit dem ausgestrahlten Lichtsignal. Wegen der durch die Lichtgeschwindigkeit bedingten hohen Ausbreitungsgeschwindigkeit liegt eine fundamentale Schwierigkeit bei Abstandsmessungen auf Basis der Impulstechnik oder der Phasenverschiebungstechnik in der notwendigen zeitlichen Auflösung des Messgeräts begründet. Eine räumliche Auflösung in der Größenordnung von Zentimetern erfordert nämlich eine zeitliche Auflösung in der Größenordnung von 10^–11 Sekunden (10 ps). Die Prinzipien der Entfernungsbildgebung auf Basis von Laufzeitmessungen werden im Detail in der EP 1 152 261 A1 (an Lange und Seitz) und der WO 98/10255 (an Schwarte) beschrieben. Eine noch detailliertere Beschreibung der Technik findet sich in der Dissertation von Robert Lange: „3D Time-of-Flight Distance Measurement with Custom Solid-State Image Sensors in CMOS/CCD-Technology" (Fachbereich Elektrotechnik und Informatik der Universität Siegen).
1 zeigt eine Entfernungsbildkamera 100 gemäß dem Stand der Technik (nachzuschlagen z. B. in WO 2006/097406 A2 ). Eine Signalquelle 101 erzeugt ein Modulationssignal 102 an ihrem Ausgangsknoten. Ein Beleuchtungstreiber 103 verstärkt das Modulationssignal, um das Beleuchtungsmodul 105 zu steuern, das aus mehreren einzelnen Leuchtvorrichtungen 151 besteht. Das Beleuchtungsmodul strahlt eine intensitätsmodulierte Lichtwelle 106 aus, welche in die bildlich zu erfassende Szene gerichtet wird. Ein Objekt 107 in der Szene streut einen Teil des Lichts auf die Anordnung 112 von Lock-in-Pixel-Sensorzellen 152 (nachstehend als „Lock-in-Pixel” bezeichnet, um die Bezeichnung zu verkürzen) zurück. Jedem Lock-in-Pixel 152 wird gleichzeitig ein Demodulationssignal 110 zugeführt, welches durch den Photogate-Treiber 109 von dem Modulationssignal 102 abgeleitet ist. Unter der Steuerung des Demodulationssignals 110 integriert jedes Lock-in-Pixel 152 die Ladung, die darin durch das während der letzten drei Zeitintervalle auftreffende Licht erzeugt wurde, wobei jedes Zeitintervall einer verschiedenen Phase innerhalb einer Periode des Modulationssignals entspricht. Jedes Lock-in-Pixel 152 stellt Antwortsignale 113 bereit, die die integrierte Ladung für die verschiedenen Zeitintervalle angibt. Diese unverarbeitete Phaseninformation wird gemäß der Nomenklatur von Robert Langes Dissertation als „tap values” (Ausgangswerte) oder „tap responses” (Ausgangsantworten) bezeichnet. Zur Vereinfachung der Berechnung der Phasendifferenz zwischen dem aufgefangenen Licht und dem Modulationssignal wählt man normalerweise vier Integrationsintervalle, die um 90° voneinander getrennten Phasen entsprechen. Man ruft somit für jedes Pixel vier Ausgangswerte (als A0, A1, A2, A3 bezeichnet) pro aufgenommenem Bild ab. Die Ausgangswerte werden durch die Berechnungseinheit 114 in die Phaseninformation 115 umgerechnet. Die Phasendifferenz φ wird folgendermaßen mit den vier Ausgangswerten berechnet: φ = atan2(A1 – A3, A2 – A0) wobei atan2(x, y) die auf vier Quadranten bezogene inverse Tangensfunktion ist, die den Winkel zwischen der positiven x-Achse einer Ebene und dem Punkt mit den Koordinaten (x, y) auf dieser Ebene ergibt. Die Entfernungsbildkamera umfasst für die Versatzkompensation ein Kalibrier-Lock-in-Pixel 153, welches das modulierte Licht über einen Referenzlichtweg (durch den Lichtleiter 117 ausgebildet) von dem Beleuchtungsmodul 105 empfängt. Da die Länge des Referenzlichtwegs bekannt ist, kann die Phasendifferenz, die mit den Ausgangsantworten von dem Referenz-Lock-in-Pixel berechnet wurde, dazu verwendet werden, einen globalen Versatz (d. h. allen Lock-in-Pixeln gemeinsam) zu ermitteln. Daher können Phasendriften wegen Alterung der Beleuchtungseinheit oder Änderung der Umgebungstemperatur kompensiert werden. Die Berechnungseinheit 114 ist vorzugsweise eine digitale Schaltung, beispielsweise eine digitale ASIC (anwendungsspezifische integrierte Schaltung; application specific integrated circuit) oder eine FPGA (feldprogrammierbare Anordnung von Logik-Gattern; field programmable gate array). Eine Steuerungseinheit 116, die vorzugsweise ein Mikrocontroller ist, verarbeitet die Abstandsinformation beispielsweise nach dem Extrahieren der Objekteigenschaften. Nach der Phase φ berechnet die Berechnungseinheit 116 die Modulationsamplitude A des reflektierten Lichts und den unmodulierten Versatz der Beleuchtung B: A = 1 / 2√(A2 – A0)² + (A3 – A1)² B = (A1 + A2 + A3 + A4)/4
Mathematisch ist die in einem bestimmten Lock-in-Pixel aufgefangene Lichtintensität also durch folgende Formel gegeben: I(t) = B + Asin(2πft – φ), wobei f die Modulationsfrequenz ist und wobei vorausgesetzt wurde, dass A und B im Zeitmaßstab der Modulationsperiode im Wesentlichen konstant bleiben. Die Phase φ kann als ein Entfernungswert angesehen werden: wenn Interesse daran besteht, die Entfernung in metrischen Einheiten auszudrücken, kann man Folgendes anwenden: r = φc/(2f), wobei c die Lichtgeschwindigkeit ist.
Die Amplituden- und Hintergrundinformation ist beispielsweise nutzbar, um zu ermitteln, ob man der berechneten Phase vertrauen kann. Ein hohes B/A-Verhältnis gibt an, dass lediglich ein kleiner Teil des in dem Pixel aufgefangenen Lichts moduliert ist, d. h. von der Beleuchtungseinheit stammt. Ein gemessener Entfernungswert kann somit für ungültig erachtet werden, wenn das B/A-Verhältnis einen vordefinierten Schwellwert überschreitet.
Es wird nun unter Bezugnahme auf die Beschreibung einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens vorausgesetzt, dass die erfassten Entfernungsbilder aus Pixeln bestehen, von denen jedes einen gemessenen Entfernungswert enthält (z. B. ausgedrückt als Phase φ, in Metern gemessener Abstand r oder in einer anderen passenden Einheit). Außer bei Messfehlern entspricht jeder gemessene Entfernungswert dem Radialabstand von dem Bildgeber zu demjenigen Teil der Szene, der auf dem betreffenden Pixel bildlich dargestellt ist.
Bei jedwedem Pixel, das einen ungültigen Entfernungswert enthält, wird davon ausgegangen, dass es entsprechend markiert ist. Die Markierung eines Pixels wird bei der vorliegenden Ausgestaltung dadurch bewirkt, dass dessen für ungültig erachteter Entfernungswert durch einen vordefinierten maximalen Entfernungswert ersetzt wird, der beispielsweise dem oberen Grenzwert des Abstandsintervalls entsprechen kann, bei welchem unzweideutige Messungen durchgeführt werden können.
Es wird darüber hinaus vorausgesetzt, dass der Hintergrund der Szene generell statisch ist, sich aber verändern kann, während statische Objekte der Szene hinzugefügt oder daraus entfernt werden.
Das Verfahren erzeugt ein Referenzentfernungsbild, und jedes Pixel davon enthält einen Referenzentfernungswert, der innerhalb der Messgenauigkeit dem Entfernungsgrenzwert des Szenenhintergunds oder, wenn die Hintergrundobjekte zu weit vom Bildgeber entfernt sind, dem oberen Entfernungsgrenzwert des Bildgebers entspricht. Ob ein Objekt Teil des Hintergrunds ist, kann von der Anwendung abhängen, bei welcher das Verfahren eingesetzt wird. Mögliche Anwendungen des Entfernungsbildgebungssystems liegen beispielsweise im Verkehrsmanagement. Bei einem Parkplatzüberwachungssystem würden parkende Fahrzeuge nicht als Szenenhintergrund, sondern als zu erfassende Vordergrundobjekte erachtet. Parkende Fahrzeuge sollten bei einer Ampelsteuerungsanlage jedoch keinen Einfluss auf den Betrieb der Ampeln haben und können als Teil des Hintergrunds der Szene erachtet werden.
Falls der Szene ein Objekt hinzugefügt wird und für mindestens ein bestimmtes Zeitintervall statisch bleibt, wird dieses Objekt als Teil des Hintergrunds erachtet und wird das Referenzentfernungsbild derart aktualisiert, dass es das Objekt als Teil des Hintergrunds integriert. Falls ein Objekt in eine Szene gelangt, sind die Radialabstände, die für diejenigen Pixel gemessen wurden, auf welchen dieses Objekt abgebildet wird, kürzer als die Referenzabstände. Da nicht von vornherein bekannt ist, ob ein in die Szene gelangendes Objekt in der Szene beständig bleibt, kann das Referenzbild nicht sofort nach der Hineinbewegung des Objekts aktualisiert werden. Die Zeit, nach welcher ein Objekt als statisch und somit als Teil des Hintergunds erachtet wird, hängt von der Anwendung ab und kann demzufolge parameterisiert werden. Bei dem Beispiel einer Ampelsteuerungsanlage könnte diese Zeit beispielsweise die maximale Periode der Ampelanlage sein.
Wenn ein statisches Objekt aus der Szene entfernt wird, kann das Referenzbild schneller aktualisiert werden als im vorherigen Fall. Dort, wo das Objekt entfernt wurde, misst der Bildgeber höhere Entfernungswerte, die in das Referenzentfernungsbild integriert werden. In dem Moment, in dem ein statisches Objekt aus der Szene entfernt wird, sind die radial gemessenen Abstände größer als die Referenzabstände für diese Pixel, auf welchen dieses Objekt bildlich erfasst war. In diesem Fall wird der Referenzentfernungswert vorzugsweise so schnell wie möglich auf den neuen, größeren Abstand aktualisiert, da ein nicht-statisches Objekt, das in den Raum gelangt, der vorher von dem entfernten statischen Objekt eingenommen wurde, sonst unbeabsichtigt ignoriert werden könnte, solange das Referenzbild nicht aktualisiert ist. Es lohnt sich anzumerken, dass die für 2D-Sichtsysteme vorgeschlagenen Verfahren zur Erzeugung eines dynamischen Hintergrunds stets den Nachteil haben, dass ein 2D-Sichtsystem nicht zwischen einem hinzugefügten Objekt und einem aus der Szene entfernten Objekt unterscheiden kann, zumindest nicht auf Pixelebene. Derartige Verfahren haben daher immer die gleiche Zeitverzögerung für die Aktualisierung des Referenzbilds zur Folge, und zwar unabhängig davon, ob ein statisches Objekt hinzugefügt oder entfernt wurde.
Der Bildgeber erfasst in jedem Bild ein Entfernungsbild, das als eine Matrix Im = (Im(i, j))_i,j ausgedrückt werden kann, wobei die Indices i und j die Spalten bzw. Zeilen von Pixeln des Bilds bezeichnen. Im(i, j,) ist der gemessene Entfernungswert des Pixels an der Schnittstelle zwischen der Spalte i und der Zeile j, sofern der Bildgeber nicht bestimmt hat, dass der gemessene Entfernungswert ungültig ist. In diesem Fall wird Im(i, j,) einem Wert MAX_RANGE gleich gesetzt, welcher das Pixel als einen ungültigen Entfernungswert enthaltend markiert. Ein gemessener Entfernungswert wird für ungültig erachtet, wenn er zu groß dafür ist, eine zuverlässige Abstandsmessung zu repräsentieren (der Schwellwert dafür, ob ein gemessener Entfernungswert als zu groß angesehen wird, kann entsprechend der Anwendung, dem Typ des Bildgebers und dem Standort des Bildgebers ausgewählt werden), oder wenn das B/A-Verhältnis einen vordefinierten Schwellwert überschreitet.
Das Referenzbild bedeutet Im_R = (Im_R(i, j))_i,j. Im_R(i, j) ist der Referenzentfernungswert des Pixels an der Schnittstelle zwischen der Spalte I und der Zeile j. Es ist anzumerken, dass die Pixel auch mittels eines einzigen Index identifiziert werden könnten.

Für die dynamische Aktualisierung des Referenzbilds Im_R werden folgende Variablen eingeführt:

(Im_S(i, j))_i,j	ist das Übergangsreferenzbild mit den Pixelwerten Im_S(i, j);
T_S(i, j)	ist der „Übergangszähler”, d. h. ein Zähler (oder Timer), der die Anzahl aufeinander folgender Bilder zählt, bei welchen Im(i, j,) um den Wert Im_S(i, j,) des entsprechenden Pixels des Übergangsreferenzbilds herum beständig war;
T_R(i, j)	ist der „Referenzzähler”, d. h. ein Zähler (oder Timer), der die Anzahl aufeinander folgender Bilder zählt, bei welchen Im(i, j,) um den Wert Im_R(i, j,) des entsprechenden Pixels des Referenzentfernungsbilds herum beständig war;
T_B(i, j)	ist der „Hintergrundzähler”, d. h. ein Zähler (oder Timer), der die Anzahl aufeinander folgender Bilder zählt, bei welchen Im(i, j,) gleich MAX_RANGE war (d. h. bei welchen der gemessene Entfernungswert für ungültig erachtet wurde).

Zusammen mit diesen Variablen werden folgende anpassbare Parameter eingeführt:

N_IN	die Anzahl der Bilder, nach welchen ein Referenzentfernungswert Im_R(i, j) des Referenzentfernungsbilds durch den Wert Im_S(i, j,) des entsprechenden Pixels im Übergangsreferenzbild Im_S ersetzt wird, wenn Im_S(i, j) für kleiner als Im_R(i, j) erachtet wird.
N_OUT	die Anzahl der Bilder, nach welchen ein Referenzentfernungswert Im_R(i, j) des Referenzentfernungsbilds durch den Wert Im_S(i, j,) des entsprechenden Pixels im Übergangsreferenzbild Im_S ersetzt wird, wenn Im_S(i, j) für größer als Im_R(i, j) erachtet wird. N_OUT wird derart als kleiner als N_IN ausgewählt, dass, wenn ein statisches Objekt die Szene verlässt, der Referenzentfernungswert schneller aktualisiert wird als wenn ein solches Objekt in die Szene gelangt.
N_BG	die Anzahl der Bilder, nach welchen ein Referenzentfernungswert Im_R(i, j) des Referenzentfernungsbilds durch den maximalen Entfernungswert MAX_RANGE ersetzt wird, wenn der gemessene Entfernungswert für ungültig erachtet wurde.

Jeder der folgenden Schritte wird für jedes Pixel (i, j) einzeln durchgeführt.
Schritt 1: Prüfen der Beständigkeit der Messung des Pixels (i, j):
Schritt 1a: Falls eine zuverlässige (gültige) Entfernungsmessung für das Pixel (i, j) vorliegt, wird der eingehende gemessene Entfernungswert Im(i, j) mit dem Referenzbild Im_R(i, j) verglichen. Wenn diese zwei Werte innerhalb einer gewissen Toleranz ±σ gleich sind, wird der Zähler T_R(i, j) erhöht (um eine Einheit), der Übergangszähler T_S(i, j) zurückgesetzt und der Hintergrundzähler T_B(i, j) ebenfalls zurückgesetzt. Der Toleranzparameter σ kann als Festwert oder als ein Wert, der von der Messung (d. h. dem Entfernungswert und/oder dem entsprechenden Amplitudenwert) oder dem Bildzählerwert T_R(i, j) abhängt, ausgewählt werden. Wenn der eingehende gemessene Entfernungswert Im(i, j) in dem Toleranzintervall um den Referenzentfernungswert Im_R(i, j) herum liegt, wird er durch ein geeignetes Filterverfahren wie z. B. einen Filter mit gleitendem Mittelwert oder einen Medianfilter in das Referenzbild Im_R(i, j) integriert. Der Zähler T_S(i, j) wird zurückgesetzt.
Schritt 1b: Sobald sich der gemessene Entfernungswert Im(i, j) für das Pixel (i, j) um einen größeren Betrag als σ von dem Referenzwert unterscheidet, wird ein neuer Übergangspixelwert Im_S(i, j) mit dem eingehenden Wert Im(i, j) initialisiert. Wenn Im(i, j) bei den folgenden Bildern von Im_R(i, j) verschieden bleibt, werden die Entfernungsmessungen mit dem Übergangsreferenzbild verglichen. Wenn die Messungen von Im(i, j) um den Übergangswert Im_S(i, j) herum beständig sind, wird der entsprechende Zähler T_S(i, j) erhöht. Die gemessenen Entfernungswerte werden als beständig um den Übergangspixelwert herum erachtet, wenn sie innerhalb einer gewissen Toleranz um letzteren herum liegen. Die verwendete Toleranz kann die gleiche wie die in Schritt 1a sein, könnte aber auch anders gewählt werden. Sobald ein gemessener Entfernungswert außerhalb des Toleranzintervalls um den Übergangspixelwert Im_S(i, j) herum liegt, wird letzterer gleich Im(i, j) gesetzt.
Schritt 1c: Wenn der gemessene Entfernungswert Im(i, j) unzuverlässig (ungültig) ist, wird der Zähler T_B(i, j) erhöht, andernfalls zurückgesetzt.
Schritt 2: Aktualisierung der Referenzbilder
Schritt 2a: Wenn der eingehende gemessene Entfernungswert Im(i, j) in dem Toleranzintervall um den Übergangspixelwert Im_S(i, j) herum liegt, wird er durch ein geeignetes Filterverfahren wie z. B. einen Filter mit gleitendem Mittelwert oder einen Medianfilter in den Übergangspixelwert Im_S(i, j) integriert.
Schritt 2b: Wenn der Übergangszähler T_S(i, j) groß genug ist, werden der Referenzentfernungswert Im_R(i, j) und dessen Zähler T_Rt(i, j) dem Übergangspixelwert Im_S(i, j) bzw. dem Übergangszähler T_S(i, j) gleich gesetzt. Dass der Zähler T_S(i, j) groß genug ist, bedeutet, dass er entweder größer als der anpassbare Parameter N_IN ist, wenn der Übergangspixelwert Im_S(i, j) kleiner als Im_R(i, j) ist (ein neues Objekt ist in die Szene gelangt), oder dass er größer als N_OUT ist, wenn der Übergangspixelwert Im_S(i, j) größer als Im_R(i, j) ist (ein Objekt hat die Szene verlassen).
Schritt 2c: Wenn der eingehende gemessene Entfernungswert Im(i, j) unzuverlässig (ungültig) ist und der Zähler T_B(i, j) größer als der anpassbare Parameter N_BG ist, wird der Referenzentfernungswert Im_R(i, j) auf den maximalen Entfernungswert MAX_RANGE gesetzt, dessen zugeordneter Zähler T_R(i, j) dem Wert von T_B(i, j) gleich gesetzt und der Zähler T_S(i, j) zurückgesetzt.
Statt eines Vergleichs der Zähler T_B(i, j) und T_S(i, j) in Schritt 2b und 2c mit festen Schwellwerten könnte man auch eine relative Bedingung bei den Zählern einführen, beispielsweise indem man sie mit dem Zähler T_R(i, j) vergleicht. Die Bedingung für das Setzen des Referenzentfernungswerts auf den maximalen Entfernungswert (Schritt 2c) könnte beispielsweise folgende sein: T_B(i, j) > N_BG oder T_B(i, j) > T_R(i, j).
Da die Schritte 1a, 1b, 2a und 2b nur im Falle eines zuverlässigen gemessenen Entfernungswerts durchgeführt werden, werden unzuverlässige Messungen ignoriert, sofern sie nicht in einem bestimmten Pixel (i, j) für eine Zeitdauer größer als N_BG (Schritt 2c) fortbestehen.
Die Auswahl unterschiedlicher Werte für die erste und zweite Zeitdauer (Zeitschwellwerte N_IN und N_OUT) macht es möglich, dass ein Referenzentfernungswert schneller auf einen höheren Wert als auf einen niedrigeren aktualisiert wird. Durch die entsprechende Auswahl von N_OUT und N_IN kann man einen Referenzentfernungswert sofort neu auf höhere Werte setzen, wohingegen eine bestimmte Wartezeit erforderlich ist, bevor ein neues statisches Objekt als Teil des Hintergrunds in das Referenzentfernungsbild integriert wird.
Gemäß Schritt 1b wird ein Übergangspixelwert immer dann zurückgesetzt, wenn ein zuverlässiger eingehender gemessener Entfernungswert von dem Übergangspixelwert abweicht. Auf diese Weise wird gewährleistet, dass nicht-statische Objekte nicht als Teil des Hintergrunds erachtet werden und dass statt dessen der Referenzentfernungswert unverändert bleibt.
Die Integration eines eingehenden gemessenen Entfernungswerts in den Referenzentfernungswert mittels eines geeigneten Filterverfahrens wie in Schritt 2a und 2b kann ausgelassen werden. Berücksichtigt man jedoch die Anteile mehrerer aufeinander folgender gemessener Entfernungswerte statt eines einzigen, erhöht man die Genauigkeit des Referenzentfernungswerts, da das Rauschen herausgefiltert wird. Auf diese Weise wird das Referenzentfernungsbild umso genauer, je länger die Erzeugung des dynamischen Referenzbilds läuft.
Im Folgenden wird die vorstehend beschriebene bevorzugte Ausgestaltung des Verfahrens in Pseudocode zusammengefasst:
Der Wert von N_IN (d. h. die erste Zeitdauer) kann bei der Laufzeit ermittelt werden. Beispielsweise könnte N_IN bei Systemstart bei einem niedrigen Wert initialisiert werden und dann gleich dem Langzeithoch von T_R(i, j) gehalten werden, bis ein maximaler Wert N_IN_max erreicht ist; d. h., dass N_IN für jedes Bild auf min(N_IN_max, max(N_IN, T_R(i, j))) gesetzt werden könnte. Alternativ dazu könnte auch veranlasst werden, dass N_IN mit der Zeit seit dem Start linear ansteigt, bis der maximale Wert N_IN_max erreicht ist. Der Wert von N_OUT (d. h. die zweite Zeitdauer) wird vorzugsweise als vorgegebene absolute Anzahl von Bildern ausgewählt.
2 zeigt die zeitliche Entwicklung des erfassten Entfernungsbilds (obere Reihe), des Referenzentfernungsbilds (mittlere Reihe) und des hintergrundfreien Entfernungsbilds, das dadurch erhalten wurde, dass Pixel mit dem gleichen Wert in dem Referenzentfernungsbild und dem erfassten Entfernungsbild auf den maximalen Entfernungswert (untere Reihe) gesetzt wurden, wenn ein statisches Objekt in die überwachte Szene gestellt wird. N bezeichnet die Bildzahl, die von links nach rechts zunimmt. Die Bilder zeigen einen Raum, der von oben aus überwacht wird (der Bildgeber ist an der Decke befestigt und senkrecht zum Boden ausgerichtet, der in jedem Bild durch den weißen Hintergrund repräsentiert ist). Die Konturen entsprechen den Sätzen von Punkten, die gleich weit vom Bildgeber entfernt sind. Die innersten Konturen sind dem Bildgeber am nächsten. Bei Bild 0 stellt eine Person 10 ein statisches Objekt 12 in Form eines Kastens in die Mitte der Szene. Die Person 10 verlässt anschließend die Szene, während das Objekt 12 für eine bestimmte Zeit unbeweglich bleibt. Das Referenzentfernungsbild wird bei N = 0 initialisiert, wie es im ersten Bild der mittleren Reihe dargestellt ist. Während N < N_IN (1. und 2. Spalte) ist, ändert sich das Referenzentfernungsbild nicht. Nachdem das Objekt 12 für mehr als N_IN Bilder unbeweglich blieb, wird das Referenzentfernungsbild aktualisiert. Für spätere Zeiträume (letzte Spalte) wird das Objekt 12 als einen Teil des Hintergrunds bildend erachtet, wodurch die Erkennung einer Person 14 im Sichtfeld des Bildgebers erleichtert wird.
3 zeigt die zeitliche Entwicklung des erfassten Entfernungsbilds (obere Reihe), des Referenzentfernungsbilds (mittlere Reihe) und des hintergrundfreien Entfernungsbilds (untere Reihe) im Anschluss an die Situation von 2. N = 0 in 3 entspricht einer Bildzahl über N_IN von 2. Bei N = 0 wird das Objekt 12 von der Person 10 aus der Szene entfernt. Der Bildgeber misst nun größere Entfernungswerte in dem zuvor von dem Objekt 12 eingenommen Bereich. Das Referenzentfernungsbild wird aktualisiert, sobald N > N_OUT ist (3. und 4. Spalte in 3).
Das Verfahren kann parallel zu irgendeiner anderen Anwendung laufen, so dass das Referenzentfernungsbild bei jedem Bild dynamisch aktualisiert wird (die vordefinierte Schnelligkeit, bei welcher das Verfahren betrieben wird, entspricht in diesem Fall der Bildfrequenz des Bildgebers). Alternativ dazu könnte die Aktualisierung des Referenzentfernungsbilds periodisch bei irgendeiner Zeitdauer laufen, die länger als die Dauer der Bilderfassung ist, beispielsweise um den Berechnungsaufwand zu reduzieren. Für Szenen, bei denen nicht erwartet wird, dass sich der Hintergrund im Zeitverlauf ändert, kann die Erfindung ferner dazu benutzt werden, ein Referenzentfernungsbild beim Einrichten des Systems oder bei der Wartung durch den Kundendienst zu erzeugen, indem es für einen kurzen Zeitraum (z. B. einige Minuten) mit mehreren Bildern läuft. Je größer die Anzahl der Bilder ist, desto genauer ist das Referenzentfernungsbild. In diesen Fällen besteht der Vorteil der Erfindung darin, dass ein korrektes Referenzentfernungsbild sogar in Situationen erzeugt werden kann, in denen Objekte oder Personen sich während der Erzeugung des Referenzentfernungsbilds durch die Szene bewegen.
4 zeigt ein Verkehrsüberwachungs- und -steuerungssystem, das eine Entfernungsbildkamera 16 umfasst, die in erhöhter Position über einem Fußgängerüberweg 18 angeordnet ist. Die Entfernungsbildkamera ist derart angeordnet, dass der Fußgängerüberweg 18 in ihrem Sichtfeld 20 liegt. Die von der Entfernungsbildkamera 16 erfassten Entfernungsbilder werden zu einer zentralen Steuerungseinheit (nicht dargestellt) übertragen, die die Entfernungsbilder verarbeitet. Die zentrale Steuerungseinheit ist derart konfiguriert, dass sie die vorstehend beschriebene Erzeugung eines dynamischen Referenzentfernungsbilds durchführt und Fußgänger 22 erkennt, die sich auf dem Fußgängerüberweg 18 befinden oder an der Fußgängerampel 24 warten. Wenn Fußgänger an dem Fußgängerüberweg warten, wird dies von dem System als eine Aufforderung interpretiert, die Fußgängerampel auf das Lichtzeichen „Gehen” (Walk) umzuschalten. Objekte wie beispielsweise das haltende Fahrzeug 26, die im Sichtfeld der Entfernungsbildkamera 16 für die vorgegebene erste Zeitdauer (ausgedrückt z. B. als N_IN) unbeweglich bleiben, veranlassen eine Aktualisierung des Referenzentfernungsbilds, das vom System im Speicher gehalten wird. Statische Objekte werden somit in den hintergrundfreien Bildern eliminiert, was die Erkennung interessierender Objekte (sich bewegende Fahrzeuge, nur kurz haltende Fahrzeuge, Fußgänger usw.) erleichtert. Wenn ein statisches Objekt das Sichtfeld der Entfernungsbildkamera verlässt wird das Referenzbild schneller aktualisiert, um zu gewährleisten, dass der korrekte Hintergrund für die Subtraktion verwendet wird, falls ein anderer Straßenbenutzer in den Raum gelangt, der vorher von dem statischen Objekt eingenommen wurde. Bei der vorliegenden Anwendung wird die erste Zeitdauer vorzugsweise so ausgewählt, dass sie größer als die maximale Periode (die Dauer des längstmöglichen Zyklus) der Ampeln ist – da es sehr wahrscheinlich ist, dass ein interessierendes Objekt für diese Zeit unbeweglich bleibt. Wenn beispielsweise die Periode der Ampelanlage zwei Minuten beträgt, kann bei jedem potentiell interessierenden Straßenbenutzer davon ausgegangen werden, dass er sich in dieser Zeitdauer bewegt hat. Wählt man für das Zeitintervall, während welchem ein Objekt statisch bleiben muss, um in dem Referenzbild zu erscheinen, mehr als zwei Minuten aus, wird dadurch gewährleistet, dass Verkehrsteilnehmer nicht als Teil des Hintergrunds erachtet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1152261 A1 [0024]
WO 98/10255 [0024]
WO 2006/097406 A2 [0025]

Zitierte Nicht-Patentliteratur

Artikel „A practical approach to real-time dynamic background generation based an a temporal median filter” (von B. Shoushtarian et al., Journal of Sciences, Islamische Republik Iran, 14 (4), 2003, S. 351–362) [0003]
Dissertation von Robert Lange: „3D Time-of-Flight Distance Measurement with Custom Solid-State Image Sensors in CMOS/CCD-Technology” (Fachbereich Elektrotechnik und Informatik der Universität Siegen) [0024]

Claims

Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds, umfassend: Bereitstellung eines Referenzentfernungsbilds, das aus Pixeln besteht, von welchen jedes einen Referenzentfernungswert enthält; Bereitstellung eines aus Pixeln bestehenden erfassten Entfernungsbilds, wobei jedes Pixel des erfassten Entfernungsbilds ein entsprechendes Pixel in dem Referenzentfernungsbild aufweist und einen gemessenen Entfernungswert enthält, wobei die gemessenen Entfernungswerte bei einer vorgegebenen Bildfrequenz aktualisiert werden, wobei Pixel des erfassten Entfernungsbilds, die einen ungültigen gemessenen Entfernungswert enthalten, entsprechend markiert sind; Vergleichen des gemessenen Entfernungswerts jedes Pixels des erfassten Entfernungsbilds, das nicht als einen ungültigen gemessenen Entfernungswert enthaltend markiert ist, mit dem Referenzentfernungswert des entsprechenden Pixels des Referenzentfernungsbilds und i) Aktualisierung des Referenzentfernungswerts, wenn i.a) der gemessene Entfernungswert für kleiner als der Referenzentfernungswert erachtet wird und für eine erste Zeitdauer im Wesentlichen konstant blieb, oder wenn i.b) der gemessene Entfernungswert für größer als der Referenzentfernungswert erachtet wird und für eine zweite Zeitdauer, die kleiner als die erste Zeitdauer ist, im Wesentlichen konstant blieb; oder ii) im Wesentlichen Konstanthalten des Referenzentfernungswerts, wenn keine der Bedingungen i.a) und i.b) erfüllt ist.
Verfahren nach Anspruch 1, wobei die Aktualisierung des Referenzentfernungswerts im Fall i) die Aktualisierung des Referenzentfernungswerts auf einen von dem gemessenen Entfernungswert und einem Mittelwert des gemessenen Entfernungswerts und einem oder mehreren vorher gemessenen Entfernungswerten umfasst.
Verfahren nach Anspruch 1 oder 2, wobei der gemessene Entfernungswert nur für kleiner als der Referenzentfernungswert erachtet wird, wenn der Referenzentfernungswert den gemessenen Entfernungswert zumindest um einen vordefinierten Toleranzwert überschreitet.
Verfahren nach irgendeinem der Ansprüche 1 bis 3, wobei der gemessene Entfernungswert nur für größer als der Referenzentfernungswert erachtet wird, wenn der gemessene Entfernungswert den Referenzentfernungswert zumindest um einen vordefinierten Toleranzwert überschreitet.
Verfahren nach irgendeinem der Ansprüche 1 bis 4, wobei das im Wesentlichen Konstanthalten des Referenzentfernungswerts im Fall ii) das Integrieren eines Anteils des gemessenen Entfernungswerts in den Referenzentfernungswert umfasst, wenn der gemessene Entfernungswert für weder größer noch kleiner als der Referenzentfernungswert erachtet wird, wobei der Anteil des gemessenen Entfernungswerts unter Verwendung eines vorgegebenen Filters, beispielsweise eines Filters mit gleitendem Mittelwert, eines Medianfilters oder dergleichen, ermittelt wird.
Verfahren nach irgendeinem der Ansprüche 1 bis 5, wobei die erste Zeitdauer und/oder die zweite Zeitdauer als eine absolute Zeitdauer vordefiniert sind.
Verfahren nach irgendeinem der Ansprüche 1 bis 5, wobei die erste Zeitdauer oder die zweite Zeitdauer der Zeitdauer gleich gesetzt wird, während welcher der gemessene Entfernungswert für weder größer noch kleiner als das Referenzentfernungsbild erachtet wurde, bevor die erste oder zweite Zeitdauer begonnen hatte.
Verfahren nach irgendeinem der Ansprüche 1 bis 7, umfassend für jedes Pixel des erfassten Entfernungsbilds, das als einen ungültigen gemessenen Entfernungswert enthaltend markiert ist, die Aktualisierung des Referenzentfernungswerts des entsprechenden Pixels des Referenzbilds auf einen maximalen Entfernungswert, wenn das Pixel für eine dritte Zeitdauer als einen ungültigen gemessenen Entfernungswert enthaltend markiert blieb.
Verfahren nach Anspruch 8, wobei die dritte Zeitdauer einer von einer vorgegebenen Zeitdauer und der Zeitdauer, während welcher der gemessene Entfernungswert für weder größer noch kleiner als das Referenzentfernungsbild erachtet worden war, bevor das Pixel des erfassten Entfernungsbilds als einen ungültigen gemessenen Entfernungswert enthaltend markiert worden war, gleich gesetzt wird.
Verfahren nach Anspruch 8, wobei die dritte Zeitdauer der kürzeren von einer vorgegebenen Zeitdauer und der Zeitdauer, während welcher der gemessene Entfernungswert für weder größer noch kleiner als das Referenzentfernungsbild erachtet worden war, bevor das Pixel des erfassten Entfernungsbilds als einen ungültigen gemessenen Entfernungswert enthaltend markiert worden war, gleich gesetzt wird.
Verfahren zur Erkennung von interessierenden Objekten in einem Entfernungsbild, wobei das Verfahren Folgendes umfasst: Erzeugung eines dynamischen Referenzbilds gemäß dem Verfahren nach irgendeinem der Ansprüche 1 bis 5; Berechnung eines hintergrundfreien Entfernungsbilds auf Basis des erfassten Entfernungsbilds und des Referenzentfernungsbilds; Fortfahren mit der Objekterkennung in dem hintergrundfreien Bild.
Computerprogramm umfassend Befehle, welche, wenn das Computerprogramm auf einem Computer ausgeführt wird, den Computer dazu veranlassen, das Verfahren nach irgendeinem der Ansprüche 1 bis 11 durchzuführen.
Computerprogrammprodukt umfassend ein Trägermedium, das einen Programmcode mit computerimplementierbaren Befehlen trägt, um einen Computer dazu zu veranlassen, das Verfahren nach irgendeinem der Ansprüche 1 bis 11 durchzuführen.
Entfernungsbildkamera umfassend Mittel zur Durchführung des Verfahrens nach irgendeinem der Ansprüche 1 bis 11, wobei die Mittel vorzugsweise mindestens eines von einer anwendungsspezifischen integrierten Schaltung, einer feldprogrammierbaren Anordnung von Logik-Gattern, einem digitalen Signalprozessor und einem Computerprogramm umfassen.
Verkehrsüberwachungs- und/oder -steuerungssystem umfassend eine oder mehrere Entfernungsbildkameras (16), die in Positionen angeordnet sind, die derart ausgewählt sind, dass die Entfernungsbildkameras (16) Entfernungsbilder von Straßenbenutzern (22) erfassen können, wobei das System Mittel umfasst, die dafür konfiguriert sind, das Verfahren zur Erzeugung eines dynamischen Referenzentfernungsbilds nach irgendeinem der Ansprüche 1 bis 10 und/oder das Verfahren nach Anspruch 11 zur Erkennung von interessierenden Objekten in den von der einen oder den mehreren Entfernungsbildkameras (16) erfassten Entfernungsbildern durchzuführen.