DE10154861A1

DE10154861A1 - Verfahren zur Bereitstellung von Bildinformationen

Info

Publication number: DE10154861A1
Application number: DE10154861A
Authority: DE
Inventors: Ulrich Lages; Klaus Dietmayer
Original assignee: Ibeo Automobile Sensor GmbH
Current assignee: Ibeo Automobile Sensor GmbH
Priority date: 2001-11-08
Filing date: 2001-11-08
Publication date: 2003-05-22

Abstract

Bei einem Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich eines optoelektronischen Sensors, insbesondere eines Laserscanners, zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene und im Sichtbereich eines Videosystems mit mindestens einer Videokamera liegt, werden von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem erfaßte Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit von dem Videosystem erfaßten Daten umfassen, bereitgestellt. Auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte wird wenigstens ein dem Gegenstandspunkt entsprechender, von dem Videosystem erfaßter Bildpunkt bestimmt. Dem Bildpunkt des Videobildes entsprechende Daten und der Bildpunkt des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts werden einander zugeordnet.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich.

Vielfach werden Überwachungsbereiche mit Vorrichtungen zur Bilderfassung überwacht, um Veränderungen in diesen Bereichen zu erkennen. Insbesondere kommen dazu auch Verfahren zur Erkennung und Verfolgung von Objekten zum Einsatz, bei denen auf der Basis von sequentiell erfaßten Bildern des Überwachungsbereichs Objekte erkannt und verfolgt werden, die Gegenständen in dem Überwachungsbereich entsprechen. Ein wichtiger Anwendungsbereich solcher Verfahren ist die Überwachung des Bereichs vor einem Fahrzeug oder des gesamten Nahbereichs um das Fahrzeug herum.

Vorzugsweise werden zur Objekterkennung und -verfolgung Vorrichtungen zur Bilderfassung verwendet, mit denen tiefenaufgelöste Bilder erfaßt werden können. Solche tiefenaufgelösten Bilder enthalten Informationen über die Lage von erfaßten Gegenständen relativ zu der bilderfassenden Vorrichtung und insbesondere den Abstand wenigstens von Punkten auf der Oberfläche solcher Gegenstände von der bilderfassenden Vorrichtung oder Daten, aus denen dieser Abstand ableitbar ist.

Als bilderfassende Vorrichtungen können beispielsweise Laserscanner zur Erfassung tiefenaufgelöster Bilder verwendet werden, die bei einer Abtastung einen Sichtbereich mit mindestens einem gepulsten Strahlungsbündel abtasten, das einen vorgegebenen Winkelbereich überstreicht und von einem Punkt bzw. Bereich eines Gegenstands, meist diffus, reflektierte Strahlungspulse des Strahlungsbündels detektieren. Dabei wird zur Entfernungsmessung die Laufzeit der ausgesandten, reflektierten und detektierten Strahlungspulse erfaßt. Die so erfaßten Rohdaten für einen Bildpunkt können dann als Koordinaten den Winkel, bei dem der Reflex erfaßt wurde, und die aus der Laufzeit der Strahlungspulse bestimmte Entfernung des Gegenstandspunkts enthalten. Bei der Strahlung kann es sich insbesondere um sichtbares oder infrarotes Licht handeln.

Solche Laserscanner liefern zwar sehr genauer Lageinformationen und insbesondere sehr genaue Abstände zwischen Gegenstandspunkten und Laserscanner, doch werden diese in der Regel nur in der Erfassungsebene, in der das Strahlungsbündel bewegt wird, bereitgestellt, so daß es sehr schwierig sein kann, allein auf der Basis der Lageinformationen in dieser Ebene einen erfaßten Gegenstand zu klassifizieren. So kann beispielsweise eine Ampel, von der nur der die Lichtzeichen tragende Pfahl erfaßt wird, nicht ohne weiteres von einem Laternenpfahl oder einem Baum unterschieden werden, der einen Stamm gleichen Durchmessers in der Erfassungsebene aufweist. Ein weiteres für die Anwendung wichtiges Beispiel wäre die Unterscheidung zwischen einer Person und einem Baum.

Tiefenaufgelöste Bilder sind auch mit Videosystemen mit Stereokameras erfaßbar. Die Genauigkeit der Tiefeninformation sinkt jedoch mit zunehmendem Abstand des Objekts von dem Stereokamerasystem, was eine Objekterkennung und -verfolgung erschwert. Darüber hinaus sollte der Abstand zwischen den Kameras des Stereokamerasystems im Hinblick auf eine möglichst hohe Genauigkeit der Tiefeninformation möglichst hoch sein, was bei beschränktem Bauraum, wie er insbesondere in einem Fahrzeug vorliegt, problematisch ist.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren bereitzustellen, mit dem Bildinformationen bereitgestellt werden können, die eine gute Objekterkennung und -verfolgung gestatten.

Die Aufgabe wird nach einer ersten Alternative gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.

Erfindungsgemäß wird ein Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich eines optoelektronischen Sensors zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene und im Sichtbereich eines Videosystems mit mindestens einer Videokamera liegt, bereitgestellt, bei dem von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem erfaßte Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit von dem Videosystem erfaßten Daten umfassen, bereitgestellt werden, auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte wenigstens ein dem Gegenstandspunkt entsprechender, von dem Videosystem erfaßter Bildpunkt bestimmt wird, und dem Bildpunkt des Videobildes entsprechende Daten und der Bildpunkt des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts einander zugeordnet werden.

Bei dem erfindungsgemäßen Verfahren werden die Bilder zweier Vorrichtungen zur Bilderfassung verwendet, deren Sichtbereiche jeweils den Überwachungsbereich einschließen, der insbesondere auch einem der beiden Sichtbereiche entsprechen kann. Der Sichtbereich eines Videosystems ist in der Regel dreidimensional, der eines optoelektronischen Sensors zur Lageerkennung, beispielsweise eines Laserscanners, aber nur zweidimensional. Unter der Formulierung, daß der Überwachungsbereich in dem Sichtbereich eines Sensors liegt, wird daher im Fall eines zweidimensionalen Sichtbereichs verstanden, daß die Projektion des Überwachungsbereichs auf die Erfassungsebene, in der der optoelektronische Sensor Lageinformationen erfaßt, innerhalb des Sichtbereichs des optoelektronischen Sensors liegt.

Bei der einen Vorrichtung zur Bilderfassung handelt es sich um mindestens einen optoelektronischen Sensor zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene, d. h. zur Erfassung tiefenaufgelöster Bilder, die Daten über Abstände von Gegenstandspunkten von dem Sensor in Richtung der von dem Sensor empfangenen, von den jeweiligen Gegenstandspunkten ausgehenden elektromagnetischen Strahlung direkt oder indirekt enthalten. Solche tiefenaufgelösten Bilder des optoelektronischen Sensors werden in dieser Anmeldung als Tiefenbilder bezeichnet.

Optoelektronische Sensoren zur Erfassung solcher tiefenaufgelöster Bilder sind grundsätzlich bekannt. So können beispielsweise Systeme mit Stereo-Videokameras verwendet werden, die eine Einrichtung zur Umsetzung der von den Kameras aufgenommenen Intensitätsbilder in tiefenaufgelöste Bilder aufweisen. Vorzugsweise werden jedoch Laserscanner verwendet, die eine sehr genaue Lagebestimmung erlauben. Insbesondere kann es sich um die eingangs genannten Laserscanner handeln.

Als zweite Vorrichtung zur Bilderfassung wird ein Videosystem mit mindestens einer Videokamera verwendet, bei der es sich beispielsweise um eine Zeile von Photodetektionselementen oder, bevorzugt, um Kameras mit CCD- oder CMOS-Flächensensoren handeln kann. Die Videokameras können dabei im sichtbaren oder im infraroten Bereich des elektromagnetischen Spektrums arbeiten. Das Videosystem kann wenigstens eine monokulare Videokamera oder auch eine Stereokamera bzw. Stereokameraanordnung aufweisen. Das Videosystem erfaßt Videobilder seines Sichtbereichs, die Bildpunkte mit beispielsweise Intensitäts- und/oder Farbinformation enthalten können. Die in einer Zeile, Spalte oder auf einer Fläche angeordneten Photodetektionselemente einer Kamera können dabei in bezug auf den optoelektronischen Sensor zur Erfassung von Tiefenbildern fest angeordnet oder - bei Verwendung von Laserscannern der zuvor genannten Art - bevorzugt auch synchron mit dem Strahlungsbündel und/oder wenigstens einem Photodetektionselement des Laserscanners, das reflektierte oder remittierte Strahlung des Strahlungsbündels detektiert, bewegt werden.

Erfindungsgemäß werden zunächst von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem erfaßte Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit von dem Videosystem erfaßten Daten umfassen, bereitgestellt. Die Bereitstellung kann durch direkte Übertragung der Bilder von dem Sensor bzw. dem Videosystem oder durch Auslesen aus einem Speichermedium, in dem entsprechende Daten gespeichert sind, erfolgen. Bei den Bildern kommt es nur darauf an, daß beide eine Abbildung eines gleichen Bereichs, der grundsätzlich kleiner als der Überwachungsbereich sein kann, aufweisen, so daß dem Gegenstandspunkt entsprechende Bildpunkte sowohl in dem Tiefenbild als auch in dem Videobild erscheinen können.

Auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte wird dann wenigstens ein dem Gegenstandspunkt entsprechender, von dem Videosystem erfaßter Bildpunkt bestimmt. Im Ergebnis wird so zu einem Bildpunkt des Tiefenbildes ein entsprechender Bildpunkt in dem Videobild bestimmt.

Daraufhin werden dem Bildpunkt des Videobildes entsprechende Daten dem Bildpunkt des Tiefenbildes und/oder den Lagekoordinaten des Gegenstandspunkts bzw. den Daten der Bildpunkt und die Lagekoordinaten zugeordnet, wodurch eine gegenseitige Ergänzung der Bildinformationen stattfindet. Lagedaten des Tiefenbildes werden also Videodaten des Videobildes zugeordnet, bei denen es sich um beliebige sich unmittelbar oder durch eine Zwischenauswertung aus den Bildpunkten des Videobildes ergebende Daten handeln kann. Beispielsweise können die Daten in Abhängigkeit von der Ausbildung des Videosystems Intensitäts- oder Farbinformationen, bei Verwendung von Infrarotkameras auch Temperaturinformationen, aufweisen.

So erhaltene Daten für einen Gegenstandspunkt können beispielsweise als neue Bildpunkte mit Datenelementen für Lagekoordinaten und Intensitäts- oder Farbinformation ausgegeben, abgespeichert oder in einem parallel ablaufenden Verfahren, beispielsweise zur Objekterkennung und -verfolgung direkt verwendet werden.

Durch das erfindungsgemäße Verfahren können für einen Gegenstandspunkt Daten nicht nur hinsichtlich entweder der Lage oder anderer, weiterer, beispielsweise optischer Eigenschaften von Gegenstandspunkten bereitgestellt werden, wie dies bei einfachen Sensoren und Videokameras der Fall ist, sondern sowohl hinsichtlich der Lage als auch der weiteren Eigenschaften. Beispielsweise können zusätzlich zur Lage Intensität und/oder Farbe für einen Gegenstandspunkt bereitgestellt werden.

Die einem Bildpunkt zugeordnete größere Anzahl von Daten erlaubt es, bei Objekterkennungs- und -verfolgungsverfahren nicht nur die Lageinformation, sondern auch Videoinformationen zu benutzen. Dies kann beispielsweise bei einer Segmentierung, einer Segment-Objekt-Zuordnung oder der Klassifizierung von Objekten sehr vorteilhaft sein, da die größere Anzahl von Informationen bzw. Daten eine sicherere Identifikation erlaubt.

Die Bestimmung eines einem Gegenstandspunkt in dem Tiefenbild entsprechenden Bildpunktes in dem Videobild kann auf verschiedene Art und Weise erfolgen. Vorzugsweise ist hierzu die relative Lage des optoelektronischen Sensors zu der Videokamera bzw. dem Videosystem, das heißt Abstand im Raum und relative Orientierung, bekannt. Die Bestimmung der Relativlage kann zum Beispiel durch Kalibrierung erfolgen. Eine weitere vorzugsweise Bauform ist die Kombination von Videosystem und Laserscanner in einem Gerät, wodurch die Kalibrierung einmalig beim Herstellungsprozeß erfolgen kann.

Wird beispielsweise ein Videosystem mit einer Stereokamera verwendet, das tiefenaufgelöste Bilder bereitstellt, kann die Bestimmung allein durch Vergleich der Lageinformation erfolgen. Insbesondere bei Verwendung von Videosystemen, die keine tiefenaufgelösten Bilder bereitstellen, wird jedoch bevorzugt der dem Gegenstandspunkt eines Tiefenbildes entsprechende Bildpunkt des Videobildes in Abhängigkeit von den Abbildungseigenschaften des Videosystems bestimmt. Unter den Abbildungseigenschaften werden in dieser Anmeldung insbesondere auch Brennweiten abbildender Vorrichtungen der Videokamera oder des Videosystems sowie deren Abstand von Empfangselementen wie z. B. CCD- oder CMOS- Flächensensoren verstanden. Weist beispielsweise die Videokamera eine abbildende Vorrichtung wie zum Beispiel ein Linsensystem auf, die den Sichtbereich auf ein Photodetektorfeld, z. B. einen CCD- oder CMOS- Flächensensor, abbildet, kann aus den Lagekoordinaten eines Bildpunktes in dem Tiefenbild unter Beachtung der Abbildungseigenschaften der abbildenden Vorrichtung berechnet werden, auf welches der Photodetektorelemente in dem Photodetektorfeld der dem Bildpunkt entsprechende Gegenstandspunkt abgebildet wird, woraus sich ergibt, welchem Bildpunkt des Videobildes der Bildpunkt des Tiefenbildes entspricht. Je nach Größe der Photodetektorelemente, Auflösungsvermögen der abbildenden Vorrichtung und Lage des Gegenstandspunktes können einem Gegenstandspunkt auch mehrere Bildpunkte des Videobildes zugeordnet werden.

Wenn sich die Sichtwinkel von optoelektronischem Sensor und Videosystem unterscheiden, kann bei einer Vielzahl von Gegenständen im Überwachungsbereich der Fall eintreten, daß ein in dem Tiefenbild sichtbarer Gegenstandspunkt in dem Videobild durch einen anderen Gegenstandspunkt ganz oder teilweise verdeckt ist. Es ist daher bevorzugt, daß auf der Basis der Lagekoordinaten eines von dem optoelektronischen Sensor erfaßten Gegenstandspunkts in dem Tiefenbild und wenigstens der Lage und Orientierung des Videosystems festgestellt wird, ob der Gegenstandspunkt in dem von dem Videosystem erfaßten Videobild ganz oder teilweise verdeckt ist. Hierzu sollte die Position der Videokamera des Videosystems relativ zu dem optoelektronischen Sensor bekannt sein. Diese Position kann entweder durch die Anbringung des optoelektronischen Sensors und des Videosystems in einer präzisen Relativlage und -orientierung vorgegeben oder insbesondere auch durch Kalibrierung bestimmt werden.

Weiterhin ist es bevorzugt, daß die Bestimmung von Gegenstandspunkten entsprechenden Bildpunkten des Videobildes und die Zuordnung entsprechender Daten zu den Gegenstandspunkten entsprechenden Bildpunkten des Tiefenbildes für Gegenstandspunkte in einem vorgegebenen Fusionsbereich erfolgt. Bei dem Fusionsbereich kann es sich um einen zunächst beliebigen Bereich im Überwachungsbereich handeln, der beispielsweise in Abhängigkeit von der Verwendung der bereitzustellenden Daten vorgegeben werden kann. Damit kann unabhängig vom Überwachungsbereich insbesondere ein kleinerer, innerhalb des Überwachungsbereichs liegender Bereich vorgegeben werden, in dem die Ergänzung von Daten stattfinden soll. Der Fusionsbereich entspricht dann einer "region of interest". Durch die Vorgabe solcher Fusionsbereiche kann das Verfahren deutlich beschleunigt werden.

Bei einer bevorzugten Ausführungsform des Verfahrens werden das Tiefenbild und das Videobild jeweils zunächst segmentiert. Mindestens einem Segment in dem Tiefenbild wird dann wenigstens ein Segment des Videobildes zugeordnet, das Bildpunkte enthält, die wenigstens einigen der Bildpunkte des Segments des Tiefenbildes entsprechen. Dabei kann zwar die Segmentierung des Tiefenbildes und die Segmentierung des Videobildes beispielsweise bei Videosystemen, die tiefenaufgelöste Bilder erfassen, nach gleichen Kriterien erfolgen, doch erfolgt bevorzugt die Segmentierung in dem Tiefenbild unter Verwendung von Lageinformationen, insbesondere Nachbarschaftskriterien, und die Segmentierung in dem Videobild nach anderen, beispielsweise in der Bildverarbeitung von Videobildern bekannten Kriterien, beispielsweise auf der Basis von Intensitäten, Farben, Texturen und/oder Kanten von Bildbereichen. Die entsprechenden Daten können durch Vorverarbeitungsstufen, beispielsweise Bilddatenfilterung, ermittelt werden. Diese Zuordnung ermöglicht es, Bildpunkten in dem Tiefenbild als Daten Segmente des Videobildes zuzuordnen. Damit kann insbesondere auch Information in Richtungen senkrecht zur Erfassungsebene des Tiefenbildes, in der die Abtastung durch den optoelektronischen Sensor erfolgt, erhalten werden. Dabei kann es sich beispielsweise um die Ausdehnung des Segments bzw. eines diesem Segment zugeordneten Objekts in einer dritten Dimension handeln. Anhand solcher Information kann eine Klassifizierung von Objekten bei einem Objekterkennungs- und -verfolgungsverfahren sehr erleichtert werden. Beispielsweise kann ein einzelner Leitpfosten an einer Straße allein aufgrund der Höhe leicht von einer Straßenlaterne unterschieden werden, obwohl sich beide Gegenstände in dem Tiefenbild nicht oder kaum unterscheiden.

Weiter ist es bevorzugt, daß das Tiefenbild segmentiert wird, daß in einem Bereich des Videobildes, der Bildpunkte enthält, die Bildpunkten wenigstens eines Segments in dem Tiefenbild entsprechen, nach einem vorgegebenen Muster gesucht wird, und daß das Ergebnis der Suche dem Segment und/oder den das Segment bildenden Bildpunkten als Daten zugeordnet wird. Bei dem Muster kann es sich allgemein um ein Bild eines Bereichs eines Gegenstands handeln, beispielsweise um ein Bild eines Verkehrszeichens oder ein Bild einer Fahrbahnmarkierung. Die Erkennung des Musters in dem Videobild kann dabei mit aus der Videobildverarbeitung bekannten Mustererkennungsverfahren erfolgen. Diese Weiterbildung des Verfahrens ist besonders dann vorteilhaft, wenn aufgrund von Informationen über mögliche Gegenstände in dem Überwachungsbereich bereits Vermutungen aufgestellt werden können, was für Gegenständen bzw. diese darstellenden Objekten ein Segment in dem Tiefenbild entsprechen könnte. Beispielsweise kann bei Auftreten eines Segments, das dem Pfahl eines Verkehrsschildes entsprechen könnte, ein Ausschnitt in dem Videobild, dessen Breite durch die Größe und Lage des Segments und die Ausdehnung des größten erwarteten Objekts, beispielsweise eines Verkehrsschilds, gegeben ist, auf das Abbild eines bestimmten Verkehrsschildes hin untersucht werden, und dem Segment eine entsprechende Information, zum Beispiel der Typ des Verkehrsschildes, zugeordnet werden.

Bevorzugt können mit Hilfe einer Bildauswertung der Videobilder für Objekte, die mittels des optoelektronischen Sensors erkannt wurden, beispielsweise deren Höhe, Farbe und Materialeigenschaften ermittelt werden. Bei Verwendung einer Thermokamera als Videokamera kann auch zusätzlich auf die Temperatur geschlossen werden, was die Klassifikation einer Person deutlich erleichtert.

Die Kombination von Informationen des Videobildes mit denen des Tiefenbildes kann auch der Erkennung von Gegenständen oder bestimmter Bereiche auf den Gegenständen dienen, die nur in einem der Bilder vorhanden sind, beziehungsweise eine Interpretation eines der Bilder stützen. Beispielsweise kann ein Videosystem den weißen Strich einer Fahrbahnbegrenzungsmarkierung detektieren, der mit einem Scanner mit vergleichsweise geringer Tiefen- und Winkelauflösung nicht detektierbar ist. Es kann aber auch aus der Bewegung der anderen Objekte und aus der Fahrbahnranddetektion auf Plausibilität der Spurerkennung aus dem Videobild geschlossen werden.

Die der Erfindung zugrundeliegende Aufgabe wird nach einer zweiten Alternative durch ein erfindungsgemäßes Verfahren mit den Merkmalen des Anspruchs 7 gelöst.

Danach wird ein Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich eines optoelektronischen Sensors zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene und im Sichtbereich eines Videosystems zur Erfassung tiefenaufgelöster, dreidimensionaler Videobilder mit mindestens einer Videokamera liegt, geschaffen, bei dem von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte enthalten, und von dem Videosystem erfaßte Videobildern eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit Lagekoordinaten der Gegenstandspunkte enthalten, bereitgestellt werden, Bildpunkte in dem Videobild, die sich nahe oder in der Erfassungsebene des Tiefenbildes befinden, durch eine Translation und/oder Rotation an entsprechende Bildpunkte des Tiefenbildes angepaßt werden, und die Lagekoordinaten dieser Bildpunkte des Videobildes entsprechend der bestimmten Translation und/oder Rotation korrigiert werden.

Die Ausführungen in bezug auf den Zusammenhang zwischen den Sichtbereichen des optoelektronischen Sensors und des Videosystems und dem Überwachungsbereich bei dem erindungsgemäßen Verfahren nach der ersten Alternative treffen auch entsprechend für das erfindungsgemäße Verfahren nach der zweiten Alternative zu.

Im Hinblick auf den optoelektronischen Sensor und die von diesem erfaßten Tiefenbilder gelten die in bezug auf das erfindungsgemäße Verfahren nach der ersten Alternative gemachten Ausführungen auch für das erfindungsgemäße Verfahren nach der zweiten Alternative.

Das Videosystem, das wie das Videosystem bei dem Verfahren nach der ersten Alternative mindestens eine Videokamera aufweist, für die die Ausführungen oben auch entsprechend gelten, ist bei dem Verfahren nach der zweiten Alternative zur Erfassung tiefenaufgelöster, dreidimensionaler Videobilder ausgebildet. Das Videosystem kann dazu eine monokulare Kamera und eine Auswerteeinrichtung aufweisen, mit der aus aufeinanderfolgend erfaßten Videobildern mit bekannten Verfahren Lagedaten für Bildpunkte bereitgestellt werden. Bevorzugt werden jedoch Videosysteme mit Stereo-Videokameras verwendet, die zur Bereitstellung tiefenaufgelöster Bilder im oben genannten Sinne ausgebildet sind und entsprechende Auswerteeinrichtungen zur Bestimmung der tiefenaufgelösten Bilder aus den von den Videokameras erfaßten Daten aufweisen können. Wie bereits oben ausgeführt, können die Videokameras CCD- oder CMOS-Flächensensoren und eine abbildende Vorrichtung aufweisen, die den Sichtbereich der Videokameras auf die Flächensensoren abbildet.

Nach der Bereitstellung des Tiefenbildes und des tiefenaufgelösten Videobildes, die unmittelbar durch Übertragung aktueller Bilder bzw. entsprechender Daten von dem optoelektronischen Sensor bzw. dem Videosystem oder durch Auslesen entsprechender Daten aus einer Speichereinrichtung erfolgen kann, werden Bildpunkte in dem Videobild, die sich nahe oder in der Erfassungsebene des Tiefenbildes befinden, durch eine Translation und/oder Rotation an entsprechende Bildpunkte des Tiefenbildes angepaßt. Hierzu sollten wenigstens die relative Ausrichtung von optoelektronischem Sensor und Videokamera sowie deren Relativlage, insbesondere der Abstand des Videosystems von der Erfassungsebene in einer Richtung senkrecht zu der Erfassungsebene, in der das Tiefenbild von dem optoelektronischen Sensor erfaßt wird, im folgenden als "Höhe" bezeichnet, bekannt sein.

Die Anpassung kann auf unterschiedliche Weise erfolgen. Bei einer ersten Variante werden die Lagekoordinaten aller Bildpunkte eines Segments auf die Erfassungsebene des optoelektronischen Sensors projiziert. Durch Mittelwertbildung der so projizierten Bildpunkte wird dann eine Lage des Segments in der Erfassungsebene des optoelektronischen Sensors definiert. Beispielsweise bei Verwendung geeigneter rechtwinkliger Koordinatensysteme, bei denen eine Achse senkrecht zur Erfassungsebene ausgerichtet ist, bedeutet das Verfahren allein eine Mittelung über die Koordinaten in der Erfassungsebene.

Bei einer zweiten, bevorzugten Variante werden zur Anpassung nur die Bildpunkte des tiefenaufgelösten Videobildes verwendet, die in oder nahe der Erfassungsebene liegen. Bevorzugt werden als nahe der Erfassungsebene liegende Bildpunkte solche Bildpunkte aufgefaßt, die einen vorgegeben Höchstabstand von der Erfassungsebene aufweisen. Wenn das Videobild segmentiert ist, kann der Höchstabstand beispielsweise durch den Abstand in einer Richtung senkrecht zur Erfassungsebene benachbarter Bildpunkte eines die Erfassungsebene schneidenden Segments des Videobildes gegeben sein.

Die Anpassung kann durch Optimierungsverfahren erfolgen, bei denen beispielsweise der - einfache oder quadratische - Abstand der sich entsprechenden Bildpunkte oder die Summe der - einfachen oder quadratischen Abstände - aller betrachteten Bildpunkte minimiert wird, wobei je nach der zur Verfügung stehenden Rechenzeit die Minimierung gegebenenfalls nur teilweise erfolgen kann. Unter "Abstand" wird hierbei jede Funktion der Koordinaten der Bildpunkte verstanden, die Kriterien für einen Abstand von Punkten in einem Vektorraum erfüllt. Bei der Anpassung wird wenigstens eine Translation und/oder Rotation ermittelt, die notwendig ist, um die Bildpunkte des Videobildes an die des Tiefenbildes anzupassen.

Daraufhin werden die Lagekoordinaten dieser Bildpunkte des Videobildes entsprechend der bestimmten Translation und/oder Rotation korrigiert.

Bevorzugt werden über die bei der Anpassung verwendeten Bildpunkte hinaus auch in der Richtung senkrecht zu der Erfassungsebene liegende Bildpunkte des Videobildes entsprechend korrigiert.

Zur Anpassung können alle Bildpunkte des Überwachungsbereichs, aber auch beliebige kleinere Mengen von Bildpunkten verwendet werden. In dem ersten Fall entspricht die Anpassung einer Kalibrierung der Lage des Tiefenbildes und des Videobildes.

Die korrigierten Koordinaten können dann, insbesondere als Bild, ausgegeben, abgespeichert oder bei einem parallel ablaufenden Verfahren verwendet werden.

Da die Lageinformation in den Tiefenbildern, insbesondere bei Verwendung von Laserscannern, deutlich genauer als die Lageinformation in Sichtrichtung bei Videosystemen ist, können so sehr genaue, tiefenaufgelöste, dreidimensionale Bilder bereitgestellt werden. Es werden die genauen Lageinformationen des Tiefenbildes mit den genauen Lageinformationen des Videobildes in dazu senkrechten Richtungen zu einem sehr genauen dreidimensionalen Bild kombiniert, was eine auf diesen Daten basierende Objekterkennung und -verfolgung wesentlich erleichtert. Beispielsweise können Werbetafeln mit Bildern als Flächen erkannt werden, so daß eine Fehlinterpretation des Videobildes vermieden werden kann.

Im Unterschied zu dem erfindungsgemäßen Verfahren nach der ersten Alternative, bei dem im wesentlichen die Lageinformation durch weitere Daten ergänzt wird, wird bei dem Verfahren nach der zweiten Alternative also die Genauigkeit der Lageinformationen in einem dreidimensionalen, tiefenaufgelösten Bild erhöht, was eine Objekterkennung und -verfolgung wesentlich erleichtert.

Insbesondere können aufgrund der vorhandenen dreidimensionalen Informationen Objekte sehr leicht klassifiziert werden.

Weiterhin ist erfindungsgemäß eine Kombination mit dem Verfahren nach der ersten Alternative möglich, wonach weitere Videoinformationen den Bildpunkten des Videobildes zugeordnet werden.

Obwohl das Verfahren nach der zweiten Alternative allein schon mit Bildpunkten durchführbar ist, ist es bevorzugt, daß jeweils erfaßte Bilder segmentiert werden, daß mindestens ein Segment in dem Videobild, das Bildpunkte in oder nahe der Ebene des Tiefenbildes aufweist, wenigstens durch eine Translation und/oder Rotation an ein entsprechendes Segment in dem Tiefenbild angepaßt wird, und daß die Lagekoordinaten dieser Bildpunkte des Segments des Videobildes entsprechend der Translation und/oder Rotation korrigiert werden. Besonders bevorzugt werden die Lagekoordinaten aller Bildpunkte des Segments korrigiert. Die Segmentierung kann für beide Bilder auf der Basis sich entsprechender Kriterien erfolgen, was in der Regel eine Segmentierung nach Abstandskriterien zwischen benachbarten Bildpunkten bedeutet. Es können jedoch auch für das Tiefenbild und das Videobild unterschiedliche Kriterien verwendet werden, insbesondere können für das Videobild in der Bildverarbeitung von Videobildern bekannte Kriterien, beispielsweise eine Segmentierung nach Intensität, Farbe, und/oder Kanten, erfolgen. Durch die Korrektur der Lagen aller Bildpunkte des Segments wird dieses dann insgesamt in eine genauere Lage gebracht. Das Verfahren nach dieser Ausführungsform hat den Vorteil, daß nicht unbedingt gleiche Anzahlen von Bildpunkten in dem Tiefenbild und dem tiefenaufgelösten Videobild bzw. Ausschnitten davon vorliegen müssen. Bei der Anpassung, für die entsprechende Verfahren wie bei der Anpassung der Bildpunkte verwendet werden können, können insbesondere die Summen der einfachen oder quadratischen Abstände aller Bildpunkte des Segments des Tiefenbildes von allen Bildpunkten des Segments des Videobildes in oder nahe der Erfassungsebene im Sinne der ersten oder zweiten Variante als zu minimierende Funktion verwendet werden, so daß sich eine einfache, aber genaue Anpassung realisieren läßt.

Grundsätzlich kann das Verfahren nach der zweiten Alternative für jedes Segment einzeln durchgeführt werden, so daß im wesentlichen eine lokale Korrektur erfolgt. Es ist jedoch bevorzugt, daß die Anpassung für alle Segmente des Tiefenbildes gemeinsam durchgeführt wird, so daß Tiefenbild und Videobild in der Erfassungsebene insgesamt möglichst gut zur Deckung gebracht werden, was einer Kalibrierung der relativen Lage und Ausrichtung von optoelektronischem Sensor und Videosystem gleichkommt.

Bei einer anderen Ausführungsform ist es bevorzugt, daß die Anpassung nur für Segmente in einem vorgegebenen Fusionsbereich durchgeführt wird, der ein vorgegebener Teilbereich des Überwachungsbereichs ist und beispielsweise in Abhängigkeit von der späteren Verwendung der bereitzustellenden Bildinformationen gewählt sein kann. Durch diese definierte Einschränkung auf einen Teil des Überwachungsbereichs, der für eine weitere Verarbeitung nur von Interesse ist ("region-of-interest"), kann das Verfahren erheblich beschleunigt werden.

Die folgenden Weiterbildungen beziehen sich auf die erfindungsgemäßen Verfahren nach der ersten und der zweiten Alternative.

Die erfindungsgemäßen Verfahren können verflochten mit anderen Verfahren, beispielsweise zur Objekterkennung und -verfolgung, ausgeführt werden. Dabei können die Bildinformationen, d. h. bei dem Verfahren nach der ersten Alternative wenigstens die Lageinformationen und die weiteren Daten aus dem Videobild, und bei dem Verfahren nach der zweiten Alternative die korrigierten Lageinformationen, nur bei Bedarf gebildet werden. Bei den erfindungsgemäßen Verfahren ist es jedoch bevorzugt, daß die bereitgestellten Bildinformationen wenigstens die Lagekoordinaten von Gegenstandspunkten enthalten und als tiefenaufgelöstes Bild verwendet werden. Die so bereitgestellten Daten können dann wie ein tiefenaufgelöstes Bild behandelt, d. h. beispielsweise ausgegeben oder gespeichert, werden.

Werden bei den Verfahren Fusionsbereiche verwendet, ist es bevorzugt, daß der Fusionsbereich auf der Basis eines vorgegebenen Ausschnittes des Videobildes und der Abbildungseigenschaften des Videosystems bestimmt wird. Durch diese Art der Vorgabe des Fusionsbereichs kann ausgehend von einem Videobild das Tiefenbild dazu verwendet werden, für ausgewählte Ausschnitte des Videobildes Lageinformationen aus dem Tiefenbild zu gewinnen, die bei der Auswertung des Videobildes benötigt werden. Damit wird auch die Identifikation eines Objekts in einem Videobild stark erleichtert, da sich häufig ein mutmaßliches Objekt von anderen allein aufgrund der Tiefeninformation abhebt.

Bei einer anderen bevorzugten Weiterbildung wird auf der Basis der Daten eines der tiefenaufgelösten Bilder oder der zusammengeführten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt und der Fusionsbereich anhand von Daten der Objekterkennung und -verfolgung bestimmt. Damit kann insbesondere eine Ergänzung von Lageinformationen aus dem Tiefenbild, das für eine Objekterkennung und -verfolgung verwendet wird, durch entsprechende Informationen aus dem Videobild erfolgen. Der Fusionsbereich kann dabei durch die Ausdehnung von Segmenten im Tiefenbild oder auch die Größe eines bei der Objekterkennung verwendeten Suchbereichs für verfolgte Objekte gegeben sein. Durch die zusätzliche Information aus dem Videobild kann dann eine Klassifizierung von Objekten bzw. eine Segment-Objekt-Zuordnung mit hoher Sicherheit erfolgen. Insbesondere kann von dem optoelektronischen Sensor die vermutliche Position eines Objekts im Videobild angezeigt werden, ohne daß schon eine Klassifikation erfolgt. Eine Videobildverarbeitung braucht dann nur in dem eingeschränkten Fusionsbereich nach Objekten zu suchen, was die Geschwindigkeit und Zuverlässigkeit der Suchalgorithmen erheblich verbessert. Bei einer späteren Klassifikation von Objekten können dann sowohl die geometrischen Messungen des optoelektronischen Sensors, insbesondere eines Laserscanners, als auch die visuellen Eigenschaften, ermittelt durch die Videobildverarbeitung, herangezogen werden, was die Zuverlässigkeit der erzielten Aussagen ebenfalls deutlich verbessert. Insbesondere kann beispielsweise ein Laserscanner Fahrbahnbegrenzungen in Form von Leit- bzw. Begrenzungspfosten detektieren, woraus auf die Lage der Fahrbahn geschlossen werden kann. Diese Informationen können von dem Videosystem dazu verwendet werden, die weißen Fahrbahnbegrenzungslinien im Videobild schneller zu finden.

Bei einer anderen bevorzugten Weiterbildung wird der Fusionsbereich anhand von Daten über die vermutliche Lage von Gegenständen oder bestimmten Bereichen auf den Gegenständen bestimmt. Die vermutliche Lage von Gegenständen kann sich dabei aus Informationen von anderen Systemen ergeben. Bei Anwendungen im Fahrzeugbereich kann der Fusionsbereich bevorzugt anhand von Daten aus einer digitalen Straßenkarte, gegebenenfalls in Verbindung mit einem Global Positioning System- Empfänger, bestimmt werden. Anhand der digitalen Karte kann beispielsweise der Verlauf der Fahrbahn mit großer Genauigkeit vorhergesagt werden. Diese Vermutung kann dann zur Stützung der Interpretation der Tiefen- und/oder Videobilder verwendet werden.

Bei einer weiteren bevorzugten Ausführungsform der erfindungsgemäßen Verfahren werden mehrere Tiefenbilder eines oder mehrerer optoelektronischer Sensoren verwendet, die Lageinformationen von Objekten in verschiedenen Erfassungsebenen enthalten. Besonders bevorzugt können hierzu Laserscanner verwendet werden, die ausgesendete elektromagnetische Strahlung mit mehreren benachbarten Detektoren empfangen, die nicht parallel zu den Erfassungsebenen angeordnet sind, in der sich das abtastende Strahlungsbündel bewegt. Dadurch werden insbesondere bei der Verwendung von Tiefenbildern von Laserscannern sehr genaue Lagedaten in mehr als zwei Dimensionen erhalten, die insbesondere bei den erfindungsgemäßen Verfahren eine bessere Interpretation bzw. Korrektur der Videodaten erlauben.

Dabei ist es besonders bevorzugt, daß bei dem Verfahren nach der zweiten Alternative die Anpassung für Segmente in wenigstens zwei der mehreren Tiefenbilder gleichzeitig erfolgt. Die Anpassung für mehrere Tiefenbilder in einem Schritt ermöglicht eine konsistente Korrektur der Lageinformationen in dem Videobild, so daß auch die Lagedaten, insbesondere in einem tiefenaufgelösten Bild, für geneigte Flächen sehr genau korrigiert werden können.

Bestimmte Typen von optoelektronischen Sensoren wie zum Beispiel Laserscanner erfassen Tiefenbilder, indem bei einer Abtastung des Sichtbereichs die Bildpunkte nacheinander erfaßt werden. Bewegt sich der optoelektronische Sensor relativ zu Gegenständen im Sichtbereich, erscheinen unterschiedliche Gegenstandspunkte desselben Gegenstands bedingt durch die Bewegung des Gegenstands relativ zu dem Sensor gegeneinander verschoben. Weiterhin können sich Verschiebungen relativ zu dem Videobild des Videosystems ergeben, da auf der Zeitskala, auf der Abtastungen des Sichtbereichs eines Laserscanners erfolgen (typischerweise im Bereich von etwa 10 Hz), die Videobilder praktisch instantan erfaßt werden. Solche Verschiebungen führen nicht nur zu Ungenauigkeiten in den Lagen der Bildpunkte in dem Tiefenbild, sondern auch zu Schwierigkeiten bei der Zusammenführung von Tiefenbildern und Videobildern.

Wird ein Tiefenbild verwendet, das dadurch erhalten wurde, daß bei einer Abtastung des Sichtbereichs des optoelektronischen Sensors die Bildpunkte nacheinander erfaßt wurden, ist es daher bevorzugt, daß vor der Bestimmung der Bildpunkte in dem Videobild oder der Anpassung der Lagekoordinaten die Lagekoordinaten der Bildpunkte des Tiefenbildes jeweils entsprechend der tatsächlichen oder einer daran angenäherten Bewegung des optoelektronischen Sensors und der Differenz zwischen den Erfassungszeitpunkten der jeweiligen Bildpunkte des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden. Wird eine Segmentierung durchgeführt, wird die Korrektur bevorzugt vor der Segmentierung durchgeführt. Die Bewegung des Sensors kann dabei zum Beispiel je nach Güte der Korrektur über dessen Geschwindigkeit oder auch über dessen Geschwindigkeit und Beschleunigung berücksichtigt werden, wobei hierbei vektorielle Größen, das heißt Größen mit Betrag und Richtung, gemeint sind. Die Daten über diese kinematischen Größen können zum Beispiel eingelesen werden. Ist der Sensor an einem Fahrzeug angebracht, so können zum Beispiel über entsprechende Fahrzeugsensoren die Eigengeschwindigkeit des Fahrzeugs und der Lenkwinkel oder die Gierrate verwendet werden, um die Bewegung des Sensors zu spezifizieren. Dabei kann zur Berechnung der Bewegung des Sensors aus den kinematischen Daten eines Fahrzeugs auch dessen Position an dem Fahrzeug berücksichtigt werden. Die Bewegung des Sensors bzw. die kinematischen Daten können jedoch auch aus einer entsprechenden parallelen Objekterkennung und -verfolgung in dem optoelektronischen Sensor oder einer nachfolgenden Objekterkennung bestimmt werden. Weiterhin kann ein GPS- Positionserkennungssystem, bevorzugt mit digitaler Karte, verwendet werden.

Vorzugsweise werden kinematische Daten verwendet, die in zeitlicher Nähe zu der Abtastung und besonders bevorzugt während der Abtastung durch den Sensor erfaßt werden.

Zur Korrektur können bevorzugt aus den kinematischen Daten der Bewegung und der Zeitdifferenz zwischen dem Erfassungszeitpunkt des jeweiligen Bildpunkts des Tiefenbildes und einem Bezugszeitpunkt mit geeigneten kinematischen Formeln die durch die Bewegung innerhalb der Zeitdifferenz verursachten Verschiebungen berechnet und die Koordinaten in den Bildpunkten des Tiefenbildes entsprechend korrigiert werden. Grundsätzlich können jedoch auch modifizierte kinematische Beziehungen verwendet werden. Zur einfacheren Berechnung der Korrektur kann es vorteilhaft sein, die Bildpunkte des Tiefenbildes zunächst einer Transformation, insbesondere in ein kartesisches Koordinatensystem, zu unterwerfen. Abhängig davon, in welcher Form die korrigierten Bildpunkte des Tiefenbildes vorliegen sollen, kann eine Rücktransformation nach der Korrektur sinnvoll sein.

Ein Fehler in den Positionen der Bildpunkte des Tiefenbildes kann auch dadurch hervorgerufen werden, daß sich zwei Objekte, von denen eines zu Beginn der Abtastung und das andere gegen Ende der Abtastung erfaßt wurde, mit hoher Geschwindigkeit gegeneinander bewegen. Dies kann dazu führen, daß bedingt durch die zeitliche Latenz zwischen den Erfassungszeitpunkten die Positionen der Objekte gegeneinander verschoben sind. Bevorzugt wird daher in dem Fall, daß Tiefenbilder verwendet werden, die dadurch erhalten wurden, daß bei einer Abtastung des Sichtbereichs des optoelektronischen Sensors die Bildpunkte nacheinander erfaßt wurden, eine Folge von Tiefenbildern erfaßt und eine Objekterkennung und/oder -verfolgung auf der Basis der Bildpunkte der Bilder des Überwachungsbereichs durchgeführt, wobei jedem erkannten Objekt Bildpunkte und jedem dieser Bildpunkte bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden und vor der Bestimmung der Bildpunkte im Videobild oder vor der Segmentbildung die Lagekoordinaten der Bildpunkte des Tiefenbildes unter Verwendung der Ergebnisse der Objekterkennung und/oder -verfolgung korrigiert. Zur Korrektur der Lageinformationen wird also parallel zur Bilderfassung und Auswertung eine Objekterkennung und -verfolgung durchgeführt, die die erfaßten Daten wenigstens des optoelektronischen Sensors bzw. Laserscanners verarbeitet. Bei der Objekterkennung und/oder -verfolgung für jede Abtastung können bekannte Verfahren benutzt werden, wobei grundsätzlich schon vergleichsweise einfache Verfahren ausreichen. Insbesondere kann ein solches Verfahren unabhängig von einem aufwendigen Objekterkennungs- und -verfolgungsverfahren erfolgen, bei dem die erfaßten Daten verarbeitet werden und beispielsweise eine aufwendige Objektklassifizierung durchgeführt wird, wobei bereits eine Verfolgung von Segmenten in dem Tiefenbild ausreichen kann.

Auch durch diese Korrektur wird die Gefahr herabgesetzt, daß es zu Problemen bei der Zusammenführung von Bildpunkten des Tiefenbildes mit Bildpunkten des Videobildes kommt. Darüber hinaus wird die nachfolgende Verarbeitung der Bildpunkte erleichtert.

Besonders bevorzugt werden bei der Korrektur die Lagekoordinaten der Bildpunkte entsprechend der ihnen zugeordneten Bewegungsdaten und der Differenz zwischen der Erfassungszeit der Bildpunkte des Tiefenbildes und einem Bezugszeitpunkt korrigiert.

Bei den Bewegungsdaten kann es sich wiederum insbesondere um kinematische Daten handeln, wobei die zur Korrektur verwendeten Verschiebungen wie oben aus den vektoriellen Geschwindigkeiten und gegebenenfalls Beschleunigungen der Objekte und der Zeitdifferenz zwischen der Erfassungszeit eines Bildpunktes des Tiefenbildes und dem Bezugszeitpunkt erfolgt.

Die genannten Korrekturen können alternativ oder kumulativ angewendet werden.

Bei diesen Korrekturverfahren können, wenn nicht zu hohe Anforderungen an die Genauigkeit der Korrektur gestellt werden, Näherungen für die Erfassungszeit der Bildpunkte des Tiefenbildes verwendet werden. Insbesondere bei Verwendung eines Laserscanners der oben genannten Art kann davon ausgegangen werden, daß aufeinanderfolgende Bildpunkte in konstanten zeitlichen Abständen erfaßt wurden. Aus der Zeit für eine Abtastung bzw. der Abtastfrequenz und der Anzahl der dabei aufgenommenen Bildpunkte läßt sich damit der zeitliche Abstand aufeinanderfolgender Erfassungen von Bildpunkten und mittels dieses zeitlichen Abstandes und der Reihenfolge der Bildpunkte eine Erfassungszeit bezogen auf den ersten Bildpunkt bzw., wenn auch negative Zeiten verwendet werden, auf einen beliebige Bildpunkt bestimmen. Obwohl der Bezugszeitpunkt grundsätzlich frei gewählt werden kann, ist es bevorzugt, daß er für jede Abtastung zwar getrennt, aber jeweils gleich gewählt wird, da dann auch nach einer Vielzahl von Abtastungen keine Differenzen großer Zahlen auftreten und weiterhin keine Verschiebung der Positionen durch Variation des Bezugszeitpunkts aufeinanderfolgender Abtastungen bei bewegtem Sensor erfolgt, was eine nachfolgende Objekterkennung und -verfolgung erschweren könnte.

Besonders bevorzugt ist es dabei, daß der Bezugszeitpunkt der Zeitpunkt der Erfassung des Videobildes ist. Durch diese Wahl des Bezugszeitpunkts wird insbesondere eine Verschiebung von Bildpunkten, die relativ zu dem Sensor oder relativ zueinander bewegten Gegenständen entsprechen, aufgrund der gegenüber dem Videosystem verschobenen Erfassungszeit korrigiert, wodurch die Zusammenführung von Tiefen- und Videobild zu besseren Ergebnissen führt.

Kann der Erfassungszeitpunkt des Videobildes mit der Abtastung des Sichtbereichs des optoelektronischen Sensors synchronisiert werden, ist es besonders bevorzugt, daß der Erfassungszeitpunkt und damit der Bezugszeitpunkt zwischen der frühesten als Erfassungszeit eines Bildpunktes des Tiefenbildes definierten Zeit einer Abtastung und der zeitlich letzten als Erfassungszeit eines Bildpunktes des Tiefenbildes definierten Zeit der Abtastung liegt. Hierdurch wird gewährleistet, daß Fehler, die durch die Näherung in der kinematischen Beschreibung entstehen, möglichst gering gehalten werden. Besonders vorteilhaft kann als Bezugszeitpunkt ein Erfassungszeitpunkt eines der Bildpunkte der Abtastung gewählt werden, so daß dieses als Erfassungszeit innerhalb der Abtastung die Zeit Null erhält.

Bei einer weiteren bevorzugten Ausführungsform des Verfahrens werden als erster Schritt ein Tiefenbild und ein Videobild erfaßt und deren Daten für die weiteren Verfahrensschritte bereitgestellt.

Weiterer Gegenstand der Erfindung ist ein Verfahren zur Erkennung und Verfolgung von Objekten, bei dem Bildinformationen über den Überwachungsbereich mit einem Verfahren nach einem der vorhergehenden Ansprüche bereitgestellt werden, und auf der Basis der bereitgestellten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt wird.

Darüber hinaus ist Gegenstand der Erfindung auch ein Computerprogramm mit Programmcode-Mitteln, um eines der erfindungsgemäßen Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.

Gegenstand der Erfindung ist auch ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um eines der erfindungsgemäßen Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.

Unter einem Computer wird hierbei eine beliebige Datenverarbeitungsvorrichtung verstanden, mit der das Verfahren ausgeführt werden kann. Insbesondere kann diese digitale Signalprozessoren und/oder Mikroprozessoren aufweisen, mit denen das Verfahren ganz oder in Teilen ausgeführt wird.

Schließlich ist Gegenstand der Erfindung eine Vorrichtung zur Bereitstellung von tiefenaufgelösten Bildern eines Überwachungsbereichs, mit mindestens einem optoelektronischen Sensor zur Erfassung der Lage von Gegenständen in wenigstens einer Ebene, insbesondere einem Laserscanner, einem Videosystem mit mindestens einer Videokamera und einer mit dem optoelektronischen Sensor und dem Videosystem verbundenen Datenverarbeitungseinrichtung, die zur Durchführung eines der erfindungsgemäßen Verfahren ausgebildet ist.

Bevorzugt weist das Videosystem eine Stereokamera auf. Besonders bevorzugt ist das Videosystem zur Erfassung tiefenaufgelöster, dreidimensionaler Bilder ausgebildet. Die zur Bildung des tiefenaufgelösten Videobildes aus den Bildern der Stereokamera erforderliche Einrichtung kann entweder in dem Videosystem enthalten sein oder durch die Datenverarbeitungseinrichtung gegeben sein, in der die entsprechenden Operationen durchgeführt werden.

Um die Lage und Ausrichtung von optoelektronischem Sensor und Videosystem fest vorgeben zu können, ist es bevorzugt, den optoelektronischem Sensor und das Videosystem zu einem Sensor zu integrieren, so daß deren räumliche Anordnung zueinander bereits bei der Herstellung festgelegt wird. Andernfalls ist eine Kalibrierung notwendig. Besonders bevorzugt liegt eine optische Achse einer abbildenden Vorrichtung einer Videokamera des Videosystems zumindest im Bereich des optoelektronischen Sensors nahe, vorzugsweise in der Erfassungsebene. Diese Anordnung erlaubt eine besonders einfache Bestimmung von einander zugeordneten Bildpunkten des Tiefen- und des Videobildes. Weiterhin ist es besonders bevorzugt, daß das Videosystem eine Anordnung von Photodetektionselementen aufweist, der optoelektronische Sensor ein Laserscanner ist, und die Anordnung von Photodetektionselementen synchron mit einem zur Abtastung eines Sichtbereichs des Laserscanners verwendeten Strahlungsbündel und/oder mindestens einem zur Detektion von Strahlung dienenden Photodetektionselement des Laserscanners, insbesondere um eine gemeinsame Achse, verschwenkbar ist, da hierdurch auch die Probleme im Hinblick auf die Synchronisation der Erfassung von Videobild und Tiefenbild reduziert werden. Bei der Anordnung von Photodetektionselementen kann es sich insbesondere um eine Zeile, Spalte oder eine flächige Anordnung wie zum Beispiel eine Matrix handeln. Vorzugsweise wird zur Erfassung von Bildpunkten auch in einer Richtung senkrecht zur Erfassungsebene eine Spalte oder eine flächige Anordnung verwendet.

Ausführungsformen der Erfindung werden nun beispielhaft anhand der Zeichnung beschrieben. Es zeigen:
Fig. 1 eine schematische Draufsicht auf ein Fahrzeug mit einem Laserscanner, einem Videosystem mit einer monokularen Kamera und einem vor dem Fahrzeug befindlichen Pfahl,
Fig. 2 eine teilweise schematische Seitenansicht des Fahrzeugs und des Pfahls in Fig. 1,
Fig. 3 eine schematische teilweise Darstellung eines von dem Videosystem in Fig. 1 erfaßten Videobildes,
Fig. 4 eine schematische Draufsicht auf ein Fahrzeug mit einem Laserscanner, einem Videosystem mit einer Stereokamera und einem vor dem Fahrzeug befindlichen Pfahl, und
Fig. 5 eine teilweise, schematische Seitenansicht des Fahrzeugs und des Pfahls in Fig. 4.
In den Fig. 1 und 2 trägt ein Fahrzeug 10 zur Überwachung des Bereichs vor dem Fahrzeug an seiner Frontseite einen Laserscanner 12 und ein Videosystem 14 mit einer monokularen Videokamera 16. In dem Fahrzeug befindet sich weiterhin eine mit dem Laserscanner 12 und dem Videosystem 14 verbundene Datenverarbeitungseinrichtung 18. In Fahrtrichtung vor dem Fahrzeug befindet sich ein Pfahl 20.
Der Laserscanner 12 weist einen in Fig. 1 nur teilweise gezeigten Sichtbereich 22 auf, der aufgrund der Anbaulage symmetrisch zur Längsachse des Fahrzeugs 10 einen Winkel von etwas mehr als 180° abdeckt. Der Sichtbereich 22 ist in Fig. 1 nur schematisch und zur besseren Darstellung insbesondere in radialer Richtung zu klein dargestellt. In dem Sichtbereich 22 befindet sich beispielhaft der Pfahl 20 als zu erfassender Gegenstand.
Der Laserscanner 12 tastet seinen Sichtbereich 22 in grundsätzlich bekannter Weise mit einem mit konstanter Winkelgeschwindigkeit umlaufenden, gepulsten Laserstrahlungsbündel 24 ab, wobei ebenfalls umlaufend in konstanten Zeitabständen Δt zu Zeiten τ_i in festen Winkelbereichen um einen mittleren Winkel α_i detektiert wird, ob das Strahlungsbündel 24 von einem Punkt 26 bzw. Bereich eines Gegenstands wie des Pfahls 20 reflektiert wird. Der Index i läuft dabei von 1 bis zur Anzahl der Winkelbereiche im Sichtbereich 22. Von diesen Winkelbereichen ist in Fig. 1 nur ein Winkelbereich gezeigt, der dem mittleren Winkel α_i zugeordnet ist. Hierbei ist der Winkelbereich zur deutlicheren Darstellung übertrieben groß gezeigt. Der Sichtbereich 22 ist, wie in Fig. 2 erkennbar, bis auf die Aufweitung des Strahlenbündels 24 zweidimensional und liegt in einer Erfassungsebene. Anhand der Laufzeit des Laserstrahlpulses wird der Sensorabstand d_i des Gegenstandspunktes 26 von dem Laserscanner 12 ermittelt. Der Laserscanner 12 erfaßt daher als Koordinaten in dem Bildpunkt für den Gegenstandspunkt 26 des Pfahls 20 den Winkel α_i und den bei diesem Winkel festgestellten Abstand d_i, das heißt die Position des Gegenstandspunkts 26 in Polarkoordinaten.
Die Menge der bei einer Abtastung erfaßten Bildpunkte bildet ein Tiefenbild im Sinne der vorliegenden Anmeldung.
Der Laserscanner 12 tastet seinen Sichtbereich 22 jeweils in aufeinanderfolgenden Abtastungen ab, so daß eine zeitliche Folge von Abtastungen und entsprechenden Tiefenbildern entsteht.
Die monokulare Videokamera 16 des Videosystems 14 ist eine konventionelle Schwarz-Weiß-Videokamera mit einem CCD-Flächensensor 28 und einer abbildenden Vorrichtung, die in den Fig. 1 und 2 schematisch als einfache Linse 30 dargestellt ist, tatsächlich aber aus einem Linsensystem besteht, und aus dem Sichtbereich 32 des Videosystems einfallendes Licht auf den CCD-Flächensensor 28 abbildet. Der CCD-Flächensensor 28 weist in einer Matrix angeordnete Photodetektionselemente auf. Signale der Photodetektionselemente werden ausgelesen, wobei Videobilder mit Bildpunkten gebildet werden, die die Positionen der Photodetektionselemente in der Matrix oder eine andere Kennung für die Photodetektionselemente und jeweils einen der Intensität des von dem entsprechenden Photodetektionselement empfangenen Lichts entsprechenden Intensitätswert enthalten. Die Videobilder werden in diesem Ausführungsbeispiel mit der gleichen Rate erfaßt, mit der von dem Laserscanner 12 Tiefenbilder erfaßt werden.
Von dem Pfahl 20 ausgehendes Licht wird durch die Linse 30 auf den CCD-Flächensensor 28 abgebildet. Dies ist in den Fig. 1 und 2 für die Umrisse des Pfahls 30 durch die kurzgestrichelten Linien schematisch angedeutet.
Aus dem Abstand von CCD-Flächensensor 28 und Linse 30 sowie aus der Lage und den Abbildungseigenschaften der Linse 30, beispielsweise deren Brennweite, kann aus der Lage eines Gegenstandspunktes, z. B. des Gegenstandspunktes 26, auf dem Pfahl 20 berechnet werden, auf welche der matrixförmig angeordneten Photodetektionselemente der Gegenstandspunkt abgebildet wird.
Ein Überwachungsbereich 34 ist in den Fig. 1 und 2 schematisch durch eine gepunktete Linie näherungsweise dargestellt und durch den Teil des Sichtbereichs 32 des Videosystems gegeben, dessen Projektion auf die Ebene des Sichtbereichs 22 des Laserscanners innerhalb des Sichtbereichs 22 liegt. Innerhalb dieses Überwachungsbereichs 34 befindet sich der Pfahl 20.
Zur Verarbeitung der Bilder des Laserscanners 12 und des Videosystems 14 ist die Datenverarbeitungseinrichtung 18 vorgesehen, die dazu mit dem Laserscanner 12 und dem Videosystem 14 verbunden ist. Die Datenverarbeitungseinrichtung 18 weist unter anderem einen zur Ausführung des erfindungsgemäßen Verfahrens programmierten digitalen Signalprozessor und eine mit dem digitalen Signalprozessor verbundene Speichereinrichtung auf. Bei einer anderen Ausführungsform der erfindungsgemäßen Vorrichtung zur Bereitstellung von Bildinformationen kann die Datenverarbeitungseinrichtung auch einen konventionellen Prozessor aufweisen, mit dem ein in der Datenverarbeitungseinrichtung gespeichertes erfindungsgemäßes Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens ausgeführt wird.
Bei einem ersten Verfahren zur Bereitstellung von Bildinformationen nach einer bevorzugten ersten Ausführungsform des erfindungsgemäßen Verfahrens nach der ersten Alternative werden zunächst von dem Laserscanner 12 ein Tiefenbild und von dem Videosystem 14 ein Videobild erfaßt.
Zur einfacheren Darstellung wird angenommen, daß sich im Überwachungsbereich 34 nur der Pfahl 20 befindet. Das von dem Laserscanner 12 erfaßte Tiefenbild weist dann Bildpunkte 26, 36' und 38' auf, die den Gegenstandspunkten 26, 36 und 38 entsprechen. Diese Bildpunkte sind in Fig. 1 und Fig. 2 zusammen mit den entsprechenden Gegenstandspunkten gekennzeichnet. Von dem Videobild sind in Fig. 3 nur die Bildpunkte 40 des Videobildes gezeigt, die im wesentlichen gleiche Intensitätswerte aufweisen, da sie dem Pfahl 20 entsprechen.
Die beiden Bilder werden dann segmentiert. Ein Segment des Tiefenbildes wird aus Bildpunkten gebildet, von denen wenigstens zwei höchstens einen vorgegebenen Maximalabstand haben. Im Beispiel bilden die Bildpunkte 26', 36' und 38' ein Segment.
Die Segmente des Videobildes enthalten Bildpunkte, deren Intensitätswerte sich um weniger als einen kleinen vorgegebenen Maximalwert unterscheiden. In Fig. 3 ist das Ergebnis der Segmentierung gezeigt, wobei Bildpunkte des Videobildes nicht gezeigt sind, die nicht zu dem gezeigten Segment gehören, das dem Pfahl 20 entspricht. Das Segment hat also im wesentlichen eine Rechteckform, die der des Pfahls 20 entspricht.
Soll bei einem Objekterkennungs- und -verfolgungsverfahren festgestellt werden, was für einem Gegenstand das aus den Bildpunkten 26', 36' und 38' des Tiefenbildes gebildete Segment entspricht, wird ergänzend die Information aus dem Videobild herangezogen. Als Fusionsbereich wird hier der gesamte Überwachungsbereich 34 vorgegeben.
Aus den Lagekoordinaten der Bildpunkte 26', 36' und 38' des Tiefenbildes werden unter Berücksichtigung der relativen Lage des Videosystems 14 zu der Erfassungsebene des Laserscanners 12, der relativen Lage zu dem Laserscanner 12 sowie der Abbildungseigenschaften der Linse 30 diejenigen Photodetektionselemente bzw. Bildpunkte 39 des Videobildes berechnet, die den Gegenstandspunkten 26, 36 und 38 entsprechen und ebenfalls in Fig. 3 gezeigt sind.
Da die berechneten Bildpunkte 39 in dem aus Bildpunkten 40 gebildeten Segment liegen, wird den den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkten 26', 36' und 38' bzw. dem daraus gebildeten Segment des Tiefenbildes das aus den Bildpunkten 40 gebildete Segment zugeordnet. Aus der Höhe des Segments kann dann bei gegebenem Abstand unter Berücksichtigung der Abbildungseigenschaften der Linse 30 die Höhe des Pfahls 20 berechnet werden. Auch diese Information kann den den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkten 26', 36' und 38' des Tiefenbildes zugeordnet werden. Aufgrund dieser Information kann beispielsweise darauf geschlossen werden, daß das Segment des Tiefenbildes einem Pfahl bzw. einem Objekt des Typs Pfahl und nicht einem eine geringere Höhe aufweisenden Leitpfosten entspricht. Diese Information kann ebenfalls den den Gegenstandspunkten 26, 26 und 38 entsprechenden Bildpunkten 26', 36' und 38' des Tiefenbildes zugeordnet werden.
Diese Bildpunkte des Tiefenbildes können auch zusammen mit der zugeordneten Information ausgegeben oder gespeichert werden.
Ein zweites Verfahren nach einer weiteren Ausführungsform der Erfindung nach der ersten Alternative unterscheidet sich von dem ersten Verfahren dadurch, daß nicht die Informationen des Tiefenbildes, sondern die Informationen des Videobildes ergänzt werden sollen. Nach der Segmentierung wird daher der Fusionsbereich anders definiert. Im Beispiel wird aus der Lage des aus den Bildpunkten 40 des Videobildes gebildeten Segments im Bereich bzw. auf Höhe der Erfassungsebene des Laserscanners 12 in Abhängigkeit von den Abbildungseigenschaften der Linse 30 berechnet, welchem Bereich in der Erfassungsebene des Laserscanners 12 das Segment in dem Videobild entsprechen kann. Da der Abstand des aus den Bildpunkten 40 gebildeten Segments von dem Videosystem 14 zunächst nicht bekannt ist, ergibt sich ein ganzer Fusionsbereich. Für in diesem Fusionsbereich liegende Bildpunkte des Tiefenbildes wird dann wie bei dem ersten Verfahren eine Zuordnung zu dem Segment in dem Videobild bestimmt. Damit läßt sich der Abstand des Segments in dem Videobild von dem Laserscanner 12 bestimmen. Diese Information stellt dann eine Ergänzung der Videobilddaten dar, die bei einer Bildverarbeitung des Videobildes berücksichtigt werden kann.
Ein weiteres Ausführungsbeispiel der Erfindung nach der zweiten Alternative wird nun anhand der Fig. 4 und 5 beschrieben. Für Gegenstände, die denen in den vorherigen Ausführungsbeispielen entsprechen, werden im folgenden die gleichen Bezugszeichen verwendet und bezüglich der genaueren Beschreibung auf das obige Ausführungsbeispiel verwiesen.
In Fig. 4 trägt ein Fahrzeug 10 zur Überwachung des Bereichs vor dem Fahrzeug einen Laserscanner 12 und ein Videosystem 42 mit einer Stereokamera 44. In dem Fahrzeug 10 befindet sich weiterhin eine mit dem Laserscanner 12 und dem Videosystem 42 verbundene Datenverarbeitungseinrichtung 46. In Fahrtrichtung vor dem Fahrzeug befindet sich wieder ein Pfahl 20.
Während der Laserscanner 12 wie im ersten Ausführungsbeispiel aufgebaut ist und seinen Sichtbereich 22 in gleicher Weise abtastet, ist bei dem vorliegenden Ausführungsbeispiel statt eines Videosystems mit einer monokularen Videokamera das Videosystem 42 mit der Stereokamera 44 vorgesehen, das zur Erfassung tiefenaufgelöster Bilder ausgebildet ist. Die Stereokamera wird dabei durch zwei an den vorderen äußeren Kanten des Fahrzeugs 10 angebrachten monokularen Videokameras 48a und 48b und eine Auswerteeinrichtung 50 gebildet, die mit den Videokameras 48a und 48b verbunden ist und deren Signale zu tiefenaufgelösten, dreidimensionalen Videobildern verarbeitet.
Die monokularen Videokameras 48a und 48b sind jeweils wie die Videokamera 16 des ersten Ausführungsbeispiels aufgebaut und in einer fest vorgegebenen Geometrie so gegeneinander orientiert, daß deren Sichtbereiche 52a und 52b sich überschneiden. Der Überschneidungsbereich der Sichtbereiche 52a und 52b bildet den Sichtbereich 32 der Stereokamera 44 bzw. des Videosystems 42.
Die von den Videokameras 48a und 48b erfaßten Bildpunkte innerhalb des Sichtbereichs 32 des Videosystems werden der Auswerteeinrichtung 50 zugeführt, die aus diesen Bildpunkten unter Berücksichtigung der Lage und Ausrichtung der Videokameras 48a und 48b ein tiefenaufgelöstes Bild berechnet, das Bildpunkte mit dreidimensionalen Lagekoordinaten und Intensitätsinformationen enthält.
Der Überwachungsbereich 34 ist wie beim ersten Ausführungsbeispiel durch die Sichtbereiche 22 und 32 des Laserscanners 12 bzw. des Videosystems 42 gegeben.
Der Laserscanner erfaßt mit hoher Genauigkeit Bildpunkte 26', 36' und 38', die den Gegenstandspunkten 26, 36 und 38 auf dem Pfahl 20 entsprechen.
Das Videosystem erfaßt Bildpunkte in drei Dimensionen. Die in Fig. 4 gezeigten, von dem Videosystem 42 erfaßten, den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkte 26", 36" und 38" weisen aufgrund des zur Erfassung verwendeten Verfahrens größere Lageungenauigkeiten in Richtung der Tiefe des Bildes auf. Das heißt, daß die durch die Lagekoordinaten eines Bildpunktes gegebenen Abstände von dem Videosystem nicht sehr genau sind.
In Fig. 5 sind weitere Bildpunkte 54 des tiefenaufgelösten Videobildes dargestellt, die unmittelbar keinen Bildpunkten in dem Tiefenbild des Laserscanners 12 entsprechen, da sie sich nicht in oder nahe der Erfassungsebene befinden, in der die Gegenstandspunkte 26, 36 und 38 liegen. Der Übersichtlichkeit halber wurden weitere Bildpunkte weggelassen.
Zur Verarbeitung der Bilder des Laserscanners 12 und des Videosystems 42 ist die Datenverarbeitungseinrichtung 46 vorgesehen, die dazu mit dem Laserscanner 12 und dem Videosystem 42 verbunden ist. Die Datenverarbeitungseinrichtung 42 weist unter anderem einen zur Ausführung des erindungsgemäßen Verfahrens nach der zweiten Alternative programmierten digitalen Signalprozessor und eine mit dem digitalen Signalprozessor verbundene Speichereinrichtung auf. Bei einer anderen Ausführungsform der erfindungsgemäßen Vorrichtung zur Bereitstellung von Bildinformationen kann die Datenverarbeitungseinrichtung auch einen konventionellen Prozessor aufweisen, mit dem ein erfindungsgemäßes Computerprogramm zur Durchführung einer Ausführungsform des erindungsgemäßen, im folgenden geschilderten Verfahrens ausgeführt wird.
Wie bei dem ersten Ausführungsbeispiel werden von dem Laserscanner 12 ein Tiefenbild und von dem Videosystem 42 ein tiefenaufgelöstes, dreidimensionales Videobild erfaßt und eingelesen. Daraufhin werden die Bilder segmentiert, wobei die Segmentierung des Videobildes auch bereits in der Auswerteeinrichtung 50 vor oder bei der Berechnung der tiefenaufgelösten Bilder erfolgt sein kann. Wie beim ersten Ausführungsbeispiel bilden die den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkte 26', 36' und 38' des Tiefenbildes ein Segment des Tiefenbildes.
In dem Segment des Videobildes, das im Beispiel die in den Fig. 4 und 5 gezeigten Bildpunkte 26", 36", 38" und 54 sowie weitere nicht gezeigte Bildpunkte umfaßt, werden die Bildpunkte bestimmt, die einen vorgegebenen maximalen Abstand von der Erfassungsebene aufweisen, in dem sich das Strahlungsbündel 24 bewegt. Geht man davon aus, daß die tiefenaufgelösten Bilder in der Richtung senkrecht zur Erfassungsebene entsprechend der Struktur der CCD-Flächensensoren der Videokameras 48a und 48b Schichten von Bildpunkten aufweisen, kann der maximale Abstand beispielsweise durch den Abstand der Schichten gegeben sein.
Durch diesen Schritt wird ein Teilsegment des Segments des Videobildes mit den Bildpunkten 26", 36" und 38" bereitgestellt, das dem Segment des Tiefenbildes entspricht.
Durch Bestimmung einer optimalen Translation und/oder einer optimalen Rotation des Teilsegments wird nun die Lage des Teilsegments an die wesentlich genauer bestimmt Lage des Tiefensegments angepaßt. Dazu wird die Summe der quadratischen Abstände der Lagekoordinaten aller Bildpunkte des Segments des Tiefenbildes von den durch eine Translation und/oder Rotation transformierten Lagekoordinaten aller Bildpunkte des Teilsegments als Funktion der Translation und/oder Rotation minimiert. Zur Korrektur der Lagekoordinaten des gesamten Segments des Videobildes werden die Lagekoordinaten mit der so bestimmten optimalen Translation und/oder Rotation transformiert. Dadurch wird das gesamte Segment des Videobildes in der Erfassungsebene so ausgerichtet, daß es in dem Bereich, in dem es die Erfassungsebene schneidet, die in bezug auf das durch den Laserscanner bestimmte Segment des Tiefenbildes optimale Lage in der Erfassungsebene aufweist.
Bei einer anderen Ausführungsform des Verfahrens kann auch ausgehend von einem Segment des Tiefenbildes ein geeignetes Segment des Videobildes bestimmt werden, wobei nach der Anpassung wiederum ein genaues dreidimensionales tiefenaufgelöstes Bild bereitgestellt wird.
Während bei dem erfindungsgemäßen Verfahren nach der ersten Alternative also eine Ergänzung der Bildinformation des Tiefenbildes durch das Videobild oder umgekehrt erfolgt, wird bei dem erfindungsgemäßen Verfahren nach der zweiten Alternative durch Korrektur eines tiefenaufgelösten dreidimensionalen Videobildes ein dreidimensionales tiefenaufgelöstes Bild mit hoher Genauigkeit der Tiefeninformation zumindest in der Erfassungsebene bereitgestellt. Bezugszeichenliste 10 Fahrzeug
12 Laserscanner
14 Videosystem
16 monokulare Videokamera
18 Datenverarbeitungseinrichtung
20 Pfahl
22 Sichtbereich des Laserscanners
24 Laserstrahlungsbündel
26, 26', 26" Gegenstandspunkt, Bildpunkt
28 CCD-Flächensensor
30 Linse
32 Sichtbereich des Videosystems
34 Überwachungsbereich
36, 36', 36" Gegenstandspunkt, Bildpunkt
38, 38', 38" Gegenstandspunkt, Bildpunkt
39 berechnete Bildpunkte
40 Bildpunkte
42 Videosystem
44 Stereokamera
46 Datenverarbeitungseinrichtung
48a, b Videokameras
50 Auswerteeinrichtung
52a, b Sichtbereiche
54 Bildpunkte

Claims

1. Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich (22) eines optoelektronischen Sensors (12), insbesondere eines Laserscanners, zur Erfassung der Lage von Gegenständen (20) in wenigstens einer Erfassungsebene und im Sichtbereich (32) eines Videosystems (14) mit mindestens einer Videokamera (16) liegt, bei dem
von dem optoelektronischen Sensor (12) erfaßte Tiefenbilder, die jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren erfaßten Gegenständen (20) in dem Überwachungsbereich entsprechende Bildpunkte (26, 36', 38') mit Lagekoordinaten der entsprechenden Gegenstandspunkte (26, 36, 38) enthalten, und von dem Videosystem (14) erfaßte Videobilder eines die Gegenstandspunkte (26, 36, 38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 54) mit von dem Videosystem (14) erfaßten Daten umfassen, bereitgestellt werden,
auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte (26, 36, 38) wenigstens ein dem Gegenstandspunkt (26, 36, 38) entsprechender, von dem Videosystem (14) erfaßter Bildpunkt (26", 36", 38", 54) bestimmt wird, und
dem Bildpunkt (26", 36", 38", 54) des Videobildes entsprechende Daten und der Bildpunkt (26', 36', 38') des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts (26, 36, 38) einander zugeordnet werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der dem Gegenstandspunkt (26, 36, 38) entsprechende Bildpunkt (26", 36", 38", 54) des Videobildes in Abhängigkeit von den Abbildungseigenschaften des Videosystems (14) bestimmt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß auf der Basis der Lagekoordinaten eines von dem optoelektronischen Sensor (12) erfaßten Gegenstandspunkts (26, 36, 38) und der Lage des Videosystems (14) festgestellt wird, ob der Gegenstandspunkt (26, 36, 38) in dem von dem Videosystem (14) erfaßten Videobild ganz oder teilweise verdeckt ist.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bestimmung von Gegenstandspunkten (26, 36, 38) entsprechenden Bildpunkten (26", 36", 38", 54) des Videobildes und die Zuordnung entsprechender Daten zu den Gegenstandspunkten (26, 36, 38) entsprechenden Bildpunkten (26', 36', 38') des Tiefenbildes für Gegenstandspunkte (26, 36, 38) in einem vorgegebenen Fusionsbereich erfolgt.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß das Tiefenbild und das Videobild jeweils segmentiert werden, und
daß mindestens einem Segment in dem Tiefenbild wenigstens ein Segment des Videobildes zugeordnet wird, das Bildpunkte (26", 36", 38", 54) enthält, die wenigstens einigen der Bildpunkte (26', 36', 38') des Segments des Tiefenbildes entsprechen.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß das Tiefenbild segmentiert wird,
daß in einem Bereich des Videobildes, der Bildpunkte (26", 36", 38", 54) enthält, die Bildpunkten (26', 36, 38') wenigstens eines Segments in dem Tiefenbild entsprechen, nach einem vorgegebenen Muster gesucht wird, und
daß das Ergebnis der Suche dem Segment und/oder den das Segment bildenden Bildpunkten (26', 36', 38') als Daten zugeordnet wird.

7. Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich (22) eines optoelektronischen Sensors (12) zur Erfassung der Lage von Gegenständen (20) in wenigstens einer Erfassungsebene und im Sichtbereich (32) eines Videosystems (42) zur Erfassung tiefenaufgelöster, dreidimensionaler Videobilder mit mindestens einer Videokamera (44, 48a, 48b) liegt, bei dem
von dem optoelektronischen Sensor (12) erfaßte Tiefenbilder, die jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren erfaßten Gegenständen (20) in dem Überwachungsbereich entsprechende Bildpunkte (26', 36', 38') enthalten, und von dem Videosystem (42) erfaßte Videobildern eines die Gegenstandspunkte (26, 36, 38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 54) mit Lagekoordinaten der Gegenstandspunkte (26, 36, 38) enthalten, bereitgestellt werden,
Bildpunkte (26", 36", 38", 54) in dem Videobild, die sich nahe oder in der Erfassungsebene des Tiefenbildes befinden, durch eine Translation und/oder Rotation an entsprechende Bildpunkte (26', 36', 38') des Tiefenbildes angepaßt werden, und
die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) des Videobildes entsprechend der bestimmten Translation und/oder Rotation korrigiert werden.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet,
daß jeweils erfaßte Bilder segmentiert werden,
daß mindestens ein Segment in dem Videobild, das Bildpunkte (26", 36", 38", 54) in oder nahe der Erfassungsebene des Tiefenbildes aufweist, wenigstens durch eine Translation und/oder Rotation an ein entsprechendes Segment in dem Tiefenbild angepaßt wird, und
daß die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) des Segments des Videobildes entsprechend der Translation und/oder Rotation korrigiert werden.

9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß die Anpassung für alle Segmente des Tiefenbildes gemeinsam durchgeführt wird.

10. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß die Anpassung nur für Segmente in einem vorgegebenen Fusionsbereich durchgeführt wird.

11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die bereitgestellten Bildinformationen wenigstens die Lagekoordinaten von erfaßten Gegenstandspunkten (26, 36, 38) enthalten und als tiefenaufgelöstes Bild verwendet werden.

12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Fusionsbereich auf der Basis eines vorgegebenen Ausschnittes des Videobildes und der Abbildungseigenschaften des Videosystems (14, 42) bestimmt wird.

13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß auf der Basis der Daten eines der tiefenaufgelösten Bilder oder der bereitgestellten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt wird, und
daß der Fusionsbereich anhand von Daten der Objekterkennung und -verfolgung bestimmt wird.

14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Fusionsbereich anhand von Daten über die vermutliche Lage von Gegenständen (20) oder bestimmten Bereichen auf den Gegenständen (20) bestimmt wird.

15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Fusionsbereich anhand von Daten aus einer digitalen Straßenkarte in Verbindung mit einem GPS-Empfänger bestimmt wird.

16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß mehrere Tiefenbilder eines oder mehrerer optoelektronischer Sensoren (12) verwendet werden.

17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, daß die Anpassung für Segmente in wenigstens zwei der mehreren Tiefenbilder gleichzeitig erfolgt.

18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß ein Tiefenbild verwendet wird, das dadurch erhalten wurde, daß bei einer Abtastung des Sichtbereichs (22) des optoelektronischen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander erfaßt wurden, und
daß vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Videobild oder der Segmentbildung die Lagekoordinaten der Bildpunkte (26', 36', 38') des Tiefenbildes jeweils entsprechend der tatsächlichen oder einer daran angenäherten Bewegung des optoelektronischen Sensors (12) und der Differenz zwischen den Erfassungszeitpunkten der jeweiligen Bildpunkte (26', 36', 38') des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden.

19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß Tiefenbilder verwendet werden, die dadurch erhalten wurden, daß bei einer Abtastung des Sichtbereichs (22) des optoelektronischen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander erfaßt wurden,
daß eine Folge von Tiefenbildern erfaßt und eine Objekterkennung und/oder -verfolgung auf der Basis der Bildpunkte (26', 36', 38') der Bilder des Überwachungsbereichs durchgeführt wird, wobei jedem erkannten Objekt Bildpunkte (26', 36', 38') und jedem dieser Bildpunkte (26', 36', 38') bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden, und
daß vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Videobild oder vor der Anpassung der Lagekoordinaten die Lagekoordinaten der Bildpunkte (26', 36', 38') des Tiefenbildes unter Verwendung der Ergebnisse der Objekterkennung und/oder -verfolgung korrigiert werden.

20. Verfahren nach Anspruch 19, dadurch gekennzeichnet, daß bei der Korrektur die Lagekoordinaten der Bildpunkte (26', 36', 38') entsprechend der ihnen zugeordneten Bewegungsdaten und der Differenz zwischen der Erfassungszeit der Bildpunkte (26', 36', 38') des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden.

21. Verfahren nach einem der Ansprüche 18 bis 20, dadurch gekennzeichnet, daß der Bezugszeitpunkt der Zeitpunkt der Erfassung des Videobildes ist.

22. Verfahren zur Erkennung und Verfolgung von Objekten, bei dem Bildinformationen über einen Überwachungsbereich mit einem Verfahren nach einem der vorhergehenden Ansprüche bereitgestellt werden, und auf der Basis der bereitgestellten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt wird.

23. Computerprogramm mit Programmcode-Mitteln, um ein Verfahren nach einem der Ansprüche 1 bis 22 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.

24. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Verfahren nach einem der Ansprüche 1 bis 22 durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.

25. Vorrichtung zur Bereitstellung von tiefenaufgelösten Bildern eines Überwachungsbereichs, mit mindestens einem optoelektronischen Sensor (12) zur Erfassung der Lage von Gegenständen (20) in wenigstens einer Erfassungsebene, insbesondere einem Laserscanner, einem Videosystem (14, 42) mit mindestens einer Videokamera (16, 44, 48a, 48b) und einer mit dem optoelektronischen Sensor (12) und dem Videosystem (14, 42) verbundenen Datenverarbeitungseinrichtung (18, 46), die zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 22 ausgebildet ist.

26. Vorrichtung nach Anspruch 25, dadurch gekennzeichnet, daß das Videosystem (14, 42) eine Stereokamera (44, 48a, 48b) aufweist.

27. Vorrichtung nach Anspruch 25, dadurch gekennzeichnet, daß das Videosystem und der optoelektronische Sensor zu einem Sensor integriert sind.

28. Vorrichtung nach Anspruch 25 oder 27, dadurch gekennzeichnet,
daß das Videosystem eine Anordnung von Photodetektionselementen aufweist,
daß der optoelektronische Sensor ein Laserscanner ist, und
daß die Anordnung von Photodetektionselementen synchron mit einem zur Abtastung eines Sichtbereichs des Laserscanners verwendeten Strahlungsbündel und/oder mindestens einem zur Detektion von Strahlung dienenden Photodetektionselement des Laserscanners, insbesondere um eine gemeinsame Achse, verschwenkbar ist.