DE10154861A1 - Verfahren zur Bereitstellung von Bildinformationen - Google Patents
Verfahren zur Bereitstellung von BildinformationenInfo
- Publication number
- DE10154861A1 DE10154861A1 DE10154861A DE10154861A DE10154861A1 DE 10154861 A1 DE10154861 A1 DE 10154861A1 DE 10154861 A DE10154861 A DE 10154861A DE 10154861 A DE10154861 A DE 10154861A DE 10154861 A1 DE10154861 A1 DE 10154861A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- video
- pixels
- depth
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Bei einem Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich eines optoelektronischen Sensors, insbesondere eines Laserscanners, zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene und im Sichtbereich eines Videosystems mit mindestens einer Videokamera liegt, werden von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem erfaßte Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit von dem Videosystem erfaßten Daten umfassen, bereitgestellt. Auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte wird wenigstens ein dem Gegenstandspunkt entsprechender, von dem Videosystem erfaßter Bildpunkt bestimmt. Dem Bildpunkt des Videobildes entsprechende Daten und der Bildpunkt des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts werden einander zugeordnet.
Description
- Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich.
- Vielfach werden Überwachungsbereiche mit Vorrichtungen zur Bilderfassung überwacht, um Veränderungen in diesen Bereichen zu erkennen. Insbesondere kommen dazu auch Verfahren zur Erkennung und Verfolgung von Objekten zum Einsatz, bei denen auf der Basis von sequentiell erfaßten Bildern des Überwachungsbereichs Objekte erkannt und verfolgt werden, die Gegenständen in dem Überwachungsbereich entsprechen. Ein wichtiger Anwendungsbereich solcher Verfahren ist die Überwachung des Bereichs vor einem Fahrzeug oder des gesamten Nahbereichs um das Fahrzeug herum.
- Vorzugsweise werden zur Objekterkennung und -verfolgung Vorrichtungen zur Bilderfassung verwendet, mit denen tiefenaufgelöste Bilder erfaßt werden können. Solche tiefenaufgelösten Bilder enthalten Informationen über die Lage von erfaßten Gegenständen relativ zu der bilderfassenden Vorrichtung und insbesondere den Abstand wenigstens von Punkten auf der Oberfläche solcher Gegenstände von der bilderfassenden Vorrichtung oder Daten, aus denen dieser Abstand ableitbar ist.
- Als bilderfassende Vorrichtungen können beispielsweise Laserscanner zur Erfassung tiefenaufgelöster Bilder verwendet werden, die bei einer Abtastung einen Sichtbereich mit mindestens einem gepulsten Strahlungsbündel abtasten, das einen vorgegebenen Winkelbereich überstreicht und von einem Punkt bzw. Bereich eines Gegenstands, meist diffus, reflektierte Strahlungspulse des Strahlungsbündels detektieren. Dabei wird zur Entfernungsmessung die Laufzeit der ausgesandten, reflektierten und detektierten Strahlungspulse erfaßt. Die so erfaßten Rohdaten für einen Bildpunkt können dann als Koordinaten den Winkel, bei dem der Reflex erfaßt wurde, und die aus der Laufzeit der Strahlungspulse bestimmte Entfernung des Gegenstandspunkts enthalten. Bei der Strahlung kann es sich insbesondere um sichtbares oder infrarotes Licht handeln.
- Solche Laserscanner liefern zwar sehr genauer Lageinformationen und insbesondere sehr genaue Abstände zwischen Gegenstandspunkten und Laserscanner, doch werden diese in der Regel nur in der Erfassungsebene, in der das Strahlungsbündel bewegt wird, bereitgestellt, so daß es sehr schwierig sein kann, allein auf der Basis der Lageinformationen in dieser Ebene einen erfaßten Gegenstand zu klassifizieren. So kann beispielsweise eine Ampel, von der nur der die Lichtzeichen tragende Pfahl erfaßt wird, nicht ohne weiteres von einem Laternenpfahl oder einem Baum unterschieden werden, der einen Stamm gleichen Durchmessers in der Erfassungsebene aufweist. Ein weiteres für die Anwendung wichtiges Beispiel wäre die Unterscheidung zwischen einer Person und einem Baum.
- Tiefenaufgelöste Bilder sind auch mit Videosystemen mit Stereokameras erfaßbar. Die Genauigkeit der Tiefeninformation sinkt jedoch mit zunehmendem Abstand des Objekts von dem Stereokamerasystem, was eine Objekterkennung und -verfolgung erschwert. Darüber hinaus sollte der Abstand zwischen den Kameras des Stereokamerasystems im Hinblick auf eine möglichst hohe Genauigkeit der Tiefeninformation möglichst hoch sein, was bei beschränktem Bauraum, wie er insbesondere in einem Fahrzeug vorliegt, problematisch ist.
- Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren bereitzustellen, mit dem Bildinformationen bereitgestellt werden können, die eine gute Objekterkennung und -verfolgung gestatten.
- Die Aufgabe wird nach einer ersten Alternative gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
- Erfindungsgemäß wird ein Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich eines optoelektronischen Sensors zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene und im Sichtbereich eines Videosystems mit mindestens einer Videokamera liegt, bereitgestellt, bei dem von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem erfaßte Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit von dem Videosystem erfaßten Daten umfassen, bereitgestellt werden, auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte wenigstens ein dem Gegenstandspunkt entsprechender, von dem Videosystem erfaßter Bildpunkt bestimmt wird, und dem Bildpunkt des Videobildes entsprechende Daten und der Bildpunkt des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts einander zugeordnet werden.
- Bei dem erfindungsgemäßen Verfahren werden die Bilder zweier Vorrichtungen zur Bilderfassung verwendet, deren Sichtbereiche jeweils den Überwachungsbereich einschließen, der insbesondere auch einem der beiden Sichtbereiche entsprechen kann. Der Sichtbereich eines Videosystems ist in der Regel dreidimensional, der eines optoelektronischen Sensors zur Lageerkennung, beispielsweise eines Laserscanners, aber nur zweidimensional. Unter der Formulierung, daß der Überwachungsbereich in dem Sichtbereich eines Sensors liegt, wird daher im Fall eines zweidimensionalen Sichtbereichs verstanden, daß die Projektion des Überwachungsbereichs auf die Erfassungsebene, in der der optoelektronische Sensor Lageinformationen erfaßt, innerhalb des Sichtbereichs des optoelektronischen Sensors liegt.
- Bei der einen Vorrichtung zur Bilderfassung handelt es sich um mindestens einen optoelektronischen Sensor zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene, d. h. zur Erfassung tiefenaufgelöster Bilder, die Daten über Abstände von Gegenstandspunkten von dem Sensor in Richtung der von dem Sensor empfangenen, von den jeweiligen Gegenstandspunkten ausgehenden elektromagnetischen Strahlung direkt oder indirekt enthalten. Solche tiefenaufgelösten Bilder des optoelektronischen Sensors werden in dieser Anmeldung als Tiefenbilder bezeichnet.
- Optoelektronische Sensoren zur Erfassung solcher tiefenaufgelöster Bilder sind grundsätzlich bekannt. So können beispielsweise Systeme mit Stereo-Videokameras verwendet werden, die eine Einrichtung zur Umsetzung der von den Kameras aufgenommenen Intensitätsbilder in tiefenaufgelöste Bilder aufweisen. Vorzugsweise werden jedoch Laserscanner verwendet, die eine sehr genaue Lagebestimmung erlauben. Insbesondere kann es sich um die eingangs genannten Laserscanner handeln.
- Als zweite Vorrichtung zur Bilderfassung wird ein Videosystem mit mindestens einer Videokamera verwendet, bei der es sich beispielsweise um eine Zeile von Photodetektionselementen oder, bevorzugt, um Kameras mit CCD- oder CMOS-Flächensensoren handeln kann. Die Videokameras können dabei im sichtbaren oder im infraroten Bereich des elektromagnetischen Spektrums arbeiten. Das Videosystem kann wenigstens eine monokulare Videokamera oder auch eine Stereokamera bzw. Stereokameraanordnung aufweisen. Das Videosystem erfaßt Videobilder seines Sichtbereichs, die Bildpunkte mit beispielsweise Intensitäts- und/oder Farbinformation enthalten können. Die in einer Zeile, Spalte oder auf einer Fläche angeordneten Photodetektionselemente einer Kamera können dabei in bezug auf den optoelektronischen Sensor zur Erfassung von Tiefenbildern fest angeordnet oder - bei Verwendung von Laserscannern der zuvor genannten Art - bevorzugt auch synchron mit dem Strahlungsbündel und/oder wenigstens einem Photodetektionselement des Laserscanners, das reflektierte oder remittierte Strahlung des Strahlungsbündels detektiert, bewegt werden.
- Erfindungsgemäß werden zunächst von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem erfaßte Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit von dem Videosystem erfaßten Daten umfassen, bereitgestellt. Die Bereitstellung kann durch direkte Übertragung der Bilder von dem Sensor bzw. dem Videosystem oder durch Auslesen aus einem Speichermedium, in dem entsprechende Daten gespeichert sind, erfolgen. Bei den Bildern kommt es nur darauf an, daß beide eine Abbildung eines gleichen Bereichs, der grundsätzlich kleiner als der Überwachungsbereich sein kann, aufweisen, so daß dem Gegenstandspunkt entsprechende Bildpunkte sowohl in dem Tiefenbild als auch in dem Videobild erscheinen können.
- Auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte wird dann wenigstens ein dem Gegenstandspunkt entsprechender, von dem Videosystem erfaßter Bildpunkt bestimmt. Im Ergebnis wird so zu einem Bildpunkt des Tiefenbildes ein entsprechender Bildpunkt in dem Videobild bestimmt.
- Daraufhin werden dem Bildpunkt des Videobildes entsprechende Daten dem Bildpunkt des Tiefenbildes und/oder den Lagekoordinaten des Gegenstandspunkts bzw. den Daten der Bildpunkt und die Lagekoordinaten zugeordnet, wodurch eine gegenseitige Ergänzung der Bildinformationen stattfindet. Lagedaten des Tiefenbildes werden also Videodaten des Videobildes zugeordnet, bei denen es sich um beliebige sich unmittelbar oder durch eine Zwischenauswertung aus den Bildpunkten des Videobildes ergebende Daten handeln kann. Beispielsweise können die Daten in Abhängigkeit von der Ausbildung des Videosystems Intensitäts- oder Farbinformationen, bei Verwendung von Infrarotkameras auch Temperaturinformationen, aufweisen.
- So erhaltene Daten für einen Gegenstandspunkt können beispielsweise als neue Bildpunkte mit Datenelementen für Lagekoordinaten und Intensitäts- oder Farbinformation ausgegeben, abgespeichert oder in einem parallel ablaufenden Verfahren, beispielsweise zur Objekterkennung und -verfolgung direkt verwendet werden.
- Durch das erfindungsgemäße Verfahren können für einen Gegenstandspunkt Daten nicht nur hinsichtlich entweder der Lage oder anderer, weiterer, beispielsweise optischer Eigenschaften von Gegenstandspunkten bereitgestellt werden, wie dies bei einfachen Sensoren und Videokameras der Fall ist, sondern sowohl hinsichtlich der Lage als auch der weiteren Eigenschaften. Beispielsweise können zusätzlich zur Lage Intensität und/oder Farbe für einen Gegenstandspunkt bereitgestellt werden.
- Die einem Bildpunkt zugeordnete größere Anzahl von Daten erlaubt es, bei Objekterkennungs- und -verfolgungsverfahren nicht nur die Lageinformation, sondern auch Videoinformationen zu benutzen. Dies kann beispielsweise bei einer Segmentierung, einer Segment-Objekt-Zuordnung oder der Klassifizierung von Objekten sehr vorteilhaft sein, da die größere Anzahl von Informationen bzw. Daten eine sicherere Identifikation erlaubt.
- Die Bestimmung eines einem Gegenstandspunkt in dem Tiefenbild entsprechenden Bildpunktes in dem Videobild kann auf verschiedene Art und Weise erfolgen. Vorzugsweise ist hierzu die relative Lage des optoelektronischen Sensors zu der Videokamera bzw. dem Videosystem, das heißt Abstand im Raum und relative Orientierung, bekannt. Die Bestimmung der Relativlage kann zum Beispiel durch Kalibrierung erfolgen. Eine weitere vorzugsweise Bauform ist die Kombination von Videosystem und Laserscanner in einem Gerät, wodurch die Kalibrierung einmalig beim Herstellungsprozeß erfolgen kann.
- Wird beispielsweise ein Videosystem mit einer Stereokamera verwendet, das tiefenaufgelöste Bilder bereitstellt, kann die Bestimmung allein durch Vergleich der Lageinformation erfolgen. Insbesondere bei Verwendung von Videosystemen, die keine tiefenaufgelösten Bilder bereitstellen, wird jedoch bevorzugt der dem Gegenstandspunkt eines Tiefenbildes entsprechende Bildpunkt des Videobildes in Abhängigkeit von den Abbildungseigenschaften des Videosystems bestimmt. Unter den Abbildungseigenschaften werden in dieser Anmeldung insbesondere auch Brennweiten abbildender Vorrichtungen der Videokamera oder des Videosystems sowie deren Abstand von Empfangselementen wie z. B. CCD- oder CMOS- Flächensensoren verstanden. Weist beispielsweise die Videokamera eine abbildende Vorrichtung wie zum Beispiel ein Linsensystem auf, die den Sichtbereich auf ein Photodetektorfeld, z. B. einen CCD- oder CMOS- Flächensensor, abbildet, kann aus den Lagekoordinaten eines Bildpunktes in dem Tiefenbild unter Beachtung der Abbildungseigenschaften der abbildenden Vorrichtung berechnet werden, auf welches der Photodetektorelemente in dem Photodetektorfeld der dem Bildpunkt entsprechende Gegenstandspunkt abgebildet wird, woraus sich ergibt, welchem Bildpunkt des Videobildes der Bildpunkt des Tiefenbildes entspricht. Je nach Größe der Photodetektorelemente, Auflösungsvermögen der abbildenden Vorrichtung und Lage des Gegenstandspunktes können einem Gegenstandspunkt auch mehrere Bildpunkte des Videobildes zugeordnet werden.
- Wenn sich die Sichtwinkel von optoelektronischem Sensor und Videosystem unterscheiden, kann bei einer Vielzahl von Gegenständen im Überwachungsbereich der Fall eintreten, daß ein in dem Tiefenbild sichtbarer Gegenstandspunkt in dem Videobild durch einen anderen Gegenstandspunkt ganz oder teilweise verdeckt ist. Es ist daher bevorzugt, daß auf der Basis der Lagekoordinaten eines von dem optoelektronischen Sensor erfaßten Gegenstandspunkts in dem Tiefenbild und wenigstens der Lage und Orientierung des Videosystems festgestellt wird, ob der Gegenstandspunkt in dem von dem Videosystem erfaßten Videobild ganz oder teilweise verdeckt ist. Hierzu sollte die Position der Videokamera des Videosystems relativ zu dem optoelektronischen Sensor bekannt sein. Diese Position kann entweder durch die Anbringung des optoelektronischen Sensors und des Videosystems in einer präzisen Relativlage und -orientierung vorgegeben oder insbesondere auch durch Kalibrierung bestimmt werden.
- Weiterhin ist es bevorzugt, daß die Bestimmung von Gegenstandspunkten entsprechenden Bildpunkten des Videobildes und die Zuordnung entsprechender Daten zu den Gegenstandspunkten entsprechenden Bildpunkten des Tiefenbildes für Gegenstandspunkte in einem vorgegebenen Fusionsbereich erfolgt. Bei dem Fusionsbereich kann es sich um einen zunächst beliebigen Bereich im Überwachungsbereich handeln, der beispielsweise in Abhängigkeit von der Verwendung der bereitzustellenden Daten vorgegeben werden kann. Damit kann unabhängig vom Überwachungsbereich insbesondere ein kleinerer, innerhalb des Überwachungsbereichs liegender Bereich vorgegeben werden, in dem die Ergänzung von Daten stattfinden soll. Der Fusionsbereich entspricht dann einer "region of interest". Durch die Vorgabe solcher Fusionsbereiche kann das Verfahren deutlich beschleunigt werden.
- Bei einer bevorzugten Ausführungsform des Verfahrens werden das Tiefenbild und das Videobild jeweils zunächst segmentiert. Mindestens einem Segment in dem Tiefenbild wird dann wenigstens ein Segment des Videobildes zugeordnet, das Bildpunkte enthält, die wenigstens einigen der Bildpunkte des Segments des Tiefenbildes entsprechen. Dabei kann zwar die Segmentierung des Tiefenbildes und die Segmentierung des Videobildes beispielsweise bei Videosystemen, die tiefenaufgelöste Bilder erfassen, nach gleichen Kriterien erfolgen, doch erfolgt bevorzugt die Segmentierung in dem Tiefenbild unter Verwendung von Lageinformationen, insbesondere Nachbarschaftskriterien, und die Segmentierung in dem Videobild nach anderen, beispielsweise in der Bildverarbeitung von Videobildern bekannten Kriterien, beispielsweise auf der Basis von Intensitäten, Farben, Texturen und/oder Kanten von Bildbereichen. Die entsprechenden Daten können durch Vorverarbeitungsstufen, beispielsweise Bilddatenfilterung, ermittelt werden. Diese Zuordnung ermöglicht es, Bildpunkten in dem Tiefenbild als Daten Segmente des Videobildes zuzuordnen. Damit kann insbesondere auch Information in Richtungen senkrecht zur Erfassungsebene des Tiefenbildes, in der die Abtastung durch den optoelektronischen Sensor erfolgt, erhalten werden. Dabei kann es sich beispielsweise um die Ausdehnung des Segments bzw. eines diesem Segment zugeordneten Objekts in einer dritten Dimension handeln. Anhand solcher Information kann eine Klassifizierung von Objekten bei einem Objekterkennungs- und -verfolgungsverfahren sehr erleichtert werden. Beispielsweise kann ein einzelner Leitpfosten an einer Straße allein aufgrund der Höhe leicht von einer Straßenlaterne unterschieden werden, obwohl sich beide Gegenstände in dem Tiefenbild nicht oder kaum unterscheiden.
- Weiter ist es bevorzugt, daß das Tiefenbild segmentiert wird, daß in einem Bereich des Videobildes, der Bildpunkte enthält, die Bildpunkten wenigstens eines Segments in dem Tiefenbild entsprechen, nach einem vorgegebenen Muster gesucht wird, und daß das Ergebnis der Suche dem Segment und/oder den das Segment bildenden Bildpunkten als Daten zugeordnet wird. Bei dem Muster kann es sich allgemein um ein Bild eines Bereichs eines Gegenstands handeln, beispielsweise um ein Bild eines Verkehrszeichens oder ein Bild einer Fahrbahnmarkierung. Die Erkennung des Musters in dem Videobild kann dabei mit aus der Videobildverarbeitung bekannten Mustererkennungsverfahren erfolgen. Diese Weiterbildung des Verfahrens ist besonders dann vorteilhaft, wenn aufgrund von Informationen über mögliche Gegenstände in dem Überwachungsbereich bereits Vermutungen aufgestellt werden können, was für Gegenständen bzw. diese darstellenden Objekten ein Segment in dem Tiefenbild entsprechen könnte. Beispielsweise kann bei Auftreten eines Segments, das dem Pfahl eines Verkehrsschildes entsprechen könnte, ein Ausschnitt in dem Videobild, dessen Breite durch die Größe und Lage des Segments und die Ausdehnung des größten erwarteten Objekts, beispielsweise eines Verkehrsschilds, gegeben ist, auf das Abbild eines bestimmten Verkehrsschildes hin untersucht werden, und dem Segment eine entsprechende Information, zum Beispiel der Typ des Verkehrsschildes, zugeordnet werden.
- Bevorzugt können mit Hilfe einer Bildauswertung der Videobilder für Objekte, die mittels des optoelektronischen Sensors erkannt wurden, beispielsweise deren Höhe, Farbe und Materialeigenschaften ermittelt werden. Bei Verwendung einer Thermokamera als Videokamera kann auch zusätzlich auf die Temperatur geschlossen werden, was die Klassifikation einer Person deutlich erleichtert.
- Die Kombination von Informationen des Videobildes mit denen des Tiefenbildes kann auch der Erkennung von Gegenständen oder bestimmter Bereiche auf den Gegenständen dienen, die nur in einem der Bilder vorhanden sind, beziehungsweise eine Interpretation eines der Bilder stützen. Beispielsweise kann ein Videosystem den weißen Strich einer Fahrbahnbegrenzungsmarkierung detektieren, der mit einem Scanner mit vergleichsweise geringer Tiefen- und Winkelauflösung nicht detektierbar ist. Es kann aber auch aus der Bewegung der anderen Objekte und aus der Fahrbahnranddetektion auf Plausibilität der Spurerkennung aus dem Videobild geschlossen werden.
- Die der Erfindung zugrundeliegende Aufgabe wird nach einer zweiten Alternative durch ein erfindungsgemäßes Verfahren mit den Merkmalen des Anspruchs 7 gelöst.
- Danach wird ein Verfahren zur Bereitstellung von Bildinformationen über einen Überwachungsbereich, der im Sichtbereich eines optoelektronischen Sensors zur Erfassung der Lage von Gegenständen in wenigstens einer Erfassungsebene und im Sichtbereich eines Videosystems zur Erfassung tiefenaufgelöster, dreidimensionaler Videobilder mit mindestens einer Videokamera liegt, geschaffen, bei dem von dem optoelektronischen Sensor erfaßte Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder mehreren erfaßten Gegenständen in dem Überwachungsbereich entsprechende Bildpunkte enthalten, und von dem Videosystem erfaßte Videobildern eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit Lagekoordinaten der Gegenstandspunkte enthalten, bereitgestellt werden, Bildpunkte in dem Videobild, die sich nahe oder in der Erfassungsebene des Tiefenbildes befinden, durch eine Translation und/oder Rotation an entsprechende Bildpunkte des Tiefenbildes angepaßt werden, und die Lagekoordinaten dieser Bildpunkte des Videobildes entsprechend der bestimmten Translation und/oder Rotation korrigiert werden.
- Die Ausführungen in bezug auf den Zusammenhang zwischen den Sichtbereichen des optoelektronischen Sensors und des Videosystems und dem Überwachungsbereich bei dem erindungsgemäßen Verfahren nach der ersten Alternative treffen auch entsprechend für das erfindungsgemäße Verfahren nach der zweiten Alternative zu.
- Im Hinblick auf den optoelektronischen Sensor und die von diesem erfaßten Tiefenbilder gelten die in bezug auf das erfindungsgemäße Verfahren nach der ersten Alternative gemachten Ausführungen auch für das erfindungsgemäße Verfahren nach der zweiten Alternative.
- Das Videosystem, das wie das Videosystem bei dem Verfahren nach der ersten Alternative mindestens eine Videokamera aufweist, für die die Ausführungen oben auch entsprechend gelten, ist bei dem Verfahren nach der zweiten Alternative zur Erfassung tiefenaufgelöster, dreidimensionaler Videobilder ausgebildet. Das Videosystem kann dazu eine monokulare Kamera und eine Auswerteeinrichtung aufweisen, mit der aus aufeinanderfolgend erfaßten Videobildern mit bekannten Verfahren Lagedaten für Bildpunkte bereitgestellt werden. Bevorzugt werden jedoch Videosysteme mit Stereo-Videokameras verwendet, die zur Bereitstellung tiefenaufgelöster Bilder im oben genannten Sinne ausgebildet sind und entsprechende Auswerteeinrichtungen zur Bestimmung der tiefenaufgelösten Bilder aus den von den Videokameras erfaßten Daten aufweisen können. Wie bereits oben ausgeführt, können die Videokameras CCD- oder CMOS-Flächensensoren und eine abbildende Vorrichtung aufweisen, die den Sichtbereich der Videokameras auf die Flächensensoren abbildet.
- Nach der Bereitstellung des Tiefenbildes und des tiefenaufgelösten Videobildes, die unmittelbar durch Übertragung aktueller Bilder bzw. entsprechender Daten von dem optoelektronischen Sensor bzw. dem Videosystem oder durch Auslesen entsprechender Daten aus einer Speichereinrichtung erfolgen kann, werden Bildpunkte in dem Videobild, die sich nahe oder in der Erfassungsebene des Tiefenbildes befinden, durch eine Translation und/oder Rotation an entsprechende Bildpunkte des Tiefenbildes angepaßt. Hierzu sollten wenigstens die relative Ausrichtung von optoelektronischem Sensor und Videokamera sowie deren Relativlage, insbesondere der Abstand des Videosystems von der Erfassungsebene in einer Richtung senkrecht zu der Erfassungsebene, in der das Tiefenbild von dem optoelektronischen Sensor erfaßt wird, im folgenden als "Höhe" bezeichnet, bekannt sein.
- Die Anpassung kann auf unterschiedliche Weise erfolgen. Bei einer ersten Variante werden die Lagekoordinaten aller Bildpunkte eines Segments auf die Erfassungsebene des optoelektronischen Sensors projiziert. Durch Mittelwertbildung der so projizierten Bildpunkte wird dann eine Lage des Segments in der Erfassungsebene des optoelektronischen Sensors definiert. Beispielsweise bei Verwendung geeigneter rechtwinkliger Koordinatensysteme, bei denen eine Achse senkrecht zur Erfassungsebene ausgerichtet ist, bedeutet das Verfahren allein eine Mittelung über die Koordinaten in der Erfassungsebene.
- Bei einer zweiten, bevorzugten Variante werden zur Anpassung nur die Bildpunkte des tiefenaufgelösten Videobildes verwendet, die in oder nahe der Erfassungsebene liegen. Bevorzugt werden als nahe der Erfassungsebene liegende Bildpunkte solche Bildpunkte aufgefaßt, die einen vorgegeben Höchstabstand von der Erfassungsebene aufweisen. Wenn das Videobild segmentiert ist, kann der Höchstabstand beispielsweise durch den Abstand in einer Richtung senkrecht zur Erfassungsebene benachbarter Bildpunkte eines die Erfassungsebene schneidenden Segments des Videobildes gegeben sein.
- Die Anpassung kann durch Optimierungsverfahren erfolgen, bei denen beispielsweise der - einfache oder quadratische - Abstand der sich entsprechenden Bildpunkte oder die Summe der - einfachen oder quadratischen Abstände - aller betrachteten Bildpunkte minimiert wird, wobei je nach der zur Verfügung stehenden Rechenzeit die Minimierung gegebenenfalls nur teilweise erfolgen kann. Unter "Abstand" wird hierbei jede Funktion der Koordinaten der Bildpunkte verstanden, die Kriterien für einen Abstand von Punkten in einem Vektorraum erfüllt. Bei der Anpassung wird wenigstens eine Translation und/oder Rotation ermittelt, die notwendig ist, um die Bildpunkte des Videobildes an die des Tiefenbildes anzupassen.
- Daraufhin werden die Lagekoordinaten dieser Bildpunkte des Videobildes entsprechend der bestimmten Translation und/oder Rotation korrigiert.
- Bevorzugt werden über die bei der Anpassung verwendeten Bildpunkte hinaus auch in der Richtung senkrecht zu der Erfassungsebene liegende Bildpunkte des Videobildes entsprechend korrigiert.
- Zur Anpassung können alle Bildpunkte des Überwachungsbereichs, aber auch beliebige kleinere Mengen von Bildpunkten verwendet werden. In dem ersten Fall entspricht die Anpassung einer Kalibrierung der Lage des Tiefenbildes und des Videobildes.
- Die korrigierten Koordinaten können dann, insbesondere als Bild, ausgegeben, abgespeichert oder bei einem parallel ablaufenden Verfahren verwendet werden.
- Da die Lageinformation in den Tiefenbildern, insbesondere bei Verwendung von Laserscannern, deutlich genauer als die Lageinformation in Sichtrichtung bei Videosystemen ist, können so sehr genaue, tiefenaufgelöste, dreidimensionale Bilder bereitgestellt werden. Es werden die genauen Lageinformationen des Tiefenbildes mit den genauen Lageinformationen des Videobildes in dazu senkrechten Richtungen zu einem sehr genauen dreidimensionalen Bild kombiniert, was eine auf diesen Daten basierende Objekterkennung und -verfolgung wesentlich erleichtert. Beispielsweise können Werbetafeln mit Bildern als Flächen erkannt werden, so daß eine Fehlinterpretation des Videobildes vermieden werden kann.
- Im Unterschied zu dem erfindungsgemäßen Verfahren nach der ersten Alternative, bei dem im wesentlichen die Lageinformation durch weitere Daten ergänzt wird, wird bei dem Verfahren nach der zweiten Alternative also die Genauigkeit der Lageinformationen in einem dreidimensionalen, tiefenaufgelösten Bild erhöht, was eine Objekterkennung und -verfolgung wesentlich erleichtert.
- Insbesondere können aufgrund der vorhandenen dreidimensionalen Informationen Objekte sehr leicht klassifiziert werden.
- Weiterhin ist erfindungsgemäß eine Kombination mit dem Verfahren nach der ersten Alternative möglich, wonach weitere Videoinformationen den Bildpunkten des Videobildes zugeordnet werden.
- Obwohl das Verfahren nach der zweiten Alternative allein schon mit Bildpunkten durchführbar ist, ist es bevorzugt, daß jeweils erfaßte Bilder segmentiert werden, daß mindestens ein Segment in dem Videobild, das Bildpunkte in oder nahe der Ebene des Tiefenbildes aufweist, wenigstens durch eine Translation und/oder Rotation an ein entsprechendes Segment in dem Tiefenbild angepaßt wird, und daß die Lagekoordinaten dieser Bildpunkte des Segments des Videobildes entsprechend der Translation und/oder Rotation korrigiert werden. Besonders bevorzugt werden die Lagekoordinaten aller Bildpunkte des Segments korrigiert. Die Segmentierung kann für beide Bilder auf der Basis sich entsprechender Kriterien erfolgen, was in der Regel eine Segmentierung nach Abstandskriterien zwischen benachbarten Bildpunkten bedeutet. Es können jedoch auch für das Tiefenbild und das Videobild unterschiedliche Kriterien verwendet werden, insbesondere können für das Videobild in der Bildverarbeitung von Videobildern bekannte Kriterien, beispielsweise eine Segmentierung nach Intensität, Farbe, und/oder Kanten, erfolgen. Durch die Korrektur der Lagen aller Bildpunkte des Segments wird dieses dann insgesamt in eine genauere Lage gebracht. Das Verfahren nach dieser Ausführungsform hat den Vorteil, daß nicht unbedingt gleiche Anzahlen von Bildpunkten in dem Tiefenbild und dem tiefenaufgelösten Videobild bzw. Ausschnitten davon vorliegen müssen. Bei der Anpassung, für die entsprechende Verfahren wie bei der Anpassung der Bildpunkte verwendet werden können, können insbesondere die Summen der einfachen oder quadratischen Abstände aller Bildpunkte des Segments des Tiefenbildes von allen Bildpunkten des Segments des Videobildes in oder nahe der Erfassungsebene im Sinne der ersten oder zweiten Variante als zu minimierende Funktion verwendet werden, so daß sich eine einfache, aber genaue Anpassung realisieren läßt.
- Grundsätzlich kann das Verfahren nach der zweiten Alternative für jedes Segment einzeln durchgeführt werden, so daß im wesentlichen eine lokale Korrektur erfolgt. Es ist jedoch bevorzugt, daß die Anpassung für alle Segmente des Tiefenbildes gemeinsam durchgeführt wird, so daß Tiefenbild und Videobild in der Erfassungsebene insgesamt möglichst gut zur Deckung gebracht werden, was einer Kalibrierung der relativen Lage und Ausrichtung von optoelektronischem Sensor und Videosystem gleichkommt.
- Bei einer anderen Ausführungsform ist es bevorzugt, daß die Anpassung nur für Segmente in einem vorgegebenen Fusionsbereich durchgeführt wird, der ein vorgegebener Teilbereich des Überwachungsbereichs ist und beispielsweise in Abhängigkeit von der späteren Verwendung der bereitzustellenden Bildinformationen gewählt sein kann. Durch diese definierte Einschränkung auf einen Teil des Überwachungsbereichs, der für eine weitere Verarbeitung nur von Interesse ist ("region-of-interest"), kann das Verfahren erheblich beschleunigt werden.
- Die folgenden Weiterbildungen beziehen sich auf die erfindungsgemäßen Verfahren nach der ersten und der zweiten Alternative.
- Die erfindungsgemäßen Verfahren können verflochten mit anderen Verfahren, beispielsweise zur Objekterkennung und -verfolgung, ausgeführt werden. Dabei können die Bildinformationen, d. h. bei dem Verfahren nach der ersten Alternative wenigstens die Lageinformationen und die weiteren Daten aus dem Videobild, und bei dem Verfahren nach der zweiten Alternative die korrigierten Lageinformationen, nur bei Bedarf gebildet werden. Bei den erfindungsgemäßen Verfahren ist es jedoch bevorzugt, daß die bereitgestellten Bildinformationen wenigstens die Lagekoordinaten von Gegenstandspunkten enthalten und als tiefenaufgelöstes Bild verwendet werden. Die so bereitgestellten Daten können dann wie ein tiefenaufgelöstes Bild behandelt, d. h. beispielsweise ausgegeben oder gespeichert, werden.
- Werden bei den Verfahren Fusionsbereiche verwendet, ist es bevorzugt, daß der Fusionsbereich auf der Basis eines vorgegebenen Ausschnittes des Videobildes und der Abbildungseigenschaften des Videosystems bestimmt wird. Durch diese Art der Vorgabe des Fusionsbereichs kann ausgehend von einem Videobild das Tiefenbild dazu verwendet werden, für ausgewählte Ausschnitte des Videobildes Lageinformationen aus dem Tiefenbild zu gewinnen, die bei der Auswertung des Videobildes benötigt werden. Damit wird auch die Identifikation eines Objekts in einem Videobild stark erleichtert, da sich häufig ein mutmaßliches Objekt von anderen allein aufgrund der Tiefeninformation abhebt.
- Bei einer anderen bevorzugten Weiterbildung wird auf der Basis der Daten eines der tiefenaufgelösten Bilder oder der zusammengeführten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt und der Fusionsbereich anhand von Daten der Objekterkennung und -verfolgung bestimmt. Damit kann insbesondere eine Ergänzung von Lageinformationen aus dem Tiefenbild, das für eine Objekterkennung und -verfolgung verwendet wird, durch entsprechende Informationen aus dem Videobild erfolgen. Der Fusionsbereich kann dabei durch die Ausdehnung von Segmenten im Tiefenbild oder auch die Größe eines bei der Objekterkennung verwendeten Suchbereichs für verfolgte Objekte gegeben sein. Durch die zusätzliche Information aus dem Videobild kann dann eine Klassifizierung von Objekten bzw. eine Segment-Objekt-Zuordnung mit hoher Sicherheit erfolgen. Insbesondere kann von dem optoelektronischen Sensor die vermutliche Position eines Objekts im Videobild angezeigt werden, ohne daß schon eine Klassifikation erfolgt. Eine Videobildverarbeitung braucht dann nur in dem eingeschränkten Fusionsbereich nach Objekten zu suchen, was die Geschwindigkeit und Zuverlässigkeit der Suchalgorithmen erheblich verbessert. Bei einer späteren Klassifikation von Objekten können dann sowohl die geometrischen Messungen des optoelektronischen Sensors, insbesondere eines Laserscanners, als auch die visuellen Eigenschaften, ermittelt durch die Videobildverarbeitung, herangezogen werden, was die Zuverlässigkeit der erzielten Aussagen ebenfalls deutlich verbessert. Insbesondere kann beispielsweise ein Laserscanner Fahrbahnbegrenzungen in Form von Leit- bzw. Begrenzungspfosten detektieren, woraus auf die Lage der Fahrbahn geschlossen werden kann. Diese Informationen können von dem Videosystem dazu verwendet werden, die weißen Fahrbahnbegrenzungslinien im Videobild schneller zu finden.
- Bei einer anderen bevorzugten Weiterbildung wird der Fusionsbereich anhand von Daten über die vermutliche Lage von Gegenständen oder bestimmten Bereichen auf den Gegenständen bestimmt. Die vermutliche Lage von Gegenständen kann sich dabei aus Informationen von anderen Systemen ergeben. Bei Anwendungen im Fahrzeugbereich kann der Fusionsbereich bevorzugt anhand von Daten aus einer digitalen Straßenkarte, gegebenenfalls in Verbindung mit einem Global Positioning System- Empfänger, bestimmt werden. Anhand der digitalen Karte kann beispielsweise der Verlauf der Fahrbahn mit großer Genauigkeit vorhergesagt werden. Diese Vermutung kann dann zur Stützung der Interpretation der Tiefen- und/oder Videobilder verwendet werden.
- Bei einer weiteren bevorzugten Ausführungsform der erfindungsgemäßen Verfahren werden mehrere Tiefenbilder eines oder mehrerer optoelektronischer Sensoren verwendet, die Lageinformationen von Objekten in verschiedenen Erfassungsebenen enthalten. Besonders bevorzugt können hierzu Laserscanner verwendet werden, die ausgesendete elektromagnetische Strahlung mit mehreren benachbarten Detektoren empfangen, die nicht parallel zu den Erfassungsebenen angeordnet sind, in der sich das abtastende Strahlungsbündel bewegt. Dadurch werden insbesondere bei der Verwendung von Tiefenbildern von Laserscannern sehr genaue Lagedaten in mehr als zwei Dimensionen erhalten, die insbesondere bei den erfindungsgemäßen Verfahren eine bessere Interpretation bzw. Korrektur der Videodaten erlauben.
- Dabei ist es besonders bevorzugt, daß bei dem Verfahren nach der zweiten Alternative die Anpassung für Segmente in wenigstens zwei der mehreren Tiefenbilder gleichzeitig erfolgt. Die Anpassung für mehrere Tiefenbilder in einem Schritt ermöglicht eine konsistente Korrektur der Lageinformationen in dem Videobild, so daß auch die Lagedaten, insbesondere in einem tiefenaufgelösten Bild, für geneigte Flächen sehr genau korrigiert werden können.
- Bestimmte Typen von optoelektronischen Sensoren wie zum Beispiel Laserscanner erfassen Tiefenbilder, indem bei einer Abtastung des Sichtbereichs die Bildpunkte nacheinander erfaßt werden. Bewegt sich der optoelektronische Sensor relativ zu Gegenständen im Sichtbereich, erscheinen unterschiedliche Gegenstandspunkte desselben Gegenstands bedingt durch die Bewegung des Gegenstands relativ zu dem Sensor gegeneinander verschoben. Weiterhin können sich Verschiebungen relativ zu dem Videobild des Videosystems ergeben, da auf der Zeitskala, auf der Abtastungen des Sichtbereichs eines Laserscanners erfolgen (typischerweise im Bereich von etwa 10 Hz), die Videobilder praktisch instantan erfaßt werden. Solche Verschiebungen führen nicht nur zu Ungenauigkeiten in den Lagen der Bildpunkte in dem Tiefenbild, sondern auch zu Schwierigkeiten bei der Zusammenführung von Tiefenbildern und Videobildern.
- Wird ein Tiefenbild verwendet, das dadurch erhalten wurde, daß bei einer Abtastung des Sichtbereichs des optoelektronischen Sensors die Bildpunkte nacheinander erfaßt wurden, ist es daher bevorzugt, daß vor der Bestimmung der Bildpunkte in dem Videobild oder der Anpassung der Lagekoordinaten die Lagekoordinaten der Bildpunkte des Tiefenbildes jeweils entsprechend der tatsächlichen oder einer daran angenäherten Bewegung des optoelektronischen Sensors und der Differenz zwischen den Erfassungszeitpunkten der jeweiligen Bildpunkte des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden. Wird eine Segmentierung durchgeführt, wird die Korrektur bevorzugt vor der Segmentierung durchgeführt. Die Bewegung des Sensors kann dabei zum Beispiel je nach Güte der Korrektur über dessen Geschwindigkeit oder auch über dessen Geschwindigkeit und Beschleunigung berücksichtigt werden, wobei hierbei vektorielle Größen, das heißt Größen mit Betrag und Richtung, gemeint sind. Die Daten über diese kinematischen Größen können zum Beispiel eingelesen werden. Ist der Sensor an einem Fahrzeug angebracht, so können zum Beispiel über entsprechende Fahrzeugsensoren die Eigengeschwindigkeit des Fahrzeugs und der Lenkwinkel oder die Gierrate verwendet werden, um die Bewegung des Sensors zu spezifizieren. Dabei kann zur Berechnung der Bewegung des Sensors aus den kinematischen Daten eines Fahrzeugs auch dessen Position an dem Fahrzeug berücksichtigt werden. Die Bewegung des Sensors bzw. die kinematischen Daten können jedoch auch aus einer entsprechenden parallelen Objekterkennung und -verfolgung in dem optoelektronischen Sensor oder einer nachfolgenden Objekterkennung bestimmt werden. Weiterhin kann ein GPS- Positionserkennungssystem, bevorzugt mit digitaler Karte, verwendet werden.
- Vorzugsweise werden kinematische Daten verwendet, die in zeitlicher Nähe zu der Abtastung und besonders bevorzugt während der Abtastung durch den Sensor erfaßt werden.
- Zur Korrektur können bevorzugt aus den kinematischen Daten der Bewegung und der Zeitdifferenz zwischen dem Erfassungszeitpunkt des jeweiligen Bildpunkts des Tiefenbildes und einem Bezugszeitpunkt mit geeigneten kinematischen Formeln die durch die Bewegung innerhalb der Zeitdifferenz verursachten Verschiebungen berechnet und die Koordinaten in den Bildpunkten des Tiefenbildes entsprechend korrigiert werden. Grundsätzlich können jedoch auch modifizierte kinematische Beziehungen verwendet werden. Zur einfacheren Berechnung der Korrektur kann es vorteilhaft sein, die Bildpunkte des Tiefenbildes zunächst einer Transformation, insbesondere in ein kartesisches Koordinatensystem, zu unterwerfen. Abhängig davon, in welcher Form die korrigierten Bildpunkte des Tiefenbildes vorliegen sollen, kann eine Rücktransformation nach der Korrektur sinnvoll sein.
- Ein Fehler in den Positionen der Bildpunkte des Tiefenbildes kann auch dadurch hervorgerufen werden, daß sich zwei Objekte, von denen eines zu Beginn der Abtastung und das andere gegen Ende der Abtastung erfaßt wurde, mit hoher Geschwindigkeit gegeneinander bewegen. Dies kann dazu führen, daß bedingt durch die zeitliche Latenz zwischen den Erfassungszeitpunkten die Positionen der Objekte gegeneinander verschoben sind. Bevorzugt wird daher in dem Fall, daß Tiefenbilder verwendet werden, die dadurch erhalten wurden, daß bei einer Abtastung des Sichtbereichs des optoelektronischen Sensors die Bildpunkte nacheinander erfaßt wurden, eine Folge von Tiefenbildern erfaßt und eine Objekterkennung und/oder -verfolgung auf der Basis der Bildpunkte der Bilder des Überwachungsbereichs durchgeführt, wobei jedem erkannten Objekt Bildpunkte und jedem dieser Bildpunkte bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden und vor der Bestimmung der Bildpunkte im Videobild oder vor der Segmentbildung die Lagekoordinaten der Bildpunkte des Tiefenbildes unter Verwendung der Ergebnisse der Objekterkennung und/oder -verfolgung korrigiert. Zur Korrektur der Lageinformationen wird also parallel zur Bilderfassung und Auswertung eine Objekterkennung und -verfolgung durchgeführt, die die erfaßten Daten wenigstens des optoelektronischen Sensors bzw. Laserscanners verarbeitet. Bei der Objekterkennung und/oder -verfolgung für jede Abtastung können bekannte Verfahren benutzt werden, wobei grundsätzlich schon vergleichsweise einfache Verfahren ausreichen. Insbesondere kann ein solches Verfahren unabhängig von einem aufwendigen Objekterkennungs- und -verfolgungsverfahren erfolgen, bei dem die erfaßten Daten verarbeitet werden und beispielsweise eine aufwendige Objektklassifizierung durchgeführt wird, wobei bereits eine Verfolgung von Segmenten in dem Tiefenbild ausreichen kann.
- Auch durch diese Korrektur wird die Gefahr herabgesetzt, daß es zu Problemen bei der Zusammenführung von Bildpunkten des Tiefenbildes mit Bildpunkten des Videobildes kommt. Darüber hinaus wird die nachfolgende Verarbeitung der Bildpunkte erleichtert.
- Besonders bevorzugt werden bei der Korrektur die Lagekoordinaten der Bildpunkte entsprechend der ihnen zugeordneten Bewegungsdaten und der Differenz zwischen der Erfassungszeit der Bildpunkte des Tiefenbildes und einem Bezugszeitpunkt korrigiert.
- Bei den Bewegungsdaten kann es sich wiederum insbesondere um kinematische Daten handeln, wobei die zur Korrektur verwendeten Verschiebungen wie oben aus den vektoriellen Geschwindigkeiten und gegebenenfalls Beschleunigungen der Objekte und der Zeitdifferenz zwischen der Erfassungszeit eines Bildpunktes des Tiefenbildes und dem Bezugszeitpunkt erfolgt.
- Die genannten Korrekturen können alternativ oder kumulativ angewendet werden.
- Bei diesen Korrekturverfahren können, wenn nicht zu hohe Anforderungen an die Genauigkeit der Korrektur gestellt werden, Näherungen für die Erfassungszeit der Bildpunkte des Tiefenbildes verwendet werden. Insbesondere bei Verwendung eines Laserscanners der oben genannten Art kann davon ausgegangen werden, daß aufeinanderfolgende Bildpunkte in konstanten zeitlichen Abständen erfaßt wurden. Aus der Zeit für eine Abtastung bzw. der Abtastfrequenz und der Anzahl der dabei aufgenommenen Bildpunkte läßt sich damit der zeitliche Abstand aufeinanderfolgender Erfassungen von Bildpunkten und mittels dieses zeitlichen Abstandes und der Reihenfolge der Bildpunkte eine Erfassungszeit bezogen auf den ersten Bildpunkt bzw., wenn auch negative Zeiten verwendet werden, auf einen beliebige Bildpunkt bestimmen. Obwohl der Bezugszeitpunkt grundsätzlich frei gewählt werden kann, ist es bevorzugt, daß er für jede Abtastung zwar getrennt, aber jeweils gleich gewählt wird, da dann auch nach einer Vielzahl von Abtastungen keine Differenzen großer Zahlen auftreten und weiterhin keine Verschiebung der Positionen durch Variation des Bezugszeitpunkts aufeinanderfolgender Abtastungen bei bewegtem Sensor erfolgt, was eine nachfolgende Objekterkennung und -verfolgung erschweren könnte.
- Besonders bevorzugt ist es dabei, daß der Bezugszeitpunkt der Zeitpunkt der Erfassung des Videobildes ist. Durch diese Wahl des Bezugszeitpunkts wird insbesondere eine Verschiebung von Bildpunkten, die relativ zu dem Sensor oder relativ zueinander bewegten Gegenständen entsprechen, aufgrund der gegenüber dem Videosystem verschobenen Erfassungszeit korrigiert, wodurch die Zusammenführung von Tiefen- und Videobild zu besseren Ergebnissen führt.
- Kann der Erfassungszeitpunkt des Videobildes mit der Abtastung des Sichtbereichs des optoelektronischen Sensors synchronisiert werden, ist es besonders bevorzugt, daß der Erfassungszeitpunkt und damit der Bezugszeitpunkt zwischen der frühesten als Erfassungszeit eines Bildpunktes des Tiefenbildes definierten Zeit einer Abtastung und der zeitlich letzten als Erfassungszeit eines Bildpunktes des Tiefenbildes definierten Zeit der Abtastung liegt. Hierdurch wird gewährleistet, daß Fehler, die durch die Näherung in der kinematischen Beschreibung entstehen, möglichst gering gehalten werden. Besonders vorteilhaft kann als Bezugszeitpunkt ein Erfassungszeitpunkt eines der Bildpunkte der Abtastung gewählt werden, so daß dieses als Erfassungszeit innerhalb der Abtastung die Zeit Null erhält.
- Bei einer weiteren bevorzugten Ausführungsform des Verfahrens werden als erster Schritt ein Tiefenbild und ein Videobild erfaßt und deren Daten für die weiteren Verfahrensschritte bereitgestellt.
- Weiterer Gegenstand der Erfindung ist ein Verfahren zur Erkennung und Verfolgung von Objekten, bei dem Bildinformationen über den Überwachungsbereich mit einem Verfahren nach einem der vorhergehenden Ansprüche bereitgestellt werden, und auf der Basis der bereitgestellten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt wird.
- Darüber hinaus ist Gegenstand der Erfindung auch ein Computerprogramm mit Programmcode-Mitteln, um eines der erfindungsgemäßen Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
- Gegenstand der Erfindung ist auch ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um eines der erfindungsgemäßen Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.
- Unter einem Computer wird hierbei eine beliebige Datenverarbeitungsvorrichtung verstanden, mit der das Verfahren ausgeführt werden kann. Insbesondere kann diese digitale Signalprozessoren und/oder Mikroprozessoren aufweisen, mit denen das Verfahren ganz oder in Teilen ausgeführt wird.
- Schließlich ist Gegenstand der Erfindung eine Vorrichtung zur Bereitstellung von tiefenaufgelösten Bildern eines Überwachungsbereichs, mit mindestens einem optoelektronischen Sensor zur Erfassung der Lage von Gegenständen in wenigstens einer Ebene, insbesondere einem Laserscanner, einem Videosystem mit mindestens einer Videokamera und einer mit dem optoelektronischen Sensor und dem Videosystem verbundenen Datenverarbeitungseinrichtung, die zur Durchführung eines der erfindungsgemäßen Verfahren ausgebildet ist.
- Bevorzugt weist das Videosystem eine Stereokamera auf. Besonders bevorzugt ist das Videosystem zur Erfassung tiefenaufgelöster, dreidimensionaler Bilder ausgebildet. Die zur Bildung des tiefenaufgelösten Videobildes aus den Bildern der Stereokamera erforderliche Einrichtung kann entweder in dem Videosystem enthalten sein oder durch die Datenverarbeitungseinrichtung gegeben sein, in der die entsprechenden Operationen durchgeführt werden.
- Um die Lage und Ausrichtung von optoelektronischem Sensor und Videosystem fest vorgeben zu können, ist es bevorzugt, den optoelektronischem Sensor und das Videosystem zu einem Sensor zu integrieren, so daß deren räumliche Anordnung zueinander bereits bei der Herstellung festgelegt wird. Andernfalls ist eine Kalibrierung notwendig. Besonders bevorzugt liegt eine optische Achse einer abbildenden Vorrichtung einer Videokamera des Videosystems zumindest im Bereich des optoelektronischen Sensors nahe, vorzugsweise in der Erfassungsebene. Diese Anordnung erlaubt eine besonders einfache Bestimmung von einander zugeordneten Bildpunkten des Tiefen- und des Videobildes. Weiterhin ist es besonders bevorzugt, daß das Videosystem eine Anordnung von Photodetektionselementen aufweist, der optoelektronische Sensor ein Laserscanner ist, und die Anordnung von Photodetektionselementen synchron mit einem zur Abtastung eines Sichtbereichs des Laserscanners verwendeten Strahlungsbündel und/oder mindestens einem zur Detektion von Strahlung dienenden Photodetektionselement des Laserscanners, insbesondere um eine gemeinsame Achse, verschwenkbar ist, da hierdurch auch die Probleme im Hinblick auf die Synchronisation der Erfassung von Videobild und Tiefenbild reduziert werden. Bei der Anordnung von Photodetektionselementen kann es sich insbesondere um eine Zeile, Spalte oder eine flächige Anordnung wie zum Beispiel eine Matrix handeln. Vorzugsweise wird zur Erfassung von Bildpunkten auch in einer Richtung senkrecht zur Erfassungsebene eine Spalte oder eine flächige Anordnung verwendet.
- Ausführungsformen der Erfindung werden nun beispielhaft anhand der Zeichnung beschrieben. Es zeigen:
- Fig. 1 eine schematische Draufsicht auf ein Fahrzeug mit einem Laserscanner, einem Videosystem mit einer monokularen Kamera und einem vor dem Fahrzeug befindlichen Pfahl,
- Fig. 2 eine teilweise schematische Seitenansicht des Fahrzeugs und des Pfahls in Fig. 1,
- Fig. 3 eine schematische teilweise Darstellung eines von dem Videosystem in Fig. 1 erfaßten Videobildes,
- Fig. 4 eine schematische Draufsicht auf ein Fahrzeug mit einem Laserscanner, einem Videosystem mit einer Stereokamera und einem vor dem Fahrzeug befindlichen Pfahl, und
- Fig. 5 eine teilweise, schematische Seitenansicht des Fahrzeugs und des Pfahls in Fig. 4.
- In den Fig. 1 und 2 trägt ein Fahrzeug 10 zur Überwachung des Bereichs vor dem Fahrzeug an seiner Frontseite einen Laserscanner 12 und ein Videosystem 14 mit einer monokularen Videokamera 16. In dem Fahrzeug befindet sich weiterhin eine mit dem Laserscanner 12 und dem Videosystem 14 verbundene Datenverarbeitungseinrichtung 18. In Fahrtrichtung vor dem Fahrzeug befindet sich ein Pfahl 20.
- Der Laserscanner 12 weist einen in Fig. 1 nur teilweise gezeigten Sichtbereich 22 auf, der aufgrund der Anbaulage symmetrisch zur Längsachse des Fahrzeugs 10 einen Winkel von etwas mehr als 180° abdeckt. Der Sichtbereich 22 ist in Fig. 1 nur schematisch und zur besseren Darstellung insbesondere in radialer Richtung zu klein dargestellt. In dem Sichtbereich 22 befindet sich beispielhaft der Pfahl 20 als zu erfassender Gegenstand.
- Der Laserscanner 12 tastet seinen Sichtbereich 22 in grundsätzlich bekannter Weise mit einem mit konstanter Winkelgeschwindigkeit umlaufenden, gepulsten Laserstrahlungsbündel 24 ab, wobei ebenfalls umlaufend in konstanten Zeitabständen Δt zu Zeiten τi in festen Winkelbereichen um einen mittleren Winkel αi detektiert wird, ob das Strahlungsbündel 24 von einem Punkt 26 bzw. Bereich eines Gegenstands wie des Pfahls 20 reflektiert wird. Der Index i läuft dabei von 1 bis zur Anzahl der Winkelbereiche im Sichtbereich 22. Von diesen Winkelbereichen ist in Fig. 1 nur ein Winkelbereich gezeigt, der dem mittleren Winkel αi zugeordnet ist. Hierbei ist der Winkelbereich zur deutlicheren Darstellung übertrieben groß gezeigt. Der Sichtbereich 22 ist, wie in Fig. 2 erkennbar, bis auf die Aufweitung des Strahlenbündels 24 zweidimensional und liegt in einer Erfassungsebene. Anhand der Laufzeit des Laserstrahlpulses wird der Sensorabstand di des Gegenstandspunktes 26 von dem Laserscanner 12 ermittelt. Der Laserscanner 12 erfaßt daher als Koordinaten in dem Bildpunkt für den Gegenstandspunkt 26 des Pfahls 20 den Winkel αi und den bei diesem Winkel festgestellten Abstand di, das heißt die Position des Gegenstandspunkts 26 in Polarkoordinaten.
- Die Menge der bei einer Abtastung erfaßten Bildpunkte bildet ein Tiefenbild im Sinne der vorliegenden Anmeldung.
- Der Laserscanner 12 tastet seinen Sichtbereich 22 jeweils in aufeinanderfolgenden Abtastungen ab, so daß eine zeitliche Folge von Abtastungen und entsprechenden Tiefenbildern entsteht.
- Die monokulare Videokamera 16 des Videosystems 14 ist eine konventionelle Schwarz-Weiß-Videokamera mit einem CCD-Flächensensor 28 und einer abbildenden Vorrichtung, die in den Fig. 1 und 2 schematisch als einfache Linse 30 dargestellt ist, tatsächlich aber aus einem Linsensystem besteht, und aus dem Sichtbereich 32 des Videosystems einfallendes Licht auf den CCD-Flächensensor 28 abbildet. Der CCD-Flächensensor 28 weist in einer Matrix angeordnete Photodetektionselemente auf. Signale der Photodetektionselemente werden ausgelesen, wobei Videobilder mit Bildpunkten gebildet werden, die die Positionen der Photodetektionselemente in der Matrix oder eine andere Kennung für die Photodetektionselemente und jeweils einen der Intensität des von dem entsprechenden Photodetektionselement empfangenen Lichts entsprechenden Intensitätswert enthalten. Die Videobilder werden in diesem Ausführungsbeispiel mit der gleichen Rate erfaßt, mit der von dem Laserscanner 12 Tiefenbilder erfaßt werden.
- Von dem Pfahl 20 ausgehendes Licht wird durch die Linse 30 auf den CCD-Flächensensor 28 abgebildet. Dies ist in den Fig. 1 und 2 für die Umrisse des Pfahls 30 durch die kurzgestrichelten Linien schematisch angedeutet.
- Aus dem Abstand von CCD-Flächensensor 28 und Linse 30 sowie aus der Lage und den Abbildungseigenschaften der Linse 30, beispielsweise deren Brennweite, kann aus der Lage eines Gegenstandspunktes, z. B. des Gegenstandspunktes 26, auf dem Pfahl 20 berechnet werden, auf welche der matrixförmig angeordneten Photodetektionselemente der Gegenstandspunkt abgebildet wird.
- Ein Überwachungsbereich 34 ist in den Fig. 1 und 2 schematisch durch eine gepunktete Linie näherungsweise dargestellt und durch den Teil des Sichtbereichs 32 des Videosystems gegeben, dessen Projektion auf die Ebene des Sichtbereichs 22 des Laserscanners innerhalb des Sichtbereichs 22 liegt. Innerhalb dieses Überwachungsbereichs 34 befindet sich der Pfahl 20.
- Zur Verarbeitung der Bilder des Laserscanners 12 und des Videosystems 14 ist die Datenverarbeitungseinrichtung 18 vorgesehen, die dazu mit dem Laserscanner 12 und dem Videosystem 14 verbunden ist. Die Datenverarbeitungseinrichtung 18 weist unter anderem einen zur Ausführung des erfindungsgemäßen Verfahrens programmierten digitalen Signalprozessor und eine mit dem digitalen Signalprozessor verbundene Speichereinrichtung auf. Bei einer anderen Ausführungsform der erfindungsgemäßen Vorrichtung zur Bereitstellung von Bildinformationen kann die Datenverarbeitungseinrichtung auch einen konventionellen Prozessor aufweisen, mit dem ein in der Datenverarbeitungseinrichtung gespeichertes erfindungsgemäßes Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens ausgeführt wird.
- Bei einem ersten Verfahren zur Bereitstellung von Bildinformationen nach einer bevorzugten ersten Ausführungsform des erfindungsgemäßen Verfahrens nach der ersten Alternative werden zunächst von dem Laserscanner 12 ein Tiefenbild und von dem Videosystem 14 ein Videobild erfaßt.
- Zur einfacheren Darstellung wird angenommen, daß sich im Überwachungsbereich 34 nur der Pfahl 20 befindet. Das von dem Laserscanner 12 erfaßte Tiefenbild weist dann Bildpunkte 26, 36' und 38' auf, die den Gegenstandspunkten 26, 36 und 38 entsprechen. Diese Bildpunkte sind in Fig. 1 und Fig. 2 zusammen mit den entsprechenden Gegenstandspunkten gekennzeichnet. Von dem Videobild sind in Fig. 3 nur die Bildpunkte 40 des Videobildes gezeigt, die im wesentlichen gleiche Intensitätswerte aufweisen, da sie dem Pfahl 20 entsprechen.
- Die beiden Bilder werden dann segmentiert. Ein Segment des Tiefenbildes wird aus Bildpunkten gebildet, von denen wenigstens zwei höchstens einen vorgegebenen Maximalabstand haben. Im Beispiel bilden die Bildpunkte 26', 36' und 38' ein Segment.
- Die Segmente des Videobildes enthalten Bildpunkte, deren Intensitätswerte sich um weniger als einen kleinen vorgegebenen Maximalwert unterscheiden. In Fig. 3 ist das Ergebnis der Segmentierung gezeigt, wobei Bildpunkte des Videobildes nicht gezeigt sind, die nicht zu dem gezeigten Segment gehören, das dem Pfahl 20 entspricht. Das Segment hat also im wesentlichen eine Rechteckform, die der des Pfahls 20 entspricht.
- Soll bei einem Objekterkennungs- und -verfolgungsverfahren festgestellt werden, was für einem Gegenstand das aus den Bildpunkten 26', 36' und 38' des Tiefenbildes gebildete Segment entspricht, wird ergänzend die Information aus dem Videobild herangezogen. Als Fusionsbereich wird hier der gesamte Überwachungsbereich 34 vorgegeben.
- Aus den Lagekoordinaten der Bildpunkte 26', 36' und 38' des Tiefenbildes werden unter Berücksichtigung der relativen Lage des Videosystems 14 zu der Erfassungsebene des Laserscanners 12, der relativen Lage zu dem Laserscanner 12 sowie der Abbildungseigenschaften der Linse 30 diejenigen Photodetektionselemente bzw. Bildpunkte 39 des Videobildes berechnet, die den Gegenstandspunkten 26, 36 und 38 entsprechen und ebenfalls in Fig. 3 gezeigt sind.
- Da die berechneten Bildpunkte 39 in dem aus Bildpunkten 40 gebildeten Segment liegen, wird den den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkten 26', 36' und 38' bzw. dem daraus gebildeten Segment des Tiefenbildes das aus den Bildpunkten 40 gebildete Segment zugeordnet. Aus der Höhe des Segments kann dann bei gegebenem Abstand unter Berücksichtigung der Abbildungseigenschaften der Linse 30 die Höhe des Pfahls 20 berechnet werden. Auch diese Information kann den den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkten 26', 36' und 38' des Tiefenbildes zugeordnet werden. Aufgrund dieser Information kann beispielsweise darauf geschlossen werden, daß das Segment des Tiefenbildes einem Pfahl bzw. einem Objekt des Typs Pfahl und nicht einem eine geringere Höhe aufweisenden Leitpfosten entspricht. Diese Information kann ebenfalls den den Gegenstandspunkten 26, 26 und 38 entsprechenden Bildpunkten 26', 36' und 38' des Tiefenbildes zugeordnet werden.
- Diese Bildpunkte des Tiefenbildes können auch zusammen mit der zugeordneten Information ausgegeben oder gespeichert werden.
- Ein zweites Verfahren nach einer weiteren Ausführungsform der Erfindung nach der ersten Alternative unterscheidet sich von dem ersten Verfahren dadurch, daß nicht die Informationen des Tiefenbildes, sondern die Informationen des Videobildes ergänzt werden sollen. Nach der Segmentierung wird daher der Fusionsbereich anders definiert. Im Beispiel wird aus der Lage des aus den Bildpunkten 40 des Videobildes gebildeten Segments im Bereich bzw. auf Höhe der Erfassungsebene des Laserscanners 12 in Abhängigkeit von den Abbildungseigenschaften der Linse 30 berechnet, welchem Bereich in der Erfassungsebene des Laserscanners 12 das Segment in dem Videobild entsprechen kann. Da der Abstand des aus den Bildpunkten 40 gebildeten Segments von dem Videosystem 14 zunächst nicht bekannt ist, ergibt sich ein ganzer Fusionsbereich. Für in diesem Fusionsbereich liegende Bildpunkte des Tiefenbildes wird dann wie bei dem ersten Verfahren eine Zuordnung zu dem Segment in dem Videobild bestimmt. Damit läßt sich der Abstand des Segments in dem Videobild von dem Laserscanner 12 bestimmen. Diese Information stellt dann eine Ergänzung der Videobilddaten dar, die bei einer Bildverarbeitung des Videobildes berücksichtigt werden kann.
- Ein weiteres Ausführungsbeispiel der Erfindung nach der zweiten Alternative wird nun anhand der Fig. 4 und 5 beschrieben. Für Gegenstände, die denen in den vorherigen Ausführungsbeispielen entsprechen, werden im folgenden die gleichen Bezugszeichen verwendet und bezüglich der genaueren Beschreibung auf das obige Ausführungsbeispiel verwiesen.
- In Fig. 4 trägt ein Fahrzeug 10 zur Überwachung des Bereichs vor dem Fahrzeug einen Laserscanner 12 und ein Videosystem 42 mit einer Stereokamera 44. In dem Fahrzeug 10 befindet sich weiterhin eine mit dem Laserscanner 12 und dem Videosystem 42 verbundene Datenverarbeitungseinrichtung 46. In Fahrtrichtung vor dem Fahrzeug befindet sich wieder ein Pfahl 20.
- Während der Laserscanner 12 wie im ersten Ausführungsbeispiel aufgebaut ist und seinen Sichtbereich 22 in gleicher Weise abtastet, ist bei dem vorliegenden Ausführungsbeispiel statt eines Videosystems mit einer monokularen Videokamera das Videosystem 42 mit der Stereokamera 44 vorgesehen, das zur Erfassung tiefenaufgelöster Bilder ausgebildet ist. Die Stereokamera wird dabei durch zwei an den vorderen äußeren Kanten des Fahrzeugs 10 angebrachten monokularen Videokameras 48a und 48b und eine Auswerteeinrichtung 50 gebildet, die mit den Videokameras 48a und 48b verbunden ist und deren Signale zu tiefenaufgelösten, dreidimensionalen Videobildern verarbeitet.
- Die monokularen Videokameras 48a und 48b sind jeweils wie die Videokamera 16 des ersten Ausführungsbeispiels aufgebaut und in einer fest vorgegebenen Geometrie so gegeneinander orientiert, daß deren Sichtbereiche 52a und 52b sich überschneiden. Der Überschneidungsbereich der Sichtbereiche 52a und 52b bildet den Sichtbereich 32 der Stereokamera 44 bzw. des Videosystems 42.
- Die von den Videokameras 48a und 48b erfaßten Bildpunkte innerhalb des Sichtbereichs 32 des Videosystems werden der Auswerteeinrichtung 50 zugeführt, die aus diesen Bildpunkten unter Berücksichtigung der Lage und Ausrichtung der Videokameras 48a und 48b ein tiefenaufgelöstes Bild berechnet, das Bildpunkte mit dreidimensionalen Lagekoordinaten und Intensitätsinformationen enthält.
- Der Überwachungsbereich 34 ist wie beim ersten Ausführungsbeispiel durch die Sichtbereiche 22 und 32 des Laserscanners 12 bzw. des Videosystems 42 gegeben.
- Der Laserscanner erfaßt mit hoher Genauigkeit Bildpunkte 26', 36' und 38', die den Gegenstandspunkten 26, 36 und 38 auf dem Pfahl 20 entsprechen.
- Das Videosystem erfaßt Bildpunkte in drei Dimensionen. Die in Fig. 4 gezeigten, von dem Videosystem 42 erfaßten, den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkte 26", 36" und 38" weisen aufgrund des zur Erfassung verwendeten Verfahrens größere Lageungenauigkeiten in Richtung der Tiefe des Bildes auf. Das heißt, daß die durch die Lagekoordinaten eines Bildpunktes gegebenen Abstände von dem Videosystem nicht sehr genau sind.
- In Fig. 5 sind weitere Bildpunkte 54 des tiefenaufgelösten Videobildes dargestellt, die unmittelbar keinen Bildpunkten in dem Tiefenbild des Laserscanners 12 entsprechen, da sie sich nicht in oder nahe der Erfassungsebene befinden, in der die Gegenstandspunkte 26, 36 und 38 liegen. Der Übersichtlichkeit halber wurden weitere Bildpunkte weggelassen.
- Zur Verarbeitung der Bilder des Laserscanners 12 und des Videosystems 42 ist die Datenverarbeitungseinrichtung 46 vorgesehen, die dazu mit dem Laserscanner 12 und dem Videosystem 42 verbunden ist. Die Datenverarbeitungseinrichtung 42 weist unter anderem einen zur Ausführung des erindungsgemäßen Verfahrens nach der zweiten Alternative programmierten digitalen Signalprozessor und eine mit dem digitalen Signalprozessor verbundene Speichereinrichtung auf. Bei einer anderen Ausführungsform der erfindungsgemäßen Vorrichtung zur Bereitstellung von Bildinformationen kann die Datenverarbeitungseinrichtung auch einen konventionellen Prozessor aufweisen, mit dem ein erfindungsgemäßes Computerprogramm zur Durchführung einer Ausführungsform des erindungsgemäßen, im folgenden geschilderten Verfahrens ausgeführt wird.
- Wie bei dem ersten Ausführungsbeispiel werden von dem Laserscanner 12 ein Tiefenbild und von dem Videosystem 42 ein tiefenaufgelöstes, dreidimensionales Videobild erfaßt und eingelesen. Daraufhin werden die Bilder segmentiert, wobei die Segmentierung des Videobildes auch bereits in der Auswerteeinrichtung 50 vor oder bei der Berechnung der tiefenaufgelösten Bilder erfolgt sein kann. Wie beim ersten Ausführungsbeispiel bilden die den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkte 26', 36' und 38' des Tiefenbildes ein Segment des Tiefenbildes.
- In dem Segment des Videobildes, das im Beispiel die in den Fig. 4 und 5 gezeigten Bildpunkte 26", 36", 38" und 54 sowie weitere nicht gezeigte Bildpunkte umfaßt, werden die Bildpunkte bestimmt, die einen vorgegebenen maximalen Abstand von der Erfassungsebene aufweisen, in dem sich das Strahlungsbündel 24 bewegt. Geht man davon aus, daß die tiefenaufgelösten Bilder in der Richtung senkrecht zur Erfassungsebene entsprechend der Struktur der CCD-Flächensensoren der Videokameras 48a und 48b Schichten von Bildpunkten aufweisen, kann der maximale Abstand beispielsweise durch den Abstand der Schichten gegeben sein.
- Durch diesen Schritt wird ein Teilsegment des Segments des Videobildes mit den Bildpunkten 26", 36" und 38" bereitgestellt, das dem Segment des Tiefenbildes entspricht.
- Durch Bestimmung einer optimalen Translation und/oder einer optimalen Rotation des Teilsegments wird nun die Lage des Teilsegments an die wesentlich genauer bestimmt Lage des Tiefensegments angepaßt. Dazu wird die Summe der quadratischen Abstände der Lagekoordinaten aller Bildpunkte des Segments des Tiefenbildes von den durch eine Translation und/oder Rotation transformierten Lagekoordinaten aller Bildpunkte des Teilsegments als Funktion der Translation und/oder Rotation minimiert. Zur Korrektur der Lagekoordinaten des gesamten Segments des Videobildes werden die Lagekoordinaten mit der so bestimmten optimalen Translation und/oder Rotation transformiert. Dadurch wird das gesamte Segment des Videobildes in der Erfassungsebene so ausgerichtet, daß es in dem Bereich, in dem es die Erfassungsebene schneidet, die in bezug auf das durch den Laserscanner bestimmte Segment des Tiefenbildes optimale Lage in der Erfassungsebene aufweist.
- Bei einer anderen Ausführungsform des Verfahrens kann auch ausgehend von einem Segment des Tiefenbildes ein geeignetes Segment des Videobildes bestimmt werden, wobei nach der Anpassung wiederum ein genaues dreidimensionales tiefenaufgelöstes Bild bereitgestellt wird.
- Während bei dem erfindungsgemäßen Verfahren nach der ersten Alternative also eine Ergänzung der Bildinformation des Tiefenbildes durch das Videobild oder umgekehrt erfolgt, wird bei dem erfindungsgemäßen Verfahren nach der zweiten Alternative durch Korrektur eines tiefenaufgelösten dreidimensionalen Videobildes ein dreidimensionales tiefenaufgelöstes Bild mit hoher Genauigkeit der Tiefeninformation zumindest in der Erfassungsebene bereitgestellt. Bezugszeichenliste 10 Fahrzeug
12 Laserscanner
14 Videosystem
16 monokulare Videokamera
18 Datenverarbeitungseinrichtung
20 Pfahl
22 Sichtbereich des Laserscanners
24 Laserstrahlungsbündel
26, 26', 26" Gegenstandspunkt, Bildpunkt
28 CCD-Flächensensor
30 Linse
32 Sichtbereich des Videosystems
34 Überwachungsbereich
36, 36', 36" Gegenstandspunkt, Bildpunkt
38, 38', 38" Gegenstandspunkt, Bildpunkt
39 berechnete Bildpunkte
40 Bildpunkte
42 Videosystem
44 Stereokamera
46 Datenverarbeitungseinrichtung
48a, b Videokameras
50 Auswerteeinrichtung
52a, b Sichtbereiche
54 Bildpunkte
Claims (28)
1. Verfahren zur Bereitstellung von Bildinformationen über einen
Überwachungsbereich, der im Sichtbereich (22) eines
optoelektronischen Sensors (12), insbesondere eines Laserscanners, zur
Erfassung der Lage von Gegenständen (20) in wenigstens einer
Erfassungsebene und im Sichtbereich (32) eines Videosystems (14) mit
mindestens einer Videokamera (16) liegt, bei dem
von dem optoelektronischen Sensor (12) erfaßte Tiefenbilder, die jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren erfaßten Gegenständen (20) in dem Überwachungsbereich entsprechende Bildpunkte (26, 36', 38') mit Lagekoordinaten der entsprechenden Gegenstandspunkte (26, 36, 38) enthalten, und von dem Videosystem (14) erfaßte Videobilder eines die Gegenstandspunkte (26, 36, 38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 54) mit von dem Videosystem (14) erfaßten Daten umfassen, bereitgestellt werden,
auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte (26, 36, 38) wenigstens ein dem Gegenstandspunkt (26, 36, 38) entsprechender, von dem Videosystem (14) erfaßter Bildpunkt (26", 36", 38", 54) bestimmt wird, und
dem Bildpunkt (26", 36", 38", 54) des Videobildes entsprechende Daten und der Bildpunkt (26', 36', 38') des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts (26, 36, 38) einander zugeordnet werden.
von dem optoelektronischen Sensor (12) erfaßte Tiefenbilder, die jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren erfaßten Gegenständen (20) in dem Überwachungsbereich entsprechende Bildpunkte (26, 36', 38') mit Lagekoordinaten der entsprechenden Gegenstandspunkte (26, 36, 38) enthalten, und von dem Videosystem (14) erfaßte Videobilder eines die Gegenstandspunkte (26, 36, 38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 54) mit von dem Videosystem (14) erfaßten Daten umfassen, bereitgestellt werden,
auf der Basis der erfaßten Lagekoordinaten wenigstens eines der Gegenstandspunkte (26, 36, 38) wenigstens ein dem Gegenstandspunkt (26, 36, 38) entsprechender, von dem Videosystem (14) erfaßter Bildpunkt (26", 36", 38", 54) bestimmt wird, und
dem Bildpunkt (26", 36", 38", 54) des Videobildes entsprechende Daten und der Bildpunkt (26', 36', 38') des Tiefenbildes und/oder die Lagekoordinaten des Gegenstandspunkts (26, 36, 38) einander zugeordnet werden.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
daß der dem Gegenstandspunkt (26, 36, 38) entsprechende
Bildpunkt (26", 36", 38", 54) des Videobildes in Abhängigkeit von den
Abbildungseigenschaften des Videosystems (14) bestimmt wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
daß auf der Basis der Lagekoordinaten eines von dem
optoelektronischen Sensor (12) erfaßten Gegenstandspunkts (26, 36, 38) und der
Lage des Videosystems (14) festgestellt wird, ob der
Gegenstandspunkt (26, 36, 38) in dem von dem Videosystem (14) erfaßten
Videobild ganz oder teilweise verdeckt ist.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß die Bestimmung von Gegenstandspunkten (26, 36, 38)
entsprechenden Bildpunkten (26", 36", 38", 54) des Videobildes und die
Zuordnung entsprechender Daten zu den Gegenstandspunkten (26,
36, 38) entsprechenden Bildpunkten (26', 36', 38') des Tiefenbildes
für Gegenstandspunkte (26, 36, 38) in einem vorgegebenen
Fusionsbereich erfolgt.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß das Tiefenbild und das Videobild jeweils segmentiert werden, und
daß mindestens einem Segment in dem Tiefenbild wenigstens ein Segment des Videobildes zugeordnet wird, das Bildpunkte (26", 36", 38", 54) enthält, die wenigstens einigen der Bildpunkte (26', 36', 38') des Segments des Tiefenbildes entsprechen.
daß das Tiefenbild und das Videobild jeweils segmentiert werden, und
daß mindestens einem Segment in dem Tiefenbild wenigstens ein Segment des Videobildes zugeordnet wird, das Bildpunkte (26", 36", 38", 54) enthält, die wenigstens einigen der Bildpunkte (26', 36', 38') des Segments des Tiefenbildes entsprechen.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß das Tiefenbild segmentiert wird,
daß in einem Bereich des Videobildes, der Bildpunkte (26", 36", 38", 54) enthält, die Bildpunkten (26', 36, 38') wenigstens eines Segments in dem Tiefenbild entsprechen, nach einem vorgegebenen Muster gesucht wird, und
daß das Ergebnis der Suche dem Segment und/oder den das Segment bildenden Bildpunkten (26', 36', 38') als Daten zugeordnet wird.
daß das Tiefenbild segmentiert wird,
daß in einem Bereich des Videobildes, der Bildpunkte (26", 36", 38", 54) enthält, die Bildpunkten (26', 36, 38') wenigstens eines Segments in dem Tiefenbild entsprechen, nach einem vorgegebenen Muster gesucht wird, und
daß das Ergebnis der Suche dem Segment und/oder den das Segment bildenden Bildpunkten (26', 36', 38') als Daten zugeordnet wird.
7. Verfahren zur Bereitstellung von Bildinformationen über einen
Überwachungsbereich, der im Sichtbereich (22) eines
optoelektronischen Sensors (12) zur Erfassung der Lage von Gegenständen (20)
in wenigstens einer Erfassungsebene und im Sichtbereich (32) eines
Videosystems (42) zur Erfassung tiefenaufgelöster,
dreidimensionaler Videobilder mit mindestens einer Videokamera (44, 48a, 48b)
liegt, bei dem
von dem optoelektronischen Sensor (12) erfaßte Tiefenbilder, die jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren erfaßten Gegenständen (20) in dem Überwachungsbereich entsprechende Bildpunkte (26', 36', 38') enthalten, und von dem Videosystem (42) erfaßte Videobildern eines die Gegenstandspunkte (26, 36, 38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 54) mit Lagekoordinaten der Gegenstandspunkte (26, 36, 38) enthalten, bereitgestellt werden,
Bildpunkte (26", 36", 38", 54) in dem Videobild, die sich nahe oder in der Erfassungsebene des Tiefenbildes befinden, durch eine Translation und/oder Rotation an entsprechende Bildpunkte (26', 36', 38') des Tiefenbildes angepaßt werden, und
die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) des Videobildes entsprechend der bestimmten Translation und/oder Rotation korrigiert werden.
von dem optoelektronischen Sensor (12) erfaßte Tiefenbilder, die jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren erfaßten Gegenständen (20) in dem Überwachungsbereich entsprechende Bildpunkte (26', 36', 38') enthalten, und von dem Videosystem (42) erfaßte Videobildern eines die Gegenstandspunkte (26, 36, 38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 54) mit Lagekoordinaten der Gegenstandspunkte (26, 36, 38) enthalten, bereitgestellt werden,
Bildpunkte (26", 36", 38", 54) in dem Videobild, die sich nahe oder in der Erfassungsebene des Tiefenbildes befinden, durch eine Translation und/oder Rotation an entsprechende Bildpunkte (26', 36', 38') des Tiefenbildes angepaßt werden, und
die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) des Videobildes entsprechend der bestimmten Translation und/oder Rotation korrigiert werden.
8. Verfahren nach Anspruch 7,
dadurch gekennzeichnet,
daß jeweils erfaßte Bilder segmentiert werden,
daß mindestens ein Segment in dem Videobild, das Bildpunkte (26", 36", 38", 54) in oder nahe der Erfassungsebene des Tiefenbildes aufweist, wenigstens durch eine Translation und/oder Rotation an ein entsprechendes Segment in dem Tiefenbild angepaßt wird, und
daß die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) des Segments des Videobildes entsprechend der Translation und/oder Rotation korrigiert werden.
daß jeweils erfaßte Bilder segmentiert werden,
daß mindestens ein Segment in dem Videobild, das Bildpunkte (26", 36", 38", 54) in oder nahe der Erfassungsebene des Tiefenbildes aufweist, wenigstens durch eine Translation und/oder Rotation an ein entsprechendes Segment in dem Tiefenbild angepaßt wird, und
daß die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) des Segments des Videobildes entsprechend der Translation und/oder Rotation korrigiert werden.
9. Verfahren nach Anspruch 7 oder 8,
dadurch gekennzeichnet,
daß die Anpassung für alle Segmente des Tiefenbildes gemeinsam
durchgeführt wird.
10. Verfahren nach Anspruch 7 oder 8,
dadurch gekennzeichnet,
daß die Anpassung nur für Segmente in einem vorgegebenen
Fusionsbereich durchgeführt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß die bereitgestellten Bildinformationen wenigstens die
Lagekoordinaten von erfaßten Gegenstandspunkten (26, 36, 38) enthalten
und als tiefenaufgelöstes Bild verwendet werden.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß der Fusionsbereich auf der Basis eines vorgegebenen
Ausschnittes des Videobildes und der Abbildungseigenschaften des
Videosystems (14, 42) bestimmt wird.
13. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß auf der Basis der Daten eines der tiefenaufgelösten Bilder oder der bereitgestellten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt wird, und
daß der Fusionsbereich anhand von Daten der Objekterkennung und -verfolgung bestimmt wird.
daß auf der Basis der Daten eines der tiefenaufgelösten Bilder oder der bereitgestellten Bildinformationen eine Objekterkennung und -verfolgung durchgeführt wird, und
daß der Fusionsbereich anhand von Daten der Objekterkennung und -verfolgung bestimmt wird.
14. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß der Fusionsbereich anhand von Daten über die vermutliche
Lage von Gegenständen (20) oder bestimmten Bereichen auf den
Gegenständen (20) bestimmt wird.
15. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß der Fusionsbereich anhand von Daten aus einer digitalen
Straßenkarte in Verbindung mit einem GPS-Empfänger bestimmt wird.
16. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß mehrere Tiefenbilder eines oder mehrerer optoelektronischer
Sensoren (12) verwendet werden.
17. Verfahren nach Anspruch 16,
dadurch gekennzeichnet,
daß die Anpassung für Segmente in wenigstens zwei der mehreren
Tiefenbilder gleichzeitig erfolgt.
18. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß ein Tiefenbild verwendet wird, das dadurch erhalten wurde, daß bei einer Abtastung des Sichtbereichs (22) des optoelektronischen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander erfaßt wurden, und
daß vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Videobild oder der Segmentbildung die Lagekoordinaten der Bildpunkte (26', 36', 38') des Tiefenbildes jeweils entsprechend der tatsächlichen oder einer daran angenäherten Bewegung des optoelektronischen Sensors (12) und der Differenz zwischen den Erfassungszeitpunkten der jeweiligen Bildpunkte (26', 36', 38') des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden.
daß ein Tiefenbild verwendet wird, das dadurch erhalten wurde, daß bei einer Abtastung des Sichtbereichs (22) des optoelektronischen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander erfaßt wurden, und
daß vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Videobild oder der Segmentbildung die Lagekoordinaten der Bildpunkte (26', 36', 38') des Tiefenbildes jeweils entsprechend der tatsächlichen oder einer daran angenäherten Bewegung des optoelektronischen Sensors (12) und der Differenz zwischen den Erfassungszeitpunkten der jeweiligen Bildpunkte (26', 36', 38') des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden.
19. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß Tiefenbilder verwendet werden, die dadurch erhalten wurden, daß bei einer Abtastung des Sichtbereichs (22) des optoelektronischen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander erfaßt wurden,
daß eine Folge von Tiefenbildern erfaßt und eine Objekterkennung und/oder -verfolgung auf der Basis der Bildpunkte (26', 36', 38') der Bilder des Überwachungsbereichs durchgeführt wird, wobei jedem erkannten Objekt Bildpunkte (26', 36', 38') und jedem dieser Bildpunkte (26', 36', 38') bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden, und
daß vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Videobild oder vor der Anpassung der Lagekoordinaten die Lagekoordinaten der Bildpunkte (26', 36', 38') des Tiefenbildes unter Verwendung der Ergebnisse der Objekterkennung und/oder -verfolgung korrigiert werden.
daß Tiefenbilder verwendet werden, die dadurch erhalten wurden, daß bei einer Abtastung des Sichtbereichs (22) des optoelektronischen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander erfaßt wurden,
daß eine Folge von Tiefenbildern erfaßt und eine Objekterkennung und/oder -verfolgung auf der Basis der Bildpunkte (26', 36', 38') der Bilder des Überwachungsbereichs durchgeführt wird, wobei jedem erkannten Objekt Bildpunkte (26', 36', 38') und jedem dieser Bildpunkte (26', 36', 38') bei der Objektverfolgung berechnete Bewegungsdaten zugeordnet werden, und
daß vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Videobild oder vor der Anpassung der Lagekoordinaten die Lagekoordinaten der Bildpunkte (26', 36', 38') des Tiefenbildes unter Verwendung der Ergebnisse der Objekterkennung und/oder -verfolgung korrigiert werden.
20. Verfahren nach Anspruch 19,
dadurch gekennzeichnet,
daß bei der Korrektur die Lagekoordinaten der Bildpunkte (26', 36',
38') entsprechend der ihnen zugeordneten Bewegungsdaten und der
Differenz zwischen der Erfassungszeit der Bildpunkte (26', 36', 38')
des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden.
21. Verfahren nach einem der Ansprüche 18 bis 20,
dadurch gekennzeichnet,
daß der Bezugszeitpunkt der Zeitpunkt der Erfassung des
Videobildes ist.
22. Verfahren zur Erkennung und Verfolgung von Objekten, bei dem
Bildinformationen über einen Überwachungsbereich mit einem
Verfahren nach einem der vorhergehenden Ansprüche bereitgestellt
werden,
und auf der Basis der bereitgestellten Bildinformationen eine
Objekterkennung und -verfolgung durchgeführt wird.
23. Computerprogramm mit Programmcode-Mitteln, um ein Verfahren
nach einem der Ansprüche 1 bis 22 durchzuführen, wenn das
Programm auf einem Computer ausgeführt wird.
24. Computerprogrammprodukt mit Programmcode-Mitteln, die auf
einem computerlesbaren Datenträger gespeichert sind, um ein
Verfahren nach einem der Ansprüche 1 bis 22 durchzuführen, wenn
das Computerprogrammprodukt auf einem Computer ausgeführt
wird.
25. Vorrichtung zur Bereitstellung von tiefenaufgelösten Bildern eines
Überwachungsbereichs, mit mindestens einem optoelektronischen
Sensor (12) zur Erfassung der Lage von Gegenständen (20) in
wenigstens einer Erfassungsebene, insbesondere einem Laserscanner,
einem Videosystem (14, 42) mit mindestens einer Videokamera (16,
44, 48a, 48b) und einer mit dem optoelektronischen Sensor (12) und
dem Videosystem (14, 42) verbundenen
Datenverarbeitungseinrichtung (18, 46), die zur Durchführung eines Verfahrens nach einem
der Ansprüche 1 bis 22 ausgebildet ist.
26. Vorrichtung nach Anspruch 25,
dadurch gekennzeichnet,
daß das Videosystem (14, 42) eine Stereokamera (44, 48a, 48b)
aufweist.
27. Vorrichtung nach Anspruch 25,
dadurch gekennzeichnet,
daß das Videosystem und der optoelektronische Sensor zu einem
Sensor integriert sind.
28. Vorrichtung nach Anspruch 25 oder 27,
dadurch gekennzeichnet,
daß das Videosystem eine Anordnung von Photodetektionselementen aufweist,
daß der optoelektronische Sensor ein Laserscanner ist, und
daß die Anordnung von Photodetektionselementen synchron mit einem zur Abtastung eines Sichtbereichs des Laserscanners verwendeten Strahlungsbündel und/oder mindestens einem zur Detektion von Strahlung dienenden Photodetektionselement des Laserscanners, insbesondere um eine gemeinsame Achse, verschwenkbar ist.
daß das Videosystem eine Anordnung von Photodetektionselementen aufweist,
daß der optoelektronische Sensor ein Laserscanner ist, und
daß die Anordnung von Photodetektionselementen synchron mit einem zur Abtastung eines Sichtbereichs des Laserscanners verwendeten Strahlungsbündel und/oder mindestens einem zur Detektion von Strahlung dienenden Photodetektionselement des Laserscanners, insbesondere um eine gemeinsame Achse, verschwenkbar ist.
Priority Applications (14)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10154861A DE10154861A1 (de) | 2001-11-08 | 2001-11-08 | Verfahren zur Bereitstellung von Bildinformationen |
DE50212663T DE50212663D1 (de) | 2001-06-15 | 2002-06-14 | Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes |
EP02743204A EP1395852A1 (de) | 2001-06-15 | 2002-06-14 | Verfahren zur bereitstellung von bildinformationen |
PCT/EP2002/006594 WO2003001241A1 (de) | 2001-06-15 | 2002-06-14 | Korrekturverfahren für daten mehrerer optoelektronischer sensoren |
EP02013171A EP1267177A1 (de) | 2001-06-15 | 2002-06-14 | Verfahren und Vorrichtung zur Lokalisierung von Objekten im Raum |
AT02751031T ATE409320T1 (de) | 2001-06-15 | 2002-06-14 | Korrekturverfahren für daten mehrerer optoelektronischer sensoren |
PCT/EP2002/006599 WO2002103385A1 (de) | 2001-06-15 | 2002-06-14 | Verfahren zur bereitstellung von bildinformationen |
JP2003505649A JP2004530144A (ja) | 2001-06-15 | 2002-06-14 | 画像情報を提供する方法 |
AT02013172T ATE405853T1 (de) | 2001-06-15 | 2002-06-14 | Verfahren zur verarbeitung eines tiefenaufgelösten bildes |
US10/480,507 US7570793B2 (en) | 2001-06-15 | 2002-06-14 | Correction method for data of a plurality of optoelectronic sensors |
EP02751031A EP1405100B1 (de) | 2001-06-15 | 2002-06-14 | Korrekturverfahren für daten mehrerer optoelektronischer sensoren |
EP02013172A EP1267178B1 (de) | 2001-06-15 | 2002-06-14 | Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes |
JP2003507583A JP4669661B2 (ja) | 2001-06-15 | 2002-06-14 | 複数のオプトエレクトロニクス・センサのデータの修正方法 |
DE50212810T DE50212810D1 (de) | 2001-06-15 | 2002-06-14 | Korrekturverfahren für daten mehrerer optoelektronischer sensoren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10154861A DE10154861A1 (de) | 2001-11-08 | 2001-11-08 | Verfahren zur Bereitstellung von Bildinformationen |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10154861A1 true DE10154861A1 (de) | 2003-05-22 |
Family
ID=7705035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10154861A Withdrawn DE10154861A1 (de) | 2001-06-15 | 2001-11-08 | Verfahren zur Bereitstellung von Bildinformationen |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE10154861A1 (de) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004049482A1 (de) * | 2004-10-11 | 2006-04-13 | Sick Ag | Vorrichtung zur Überwachung von bewegten Objekten |
DE102004062275A1 (de) * | 2004-12-23 | 2006-07-13 | Aglaia Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera |
WO2006089544A1 (de) * | 2005-02-25 | 2006-08-31 | Adc Automotive Distance Control Systems Gmbh | Sensor für ein kraftfahrzeug |
DE102005037094B3 (de) * | 2005-08-03 | 2006-10-26 | Daimlerchrysler Ag | Kalibrierverfahren für einen Sensor zur Abstandsmessung |
DE102005028490A1 (de) * | 2005-06-20 | 2006-12-28 | Sick Ag | Kamerasystem |
EP1936406A2 (de) | 2006-11-10 | 2008-06-25 | Leuze lumiflex GmbH + Co. KG | Optischer Sensor |
US7721964B2 (en) | 2004-10-11 | 2010-05-25 | Sick Ag | Apparatus and method for monitoring moved objects |
DE102009012758A1 (de) * | 2009-03-12 | 2010-09-16 | Hella Kgaa Hueck & Co. | Vorrichtung und Verfahren zur Detektion mindestens eines Objektes |
DE102009013667A1 (de) * | 2009-03-24 | 2010-09-30 | Jenoptik Robot Gmbh | Verfahren zur Herstellung einer bekannnten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung |
DE102009034026A1 (de) * | 2009-07-21 | 2011-01-27 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs |
DE102009038406A1 (de) * | 2009-08-24 | 2011-03-03 | Volkswagen Ag | Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs |
DE102010007520B3 (de) * | 2010-02-11 | 2011-05-05 | Sick Ag | Sicherheitssteuerung mit einer Vielzahl von Anschlüssen für Sensoren |
DE102010053914A1 (de) * | 2010-12-09 | 2012-06-14 | Bilfinger Berger Industrial Services Gmbh | Vorrichtung, System und Verfahren zur Untersuchung von Gerüsten |
DE102012219569A1 (de) * | 2012-10-25 | 2014-04-30 | Robert Bosch Gmbh | Aktualisierung eines gespeicherten Umfangs eines Rades |
DE102013206929A1 (de) | 2013-04-17 | 2014-10-23 | Sick Ag | Bilderfassungssystem |
EP2910971A1 (de) * | 2014-02-24 | 2015-08-26 | Ricoh Company, Ltd. | Objekterkennungsvorrichtung und Objekterkennungsverfahren |
US9696413B2 (en) | 2013-12-23 | 2017-07-04 | Jenoptik Robot Gmbh | Method for aligning a laser scanner with respect to a roadway |
CN110018487A (zh) * | 2013-06-13 | 2019-07-16 | 巴斯夫欧洲公司 | 用于光学地检测至少一个对象的检测器 |
DE102018208846A1 (de) * | 2018-06-05 | 2019-12-05 | Conti Temic Microelectronic Gmbh | Vefahren zur Kalibrierung eienr Sensorbaugruppe |
DE102018215136A1 (de) * | 2018-09-06 | 2020-03-12 | Robert Bosch Gmbh | Verfahren zum Auswählen eines Bildausschnitts eines Sensors |
DE102018122263A1 (de) * | 2018-09-12 | 2020-03-12 | Sick Ag | Sensor und autonomes Fahrzeug |
JP2022042771A (ja) * | 2020-09-03 | 2022-03-15 | トヨタ自動車株式会社 | 測距システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4119180A1 (de) * | 1991-06-11 | 1992-12-17 | Merkel Peter Dr | Verfahren und vorrichtung zur vermessung und dokumentation der geometrie, struktur- und materialbeschaffenheit von dreidimensionalen objekten, wie fassaden und raeume sowie deren waende, einrichtungen und installationen |
DE4320485A1 (de) * | 1993-06-21 | 1994-12-22 | Dornier Gmbh | Intelligente Entfernungsbildkamera zur Objektivermessung |
DE69021354T2 (de) * | 1990-01-02 | 1996-03-28 | Honeywell Inc | System zur Detektion eines Hindernisses. |
DE19518978C2 (de) * | 1994-05-26 | 1999-06-10 | Mitsubishi Electric Corp | Hinderniserfassungsvorrichtung für Kraftfahrzeuge |
DE19757840C1 (de) * | 1997-12-24 | 1999-09-30 | Johann F Hipp | Vorrichtung zur optischen Erfassung und Abstandermittlung von Objekten von einem Fahrzeug aus |
-
2001
- 2001-11-08 DE DE10154861A patent/DE10154861A1/de not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69021354T2 (de) * | 1990-01-02 | 1996-03-28 | Honeywell Inc | System zur Detektion eines Hindernisses. |
DE4119180A1 (de) * | 1991-06-11 | 1992-12-17 | Merkel Peter Dr | Verfahren und vorrichtung zur vermessung und dokumentation der geometrie, struktur- und materialbeschaffenheit von dreidimensionalen objekten, wie fassaden und raeume sowie deren waende, einrichtungen und installationen |
DE4320485A1 (de) * | 1993-06-21 | 1994-12-22 | Dornier Gmbh | Intelligente Entfernungsbildkamera zur Objektivermessung |
DE19518978C2 (de) * | 1994-05-26 | 1999-06-10 | Mitsubishi Electric Corp | Hinderniserfassungsvorrichtung für Kraftfahrzeuge |
DE19757840C1 (de) * | 1997-12-24 | 1999-09-30 | Johann F Hipp | Vorrichtung zur optischen Erfassung und Abstandermittlung von Objekten von einem Fahrzeug aus |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004049482A1 (de) * | 2004-10-11 | 2006-04-13 | Sick Ag | Vorrichtung zur Überwachung von bewegten Objekten |
US7721964B2 (en) | 2004-10-11 | 2010-05-25 | Sick Ag | Apparatus and method for monitoring moved objects |
DE102004062275A1 (de) * | 2004-12-23 | 2006-07-13 | Aglaia Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera |
US8855370B2 (en) | 2004-12-23 | 2014-10-07 | Hella Kgaa Hueck & Co. | Method and device for determining a calibration parameter of a stereo camera |
US8300886B2 (en) | 2004-12-23 | 2012-10-30 | Hella Kgaa Hueck & Co. | Method and device for determining a calibrating parameter of a stereo camera |
WO2006089544A1 (de) * | 2005-02-25 | 2006-08-31 | Adc Automotive Distance Control Systems Gmbh | Sensor für ein kraftfahrzeug |
DE102005028490A1 (de) * | 2005-06-20 | 2006-12-28 | Sick Ag | Kamerasystem |
DE102005028490B4 (de) * | 2005-06-20 | 2012-11-08 | Sick Ag | Kamerasystem |
DE102005028490C5 (de) * | 2005-06-20 | 2016-07-14 | Sick Ag | Kamerasystem |
DE102005037094B3 (de) * | 2005-08-03 | 2006-10-26 | Daimlerchrysler Ag | Kalibrierverfahren für einen Sensor zur Abstandsmessung |
EP1936406A2 (de) | 2006-11-10 | 2008-06-25 | Leuze lumiflex GmbH + Co. KG | Optischer Sensor |
EP1936406A3 (de) * | 2006-11-10 | 2013-02-13 | Leuze lumiflex GmbH + Co. KG | Optischer Sensor |
DE102009012758A1 (de) * | 2009-03-12 | 2010-09-16 | Hella Kgaa Hueck & Co. | Vorrichtung und Verfahren zur Detektion mindestens eines Objektes |
DE102009013667A1 (de) * | 2009-03-24 | 2010-09-30 | Jenoptik Robot Gmbh | Verfahren zur Herstellung einer bekannnten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung |
EP2234081A3 (de) * | 2009-03-24 | 2013-04-17 | JENOPTIK Robot GmbH | Verfahren zur Herstellung einer bekannten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung |
US8340356B2 (en) | 2009-03-24 | 2012-12-25 | Jenoptik Robot Gmbh | Method for producing a known fixed spatial relationship between a laser scanner and a digital camera for traffic monitoring |
DE102009034026A1 (de) * | 2009-07-21 | 2011-01-27 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs |
DE102009038406A1 (de) * | 2009-08-24 | 2011-03-03 | Volkswagen Ag | Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs |
DE102009038406B4 (de) * | 2009-08-24 | 2017-10-05 | Volkswagen Ag | Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs |
DE102010007520B3 (de) * | 2010-02-11 | 2011-05-05 | Sick Ag | Sicherheitssteuerung mit einer Vielzahl von Anschlüssen für Sensoren |
DE102010053914A1 (de) * | 2010-12-09 | 2012-06-14 | Bilfinger Berger Industrial Services Gmbh | Vorrichtung, System und Verfahren zur Untersuchung von Gerüsten |
EP2463813A3 (de) * | 2010-12-09 | 2012-06-20 | Bilfinger Berger Industrial Services GmbH | Vorrichtung, System und Verfahren zur Untersuchung von Gerüsten |
DE102012219569A1 (de) * | 2012-10-25 | 2014-04-30 | Robert Bosch Gmbh | Aktualisierung eines gespeicherten Umfangs eines Rades |
DE102013206929A1 (de) | 2013-04-17 | 2014-10-23 | Sick Ag | Bilderfassungssystem |
CN110018487B (zh) * | 2013-06-13 | 2023-07-18 | 巴斯夫欧洲公司 | 用于光学地检测至少一个对象的检测器 |
CN110018487A (zh) * | 2013-06-13 | 2019-07-16 | 巴斯夫欧洲公司 | 用于光学地检测至少一个对象的检测器 |
US9696413B2 (en) | 2013-12-23 | 2017-07-04 | Jenoptik Robot Gmbh | Method for aligning a laser scanner with respect to a roadway |
EP2910971A1 (de) * | 2014-02-24 | 2015-08-26 | Ricoh Company, Ltd. | Objekterkennungsvorrichtung und Objekterkennungsverfahren |
DE102018208846A1 (de) * | 2018-06-05 | 2019-12-05 | Conti Temic Microelectronic Gmbh | Vefahren zur Kalibrierung eienr Sensorbaugruppe |
DE102018208846B4 (de) * | 2018-06-05 | 2021-03-11 | Conti Temic Microelectronic Gmbh | Verfahren zur Kalibrierung einer Sensorbaugruppe |
DE102018215136B4 (de) * | 2018-09-06 | 2021-03-25 | Robert Bosch Gmbh | Verfahren zum Auswählen eines Bildausschnitts eines Sensors |
DE102018215136A1 (de) * | 2018-09-06 | 2020-03-12 | Robert Bosch Gmbh | Verfahren zum Auswählen eines Bildausschnitts eines Sensors |
US11989944B2 (en) | 2018-09-06 | 2024-05-21 | Robert Bosch Gmbh | Method for selecting an image detail of a sensor |
DE102018122263A1 (de) * | 2018-09-12 | 2020-03-12 | Sick Ag | Sensor und autonomes Fahrzeug |
DE102018122263B4 (de) * | 2018-09-12 | 2021-03-18 | Sick Ag | Autonomes Fahrzeug |
US11442167B2 (en) | 2018-09-12 | 2022-09-13 | Sick Ag | Sensor and autonomous vehicle |
JP2022042771A (ja) * | 2020-09-03 | 2022-03-15 | トヨタ自動車株式会社 | 測距システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1395852A1 (de) | Verfahren zur bereitstellung von bildinformationen | |
DE10154861A1 (de) | Verfahren zur Bereitstellung von Bildinformationen | |
EP1589484B1 (de) | Verfahren zur Erkennung und/oder Verfolgung von Objekten | |
DE60037360T2 (de) | Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mit ein Bildverarbeitungssystem | |
EP0842395B1 (de) | Verfahren und vorrichtung zur schnellen erfassung der lage einer zielmarke | |
EP2742319B1 (de) | Messgerät zur bestimmung der räumlichen lage eines messhilfsinstruments | |
DE102010012811B4 (de) | Verfahren zur Messung von Geschwindigkeiten und Zuordnung der gemessenen Geschwindigkeiten zu angemessenen Fahrzeugen durch Erfassen und Zusammenführen von Objekt-Trackingdaten und Bild-Trackingdaten | |
EP3034995B1 (de) | Verfahren zum bestimmen eines position- und orientierungsversatzes eines geodätischen vermessungsgeräts und ebensolches vermessungsgerät | |
AT412028B (de) | Einrichtung zur aufnahme eines objektraumes | |
EP1836455B1 (de) | Verfahren und geodätisches gerät zur vermessung wenigstens eines zieles | |
EP1460454B1 (de) | Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern | |
DE112017007467T5 (de) | Verfahren zum Bereitstellen einer Interferenzreduzierung und eines dynamischen Bereichs von Interesse in einem LIDAR-System | |
DE102004033114A1 (de) | Verfahren zur Kalibrierung eines Abstandsbildsensors | |
EP1298454A2 (de) | Verfahren zur Erkennung und Verfolgung von Objekten | |
DE112010004767T5 (de) | Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm | |
DE112007003673T5 (de) | Vermessungsvorrichtung zum Verfolgen und Vermessen eines Objekts | |
DE10353348A1 (de) | Verfahren zur Verfolgung von Objekten | |
EP1418444A1 (de) | Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeugs | |
EP2234081A2 (de) | Verfahren zur Herstellung einer bekannten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung | |
DE102020129096A1 (de) | Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug | |
DE10148064A1 (de) | Verfahren zur Erkennung und Verfolgung von Objekten | |
EP2690459A2 (de) | Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrendes Objektes | |
DE102006039104A1 (de) | Verfahren zur Entfernungsmessung von Objekten auf von Bilddaten eines Monokamerasystems | |
DE112021004793T5 (de) | Vorrichtung für dreidimensionale Messungen | |
EP1298012B1 (de) | Verfahren zur Erkennung und Verfolgung von Objekten |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
8141 | Disposal/no request for examination |