DE102004028736A1 - Outdoor stationary object automatic detection and determination method for vehicle, involves determining space coordinates of measuring points, and determining type of object identified in outdoor by summarizing coordinates - Google Patents

Outdoor stationary object automatic detection and determination method for vehicle, involves determining space coordinates of measuring points, and determining type of object identified in outdoor by summarizing coordinates Download PDF

Info

Publication number
DE102004028736A1
DE102004028736A1 DE102004028736A DE102004028736A DE102004028736A1 DE 102004028736 A1 DE102004028736 A1 DE 102004028736A1 DE 102004028736 A DE102004028736 A DE 102004028736A DE 102004028736 A DE102004028736 A DE 102004028736A DE 102004028736 A1 DE102004028736 A1 DE 102004028736A1
Authority
DE
Germany
Prior art keywords
measuring
image
measuring system
laser scanner
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102004028736A
Other languages
German (de)
Inventor
Gerald Dipl.-Ing. Eckert
Jochen Dipl.-Ing. Wingbermühle
Rainer Dr.Ing. Lutze
Michael Dipl.-Ing. Schaeffer
Torsten Dipl.-Ing. Wiebesick
Hartmut Dipl.-Geogr. Kress-Lorenz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TELE INFO AG
TELE-INFO AG
Original Assignee
TELE INFO AG
TELE-INFO AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TELE INFO AG, TELE-INFO AG filed Critical TELE INFO AG
Priority to DE102004028736A priority Critical patent/DE102004028736A1/en
Publication of DE102004028736A1 publication Critical patent/DE102004028736A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0284—Relative positioning

Abstract

The method involves determining the displacement of measuring points in the beam path of a laser scanner (L0). Space coordinates of the points are determined using a data about the location of a measuring system for a time period of the laser beam emission, and a data about the positioning of system in outdoor of a vehicle for the time period. Type of object identified in outdoor is determined by summarizing the coordinates. The space coordinates and the type of identified object are stored in a database.

Description

Die Erfindung betrifft ein Verfahren zur automatischen Erfassung und Bestimmung von ortsfesten Objekten im Freien von einem fahrenden Fahrzeug aus.The The invention relates to a method for automatic detection and Determination of stationary objects in the open air of a moving Vehicle off.

Die EP 1 019 671 B beschreibt ein Verfahren zum Sammeln und Verknüpfen von Positionsdaten, die mittels eines globalen Positionsbestimmungssystems wie z.B. GPS oder GLONASS erhalten werden, mit Digitalbildern von Gebäuden, die aus einem Fahrzeug mit einer oder mehreren Still- oder Videokameras im Wesentlichen aus horizontaler Sicht aufgenommen werden und die in einer Datenbank mit den postalischen Adressen der aufgenommenen Gebäude wie z.B. Straßennamen und Hausnummern verknüpft werden.The EP 1 019 671 B describes a method for collecting and associating positional data obtained by means of a global positioning system such as GPS or GLONASS with digital images of buildings taken from a vehicle with one or more still or video cameras substantially horizontally and incorporating in a database with the postal addresses of the recorded buildings such as street names and house numbers are linked.

Die EP 0 772 842 B beschreibt ein Verfahren zur Erfassung und Verarbeitung visueller und räumlicher Positionsinformationen, wobei Digitalbilder, die auf einer sich bewegenden Plattform durch mehrere Videokameras aufgenommen werden, in synchronisierter Weise zusammen mit a) Positionsinformationen aus Satellitenortung der Plattform und b) Daten eines mit der Plattform verbundenen Inertialsystems auf einem Videoband aufgezeichnet und später ausgewertet werden.The EP 0 772 842 B describes a method for acquiring and processing visual and spatial position information wherein digital images taken on a moving platform by a plurality of video cameras synchronously together with a) position information from satellite positioning of the platform and b) data of an inertial system connected to the platform recorded on a videotape and later evaluated.

Zur Durchführung beider bekannten Verfahren bewegt sich ein Fahrzeug typischerweise entlang aller Straßen eines Gebietes, um die von den Straßen aus visuell erfassbaren Objekte wie z.B. Gebäude des Gebietes durch entsprechende Video- bzw. Digitalbilder, die die Objekte typischerweise zusammen mit ihrer natürlichen Umgebung darstellen, möglichst vollständig in einer Datenbank zu erfassen. Der Zugriff auf ein einzelnes Objekt bzw. ein das gesuchte Objekt enthaltendes Video- bzw. Digitalbild kann unter Verwendung der Datenbank bei dem zuerst genannten Verfahren über die postalische Adresse und bei beiden Verfahren über die geographische Position erfolgen, Letzteres z.B. abhängig von dem verwendeten Koordinatensystem über Längen- und Breitengrad.to execution In both known methods, a vehicle typically moves along all the roads of an area visually apprehended from the streets Objects such as building of the area through appropriate video or digital images, the the objects typically along with their natural ones Represent environment as possible Completely in a database. Access to a single object or a video or digital image containing the searched object can be found using the database in the first mentioned procedure over the postal address and in both procedures by geographical position take place, the latter e.g. dependent from the coordinate system used over latitude and longitude.

Im zuerst genannten Verfahren ist eine Ausführungsform beschrieben, in der eine automatische Zusammenführung von Digitalbildern und Positionsdaten der Plattform aus Satellitenordnung, "Georeferenzierung der Digitalbilder" genannt, noch in der sich bewegenden Plattform stattfindet. Dieses ist insbesondere für eine Anwendung des Verfahrens im Bereich von Sicherheitsaufgaben zweckmäßig, wo eine hohe Aktualität der Digitalbilder erforderlich ist.in the First mentioned method is described in an embodiment an automatic merge of digital images and position data of the platform from satellite order, "georeferencing the digital pictures "called, still taking place in the moving platform. This is in particular for one Application of the method in the field of security tasks expedient where a high relevance the digital images is required.

Gemäß beider bekannten Verfahren kann die Zusammenführung von Video- bzw. Digitalbildern und Positionsdaten durch Daten einer nahen Referenzstation qualitativ verbessert werden, indem differenzielles GPS oder DGPS verwendet wird. Dabei werden die mit Zeitmarken versehenen Korrekturdaten einer der Plattform nahen Referenzstation per Funk an die sich bewegende Plattform übertragen und mit den durch die Plattform aufgezeichneten, eigenen Positionsdaten der Plattform aus Satellitenortung verknüpft. Die gesendeten Korrekturdaten der Referenzstation geben jeweils die Abweichung zwischen der tatsächlichen, geographischen Position der Referenzstation und der aus Satellitenortung zu einem Zeitpunkt jeweils gemessenen Position der Referenzstation an. Diese für die Referenzstation jeweils berechneten Korrekturdaten können, mit einer proportional zur Entfernung von der Referenzstation abnehmenden Genauigkeit, auch als Korrekturwerte für die aus Satellitenortung gemessene Position der sich bewegenden Plattform verwendet werden. Die Übertragung der Korrekturdaten kann entweder über Mobilfunknetze erfolgen, oder es können öffentliche Funkdienste, soweit verfügbar (z.B. SAPOS in Deutschland), verwendet werden.According to both Known methods, the merger of video or digital images and Position data by data of a near reference station qualitatively be improved by using differential GPS or DGPS becomes. The time stamped correction data will be used one of the platform near reference station by radio to the moving Transfer platform and with the own position data recorded by the platform linked to the platform from satellite positioning. The sent correction data the reference station give the deviation between the actual, geographical position of the reference station and satellite positioning at a time each measured position of the reference station at. This for the reference station respectively calculated correction data, with proportional to the distance from the reference station decreasing Accuracy, also as correction values for satellite positioning measured position of the moving platform are used. The transfer the correction data can be either via mobile networks, or public radio services, as far as available (e.g., SAPOS in Germany).

In der zweiten genannten Druckschrift ist beschrieben, wie durch Einsatz eines auf der Plattform angebrachten Inertialsystems, das Drehraten- und Beschleunigungssensoren enthält, zeitliche Lücken, in denen eine Positionsbestimmung der sich bewegenden Plattform aus Satellitenortung nicht möglich ist, dadurch überbrückt werden können, dass die Positionsberechnung seit der letzten satellitengestützten Positionsbestimmung zum Zeitpunkt t unter Verwendung der durch das Inertialsystem gemessenen Beschleunigung der Plattform in den sechs Freiheitsgraden, d.h. Bewegung im Raum einschließlich Rollen, Stampfen und Richtungsänderung der Plattform, seit dem Zeitpunkt t erfolgt.In the second cited document is described as by use an inertial system mounted on the platform, the yaw rate and contains acceleration sensors, time gaps, in which a position determination of the moving platform from Satellite tracking is not possible be bridged by it can, that the position calculation since the last satellite positioning at time t using the acceleration measured by the inertial system the platform in the six degrees of freedom, i. Movement in space including Rolling, pounding and change of direction the platform, since the time t takes place.

Zur weiteren Steigerung der Genauigkeit der Positionsbestimmung der sich bewegenden Plattform ist zudem das Verfahren der Koppelnavigation bekannt. Dabei wird etwa für ein Landfahrzeug die zurück gelegte Wegstrecke über einen Winkelgeber im Getriebe ermittelt und unter Berücksichtigung der bekannten Reifengröße und ihres zugehörigen Umkreises berechnet.to further increase the accuracy of the position determination of The moving platform is also known as the method of dead reckoning. It is about for a land vehicle the back laid route over an angle sensor in the transmission determined and taking into account the well-known tire size and their associated Radius calculated.

Bei den bekannten Verfahren werden die aufgenommenen Video- bzw. Digitalbilder ohne eine Analyse oder nähere Bestimmung des Inhaltes in Datenbanken abgelegt. Der Zugriff auf die Video- bzw. Digitalbilder ist deshalb nur über die postalische Adresse und/oder die geographische Lageinformation möglich.at The known methods are the recorded video or digital images without an analysis or closer Determination of the content stored in databases. Access to the video or digital pictures is therefore only via the postal address and / or the geographical location information possible.

Für viele Anwendungen ist aber eine Bestimmung der in einem Digital- oder Videobild enthaltenen Objekte wie z.B. Gebäude, Bäume, Straßenschilder usw. von hoher pragmatischer Relevanz. Objekte, die anwendungsrelevante Informationen tragen, wie z.B. Straßenschilder, werden nachfolgend auch als Informationsträger bezeichnet. Ein objektbezogener Zugriff auf die Datenbank ist etwa gefordert, um im Rahmen einer Katastererstellung die Objekte bzw. Informationsträger in einem Gebiet vollständig systematisch zu erfassen und verwalten zu können.For many applications, however, is a determination of the objects contained in a digital or video image such as buildings, trees, roads signs etc. of high pragmatic relevance. Objects bearing application-relevant information, such as street signs, are also referred to below as information carriers. An object-related access to the database is required, for example, in order to be able to systematically record and manage the objects or information carriers in an area in the context of a cadastre creation.

Bisher werden solche relevanten Objekte von einer Person ausgewählt, die die aufgenommenen Bilder an einem Bildschirm mustert. Zur genauen Positionsbestimmung eines manuell ausgewählten Objektes bzw. Informationsträgers in einem Bild werden bei dem zweiten genannten Verfahren mindestens zwei nicht koplanare Flächenbilder verwendet, die von der sich bewegenden Plattform aus von dem Objekt zu verschiedenen Zeitpunkten aufgenommen wurden. Bei dieser so genannten Stereo-Photogrammetrie wird die Lage des Objektes in den Videobildern unter Berücksichtigung der Bewegung der Plattform und der bekannten Position und Ausrichtung der aufnehmenden Videokameras in Bezug auf die sich bewegende Plattform verwendet, um hieraus durch Triangulation zusammen mit den Positionsdaten der Plattform aus Satellitenortung und Inertialsystem zum Zeitpunkt der Aufnahme der Videobilder den Standort des Objektes bzw. Informationsträgers zu bestimmen.So far Such relevant objects are selected by a person who looks at the pictures taken on a screen. For exact position determination a manually selected object or information carrier in an image, in the second mentioned method, at least two non-coplanar area images used by the moving platform from the object recorded at different times. In this so-called Stereo photogrammetry is the location of the object in the video images considering the movement of the platform and the known position and orientation the receiving video cameras with respect to the moving platform used to get out of it by triangulation along with the position data the platform from satellite positioning and inertial system at the time the recording of the video images to determine the location of the object or information carrier.

Eine automatische Unterscheidung von Objekten bzw. Informationsträgern von ihrer natürlichen Umgebung und die Bestimmung der Art der in einem Video- bzw. Digitalbild abgebildeten Objekte, d.h. eine Klassifikation von Objekten bzw. Informationsträgern, ist mit den genannten Verfahren nicht möglich.A automatic differentiation of objects or information carriers from their natural environment and determining the nature of the imaged in a video or digital image Objects, i. is a classification of objects or information carriers not possible with the mentioned methods.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zu schaffen, um Digitalbilder der von den Straßen eines Gebietes aus visuell erfassbaren Objekte möglichst vollständig und in kurzem Zeitraum aufzunehmen und die georeferenzierten Digitalbilder möglichst kurzfristig nach der Aufnahme automatisch in einer Bilddatenbank bereitzustellen, welche Bilddatenbank nicht nur wahlfrei zum Beispiel nach Geokoordinaten oder postalischen Adressen von Häusern, sondern auch nach der geographischen Lage bzw. den Koordinaten oder nach der Art von anderen in den Digitalbildern enthaltenen Objekten wie z.B. Informationsträgern durchsuchbar ist.Of the Invention has for its object to provide a method digital images of the streets of a field visually detectable objects as possible Completely and to record in a short period of time and the georeferenced digital images preferably Automatically in a picture database shortly after recording to provide which image database not only optional for example Geographical coordinates or postal addresses of houses, but also according to the geographic location or coordinates, or in the manner of others in the digital images contained objects such. Information carriers searchable is.

Diese Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den in Anspruch 1 angegebenen Merkmalen gelöst.These Task is carried out according to the invention a method having the features specified in claim 1.

Das erfindungsgemäße Verfahren wird im Besonderen durchgeführt, indem zunächst auf an sich bekannte Weise die durch eine Vielzahl von Videokameras von der sich bewegenden Plattform zum gleichen Zeitpunkt aufgenommenen Bilder durch eine jeweils einer Kamera zugeordnete Digitalisierungseinrichtung simultan verarbeitet werden. Die Kameras, die z.B. analoge (Still)Videokameras oder Digitalkameras sein können, werden so angesteuert, dass die Aufnahme der Videobilder jeweils zum gleichen Zeitpunkt erfolgt. Zu jedem Aufnahmezeitpunkt werden zu der exakten Aufnahmezeit die aktuellen Positionsdaten der Plattform aus Satellitenortung, Inertialsystem und Koppelnavigation mit aufgezeichnet. Dabei wird zweckmäßig die Anzahl der pro Zeiteinheit digitalisierten analogen oder aufgenommenen digitalen Videobilder – im folgenden zusammenfassend als Digitalbilder bezeichnet – abhängig von der momentanen Geschwindigkeit der sich bewegenden Plattform so gesteuert, dass nur bei einer Ortsveränderung der Plattform von mindestens fünf Meter ein Satz Digitalbilder neu aufgenommen wird, der die aktuelle Straßenansicht aus unterschiedlichen Perspektiven darstellt. Desto geringer die Geschwindigkeit der sich bewegenden Plattform, desto weniger Digitalbilder werden aufgenommen, bei stehendem Fahrzeug deshalb nur ein Bildsatz, um Speicherplatz für die Digitalbilder einzusparen.The inventive method is done in particular, by first in a known per se by a variety of video cameras taken up by the moving platform at the same time Images by a respective digitalization associated with a camera be processed simultaneously. The cameras, e.g. analog (still) video cameras or digital cameras, are controlled so that the recording of the video images respectively done at the same time. At each recording time will be at the exact recording time the current position data of the platform from satellite positioning, inertial system and dead reckoning with recorded. It is expedient the Number of analogue or digital digitalized per unit time Video pictures - im summarized below as digital images - depending on the current speed of the moving platform so controlled that only with a change of location of the platform of at least five meters A set of digital images is re-recorded, showing the current street view from different perspectives. The lower the Speed of the moving platform, the fewer digital images are recorded, therefore only one image set when the vehicle is stationary, to save space for to save the digital pictures.

Unmittelbar danach werden die erzeugten und gegebenenfalls zwischengespeicherten Digitalbilder innerhalb der sich bewegenden Plattform mit Positionsdaten der Plattform aus Satellitenortung und/oder Inertialsystem bzw. Koppelnavigation zum Aufnahmezeitpunkt der Digitalbilder abschließend verknüpft. Zusätzlich können die zu der sich bewegenden Plattform übertragenen Korrekturdaten einer nahen Referenzstation, die diese aus Satellitenortung bestimmt und mit einer Zeitmarke versehen hat, mit den Positionsdaten zum Aufnahmezeitpunkt verknüpft werden und so die Positionsgenauigkeit verbessert werden. Vorzugsweise wird zusätzlich zur Positionsbestimmung eines Fahrzeugs aus Satellitenortung eine digitale Straßenkarte verwendet, wobei berücksichtigt wird, dass sich das Fahrzeug zum Zeitpunkt der Aufnahme der Videobilder typischerweise auf einer in der Karte enthaltenen Straße und innerhalb der in der digitalen Karte hintergelegten Straßenbreite aufgehalten hat. Diese Methode ist als Map-Matching bekannt.immediate after that, the generated and possibly buffered digital images within the moving platform with position data of the platform from satellite positioning and / or inertial system or dead reckoning finally linked to the recording time of the digital images. In addition, they can move to the moving Transferred platform Correction data of a near reference station, this from satellite positioning determined and provided with a timestamp, with the position data linked to the recording time and so the position accuracy can be improved. Preferably will be added for determining the position of a vehicle from satellite positioning a digital road map used, taking into account will that the vehicle is at the time of recording the video images typically on a street included in the map and inside the road width stored in the digital map. This method is known as map matching.

Digitale Karten werden außerdem verwendet, um anhand der zuvor bestimmten Position der digitalen Plattform zum Aufnahmezeitpunkt der Videobilder und der bekannten Ausrichtung der Videokameras auf der sich bewegenden Plattform den Videobildern postalische Adressen bestehend aus Hausnummern, Straßennamen, Ortsteilbezeichnungen, Orten, Ländern und Staatsbezeichnungen zuzuordnen.digital Tickets are going as well used to be based on the previously determined position of the digital Platform for the recording time of the video images and the known Alignment of video cameras on the moving platform Video images postal addresses consisting of house numbers, street names, District names, locations, countries and to assign state designations.

Für die zur Lösung der Aufgabe der Erfindung relevante Objektbestimmung bzw. Bestimmung von Informationsträgern in den durch eine oder mehrere Kameras aufgezeichneten Digitalbildern kommen Tiefenbilder zum Einsatz, die unter Verwendung von Laserscannern berechnet werden, die sich auf einem mit dem Fahrzeug fest verbundenen Messsystem zusammen mit den Kameras befinden. Typischerweise ist jedem Laserscanner jeweils eine Kamera zugeordnet, deren Bildachse möglichst parallel zur Achse des durch den Laserscanner emittierten Lichtimpulses ausgerichtet ist.For the solution the object of the invention relevant object determination or determination of information carriers in the digital images recorded by one or more cameras Depth images are used, using laser scanners calculated on a vehicle permanently connected Measuring system are located together with the cameras. Typically is each laser scanner each associated with a camera whose image axis preferably parallel to the axis of the light pulse emitted by the laser scanner is aligned.

In der Technik sind zur Klassifikation von Objekten vielfältige Verfahren der Mustererkennung, typischerweise in Flächenbildern, bekannt. Bei dem erfindungsgemäßen Verfahren werden in neuartiger Weise Tiefenbilder verwendet, die über die schnelle und sichere Erkennung relevanter Objekte bzw. Informationsträger zusätzlich eine schnelle und einfache Bestimmung der exakten räumlichen Position und Ausdehnung der Objekte bzw. Informationsträger ermöglichen.In In technology, the classification of objects involves a variety of procedures pattern recognition, typically in area images. In which inventive method are used in a novel way depth images that over the fast and secure detection of relevant objects or information carriers additionally one quick and easy determination of the exact spatial position and extent the objects or information carrier enable.

Die in dem erfindungsgemäßen Verfahren bestimmten Objekte bzw. Informationsträger werden abschließend so in einer Datenbank abgelegt, dass mit jedem erkannten Objekt und Informationsträger mindestens seine Flächen- bzw. Raumkoordinaten sowie die Art des erkannten Objektes bzw. Informationsträgers hinterlegt werden, so dass die Datenbank über die Flächen- bzw. Raumkoordinaten und/oder die Objektart nach dem Objekt bzw. Informationsträger durchmustert bzw. durchsucht werden kann.The determined in the method according to the invention Objects or information carrier be final stored in a database that with each detected object and information carriers at least its area or space coordinates as well as the type of the recognized object or information carrier deposited be, so the database over the area or spatial coordinates and / or the object type according to the object or information carrier can be screened or searched.

Durch die Zusammenführung von Laserscan-Daten, Digitalbildern, Positionsdaten aus Satellitenortung und gegebenfalls weiteren Daten ermöglicht es die Erfindung, ortsfeste Objekten im Freien automatisch schnell zu erfassen, zu bestimmen und in einer Datenbank bereitzustellen, welche auch nach der Art der in den Digitalbildern enthaltenen Objekte wie z.B. Informationsträgern durchsuchbar ist.By the merge laser scan data, digital images, position data from satellite positioning and optionally other data, the invention allows stationary ones Automatically quickly capture and determine outdoor objects and in a database, which also according to the Art the objects contained in the digital images, e.g. Information carriers searchable is.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen und aus der nachfolgenden Beschreibung von Ausführungsbeispielen anhand der Zeichnung. Darin zeigen:Further Features and advantages of the invention will become apparent from the dependent claims and from the following description of exemplary embodiments with reference to FIG Drawing. Show:

1 in Perspektivansicht und in Aufsicht den Aufbau des Messsystems auf einem Fahrzeugchassis mit vier Laserscannern und vier Kameras, wobei jeweils ein Laserscanner einer Kamera fest zugeordnet ist und wobei Laserscanner und Kamera jeweils in einem Winkel von 45° zur Bewegungsrichtung des Fahrzeugs angebracht sind; 1 in perspective and in plan view of the structure of the measuring system on a vehicle chassis with four laser scanners and four cameras, each one laser scanner of a camera is permanently assigned and wherein the laser scanner and camera are each mounted at an angle of 45 ° to the direction of movement of the vehicle;

2 in Perspektivansicht die Lage der Laserscanebenen in Bezug auf das in 1 gezeigte Fahrzeug; 2 in perspective view the position of the Laserscinkenen in relation to the in 1 vehicle shown;

3 die sechs Freiheitsgrade der Bewegung des mit dem Fahrzeug fest verbundenen Messsystems; 3 the six degrees of freedom of movement of the measuring system fixed to the vehicle;

4 und 5 als Blockdiagramme ein Ausführungsbeispiel für das mit dem Messsystem durchgeführte Verfahren, wobei 4 das Verfahren zusammenfassend in einer Übersicht darstellt und 5 den Verfahrenschritt "Aggregation der Laserscan Messergebnisse/Objekterkennung" im Einzelnen mit den Verfahrensalternativen eines 2D-Verfahrens und 3D-Verfahrens darstellt; und 4 and 5 as block diagrams an embodiment of the method performed by the measuring system, wherein 4 summarizing the procedure in an overview and 5 the process step "aggregation of the laser scan measurement results / object recognition" in detail with the process alternatives of a 2D-method and 3D-method represents; and

6 die Projektion der dreidimensionalen Koordinaten der Messpunkte des Laserscanners in ein mit Kamera aufgenommenes zweidimensionales Digitalbild. 6 the projection of the three-dimensional coordinates of the measuring points of the laser scanner into a two-dimensional digital image recorded with a camera.

1 zeigt ein Messfahrzeug 2, das mit einem Fahrzeugaufbau 4 versehen ist, der ein Messsystem bildet. Vorne und hinten am Fahrzeugaufbau 4 des Messfahrzeugs 2 sind Kameras C0 bis C3, die jeweils einen Aufnahmebereich von ungefähr 60° haben, wie mit durchgezogenen Linien angezeigt, und Laserscanner L0 bis L3 angebracht, deren Scanebene senkrecht verläuft und mit gestrichelten Pfeilen angezeigt ist. Jeweils eine der Kameras C0 bis C3 und einer der Laserscanner L0 bis L3 gehören zusammen und sind so angebracht, dass die Mitte des Erfassungsbereichs der Kamera und die mittlere Scanebene des Laserscanners koaxial sind und in einem Winkel von 45° bzw. 135° zu der mit einem breiten Pfeil angezeigten Bewegungsrichtung des Messfahrzeugs 2 liegen. Die Kamera C0 und der Laserscanner L0 vorne am Messfahrzeug 2 sind nach vorne rechts ausgerichtet, die Kamera C1 und der Laserscanner L1 hinten am Messfahrzeug 2 sind nach hinten rechts ausgerichtet, die Kamera C2 und der Laserscanner L2 hinten am Messfahrzeug 2 sind nach hinten links ausgerichtet, und die Kamera C3 und der Laserscanner L3 vorne am Messfahrzeug 2 sind nach vorne links ausgerichtet. 1 shows a measuring vehicle 2 that with a vehicle body 4 is provided, which forms a measuring system. Front and rear of the vehicle body 4 of the measuring vehicle 2 are cameras C0 to C3, each having a recording area of about 60 °, as indicated by solid lines, and laser scanners L0 to L3 are mounted, the scanning plane is perpendicular and indicated by dashed arrows. Each of the cameras C0 to C3 and one of the laser scanners L0 to L3 belong together and are mounted so that the center of the detection range of the camera and the central scan plane of the laser scanner are coaxial and at an angle of 45 ° and 135 ° to the with Movement direction of the measuring vehicle indicated by a wide arrow 2 lie. The camera C0 and the laser scanner L0 on the front of the measuring vehicle 2 are aligned to the front right, the camera C1 and the laser scanner L1 at the rear of the measuring vehicle 2 are aligned to the rear right, the camera C2 and the laser scanner L2 at the rear of the measuring vehicle 2 are aligned to the rear left, and the camera C3 and the laser scanner L3 on the front of the measuring vehicle 2 are aligned to the front left.

Die in 1 mit gestrichelten Pfeilen gezeigten mittleren Laserscanebenen in Bezug auf das Messfahrzeug 2 sind in 2 perspektivisch als gerasterte Dreiecke dargestellt und entsprechend den sie erzeugenden Laserscannern mit L1 bis L3 markiert. Die rückwärtigen Laserscanner L1, L2 und Kameras C1, C2 in 2 sind natürlich in der Realität verdeckt.In the 1 indicated by dashed arrows mean Laserscangeben with respect to the measuring vehicle 2 are in 2 shown in perspective as screened triangles and labeled according to the laser scanners generating them with L1 to L3. The rear laser scanners L1, L2 and cameras C1, C2 in 2 are of course obscured in reality.

Im Folgenden wird auf ein fahrzeugfestes rechtwinkliges Koordinatensystem mit den Achsen x, y, z Bezug genommen, dessen Lage in Bezug auf das Fahrzeug in 3 gezeigt ist, d.h. x ist die Bewegungsrichtung des Messfahrzeugs 2, y ist die Richtung quer zum Messfahrzeug 2, und z verläuft in Richtung der Höhe des Messfahrzeugs 2. Außerdem zeigt 3 die sechs Freiheitsgrade Drehen, Stampfen und Rollen der Bewegung des mit dem Messfahrzeug 2 fest verbundenen Messsystems 4.In the following reference is made to a vehicle-fixed rectangular coordinate system with the axes x, y, z, whose position relative to the vehicle in 3 is shown, ie x is the direction of movement of the measuring vehicle 2 , y is the rich transverse to the measuring vehicle 2 , and z runs in the direction of the height of the measuring vehicle 2 , Also shows 3 the six degrees of freedom turning, pounding and rolling the movement of the with the measuring vehicle 2 firmly connected measuring system 4 ,

Die Laserscanner L0 bis L3 senden entweder in regelmäßigen zeitlichen Abständen kurze Lichtimpulse aus (Impulslaser) oder emittieren einen modulierten Laserstrahl kontinuierlich (CW-Laser), wobei der Abstrahlwinkel systematisch und in festen Inkrementen variiert wird. So wird typischerweise etwa in Winkelschritten LSINC von z.B. 0,25° bis 1° ein Winkelbereich in der z-Achse von 0° bis zu einem Winkel LSmax von z.B. 180° periodisch mit einer Frequenz von LSF vollständigen Durchläufen pro Sekunde (Scanfrequenz des Laserscanners) durchlaufen. Pro vollständigen Durchlauf des Winkelbereichs führt der Laserscanner damit LSSTEP = LSMAX/LSINC Einzelmessungen durch. Bei einer Einzelmessung wird durch eine mit dem Laser verbundene Entfernungsmesseinrichtung beim Impulslaser für einen emittierten Lichtimpuls eine Messung durchgeführt, um durch den Zeitraum zwischen Emission des Impulses und dem Empfang des reflektierten Impulses in einer mit dem Laser verbundenen Empfangseinheit die Entfernung zu einem Objekt im Strahlengang des Lasers zu bestimmen. Die Entfernungsmesseinrichtung für einen kontinuierlichen Laser verwendet die Phasenverschiebung zwischen emittiertem und reflektierten modulierten Laserstrahl, der sich an einem Objekt im Strahlengang des Lasers ergibt.The laser scanners L0 to L3 either emit short pulses of light at regular intervals (pulsed laser) or emit a modulated laser beam continuously (CW laser), the beam angle being varied systematically and in fixed increments. Thus, typically about in angular steps LS INC of, for example 0.25 ° to 1 °, an angular range in the z-axis from 0 ° to an angle LS max of, for example 180 ° periodically complete with a frequency of LS F passes per second (scanning frequency of the laser scanner). For each full scan of the angle range, the laser scanner performs LS STEP = LS MAX / LS INC individual measurements. In a single measurement, a distance measuring device connected to the laser at the pulse laser for an emitted light pulse, a measurement is carried out to determine the distance to an object in the beam path of the by the period between emission of the pulse and the reception of the reflected pulse in a receiving unit connected to the laser To determine Lasers. The continuous laser range finder uses the phase shift between emitted and reflected modulated laser beam resulting from an object in the beam path of the laser.

Zusätzlich können die Intensitäts- und Farbwerte des reflektierten Laserstrahls benutzt werden (Remissionsbetrieb), um charakteristische Eigenschaften der Oberfläche eines Objektes im Strahlengang des Lasers zu erschließen.In addition, the intensity and color values of the reflected laser beam are used (remission operation), Characteristic properties of the surface of an object in the beam path of the laser.

Der Ablauf des mit dem Messsystem durchgeführten Verfahrens wird nun anhand von 4 für eine Kamera Ci und den zugehörigen Laserscanner Li (i = 0, 1, 2, 3) beschrieben. Die in 4 eingezeichneten Blöcke werden zum Teil als Geräte, zum Teil als Verfahrensschritte beschrieben. Im letzteren Fall werden die entsprechenden Verfahrensschritte in den im Messsystem oder Fahrzeugaufbau 4 vorhandenen Geräten bzw. mittels Software durchgeführt, die auf einem darin eingebauten enthaltenen Rechner läuft.The procedure of the procedure carried out with the measuring system is now based on 4 for a camera Ci and the associated laser scanner Li (i = 0, 1, 2, 3) described. In the 4 drawn blocks are described in part as devices, partly as process steps. In the latter case, the corresponding process steps in the measuring system or vehicle body 4 existing devices or performed by software that runs on a built-in included calculator.

Ein Zeitbasis-/Zeitmarkengenerator 6 erzeugt in Zusammenarbeit mit einem Positionsbestimmungs-Messsystem 8 wie z.B. einem GPS-System Zeitmarken.A timebase / timestamp generator 6 generated in collaboration with a position measurement system 8th such as a GPS system timestamps.

Ein von der Kamera Ci aufgenommenes zweidimensionales Bild wird digitalisiert, wenn es nicht schon in digitaler Form vorliegt, und mit einer entsprechenden Zeitmarke versehen (Bezugszeichen 10).A two-dimensional image taken by the camera Ci is digitized if it is not already in digital form, and provided with a corresponding time mark (reference numeral 10 ).

Eine zeitgleich mit der Bildaufnahme durchgeführte Messung mittels des Laserscanners Li liefert Messpunkte, die ebenfalls mit einer Zeitmarke vom Zeitbasis-/Zeitmarkengenerator 6 versehen werden (Bezugszeichen 12).A measurement performed simultaneously with the image acquisition by means of the laser scanner Li supplies measurement points, which also have a time mark from the time base / time mark generator 6 be provided (reference numeral 12 ).

Ein Positions- und Lagebestimmungs-Aufnahmegerät 14 erzeugt Positions- und Lagedaten für die Kamera Ci und den Laserscanner Li anhand der vom Positionsbestimmungs-Messsystem 8 gelieferten Positionsdaten und verbessert diese durch zeitgleich bestimmte Korrekturdaten zur Positionsbestimmung durch eine in ihrer Raumposition bekannte, feste Referenzstation (Bezugszeichen 16) und zusätzlich durch die Daten über die Lage (Roll-, Stampf- und Drehbewegungen) des Messsystems 4 und des mit ihm verbundenen Laserscanners Li im Raum (Bezugszeichen 18). Weiter muss bei der Bestimmung der Raumkoordinaten für einen Messpunkt (dreidimensionale Koordinate des Messpunktes im Raum, hier auch Raumkoordinate des Messpunktes genannt) die Anordnung und Ausrichtung des jeweiligen Laserscanners Li innerhalb des Messsystems 4 durch eine der Messung vorhergehende Kalibrierung derselben bekannt sein und berücksichtigt werden (Bezugszeichen 20). Lücken in der Positionsbestimmung des Messsystems aus Satellitenortung können gemäß dem bekannten Verfahren der Koppelnavigation durch Messwerte von Wegstreckensensoren, die mit dem Messfahrzeug 2 verbunden sind, das das Messsystem 4 trägt, und Sensoren zur Bestimmung der Richtung des Messsystems 4, etwa durch Gyroskope, geschlossen bzw. interpoliert werden (Bezugszeichen 22).A position and attitude recorder 14 generates position and position data for the camera Ci and the laser scanner Li on the basis of the position measuring system 8th supplied position data and improves this by simultaneously determined correction data for position determination by a known in their spatial position, fixed reference station (reference numeral 16 ) and in addition by the data about the position (rolling, tamping and rotating movements) of the measuring system 4 and the associated laser scanner Li in space (reference numeral 18 ). Furthermore, when determining the spatial coordinates for a measuring point (three-dimensional coordinate of the measuring point in space, here also referred to as spatial coordinate of the measuring point), the arrangement and orientation of the respective laser scanner Li within the measuring system must 4 be known by a measurement of the previous calibration and taken into account (reference numeral 20 ). Gaps in the position determination of the measuring system from satellite positioning can, in accordance with the known method of dead reckoning, be measured by means of measured values of odometer sensors connected to the measuring vehicle 2 connected to the measuring system 4 carries, and sensors to determine the direction of the measuring system 4 , be closed or interpolated by gyroscopes (reference numerals 22 ).

Anhand der vom Positions- und Lagebestimmungs-Aufnahmegerät 14 berechneten Positions- und Lagedaten erfolgt einerseits eine Positionsbestimmung des Aufnahmeortes des von der Kamera Ci aufgenommenen zweidimensionales Bildes (Bezugszeichen 24), andererseits werden den einzelnen Messungen des Laserscanners, den Messpunkten, Raumkoordinaten zugeordnet (Bezugszeichen 26).On the basis of the position and orientation recorder 14 On the one hand, a position determination of the location of the two-dimensional image recorded by the camera Ci (reference symbol 24 ), on the other hand, the individual measurements of the laser scanner, the measuring points, spatial coordinates assigned (reference numerals 26 ).

In einem Verfahrensschritt, der in 4 mit dem Bezugszeichen 28 angezeigt ist, werden solche Messpunkte, die jeweils zu einem gesuchten Objekt bzw. Informationsträger gehören, geeignet zusammengefasst. Dieser Verfahrensschritt 28 kann im Detail auf zwei verschiedene Arten durchgeführt werden, die in 5 veranschaulicht sind.In a process step, which in 4 with the reference number 28 is displayed, such measuring points, each belonging to a sought object or information carrier, suitably summarized. This process step 28 can be done in detail in two different ways, which in 5 are illustrated.

In einem 3D-Verfahren, wie im Zweig a) von 5 gezeigt, werden die Messpunkte vermascht, und es wird ein dreidimensionales Oberflächennetz aus Dreiecksflächen gebildet, wobei die Ecken einer Dreiecksfläche jeweils drei räumlich benachbarte Messpunkte sind (Block 28a). Vorteilhaft werden dabei zusätzlich für die Dreiecksflächen Attributwerte berechnet und für die anschließende Merkmalsanalyse mit verwendet, die Oberflächeneigenschaften der Dreiecksfläche zum Ausdruck bringen, etwa den Reflexionsgrad, und die sich als Funktion entsprechender Messwerte für die drei Messpunkte, die die Ecken der Dreiecksfläche bilden, bestimmen (Block 28b). Anschließend werden geeignete Dreiecksflächen zusammengefasst (Block 28c).In a 3D process, as in branch a) of 5 are shown, the measuring points are meshed, and it is a three-dimensional surface mesh formed from triangular surfaces, the corners of a triangular surface are each three spatially adjacent measuring points (block 28a ). Be beneficial with attribute values additionally calculated for the triangular areas and used for the subsequent feature analysis, which express surface properties of the triangular area, such as the reflectance, and which determine the measured values for the three measuring points forming the corners of the triangular area (block 28b ). Subsequently, suitable triangular surfaces are summarized (block 28c ).

In einem 2D-Verfahren (Zweig b) von 5) werden die Messpunkte gemäß ihren Raumkoordinaten und unter Berücksichtigung der Anordnung und Lage des Laserscanners im Messsystem, durch den die Messpunkte erfasst wurden, lagerichtig in ein zweidimensionales Bild projiziert, in dem sich der Bildwert jeweils für den projizierten Messpunkt insbesondere als Funktion der räumlichen Entfernung des Messpunktes vom Messsystem ergibt (Block 28a'). Anschaulich erhält man ein Graustufenbild, in dem sich wichtige Objekte wie z.B. Schilderpfosten dunkel vor einem helleren – weil entfernteren – Hintergrund abheben, so dass für das Objekt oben auf dem Pfosten auf ein Schild geschlossen werden kann. Möglicherweise muss die perspektivische Verzerrung berücksichtigt werden, die aus der Anordnung und Ausrichtung des Laserscanners in dem Messsystem bzw. aus der Projektion in ein zweidimensionales Bild resultiert. Dazu kann das zweidimensionale Bild bezüglich der Kamera perspektivisch entzerrt werden (Block 28b').In a 2D method (branch b) of 5 ), the measuring points are projected according to their spatial coordinates and taking into account the arrangement and position of the laser scanner in the measuring system through which the measuring points were detected in a two - dimensional image, in which the image value in each case for the projected measuring point, in particular as a function of the spatial distance Measuring point of the measuring system results (block 28a ' ). Clearly, you get a grayscale image in which important objects such as signposts stand out dark against a lighter - because more distant - background, so that the object on top of the post on a sign can be closed. It may be necessary to take into account the perspective distortion that results from the arrangement and orientation of the laser scanner in the measuring system or from the projection into a two-dimensional image. For this purpose, the two-dimensional image with respect to the camera can be equalized in perspective (block 28b ' ).

Anschließend werden geeignete Teilflächen aus äquidistanten Punkten zusammengefasst (Block 28c'). In den Blöcken 28c bzw. 28c' erfolgt außerdem die dann notwendige Merkmalsanalyse für die Erkennung von Objekten bzw. Informationsträgern aus einer Menge von Messpunkten anhand eines Musterkataloges 29, der die möglichen Objektarten anhand ihrer charakteristischen Merkmale beschreibt. Die zu überprüfenden Mustermerkmale können insbesondere Größe, Form, Farben, mögliche Abstands- und Lagebereiche eines Objektes vom Messsystem sein. Ein minimales Muster für die Erkennung auch von Verkehrsschildern und Schilderträgern kann etwa durch eine konvexe Menge von Teilflächen (im Oberflächennetz) bzw. Bildpunkten (im 2D-Verfahren) definiert werden, die alle eine in einem engen Abstandbereich gleiche x-Koordinate haben und allseitig von Teilflächen bzw. Bildpunkten mit einer deutlich von diesem Abstandbereich verschiedenen Entfernung zum Messsystem umgeben sind.Subsequently, suitable subareas are compiled from equidistant points (block 28c ' ). In the blocks 28c respectively. 28c ' Furthermore, the then necessary feature analysis for the detection of objects or information carriers from a set of measuring points based on a sample catalog 29 , which describes the possible object types on the basis of their characteristic features. The pattern features to be checked can be, in particular, size, shape, colors, possible distance and position ranges of an object from the measuring system. A minimal pattern for the recognition also of traffic signs and sign carriers can be defined for example by a convex set of partial surfaces (in the surface network) or pixels (in the 2D method), all of which have a co-ordinate distance in a similar x-coordinate and sides of Partial surfaces or pixels are surrounded with a distance significantly different from this distance range to the measuring system.

Im Block 30 (3) werden die im Block 28 bestimmten Objekte und Informationsträger im Raum in geeignete, mit dem Messsystem aufgenommene Digitalbilder projiziert, die mit den Kameras Ci aufgenommen wurden, um das Abbild eines erkannten Objektes bzw. Schilderträgers in einem aufgenommenen Digitalbild als Teilbild bzw. Bildausschnitt aus diesem Digitalbild zu bestimmen, zu kennzeichnen oder gegebenenfalls aus dem jeweiligen Digitalbild zu entnehmen. Dies ist für weitergehende, auch manuelle Bildbearbeitungsaufgaben wie z.B. Verkehrszeichenerkennung von hohem Nutzen, insbesondere wenn eine hohe Anzahl von Objekten bearbeitet werden muss, um durch besondere Hervorhebung der jeweils relevanten Objekte in dem Digitalbild bzw. Ausblendung der Umgebung der relevanten Objekte aus dem Digitalbild eine besonders effiziente Bildbearbeitung zu ermöglichen.In the block 30 ( 3 ) are in the block 28 project specific objects and information carriers in the space into suitable digital images recorded with the measuring system which were recorded with the cameras Ci in order to determine the image of a recognized object or sign carrier in a recorded digital image as a partial image or image section from this digital image or, if appropriate, from the respective digital image. This is for further, even manual image processing tasks such as traffic sign recognition of great benefit, especially if a large number of objects must be edited to special highlighting the relevant objects in the digital image or hiding the environment of the relevant objects from the digital image a special enable efficient image editing.

Speziell können in ein geeignetes Digitalbild, das zu einem Zeitpunkt t0 mit einer Kamera Ci aufgenommen wurde, die einem Laserscanner Li zugeordnet ist, die Koordinaten eines zuvor erkannten Objektes bzw. Informationsträgers im Raum projiziert werden, um das Abbild des erkannten Objektes bzw. Informationsträgers in dem Digitalbild zu bestimmen. Die Projektionsabbildung ergibt sich unter Berücksichtigung der durch Kalibrierung des Messsystems zuvor bestimmten und bekannten, festen Anordnung und Ausrichtung zwischen Ci und Li im Messsystem sowie der sich durch die Anordnung und Ausrichtung von Ci innerhalb des Messsystems ergebenden perspektivischen Verzerrung in Bezug auf das Fahrzeugkoordinatensystem x, y, z (Block 24) sowie unter zusätzlicher Berücksichtigung der durch innere Kalibrierung (Block 32) zuvor zu bestimmenden abbildungsoptischen Eigenschaften der Kamera Ci in Bezug auf das aufgenommene Digitalbild.Specifically, in a suitable digital image taken at a time t 0 with a camera Ci associated with a laser scanner Li, the coordinates of a previously recognized object or information carrier may be projected in space to form the image of the detected object or information carrier in the digital image. The projection image is obtained taking into account the previously determined and known by calibration of the measuring system, fixed arrangement and alignment between Ci and Li in the measuring system and the resulting by the arrangement and orientation of Ci within the measuring system perspective distortion with respect to the vehicle coordinate system x, y , z (block 24 ) and with additional consideration of the internal calibration (block 32 ) to be determined before imaging optical properties of the camera Ci with respect to the recorded digital image.

Eine lineare Bewegung des Messsystems bzw. des mit ihm fest verbundenen Messfahrzeugs 2 mit einer Geschwindigkeit v > 0 vorausgesetzt, kann in einem Digitalbild, das durch die Kamera Ci zu einem Zeitpunkt t0 aufgenommen wurde, den relevanten Entfernungsmessergebnissen des der Kamera Ci zugeordneten Laserscanners Li bei einem vollständigen Durchlauf des Winkelbereichs in der z-Achse kurz vor und nach t0 eine Linie sl von diskreten Messpunkten zugeordnet werden, siehe 6, in der der rechteckige Rahmen das Digitalbild zeigt und die punktierten Linien die in das Digitalbild projizierten Messpunkte zeigen. Die Linie sl wird dabei durch den Graph der Messergebnisse bei einem Durchlauf des Laserscanners im Winkelbereich von (LSmax – α)/2 bis (LSmax + α)/2 (bei einer Schrittweite von LSINC) und im Zeitraum von 0 bis LSSTEP·α/LSMAX Zeiteinheiten (bei einer Schrittweite von 1) definiert. Die Steigung der Linie sl bestimmt sich aus der Geschwindigkeit v; mit zunehmender Geschwindigkeit v wird die Steigung von sl immer geringer, bei v = 0 ist sl eine vertikale Line. Die in 6 gezeigte Überdeckung des Digitalbildes mit einer Vielzahl von Linien sl ist in diesem Fall nur unter Verwendung eines 3D-Laserscanners möglich, der nicht nur – wie beim 2D-Laserstrahl – den Emissionswinkel des Laserstrahls in der z-Achse in fest definierten Schrittweiten variiert, sondern auch in der x- und y-Achse. Diese Überdeckung wird beim 2D-Laserscanner durch die Bewegung des mit dem Messsystem 4 fest verbundenen Messfahrzeugs 2 erreicht.A linear movement of the measuring system or of the measuring vehicle firmly connected to it 2 Assuming a speed v> 0, in a digital image taken by the camera Ci at a time t 0 , the relevant distance measurement results of the laser scanner Li associated with the camera Ci can be shown shortly before and during a complete passage of the angular range in the z-axis after t 0 a line sl of discrete measuring points are assigned, see 6 where the rectangular frame shows the digital image and the dotted lines show the measurement points projected into the digital image. The line sl is determined by the graph of the measurement results during a passage of the laser scanner in the angular range from (LS max - α) / 2 to (LS max + α) / 2 (at a step size of LS INC ) and in the period from 0 to LS STEP · α / LS MAX time units (with a step size of 1). The slope of the line sl is determined by the speed v; as the velocity v increases, the slope of sl becomes smaller, and if v = 0, sl is a vertical line. In the 6 shown coverage of the digital image with a plurality of lines sl is possible in this case only using a 3D laser scanner, which not only - as in the 2D laser beam - the emission angle of the laser beam in the z-axis varies in fixed increments, but also in the x and y axes. This overlap is when 2D laser scanner by the movement of the with the measuring system 4 firmly connected measuring vehicle 2 reached.

Die in Block 30 entsprechenden Digitalbildausschnitten zugeordneten Objekte bzw. Informationsträger werden in einem Block 34 so in einer (objektrelationalen) Datenbank abgelegt, dass mit jedem erkannten Objekt und Informationsträger mindestens seine Flächen- bzw. Raumkoordinaten sowie die Art des erkannten Objektes bzw. Informationsträgers so hinterlegt werden, dass über die Flächen- bzw. Raumkoordinaten und/oder die Objektart nach dem Objekt bzw. Informationsträger die Datenbank durchmustert oder durchsucht werden kann. Dabei können die Flächen- bzw. Raumkoordinaten eines in Block 28 bestimmten Objektes bzw. Informationsträgers in anwendungsspezifisch geeigneter Weise jeweils durch Minimal-, Maximal-, Mittelpunktswertberechnung der zugehörigen Koordinaten des Objektes bzw. Informationsträgers in den Dimensionen x, y, z berechnet werden.The in block 30 corresponding digital image sections associated objects or information carrier are in a block 34 stored in a (object-relational) database such that with each detected object and information carrier at least its area or space coordinates and the nature of the detected object or information carrier are deposited so that on the area or space coordinates and / or the object type the object or information carrier, the database can be screened or searched. The area or space coordinates of a block 28 certain object or information carrier in an application-specific manner, each by the minimum, maximum, center point calculation of the associated coordinates of the object or information carrier in the dimensions x, y, z are calculated.

Zusammengefasst wurde ein Verfahren zur automatischen Erfassung und Bestimmung von ortsfesten Objekten oder Informationsträgern aus einem fahrenden Fahrzeug heraus beschrieben, das mit einem mit dem Fahrzeug verbundenen Messsystem bestehend aus einer oder mehreren Kameras und einem oder mehreren Laserscannern ausgestattet ist, wobei Kameras und Laserscanner mit dem Messsystem fest verbunden und in ihrer Ausrichtung in Bezug auf das Messsystem bekannt sind, und wobei ein Laserscanner jeweils mit einer Messeinrichtung ausgestattet ist, mit der mindestens die Entfernung des Laserscanners von einem Messpunkt im Strahlgang des Laserscanners bestimmt werden kann, und hieraus unter Verwendung von a) Positionsdaten aus Satellitenortung über den Standort des Messsystems zum Zeitpunkt der Emission des Laserstrahls und b) Daten über die Lage des Messsystems im Raum zu diesem Zeit punkt die dreidimensionale Koordinate des Messpunktes im Raum (Raumkoordinate des Messpunktes) bestimmt wird. Bei dem Verfahren nehmen die Kameras Bilder im wesentlichen in horizontaler Richtung auf und sind die Laserscanner mit der Kamera bzw. den Kameras derart gekoppelt und einander fest zugeordnet, dass der Aufnahmebereich einer oder mehrerer Kameras flächendeckend und mit einer hohen Anzahl von Messpunkten durch einen oder mehrere Laserscanner abgetastet wird, und weiter werden aus der Menge von Raumkoordinaten von Messpunkten unter Berücksichtigung von a) der perspektivischen Verzerrung durch die Ausrichtung des Laserscanners in Bezug auf das Messsystem und b) von bekannten Merkmalen gesuchter Objektarten wie Größe, Form, Farben, Oberflächenstruktur sowie möglichen Abstands, Lagebereichen zum Messsystem Objekte bzw. Informationsträger im Raum erkannt, ihre Art bestimmt und wenigstens Koordinaten und Art der erkannten Objekte bzw. Informationsträger in einer Datenbank gespeichert, welche Datenbank dann insbesondere nach Koordinaten und der Art der gespeicherten Objekte bzw. Informationsträger durchsucht werden kann.Summarized was a method for automatic detection and determination of fixed objects or information carriers from a moving vehicle out, which consists of a measuring system connected to the vehicle from one or more cameras and one or more laser scanners equipped, using cameras and laser scanners with the measuring system firmly connected and in their orientation with respect to the measuring system are known, and wherein a laser scanner each with a measuring device equipped with at least the distance of the laser scanner be determined by a measuring point in the beam path of the laser scanner can, and from this using a) position data from satellite positioning over the Location of the measuring system at the time of emission of the laser beam and b) data about the location of the measuring system in space at that time point the three-dimensional Coordinate of the measuring point in the room (spatial coordinate of the measuring point) is determined. In the process, the cameras essentially take pictures in the horizontal direction and are the laser scanner with the camera or the cameras so coupled and assigned to each other, that the recording area of one or more cameras nationwide and with a high number of measurement points through one or more Laser scanner is scanned, and further from the amount of Spatial coordinates of measuring points taking into account a) the perspective Distortion due to the orientation of the laser scanner with respect to the measuring system and b) known features of sought object types like size, shape, Colors, surface texture as well potential Distance, locations to the measuring system Objects or information carriers in the room recognized, determined their nature and at least coordinates and type of detected objects or information carriers stored in a database, which database then in particular according to coordinates and the type the stored objects or information carrier can be searched.

Claims (22)

1) Verfahren zur automatischen Erfassung und Bestimmung von ortsfesten Objekten im Freien von einem fahrenden Fahrzeug (2) aus, das mit einem Messsystem (4) ausgestattet ist, das eine oder mehrere, im wesentlichen horizontal aufnehmende Kameras (C0 bis C3) und einen oder mehrere, jeweils einer der Kameras zugeordnete und im wesentlichen koaxial damit angeordnete Laserscanner (L0 bis L3) enthält, die jeweils dafür eingerichtet sind, die Entfernung zu Messpunkten im Strahlengang des Laserscanners zu bestimmen, woraus unter Verwendung von Positionsdaten aus Satellitenortung über den Standort des Messsystems zum Zeitpunkt der Laserstrahlemission und von Daten über die Lage des Messsystems im Raum zu diesem Zeitpunkt die Raumkoordinaten der Messpunkte bestimmt werden, wobei Raumkoordinaten von Messpunkten zu Mengen zusammengefasst werden, in denen anhand von bekannten Merkmalen gesuchter Objektarten Objekte im Raum erkannt werden, deren Art bestimmt wird, wobei mindestens Koordinaten und Art der erkannten Objekte in einer Datenbank gespeichert werden, welche insbesondere nach den Koordinaten und der Art der gespeicherten Objekte durchsuchbar ist.1) Method for automatic detection and determination of fixed objects in the open air from a moving vehicle ( 2 ) equipped with a measuring system ( 4 ) equipped with one or more substantially horizontally receiving cameras (C0 to C3) and one or more laser scanners (L0 to L3) each associated with one of the cameras and arranged substantially coaxially therewith, each of which is adapted to Distance to measuring points in the beam path of the laser scanner to determine, using position data from satellite positioning on the location of the measuring system at the time of laser beam emission and data on the position of the measuring system in space at this time, the spatial coordinates of the measuring points are determined, where spatial coordinates of measuring points are summarized to sets in which based on known features sought object types objects are detected in the room, the nature of which is determined, at least coordinates and type of detected objects are stored in a database, which in particular searches the coordinates and the nature of the stored objects bar is. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die zu erfassenden Objekte Informationsträger umfassen.Method according to claim 1, characterized in that that the objects to be detected comprise information carriers. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kameras (C0 bis C3) und Laserscanner (L0 bis L3) in einer festen Ausrichtung am Fahrzeug (2) bzw. am Messsystem (4) angebracht sind.A method according to claim 1 or 2, characterized in that the cameras (C0 to C3) and laser scanner (L0 to L3) in a fixed orientation on the vehicle ( 2 ) or on the measuring system ( 4 ) are mounted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Erkennung von Objekten im Raum anhand von bekannten Merkmalen gesuchter Objektarten auch die perspektivische Verzerrung durch die Ausrichtung des Laserscanners (L0 bis L3) in Bezug auf das Messsystem (4) berücksichtigt wird.Method according to one of the preceding claims, characterized in that in the recognition of objects in space on the basis of known features sought object types and the perspective distortion by the orientation of the laser scanner (L0 to L3) with respect to the measuring system ( 4 ) is taken into account. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die bekannten Merkmale gesuchter Objektarten folgende Merkmale umfassen: Größe, Form, Farbe, Oberflächenstruktur sowie mögliche Abstands- und Lagebereiche zum Messsystem (4).Method according to one of the preceding claims, characterized in that the known features of sought object types include the following features: size, shape, color, surface structure and possible distance and position ranges to the measuring system ( 4 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameras (C0 bis C3) Bilder im wesentlichen in horizontaler Richtung aufnehmen.Method according to one of the preceding claims, characterized in that the Ka meras (C0 to C3) take pictures essentially in the horizontal direction. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Laserscanner (L0 bis L3) und Kameras (C0 bis C3) derart gekoppelt und einander fest zugeordnet sind, dass der Aufnahmebereich einer oder mehrerer Kameras flächendeckend und mit einer hohen Anzahl von Messpunkten durch einen oder mehrere Laserscanner abgetastet wird.Method according to one of the preceding claims, characterized characterized in that the laser scanner (L0 to L3) and cameras (C0 to C3) are coupled and fixedly assigned to one another such that the coverage of one or more cameras nationwide and with a high number of measurement points through one or more Scanned laser scanner. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Messsystem (4) kalibriert ist, so dass sich ein geeigneter Raumpunkt in einem dreidimensionalen Koordinatensystem (x, y, z) um das Messsystem, der sich im Messbereich eines oder mehrerer der Laserscanner (L0 bis L3) befindet, unter Berücksichtigung der bekannten Anordnung und Ausrichtung von Laserscannern und Kameras (C0 bis C3) im Messsystem lagerichtig als zweidimensionaler Bildpunkt in den Bildbereich einer oder mehrerer der Kameras des Messsystems, die dem bzw. den Laserscanner zugeordnet sind, projizieren lässt.Method according to one of the preceding claims, characterized in that the measuring system ( 4 ) is calibrated so that a suitable spatial point in a three-dimensional coordinate system (x, y, z) around the measuring system, which is in the measuring range of one or more of the laser scanner (L0 to L3), taking into account the known arrangement and alignment of laser scanners and cameras (C0 to C3) in the measuring system in the correct position as a two-dimensional pixel in the image area of one or more of the cameras of the measuring system, which are associated with the or the laser scanner, can be projected. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ergänzend die innere Kalibrierung einer Kamera und des zur Aufnahme verwendeten Objektivs zur Bestimmung der Projektionsparameter Verwendung findet.Method according to claim 8, characterized in that that complementary the internal calibration of a camera and that used for recording Lens is used to determine the projection parameters. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass gemäß der Lage eines erkannten Objektes im Raum und unter Berücksichtigung der durch die Kalibirierung bekannten Zuordnung zwischen Raumkoordinaten und dem Bildbereich einer Kamera (C0 bis C3) sowie unter weiterer Berücksichtigung der Positionsinformation des Messsystems aus Satellitenortung zum Zeitpunkt der Aufnahme eines Digitalbildes sowie unter weiterer Berücksichtigung der Veränderung von Position und Lage des Messsystems im Raum zwischen dem Zeitpunkt der Aufnahme eines Digitalbildes und den Zeitpunkten der Bestimmung der Raumkoordinaten eines Objektes mittels Laserscannern (L0 bis L3) das Abbild des Objektes in einem aufgenommenen Digitalbild erkannt und das zugehörige Abbild des Objektes als Bildausschnitt aus dem aufgenommenen Digitalbild bestimmt und als Teilbild entnommen wird.Method according to claim 8 or 9, characterized that according to the situation a recognized object in space and taking into account the through the Calibration known assignment between spatial coordinates and the Image area of a camera (C0 to C3) and with further consideration the position information of the measuring system from satellite positioning to Time of recording a digital image and among others consideration the change of position and location of the measuring system in the space between the time of Recording a digital image and the time of the determination the spatial coordinates of an object by means of laser scanners (L0 to L3) recognizes the image of the object in a recorded digital image and the associated one Image of the object as image section determined from the recorded digital image and is taken as a partial picture. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in die Datenbank zu einem Objekt zusätzlich ein zugehöriger Bildausschnitt oder ein Verweis auf einen Bildausschnitt mit dem Abbild des erkannten Objektes aufgenommen und in der Datenbank gespeichert wird.Method according to one of the preceding claims, characterized characterized in that in the database to an object in addition associated image section or a reference to a frame with the image of the recognized Object is recorded and stored in the database. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lage des Messsystems im Raum durch ein mit dem Messsystem fest verbundenes dreidimensionales Inertialsystem bestimmt wird, das unter Verwendung von Drehraten- und Beschleunigungssensoren für mehrere Dimensionen erhalten wird.Method according to one of the preceding claims, characterized characterized in that the position of the measuring system in the room by a with the measuring system firmly connected three-dimensional inertial system is determined, using yaw rate and acceleration sensors for many Dimensions is obtained. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lage des Messsystems im Raum durch eine mit dem Messsystem fest verbundene Anzahl von mindestens drei, räumlich auf dem Messsystem voneinander entfernt angeordneten Empfängern zur Positionsbestimmung aus Satellitenortung bestimmt wird, wobei deren relative Positionsdifferenz einer zum gleichen Zeitpunkt ausgeführten Positionsbestimmung zur Berechnung der Lage des Messsystems verwendet wird.Method according to one of the preceding claims, characterized characterized in that the position of the measuring system in the room by a fixed number of at least three, spatially up to the measuring system the measuring system from each other remote receivers for Position determination is determined from satellite positioning, with their relative position difference of a position determination carried out at the same time used to calculate the position of the measuring system. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung der Zugehörigkeit eines Messpunktes im Messbereich eines Laserscanners zu einem Objekt sowie zur Bestimmung der Art des Objektes nicht nur die Entfernung des Messpunktes zum Laserscanner, sondern auch die Intensität der Reflexion des Laserstrahls an diesem Messpunkt (Remission) berücksichtigt wird.Method according to one of the preceding claims, characterized characterized in that for determining the affiliation of a measuring point in the measuring range a laser scanner to an object and to determine the type of the object not only the distance of the measuring point to the laser scanner, but also the intensity the reflection of the laser beam at this measuring point (remission) considered becomes. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung der Zugehörigkeit eines Messpunktes im Messbereich eines Laserscanners zu einem Objekt sowie zur Bestimmung der Art des Objektes nicht nur die Entfernung des Messpunktes zum Laserscanner berücksichtigt wird, sondern auch die reflektierte Farbe für diesen Messpunkt.Method according to one of the preceding claims, characterized characterized in that for determining the affiliation of a measuring point in the measuring range a laser scanner to an object and to determine the type of the object not only takes into account the distance of the measuring point to the laser scanner but also the reflected color for that measurement point. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass zur Bestimmung der dreidimensionalen Koordinaten eines Messpunktes im Strahlengang des Laserscanners ein 2D-Laserscanner verwendet wird, der zum Zeitpunkt vor, während und nach der Aufnahme eines Digitalbildes und unter Berücksichtigung der als gleich förmig anzunehmenden Bewegung des mit dem Messsystems verbundenen Fahrzeugs jeweils nur eine Mehrzahl von linienförmig angeordneten Messpunkten im Bildbereich der Digitalkamera aufnimmt.Method according to claim 12 or 13, characterized that for determining the three-dimensional coordinates of a measuring point in Beam path of the laser scanner a 2D laser scanner is used the time before, while and after taking a digital image and taking into account the as shaped like assumed movement of the vehicle connected to the measuring system in each case only a plurality of linearly arranged measuring points in the image area of the digital camera. Verfahren nach einem der Ansprüche 1, 12 oder 13, dadurch gekennzeichnet, dass zur Bestimmung der dreidimensionalen Koordinaten eines Messpunktes im Strahlengang des Laserscanners ein 3D-Laserscanner verwendet wird, der zum Zeitpunkt vor, während und nach der Aufnahme eines Digitalbildes den Bildbereich flächig abscannt.Method according to one of claims 1, 12 or 13, characterized characterized in that for determining the three-dimensional coordinates a measuring point in the beam path of the laser scanner a 3D laser scanner is used at the time before, during and after shooting a digital image scans the image area surface. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung von Objekten und ihrer Art aus Messpunkten gemäß bekannten Merkmalen zunächst eine Vermaschung der in ihren dreidimensionalen Koordinaten bestimmten Messpunkte durchgeführt wird (28a), so dass jeweils drei im Raum benachbarte Messpunkte durch eine Fläche verbunden und damit ein dreidimensionales Oberflächennetz aus Dreiecksflächen berechnet wird (28b), auf dem sodann die Merkmalsanalyse und Zusammenfassung räumlich benachbarter Dreiecksflächen zu einem Objekt vorgenommen wird (28c), wobei zusätzlich ein Musterkatalog (29) zum Einsatz kommt, der charakteristische Eigenschaften zu erkennender Objektarten wie Größe, Form, Farbe, Oberflächenstruktur und mögliche Abstands-, Lagebereiche in Bezug auf die Entfernung zum Messsystem (4) beschreibt.Method according to one of the preceding claims, characterized in that for the determination of objects and their kind from Messpunk According to known features, first a meshing of the measuring points determined in their three-dimensional coordinates is carried out ( 28a ), so that in each case three measuring points adjacent to the space are connected by a surface and thus a three-dimensional surface network is calculated from triangular surfaces ( 28b ), on which the feature analysis and the combination of spatially adjacent triangular surfaces to an object is carried out ( 28c ), with an additional sample catalog ( 29 ), the characteristic properties of recognizable object types such as size, shape, color, surface structure and possible distance, position ranges in relation to the distance to the measuring system ( 4 ) describes. Verfahren nach Anspruch 18 und nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass die berechneten Dreiecksflächen mit einem Reflexionswert und/oder Farbwert attributiert werden und diese Werte für die Merkmalsanalyse zusätzlich Verwendung finden, wobei sich der Reflexionswert und/oder Farbwert als Funktion der gemäß Anspruch 14 berechneten Reflexionswerte oder/und gemäß Anspruch 15 berechneten Farbwerte der Eckpunkte der Dreiecksflächen ergeben.The method of claim 18 and claim 14 or 15, characterized in that the calculated triangular areas with attributed to a reflection value and / or color value and these Values for the feature analysis in addition Use, wherein the reflection value and / or color value as a function of claim 14 calculated reflection values or / and according to claim 15 calculated color values the vertices of the triangular surfaces result. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung von Objekten und ihrer Art aus Messpunkten gemäß bekannten Merkmalen die in ihren dreidimensionalen Koordinaten bestimmten Messpunkte zunächst lagerichtig in ein zweidimensionales Bild projiziert werden (28a'), wobei die Bildwerte Farbe und Intensität für einen Bildpunkt in dem zweidimensionalen Bild sich jeweils aus der räumlichen Entfernung desjenigen Messpunktes zum Messsystem ergeben, der in den jeweiligen Bildpunkt in dem zweidimensionalen Bild projiziert wird, und sodann die Merkmalsanalyse und Zusammenfassung von Bildpunkten zu Teilflächen des zweidimensionalen Bildes vorgenommen wird (28c'), die das Abbild eines Objekt in dem zweidimensionalen Bild darstellen, und wobei zusätzlich ein Musterkatalog (29) zum Einsatz kommt, der charakteristische Eigenschaften zu erkennender Objektarten wie Größe, Form, Farbe, Oberflächenstruktur und mögliche Abstands-, Lagebereiche in Bezug auf die Entfernung zum Messsystem (4) beschreibt.Method according to one of the preceding claims, characterized in that for the purpose of determining objects and their type from measuring points according to known features, the measuring points determined in their three-dimensional coordinates are first projected in the correct position into a two-dimensional image ( 28a ' ), wherein the image values of color and intensity for a pixel in the two-dimensional image result respectively from the spatial distance of that measurement point to the measurement system which is projected into the respective pixel in the two-dimensional image, and then the feature analysis and summary of pixels to partial surfaces of two-dimensional image is made ( 28c ' ), which represent the image of an object in the two-dimensional image, and in addition a sample catalog ( 29 ), the characteristic properties of recognizable object types such as size, shape, color, surface structure and possible distance, position ranges in relation to the distance to the measuring system ( 4 ) describes. Verfahren nach Anspruch 20 und nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass die berechneten Bildwerte der Bildpunkte in dem zweidimensionalen Bild zusätzlich durch den Reflexionswert und/oder Farbwert bestimmt werden können, der sich gemäß Anspruch 14 oder 15 für den Messpunkt ergeben hat, der in den Bildpunkt projiziert wurde.The method of claim 20 and claim 14 or 15, characterized in that the calculated image values of the pixels in the two-dimensional image additionally by the reflection value and / or color value can be determined according to claim 14 or 15 for resulted in the measuring point that was projected into the pixel. Verfahren nach Ansprüchen 10 und 11 und nach einem der Ansprüche 18 bis 21, dadurch gekennzeichnet, dass aus einem geeigneten Digitalbild gemäß Anspruch 10 der Bildausschnitt bestimmt wird, der das Abbild eines gemäß einem der Ansprüche 18 bis 21 erkannten Objektes im Raum beinhaltet und dieser Bildausschnitt zusammen mit den Raumkoordinaten des erkannten Objektes und seiner Art gemäß Anspruch 11 in einer Datenbank gespeichert wird.Process according to claims 10 and 11 and according to one the claims 18 to 21, characterized in that from a suitable digital image according to claim 10, the image detail is determined, which is the image of one according to a the claims 18 to 21 recognized object in the room includes and this image detail together with the spatial coordinates of the recognized object and its Type according to claim 11 is stored in a database.
DE102004028736A 2004-06-14 2004-06-14 Outdoor stationary object automatic detection and determination method for vehicle, involves determining space coordinates of measuring points, and determining type of object identified in outdoor by summarizing coordinates Ceased DE102004028736A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004028736A DE102004028736A1 (en) 2004-06-14 2004-06-14 Outdoor stationary object automatic detection and determination method for vehicle, involves determining space coordinates of measuring points, and determining type of object identified in outdoor by summarizing coordinates

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004028736A DE102004028736A1 (en) 2004-06-14 2004-06-14 Outdoor stationary object automatic detection and determination method for vehicle, involves determining space coordinates of measuring points, and determining type of object identified in outdoor by summarizing coordinates

Publications (1)

Publication Number Publication Date
DE102004028736A1 true DE102004028736A1 (en) 2006-03-23

Family

ID=36001284

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004028736A Ceased DE102004028736A1 (en) 2004-06-14 2004-06-14 Outdoor stationary object automatic detection and determination method for vehicle, involves determining space coordinates of measuring points, and determining type of object identified in outdoor by summarizing coordinates

Country Status (1)

Country Link
DE (1) DE102004028736A1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007037162A1 (en) 2007-08-07 2009-02-19 Gottfried Wilhelm Leibniz Universität Hannover Artificial and natural objects detection method for vehicle, involves converting measuring information in common standard time, synchronizing information on trigger points, and orienting information on clock signal
WO2009138732A1 (en) * 2008-05-12 2009-11-19 Mark Group Limited Image acquisition
GB2434269B (en) * 2006-01-17 2010-04-28 3D Laser Mapping Ltd Measuring apparatus
EP2216657A1 (en) * 2009-02-04 2010-08-11 Riegl Laser Measurement Systems GmbH Positioning assembly and method
DE102010021383A1 (en) 2009-05-29 2011-01-05 Kurt Wolfert Method for automatic detection of e.g. tree, via van, involves storing moving image that is provided with corrected position data and distance profile, and determining spatial position and dimensions of detected object
DE202010017282U1 (en) 2010-05-25 2011-08-26 Kurt Wolfert Device for automated detection of objects by means of a moving vehicle
EP2322901A3 (en) * 2009-11-16 2012-01-11 Riegl Laser Measurement Systems GmbH Method for improving position and orientation measurement data
DE102012012002A1 (en) 2012-06-16 2013-12-19 Volkswagen Aktiengesellschaft Environment acquisition method for mobile generation of three-dimensional-scan of environment around distance of motor car, involves determining trajectory of motor car from specifications that are determined by sensors during test run
DE102013009856A1 (en) * 2013-06-13 2014-12-18 Audi Ag Determining the position of a stationary traffic object by means of a central server arrangement
DE102015010514A1 (en) * 2015-08-13 2017-02-16 Audi Ag A method of determining map information for a map data set of a navigation environment and computing device
DE102019124378A1 (en) * 2019-09-11 2021-03-11 Gottfried Wilhelm Leibniz Universität Hannover Method and measuring device for measuring a building

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2434269B (en) * 2006-01-17 2010-04-28 3D Laser Mapping Ltd Measuring apparatus
DE102007037162A1 (en) 2007-08-07 2009-02-19 Gottfried Wilhelm Leibniz Universität Hannover Artificial and natural objects detection method for vehicle, involves converting measuring information in common standard time, synchronizing information on trigger points, and orienting information on clock signal
US8780207B2 (en) 2008-05-12 2014-07-15 Mark Group Limited Image acquisition
WO2009138732A1 (en) * 2008-05-12 2009-11-19 Mark Group Limited Image acquisition
EP2216657A1 (en) * 2009-02-04 2010-08-11 Riegl Laser Measurement Systems GmbH Positioning assembly and method
DE102010064480B3 (en) * 2009-05-29 2017-03-23 Kurt Wolfert Device for automated detection of objects by means of a moving vehicle
DE102010021383B4 (en) * 2009-05-29 2012-06-06 Kurt Wolfert Method for automated detection of objects by means of a moving vehicle
DE102010021383A1 (en) 2009-05-29 2011-01-05 Kurt Wolfert Method for automatic detection of e.g. tree, via van, involves storing moving image that is provided with corrected position data and distance profile, and determining spatial position and dimensions of detected object
EP2322901A3 (en) * 2009-11-16 2012-01-11 Riegl Laser Measurement Systems GmbH Method for improving position and orientation measurement data
DE202010017282U1 (en) 2010-05-25 2011-08-26 Kurt Wolfert Device for automated detection of objects by means of a moving vehicle
DE102012012002A1 (en) 2012-06-16 2013-12-19 Volkswagen Aktiengesellschaft Environment acquisition method for mobile generation of three-dimensional-scan of environment around distance of motor car, involves determining trajectory of motor car from specifications that are determined by sensors during test run
DE102012012002B4 (en) 2012-06-16 2018-05-09 Volkswagen Aktiengesellschaft Environment sensing method and apparatus
DE102013009856A1 (en) * 2013-06-13 2014-12-18 Audi Ag Determining the position of a stationary traffic object by means of a central server arrangement
DE102013009856B4 (en) 2013-06-13 2023-11-02 Audi Ag Determining the position of a stationary traffic object using a central server arrangement
DE102015010514A1 (en) * 2015-08-13 2017-02-16 Audi Ag A method of determining map information for a map data set of a navigation environment and computing device
DE102015010514B4 (en) 2015-08-13 2019-06-13 Audi Ag A method of determining map information for a map data set of a navigation environment and computing device
DE102019124378A1 (en) * 2019-09-11 2021-03-11 Gottfried Wilhelm Leibniz Universität Hannover Method and measuring device for measuring a building
EP3800441A2 (en) 2019-09-11 2021-04-07 Hydromapper GmbH Method and measuring device for measuring a structure

Similar Documents

Publication Publication Date Title
EP3443301B1 (en) Method and system for determining a global position of a first landmark
EP0763185B1 (en) Method for the collection, analysis, measurement and storage of geographical data
DE69818889T2 (en) Device and system for labeling digital images
DE19743705C1 (en) Method of collecting and combining positioning data from satellite location systems and other data
EP2044573B1 (en) Monitoring camera, method for calibrating the monitoring camera, and use of the monitoring camera
DE60213526T2 (en) Method and system for improving situational awareness of command control units
EP2249580B1 (en) Method for calibrating the image of a camera
WO2009040063A1 (en) Apparatus and method for updating map data
DE10041277A1 (en) Development method for geospatial information, involves analyzing data set in order to determine high quality geospatial information for predetermined area
DE102014201238A1 (en) Method and system for creating a vector map
DE10308525A1 (en) surveying system
DE102021204765A1 (en) Rendering augmented reality with masking
DE102004028736A1 (en) Outdoor stationary object automatic detection and determination method for vehicle, involves determining space coordinates of measuring points, and determining type of object identified in outdoor by summarizing coordinates
WO2021083915A1 (en) Method and mobile detection unit for detecting elements of infrastructure of an underground line network
EP0634628A1 (en) Method and arrangement for earth observation
EP3008636A1 (en) Method and system for the detection of one or more persons by a vehicle
DE4436032C2 (en) Method for three-dimensional measurement and detection of the travel path of a vehicle traveling over a limited area, as well as a direction finder and car mortgage for this
DE4323081C2 (en) Method and device for displaying geographic data
DE102022200124B4 (en) Mobile detection device and method for providing a clearance width and/or clearance height of a clearance area for a motor vehicle on a roadway
EP1418401A1 (en) Method and device for airborne or spaceborne photogrammetry
DE102018133562B4 (en) Photogrammetry process for creating a model of an object
DE102006040493B4 (en) Method and devices as well as computer program for the acquisition and use of directional information of an object
DE102004050376B4 (en) Landscape scanning method for detecting roofs and side surfaces
WO2022128591A1 (en) Generating a depth map
WO2024008250A1 (en) Method for creating a height profile, and measuring system

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection