DE10141055B4 - Method for determining movement information - Google Patents

Method for determining movement information Download PDF

Info

Publication number
DE10141055B4
DE10141055B4 DE10141055A DE10141055A DE10141055B4 DE 10141055 B4 DE10141055 B4 DE 10141055B4 DE 10141055 A DE10141055 A DE 10141055A DE 10141055 A DE10141055 A DE 10141055A DE 10141055 B4 DE10141055 B4 DE 10141055B4
Authority
DE
Germany
Prior art keywords
image
images
reference points
evaluation algorithm
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE10141055A
Other languages
German (de)
Other versions
DE10141055A1 (en
Inventor
Dr. Lages Ulrich
Kay Fürstenberg
Volker Willhoeft
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ibeo Automotive Systems GmbH
Original Assignee
Ibeo Automobile Sensor GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibeo Automobile Sensor GmbH filed Critical Ibeo Automobile Sensor GmbH
Priority to DE10141055A priority Critical patent/DE10141055B4/en
Priority to AT02796260T priority patent/ATE324597T1/en
Priority to PCT/EP2002/009362 priority patent/WO2003019234A1/en
Priority to EP02796260A priority patent/EP1419402B1/en
Priority to DE50206591T priority patent/DE50206591D1/en
Publication of DE10141055A1 publication Critical patent/DE10141055A1/en
Application granted granted Critical
Publication of DE10141055B4 publication Critical patent/DE10141055B4/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes (2, 3), bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, ..., x – 2, x – 1, x, x + 1, ... n) des Überwachungsbereichs erfasst, die Positionen signifikanter Referenzpunkte des Objektes (2, 3) innerhalb der erfassten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt (2, 3) bezogene Bewegungsinformation abgeleitet wird, dadurch gekennzeichnet, dass die Bilder mittels eines Scanners ermittelt werden und bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die den überdeckten Referenzpunkten entsprechenden Referenzpunkte im Bild x – 1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x – 1 verarbeitet werden.Method for determining movement information of at least one object (2, 3) located within a monitoring area, in which a number of n pictures i (with i = 1, 2, 3,..., X-2, x-1 , x, x + 1,... n) of the monitoring area, determines the positions of significant reference points of the object (2, 3) within the captured images and from these, each associated with an image reference point positions by means of an evaluation algorithm on the object (2, 3) related motion information is derived, characterized in that the images are determined by means of a scanner and overlapping to be detected reference points in an image x by a foreground object corresponding to the covered reference points reference points in the image x - 1 in that calculation cycle of the evaluation algorithm remain unconsidered, in which the images x and x - 1 are processed.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes, bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, ..., x – 2, x – 1, x, x + 1, ... n) des Überwachungsbereichs erfaßt, die Positionen signifikanter Referenzpunkte des Objektes innerhalb der erfaßten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt bezogene Bewegungsinformation abgeleitet wird.The invention relates to a method for determining movement information of at least one object located within a monitoring area, in which a number of n pictures i (with i = 1, 2, 3,..., X-2, x-1, x, x + 1, ... n) of the monitored area, determines the positions of significant reference points of the object within the captured images and from these, each associated with an image reference point positions by means of an evaluation algorithm derived on the object motion information is derived.

Derartige Verfahren sind bekannt und werden beispielsweise dazu verwendet, die Geschwindigkeit von Objekten zu berechnen. Dabei geht in den Berechnungsalgorithmus zum einen die zwischen der Aufnahme eines ersten und eines zweiten Bildes zurückgelegte Wegstrecke des Objektes ein, die aus der Posititonsänderung des Objektes im zweiten Bild gegenüber dem ersten Bild ableitbar ist. Zum anderen geht die Zeit, die zwischen der Aufnahme des ersten und des zweiten Bildes verstrichen ist, in die genannte Berechnung ein.Such methods are known and are used, for example, to calculate the speed of objects. In this case, the calculation algorithm involves, on the one hand, the distance traveled by the object between the taking of a first and a second image which can be derived from the change in the position of the object in the second image relative to the first image. On the other hand, the time that elapsed between taking the first and the second picture is included in the calculation.

Mit geeigneten weiteren Algorithmen sind neben der Geschwindigkeit beispielsweise auch die Bewegungsrichtung sowie die Beschleunigung von Objekten bestimmbar.With suitable further algorithms in addition to the speed, for example, the direction of movement and the acceleration of objects can be determined.

Problematisch bei Verfahren der bekannten Art sind Situationen, in denen das zu verfolgende Objekt bei der Aufnahme zumindest eines Bildes durch ein Vordergrundobjekt teilweise verdeckt wird. In diesem Fall bereitet es Probleme, das nur teilweise auf dem aufgenommenen Bild dargestellte Objekt mit vollständigen Aufnahmen des Objektes in anderen Bildern zu vergleichen, da letztlich sich voneinander unterscheidende Bilder ein und desselben Objekts miteinander verglichen werden müssen. Ein Vergleich ist besonders schwierig, wenn bei dem teilverdeckten Objektbild wichtige Referenzpunkte des Objektes, die für dessen Positionsbestimmung benötigt werden, nicht zu sehen sind.A problem with methods of the known type are situations in which the object to be tracked is partially obscured when taking at least one image by a foreground object. In this case, it is difficult to compare the object shown only partially on the captured image with complete images of the object in other images, since ultimately different images of one and the same object must be compared. A comparison is particularly difficult if in the partially concealed object image important reference points of the object, which are needed for its position determination, are not visible.

US 5,280,530 betrifft die Verfolgung des Gesichts einer Person in der Videotelefonie. Dabei kommt ein Template des zu verfolgenden Gesichts zum Einsatz, das in mehrere Sub-Templates unterteilt ist. Zunächst wird ein Bild aufgenommen. Danach wird das gesamte Template und es werden die einzelnen Sub-Templates jeweils mit dem Bild abgeglichen. Beim Abgleichen der Sub-Templates mit dem Bild werden nur solche Sub-Templates verwendet, in denen das Gesicht nicht verdeckt ist. Da sich Position, Größe und/oder Orientierung des Gesichts im Laufe der Objektverfolgung ändern, wird ein an die Änderungen angepasstes aktualisiertes Template erzeugt, mit dem dann das nächste Bild abgeglichen wird. Das aktualisierte Template basiert auf den unverdeckten Bereichen des Bilds. Ist nahezu das gesamte Gesicht verdeckt, wird auf frühere Berechnungen der Objektposition zurückgegriffen. US 5,280,530 relates to the tracking of a person's face in video telephony. In this case, a template of the face to be tracked is used, which is subdivided into several sub-templates. First, a picture is taken. Then the entire template is adjusted and the individual sub-templates are compared with the image. When matching the sub-templates with the image, only those sub-templates are used in which the face is not obscured. As the position, size, and / or orientation of the face changes as the object is tracked, an updated template adapted to the changes is created to match the next image. The updated template is based on the unseen areas of the image. If almost the entire face is obscured, previous calculations of the object position are used.

Eine der Erfindung zugrunde liegende Aufgabe besteht dementsprechend darin, ein Verfahren der eingangs genannten Art derart weiterzubilden, daß auch bei einer Verarbeitung von Bildern mit teilverdeckten Objekten eine Bewegungsinformation des verfolgten Objekts zuverlässig und korrekt abgeleitet werden kann.An object of the invention is accordingly to develop a method of the type mentioned in such a way that even with a processing of images with partially hidden objects, a movement information of the tracked object can be reliably and correctly derived.

Diese Aufgabe wird gemäß einer ersten Alternative der vorliegenden Erfindung dadurch gelöst, daß bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die den überdeckten Referenzpunkten entsprechenden Referenzpunkte im Bild x – 1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x – 1 verarbeitet werden.This object is achieved according to a first alternative of the present invention in that when overlapping to be detected reference points in an image x by a foreground object the reference points corresponding to the covered reference points in the image x - 1 are disregarded in that calculation cycle of the evaluation algorithm in which the images x and x - 1 are processed.

Wenn also erfindungsgemäß zwei Bilder x – 1 und x miteinander verglichen werden, um aus den Positionen der Referenzpunkte des verfolgten Objekts Bewegungsinformationen bezüglich dieses Objekts abzuleiten, wird untersucht, welche Referenzpunkte des Objektes im Bild x durch ein Vordergrundobjekt verdeckt sind, woraufhin dann das Bild x – 1 im Auswertealgorithmus so behandelt wird, als ob im Bild x – 1 diese Referenzpunkte ebenfalls nicht vorhanden gewesen wären. Diese, auch beim Bild x – 1 unterbleibende Berücksichtigung der im Bild x verdeckten Referenzpunkte führt dann dazu, daß beim Vergleich der beiden Bilder x und x – 1 jeweils nur Referenzpunkte miteinander verglichen werden, die in beiden Bildern vorhanden sind, was – anschaulich formuliert – bedeutet, daß letztlich nur Objekte miteinander verglichen werden, die untereinander gleich aussehen. Dieser erfindungsgemäß auch bei im Bild x teilverdeckten Objekten mögliche Vergleich untereinander gleicher Objekte bedingt somit auf vorteilhafte Weise, daß in den Auswertealgorithmus nur solche Referenzpunkte eingehen, die in beiden Bildern x und x – 1 vorhanden sind, weshalb mittels des Auswertealgorithmus die gewünschten Bewegungsinformationen des Objektes problemlos zu ermitteln sind.Thus, according to the invention, if two images x - 1 and x are compared with one another in order to derive motion information relating to this object from the positions of the reference points of the tracked object, it is examined which reference points of the object in the image x are obscured by a foreground object, whereupon the image x - 1 is treated in the evaluation algorithm as if in x - 1 these reference points would not have been present either. This, also in the picture x - 1 remaining consideration of the hidden in the image x reference points then leads to the fact that when comparing the two images x and x - 1 only reference points are compared with each other, which are present in both images, which - clearly formulated - means that ultimately only objects are compared with each other, which look similar to each other. This according to the invention also in the case of x partially hidden objects possible comparison among the same objects thus requires in an advantageous manner that enter into the evaluation only those reference points that are present in both images x and x - 1, which is why the desired motion information of the object by means of the evaluation algorithm be easily determined.

In diesem Zusammenhang sei bemerkt, daß im Rahmen der Erfindung unter ”Referenzpunkten” alle objektspezifischen Daten verstanden werden, die in den Auswertealgorithmus eingehen, also nicht nur Positionen signifikanter Stellen des Objektes im Bild, sondern auch dynamische Parameter der Objekte, wie z. B. Geschwindigkeit, Beschleunigung und Bewegungsrichtung oder objektklassenspezifische Parameter, die nachstehend im Rahmen der Erläuterung einer erfindungsgemäßen Objektklassifizierung noch erklärt werden.In this context, it should be noted that in the context of the invention "reference points" are understood to mean all object-specific data that enter into the evaluation algorithm, ie not only Positions of significant parts of the object in the image, but also dynamic parameters of the objects, such. As speed, acceleration and direction of movement or object class specific parameters, which will be explained below in the context of the explanation of an object classification according to the invention.

Im Rahmen der ersten Alternative der Erfindung ist es möglich, nicht nur die genannten Referenzpunkte im Bild x – 1 unberücksichtigt zu lassen, sondern zusätzlich auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte in einem oder mehreren Bildern nicht zu berücksichtigen, die vor dem Bild x – 1 erfaßt wurden. So wird sichergestellt, daß auch bei Verarbeitung derjenigen Bilder, die vor dem Bild x – 1 erfaßt wurden, immer nur Referenzpunkte in die jeweiligen Berechnungszyklen des Auswertealgorithmus eingehen, die in allen im jeweiligen Berechnungszyklus verarbeiteten Bildern vorhanden sind.In the context of the first alternative of the invention, it is possible to disregard not only the mentioned reference points in the image x-1, but additionally also not to take into account the reference points corresponding to the covered reference points of the image x in one or more images preceding the image x - 1 were recorded. This ensures that even when processing those images which were acquired before the image x-1, only reference points, which are present in all the images processed in the respective calculation cycle, enter into the respective calculation cycles of the evaluation algorithm.

Alternativ können die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte in denjenigen Bildern, die vor dem Bild x – 1 erfaßt wurden, im Auswertealgorithmus jedoch auch berücksichtigt werden. In diesem Fall müssen im Rahmen desjenigen Berechnungszyklus, in dem das Bild x – 1 und Bilder die vor diesem Bild x – 1 erfaßt wurden, verarbeitet werden, alle Referenzpunkte des Bildes x – 1 berücksichtigt werden, also auch diejenigen, die im Bild x überdeckt waren.Alternatively, however, the reference points corresponding to the covered reference points of the image x in the images which were acquired before the image x-1 can also be taken into account in the evaluation algorithm. In this case, within the calculation cycle in which the image x - 1 and images acquired before this image x - 1 are processed, all reference points of the image x - 1 must be taken into account, including those that overlap in the image x were.

Im Rahmen der ersten Alternative der Erfindung ist es weiterhin möglich, daß auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x + 1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x + 1 verarbeitet werden. Die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x + 1 werden dann jedoch in demjenigen Berechnungszyklus wieder berücksichtigt, in dem die Bilder x + 1 und x + 2 verarbeitet werden. So wird sichergestellt, daß in jedem Berechnungszyklus des Auswertealgorithmus immer nur Bilder miteinander vollständig entsprechenden Referenzpunkten verarbeitet werden.In the context of the first alternative of the invention, it is furthermore possible for the reference points of the image x + 1 corresponding to the covered reference points of the image to remain unconsidered in that calculation cycle of the evaluation algorithm in which the images x and x + 1 are processed. However, the reference points of the image x + 1 corresponding to the covered reference points of the image x are then taken into account again in that calculation cycle in which the images x + 1 and x + 2 are processed. This ensures that in each calculation cycle of the evaluation algorithm, only images of complete reference points are always processed.

Gemäß einer zweiten Alternative der Erfindung wird die eingangs genannte Aufgabe dadurch gelöst, daß bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die Positionen der überdeckten Referenzpunkte im Bild x rechnerisch aus den nicht überdeckten Referenzpunkten dieses Bildes ermittelt und im Auswertealgorithmus berücksichtigt werden.According to a second alternative of the invention, the object mentioned in the introduction is achieved in that when overlapping to be detected reference points in an image x by a foreground object, the positions of the overlapped reference points in the image x arithmetically determined from the uncovered reference points of this image and taken into account in the evaluation algorithm.

Auch durch diese erfindungsgemäße Alternative wird der vorstehend bereits erläuterte Vorteil erreicht, daß im Auswertealgorithmus nur solche Referenzpunkte verarbeitet werden, die in allen Bildern vorhanden sind, die im Rahmen eines Berechnungszyklus des Auswertealgorithmus verarbeitet werden.This alternative according to the invention also achieves the advantage already explained above that in the evaluation algorithm only those reference points are processed which are present in all images which are processed within the framework of a calculation cycle of the evaluation algorithm.

Bevorzugt ist es dabei, wenn die Positionen der überdeckten Referenzpunkte im Bild x nicht nur aus den nicht überdeckten Referenzpunkten dieses Bildes, sondern zusätzlich auch aus objektbezogenen Informationen vorhergehender Bilder ermittelt werden. So kann zur Rekonstruktion von teilverdeckten Objekten im Bild x auch Information aus Bildern herangezogen werden, die vor dem Bild x erfaßt wurden und in denen das im Bild x teilverdeckte Objekt vollständig dargestellt war.It is preferred in this case if the positions of the overlapped reference points in the image x are determined not only from the non-covered reference points of this image, but additionally also from object-related information of preceding images. Thus, for the reconstruction of partially concealed objects in the image x, it is also possible to use information from images which were acquired before the image x and in which the object partially concealed in the image x was completely displayed.

Die nachfolgend erläuterten bevorzugten Ausführungsformen der Erfindung beziehen sich sowohl auf die erste als auch auf die zweite erfindungsgemäße Lösungsalternative.The preferred embodiments of the invention explained below relate both to the first and to the second inventive alternative solution.

Mittels des Auswertealgorithmus können im Rahmen eines Berechnungszyklus immer zwei aufeinanderfolgend erfaßte Bilder verarbeitet werden. Alternativ ist es jedoch auch möglich, mehr als zwei Bilder in einem Berechnungszyklus zu verarbeiten, wobei dann im Rahmen des erfindungsgemäßen Verfahrens sicherzustellen ist, daß alle in einem Berechnungszyklus verarbeiteten Bilder mit jeweils einander entsprechenden Referenzpunkten in den Berechnungszyklus eingehen.By means of the evaluation algorithm, two consecutively acquired images can always be processed within the framework of a calculation cycle. Alternatively, however, it is also possible to process more than two images in one calculation cycle, in which case it must be ensured in the context of the method according to the invention that all images processed in a calculation cycle enter into the calculation cycle with respectively corresponding reference points.

Besonders bevorzugt ist es, wenn die zu erfassenden Objekte jeweils einer von mehreren Objektklassen zugeordnet werden, wobei jede Objektklasse durch objektklassenspezifische Parameter gekennzeichnet ist. Diese Klassifizierung ermöglicht ein verbessertes Erkennen von Objekten, da es nicht mehr nötig ist, ein Objekt genau zu erkennen, sondern lediglich festgestellt werden muß, zu welcher Objektklasse ein erfaßtes Objekt gehört. In den Auswertealgorithmus können dann zusätzlich zu den Positionen signifikanter Bereiche des Objektes auch noch objektklassespezifische Parameter eingehen. Insbesondere können in den Auswertealgorithmus die genannten Referenzpunkt-Positionen, aus diesen Referenzpunkt-Positionen abgeleitete Zusatzinformationen, wie z. B. Bewegungsrichtung und Geschwindigkeit und/oder objektklassenspezifische Parameter eingehen.It is particularly preferred if the objects to be detected are each assigned to one of a plurality of object classes, each object class being characterized by object-class-specific parameters. This classification allows improved recognition of objects, since it is no longer necessary to accurately recognize an object, but only to determine to which object class a detected object belongs. In addition to the positions of significant areas of the object, object-class-specific parameters can then also be included in the evaluation algorithm. In particular, in the evaluation algorithm, the reference point positions mentioned, derived from these reference point positions additional information such. B. direction of movement and speed and / or object-class specific parameters.

Es kann beispielsweise je eine Objektklasse für zwei oder mehr der folgenden sechs Objekttypen vorgesehen werden:
Zweirad-Fahrer, Person, Bus/Lkw, Pkw, Pfahl, Mauer/Leitplanke. Insbesondere bei Anwendung des erfindungsgemäßen Verfahrens im Straßenverkehr können diese sechs Objekttypen bereits ausreichen, um den jeweiligen Überwachungsbereich ausreichend genau zu erfassen und Bewegungsinformationen jeweils interessierender, den Objektklassen zugeordneter Objekte zu ermitteln. For example, one object class may be provided for each of two or more of the following six object types:
Two-wheeled driver, person, bus / truck, car, post, wall / guardrail. In particular, when using the method according to the invention in road traffic, these six object types may already be sufficient to capture the respective monitoring area sufficiently accurately and to determine movement information of objects of interest in each case and associated with the object classes.

Jeder Objektklasse können typische geometrische Parameter, wie insbesondere die Objekthöhe, ein Objekthöhenbereich, die Objektkontur und/oder ein Objektkonturbereich zugeordnet werden. Bei Zuordnung der genannten Bereiche wird es möglich, im Rahmen der Klassifizierung erfaßter Objekte bestimmte Objektklassen von vornherein auszuschließen. Wenn beispielsweise bezüglich eines erfaßten Objekts entschieden werden muß, ob es der Objektklasse ”Zweirad-Fahrer” oder der Objektklasse ”Bus/Lkw” zugeordnet werden muß, kann die Objektklasse ”Zweirad-Fahrer” ausgeschlossen werden, wenn das erfaßte Objekt eine Höhe aufweist, die größer ist, als es der für die Objektklasse ”Zweirad-Fahrer” geltende Objekthöhenbereich zuläßt.Each object class can be assigned typical geometric parameters, in particular the object height, an object height range, the object contour and / or an object contour range. When assigning the named areas, it becomes possible to exclude certain object classes from the outset as part of the classification of detected objects. If, for example, it has to be decided with respect to a detected object whether it has to be assigned to the object class "two-wheeled driver" or the object class "bus / truck", the object class "two-wheeled driver" can be excluded if the detected object has a height, which is larger than the object height range valid for the object class "two-wheeled driver" permits.

Jeder Objektklasse können weiterhin typische dynamische Parameter, wie insbesondere eine Geschwindigkeit, ein Geschwindigkeitsbereich, eine Beschleunigung und/oder ein Beschleunigungsbereich zugeordnet werden. Auch durch diese Bereiche lassen sich bei zweifelhafter Zuordnung eines Objekts zu bestimmten Objektklassen wiederum Ausschlußkriterien formulieren.Each object class can continue to be assigned typical dynamic parameters, in particular a speed, a speed range, an acceleration and / or an acceleration range. In the case of doubtful assignment of an object to certain object classes, it is also possible to formulate exclusion criteria through these areas.

Zudem können zumindest bestimmten Objektklassen typische, jeweils auf andere Objektklassen bezogenen Relationsparameter zugeordnet werden, die insbesondere dazu dienen, bei der Zuordnung von Objekten zu Objektklassen bestimmte Objektklassen auszuschließen. Wenn sich beispielsweise ein zu klassifizierendes Objekt mittig zwischen zwei Leitplanken befindet, die eine Fahrbahn begrenzen, kann es sich dabei nicht um einen Pfahl handeln, da Pfähle in der Fahrbahnmitte nicht vorkommen. Vielmehr ist es dann bei einer hohen und schmalen Form des Objektes wahrscheinlich, daß es sich hierbei um eine Person handelt. Insofern wird hier also der Objektklasse ”Pfahl” ein Relationsparameter zugeordnet, gemäß dem es nicht zulässig ist, daß sich ein Objekt dieser Objektklasse in etwa mittig zwischen zwei Objekten der Klasse ”Mauer/Leitplanke” befindet. Es lassen sich hier beliebige weitere Relationsparameter und Ausschlußkriterien formulieren.In addition, at least certain object classes can be assigned typical relation parameters, which are each related to other object classes and which serve, in particular, to exclude certain object classes when assigning objects to object classes. If, for example, an object to be classified is located centrally between two guardrails which delimit a roadway, this can not be a pile, since piles do not occur in the middle of the roadway. Rather, if the object is tall and narrow, it is likely that it is a person. In this respect, the object class "pile" is assigned a relation parameter according to which it is not permissible for an object of this object class to be located approximately in the middle between two objects of the class "wall / guardrail". Any further relationship parameters and exclusion criteria can be formulated here.

Die ermittelten Bilder bestehen jeweils aus einzelnen Bildpunkten. Als Objektpunkte können dabei solche Bildpunkte verwendet werden, die auf der Konturlinie der erfaßten Objekte liegen. Besonders bevorzugt ist es, wenn die Objektpunkte auf der gesamten Konturlinie des Objekts verteilt sind.The determined images each consist of individual pixels. As object points, it is possible to use those pixels which lie on the contour line of the detected objects. It is particularly preferred if the object points are distributed over the entire contour line of the object.

Die mittels des Auswertealgorithmus zu verarbeitenden Bilder werden mittels eines Scanners, insbesondere mittels eines Laserscanners ermittelt. Ein solcher Laserscanner kann den Überwachungsbereich zeilenweise oder aber auch flächig abtasten. Ein solcher, flächig abtastender Laserscanner ist beispielsweise in der DE 101 10 420 A1 beschrieben.The images to be processed by means of the evaluation algorithm are determined by means of a scanner, in particular by means of a laser scanner. Such a laser scanner can scan the monitoring area line by line or even areally. Such a flat scanned laser scanner is for example in the DE 101 10 420 A1 described.

Als Bewegungsinformation kann die Bewegungsrichtung, die Geschwindigkeit und/oder die Beschleunigung eines Objektes ermittelt werden.As movement information, the direction of movement, the speed and / or the acceleration of an object can be determined.

Besonders bevorzugt ist die Verwendung des erfindungsgemäßen Verfahrens bei der Erfassung der Umgebung eines Fahrzeugs, wobei insbesondere auch die Fahrzeuggeschwindigkeit, die Fahrzeugbeschleunigung, Lenkwinkel, Lenkwinkeländerung, Gierrate, Gierratenänderung und/oder die Bewegungsrichtung des Fahrzeugs, in dem das erfindungsgemäße Verfahren durchgeführt wird, in den Auswertealgorithmus eingehen.Particularly preferred is the use of the inventive method in the detection of the environment of a vehicle, wherein in particular the vehicle speed, the vehicle acceleration, steering angle, steering angle change, yaw rate, yaw rate change and / or the direction of movement of the vehicle in which the inventive method is performed in the Evaluate algorithm.

Weitere bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen angegeben.Further preferred embodiments of the invention are specified in the subclaims.

Die Erfindung wird nachfolgend anhand zweier möglicher Ausführungsbeispiele unter Bezugnahme auf die Figuren erläutert; in diesen zeigen:The invention will be explained below with reference to two possible embodiments with reference to the figures; in these show:

1 ein Bild x – 1 gemäß Stand der Technik, 1 a picture x - 1 according to the prior art,

2 ein Bild x gemäß Stand der Technik, 2 a picture x according to the prior art,

3 ein Bild x + 1 gemäß Stand der Technik, 3 a picture x + 1 according to the prior art,

4 ein Bild x – 1 gemäß einer ersten Alternative der Erfindung, 4 an image x - 1 according to a first alternative of the invention,

5 ein Bild x + 1 gemäß einer ersten Alternative der Erfindung, 5 an image x + 1 according to a first alternative of the invention,

6 ein Bild x gemäß einer zweiten Alternative der Erfindung, und 6 an image x according to a second alternative of the invention, and

7 bis 12 Bilder eines Laserscanners mit ermittelten Meßpunkten, berechneten und prädizierten Punkten. 7 to 12 Images of a laser scanner with determined measuring points, calculated and predicted points.

Das Bild x – 1 gemäß 1 zeigt schematisiert eine Fahrbahn 1, auf der sich in Pfeilrichtung ein Lkw 2 bewegt, welcher vereinfacht als Kontur eines Quaders dargestellt ist. Am Rand der Fahrbahn 1, außerhalb dieser Fahrbahn 1, befindet sich ein stationär angeordneter Pfahl 3, beispielsweise ein Straßenlaterne. Lkw 2 und Pfahl 3 sind gemäß 1 relativ zueinander so angeordnet, daß der Pfahl 3 die Konturlinie des Lkw 2 nicht verdeckt, so daß die gesamte Kontur des Lkw 2 mittels eines Scanners oder einer Kamera erfaßt werden kann.The picture x - 1 according to 1 schematically shows a roadway 1 , in the direction of the arrow a truck 2 moves, which is shown simplified as a contour of a cuboid. At the edge of the road 1 , outside this lane 1 , there is a stationary arranged pile 3 for example a street lamp. truck 2 and stake 3 are according to 1 relative to each other so arranged that the pile 3 the contour line of the truck 2 not covered, so that the entire contour of the truck 2 can be detected by a scanner or a camera.

In dem zeitlich nach dem Bild x – 1 gemäß 1 aufgenommenen Bild x gemäß 2 hat sich der Lkw 2 auf der Fahrbahn 1 in Pfeilrichtung soweit vorwärts bewegt, daß ein Bereich seiner Konturlinie durch den Pfahl 3 verdeckt wird. Bei Aufnahme des Bildes x gemäß 2 mittels eines Scanners oder einer Kamera kann also nicht die gesamte Konturlinie des Lkw 2 erfaßt werden, was bedeutet, daß sich die Konturlinien des Bildes x – 1 und des Bildes x hinsichtlich ihrer Vollständigkeit voneinander unterscheiden. In the time after the picture x - 1 according to 1 taken picture x according to 2 has the truck 2 on the roadway 1 moved forward in the arrow direction so far that an area of its contour line through the pile 3 is covered. When taking the picture x according to 2 Using a scanner or a camera can not therefore the entire contour line of the truck 2 which means that the contour lines of the image x-1 and the image x differ from each other in their completeness.

Das Bild x + 1 gemäß 3 wurde wiederum nach dem Bild x gemäß 2 aufgenommen. In diesem Bild gemäß 3 hat sich der Lkw 2 gegenüber der Position gemäß 2 wiederum in Pfeilrichtung weiterbewegt, und zwar soweit, daß seine Konturlinie nicht mehr durch den Pfahl 3 verdeckt ist. Insofern unterscheidet sich also die Konturlinie gemäß 3 bezüglich ihrer Vollständigkeit nicht von der Konturlinie gemäß 1.The picture x + 1 according to 3 became again according to the picture x according to 2 added. In this picture according to 3 has the truck 2 according to the position according to 2 again moved in the direction of the arrow, to the extent that its contour line no longer through the pile 3 is covered. In this respect, therefore, the contour line differs according to 3 in terms of their completeness, not according to the contour line 1 ,

Wenn nun ein Auswertealgorithmus eingesetzt wird, bei dem im Rahmen eines Berechnungszyklus immer zwei aufeinanderfolgende Bilder verarbeitet werden, stellen sich Probleme ein, wenn zum einen die Bilder x – 1 und x und zum anderen die Bilder x und x + 1 verarbeitet werden, da in beiden Bildern jeweils Konturlinien des Lkw 2 vorliegen, die sich hinsichtlich ihrer Vollständigkeit voneinander unterscheiden und die somit nicht ohne weiteres verarbeitet und verglichen werden können.If an evaluation algorithm is used in which two successive images are always processed within the framework of a calculation cycle, problems arise if, on the one hand, the images x - 1 and x and, on the other, the images x and x + 1 are processed, since both images each contour lines of the truck 2 which are different in their completeness and therefore can not be easily processed and compared.

Gemäß 4 wird gemäß der ersten Alternative der Erfindung das Bild x – 1 derart modifiziert, daß dort derjenige Bereich der Konturlinie des Lkw 2 gestrichen wird, der im Bild x (2) durch den Pfahl 3 verdeckt ist. Durch diese Streichung können dann in einem Berechnungszyklus des Auswertealgorithmus, in den die Bilder x – 1 (4) und x (2) eingehen, jeweils in gleicher Weise unvollständige Konturlinien des Lkw 2 verarbeitet und verglichen werden, was eine fehlerfreie Berechnung seiner Geschwindigkeit oder seiner Bewegungsrichtung ermöglicht.According to 4 According to the first alternative of the invention, the image x - 1 is modified such that there that portion of the contour line of the truck 2 deleted in the picture x ( 2 ) through the stake 3 is covered. Through this deletion, in a calculation cycle of the evaluation algorithm into which the images x - 1 (in which 4 ) and x ( 2 ), in each case in the same way incomplete contour lines of the truck 2 be processed and compared, allowing an error-free calculation of its speed or its direction of movement.

Ebenso kann gemäß 5 im Bild x + 1 derjenige Bereich der Konturlinie des Lkw 2 gestrichen werden, der gemäß 2 im Bild x durch den Pfahl 3 verdeckt ist. So läßt sich der erfindungsgemäße Vorteil auch in demjenigen Berechnungszyklus des Auswertealgorithmus verwirklichen, in dem das Bild x (2) und das Bild x + 1 (5) verarbeitet wird.Likewise, according to 5 in the picture x + 1 the area of the contour line of the truck 2 deleted in accordance with 2 in the picture x through the pole 3 is covered. Thus, the advantage according to the invention can also be realized in that calculation cycle of the evaluation algorithm in which the image x (FIG. 2 ) and the picture x + 1 ( 5 ) is processed.

Gemäß der zweiten Alternative der Erfindung wird der fehlende Konturbereich im Bild x gemäß 2 aus den im Bild x vorhandenen Informationen sowie aus eventuell vorhandenen Zusatzinformationen vorhergehender Bilder rechnerisch ermittelt, so daß die Konturlinie des Bildes x gemäß 6 zu einer vollständigen Konturlinie ergänzt werden kann. Somit liegen dann ausschließlich vollständige Konturlinien vor, so daß sowohl die Verarbeitung der Bilder x – 1 (1) und x (6) als auch die Verarbeitung der Bilder x (6) und x + 1 (3) problemlos erfolgen kann.According to the second alternative of the invention, the missing contour area in the image x is according to 2 calculated from the information present in the image x and from possibly existing additional information of previous images, so that the contour line of the image x according to 6 can be supplemented to a complete contour line. Thus, then only complete contour lines are present, so that both the processing of the images x - 1 ( 1 ) and x ( 6 ) as well as the processing of the images x ( 6 ) and x + 1 ( 3 ) can be done easily.

Die vorstehend erläuterten Ausführungsbeispiele stellen vereinfachte Versionen des erfindungsgemäßen Verfahrens dar. Das erfindungsgemäße Verfahren kann ohne weiteres auch auf solche Bilder angewandt werden, in denen die Objektverdeckung größer ausfällt als in 2 dargestellt.The exemplary embodiments explained above represent simplified versions of the method according to the invention. The method according to the invention can also be applied to images in which the object concealment is greater than in FIG 2 shown.

Nachfolgend wird ein konkretes Anwendungsbeispiel gemäß der zweiten Alternative der Erfindung einschließlich der für dessen Verständnis notwendigen Grundlagen erläutert. Dieses Anwendungsbeispiel bezieht sich auf die Geschwindigkeitsbestimmung von Fahrzeugen mittels Laserscannern.Hereinafter, a concrete application example according to the second alternative of the invention including the necessary for its understanding basics will be explained. This application example relates to the speed determination of vehicles by means of laser scanners.

Die Geschwindigkeit eines Objekts kann mittels Kalman-Filter, hauptsächlich beruhend auf dem Vergleich der Schwerpunkte zweier aufeinanderfolger Scans bzw. zweier aufeinanderfolgender Bilder n – 1 und n, wie folgt ermittelt werden:

Figure 00130001

v (o,n) / x:
x-Koordinate der Geschwindigkeit des o-ten Objekts im n-ten Scan.
v (o,n) / y:
y-Koordinate der Geschwindigkeit des o-ten Objekts im n-ten Scan.
an:
Wichtungsfaktor der Geschwindigkeit des n-ten Scan (Σan = 1).
TScan:
Zeitdauer für die Aufnahme eines Scans.
S (o,n) / x:
x-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
S (o,n) / y:
y-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
The velocity of an object can be determined by means of a Kalman filter, mainly based on the comparison of the centers of gravity of two consecutive scans or two successive images n-1 and n, as follows:
Figure 00130001
v (o, n) / x:
x coordinate of the velocity of the oth object in the nth scan.
v (o, n) / y:
y-coordinate of the velocity of the oth object in the nth scan.
a n :
Weighting factor of the speed of the nth scan (Σa n = 1).
T Scan :
Time to take a scan.
S (o, n) / x:
x coordinate of the center of gravity of the oth object in the nth scan.
S (o, n) / y:
y-coordinate of the center of gravity of the oth object in the nth scan.

Der einzelne Objektschwerpunkt kann aus dem geometrischen Mittelwert der zugehörigen Meßpunkte wie folgt berechnet werden:

Figure 00140001

N:
Anzahl der Meßpunkte des o-ten Objekts.
x (o,n) / i:
x-Koordinate des i-ten Meßpunkts des o-ten Objekts.
y (o,n) / i:
y-Koordinate des i-ten Meßpunkts des o-ten Objekts.
The single object centroid can be calculated from the geometric mean of the associated measurement points as follows:
Figure 00140001
N:
Number of measuring points of the oth object.
x (o, n) / i:
x-coordinate of the ith measuring point of the oth object.
y (o, n) / i:
y-coordinate of the ith measuring point of the oth object.

Wird ein Objekt von einem Scan zum nächsten teilweise verdeckt, ändert sich die Position des Schwerpunkts relativ zum Objekt, wodurch dem Objekt eine zusätzliche Geschwindigkeitskomponente addiert werden würde. Es würde somit eine Objektgeschwindigkeit berechnet, die nicht der realen Objektgeschwindigkeit entspricht. Um dies zu unterbinden, können erfindungsgemäß Teilverdeckungen von Objekten zunächst erkannt und – wenn erkannt – das Objekt rekonstruiert werden. Um ein Objekt rekonstruieren zu können, müssen jedoch seine vorherige Form und seine Abmessungen bekannt sein. Dies kann über eine Klassifikation der Objekte erreicht werden.When an object is partially obscured from one scan to the next, the position of the center of gravity changes relative to the object, adding an additional velocity component to the object. Thus, an object velocity would be calculated which does not correspond to the real object velocity. In order to prevent this, partial occlusion of objects can be detected according to the invention first and - if recognized - the object can be reconstructed. However, in order to reconstruct an object, its previous form and dimensions must be known. This can be achieved by a classification of the objects.

Typische Grobklassifikationsformen, die bei der Umgebungserfassung mit Laserscannern auftreten, sind Winkelobjekte, Geradenobjekte, kleine Objekte und Sonstige. 7a zeigt die von einem Laserscanner 4 aufgenommenen Meßpunkte 5 der Umgebung des Laserscanners 4 in einer parallel zu einer Fahrbahn verlaufenden Ebene. In 7b sind die Meßpunkte 5 mittels geeigneter Algorithmen zu zusammenhängenden Linien ergänzt worden, so daß eine Objektklassifizierung möglich wird. Jede zusammenhängende Linie stellt letztlich ein Objekt dar.Typical rough classification forms that occur in laser scanner environment detection are angle objects, straight line objects, small objects, and others. 7a shows that of a laser scanner 4 recorded measuring points 5 the environment of the laser scanner 4 in a plane parallel to a roadway. In 7b are the measuring points 5 has been added to related lines by means of suitable algorithms, so that object classification becomes possible. Each connected line is ultimately an object.

Ein Winkelobjekt 6 besteht aus zwei Vektoren, wobei sich ein Vektor von dem am nächsten am Laserscanner 4 liegenden Punkt 7 zu dem am weitesten links liegenden Punkt 8 (im folgenden auch ”linker Punkt”) und der zweite Vektor von dem am nächsten am Laserscanner 4 liegenden Punkt 7 zu dem am weitesten rechts liegenden Punkt 9 (im folgenden auch ”rechter Punkt”) erstreckt. Die beiden Vektoren schließen zwischen sich einen Winkel ein, der ca. 90° beträgt. Die in 7b dargestellten Winkelobjekte 6 repräsentieren Fahrzeuge, die sich jeweils schräg vor dem Laserscanner 4 befinden.An angle object 6 consists of two vectors, one of which is closest to the laser scanner 4 lying point 7 to the leftmost point 8th (in the following also "left point") and the second vector of the closest to the laser scanner 4 lying point 7 to the rightmost point 9 (hereinafter also "right point") extends. The two vectors enclose between them an angle which is about 90 °. In the 7b illustrated angle objects 6 represent vehicles that are each obliquely in front of the laser scanner 4 are located.

Ein Geradenobjekt 10 ist u. a. dadurch gekennzeichnet, daß der am nächsten am Laserscanner 4 liegende Punkt 7 und der Schwerpunkt zwischen dem am weitesten links 8 und dem am weitesten rechts 9 liegenden Punkt angeordnet sind. Das in 7b dargestellte Geradenobjekt 10 repräsentiert ein Fahrzeug, bzw. dessen Heck, das sich im wesentlichen gerade vor dem Laserscanner 4 befindet.A straight line object 10 is characterized by the fact that the closest to the laser scanner 4 lying point 7 and the focus between the leftmost 8th and the far right 9 lying point are arranged. This in 7b shown straight line object 10 represents a vehicle, or its rear, which is substantially straight in front of the laser scanner 4 located.

Alle anderen Objekte 11, die gemäß 7b z. B. einen Fußgänger repräsentieren, werden der Objektklasse Sonstige zugeordnet. All other objects 11 according to 7b z. B. represent a pedestrian, are assigned to the object class Other.

Eine feinere Klassifikation ist mit Hilfe zusätzlicher Objektparameter möglich.A finer classification is possible with the help of additional object parameters.

Im folgenden wird ein als Winkelobjekt klassifiziertes Objekt genauer betrachtet, um die Vorgehensweise bei der Klassifikation, Verdeckungserkennung und der Rekonstruktion genauer zu beschreiben.In the following, an object classified as an angle object will be considered more closely in order to describe more precisely the procedure for classification, occlusion recognition and reconstruction.

8 zeigt ein ein Fahrzeug repräsentierendes Winkelobjekt 6 sowie ein einen Fußgänger repräsentierendes sonstiges Objekt 11, wobei das Winkelobjekt 6 weiter vom Laserscanner 4 entfernt ist als das sonstige Objekt 11. In der folgenden Tabelle sind einige Objekt-Parameter des in 8 gezeigten Winkelobjekts 6 zum Zeitpunkt t = 1,3 s aufgelistet: Objekt Nr. 21 zugeordnetes Segment 36 Objektalter 13 Anzahl Punkte 92 Klassifikation 10 (Winkelobjekt) Klassifikationsalter 13 Schwerpunkt (x, y) 0,84 m 8,11 m alter Schwerpunkt im vorherigen Scan (x, y) 0,84 m 8,11 m Geschwindigkeit (vx, vy) 0,02 m 0,01 m Schenkellänge aktuell links/rechts 4,27 m 1,40 m Schenkellänge maximal links/rechts 4,33 m 1,42 m Richtung des Schenkels links/rechts 42,42° 308,59° Verdeckung des linken/dichtesten/rechten nein nein nein Position des linken Punktes 3,10 m 10,32 m Position des prädizierten linken Punktes - - Position des dichtesten Punktes 0,21 m 7,16 m Position des prädizierten dichtesten Punktes - - Position des rechten Punktes –0,88 m 8,03 m Position des prädizierten rechten Punktes - - 8th shows an angle object representing a vehicle 6 and another object representing a pedestrian 11 , where the angle object 6 further from the laser scanner 4 is removed as the other object 11 , The following table shows some object parameters of the in 8th shown angle object 6 listed at time t = 1.3 s: Object no. 21 assigned segment 36 Property Age 13 Number of points 92 classification 10 (angle object) classification Age 13 Center of gravity (x, y) 0.84 m 8.11 meters old center of gravity in the previous scan (x, y) 0.84 m 8.11 meters Speed (vx, vy) 0.02 m 0.01 m Thigh length currently left / right 4.27 m 1.40 m Thigh length maximum left / right 4.33 m 1.42 m Direction of the leg left / right 42.42 ° 308.59 ° Occlusion of the left / densest / right No No No Position of the left point 3,10 m 10.32 m Position of the predicted left point - - Position of the closest point 0.21 m 7.16 m Position of the predicted closest point - - Position of the right point -0.88 m 8.03 m Position of the predicted right point - -

Unter dem ”dichtesten” Punkt wird in vorstehender Tabelle sowie im nachstehenden Text derjenige Meßpunkt eines Objekts verstanden, welcher sich am nächsten am Laserscanner 4 befindet.The "densest" point in the above table as well as in the text below is the measuring point of an object which is closest to the laser scanner 4 located.

Dem Winkelobjekt 6 (Objekt-Nr. 21) ist das Segment 36 zugordnet, das aus 92 einzelnen Meßpunkten besteht. Das Objekt wurde schon seit 13 Scans getrackt bzw. verfolgt (Objektalter 13 Scans) und als Winkelobjekt (Klassifikation) in den letzten 13 Scans klassifiziert (Klassifikationsalter 13 Scans).The angle object 6 (Ref. 21 ) is the segment 36 attributed, which consists of 92 individual measuring points. The object has been around 13 Scanned or tracked scans (object age 13 Scans) and as an angle object (classification) in the last 13 Scans classified (Classification age 13 Scans).

Die Position des in den Gleichungen 1.3 und 1.4 beschriebenen Schwerpunkts 12 wurde bestimmt (x = 0,84 m; y = 8,11 m) und zusätzlich der aus dem vorherigen Scan resultierende Schwerpunkt des Objekts – wenn das Objekt wiedererkannt wurde – gespeichert. Wichtig für die – nachfolgend noch erläuterte – Rekonstruktion eines Winkelobjekts ist das Speichern der maximalen Länge des linken bzw. rechten Schenkels (Vektors), die jemals in den vergangenen Scans, während derer das Objekt verfolgt wurde, berechnet wurde. Außerdem wird die Position des linken 8, dichtesten 7 und rechten 9 Punktes und – wenn Verdeckungen vorliegen – die Position der entsprechend prädizierten Punkte, die auf dem Prädiktionsvektor des Schwerpunkts und dem alten linken (prädizierten) Punkt beruhen, ermittelt. Der Prädiktionsvektor wird nach Durchlaufen der Objektrekonstruktion mit dem aktuellen Schwerpunkt unter Berücksichtigung der Rekonstruktion neu berechnet, wodurch die Prädiktion verbessert werden kann.The position of the center of gravity described in Equations 1.3 and 1.4 12 was determined (x = 0.84 m, y = 8.11 m) and additionally the focus of the object resulting from the previous scan - if the object was recognized - stored. Important for the reconstruction of an angle object explained below is the storage of the maximum length of the left or right leg (vector) that was ever calculated in the past scans during which the object was tracked. In addition, the position of the left 8th , densest 7 and right 9 Point and, if occlusions are present, the position of the correspondingly predicted points based on the prediction vector of the centroid and the old left (predicated) point. The prediction vector is recalculated after passing through the object reconstruction with the current centroid taking into account the reconstruction, whereby the prediction can be improved.

Die Teilverdeckung eines klassifizierten Objekts wird für den linken, dichtesten und rechten Punkt jeweils einzeln geprüft. The partial occlusion of a classified object is checked individually for the left, densest and right points.

Eine Verdeckung des linken Punktes liegt gemäß 9 vor, wenn drei der nächsten fünf links des linken Objektpunktes 8' liegenden Punkte dichter als der linke Objektpunkt 8' zum Scanner 4 liegen und nicht zum detektierten Objekt 6, sondern wie in 9 z. B. zum Objekt 11 gehören. 9 zeigt eine Darstellung gemäß 8 zum Zeitpunkt t = 1,4 s, was bedeutet, daß sich der Fußgänger 11 in den 0,1 s zwischen Aufnahme des Bildes gemäß 8 und Aufnahme des Bildes gemäß 9 etwas nach rechts bewegt hat, so daß er gemäß 9 nun den linken äußeren Bereich des linken Schenkels des Winkelobjekts 6 verdeckt. Durch eine geeignete Prädiktion kann jedoch die Position des verdeckten linken Punkts 8'' berechnet werden.A concealment of the left point is according to 9 if three of the next five left of the left object point 8th' lying points closer than the left object point 8th' to the scanner 4 lie and not to the detected object 6 but like in 9 z. To the object 11 belong. 9 shows a representation according to 8th at the time t = 1.4 s, which means that the pedestrian 11 in the 0.1 s between taking the picture according to 8th and taking the picture according to 9 has moved something to the right, so he according to 9 now the left outer area of the left leg of the angle object 6 covered. However, by appropriate prediction, the position of the hidden left point may be 8th'' be calculated.

Eine Verdeckung des rechten Objektpunktes 9 läge vor, wenn drei der nächsten fünf rechts des rechten Objektpunktes liegenden Punkte dichter als der rechte Objektpunkt zum Scanner 4 liegen würden. Bei dichtesten Punkt wird in gleicher Weise sowohl in linker als auch in rechter Richtung geprüft. Eine Verdeckung zwischen linkem, dichtesten und rechten Punkt wird detektiert und liegt vor, wenn eine Lücke zwischen zwei Meßpunkten des Objekts durch nähere bzw. dichtere Punkte entsteht.A concealment of the right object point 9 If three of the next five points to the right of the right object point are closer than the right object point to the scanner 4 would lie. The closest point is checked in the same way both in the left and in the right direction. An occlusion between left, densest and right point is detected and occurs when a gap between two measuring points of the object is formed by closer or denser points.

10 zeigt ein Bild, welches zum Zeitpunkt t = 1,7 s drei Scans später aufgenommen wurde als das Bild gemäß 9. Der Fußgänger 11 verdeckt nun einen größeren Teil des linken Schenkels des Fahrzeugs 6, die nachstehende Tabelle zeigt die dazugehörigen Objektparameter. Objekt Nr. 21 zugeordnetes Segment 34 Objektalter 17 Anzahl Punkte 92 Klassifikation 10 (Winkelobjekt) Klassifikationsalter 17 Schwerpunkt (x, y) 0,79 m 8,06 m alter Schwerpunkt im vorherigen Scan (x, y) 0,77 m 8,04 m Geschwindigkeit (vx, vy) –0,21 m –0,27 m Schenkellänge aktuell links/rechts 1,62 m 1,38 m Schenkellänge maximal links/rechts 4,33 m 1,42 m Richtung des Schenkels links/rechts 42,47° 307,63° Verdeckung des linken/dichtesten/rechten ja nein nein Position des linken Punktes 1,38 m 8,29 m Position des prädizierten linken Punktes 3,06 m 10,27 m Position des dichtesten Punktes 0,21 m 7,17 m Position des prädizierten dichtesten Punktes - - Position des rechten Punktes –0,87 m 8,01 m Position des prädizierten rechten Punktes - - 10 shows an image taken at the time t = 1.7 s three scans later than the image according to FIG 9 , The pedestrian 11 now covers a larger part of the left leg of the vehicle 6 , the table below shows the associated object parameters. Object no. 21 assigned segment 34 Property Age 17 Number of points 92 classification 10 (angle object) classification Age 17 Center of gravity (x, y) 0.79 m 8.06 m old center of gravity in the previous scan (x, y) 0.77 m 8.04 m Speed (vx, vy) -0.21 m -0.27 m Thigh length currently left / right 1.62 m 1.38 m Thigh length maximum left / right 4.33 m 1.42 m Direction of the leg left / right 42.47 ° 307.63 ° Occlusion of the left / densest / right Yes No No Position of the left point 1.38 m 8.29 m Position of the predicted left point 3,06 m 10.27 m Position of the closest point 0.21 m 7.17 m Position of the predicted closest point - - Position of the right point -0.87 m 8.01 m Position of the predicted right point - -

Zum Zeitpunkt t = 2,4 s werden gemäß 11 zwar nicht mehr der linke Punkt 8, aber sowohl der dichteste als auch der rechte Punkt verdeckt, da sich der Fußgänger 11 noch weiter nach rechts bewegt hat. Deswegen wird eine Prädiktion des dichtesten 7' und des rechten 9' Punktes vorgenommen. Nachstehende Tabelle zeigt die Objektparameter zum Zeitpunkt t = 2,4 s. Objekt Nr. 21 zugeordnetes Segment 40 Objektalter 24 Anzahl Punkte 92 Klassifikation 10 (Winkelobjekt) Klassifikationsalter 24 Schwerpunkt (x, y) 0,86 m 8,20 m alter Schwerpunkt im vorherigen Scan (x, y) 0,86 m 8,19 m Geschwindigkeit (vx, vy) 0,20 m 0,67 m Schenkellänge aktuell links/rechts - - Schenkellänge maximal links/rechts 4,33 m 1,42 m Richtung des Schenkels links/rechts 44,46° 308,37° Verdeckung des linken/dichtesten/rechten ja ein nein Position des linken Punktes 3,09 m 10,29 m Position des prädizierten linken Punktes - - Position des dichtesten Punktes 0,73 m 7,62 m Position des prädizierten dichtesten Punktes 0,11 m 7,26 m Position des rechten Punktes 0,73 m 7,62 m Position des prädizierten rechten Punktes –0,88 m 8,04 m At the time t = 2.4 s be according to 11 not the left point anymore 8th but both the densest and the right point are obscured as the pedestrian 11 has moved further to the right. Therefore, a prediction becomes the densest 7 ' and the right one 9 ' Point made. The following table shows the object parameters at time t = 2.4 s. Object no. 21 assigned segment 40 Property Age 24 Number of points 92 classification 10 (angle object) classification Age 24 Center of gravity (x, y) 0.86 m 8,20 m old center of gravity in the previous scan (x, y) 0.86 m 8,19 m Speed (vx, vy) 0.20 m 0.67 m Thigh length currently left / right - - Thigh length maximum left / right 4.33 m 1.42 m Direction of the leg left / right 44.46 ° 308.37 ° Occlusion of the left / densest / right Yes one No Position of the left point 3,09 m 10.29 m Position of the predicted left point - - Position of the closest point 0.73 m 7.62 m Position of the predicted closest point 0.11 m 7.26 m Position of the right point 0.73 m 7.62 m Position of the predicted right point -0.88 m 8.04 m

Ein weiterer, im Rahmen der Erfindung zu berücksichtigender Aspekt besteht darin, daß die Verdeckung von Teilbereichen von Objekten dergestalt sein kann, daß das verdeckte Objekt in mehrere Teilobjekte zerfällt. Diese können erfindungsgemäß als zusammengehörig erkannt und anschließend fusioniert werden, wie nachfolgend in Verbindung mit 12 noch beschrieben. 12a und b zeigen ein Fahrzeug 13 sowie ein Fahrrad 14. In 12a verdeckt das Fahrrad 14 das Fahrzeug 13 nicht, so daß letzteres vom Laserscanner 4 vollständig erfaßt werden kann. In 12b wird das Fahrzeug 13 vom Fahrrad 14 derart verdeckt, daß das Fahrzeug 13 in fünf Segmente 15 zerfallen ist. Beim Zerfall eines Objektes 13 wird das Tracking für die fünf neuen Objekte, die jeweils aus einem Segment bestehen und die nicht vorherigen Objekten zugeordnet wurden, neu begonnen, die Geschwindigkeit für diese neuen Objekte wird mit einem Startwert belegt (hier 0 km/h: ungenaue Annahme).Another aspect to be considered in the context of the invention is that the concealment of partial areas of objects can be such that the hidden object is divided into a plurality of partial objects. These can be recognized as belonging together according to the invention and then fused, as described below in connection with 12 still described. 12a and b show a vehicle 13 as well as a bicycle 14 , In 12a hides the bike 14 the vehicle 13 not, so the latter from the laser scanner 4 can be completely detected. In 12b becomes the vehicle 13 from the bike 14 so obscured that the vehicle 13 in five segments 15 has fallen apart. At the decay of an object 13 the tracking for the five new objects, each consisting of one segment and not assigned to previous objects, is restarted, the speed for these new objects is given a starting value (here 0 km / h: inaccurate assumption).

Um auch mehrere Segmente dem Objekt zuordnen zu können, wird ein Suchraum aufgespannt, der den Abmessungen desjenigen Objekts entspricht, das in den vorherigen Scans ermittelt wurde. Alle Segmente, die sich in diesem Suchraum befinden, können dem Objekt zugeordnet werden (siehe 12c), wodurch nicht nur die Entstehung virtueller Objekte vermieden wird, sondern auch die eigentliche Geschwindigkeit des Objekts ermittelt werden kann.In order to be able to assign several segments to the object, a search space is spanned which corresponds to the dimensions of the object determined in the previous scans. All segments that are in this search space can be assigned to the object (see 12c ), which not only avoids the creation of virtual objects, but also the actual speed of the object can be determined.

Für die in Verbindung mit den 9 bis 12 erwähnte, eigentliche Rekonstruktion der Objekte wird mit Hilfe der Prädiktionen die Richtung der Schenkel der Winkelobjekte bestimmt. Die Schenkel können dann bis zu ihrer bekannten maximalen Länge mit einer der Winkelschrittweite des Laserscanners entsprechenden Punktanzahl aufgefüllt werden. Dabei ergeben sich für den neu zu berechnenden Objektschwerpunkt folgende Gleichungen:

Figure 00230001

S (o,n) / x:
x-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
S (o,n) / y:
y-Koordinate des Schwerpunkts des o-ten Objekts im n-ten Scan.
N:
Anzahl der Meßpunkte des o-ten Objekts im n-ten Scan.
M:
Anzahl der möglichen Meßpunkte in der Lücke des o-ten Objekts im n-ten Scan.
x (o,n) / i:
x-Koordinate des i-ten Meßpunkts des o-ten Objekts im n-ten Scan.
y (o,n) / i:
y-Koordinate des i-ten Meßpunkts des o-ten Objekts im n-ten Scan.
M·x (o,n) / Lücke:
x-Koordinate des gewichteten Schwerpunkts der Lücke des o-ten Objekts im n-ten Scan.
M·y (o,n) / Lücke:
y-Koordinate des gewichteten Schwerpunkts der Lücke des o-ten Objekts im n-ten Scan.
For those in conjunction with the 9 to 12 mentioned, actual reconstruction of objects is determined by means of predictions the direction of the legs of the angular objects. The legs can then be filled up to their known maximum length with a number of points corresponding to the angular increment of the laser scanner. The following equations result for the new object center of gravity:
Figure 00230001
S (o, n) / x:
x coordinate of the center of gravity of the oth object in the nth scan.
S (o, n) / y:
y-coordinate of the center of gravity of the oth object in the nth scan.
N:
Number of measuring points of the oth object in the nth scan.
M:
Number of possible measurement points in the gap of the oth object in the nth scan.
x (o, n) / i:
x-coordinate of the i-th measurement point of the oth object in the nth scan.
y (o, n) / i:
y-coordinate of the ith measuring point of the oth object in the nth scan.
M · x (o, n) / gap:
x-coordinate of the weighted center of gravity of the gap of the oth object in the nth scan.
M * y (o, n) / gap:
y-coordinate of the weighted center of gravity of the gap of the oth object in the nth scan.

Claims (20)

Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes (2, 3), bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, ..., x – 2, x – 1, x, x + 1, ... n) des Überwachungsbereichs erfasst, die Positionen signifikanter Referenzpunkte des Objektes (2, 3) innerhalb der erfassten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt (2, 3) bezogene Bewegungsinformation abgeleitet wird, dadurch gekennzeichnet, dass die Bilder mittels eines Scanners ermittelt werden und bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die den überdeckten Referenzpunkten entsprechenden Referenzpunkte im Bild x – 1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x – 1 verarbeitet werden.Method for determining movement information of at least one object located within a monitoring area ( 2 . 3 ), in which a number of n images i (with i = 1, 2, 3,..., x-2, x-1, x, x + 1,... n) of the monitoring area are recorded in chronological order, the positions of significant reference points of the object ( 2 . 3 ) within the captured images and from these, in each case an image associated reference point positions by means of an evaluation algorithm one on the object ( 2 . 3 derived motion information is derived, characterized in that the images are determined by means of a scanner and when overlapping to be detected reference points in an image x by a foreground object the reference points corresponding to the covered reference points in the image x - 1 are disregarded in that calculation cycle of the evaluation algorithm, in the images x and x - 1 are processed. Verfahren nach Anspruch 1, dadurch dadurch gekennzeichnet, dass auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte in einem oder mehreren Bildern, die vor dem Bild x – 1 erfasst wurden, in denjenigen Berechnungszyklen des Auswertealgorithmus unberücksichtigt bleiben, in denen diese Bilder verarbeitet werden.Method according to claim 1, characterized in that also the reference points corresponding to the covered reference points of the image x remain unconsidered in one or more images acquired before the image x-1 in those calculation cycles of the evaluation algorithm in which these images are processed , Verfahren nach einem der vorhergehenden Ansprüche, dadurch dadurch gekennzeichnet, dass auch die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x + 1 in demjenigen Berechnungszyklus des Auswertealgorithmus unberücksichtigt bleiben, in dem die Bilder x und x + 1 verarbeitet werden.Method according to one of the preceding claims, characterized in that also the reference points of the image x + 1 corresponding to the covered reference points of the image x remain unconsidered in that calculation cycle of the evaluation algorithm in which the images x and x + 1 are processed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch dadurch gekennzeichnet, dass die den überdeckten Referenzpunkten des Bildes x entsprechenden Referenzpunkte des Bildes x + 1 in demjenigen Berechnungszyklus des Auswertealgorithmus wieder berücksichtigt werden, in dem die Bilder x + 1 und x + 2 verarbeitet werden.Method according to one of the preceding claims, characterized in that the reference points of the image x + 1 corresponding to the covered reference points of the image x are taken into account again in the calculation cycle of the evaluation algorithm in which the images x + 1 and x + 2 are processed. Verfahren zur Bestimmung von Bewegungsinformationen zumindest eines innerhalb eines Überwachungsbereichs befindlichen Objektes (2, 3), bei dem in zeitlicher Abfolge eine Anzahl von n Bildern i (mit i = 1, 2, 3, ..., x – 2, x – 1, x, x + 1, ... n) des Überwachungsbereichs erfasst, die Positionen signifikanter Referenzpunkte des Objektes (2, 3) innerhalb der erfassten Bilder bestimmt und aus diesen, jeweils einem Bild zugeordneten Referenzpunkt-Positionen mittels eines Auswertealgorithmus eine auf das Objekt (2, 3) bezogene Bewegungsinformation abgeleitet wird, dadurch gekennzeichnet, dass die Bilder mittels eines Scanners ermittelt werden und bei Überdeckung zu erfassender Referenzpunkte in einem Bild x durch ein Vordergrundobjekt die Positionen der überdeckten Referenzpunkte im Bild x rechnerisch aus den nicht überdeckten Referenzpunkten dieses Bildes ermittelt und im Auswertealgorithmus berücksichtigt werden.Method for determining movement information of at least one object located within a monitoring area ( 2 . 3 ), in which a number of n images i (with i = 1, 2, 3,..., x-2, x-1, x, x + 1,... n) of the monitoring area are recorded in chronological order, the positions of significant reference points of the object ( 2 . 3 ) within the captured images and from these, in each case an image associated reference point positions by means of an evaluation algorithm one on the object ( 2 . 3 derived motion information is derived, characterized in that the images are determined by a scanner and when overlapping to be detected reference points in an image x by a foreground object, the positions of the overlapped reference points in the image x arithmetically determined from the uncovered reference points of this image and in the evaluation algorithm be taken into account. Verfahren nach Anspruch 5, dadurch dadurch gekennzeichnet, dass die Positionen der überdeckten Referenzpunkte im Bild x rechnerisch aus den nicht überdeckten Referenzpunkten dieses Bildes und zusätzlich aus objektbezogenen Informationen vorhergehender Bilder ermittelt werden.A method according to claim 5, characterized in that the positions of the overlapped reference points in the image x arithmetically determined from the uncovered reference points of this image and additionally from object-related information of previous images. Verfahren nach einem der vorhergehenden Ansprüche, dadurch dadurch gekennzeichnet, dass mittels des Auswertealgorithmus im Rahmen eines Berechnungszyklus immer zwei aufeinanderfolgend erfasste Bilder verarbeitet werden.Method according to one of the preceding claims, characterized in that by means of the evaluation algorithm in the context of a calculation cycle always two consecutively acquired images are processed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch dadurch gekennzeichnet, dass die zu erfassenden Objekte (2, 3) jeweils einer von mehreren Objektklassen zugeordnet werden, wobei jede Objektklasse durch objektklassenspezifische Parameter gekennzeichnet ist.Method according to one of the preceding claims, characterized in that the objects to be detected ( 2 . 3 ) are each assigned to one of a plurality of object classes, each object class being characterized by object-class-specific parameters. Verfahren nach Anspruch 8, dadurch dadurch gekennzeichnet, dass mittels des Auswertealgorithmus Referenzpunkt-Positionen, aus diesen Referenzpunkt-Positionen abgeleitete Zusatzinformationen und/oder objektklassenspezifische Parameter verarbeitet werden. A method according to claim 8, characterized in that by means of the evaluation algorithm reference point positions, derived from these reference point positions additional information and / or object class specific parameters are processed. Verfahren nach einem der Ansprüche 8 oder 9, dadurch dadurch gekennzeichnet, dass je eine Objektklasse für zwei oder mehr der folgenden sechs Objekttypen vorgesehen ist: 2-Rad-Fahrer, Person, Bus/LKW, PKW, Pfahl, Mauer/Leitplanke.Method according to one of claims 8 or 9, characterized in that each one object class is provided for two or more of the following six types of objects: 2-wheel driver, person, bus / truck, car, post, wall / guardrail. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass jeder Objektklasse typische geometrische Parameter zugeordnet werden.Method according to one of claims 8 to 10, characterized in that each object class are assigned typical geometric parameters. Verfahren nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass jeder Objektklasse typische dynamische Parameter zugeordnet werden.Method according to one of claims 8 to 11, characterized in that each object class typical dynamic parameters are assigned. Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass zumindest bestimmten Objektklassen typische, jeweils auf andere Objektklassen bezogene Relationsparameter zugeordnet werden, die dazu dienen, bei der Zuordnung von Objekten zu Objektklassen bestimmte Objektklassen auszuschliessen.Method according to one of Claims 8 to 12, characterized in that at least certain object classes are assigned typical relationship parameters which are each related to other object classes and which serve to exclude certain object classes when assigning objects to object classes. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ermittelten Bilder jeweils aus einer Anzahl von Bildpunkten bestehen.Method according to one of the preceding claims, characterized in that the determined images each consist of a number of pixels. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Objekte (2, 3) in Form einer Anzahl von Objektpunkten erfasst werden.Method according to one of the preceding claims, characterized in that objects ( 2 . 3 ) are detected in the form of a number of object points. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass als Objektpunkte solche Punkte verwendet werden, die auf der Konturlinie der Objekte liegen.A method according to claim 15, characterized in that as points of the object such points are used, which lie on the contour line of the objects. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass die Objektpunkte auf der gesamten Konturlinie des Objektes (2, 3) verteilt sind.A method according to claim 16, characterized in that the object points on the entire contour line of the object ( 2 . 3 ) are distributed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Laserscanner den Überwachungsbereich zeilenweise oder flächig abtastet.Method according to one of the preceding claims, characterized in that a laser scanner scans the monitoring area line by line or area. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bewegungsinformation die Bewegungsrichtung, die Geschwindigkeit und/oder die Beschleunigung eines Objektes (2, 3) ermittelt werden.Method according to one of the preceding claims, characterized in that as movement information the direction of movement, the speed and / or the acceleration of an object ( 2 . 3 ) be determined. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zur Erfassung der Umgebung eines Fahrzeugs, dadurch gekennzeichnet, dass auch die Fahrzeuggeschwindigkeit, die Fahrzeugbeschleunigung, der Lenkwinkel, die Lenkwinkeländerung, die Gierrate, die Gierratenänderung und/oder die Bewegungsrichtung des Fahrzeugs in den Auswertealgorithmus eingehen.Use of a method according to one of the preceding claims for detecting the surroundings of a vehicle, characterized in that the vehicle speed, the vehicle acceleration, the steering angle, the steering angle change, the yaw rate, the yaw rate change and / or the direction of movement of the vehicle are included in the evaluation algorithm.
DE10141055A 2001-08-22 2001-08-22 Method for determining movement information Expired - Lifetime DE10141055B4 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE10141055A DE10141055B4 (en) 2001-08-22 2001-08-22 Method for determining movement information
AT02796260T ATE324597T1 (en) 2001-08-22 2002-08-21 METHOD FOR DETECTING AND TRACKING OBJECTS
PCT/EP2002/009362 WO2003019234A1 (en) 2001-08-22 2002-08-21 Method for detecting and tracking objects
EP02796260A EP1419402B1 (en) 2001-08-22 2002-08-21 Method for detecting and tracking objects
DE50206591T DE50206591D1 (en) 2001-08-22 2002-08-21 METHOD FOR DETECTING AND TRACKING OBJECTS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10141055A DE10141055B4 (en) 2001-08-22 2001-08-22 Method for determining movement information

Publications (2)

Publication Number Publication Date
DE10141055A1 DE10141055A1 (en) 2003-03-06
DE10141055B4 true DE10141055B4 (en) 2013-09-05

Family

ID=7696198

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10141055A Expired - Lifetime DE10141055B4 (en) 2001-08-22 2001-08-22 Method for determining movement information

Country Status (1)

Country Link
DE (1) DE10141055B4 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004044973B4 (en) 2004-09-16 2014-12-04 Sick Ag Control of a surveillance area
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
DE102006057277A1 (en) * 2006-12-05 2008-06-12 Robert Bosch Gmbh Method for operating a radar system in case of possible target obscuration and radar system for carrying out the method
EP2461179B1 (en) * 2009-07-31 2016-12-07 Honda Motor Co., Ltd. Object detection device for vehicle and object detection method for vehicle
CN103543477A (en) * 2013-10-30 2014-01-29 昆山奥德鲁自动化技术有限公司 Full-automatic needle lack image detecting machine
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
EP3430428A4 (en) 2016-03-19 2019-11-20 Velodyne Lidar, Inc. Integrated illumination and detection for lidar based 3-d imaging
DE102016105536A1 (en) * 2016-03-24 2017-09-28 Valeo Schalter Und Sensoren Gmbh Method for detecting at least one object, device of a sensor device, sensor device and driver assistance system with at least one sensor device
CA3024510C (en) 2016-06-01 2022-10-04 Velodyne Lidar, Inc. Multiple pixel scanning lidar
CA3057988A1 (en) 2017-03-31 2018-10-04 Velodyne Lidar, Inc. Integrated lidar illumination power control
WO2018208843A1 (en) 2017-05-08 2018-11-15 Velodyne Lidar, Inc. Lidar data acquisition and control
US11294041B2 (en) 2017-12-08 2022-04-05 Velodyne Lidar Usa, Inc. Systems and methods for improving detection of a return signal in a light ranging and detection system
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
US12061263B2 (en) 2019-01-07 2024-08-13 Velodyne Lidar Usa, Inc. Systems and methods for a configurable sensor system
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5280530A (en) * 1990-09-07 1994-01-18 U.S. Philips Corporation Method and apparatus for tracking a moving object
DE4411179A1 (en) * 1993-03-31 1994-10-06 Mitsubishi Electric Corp Image capture device
JPH0883392A (en) * 1994-09-14 1996-03-26 Toshiba Corp Method and device for detecting vehicle
US5590217A (en) * 1991-04-08 1996-12-31 Matsushita Electric Industrial Co., Ltd. Vehicle activity measuring apparatus
DE10110420A1 (en) * 2001-03-05 2002-09-12 Sick Ag Device for determining a distance profile

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5280530A (en) * 1990-09-07 1994-01-18 U.S. Philips Corporation Method and apparatus for tracking a moving object
US5590217A (en) * 1991-04-08 1996-12-31 Matsushita Electric Industrial Co., Ltd. Vehicle activity measuring apparatus
DE4411179A1 (en) * 1993-03-31 1994-10-06 Mitsubishi Electric Corp Image capture device
JPH0883392A (en) * 1994-09-14 1996-03-26 Toshiba Corp Method and device for detecting vehicle
DE10110420A1 (en) * 2001-03-05 2002-09-12 Sick Ag Device for determining a distance profile

Also Published As

Publication number Publication date
DE10141055A1 (en) 2003-03-06

Similar Documents

Publication Publication Date Title
DE10141055B4 (en) Method for determining movement information
DE69707886T2 (en) METHOD AND DEVICE FOR LOCATING A MOVING ZONE AND DETERMINING THE FASTNESS AND DIRECTING THE MOVEMENT OF A AREA OF RELATIVE MOVEMENT IN A SCENE
DE19636028C1 (en) Stereo image object detection, esp. for road vehicles
DE112009003144B4 (en) Method and device for detecting an obstacle in an image
EP1589484B1 (en) Method for detecting and/or tracking objects
DE102012001835A1 (en) Visual system for a commercial vehicle for the representation of statutory prescribed fields of view of a main mirror and a wide-angle mirror
DE112017001545T5 (en) VIRTUAL OVERLAY SYSTEM AND PROCESS FOR COVERED OBJECTS
EP1460454A2 (en) Method for combined processing of high resolution images and video images
DE102012023060A1 (en) Method for detecting moving object in surrounding region of motor vehicle e.g.passenger car, involves determining vector values within the respective interval values, such movable object is detected based on histogram
DE112015000763T5 (en) Vehicle environment image display device and vehicle environment image display method
DE112009003648T5 (en) Method and device for barrier separation
DE102019105630B4 (en) Display control device, vehicle surroundings display system and computer program
DE102008015535B4 (en) Process for image processing of stereo images
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102013012778A1 (en) Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle
EP1646008A1 (en) Method for detecting obstacles in the pathway of a motor vehicle
DE102008036219A1 (en) Method for identification of object i.e. traffic sign, in surrounding area of e.g. passenger car, involves determining similarity measure between multiple characteristics of image region and multiple characteristics of characteristic set
DE102013204935A1 (en) Method and device for taking a picture of a pulsed lighting object
DE102013012780A1 (en) Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle
EP2037407B1 (en) Method for detecting an object
DE102018209898A1 (en) Method for determining corresponding pixels, SoC for carrying out the method, camera system with the SoC, control unit and vehicle
EP3073446A1 (en) Method for representing the surroundings of a vehicle
DE10145608A1 (en) Model-based object classification and target recognition
EP2192550A1 (en) Method for determining the change in position of a camera system and device for recording and processing images
DE102019104397B4 (en) Image synthesis apparatus and control method

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8110 Request for examination paragraph 44
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20131206

R082 Change of representative
R081 Change of applicant/patentee

Owner name: SICK AG, DE

Free format text: FORMER OWNER: IBEO AUTOMOBILE SENSOR GMBH, 22143 HAMBURG, DE

Effective date: 20140821

R081 Change of applicant/patentee

Owner name: IBEO AUTOMOTIVE SYSTEMS GMBH, DE

Free format text: FORMER OWNER: SICK AG, 79183 WALDKIRCH, DE

R082 Change of representative

Representative=s name: RGTH RICHTER GERBAULET THIELEMANN HOFMANN PATE, DE

R071 Expiry of right