DE102013111840A1

DE102013111840A1 - Method for detecting an object

Info

Publication number: DE102013111840A1
Application number: DE201310111840
Authority: DE
Inventors: Christian Jürgens; Tobias Seyfried
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2013-10-28
Filing date: 2013-10-28
Publication date: 2015-04-30

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen eines Objekts mit einer Kamera, die an einem Aufnahmepunkt (AP) angeordnet ist, bei dem das Objekt identifiziert und für das identifizierte Objekt mindestens ein bekannter, objektspezifischer Abstand A verwendet wird, der einer Entfernung zwischen einem ersten Objektpunkt (PL) des Objekts und einem zweiten Objektpunkt (PR) des Objekts entspricht, bei dem eine Objektgerade (21) definiert wird, auf der die beiden Objektpunkte (PL, PR) des Objekts angeordnet sind, bei dem ein Bezugspunkt (BP) auf der Objektgeraden (21) ermittelt wird, wobei eine Bezugsgerade (20) durch den Bezugspunkt (BP) und den Aufnahmepunkt (AP) die Objektgerade (21) senkrecht schneidet, wobei der Bezugspunkt (BP) und der Aufnahmepunkt (AP) zueinander einen Abstand X aufweisen, bei dem ein erster Betrachtungswinkel αL zwischen der Bezugsgeraden (20) und einer ersten Betrachtungsgeraden (22), die durch den ersten Objektpunkt (PL) und den Aufnahmepunkt (AP) verläuft, ermittelt wird, bei dem ein zweiter Betrachtungswinkel αR zwischen der Bezugsgeraden (20) und einer zweiten Betrachtungsgeraden (24), die durch den zweiten Objektpunkt (PR, PU) und den Aufnahmepunkt (AP) verläuft, ermittelt wird, und bei dem der Abstand X = A·(│tan(αL) – tan(αR)│)–1 berechnet wird.The invention relates to a method for detecting an object with a camera, which is arranged at a pick-up point (AP), in which the object is identified and for the identified object at least one known, object-specific distance A is used, the distance between a first object point (PL) of the object and a second object point (PR) of the object, in which an object line (21) is defined, on which the two object points (PL, PR) of the object are arranged, at which a reference point (BP) on the Object line (21) is determined, wherein a reference line (20) through the reference point (BP) and the pickup point (AP) perpendicularly intersects the object line (21), wherein the reference point (BP) and the pickup point (AP) to each other a distance X have in which a first viewing angle αL between the reference line (20) and a first viewing line (22) passing through the first object point (PL) and the pickup point (AP), is determined, in which a second viewing angle αR between the reference line (20) and a second viewing line (24) passing through the second object point (PR, PU) and the pickup point (AP) is determined, and wherein the distance X = A · (│tan (αL) - tan (αR) │) -1 is calculated.

Description

Die Erfindung betrifft ein Verfahren und ein System zum Erfassen eines Objekts. The invention relates to a method and a system for detecting an object.

Ein Kraftfahrzeug kann ein sogenanntes Assistenzsystem aufweisen, mit dem ein Fahrer des Kraftfahrzeugs zu unterstützen ist. Dabei kann das Assistenzsystem Sensoren zum Erfassen eines Umfelds des Kraftfahrzeugs aufweisen, so dass andere Teilnehmer im Straßenverkehr erkannt werden und als Reaktion darauf Funktionen des Kraftfahrzeugs automatisch umgesetzt werden. So kann bspw. vorgesehen sein, sensorisch erfasste Informationen über das Umfeld des Kraftfahrzeugs zur Messung eines Abstands des Kraftfahrzeugs zu einem anderen Teilnehmer zu nutzen und darauf basierend bei Bedarf eine Bremsanlage des Kraftfahrzeugs zu aktivieren. A motor vehicle may have a so-called assistance system with which a driver of the motor vehicle is to assist. In this case, the assistance system sensors for detecting an environment of the motor vehicle have, so that other participants are recognized in the traffic and in response to functions of the motor vehicle are automatically implemented. Thus, for example, it may be provided to use sensory information about the environment of the motor vehicle for measuring a distance of the motor vehicle to another subscriber and to activate a brake system of the motor vehicle based thereon if required.

Ein Verfahren und eine Einrichtung zum Bestimmen eines Abstands sind in der Druckschrift US 2012/0093372 A1 beschrieben. Dabei ist vorgesehen, aus einem erfassten Bild eines Objekts Bereiche herauszufiltern, deren Abmessungen bekannt sind. Weiterhin wird auf Grundlage dessen eine Fehlerkorrektur vorgenommen und der Abstand zu einem ausgewählten Objekt abgeschätzt. A method and apparatus for determining a distance are in the document US 2012/0093372 A1 described. It is provided to filter out areas of a captured image of an object whose dimensions are known. Furthermore, based on this, an error correction is made and the distance to a selected object is estimated.

Eine Überwachungsvorrichtung für eine Umgebung eines Fahrzeugs ist aus der Druckschrift DE 602 15 718 T2 bekannt. Hierzu wird eine Kamera verwendet, die in einer bestimmten, bekannten Höhe des Kraftfahrzeugs über einem von dem Kraftfahrzeug zu befahrenden Untergrund angeordnet ist. Mit dieser Kamera wird ein Objekt in der Umgebung erfasst und unter Nutzung einer trigonometrischen Funktion dessen Abstand zu der Kamera ermittelt. A monitoring device for an environment of a vehicle is from the document DE 602 15 718 T2 known. For this purpose, a camera is used, which is arranged in a certain known height of the motor vehicle on a to be traveled by the motor vehicle substrate. With this camera, an object is detected in the environment and determines its distance from the camera using a trigonometric function.

Ein Verfahren zum Berechnen eines Abstands mit einer hierfür vorgesehenen Einrichtung ist aus der Druckschrift US 7,392,155 B2 bekannt. Dieses Verfahren ist für ein Kraftfahrzeug geeignet, das eine Kamera zu Erfassen eines Umfelds des Kraftfahrzeugs aufweist. Bei einer Fahrt des Kraftfahrzeugs wird ein Objekt in der Umgebung des Kraftfahrzeugs während der Fahrt des Kraftfahrzeugs aus unterschiedlichen Positionen zweimal hintereinander erfasst und unter Berücksichtigung einer Änderung der Position des Kraftfahrzeugs sowie unter Zuhilfenahme trigonometrischer Funktionen der Abstand des Kraftfahrzeugs zu dem Objekt berechnet. A method for calculating a distance with a device provided for this purpose is from the document US 7,392,155 B2 known. This method is suitable for a motor vehicle having a camera for detecting an environment of the motor vehicle. During a drive of the motor vehicle, an object in the surroundings of the motor vehicle is detected twice in succession while the motor vehicle is driving, and the distance of the motor vehicle to the object is calculated taking into account a change in the position of the motor vehicle and with the aid of trigonometric functions.

Aus der Druckschrift US 8,301,326 B2 sind ein System und ein Verfahren zum Kontrollieren eines Flugzeugs bekannt. Hierbei wird berücksichtigt, dass das Flugzeug mehrere Positionslichter aufweist, die von einem Sensor des Systems erfasst werden, wobei auf Grundlage der erfassten Positionslichter ein Abstand des Flugzeugs zu dem Sensor des Systems ermittelt wird. From the publication US 8,301,326 B2 For example, a system and method for controlling an aircraft are known. Here, it is considered that the aircraft has a plurality of position lights which are detected by a sensor of the system, wherein a distance of the aircraft to the sensor of the system is determined on the basis of the detected position lights.

Vor diesem Hintergrund werden ein Verfahren und ein System mit den Merkmalen der unabhängigen Patentansprüche vorgestellt. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Patentansprüchen und der Beschreibung. Against this background, a method and a system with the features of the independent claims are presented. Further embodiments of the invention will become apparent from the dependent claims and the description.

Die Erfindung betrifft ein Verfahren zum Erfassen eines Objekts mit einer Kamera, die an einem Aufnahmepunkt angeordnet ist. Dabei wird das Objekt identifiziert und für das identifizierte Objekt mindestens ein bekannter, objektspezifischer Abstand A verwendet, der einer Entfernung zwischen einem ersten Objektpunkt des Objekts und einem zweiten Objektpunkt des Objekts entspricht, wobei beide Objektpunkte auf einer durch die Kamera erfassbaren Oberfläche des Objekts angeordnet sind. Außerdem wird eine Objektgerade definiert, auf bzw. entlang der die beiden, durch den objektspezifischen Abstand A beabstandeten Objektpunkte des Objekts angeordnet sind, und ein Bezugspunkt auf bzw. entlang der Objektgeraden ermittelt, wobei eine Bezugsgerade durch den Bezugspunkt und den Aufnahmepunkt die Objektgerade senkrecht schneidet und der Bezugspunkt sowie der Aufnahmepunkt zueinander einen Abstand X aufweisen. Der Abstand X zwischen dem Aufnahmepunkt und dem Bezugspunkt auf der Objektgeraden, in dessen Richtung die Kamera gedreht wird, entspricht der kürzesten Strecke zwischen der Objektgeraden und der am Aufnahmepunkt angeordneten Kamera. Weiterhin wird ein erster Betrachtungswinkel ω1 zwischen der Bezugsgeraden, die durch den Bezugspunkt und den Aufnahmepunkt verläuft, und einer ersten Betrachtungsgeraden, die durch den ersten Objektpunkt und den Aufnahmepunkt verläuft, ermittelt. Ein zweiter Betrachtungswinkel ω2 zwischen der Bezugsgeraden, die durch den Bezugspunkt und den Aufnahmepunkt verläuft, und einer zweiten Betrachtungsgeraden, die durch den zweiten Objektpunkt und den Aufnahmepunkt verläuft, wird ebenfalls ermittelt. Der Abstand X wird über die Formel: X = A·(│tan(ω1) – tan(ω2)│)^–1 berechnet. The invention relates to a method for detecting an object with a camera, which is arranged at a pick-up point. In this case, the object is identified and used for the identified object at least one known, object-specific distance A, which corresponds to a distance between a first object point of the object and a second object point of the object, wherein both object points are arranged on a detectable by the camera surface of the object , In addition, an object line is defined on or along which the two object points of the object spaced by the object-specific distance A are located, and a reference point is determined on or along the object line, wherein a reference line perpendicularly intersects the object line through the reference point and the pickup point and the reference point and the pick-up point have a distance X from one another. The distance X between the pickup point and the reference point on the object line, in the direction of which the camera is rotated, corresponds to the shortest distance between the object line and the camera arranged at the pickup point. Furthermore, a first viewing angle ω1 is determined between the reference line passing through the reference point and the pickup point and a first viewing line passing through the first object point and the pickup point. A second viewing angle ω2 between the reference line passing through the reference point and the pickup point and a second viewing line passing through the second object point and the pickup point is also determined. The distance X is calculated by the formula: X = A * (│tan (ω1) -tan (ω2) │) ^-1 .

In Ausgestaltung wird als der mindestens eine bekannte, objektspezifische Abstand A eine Breite B des Objekts verwendet, die einer Entfernung zwischen einem ersten, linken Objektpunkt und einem zweiten, rechten Objektpunkt des Objekts entspricht. Dabei wird jene Objektgerade definiert, in der die beiden durch die Breite B beabstandeten, in horizontaler Richtung nebeneinander angeordneten Objektpunkte des Objekts angeordnet sind. Ein erster, horizontal orientierter Betrachtungswinkel αL zwischen der Bezugsgeraden, die durch den Bezugspunkt und den Aufnahmepunkt verläuft, und einer ersten, horizontal orientierten Betrachtungsgeraden, die durch den ersten, linken Objektpunkt und den Aufnahmepunkt verläuft, wird ermittelt. Ein zweiter, horizontal orientierter Betrachtungswinkel αR zwischen der Bezugsgeraden, die durch den Bezugspunkt und den Aufnahmepunkt verläuft, und einer zweiten, horizontal orientierten Betrachtungsgeraden, die durch den zweiten, rechten Objektpunkt und den Aufnahmepunkt verläuft, wird entsprechend ermittelt. In diesem Fall wird der Abstand X über die Formel X = B·(│tan(αL) – tan(αR)│)^–1 berechnet. Je nach Perspektive der Kamera kann der linke Objektpunkt mit dem rechten Objektpunkt vertauscht werden und umgekehrt, wobei sich bei der Bestimmung des Abstands X dasselbe Ergebnis ergibt. In an embodiment, as the at least one known object-specific distance A, a width B of the object is used that corresponds to a distance between a first, left object point and a second, right object point of the object. In this case, that object line is defined in which the two spaced apart by the width B, arranged in the horizontal direction side by side object points of the object are arranged. A first, horizontally oriented viewing angle αL between the reference line passing through the reference point and the pickup point and a first, horizontally oriented viewing line passing through the first, left object point and the pickup point is determined. A second, horizontal oriented viewing angle αR between the reference line passing through the reference point and the pickup point and a second horizontally oriented viewing line passing through the second right object point and the pickup point is determined accordingly. In this case, the distance X is calculated by the formula X = B * (│tan (αL) -tan (αR) │) ^-1 . Depending on the perspective of the camera, the left object point can be interchanged with the right object point and vice versa, whereby the same result results in the determination of the distance X.

Alternativ oder ergänzend wird als der mindestens eine objektspezifische, bekannte Abstand A eine Höhe H des Objekts verwendet, die einer Entfernung zwischen einem ersten, oberen Objektpunkt und einem zweiten, unteren Objektpunkt des Objekts entspricht. Hierbei wird jene Objektgerade definiert, in der die beiden durch die Höhe H beabstandeten, in vertikaler Richtung nebeneinander angeordneten Objektpunkte des Objekts angeordnet sind. Außerdem wird ein erster, vertikal orientierter Betrachtungswinkel βO zwischen der Bezugsgeraden, die durch den Bezugspunkt und den Aufnahmepunkt verläuft, und einer ersten, vertikal orientierten Betrachtungsgeraden, die durch den ersten, oberen Objektpunkt und den Aufnahmepunkt verläuft, ermittelt. Ein zweiter, vertikal orientierter Betrachtungswinkel βU zwischen der Bezugsgeraden, die durch den Bezugspunkt und den Aufnahmepunkt verläuft, und einer zweiten, vertikal orientierten Betrachtungsgeraden, die durch den zweiten, unteren Objektpunkt und den Aufnahmepunkt verläuft, wird ebenfalls ermittelt. Hierbei wird der Abstand X mit X = H·(│tan(βO) – tan(βU)│)^–1 berechnet. Auch hier wird das Ergebnis für den Abstand X bei einer von der Perspektive der Kamera abhängigen Vertauschung des oberen Objektpunkts mit dem unteren Objektpunkt und umgekehrt nicht verändert. Alternatively or additionally, as the at least one object-specific known distance A, a height H of the object is used which corresponds to a distance between a first, upper object point and a second, lower object point of the object. Here, that object line is defined in which the two spaced apart by the height H, in the vertical direction adjacent to each other arranged object points of the object are arranged. In addition, a first, vertically oriented viewing angle β0 is determined between the reference line passing through the reference point and the pickup point and a first, vertically oriented viewing line passing through the first, upper object point and the pickup point. A second, vertically oriented viewing angle βU between the reference line passing through the reference point and the pickup point and a second vertically oriented viewing line passing through the second, lower object point and the pickup point is also determined. In this case, the distance X is calculated as X = H * (│tan (βO) -tan (βU) │) ^-1 . Again, the result for the distance X is not changed in a dependent on the perspective of the camera interchanging the upper object point with the lower object point and vice versa.

Demnach werden zum Erfassen des Objekts zwei Objektpunkte, deren objektspezifischer Abstand A zueinander bekannt ist, und der Bezugspunkt benötigt. Außerdem kann für das Objekt eine sog. Objektebene definiert werden, innerhalb der die beiden Objektpunkte und der Bezugspunkt entlang der Objektgeraden angeordnet sind. Üblicherweise ist die Objektebene durch drei Objektpunkte definierbar. Die mindestens zwei zu berücksichtigenden Objektpunkte sind je nach Position bzw. Aufnahmepunkt und/oder Ausrichtung der verwendeten Kamera entlang einer in der Objektebene vertikal orientierten Objektgeraden übereinander oder entlang einer in der Objektebene horizontal orientierten Objektgeraden nebeneinander angeordnet. Es ist jedoch auch möglich, zum Erfassen des Objekts zwei Objektpunkte zu verwenden, die entlang einer in der Objektebene diagonal orientierten Objektgeraden, also einer Objektgeraden angeordnet sind, die bezüglich einer in der Objektebene horizontal oder vertikal orientierten Geraden unter einem Winkel orientiert ist, der größer als 0° und kleiner als 90° ist. Thus, for detecting the object, two object points whose object-specific distance A is known to each other and the reference point are needed. In addition, a so-called object plane can be defined for the object, within which the two object points and the reference point are arranged along the object line. Usually, the object plane can be defined by three object points. Depending on the position or pick-up point and / or orientation of the camera used, the at least two object points to be taken into account are arranged next to one another along an object straight line oriented vertically in the object plane or next to each other along an object straight line oriented horizontally in the object plane. However, it is also possible to use two object points for detecting the object, which are arranged along an object line which is diagonally oriented in the object plane, ie an object line which is oriented at an angle with respect to a line oriented horizontally or vertically in the object plane, which is larger is 0 ° and less than 90 °.

Die Begriffe "horizontal", "vertikal" sowie "diagonal" sind aus der Sicht eines virtuellen Betrachters, der aus der Position der Kamera auf das Objekt schaut, zu verstehen. The terms "horizontal", "vertical" and "diagonal" are to be understood from the perspective of a virtual observer looking from the position of the camera on the object.

Der Bezugspunkt kann entlang dieser Objektgeraden zwischen den beiden Objektpunkten angeordnet sein. Alternativ kann ein erster bzw. zweiter der beiden Objektpunkte entlang bzw. auf der Objektgeraden zwischen dem Bezugspunkt und einem zweiten bzw. ersten der beiden Objektpunkte angeordnet sein. The reference point can be arranged along this object line between the two object points. Alternatively, a first or second of the two object points can be arranged along or on the object line between the reference point and a second or first of the two object points.

Somit sind zum Bestimmen des Abstands X des Aufnahmepunkts zu dem Objekt mindestens zwei Betrachtungswinkel ω1, ω2, d. h. je nach Definition und/oder Ausgestaltung: αL, αR und/oder βO, βU, zu berücksichtigen. Durch diese Maßnahme kann der Abstand X zu dem Objekt von dem Aufnahmepunkt der Kamera auch dann bestimmt werden, wenn Kamera und Objekt zueinander versetzt angeordnet sein sollten und demnach nicht direkt einander gegenüber liegen. Weiterhin ist die Bestimmung des Abstands X auch dann möglich, wenn die Kamera zu dem Objekt gedreht sein sollte. Zur Bestimmung des Abstands X mit einer der voranstehend genannten Gleichungen werden Kehrwerte eines Betrags einer Differenz des Tangens des ersten Betrachtungswinkels und des Tangens des zweiten Betrachtungswinkels berücksichtigt. Falls die beiden Betrachtungswinkel kleine Werte mit einer bspw. einstelligen Anzahl an Winkelgraden aufweisen sollten, entspricht der Tangens eines derartigen Betrachtungswinkels in einer mathematischen Näherung (Kleinwinkelnäherung) dem absoluten Wert des Betrachtungswinkels selbst, so dass der zu bestimmende Abstand X in dieser Näherung ohne großen Rechenaufwand ermittelt werden kann. Thus, to determine the distance X of the pick-up point to the object, at least two viewing angles ω1, ω2, d. H. depending on the definition and / or design: αL, αR and / or βO, βU, to be considered. By this measure, the distance X to the object of the shooting point of the camera can also be determined when camera and object should be arranged offset from each other and therefore not directly opposite each other. Furthermore, the determination of the distance X is possible even if the camera should be turned to the object. To determine the distance X with one of the above-mentioned equations, reciprocal values of an amount of a difference of the tangent of the first viewing angle and the tangent of the second viewing angle are taken into account. If the two viewing angles should have small values with, for example, a single-digit number of degrees, the tangent of such a viewing angle in a mathematical approximation (small-angle approximation) corresponds to the absolute value of the viewing angle itself, so that the distance X to be determined in this approximation without great computational effort can be determined.

Das zu erfassende Objekt wird mit bekannten Objekten verglichen und identifiziert. Hierbei ist vorgesehen, dass bspw. eine Abmessung und/oder Größe jedes der bekannten Objekte normiert und/oder standardisiert ist. Der mindestens eine objektspezifische Abstand A, bspw. die Breite B und/oder die Höhe H, der einer Entfernung zwischen dem ersten Objektpunkt und dem zweiten Objektpunkt des jeweiligen Objekts entspricht, ist folglich ebenfalls bekannt. Dabei sind Informationen zu den bekannten Objekten in einer Datenbank gespeichert. Derartige Informationen umfassen charakteristische Merkmale von Objekten, die optisch erfasst werden können. Die charakteristischen Merkmale betreffen eine Form, mindestens eine Farbe und/oder ein Muster eines Objekts, anhand derer das Objekt identifiziert werden kann. Für ein zu erfassendes Objekt werden optisch erkennbare, charakteristische Merkmale dieses zu erfassenden Objekts mit bekannten und ggf. normierten und/oder standardisierten Merkmalen der aus der Datenbank bekannten Objekte verglichen, wobei das zu erfassende Objekt einem bekannten Objekt zugeordnet wird, für das mindestens ein Abstand A zwischen zwei Objektpunkten bekannt ist. The object to be detected is compared with known objects and identified. It is provided that, for example, a dimension and / or size of each of the known objects is normalized and / or standardized. The at least one object-specific distance A, for example the width B and / or the height H, which corresponds to a distance between the first object point and the second object point of the respective object, is therefore likewise known. In this case, information about the known objects is stored in a database. Such information includes characteristic features of objects that can be optically detected. The characteristic features relate to a shape, at least one color and / or a pattern of an object, by means of which the object can be identified. For an object to be detected are optically recognizable, characteristic features of this object to be detected compared with known and possibly normalized and / or standardized features of known from the database objects, wherein the object to be detected is assigned to a known object for which at least one distance A between two object points is known.

Als Objektpunkte können bspw. Randpunkte des zu erfassenden Objekts verwendet werden, die an einer Berandung des Objekts angeordnet sind. Hierbei können bspw. Randpunkte verwendet werden, die entweder an zwei gegenüberliegenden Außenkanten und/oder an zwei Ecken des Objekts angeordnet sind. Dies betrifft entweder Objektpunkte an zwei Ecken, die an einer gemeinsamen Außenkante bzw. Außenseite des Objekts angeordnet sind, oder die an zwei diagonal gegenüberliegende Ecken angeordnet sind. As object points, for example, edge points of the object to be detected can be used, which are arranged on a boundary of the object. In this case, for example, edge points can be used, which are arranged either on two opposite outer edges and / or on two corners of the object. This concerns either object points at two corners, which are arranged at a common outer edge or outside of the object, or which are arranged at two diagonally opposite corners.

In weiterer Ausgestaltung werden ein erstes Paar Objektpunkte, die über eine erste Linie miteinander verbunden sind, und ein zweites Paar Objektpunkte, die über eine zweite Linie miteinander verbunden sind, erfasst. Dabei sind beide Linien zueinander unter einem Winkel angeordnet, wobei die erste Linie eine erste Länge und die zweite Linie eine zweite Länge aufweist. Diese beiden Längen werden von der Kamera erfasst, wobei ein zeitlicher Verlauf eines Verhältnisses der beiden Längen erfasst wird. Dabei wird eine Bewegung des Objekts relativ zu der Kamera nachgewiesen, wenn sich das Verhältnis der beiden Längen zeitlich verändert. Falls die beiden Linien zueinander unter einem Winkel von 90° angeordnet sind, wird eine Drehung des Objekts um eine Achse des Objekts nachgewiesen, wenn sich das Verhältnis der beiden Längen im Laufe der Zeit verändert. Sofern eine zeitliche Veränderung des Verhältnisses periodisch ist, kann eine regelmäßige Rotation des Objekts nachgewiesen werden. In a further embodiment, a first pair of object points, which are connected to one another via a first line, and a second pair of object points, which are connected to one another via a second line, are detected. In this case, both lines are arranged at an angle to each other, wherein the first line has a first length and the second line has a second length. These two lengths are detected by the camera, whereby a time course of a ratio of the two lengths is detected. In this case, a movement of the object relative to the camera is detected when the ratio of the two lengths changes over time. If the two lines are at 90 ° to each other, rotation of the object about an axis of the object will be detected as the ratio of the two lengths changes over time. If a temporal change of the ratio is periodic, a regular rotation of the object can be detected.

Im Rahmen des Verfahrens werden eine Breite B und eine Höhe H des Objekts als dessen charakteristische Längen bzw. objektspezifische Abstände A ermittelt, wobei ein Verhältnis zwischen der Breite und der Höhe beobachtet und/oder ermittelt und ein zeitlicher Verlauf des Verhältnisses erfasst wird. In der Regel kann eine Drehung bzw. Bewegung des Objekts, bspw. auf einer Kreisbahn relativ zu der Kamera bei einer zeitlichen Änderung eines Verhältnisses der Längen, d. h. der Breite B zu der Höhe H nachgewiesen werden. In the context of the method, a width B and a height H of the object are determined as its characteristic lengths or object-specific distances A, wherein a ratio between the width and the height is observed and / or determined and a time profile of the ratio is detected. In general, a rotation or movement of the object, for example. On a circular path relative to the camera with a temporal change in a ratio of the lengths, d. H. the width B to the height H are detected.

Das Objekt wird in der Regel auf einer Bildebene der Kamera abgebildet, wobei die Bildebene ein Raster aus Bildzeilen und Bildspalten mit Bildpunkten bzw. Pixeln aufweist, wobei jeder Bildpunkt einer Bildzeile und einer Bildspalte zugeordnet wird. Außerdem wird jedem Bildpunkt ein Wert für mindestens einen Betrachtungswinkel, bspw. für einen vertikal und/oder horizontal orientierten Betrachtungswinkel, zugeordnet. Außerdem wird ein Objektpunkt einem Bildpunkt des Bilds des Objekts zugeordnet. The object is usually imaged on an image plane of the camera, wherein the image plane has a grid of image lines and image columns with pixels or pixels, wherein each pixel is associated with an image line and an image column. In addition, each pixel is assigned a value for at least one viewing angle, for example for a vertically and / or horizontally oriented viewing angle. In addition, an object point is assigned to a pixel of the image of the object.

Das Verfahren kann mit einer in einem bspw. fahrenden Kraftfahrzeug angeordneten Kamera durchgeführt werden. Das zu erfassende Objekt ist üblicherweise als Verkehrsschild ausgebildet, dessen Abmessungen, d. h. mindestens ein objektspezifischer Abstand A, und Aussehen, d. h. Form, Farbe und/oder Muster, normiert ist. Hinsichtlich dieser Ausführungsform wird berücksichtigt, dass sich die Kamera und somit auch der Aufnahmepunkt bewegen. Das zu erfassende Objekt kann entweder ortsfest angeordnet oder ebenfalls beweglich sein. Der zu erfassende Abstand X kann sich bei einer Bewegung der Kamera und/oder des Objekts dynamisch verändern. The method can be carried out with a camera arranged in, for example, a moving motor vehicle. The object to be detected is usually designed as a traffic sign whose dimensions, d. H. at least one object-specific distance A, and appearance, d. H. Shape, color and / or pattern is normalized. With regard to this embodiment, it is considered that the camera and thus also the pickup point move. The object to be detected can either be stationary or also movable. The distance X to be detected can change dynamically during a movement of the camera and / or the object.

Das erfindungsgemäße System ist zum Erfassen eines Objekts mit einer Kamera ausgebildet, die an einem Aufnahmepunkt angeordnet ist. Das System umfasst eine Recheneinheit, die dazu ausgebildet ist, das von der Kamera erfasste Objekt zu identifizieren und für das identifizierte Objekt mindestens einen bekannten, objektspezifischen Abstand A zu verwenden, der einer Entfernung zwischen einem ersten Objektpunkt und einem zweiten Objektpunkt des Objekts entspricht. Die Recheneinheit ist dazu ausgebildet, eine Objektgerade zu definieren, entlang der die beiden durch den objektspezifischen Abstand A beabstandeten Objektpunkte des Objekts angeordnet sind, und einen Bezugspunkt auf der Objektgeraden zu ermitteln, wobei eine Bezugsgerade durch den Bezugspunkt und den Aufnahmepunkt die Objektgerade senkrecht schneidet und der Bezugspunkt sowie der Aufnahmepunkt zueinander einen Abstand X aufweisen. Außerdem ist die Recheneinheit dazu ausgebildet, einen ersten Betrachtungswinkel ω1 bzw. αL oder βO zwischen der Bezugsgeraden und einer ersten Betrachtungsgeraden, die durch den ersten Objektpunkt und den Aufnahmepunkt (AP) verläuft, sowie einen zweiten Betrachtungswinkel ω2 bzw. αR oder βU zwischen der Bezugsgeraden und einer zweiten Betrachtungsgeraden, die durch den zweiten Objektpunkt und den Aufnahmepunkt verläuft, zu ermitteln. Die Recheneinheit berechnet den Abstand X mit der Formel X = A·(│tan(ω1) – tan(ω2)│)^–1. The system according to the invention is designed to detect an object with a camera which is arranged at a pickup point. The system comprises a computing unit which is designed to identify the object detected by the camera and to use for the identified object at least one known, object-specific distance A, which corresponds to a distance between a first object point and a second object point of the object. The arithmetic unit is configured to define an object line along which the two object points of the object spaced by the object-specific distance A are located, and to determine a reference point on the object line, wherein a reference line perpendicularly intersects the object line through the reference point and the pickup point the reference point and the receiving point have a distance X to one another. In addition, the arithmetic unit is configured to have a first viewing angle ω1 or αL or β0 between the reference line and a first viewing line passing through the first object point and the pickup point (AP) and a second viewing angle ω2 or αR or βU between the reference line and a second viewing line passing through the second object point and the pickup point. The arithmetic unit calculates the distance X with the formula X = A * (│tan (ω1) - tan (ω2) │) ^-1 .

Die Kamera, die zum Aufnehmen mindestens eines Bilds des Objekts ausgebildet ist, ist in der Regel ebenfalls als Komponente dieses Systems ausgebildet. The camera, which is designed to take at least one image of the object, is usually also formed as a component of this system.

Die Recheneinheit ist zudem dazu ausgebildet, von der Kamera erfasste Informationen des zu erfassenden Objekts mit Informationen zu und/oder von bekannten Objekten, die in einer Datenbank gespeichert sind, zu vergleichen und das zu erfassende Objekt darüber zu identifizieren. Dabei werden als Informationen jene charakteristischen Merkmale des zu erfassenden Objekts und der benannten Objekte berücksichtigt, die Form, Farbe und/oder Muster dieser Objekte beschreiben. Diese Datenbank kann in einem Speicher der Recheneinheit gespeichert sein. Alternativ oder ergänzend werden der Recheneinheit über einen Austausch von Informationen, wobei elektromagnetische Wellen verwendet werden können, Informationen einer externen Datenbank bereitgestellt, über die auch eine interne Datenbank im Speicher der Recheneinheit aktualisiert werden kann. The arithmetic unit is also designed to compare information captured by the camera of the object to be detected with information about and / or of known objects that are stored in a database and to identify the object to be detected about it. Here are as Information takes into account those characteristic features of the object to be detected and the named objects that describe the shape, color and / or pattern of these objects. This database can be stored in a memory of the arithmetic unit. Alternatively or additionally, the arithmetic unit is provided with information from an external database via an exchange of information, wherein electromagnetic waves can be used, via which an internal database in the memory of the arithmetic unit can also be updated.

Das erfindungsgemäße System ist dazu ausgebildet, mindestens einen Schritt des vorgestellten erfindungsgemäßen Verfahrens und somit auch das komplette Verfahren durchzuführen. The system according to the invention is designed to carry out at least one step of the proposed method according to the invention and thus also the complete method.

Im Rahmen des vorgestellten Verfahrens ist durch Auswertung von Winkelinformationen zu den zu berücksichtigenden Betrachtungswinkeln eine Schätzung einer Entfernung und einer Rotation des Objekts in Bezug auf einen Aufnahmepunkt und eine Bildebene durchzuführen. Dabei wird u. a. berücksichtigt, dass eine reale Höhe H und eine reale Breite B des beobachteten Objekts als objektspezifische Abstände A bekannt sind. In the context of the presented method, an evaluation of a distance and a rotation of the object with respect to a pick-up point and an image plane is to be carried out by evaluating angle information about the viewing angles to be considered. It is u. a. takes into account that a real height H and a real width B of the observed object are known as object-specific distances A.

Weiterhin wird aus einer Abbildung der Höhe H und der Breite B des Objekts auf dem Bild in der Bildebene der Kamera der reale Abstand X von dem Aufnahmepunkt bzw. einer Aufnahmeposition, an dem bzw. der von der Kamera das Bild des Objekts aufgenommen wird, senkrecht zu der Objektgeraden, entlang der die Objektpunkte des Objekts angeordnet sind, bestimmt. Further, from a map of the height H and the width B of the object on the image in the image plane of the camera, the real distance X from the photographing point or a photographing position at which the image of the object is captured by the camera becomes perpendicular to the object line along which the object points of the object are arranged determined.

Aus dem ebenfalls bekannten Verhältnis von Breite und Höhe der Seiten des Objekts ist eine Aussage darüber möglich, ob das Objekt eine Rotation um eine bspw. vertikal orientierte Achse, die durch einen Mittelpunkt des Objekts verlaufen kann, durchführt. From the also known ratio of width and height of the sides of the object, a statement is possible as to whether the object performs a rotation about an example. Vertically oriented axis that can pass through a center of the object.

Informationen zur Berechnung der abgebildeten Höhe H und Breite B des Objekts werden in Ausgestaltung durch eine Software und/oder einen Algorithmus zur Bildverarbeitung mit der Recheneinheit ermittelt, wobei zumindest ein gerastertes Bild, das die Kamera von dem Objekt aufgenommen hat, ausgewertet wird. Information for calculating the imaged height H and width B of the object are determined in an embodiment by software and / or an algorithm for image processing with the arithmetic unit, wherein at least one rasterized image that the camera has taken of the object is evaluated.

In einer Variante des Verfahrens wird eine Matrix verwendet, die die Bildpunkte des gerasterten Bilds in der Bildebene umfasst. Dabei wird jedem Bildpunkt der Matrix aus Bildzeilen und Bildspalten eine Information über den Betrachtungswinkel zugeordnet, über den der Abstand bzw. eine Entfernung zwischen dem im Aufnahmepunkt der Kamera entstehenden bzw. entstandenen Bild des Objekts und dem Objekt in der Objektebene bestimmt wird. In Ausgestaltung wird mit dem Betrachtungswinkel die Entfernung zwischen dem Aufnahmepunkt, an dem die Kamera zum Betrachten des Objekts angeordnet ist, und an dem das Bild des Objekts entsteht, zu dem Bezugspunkt auf der Objektgeraden berechnet und somit bestimmt, wobei die durch den Aufnahmepunkt und den Bezugspunkt verlaufende Bezugsgerade senkrecht zu der Objektgeraden orientiert ist. Dabei wird in Ausgestaltung auch der bei der Betrachtung des Objekts durch die Kamera zu betrachtende Betrachtungswinkel, der bspw. auf den Mittelpunkt des Objekt bezogen sein kann, ebenfalls mit der Matrix, die Informationen zu verschiedenen Betrachtungswinkeln umfasst, bestimmt. In a variant of the method, a matrix is used which comprises the pixels of the rastered image in the image plane. In this case, each pixel of the matrix of image lines and image columns is assigned an information about the viewing angle, via which the distance or a distance between the image of the object arising in the camera's acquisition point and the object in the object plane is determined. In an embodiment, with the viewing angle, the distance between the pickup point at which the camera is arranged to view the object and where the image of the object is formed is calculated to the reference point on the object line and thus determined by the picking point and the Reference point extending reference straight line is oriented perpendicular to the object line. In this case, in an embodiment, the viewing angle to be considered by the camera when the object is viewed, which, for example, may refer to the center of the object, is likewise determined by the matrix, which comprises information on different viewing angles.

Außerdem werden jedem Bildpunkt des Bilds der Kamera und/oder der Matrix linearisierte Betrachtungswinkel zugeordnet. Ein Bereich eines vertikalen und/oder horizontalen Öffnungswinkels einer herkömmlichen Kamera ist ausreichend klein, so dass ein bei der Betrachtung des Objekts zu berücksichtigender Betrachtungswinkel ebenfalls klein ist und in der Regel nur einige Grad beträgt. Ein zum Berechnen und demnach zum Bestimmen der Entfernung zwischen dem Objekt und dessen Bild benötigter Wert des Tangens des Betrachtungswinkels verhält sich zu dem üblicherweise absoluten Wert des Betrachtungswinkels hier nahezu proportional bzw. entspricht diesem. In addition, each pixel of the image of the camera and / or the matrix are assigned linearized viewing angles. A range of a vertical and / or horizontal opening angle of a conventional camera is sufficiently small so that a viewing angle to be taken into consideration when viewing the object is also small and is usually only a few degrees. A value of the tangent of the viewing angle required for calculating and therefore for determining the distance between the object and its image here behaves virtually corresponding to the usually absolute value of the viewing angle here or corresponds to it.

Das Verfahren ist in Ausgestaltung für eine automatisierte Bildverarbeitung von Daten der Kamera, die in einem Kraftfahrzeug angeordnet ist, anzuwenden. Die Kamera nimmt dabei Bilder von Objekten auf, die sich in einer Umgebung des Kraftfahrzeugs, bspw. vor dem fahrenden Kraftfahrzeug, befinden. Aufgrund einer Auflösung der Kamera, die durch eine Anzahl an Pixeln des von der Kamera aufgenommenen Bilds definiert ist, wird ein von den Pixeln vorgegebenes Raster zur Verarbeitung und/oder Analyse des in der Bildebene der Kamera abgebildeten Bilds des Objekts bereitgestellt. Wenn bei der automatisierten Bildverarbeitung, üblicherweise aufgrund von Helligkeitsunterschieden, das Objekt, z. B. ein Verkehrszeichen, erkannt wird, dann weist das Bild von diesem Objekt eine bestimmte Anzahl Pixel in der Bildebene auf. The method is to be applied in an embodiment for an automated image processing of data of the camera, which is arranged in a motor vehicle. The camera takes pictures of objects that are in an environment of the motor vehicle, for example. In front of the moving motor vehicle. Due to a resolution of the camera defined by a number of pixels of the image captured by the camera, a raster given by the pixels is provided for processing and / or analyzing the image of the object imaged in the image plane of the camera. When in automated image processing, usually due to differences in brightness, the object, z. As a traffic sign is detected, then the image of this object has a certain number of pixels in the image plane.

Nach einer Erkennung des Objekts auf dem Bild werden diejenigen Pixel identifiziert, die Objektpunkten an Ecken und/oder Außenkanten zur Begrenzung des erkannten Objekts darstellen. Dabei bezieht sich eine erste Information auf die beiden Betrachtungswinkel αL, αR zum Erfassen einer Abweichung der linken bzw. rechten Begrenzung des erkannten, auf dem Bild erfassten Objekts bezüglich des direkten Abstands X zwischen der Kamera und dem Objekt. Eine zweite Information zu den Betrachtungswinkeln βO, βU wird zum Erfassen einer oberen bzw. unteren Begrenzung des erkannten Objekts verwendet. Hieraus wird der Abstand X zwischen dem Kraftfahrzeug bzw. der Kamera und dem Objekt alternativ oder ergänzend berechnet. Weiterhin ist noch eine Korrektur des ermittelten Abstands X vorgesehen, wobei eine Rotation des erkannten Objekts um eine vertikal oder horizontal orientierte Achse berücksichtigt wird. In Ausgestaltung kann der Abstand X zwischen dem Aufnahmepunkt und dem Bezugspunkt mehrmals berechnet werden, wobei aus mehrmals berechneten Werten des Abstands X ein Mittelwert berechnet werden kann. After recognition of the object on the image, those pixels are identified which represent object points at corners and / or outer edges for delimiting the recognized object. In this case, a first information relates to the two viewing angles αL, αR for detecting a deviation of the left or right boundary of the detected object detected on the image with respect to the direct distance X between the camera and the object. A second information on the viewing angles β0, βU is used to detect an upper or lower limit of the detected Object used. From this, the distance X between the motor vehicle or the camera and the object is calculated alternatively or additionally. Furthermore, a correction of the determined distance X is provided, wherein a rotation of the detected object is taken into account about a vertically or horizontally oriented axis. In an embodiment, the distance X between the pickup point and the reference point can be calculated several times, wherein an average value can be calculated from values of the distance X calculated several times.

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen. Further advantages and embodiments of the invention will become apparent from the description and the accompanying drawings.

Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. It is understood that the features mentioned above and those yet to be explained below can be used not only in the particular combination indicated, but also in other combinations or in isolation, without departing from the scope of the present invention.

1 zeigt in schematischer Darstellung ein Beispiel für ein erstes Objekt, das im Rahmen einer Ausgestaltung des erfindungsgemäßen Verfahrens zu erfassen ist. 1 shows a schematic representation of an example of a first object to be detected within the scope of an embodiment of the method according to the invention.

2 zeigt in schematischer Darstellung das Objekt aus 1 unter einer anderen Betrachtungsweise. 2 shows a schematic representation of the object 1 from a different perspective.

3 zeigt in schematischer Darstellung ein zweites Objekt, das in Ausgestaltung des erfindungsgemäßen Verfahrens zu erfassen ist. 3 shows a schematic representation of a second object to be detected in an embodiment of the method according to the invention.

4 zeigt erste Varianten zum Erfassen des Objekts aus 1 und 2 im Rahmen der Ausführungsform des erfindungsgemäßen Verfahrens. 4 shows first variants for detecting the object 1 and 2 in the context of the embodiment of the method according to the invention.

5 zeigt zweite Varianten zum Erfassen des Objekts aus 1 und 2 im Rahmen der Ausgestaltung des erfindungsgemäßen Verfahrens. 5 shows second variants for detecting the object 1 and 2 in the context of the embodiment of the method according to the invention.

6 zeigt dritte Varianten zum Erfassen des Objekts aus 1 und 2 im Rahmen der Ausführungsform des erfindungsgemäßen Verfahrens. 6 shows third variants for detecting the object 1 and 2 in the context of the embodiment of the method according to the invention.

7 zeigt anhand von zwei schematischen Darstellungen eine Bildebene zum Erfassen des Objekts im Rahmen der Ausführungsform des erfindungsgemäßen Verfahrens. 7 shows on the basis of two schematic representations of an image plane for detecting the object in the context of the embodiment of the method according to the invention.

8 zeigt in schematischer Darstellung ein Kraftfahrzeug, das eine Ausführungsform des erfindungsgemäßen Systems aufweist. 8th shows a schematic representation of a motor vehicle having an embodiment of the system according to the invention.

Das in 1 schematisch dargestellte Objekt 2 ist hier quadratisch ausgebildet und weist bezüglich einer Sichtweise und/oder Perspektive einer Kamera, die bei der beschriebenen Ausführungsform des erfindungsgemäßen Verfahrens zum Erfassen des Objekts 2 verwendet wird, zwei vertikal orientierte Außenkanten 4, 6 sowie zwei horizontal orientierte Außenkanten 8, 10 auf. In der hier gezeigten Darstellung ist das Objekt 2 im Uhrzeigersinn durch einen ersten Objektpunkt POL (oben links), einen zweiten Objektpunkt POR (oben rechts), durch einen dritten Objektpunkt PUR (unten rechts) sowie durch einen vierten Objektpunkt PUL (untern links) begrenzt. This in 1 schematically represented object 2 is here square and has a view and / or perspective of a camera, in the described embodiment of the method according to the invention for detecting the object 2 is used, two vertically oriented outer edges 4 . 6 as well as two horizontally oriented outer edges 8th . 10 on. In the illustration shown here is the object 2 clockwise by a first object point POL (top left), a second object point POR (top right), by a third object point PUR (bottom right) and by a fourth object point PUL (lower left) limited.

Eine Breite B des Objekts 2 ist hier durch einen Abstand bzw. eine Strecke zwischen dem ersten Objektpunkt POL und dem zweiten Objektpunkt POR bzw. dem dritten Objektpunkt PUR und dem vierten Objektpunkt PUL entlang einer der horizontal orientierten Außenkanten 8, 10 begrenzt. Als Breite B ist hier allgemein ein bezüglich einer Betrachtung der Kamera horizontal orientierte Strecke bzw. Linie zu berücksichtigen, wobei die Breite B ein Abstand zwischen einem hier links angeordneten Objektpunkt PL, d. h. POL bzw. PUL, und einem rechts angeordneten Objektpunkt PR, d. h. POR bzw. PUR, definiert. A width B of the object 2 is here by a distance or a distance between the first object point POL and the second object point POR or the third object point PUR and the fourth object point PUL along one of the horizontally oriented outer edges 8th . 10 limited. As width B is here generally considered with respect to a viewing of the camera horizontally oriented distance or line, the width B is a distance between an object point PL arranged here on the left, ie POL or PUL, and a right-arranged object point PR, ie POR or PUR, defined.

Durch die hier beschriebenen vier Objektpunkte POL, POR, PUR, PUL kann weiterhin auch eine Höhe H des Objekts 2 definiert werden. Dabei entspricht die Höhe H dem Abstand zwischen dem ersten Objektpunkt POL und dem vierten Objektpunkt PUL und somit einer Länge der links angeordneten, vertikal orientierten Außenkante 4 aber auch dem Abstand zwischen dem zweiten Objektpunkt POR und dem dritten Objektpunkt PUR, der hier einer Länge einer zweiten, hier rechts angeordneten Außenkante 6 des Objekts 2 entspricht. Somit entspricht die Höhe H dem Abstand eines oberen Objektpunkts PO, d. h. des oberen Objektpunkts POL bzw. POR, und einem unteren Objektpunkt PU, d. h. dem unteren Objektpunkt PUL bzw. PUR. Da das Objekt 2 quadratisch ist, entspricht ein Wert der Höhe H auch einem Wert der Breite B des Objekts 2. By means of the four object points POL, POR, PUR, PUL described here, a height H of the object can also be maintained 2 To be defined. The height H corresponds to the distance between the first object point POL and the fourth object point PUL and thus a length of the left-hand, vertically oriented outer edge 4 but also the distance between the second object point POR and the third object point PUR, here the length of a second, arranged here right outer edge 6 of the object 2 equivalent. Thus, the height H corresponds to the distance of an upper object point PO, ie the upper object point POL or POR, and a lower object point PU, ie the lower object point PUL or PUR. Because the object 2 is square, a value of the height H also corresponds to a value of the width B of the object 2 ,

In den 2a und 2b ist das Objekt 2 aus 1 bezüglich der hier vorgesehenen schematischen Darstellung auf ein Kreuz zurückgeführt, bei dem die aus 1 bekannten oberen Objektpunkte POL, POR durch den oberen Objektpunkt PO, die unteren Objektpunkte PUL, PUR durch den unteren Objektpunkt PU, die linken Objektpunkte POL, PUL durch den linken Objektpunkt PL und die rechten Objektpunkte POR, PUR durch den rechten Objektpunkt PR repräsentiert sind. Dabei sind der obere Objektpunkt PO und der untere Objektpunkt PU über eine vertikal orientierte Linie 12 miteinander verbunden, die eine von der Kamera erfasste Höhe H des Objekts 2 repräsentiert. In 2a sind der linke Objektpunkt PL und der rechte Objektpunkt PR durch eine erste horizontal orientierte Linie 14 miteinander verbunden, die hier eine von der Kamera erfasste Breite B des Objekts 2 repräsentiert. In der Darstellung aus 2a weisen die vertikal orientierte Linie 12 bzw. vertikal orientierte Strecke und die horizontal orientierte Linie 14 bzw. horizontal orientierte Strecke dieselbe Länge auf, so dass das von der Kamera erfasste Objekt 2 in der anhand von 2a dargestellten Betrachtungsweise eine Höhe H aufweist, die einer Höhe B des quadratisch ausgebildeten Objekts 2 entspricht. In the 2a and 2 B is the object 2 out 1 with regard to the schematic representation provided here attributed to a cross, in which the 1 known upper object points POL, POR by the upper object point PO, the lower object points PUL, PUR by the lower object point PU, the left object points POL, PUL by the left object point PL and the right object points POR, PUR represented by the right object point PR. In this case, the upper object point PO and the lower object point PU are over a vertically oriented line 12 connected to each other, which is a height H of the object detected by the camera 2 represents. In 2a are the left object point PL and the right object point PR by a first horizontally oriented line 14 connected to each other here is a captured by the camera width B of the object 2 represents. In the presentation off 2a have the vertically oriented line 12 or vertically oriented route and the horizontally oriented route 14 or horizontally oriented route of the same length, so that the object detected by the camera 2 in the basis of 2a Viewed approach has a height H, which is a height B of the square shaped object 2 equivalent.

In der Darstellung aus 2b sind im Unterschied hierzu der linke Objektpunkt PL und der rechte Objektpunkt PR durch die im Vergleich zu 2a nunmehr perspektivisch bedingt verkürzt dargestellte horizontal orientierte Linie 14 miteinander verbunden. In the presentation off 2 B are in contrast to the left object point PL and the right object point PR by compared to 2a now perspectively conditionally shortened horizontally oriented line 14 connected with each other.

Dagegen ist die Länge der vertikalen Linie 12 zwischen dem oberen Objektpunkt PO und dem unteren Objektpunkt PU genauso lang wie in der Darstellung aus 2a. In contrast, the length of the vertical line 12 between the upper object point PO and the lower object point PU as long as in the representation 2a ,

Diese Änderung, d. h. Verkürzung des Abstands zwischen dem linken Objektpunkt PL und dem rechten Objektpunkts PR aus 2b im Vergleich zu 2a resultiert daraus, dass sich das Objekt 2 hier um eine Achse, die entlang der vertikal angeordneten Linie 12 orientiert ist, dreht. Somit ändert sich bei einer Rotation des Objekts 2 die von der Kamera erfasste Breite B des Objekts 2 im Laufe der Zeit, wohingegen die Höhe H zwischen dem oberen Objektpunkt PO und dem unteren Objektpunkt PU konstant bleibt. Bei der hier beschriebenen Drehung ist die von der Kamera erfasste Breite B des Objekts 2 in der Regel kleiner und maximal genauso groß wie die von der Kamera erfasste Höhe H des Objekts 2 entlang einer Hochachse des Objekts 2. This change, ie shortening of the distance between the left object point PL and the right object point PR off 2 B compared to 2a results from the fact that the object 2 here around an axis, along the vertically arranged line 12 is oriented, turns. Thus changes with a rotation of the object 2 the width B of the object detected by the camera 2 over time, whereas the height H between the upper object point PO and the lower object point PU remains constant. The rotation described here is the width B of the object detected by the camera 2 usually smaller and at most the same size as the height H of the object detected by the camera 2 along a vertical axis of the object 2 ,

Alternativ hierzu ist es auch möglich, dass der von der Kamera erfasste Abstand zwischen dem linken Objektpunkt PL und dem rechten Objektpunkt PR konstant bleibt, wohingegen sich der Abstand zwischen dem oberen Objektpunkt PO und dem unteren Objektpunkt PU im Laufe der Zeit verändert, wodurch eine Rotation des Objekts 2 um eine horizontal orientierte Querachse des Objekts 2 zu erkennen ist. Alternatively, it is also possible that the distance between the left object point PL and the right object point PR detected by the camera remains constant, whereas the distance between the upper object point PO and the lower object point PU changes over time, as a result of which rotation of the object 2 around a horizontally oriented transverse axis of the object 2 can be seen.

In 3a und 3b ist ein als Richtungstafel und somit als Verkehrsschild ausgebildetes weiteres Objekt 18 aus zwei Perspektiven schematisch dargestellt. Dabei zeigt 3a dieses Objekt 18 aus frontaler Draufsicht der bei Umsetzung der Ausführungsform des erfindungsgemäßen Verfahrens zu verwendenden Kamera, wobei dieses Objekt 18 hier ortsfest angeordnet ist und somit nicht rotiert. In der Darstellung aus 3a ist ein von der Kamera eingenommener, relativer Betrachtungswinkel α = –5,35°. Ein Wert eines Rotationswinkels γ des Objekts 18 um eine vertikal orientierte Achse, die hier einer Symmetrieachse des Objekts 18 entspricht, beträgt hier definitionsgemäß 0°. Ein Seitenverhältnis zwischen einer Breite und einer Höhe des hier quadratischen Objekts 18 ist eins. In 3a and 3b is a further object designed as a directional sign and thus as a traffic sign 18 shown schematically from two perspectives. It shows 3a this object 18 from a frontal top view of the camera to be used in implementing the embodiment of the method according to the invention, this object 18 here fixed and thus not rotated. In the presentation off 3a is a camera-acquired relative viewing angle α = -5.35 °. A value of a rotation angle γ of the object 18 around a vertically oriented axis, here an axis of symmetry of the object 18 corresponds to 0 ° by definition. An aspect ratio between a width and a height of the square object 18 is one.

In der Darstellung aus 3b ist das Objekt 18 bei einer Rotation dargestellt. Dabei ist der relative Betrachtungswinkel α = –5,35° wie in der Darstellung aus 3a. Allerdings beträgt der Rotationswinkel γ um eine vertikal orientierte Achse des Objekts 18 nunmehr γ = –50°. Das von der Kamera hier erfasste Seitenverhältnis B/H zwischen der Breite B und der Höhe H, ist hier kleiner als eins. In the presentation off 3b is the object 18 shown during a rotation. The relative viewing angle α = -5.35 ° is as in the illustration 3a , However, the rotation angle γ is a vertically oriented axis of the object 18 now γ = -50 °. The aspect ratio B / H between the width B and the height H detected by the camera here is less than one.

In den 4a, 4b und 4c sind der linke Objektpunkt PL und der rechte Objektpunkt PR des anhand der 1 und 2 vorgestellten Objekts 2 dargestellt, die hier, wie in 2a, durch die horizontal orientierte Linie 14 miteinander verbunden sind, deren Länge einer Breite B des Objekts 2 entspricht, die von der Kamera zur Ausführung der Ausgestaltung des erfindungsgemäßen Verfahrens erfasst wird. Dabei ist die Kamera an einem Aufnahmepunkt AP angeordnet, der jedoch in den drei 4a, 4b und 4c relativ zu dem Objekt 2 an unterschiedlichen Orten positioniert ist. In the 4a . 4b and 4c are the left object point PL and the right object point PR of the basis of the 1 and 2 featured object 2 pictured here as in 2a , through the horizontally oriented line 14 connected to each other, the length of a width B of the object 2 corresponds, which is detected by the camera for carrying out the embodiment of the method according to the invention. The camera is arranged at a pickup point AP, but in the three 4a . 4b and 4c relative to the object 2 is positioned in different places.

In Ausgestaltung des Verfahrens ist vorgesehen, dass sich der hier gezeigte linke Objektpunkt PL und der rechte Objektpunkt PR im Falle aller drei gezeigten 4a, 4b und 4c in einer Objektebene des Objekts befinden. Dabei sind beide Objektpunkte PL, PR über eine Objektgerade 21 miteinander verbunden, wobei ein Abschnitt dieser Objektgeraden 21 der Linie 14 aus 2 entspricht. Außerdem ist in allen drei 4a, 4b und 4c vorgesehen, dass ein Abstand X zwischen der am Aufnahmepunkt AP angeordneten Kamera und der Objektgeraden 21 konstant ist. Unterschiede in den drei 4a, 4b und 4c sind hier durch eine Verschiebung des Aufnahmepunkts AP parallel zu der Objektgeraden 21 bzw. Objektebene bedingt. In an embodiment of the method, it is provided that the left object point PL shown here and the right object point PR in the case of all three shown 4a . 4b and 4c in an object plane of the object. Both object points PL, PR are over an object line 21 connected together, being a section of this object line 21 the line 14 out 2 equivalent. Besides, in all three 4a . 4b and 4c provided that a distance X between the arranged at the pickup point AP camera and the object line 21 is constant. Differences in the three 4a . 4b and 4c are here by a shift of the pickup point AP parallel to the object line 21 or object level conditionally.

Zum Bestimmen des Abstands X wird ein Bezugspunkt BP verwendet, der ebenfalls auf der Objektgeraden 21, die durch die beiden Objektpunkte PL und PR geführt ist, angeordnet ist. Eine durch den Aufnahmepunkt AP und den Bezugspunkt BP verlaufende Bezugsgerade 20 ist hier senkrecht zu der Objektgeraden 21 durch die beiden Objektpunkte PL und PR orientiert und schneidet demnach die vorgesehene Objektebene des Objekts 2 senkrecht. Der in Ausgestaltung des Verfahrens zu messende Abstand X entspricht somit dem Abstand X zwischen dem Aufnahmepunkt AP, an dem die Kamera angeordnet ist, und dem Bezugspunkt BP auf der Objektgeraden 21 bzw. in der Objektebene. To determine the distance X, a reference point BP is used which is also on the object line 21 , which is guided by the two object points PL and PR, is arranged. A reference line passing through the pickup point AP and the reference point BP 20 is here perpendicular to the object line 21 by the two object points PL and PR oriented and therefore intersects the intended object plane of the object 2 perpendicular. The distance X to be measured in the embodiment of the method thus corresponds to the distance X between the pickup point AP at which the camera is arranged and the reference point BP on the object straight line 21 or in the object level.

Außerdem wird im Falle aller drei 4a, 4b und 4c eine erste Betrachtungsgerade 22 definiert, die hier durch den ersten, linken Objektpunkt PL und den Aufnahmepunkt AP verläuft. Eine zweite Betrachtungsgerade 24 verläuft hier durch den zweiten, rechten Objektpunkt PR und den Aufnahmepunkt AP. Die Bezugsgerade 20 und die erste Betrachtungsgerade 22 schneiden sich in dem Aufnahmepunkt AP unter einem ersten, linken Betrachtungswinkel αL, der auch als erster Betrachtungswinkel ω1 bezeichnet werden kann. Außerdem schneidet die Bezugsgerade 20 die zweite Betrachtungsgerade 24 in dem Aufnahmepunkt AP unter einem zweiten, rechten Betrachtungswinkel αR, der auch als zweiter Betrachtungswinkel ω2 bezeichnet wird. Besides, in case of all three 4a . 4b and 4c a first line of observation 22 defined here by the first, left object point PL and the pickup point AP. A second line of observation 24 here passes through the second, right object point PR and the pickup point AP. The reference line 20 and the first Just viewing 22 intersect in the pickup point AP at a first, left viewing angle αL, which may also be referred to as the first viewing angle ω1. In addition, the reference line intersects 20 the second line of observation 24 in the pickup point AP at a second, right viewing angle αR, which is also referred to as the second viewing angle ω2.

Unter Berücksichtigung der bekannten Breite B, die dem Abstand zwischen den beiden Objektpunkten PL und PR entspricht, wird der Abstand X in allen drei Fällen über die Gleichung X = B·(│tan(αL) – tan(αR)│)^–1 berechnet. Durch Positionierung der Kamera an unterschiedlichen Aufnahmepunkten AP relativ zu dem Objekt 2 ergibt sich, dass die beiden zu berücksichtigenden Betrachtungswinkel αL und αR unterschiedlich groß sind. Taking into account the known width B, which corresponds to the distance between the two object points PL and PR, the distance X is calculated in all three cases by the equation X = B * (│tan (αL) -tan (αR) │) ^-1 , By positioning the camera at different pickup points AP relative to the object 2 shows that the two viewing angles αL and αR to be considered differ in size.

Im Detail ist die Kamera bei der Darstellung aus 2a unmittelbar vor dem Objekt angeordnet, wobei sich hier der Bezugspunkt BP genau in der Mitte zwischen den beiden Objektpunkten PL und PR befindet. Bei der Darstellung aus 4b ist der Bezugspunkt BP rechts von den beiden Objektpunkten PL und PR angeordnet, so dass der zweite, rechte Objektpunkt PR entlang der vorgesehenen Objektgeraden 21 zwischen dem ersten, linken Objektpunkt PL und dem Bezugspunkt BP angeordnet ist. Bei der Darstellung aus 4c ist die Kamera an dem Aufnahmepunkt AP relativ zu dem Objekt leicht nach links versetzt angeordnet, so dass in diesem Fall der erste, linke Objektpunkt PL entlang der Objektgeraden 21 zwischen dem Bezugspunkt BP und dem zweiten, rechten Objektpunkt PR angeordnet ist. In detail, the camera is off when viewing 2a arranged directly in front of the object, wherein here the reference point BP is located exactly in the middle between the two object points PL and PR. In the presentation off 4b the reference point BP is arranged to the right of the two object points PL and PR, so that the second, right object point PR along the intended object line 21 between the first, left object point PL and the reference point BP. In the presentation off 4c the camera is slightly offset to the left at the pickup point AP relative to the object, so that in this case the first, left object point PL along the object line 21 is arranged between the reference point BP and the second, right object point PR.

In entsprechender Weise kann, wie anhand von 5 vorgestellt, der Abstand X zwischen dem Aufnahmepunkt AP, an dem die Kamera angeordnet ist, und einem Bezugspunkt BP, der entlang einer Objektgeraden 21 durch zwei Objektpunkte des Objekts 2 angeordnet ist, unter Berücksichtigung einer vertikal orientierten Höhe H des Objekts 2 ermittelt werden. Hierbei wird ein erster, oberer Objektpunkt PO und ein zweiter unterer Objektpunkt PU verwendet, die hier über die Objektgerade 21, entlang der die aus 2 bekannte Linie 12 verläuft, miteinander verbunden sind, berücksichtigt. Ähnlich wie bei der anhand von 4 vorgestellten Variante der Ausführungsform des Verfahrens ist die Kamera an dem Aufnahmepunkt AP an unterschiedlichen Orten relativ zu dem Objekt 2 positioniert. In a similar way, as based on 5 introduced, the distance X between the pickup point AP, on which the camera is arranged, and a reference point BP, along an object line 21 by two object points of the object 2 is arranged, taking into account a vertically oriented height H of the object 2 be determined. In this case, a first, upper object point PO and a second lower object point PU is used, here via the object line 21 , along the out 2 known line 12 runs, interconnected, considered. Similar to the case of 4 presented variant of the embodiment of the method is the camera at the pickup point AP at different locations relative to the object 2 positioned.

Dabei ist in 5a vorgesehen, dass sich ein Bezugspunkt BP entlang der Objektgeraden 21 durch die beiden Objektpunkte PO und PU zwischen den beiden Objektpunkten PO und PU, hier in der Mitte zwischen den beiden Objektpunkten PO und PU befindet. Im Fall der Darstellung aus 5b sind der Bezugspunkt BP und der Aufnahmepunkt AP in vertikaler Richtung oberhalb des Objekts 2 angeordnet wobei entlang der vorgesehenen Objektgeraden 21 der erste, obere Objektpunkt PO zwischen dem Bezugspunkt BP und dem zweiten, unteren Objektpunkt PU angeordnet ist. Im Falle der Darstellung aus 5c befinden sich der Bezugspunkt BP und der Aufnahmepunkt AP in vertikaler Richtung unterhalb des Objekts 2, so dass hier der zweite, untere Objektpunkt PU entlang der Objektgeraden 21 zwischen dem ersten, oberen Objektpunkt PO und dem Bezugspunkt BP angeordnet ist. Die Bezugsgerade 20 zwischen dem Bezugspunkt BP und dem Aufnahmepunkt AP ist hier ebenfalls senkrecht zu der Objektgeraden 21 und somit auch senkrecht zu der Objektebene, in der das Objekt 2 angeordnet ist, orientiert. It is in 5a provided that a reference point BP along the object line 21 through the two object points PO and PU between the two object points PO and PU, here in the middle between the two object points PO and PU. In the case of presentation off 5b are the reference point BP and the pickup point AP in the vertical direction above the object 2 arranged along the intended object line 21 the first, upper object point PO is arranged between the reference point BP and the second, lower object point PU. In the case of presentation off 5c are the reference point BP and the pickup point AP in the vertical direction below the object 2 , so that here the second, lower object point PU along the object line 21 is arranged between the first, upper object point PO and the reference point BP. The reference line 20 between the reference point BP and the pickup point AP is here also perpendicular to the object line 21 and thus also perpendicular to the object plane in which the object 2 is arranged, oriented.

Zum Bestimmen des Abstands X zwischen der am Aufnahmepunkt AP angeordneten Kamera und dem Bezugspunkt BP innerhalb der Objektebene (1 und 2), die durch drei Objektpunkte definiert ist, bzw. entlang der Objektgeraden 21, die hier durch die beiden Objektpunkten PO und PU verläuft, werden hier ein erster, oberer Betrachtungswinkel βO, der auch als erster Betrachtungswinkel ω1 bezeichnet werden kann, sowie ein zweiter, unterer Betrachtungswinkel βU, der auch als zweiter Betrachtungswinkel ω2 bezeichnet werden kann, berücksichtigt. Der erste, obere Betrachtungswinkel βO ergibt sich durch eine Orientierung der ersten Betrachtungsgeraden 22 und der Bezugsgeraden 20 relativ zueinander, die sich in dem Aufnahmepunkt AP schneiden. Außerdem schneidet die Bezugsgerade 20 die zweite Betrachtungsgerade 24 ebenfalls in dem Aufnahmepunkt AP, wobei sich zwischen der Bezugsgeraden 20 und der zweiten Betrachtungsgeraden 24 der zweite, untere Betrachtungswinkel βU ergibt. Zum Berechnen des Abstands X wird hier die Formel X = B·(│tan(βO) – tan(βU)│)^–1 verwendet. For determining the distance X between the camera arranged at the pickup point AP and the reference point BP within the object plane (FIG. 1 and 2 ), which is defined by three object points, or along the object line 21 , which here passes through the two object points PO and PU, a first, upper viewing angle βO, which can also be referred to as first viewing angle ω1, and a second, lower viewing angle βU, which can also be referred to as second viewing angle ω2, are taken into account here , The first, upper viewing angle βO results from an orientation of the first viewing line 22 and the reference line 20 relative to each other intersecting in the pickup point AP. In addition, the reference line intersects 20 the second line of observation 24 also in the pickup point AP, being between the reference line 20 and the second viewing line 24 the second, lower viewing angle βU yields. To calculate the distance X, the formula X = B * (│tan (βO) -tan (βU) │) ^{-1 is} used here.

In der schematischen Darstellung aus den 6a, 6b, 6c und 6d ist vorgesehen, dass sich ein zu erfassendes Objekt relativ zu der an dem Aufnahmepunkt AP angeordneten Kamera um einen Rotationswinkel γ um eine hier vertikal in einer Objektebene orientierte, durch das Objekt verlaufende Rotationsachse 30 dreht. Dabei ist das Objekt in allen vier anhand von 6 vorgestellten Fällen für einen Rotationswinkel γ = 0° in einer Ebene angeordnet, durch die eine erste Objektgerade 32 führt. Bei einer Drehung des Objekts um die Rotationsachse 30 entgegen dem Uhrzeigersinn um γ = 10° befindet sich das Objekt in einer zweiten Ebene, durch die hier eine zweite Objektgerade 34 führt (6a und 6b). Bei einer Drehung des Objekts um die Rotationsachse 30 um einen Rotationswinkel γ = 20° entgegen dem Uhrzeigersinn befindet sich das Objekt in einer dritten Ebene, durch die hier eine dritte Objektgerade 36 führt (6a und 6b). Bei einer Drehung des Objekts um die Rotationsachse 30 ausgehend von der ersten Objektgeraden 32 im Uhrzeigersinn, wie anhand der 6c und 6d gezeigt, befindet sich das Objekt nach einer Drehung um den Rotationswinkel γ = –10° in einer vierten Ebene, durch die hier eine vierte Objektgerade 38 führt und bei einer weiteren Drehung um den Rotationswinkel γ = 20° in einer fünften Ebene, durch die hier eine fünfte Objektgerade 40 führt. In the schematic representation of the 6a . 6b . 6c and 6d it is provided that an object to be detected relative to the arranged on the pickup point AP camera by a rotation angle γ to a vertically oriented here in an object plane, extending through the object axis of rotation 30 rotates. The object in all four is based on 6 for a rotation angle γ = 0 ° arranged in a plane through which a first object line 32 leads. When the object rotates about the axis of rotation 30 counterclockwise by γ = 10 °, the object is in a second plane, through which here a second object line 34 leads ( 6a and 6b ). When the object rotates about the axis of rotation 30 by a rotation angle γ = 20 ° counterclockwise, the object is in a third plane, through which here a third object line 36 leads ( 6a and 6b ). When the object rotates about the axis of rotation 30 starting from the first object line 32 clockwise, as based on the 6c and 6d is shown, the object is after a rotation about the rotation angle γ = -10 ° in a fourth plane, through which here a fourth object line 38 leads and in a further rotation about the rotation angle γ = 20 ° in a fifth plane, through which here a fifth object line 40 leads.

Außerdem ist das Objekt von der Kamera aus unterschiedlichen Aufnahmepunkten zu betrachten. Hinsichtlich einer ersten vorgesehenen Position des Aufnahmepunkts ist die Kamera entlang einer ersten Bezugsgeraden 42, für die ein Beobachtungswinkel α = 0° gilt, angeordnet. Bei einer Drehung der Kamera relativ zu dem Objekt entgegen dem Uhrzeigersinn ist die Kamera um einen Beobachtungswinkel α = –10° entlang einer zweiten Bezugsgeraden 44 und bei einer weiteren Drehung entgegen dem Uhrzeigersinn um einen Beobachtungswinkel α = –20° entlang einer dritten Bezugsgeraden 46 angeordnet, was in den 6a und 6d angedeutet ist. Weiterhin ist es möglich, die Kamera ausgehend von dem Beobachtungswinkel α = 0° auch im Uhrzeigersinn relativ zu dem Objekt zu drehen, wobei die Kamera bei einer Drehung um einen Beobachtungswinkel α = 10° entlang einer vierten Bezugsgeraden 48 und bei einer weiteren Drehung um einen Beobachtungswinkel α = 20° entlang einer fünften Bezugsgeraden 50 angeordnet ist, was in den 6b und 6c angedeutet ist. In addition, the object is to be viewed by the camera from different recording points. With respect to a first intended position of the pickup point, the camera is along a first reference line 42 for which an observation angle α = 0 ° applies. Upon rotation of the camera relative to the object in the counterclockwise direction, the camera is at an observation angle α = -10 ° along a second reference line 44 and in a further counterclockwise rotation by an observation angle α = -20 ° along a third reference line 46 arranged, what in the 6a and 6d is indicated. Furthermore, it is possible to rotate the camera from the observation angle α = 0 ° also in a clockwise direction relative to the object, wherein the camera rotates by an observation angle α = 10 ° along a fourth reference straight line 48 and in a further rotation about an observation angle α = 20 ° along a fifth reference line 50 what is arranged in the 6b and 6c is indicated.

Weiterhin ist vorgesehen, dass eine sichtbare Breite B und eine sichtbare Höhe H des Objekts bekannt sind. Auf Grundlage dessen gilt für den Rotationswinkel γ laut 6a: γ = arccos(B/H) + │α│, im Fall von 6b: γ = arccos(B/H) – │α│, im Fall von 6c: γ = –arccos(B/H) + │α│, und im Fall von Formel 6d: γ = –arccos(B/H) – │α│. Furthermore, it is provided that a visible width B and a visible height H of the object are known. On the basis of this, the angle of rotation γ is loud 6a : γ = arccos (B / H) + │α│, in case of 6b : γ = arccos (B / H) - │α│, in case of 6c : γ = -arccos (B / H) + │α│, and in the case of formula 6d: γ = -arccos (B / H) - │α│.

Insgesamt zeigen die 6a, 6b, 6c und 6d somit eine Darstellung unterschiedlicher Kombinationen von Rotationswinkeln γ des Objekts unter Variation des Beobachtungswinkels α der Kamera. Dabei wird das sichtbare Verhältnis aus Breite und Höhe, d. h. B/H des Bilds des Objekts in der Kamera durch zwei Rotationsrichtungen entweder im oder entgegen dem Uhrzeigersinn beeinflusst. Hinsichtlich des Beobachtungswinkels α wird berücksichtigt, dass das Objekt unter unterschiedlichen Beobachtungswinkeln α relativ zu einer Bildebene der Kamera steht. Overall, the show 6a . 6b . 6c and 6d Thus, a representation of different combinations of rotation angles γ of the object under variation of the observation angle α of the camera. The visible ratio of width and height, ie B / H, of the image of the object in the camera is influenced by two directions of rotation either clockwise or counterclockwise. With regard to the observation angle α, it is considered that the object is at different observation angles α relative to an image plane of the camera.

In den 7a und 7b ist jeweils eine Ausführungsform einer Bildebene 60 gezeigt, auf bzw. in der ein Bild 120 des zu erfassenden Objekts 20 abgebildet ist. Diese Bildebene 60 umfasst eine Vielzahl von Bildpunkten bzw. Pixeln, die hier als Quadrate innerhalb der Bildebene 60 angeordnet sind. Durch eine derartige Aufteilung der Bildebene 60 weist diese eine Rasterung auf. Dabei sind die Bildpunkte in einer horizontalen Richtung entlang von Bildzeilen nebeneinander und in einer vertikalen Richtung entlang von Bildspalten untereinander angeordnet. Demnach befindet sich ein Bildpunkt in einer i-ten Bildspalte und einer j-ten Bildzeile. Weiterhin ist einem Bildpunkt einer horizontal orientierten Bildzeile jeweils ein Wert für einen horizontal orientierten Betrachtungswinkel αi zugeordnet, nämlich bspw. 0, α1, α2, α3, α4,... αk sowie –α1, –α2, –α3, –α4,... –αk, wobei die Bildebene 60 in diesem Fall 2k + 1 Bildspalten aufweist. Entsprechend ist einem Bildpunkt jeder vertikal orientierten Bildspalte ein Wert für einen vertikal orientierten Betrachtungswinkel βj mit 0, β1, β2, β3, β4,... –βn sowie –β1, –β2, –β3, –β4,... –βn zugeordnet, so dass die Bildebene 2n + 1 Bildzeilen umfasst. In the 7a and 7b is in each case an embodiment of an image plane 60 shown on or in the picture 120 of the object to be detected 20 is shown. This picture plane 60 includes a plurality of pixels, referred to herein as squares within the image plane 60 are arranged. By such a division of the image plane 60 this has a screening. The pixels are arranged side by side in a horizontal direction along image lines and in a vertical direction along image columns. Accordingly, a pixel is in an i-th image column and a j-th image line. Furthermore, a pixel of a horizontally oriented image line is assigned a value for a horizontally oriented viewing angle αi, namely, for example, 0, α1, α2, α3, α4,... Αk and -α1, -α2, -α3, -α4 ,. .. -αk, where the image plane 60 in this case has 2k + 1 image columns. Similarly, one pixel of each vertically oriented image column is a value for a vertically oriented viewing angle βj with 0, β1, β2, β3, β4, ... -βn and -β1, -β2, -β3, -β4, ... -βn so that the image plane comprises 2n + 1 picture lines.

Innerhalb der Bildebene 60 ist ein erster Objektpunkt POL (oben links) in einem ersten Bildpunkt, ein zweiter Objektpunkt POR (oben rechts) in einem zweiten Bildpunkt, ein dritter Objektpunkt PUR (unten rechts) in einem dritten Bildpunkt und ein vierter Objektpunkt PUL (unten links) in einem vierten Bildpunkt als Bild 120 des Objekts 20 abgebildet. Im Fall von 7a ist hier vorgesehen, dass das quadratische Objekt durch die Kamera frontal von vorne erfasst wird, so dass eine von der Kamera entlang einer Bildzeile zu erfassenden Breite einer entlang einer Bildspalte zu erfassenden Höhe H des Objekts entspricht, so dass B/H = 1 gilt. Bei der Darstellung aus 7b ist die entlang einer Bildzeile zu erfassende Breite B des Objekts kürzer als die entlang einer Bildspalte zu erfassende Höhe H des Objekts. Somit gilt für 7b B/H < 1. Außerdem ist in 7b angedeutet, dass das quadratische Objekt gemäß der Perspektive aus 7b um eine vertikal orientierte Rotationsachse des Objekts gedreht ist. Within the picture plane 60 is a first object point POL (top left) in a first pixel, a second object point POR (top right) in a second pixel, a third object point PUR (bottom right) in a third pixel and a fourth object point PUL (bottom left) in one fourth pixel as a picture 120 of the object 20 displayed. In case of 7a It is here provided that the square object is detected frontally by the camera from the front, so that a width to be detected by the camera along a picture line corresponds to a height H of the object to be detected along an image column, so that B / H = 1. In the presentation off 7b For example, the width B of the object to be detected along an image line is shorter than the height H of the object to be detected along an image column. Thus applies to 7b B / H <1. Also, in 7b indicated that the square object according to the perspective 7b is rotated about a vertically oriented axis of rotation of the object.

Weiterhin wird hier für jeden Bildpunkt der Bildebene oder einer entsprechenden Matrix eine Information zu einem Betrachtungswinkel ausgelesen, wobei jedem Bildpunkt ein Paar aus relativen Betrachtungswinkeln αi, βj zugeordnet wird. Ferner kann für jeden Bildpunkt eine linearisierte Information zu einem Betrachtungswinkel bereitgestellt und/oder berechnet werden. Eine Bestimmung des Abstands X zwischen der Kamera und dem Objekt wird hier aus der Höhe H des Objekts in Verbindung mit einem vertikal orientierten Betrachtungswinkel βj in Richtung der Bildzeilen durchgeführt. Eine alternative oder ergänzende Bestimmung des Abstands X aus der Breite B wird dabei in Verbindung mit dem horizontal orientierten Betrachtungswinkel αi in Richtung der Bildzeilen durchgeführt. Eine mögliche Rotation (7b) wird aus dem von der Kamera erfassten Verhältnis zwischen Breite B und Höhe H, d. h. B/H, ermittelt. Unter Berücksichtigung der vorliegenden Rotation kann ein Messfehler bei der Bestimmung des Abstands X zwischen der Kamera und dem Objekt, üblicherweise zwischen dem Aufnahmepunkt und dem Bezugspunkt, über eine sich bspw. variierende Breite B im Gegensatz zu einer unveränderten Höhe H durchgeführt werden. Furthermore, information about a viewing angle is read out here for each pixel of the image plane or a corresponding matrix, wherein each pixel is assigned a pair of relative viewing angles αi, βj. Furthermore, linearized information about a viewing angle can be provided and / or calculated for each pixel. A determination of the distance X between the camera and the object is here carried out from the height H of the object in conjunction with a vertically oriented viewing angle βj in the direction of the picture lines. An alternative or additional determination of the distance X from the width B is carried out in connection with the horizontally oriented viewing angle αi in the direction of the image lines. One possible rotation ( 7b ) is determined from the ratio between width B and height H, ie B / H, detected by the camera. Taking into account the present rotation, a measurement error in the determination of the distance X between the camera and the object, usually between the pick-up point and the reference point, over a, for example, varying width B in contrast to an unchanged height H can be performed.

8 zeigt in schematischer Darstellung ein Beispiel für ein zu erfassendes, in einer Objektebene angeordnetes Objekt 80 und eine Ausführungsform einer in einem Aufnahmepunkt angeordneten Kamera 82, die als Komponente der Ausführungsform des erfindungsgemäßen Systems 84 ausgebildet ist. Dieses System 84 umfasst zudem eine Recheneinheit 86 zum Verarbeiten von Bildern, die die Kamera 82 von dem Objekt 80 aufnimmt und/oder aufgenommen hat. Die Recheneinheit 86 umfasst zudem einen Speicher 88, in dem u. a. eine Datenbank abgelegt ist, die Informationen zu charakteristischen Merkmalen von bekannten Objekten aufweist, die bezüglich ihrer Abmessungen, d. h. bezüglich ihrer Breite B und ihrer Höhe H, aber auch hinsichtlich einer Musterung normiert sind. 8th shows a schematic representation of an example of an object to be detected, arranged in an object plane 80 and an embodiment of a camera arranged in a pickup point 82 as a component of the embodiment of the system according to the invention 84 is trained. This system 84 also includes a computing unit 86 to process images that the camera 82 from the object 80 receives and / or recorded. The arithmetic unit 86 also includes a memory 88 , in which, inter alia, a database is stored, which has information on characteristic features of known objects, which are normalized in terms of their dimensions, ie with respect to their width B and their height H, but also with respect to a pattern.

Die hier gezeigte Ausführungsform des Systems 84 ist in einem Kraftfahrzeug 90 angeordnet, das sich bei einer Fahrt relativ zu dem Objekt 80 bewegt. The embodiment of the system shown here 84 is in a motor vehicle 90 arranged, resulting in a ride relative to the object 80 emotional.

Bei Durchführung der Ausführungsform des Verfahrens mit dem hier gezeigten System 84 wird das Objekt 80 von der Kamera 82 aufgenommen und ein Bild 120 dieses Objekts 80 mit den charakteristischen Merkmalen bekannter Objekte aus der Datenbank verglichen, wobei das Objekt 80 identifiziert wird. Hierzu wird in der anhand von 7 vorgestellten Bildebene 60 für das hier gerasterte Bild 120 der Kamera ein Helligkeitsverlauf ausgewertet. Das Objekt 80 wird weiterhin durch Zuordnung und Auswertung der relevanten Objektpunkte des in der Bildebene 60 ausgebildeten Bilds 120 detektiert. When carrying out the embodiment of the method with the system shown here 84 becomes the object 80 from the camera 82 taken and a picture 120 this object 80 compared with the characteristic features of known objects from the database, wherein the object 80 is identified. For this purpose, in the basis of 7 featured image plane 60 for the screened image here 120 the camera evaluated a brightness gradient. The object 80 will continue by assigning and evaluating the relevant object points of the image plane 60 trained picture 120 detected.

Bei einer ersten Variante des Verfahrens werden Informationen zu horizontal orientierten Betrachtungswinkeln αi entlang der Bildzeilen und zu vertikal orientierten Betrachtungswinkeln βj entlang der Bildspalten ausgelesen. Dabei wird alternativ oder ergänzend durch Berechnung des linearisierten Tangens für jeden Bildpunkt ein Paar an Betrachtungswinkeln αi, βj berechnet. Die Entfernung bzw. der Abstand X zwischen der Kamera 82 und dem Objekt 80 wird entweder aus der abgebildeten Höhe H in Verbindung mit einem vertikal orientierten Betrachtungswinkel βj und/oder aus der abgebildeten Breite B in Verbindung mit einem horizontal orientierten Betrachtungswinkel αi berechnet. In a first variant of the method, information on horizontally oriented viewing angles .alpha..sub.i is read out along the image lines and to vertically oriented viewing angles .beta.j along the image columns. In this case, alternatively or additionally, a pair of viewing angles αi, βj is calculated for each pixel by calculating the linearized tangent. The distance or distance X between the camera 82 and the object 80 is calculated either from the imaged height H in conjunction with a vertically oriented viewing angle βj and / or from the imaged width B in conjunction with a horizontally oriented viewing angle αi.

Weiterhin wird die von der Kamera erfasste Höhe H mit der von der Kamera erfassten Breite B des Objekts abgeglichen. Falls das Objekt 80 rotiert, können zwei mögliche Rotationsrichtungen entweder im Uhrzeigersinn oder entgegen dem Uhrzeigersinn berechnet werden. Dabei kann die Berechnung des Abstandes X des rotierenden Objekts 80 zu der Kamera 82 aus der abgebildeten Höhe H auch in Verbindung mit dem horizontal orientierten Winkel αi berechnet werden. Ein möglicher Messfehler bei der Bestimmung des Abstands X zwischen dem Objekt 80 und der Kamera 82 kann im Fall eines quadratischen Objekts 80 aufgrund von unterschiedlichen Werten für die erfasste Breite B sowie die erfasste Höhe H des Objekts 80 bestimmt werden. Furthermore, the height H detected by the camera is matched with the width B of the object detected by the camera. If the object 80 rotates, two possible directions of rotation can be calculated either clockwise or counterclockwise. In this case, the calculation of the distance X of the rotating object 80 to the camera 82 from the illustrated height H also be calculated in conjunction with the horizontally oriented angle αi. A possible measurement error in determining the distance X between the object 80 and the camera 82 can in the case of a square object 80 due to different values for the detected width B and the detected height H of the object 80 be determined.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2012/0093372 A1 [0003]
DE 60215718 T2 [0004]
US 7392155 B2 [0005]
US 8301326 B2 [0006]

Claims

Method for detecting an object ( 2 . 18 . 80 ) with a camera ( 82 ), which is arranged at a pick-up point (AP), where the object ( 2 . 18 . 80 ) and identified for the identified object ( 2 . 18 . 80 ) at least one known, object-specific distance A is used, the distance between a first object point (PL, PO) of the object ( 2 . 18 . 80 ) and a second object point (PR, PU) of the object ( 2 . 18 . 80 ), in which an object line is defined on which the two object points (PL, PR, PO, PU) of the object ( 2 . 18 . 80 ) are arranged, in which a reference point (BP) on the object line ( 21 ), where a reference line ( 20 ) by the reference point (BP) and the pickup point (AP) the object line ( 21 ) perpendicularly, wherein the reference point (BP) and the pickup point (AP) to each other a distance X, in which a first viewing angle ω1 between the reference line ( 20 ) and a first viewing line ( 22 ) passing through the first object point (PL, PO) and the pickup point (AP), at which a second viewing angle ω2 between the reference line ( 20 ) and a second viewing line ( 24 ), which passes through the second object point (PR, PU) and the pickup point (AP), and in which the distance X = A * (│tan (ω1) -tan (ω2) │) ^{-1 is} calculated.

Method according to claim 1, wherein as the at least one known distance A, a width B of the object ( 2 . 18 . 80 ), which is a distance between a first, left object point (PL) and a second, right object point (PR) of the object ( 2 . 18 . 80 ), in which a first, horizontally oriented viewing angle α L between the reference line ( 20 ) and a first, horizontally oriented viewing line ( 22 ) passing through the first, left object point (PL) and the pickup point (AP), at which a second horizontally oriented viewing angle αR between the reference line ( 20 ) and a second, horizontally oriented viewing line ( 24 ) which passes through the second right object point (PR) and the pickup point (AP), and in which the distance X = B * (│tan (αL) -tan (αR) │) ^{-1 is} calculated.

Method according to Claim 1 or 2, in which, as the at least one known distance A, a height H of the object ( 2 . 18 . 80 ), which is a distance between a first, upper object point (PO) and a second, lower object point (PU) of the object ( 2 . 18 . 80 ), in which a first, vertically oriented viewing angle β0 between the reference line ( 20 ) and a first, vertically oriented viewing line ( 22 . 24 ) passing through the first, upper object point (PO) and the pickup point (AP), at which a second, vertically oriented viewing angle βU between the reference line ( 20 ) and a second, vertically oriented viewing line ( 22 . 24 ), which passes through the second, lower object point (PU) and the pickup point (AP), and in which the distance X = H * (│tan (βO) - tan (βU) │) ^{-1 is} calculated.

Method according to one of the preceding claims, in which the object to be detected ( 2 . 18 . 80 ) is compared and identified with known objects.

The method of claim 4, wherein it is provided that each of the known objects is normalized, wherein the at least one object-specific distance A, the distance between the first object point (PL, PO) and the second object point (PR, PU) of the respective known Object corresponds, is known.

Method according to one of the preceding claims, in which edge points are used as object points (PL, PR, PO, PU) which are located at a boundary of the object ( 2 . 18 . 80 ) are arranged.

Method according to Claim 6, in which edge points are used as object points (PL, PR, PO, PU) which are located at two outer edges of the object (PL, PR, PO, PU). 2 . 18 . 80 ) are arranged.

Method according to one of the preceding claims, in which a first pair of object points (PO, PU) which pass over a first line ( 12 ) and a second pair of object points (PL, PR) which are connected via a second line ( 14 ) are detected, both lines ( 12 . 14 ) are arranged at an angle to each other, wherein the first line ( 12 ) a first length and the second line ( 14 ) has a second length, wherein the two lengths of the camera ( 82 ), wherein a time course of a ratio of the lengths of the two lines ( 12 . 14 ) is detected, wherein a movement of the object ( 2 . 18 . 80 ) relative to the camera ( 82 ) is detected when the ratio of the two lengths changes over time.

Method according to Claim 8, in which the two lines ( 12 . 14 ) are arranged at an angle of 90 ° to each other, wherein a rotation of the object ( 2 . 18 . 80 ) is detected when the ratio of the two lengths changes.

Method according to one of the preceding claims, which is connected to a motor vehicle ( 90 ) arranged camera ( 82 ) is carried out.

Method according to one of the preceding claims, in which it is provided that the capturing object ( 2 . 18 . 80 ) is designed as a road sign.

System for detecting an object ( 2 , 18 80) with a camera ( 82 ) located at a pick-up point (AP) where the system ( 84 ) a computing unit ( 86 ), which is adapted to the camera ( 82 ) detected object ( 2 . 18 . 80 ) and for the identified object ( 2 . 18 . 80 ) to use at least one known, object-specific distance A, the distance between a first object point (PL, PO) of the object ( 2 . 18 . 80 ) and a second object point (PR, PU) of the object ( 2 . 18 . 80 ), wherein the arithmetic unit ( 86 ) is adapted to an object line ( 21 ) on which the two object points (PL, PR, PO, PU) of the object ( 2 . 18 . 80 ) and a reference point (BP) on the object line ( 21 ), whereby a reference line ( 20 ) perpendicularly intersects the object line through the reference point (BP) and the pickup point (AP), the reference point (BP) and the pickup point (AP) being at a distance X from each other, the arithmetic unit ( 86 ) is adapted to a first viewing angle ω1 between the reference line ( 20 ) and a first viewing line ( 22 ) passing through the first object point (PL, PO) and the pickup point (AP) and a second viewing angle ω2 between the reference line (FIG. 20 ) and a second viewing line ( 24 ), which passes through the second object point (PR, PU) and the pickup point (AP), and wherein the arithmetic unit is adapted to determine the distance X = A * (│tan (ω1) -tan (ω2) │) ^-1 to calculate.

System according to claim 12, comprising the camera ( 82 ), which is used to take at least one image ( 120 ) of the object ( 2 . 18 . 80 ) is formed.

System according to Claim 12 or 13, in which the arithmetic unit ( 86 ) is adapted from the camera ( 82 ) captured information of the object to be detected ( 2 . 18 . 80 ) with information from known objects stored in a database and to compare the object to be detected ( 2 . 18 . 80 ) to identify.

A system according to any one of claims 12 to 14, wherein the camera is an image plane ( 60 ) on which the object ( 2 . 18 . 80 ), the image plane ( 60 ) has a matrix of pixels, wherein each pixel is assigned a value for at least one viewing angle, and wherein an object point (PL, PR, PO, PU) is assigned to a pixel.

A system according to any one of claims 12 to 15, adapted to carry out a method according to any one of claims 1 to 11.