DE102021208144A1

DE102021208144A1 - Method for self-motion estimation and position determination of a vehicle

Info

Publication number: DE102021208144A1
Application number: DE102021208144.4A
Authority: DE
Inventors: Holger Janssen
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2023-02-02

Abstract

Die Erfindung betrifft ein Verfahren zur Eigenbewegungsschätzung eines Fahrzeugs (2) in Bezug auf eine Umgebung des Fahrzeugs, wobei das Fahrzeug (2) eine Innenraum-kamera (10; 20) umfasst, deren Sichtfeld (12; 22) in den Innenraum einer Fahrgastzelle des Fahrzeugs gerichtet ist, umfassend Bestimmen (100) wenigstens eines Sichtfeld-Ausschnitts (141, 142, 143, 144, 145; 241, 242, 243), in dem die Innenraumkamera einen Bereich in der Umgebung des Fahrzeugs erfasst; Erfassen (110) zeitlich aufeinanderfolgender Bilder mittels der Innenraumkamera (10; 20); Bilden (120) wenigstens einer Folge von Bildausschnitten, wobei ein Bildausschnitt jeweils einen Bereich eines der Bilder einschließt, der dem wenigstens einen Sichtfeld-Ausschnitt (141, 142, 143, 144, 145; 241, 242, 243) entspricht; Erkennen (130) eines oder mehrerer Objekte (4) in der Umgebung des Fahrzeugs (2) in der wenigstens einen Folge von Bildausschnitten und Bestimmen einer oder mehrerer Relativgeschwindigkeiten des Fahrzeugs relativ zu dem einen oder den mehreren Objekten (4) auf Grundlage der Relativbewegung des einen oder der mehreren Objekte in der wenigstens einen Folge von Bildausschnitten; Bestimmen (140) einer oder mehrerer Geschwindigkeitskomponenten des Fahrzeugs (4) relativ zur Umgebung basierend auf der einen oder den mehreren Relativgeschwindigkeiten. Die Erfindung betrifft weiterhin ein Verfahren zur Positionsbestimmung eines Fahrzeugs.The invention relates to a method for estimating the movement of a vehicle (2) in relation to the surroundings of the vehicle, the vehicle (2) comprising an interior camera (10; 20) whose field of view (12; 22) extends into the interior of a passenger cell of the vehicle Vehicle is directed, comprising determining (100) at least one field of view section (141, 142, 143, 144, 145; 241, 242, 243), in which the interior camera detects an area in the vicinity of the vehicle; Acquiring (110) temporally consecutive images by means of the interior camera (10; 20); Forming (120) at least one sequence of image sections, each image section enclosing a region of one of the images that corresponds to the at least one field of view section (141, 142, 143, 144, 145; 241, 242, 243); Recognizing (130) one or more objects (4) in the area surrounding the vehicle (2) in the at least one sequence of image sections and determining one or more relative speeds of the vehicle relative to the one or more objects (4) on the basis of the relative movement of the one or more objects in the at least one sequence of image sections; Determining (140) one or more speed components of the vehicle (4) relative to the environment based on the one or more relative speeds. The invention also relates to a method for determining the position of a vehicle.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Eigenbewegungsschätzung eines Fahrzeugs in Bezug auf eine Umgebung des Fahrzeugs, ein Verfahren zur Positionsbestimmung eines Fahrzeugs sowie eine Recheneinheit und ein Computerprogramm zu deren Durchführung.The present invention relates to a method for estimating a vehicle's own movement in relation to surroundings of the vehicle, a method for determining the position of a vehicle, and a computing unit and a computer program for carrying it out.

Hintergrund der ErfindungBackground of the Invention

Odometrie beschäftigt sich mit dem Problem, die Position und die Orientierung eines mobilen Körpers, etwa eines Fahrzeugs und/oder Roboters, zu bestimmen. Dazu kann der Bewegungszustand des Körpers bestimmt werden, z.B. eine Geschwindigkeit und/oder eine Winkelgeschwindigkeit, denen Unterschiede zeitlich aufeinanderfolgender Positionen bzw. Orientierungen des Körpers entsprechen. Zur Bestimmung des Bewegungszustands können inertiale Messeinrichtungen, d.h. Beschleunigungssensoren und Gyroskope, eingesetzt werden, die den Bewegungszustand oder Komponenten davon direkt durch Messung bestimmen.Odometry deals with the problem of determining the position and orientation of a mobile body, such as a vehicle and/or robot. For this purpose, the state of motion of the body can be determined, e.g. a speed and/or an angular speed, to which differences in temporally consecutive positions or orientations of the body correspond. Inertial measuring devices, i.e. acceleration sensors and gyroscopes, can be used to determine the state of motion, which determine the state of motion or components thereof directly by measurement.

Offenbarung der ErfindungDisclosure of Invention

Erfindungsgemäß werden ein Verfahren zur Eigenbewegungsschätzung eines Fahrzeugs in Bezug auf eine Umgebung des Fahrzeugs, ein Verfahren zur Positionsbestimmung eines Fahrzeugs sowie eine Recheneinheit und ein Computerprogramm zu deren Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.According to the invention, a method for estimating the movement of a vehicle in relation to the surroundings of the vehicle, a method for determining the position of a vehicle, and a computing unit and a computer program for carrying them out with the features of the independent patent claims are proposed. Advantageous configurations are the subject of the dependent claims and the following description.

Das bereitgestellte Verfahren ermöglicht es, die Eigenbewegung des Fahrzeugs, d.h. dessen Bewegung relativ zur Umgebung, zu schätzen bzw. zu bestimmen, ohne dass dafür eigens nach Außen gerichtete Sensoren (etwa Radar- oder Lidarsensoren) oder Kameras an der Außenseite des Fahrzeugs vorgesehen sind. Mittels dieser Eigenbewegungsschätzung lässt sich insbesondere die Positionsbestimmung des Fahrzeugs verbessern, z.B. wenn nur ungenaue Positionsdaten eines Positionsbestimmungssystems vorliegen.The method provided makes it possible to estimate or determine the vehicle's own movement, i.e. its movement relative to the environment, without the need for externally directed sensors (e.g. radar or lidar sensors) or cameras on the outside of the vehicle. This estimation of one's own motion can be used in particular to improve the position determination of the vehicle, e.g. if only inaccurate position data from a position determination system is available.

Das erfindungsgemäße Verfahren betrifft die Eigenbewegungsschätzung eines Fahrzeugs in Bezug auf eine Umgebung des Fahrzeugs, wobei das Fahrzeug eine Innenraumkamera umfasst, deren Sichtfeld in den Innenraum einer Fahrgastzelle des Fahrzeugs gerichtet ist.The method according to the invention relates to the estimation of a vehicle's own movement in relation to surroundings of the vehicle, the vehicle comprising an interior camera whose field of view is directed into the interior of a passenger compartment of the vehicle.

Sogenannte „Innenraumkameras“ sind in vielen neueren Fahrzeugen vorgesehen oder können nachträglich eingebaut werden. Diese dienen primär der Erfassung des Fahrerzustands (Kopfposition, Körperposition, Blickrichtung, Augenlidschluss, (Hand-)Gesten) und/oder der Detektion weiterer Personen oder Gepäck im Innenraum. Auch zur Erkennung von Tätigkeiten (Rauchen, Trinken, usw.) und Interaktionen bis hin zur Detektion von Gewaltausübungen können Innenraumkameras eingesetzt werden. Auch wenn Innenraumkameras auf den Innenraum ausgerichtet sind, können diese durch Fenster auch Bereich außerhalb des Fahrzeugs, d.h. im Außenraum des Fahrzeugs, erfassen.So-called "interior cameras" are provided in many newer vehicles or can be retrofitted. These are primarily used to record the driver's condition (head position, body position, line of sight, eyelid closure, (hand) gestures) and/or to detect other people or luggage in the interior. Interior cameras can also be used to detect activities (smoking, drinking, etc.) and interactions, including the use of violence. Even if interior cameras are aimed at the interior, they can also capture the area outside the vehicle through windows, i.e. outside the vehicle.

Erfindungsgemäß umfasst das Verfahren ein Bestimmen wenigstens eines Sichtfeld-Ausschnitts, in dem die Innenraumkamera einen Bereich in der Umgebung des Fahrzeugs erfasst; ein Erfassen zeitlich aufeinanderfolgender Bilder mittels der Innenraumkamera; Bilden wenigstens einer Folge von Bildausschnitten, wobei ein Bildausschnitt jeweils einen Bereich eines der Bilder einschließt, der dem wenigstens einen Sichtfeld-Ausschnitt entspricht; ein Erkennen eines oder mehrerer Objekte in der Umgebung des Fahrzeugs in der wenigstens einen Folge von Bildausschnitten und ein Bestimmen einer oder mehrerer Relativgeschwindigkeiten des Fahrzeugs relativ zu dem einen oder den mehreren Objekten auf Grundlage der Relativbewegung des einen oder der mehreren Objekte in der wenigstens einen Folge von Bildausschnitten; und ein Bestimmen einer oder mehrerer Geschwindigkeitskomponenten des Fahrzeugs relativ zur Umgebung basierend auf der einen oder den mehreren Relativgeschwindigkeiten.According to the invention, the method includes determining at least one field of view section in which the interior camera captures an area in the area surrounding the vehicle; capturing chronologically consecutive images by means of the interior camera; Forming at least one sequence of image sections, each image section including an area of one of the images that corresponds to the at least one field of view section; detecting one or more objects in the area surrounding the vehicle in the at least one sequence of image sections and determining one or more relative speeds of the vehicle relative to the one or more objects on the basis of the relative movement of the one or more objects in the at least one sequence of image sections; and determining one or more velocity components of the vehicle relative to the environment based on the one or more relative velocities.

Der Begriff „Sichtfeld-Ausschnitt“ bezeichnet einen Teilbereich innerhalb des Sichtfelds der Innenraumkamera. Bei einem Sichtfeld-Ausschnitt handelt es sich um einen Teilbereich des Sichtfelds der Innenraumkamera, in dem der Außenraum des Fahrzeugs, d.h. die Umgebung bzw. ein Bereich der Umgebung, für die Innenraumkamera sichtbar ist und entsprechend von der Innenraumkamera erfasst wird. Insbesondere entsprechen diese Sichtfeld-Ausschnitte Fenstern des Fahrzeugs.The term "field of view section" refers to a section within the field of view of the interior camera. A section of the field of view is a part of the field of view of the interior camera, in which the exterior of the vehicle, i.e. the environment or an area of the environment, is visible to the interior camera and is recorded accordingly by the interior camera. In particular, these field of view sections correspond to windows of the vehicle.

Das gesamte Sichtfeld der Innenraumkamera kann mehrere Sichtfeld-Ausschnitte umfassen, insbesondere in Abhängigkeit von der Kameraposition, der Kameraorientierung und den Fenstern. Die Summe der Raumwinkelbereiche der Sichtfeld-Ausschnitte ist typischerweise nur ein Teil, als Raumwinkel-Anteil bezeichnet, des gesamten Raumwinkelbereichs, der dem Sichtfeld der Innenraumkamera entspricht bzw. der von der Innenraumkamera erfasst wird. Der Raumwinkel-Anteil kann kleiner 50 % oder kleiner 25 % sein. Vorzugsweise kann der Raumwinkel-Anteil im Bereich von 1 % bis 50 %, weiter bevorzugt im Bereich von 2 % bis 25 %, noch weiter bevorzugt im Bereich von 5 % bis 10 %, liegen.The entire field of view of the interior camera can include a number of field of view sections, in particular depending on the camera position, the camera orientation and the windows. The sum of the solid angle ranges of the field of view excerpts is typically only a part, referred to as the solid angle portion, of the entire solid angle range that corresponds to the field of view of the interior camera or that is captured by the interior camera. The solid angle component can be less than 50% or less than 25%. The solid angle fraction can preferably be in the range from 1% to 50%, more preferably in the range from 2% to 25%, even more preferably in the range from 5% to 10%.

Die „Bildausschnitte“ sind diejenigen Bereiche der erfassten Bilder, die den Sichtfeld-Ausschnitten entsprechen. Die Bildausschnitte sind also Teilbilder, in denen Bereiche der Umgebung dargestellt sind bzw. erfasst sind.The "image sections" are those areas of the captured images that correspond to the field of view sections. The image sections are therefore sub-images in which areas of the environment are shown or recorded.

Erfasste Objekte können über mehrere Bilder bzw. über mehrere Bildausschnitte verfolgt werden, so dass sich bei bekanntem zeitlichem Abstand der Bilder und bekannter relativer Position der Objekte zum Fahrzeug jeweils Relativgeschwindigkeiten der Objekte zum Fahrzeug berechnen lassen. Die relative Position eines Objekts zum Fahrzeug ergibt sich aus dem Winkel (genauer Raumwinkelbereich) an dem sich das Objekt innerhalb des Sichtfelds der Innenraumkamera befindet (und der gemessen wird) zusammen mit der bekannten Kameraposition der Innenraumkamera im Fahrzeug und der bekannten Kameraorientierung der Innenraumkamera relativ zum Fahrzeug. Der gemessene Fluss auf vorzugsweise statischen Objekten ist eine sehr gute Messgröße, die zur Berechnung der Eigenbewegung des Fahrzeuges verwendet werden kann. Zusammen mit der intrinsischen und extrinsischen Kalibrierung der Kamera und Objektannahmen (beispielsweise der Fahrbahn) kann daraus die Bewegung des eigenen Fahrzeuges bestimmt werden.Detected objects can be tracked over a number of images or over a number of image sections, so that when the time interval between the images and the relative position of the objects relative to the vehicle are known, relative speeds of the objects relative to the vehicle can be calculated. The relative position of an object to the vehicle results from the angle (precise solid angle range) at which the object is located within the field of view of the interior camera (and which is measured) together with the known camera position of the interior camera in the vehicle and the known camera orientation of the interior camera relative to the Vehicle. The flow measured on preferably static objects is a very good measurement variable that can be used to calculate the vehicle's own movement. Together with the intrinsic and extrinsic calibration of the camera and object assumptions (e.g. the roadway), the movement of one's own vehicle can be determined from this.

Im Allgemeinen werden mehrere Relativgeschwindigkeiten bestimmt, aus denen sich dann in geeigneter Weise eine oder mehrere Geschwindigkeitskomponenten des Fahrzeugs bestimmen lassen. Wobei hier die geometrischen Beziehungen zwischen den Objekten und dem Fahrzeug berücksichtigt werden, mittels derer die Relativgeschwindigkeiten mit den Geschwindigkeitskomponenten in Verbindung stehen.In general, a number of relative speeds are determined, from which one or more speed components of the vehicle can then be determined in a suitable manner. The geometric relationships between the objects and the vehicle are taken into account here, by means of which the relative speeds are linked to the speed components.

Vorzugsweise können auch mehrere Innenraumkameras verwendet werden. Das Verfahren wird dann für jede der Innenraumkameras durchgeführt, wobei verschiedene Innenraumkameras verschiedene Sichtfeld-Ausschnitte aufweisen. Dies kann zu einer höheren Genauigkeit führen.Preferably, several interior cameras can also be used. The method is then carried out for each of the interior cameras, with different interior cameras having different field of view sections. This can lead to higher accuracy.

Vorzugsweise wird beim Erkennen des einen oder der mehreren Objekte ein Objekterkennungs-Algorithmus verwendet, der bevorzugt dazu eingerichtet ist, erkannte Objekte zu klassifizieren, wobei jedem erkannten Objekt eine Verlässlichkeit basierend auf der Klassifizierung zugewiesen wird. Objekterkennungs-Algorithmen, d.h. Algorithmen, die erkannte Objekte klassifizieren, insbesondere, um welche Objekte es sich handelt, sind dem Fachmann an sich bekannt. Der Begriff Verlässlichkeit bezeichnet hier die Verlässlichkeit dahingehend, ob bzw. inwieweit eine Relativgeschwindigkeit, die sich auf ein Objekt bezieht, zur Eigenbewegungsschätzung geeignet ist. Beispielsweise könnte die Verlässlichkeit eine reelle Zahl im Bereich von 0 bis 1 sein, wobei 0 heißt, dass das Objekt bzw. dessen Relativgeschwindigkeit gar nicht geeignet ist, und 1 heißt, dass das Objekt bzw. dessen Relativgeschwindigkeit sehr gut geeignet ist; dazwischen liegende Zahlen bezeichnen entsprechend eine mehr oder weniger hohe teilweise Verlässlichkeit.When recognizing the one or more objects, an object recognition algorithm is preferably used, which is preferably set up to classify recognized objects, with each recognized object being assigned a reliability based on the classification. Object recognition algorithms, i.e. algorithms that classify recognized objects, in particular which objects are involved, are known per se to a person skilled in the art. The term reliability refers here to the reliability as to whether or to what extent a relative speed that relates to an object is suitable for estimating its own motion. For example, the reliability could be a real number in the range from 0 to 1, where 0 means that the object or its relative speed is not suitable at all, and 1 means that the object or its relative speed is very suitable; numbers in between indicate a more or less high partial reliability.

Bevorzugt ist der Objekterkennungs-Algorithmus dazu eingerichtet, in der Umgebung statische Objekte zu erkennen, und weiter bevorzugt dazu eingerichtet, in der Umgebung potentiell dynamische Objekte zu erkennen. In der Umgebung können statische Objekte z.B. Gebäude, Verkehrszeichen, Ampelanlagen, Bäume, Straßenmarkierungen, Schutzplanken und/oder ähnliches sein. Diese sind besonders geeignet zur Bewegungsabschätzung. In der Umgebung können potentiell (bzw. möglicherweise) dynamische Objekte z.B. Fahrzeuge, Personen und/oder ähnliches sein. Diese können einerseits bezüglich der Umgebung nicht bewegt sein, also statisch sein, oder andererseits bezüglich der Umgebung bewegt sein, also dynamisch sein. Solche potentiell dynamischen Objekte weisen im Allgemeinen eine geringere Verlässlichkeit bei der Geschwindigkeitsschätzung auf, können allerdings insbesondere dann verwendet werden, wenn keine oder wenige statische Objekte sichtbar sind, z.B. wenn die Sicht durch parkende Autos eingeschränkt ist.The object recognition algorithm is preferably set up to recognize static objects in the environment and more preferably set up to recognize potentially dynamic objects in the environment. Static objects in the environment can be e.g. buildings, traffic signs, traffic lights, trees, road markings, crash barriers and/or the like. These are particularly suitable for motion estimation. Potentially (or possibly) dynamic objects, e.g. vehicles, people and/or the like, can be in the environment. These can on the one hand not be moved in relation to the environment, ie be static, or on the other hand be moved in relation to the environment, ie be dynamic. Such potentially dynamic objects generally have a lower reliability when estimating the speed, but can be used in particular when little or no static objects are visible, e.g. when the view is restricted by parked cars.

Vorzugsweise werden zum Bestimmen der einen oder der mehreren Geschwindigkeitskomponenten zusätzlich Messdaten eines Bewegungssensors verwendet. Durch die Kombination mit von den Kameradaten unabhängigen Messdaten von Bewegungssensoren kann die Genauigkeit des Verfahrens erheblich verbessert werden.Preferably, measurement data from a movement sensor are additionally used to determine the one or more speed components. The accuracy of the method can be significantly improved through the combination with measurement data from motion sensors that is independent of the camera data.

Bevorzugt erfolgt das Bestimmen der einen oder der mehreren Geschwindigkeitskomponenten aus der einen oder den mehreren Relativgeschwindigkeiten mittels einer Regression, in der eine oder mehrere geschätzte Relativgeschwindigkeiten als von der einen oder den mehreren Geschwindigkeitskomponenten abhängige Variablen aufgefasst werden. Dabei wird ein Funktional, das von Differenzen der einen oder der mehreren geschätzten Relativgeschwindigkeiten zu den bestimmten einen oder mehreren Relativgeschwindigkeiten abhängig ist, minimiert. Weiter bevorzugt werden geschätzte Messdaten als von der einen oder den mehreren Geschwindigkeitskomponenten abhängige Variablen aufgefasst, wobei das Funktional zusätzlich von Differenzen der geschätzten Messdaten zu den Messdaten abhängig ist. Eine Regression stellt eine vorteilhafte Möglichkeit dar, mehrere Relativgeschwindigkeiten relativ zu mehreren Objekten und gegebenenfalls Messdaten von Bewegungssensoren miteinander zu kombinieren, um daraus die Eigenbewegung bzw. Geschwindigkeitskomponenten abzuschätzen.The one or more speed components are preferably determined from the one or more relative speeds by means of a regression, in which one or more estimated relative speeds are interpreted as variables dependent on the one or more speed components. A functional that is dependent on differences between the one or more estimated relative speeds and the determined one or more relative speeds is thereby minimized. More preferably, estimated measurement data are understood as variables that are dependent on the one or more speed components, with the functional also being dependent on differences between the estimated measurement data and the measurement data. A regression represents an advantageous possibility of combining several relative speeds relative to several objects and possibly measurement data from motion sensors with one another in order to to estimate the proper motion or velocity components.

Vorzugsweise erfolgt im Funktional eine Gewichtung der Differenzen entsprechend einer Verlässlichkeit, die der Objekterkennungs-Algorithmus einem erkannten Objekt zuweist. Ebenso vorzugsweise kann im Funktional eine Gewichtung der Differenzen entsprechend einer Verlässlichkeit der Messdaten erfolgen. Relativgeschwindigkeiten oder Messdaten, die eine hohe Verlässlichkeit aufweisen (etwa statische Objekte), können hierbei stärker gewichtet werden. Bei der Gewichtung einer bestimmten Differenz wird natürlich jeweils diejenige Verlässlichkeit verwendet, die sich auf die in der Differenz verwendeten Daten (Relativgeschwindigkeit bzw. Messdaten) bezieht.Preferably, the differences are weighted in the functional according to a reliability that the object recognition algorithm assigns to a recognized object. Likewise preferably, the differences can be weighted in the functional according to the reliability of the measurement data. Relative speeds or measurement data that are highly reliable (e.g. static objects) can be weighted more heavily. When weighting a specific difference, of course that reliability is used that relates to the data used in the difference (relative speed or measurement data).

Im erfindungsgemäßen Verfahren zur Positionsbestimmung eines Fahrzeugs werden an aufeinanderfolgenden Zeitpunkten Eigenbewegungsschätzungen des Fahrzeugs gemäß einem erfindungsgemäßen Verfahren zur Eigenbewegungsschätzung durchgeführt, und die bestimmten Geschwindigkeitskomponenten werden über die Zeit integriert, um eine Fahrstrecke des Fahrzeugs zu bestimmen. Da die Eigenbewegungsschätzungen im Allgemeinen zu diskreten Zeitpunkten erfolgen, etwa bedingt durch Zeitpunkte, an denen neue Bilder erfasst werden, und durch die benötigte Rechenzeit zur Auswertung einer Folge von Bildausschnitten, ist die Integration über die Zeit hier typischerweise eine Summation. Mit jedem neuen Summanden ergibt sich eine neue Relativposition zwischen dem letzten Zeitpunkt einer Eigenbewegungsschätzung, der dem neuen Summanden entspricht, und dem ersten Zeitpunkt einer Eigenbewegungsschätzung (erster Summand). Insgesamt wird so eine Folge von Relativposition erhalten, die die Fahrstrecke des Fahrzeugs ausgehend vom ersten Zeitpunkt darstellt. Der Begriff Fahrstrecke (bzw. Positionstrajektorie) bezeichnet entsprechend den Weg oder Pfad, den das Fahrzeug zurücklegt bzw. zurückgelegt hat.In the inventive method for determining the position of a vehicle, the vehicle's own motion estimations are carried out at successive points in time according to an inventive method for own motion estimation, and the determined speed components are integrated over time in order to determine a travel route of the vehicle. Since the self-motion estimates are generally made at discrete points in time, for example due to the points in time at which new images are recorded and due to the computing time required to evaluate a sequence of image sections, the integration over time is typically a summation here. With each new addend, a new relative position results between the last point in time of a proper motion estimation, which corresponds to the new addend, and the first point in time of a proper motion estimate (first addend). Overall, a sequence of relative positions is obtained that represents the driving route of the vehicle starting from the first point in time. The term route (or position trajectory) correspondingly designates the route or path that the vehicle covers or has covered.

Bevorzugt werden durch ein Positionsbestimmungssystem, insbesondere ein globales Positionsbestimmungssystem, bestimmte Positionsdaten unter Verwendung der Fahrstrecke korrigiert. Sind Positionsdaten von einem Positionsbestimmungssystem ungenau, z.B. in einer Stadt, wenn Navigationssatelliten wegen Gebäuden nicht sichtbar sind oder es zu Reflexionen des Signals von Navigationssatelliten kommt, können diese mittels der bestimmten Fahrstrecke korrigiert werden, indem, wenn Positionsdaten zu mehreren aufeinanderfolgenden Positionen vorliegen, diese mit der Fahrstrecke abgeglichen werden, so dass diese Positionen möglichst auf der Fahrstrecke liegen. Beispielsweise indem mittels eines Regressionsverfahrens aus den Positionsdaten die wahrscheinlichste Position bestimmt wird, die auf der Fahrstrecke liegt. Das Positionsbestimmungssystem kann z.B. auf Satellitensignalen von GPS, GLONASS, Galileo und/oder Beidou basieren.Certain position data are preferably corrected by a position determination system, in particular a global position determination system, using the route. If position data from a position determination system is inaccurate, e.g. in a city, if navigation satellites are not visible because of buildings or if the signal from navigation satellites is reflected, these can be corrected using the determined route by, if position data for several consecutive positions are available, these with be compared with the route so that these positions are as close as possible to the route. For example, by using a regression method to determine the most likely position on the route from the position data. The positioning system can be based on satellite signals from GPS, GLONASS, Galileo and/or BeiDou, for example.

Bevorzugt wird die Fahrstrecke mit Wegedaten in einer Karte abgeglichen, um eine Position des Fahrzeugs zu bestimmen. Ist die Position ungefähr bekannt, z.B. bis auf wenige 100 m, und liegt für einen Bereich, in dem sich diese Position befindet, eine Karte mit Wegedaten zu Wegen, auf denen sich das Fahrzeug bewegen kann (z.B. Straßen), vor, kann die Fahrstrecke, die eine Folge von Kurven und geraden Streckenanteilen ist, so in Übereinstimmung mit den durch die Wegedaten beschriebenen Wegen gebracht werden, dass sich das Fahrzeug immer auf einem Weg befindet. Für typische Straßenverkehrsnetze in Städten lässt sich dadurch die Position des Fahrzeugs sehr genau bestimmen.The route is preferably compared with route data on a map in order to determine a position of the vehicle. If the position is approximately known, e.g. to within a few 100 m, and if there is a map with route data on routes on which the vehicle can move (e.g. roads) for an area in which this position is located, the route can be calculated , which is a sequence of curves and straight stretches of road, can be brought into agreement with the paths described by the path data so that the vehicle is always on a path. For typical road traffic networks in cities, the position of the vehicle can be determined very precisely.

Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen. Das Steuergerät ist insbesondere eingerichtet, Bilder von der Innenraumkamera und gegebenenfalls von dem Bewegungssensor zu empfangen.A computing unit according to the invention, e.g. a control unit of a motor vehicle, is set up, in particular in terms of programming, to carry out a method according to the invention. In particular, the control device is set up to receive images from the interior camera and possibly from the motion sensor.

Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.The implementation of a method according to the invention in the form of a computer program or computer program product with program code for carrying out all method steps is advantageous because this causes particularly low costs, especially if an executing control unit is also used for other tasks and is therefore available anyway. Suitable data carriers for providing the computer program are, in particular, magnetic, optical and electrical memories, such as hard drives, flash memories, EEPROMs, DVDs, etc. It is also possible to download a program via computer networks (Internet, intranet, etc.).

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.Further advantages and refinements of the invention result from the description and the attached drawing.

Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.The invention is shown schematically in the drawing using exemplary embodiments and is described below with reference to the drawing.

Figurenlistecharacter list

1A , 1B each show schematically the field of view of an interior camera in a motor vehicle with a focus on the front and rear seats;
2 FIG. 12 shows an image captured by an interior camera in a motor vehicle with a focus on the front seats; and
3 FIG. 1 shows a flow chart of the method for estimating a vehicle's own motion and for determining its position according to a preferred embodiment of the invention.

Ausführungsform(en) der Erfindungembodiment(s) of the invention

1A zeigt schematisch anhand einer Draufsicht auf ein Fahrzeug 2 ein Sichtfeld 12 einer Innenraumkamera 10 mit Fokus auf die vorderen Sitze, d.h. das Sichtfeld 10 ist auf den Innenraum bzw. das Innere der Fahrgastzelle gerichtet. Die Innenraumkamera 10 kann z.B. am Armaturenbrett oder neben bzw. im Rückspiegel (Innenspiegel) montiert sein. Das Sichtfeld 10 umfasst mehrere Sichtfeld-Ausschnitte 141, 142, 143, 144, 145, in denen der Außenraum, d.h. die Umgebung des Kraftfahrzeugs 2 von der Innenraumkamera 10 erfasst wird. In diesem Beispiel sind dies Sichtfeld-Ausschnitte 141, 142 durch die vorderen Seitenfenster, Sichtfeld-Ausschnitte 143, 144 durch die hinteren Seitenfenster und ein Sichtfeld-Ausschnitt 145 durch die Heckscheibe. Im Allgemeinen ist denkbar, dass mehr oder andere als die genannten Sichtfeld-Ausschnitte vorhanden sind. Ebenso können genannte Sichtfeld-Ausschnitte nicht vorhanden sein; beispielsweise können die hinteren Seitenfenster durch die Rückenlehnen der Vordersitze verdeckt sein, so dass die Sichtfeld-Ausschnitte 143, 144 nicht vorhanden sind. 1A 1 schematically shows a field of view 12 of an interior camera 10 with a focus on the front seats based on a plan view of a vehicle 2, ie the field of view 10 is directed towards the interior or the interior of the passenger cell. The interior camera 10 can be mounted, for example, on the dashboard or next to or in the rear view mirror (interior mirror). The field of view 10 includes a plurality of field of view sections 141 , 142 , 143 , 144 , 145 in which the exterior, ie the area surrounding the motor vehicle 2 , is captured by the interior camera 10 . In this example, these are field of view sections 141, 142 through the front side windows, field of view sections 143, 144 through the rear side windows and a field of view section 145 through the rear window. In general, it is conceivable that more or other sections of the field of view than those mentioned are present. Likewise, said field of view excerpts may not be available; For example, the rear side windows can be covered by the backrests of the front seats, so that the field of view cutouts 143, 144 are not available.

1B zeigt schematisch anhand einer Draufsicht auf ein Fahrzeug 2 ein Sichtfeld 22 einer Innenraumkamera 20 mit Fokus auf die hinteren Sitze, d.h. das Sichtfeld 20 ist auf den Innenraum bzw. das Innere der Fahrgastzelle gerichtet. Die Innenraumkamera 20 kann z.B. an der B-Säule oder deren oberen Ende montiert sein. Alternativ oder zusätzlich kann eine Innenraumkamera an der anderen Seite des Kraftfahrzeugs mit spiegelbildlichem Sichtfeld vorgesehen sein. Das Sichtfeld 22 umfasst hier drei Sichtfeld-Ausschnitte 241, 242, 243, in denen die Umgebung des Kraftfahrzeugs 2 von der Innenraumkamera 20 erfasst wird. Dies sind die zwei Sichtfeld-Ausschnitte 241, 242 durch das zweigeteilte hintere Seitenfenster und ein Sichtfeld-Ausschnitte 243 durch die Heckscheibe. 1B 1 schematically shows a field of view 22 of an interior camera 20 with a focus on the rear seats based on a plan view of a vehicle 2, ie the field of view 20 is directed towards the interior or the interior of the passenger cell. The interior camera 20 can be mounted, for example, on the B-pillar or its upper end. Alternatively or additionally, an interior camera can be provided on the other side of the motor vehicle with a mirrored field of view. The field of view 22 here includes three field of view sections 241 , 242 , 243 in which the surroundings of the motor vehicle 2 are captured by the interior camera 20 . These are the two field of view sections 241, 242 through the two-part rear side window and one field of view section 243 through the rear window.

Durch die Sichtfeld-Ausschnitte können Objekte 4, die sich in der Umgebung des Fahrzeugs 2 befinden, durch die Innenraumkameras erfasst werden. In einer Folge von Bildern bzw. in entsprechenden Folgen von Bildausschnitten aus diesen Bildern, die durch die Sichtfeld-Ausschnitte definiert sind, kann die Relativgeschwindigkeit zwischen dem Fahrzeug und den Objekten bestimmt werden und daraus die Eigenbewegung des Fahrzeugs, d.h. die Bewegung des Fahrzeugs relativ zur Umgebung, abgeschätzt werden. Ein besonders brauchbares Ergebnis erhält man, wenn die Objekte oder zumindest ausreichende viele Objekte statisch bezüglich der Umgebung sind.Objects 4 that are in the vicinity of vehicle 2 can be detected by the interior cameras through the field of view sections. In a sequence of images or in corresponding sequences of image sections from these images, which are defined by the field of view sections, the relative speed between the vehicle and the objects can be determined and from this the movement of the vehicle, i.e. the movement of the vehicle relative to the environment to be estimated. A particularly useful result is obtained when the objects, or at least a sufficient number of objects, are static with respect to the environment.

Die Sichtfeld-Ausschnitte 141, 142, 143, 144, 241, 242 durch Seitenfenster sind insbesondere geeignet, die Geschwindigkeit des Fahrzeugs in Längsrichtung zu bestimmen. Die Sichtfeld-Ausschnitte 145, 243 durch die Heckscheibe sind insbesondere geeignet, eine Quergeschwindigkeit des Fahrzeugs, etwa bei Kurvenfahrt, zu bestimmen.The field of view sections 141, 142, 143, 144, 241, 242 through side windows are particularly suitable for determining the speed of the vehicle in the longitudinal direction. The field of view sections 145, 243 through the rear window are particularly suitable for determining a transverse speed of the vehicle, for example when cornering.

Um die Sichtfelder und Sichtfeld-Ausschnitte klar erkennbar zu machen, sind diese in den 1A und 1B als durch Bögen begrenzt eingezeichnet. Im Allgemeinen erstrecken sich Sichtfelder und Sichtfeld-Ausschnitte natürlich über Entfernungen bzw. Bereiche, die von der jeweiligen Kameraposition und Kameraorientierung abhängig sind. Insbesondere können auch (entfernte) Objekte erfasst werden, die nicht explizit dargestellt ist.In order to make the fields of view and field of view sections clearly recognizable, these are in the 1A and 1B drawn as bounded by arcs. In general, fields of view and sections of the field of view naturally extend over distances or areas that depend on the respective camera position and camera orientation. In particular, (distant) objects that are not explicitly shown can also be detected.

Innenraumkameras 10, 20 wie in den 1A und 1B skizziert sind in vielen Fahrzeugen vorgesehen, um den Innenraum der Fahrgastzelle zu überwachen, etwa um zu erkennen, welche Sitze besetzt sind, oder um einen Müdigkeitszustand des Fahrers zu erkennen. Es können auch mehrere Innenraumkameras entsprechend den und/oder zusätzlich zu den in den 1A und 1B gezeigten Innenraumkameras gleichzeitig vorgesehen sein.Interior cameras 10, 20 as in the 1A and 1B outlined are provided in many vehicles to monitor the interior of the passenger compartment, for example to identify which seats are occupied or to identify driver fatigue. It can also be several interior cameras according to and / or in addition to the 1A and 1B interior cameras shown be provided simultaneously.

In den 1A und 1B ist außerdem eine bevorzugte Recheneinheit 6 des Fahrzeugs 2 gezeigt, die mit der jeweiligen Kamera 10, 20 zum Datenaustausch verbunden ist. Die Recheneinheit 6 ist dazu eingerichtet, von der jeweiligen Kamera aufgenommene Bilder zu empfangen, um die Bilder zu erfassen. Weiter ist die Recheneinheit 6 dazu eingerichtet, das erfindungsgemäße Verfahren durchzuführen, d.h. die Recheneinheit kann ein Computerprogramm (etwa in einem Speicher der Recheneinheit gespeichert) ausführen, das das Verfahren implementiert. Statt einer im Fahrzeug 2 umfassten Recheneinheit 6 ist auch denkbar, die Bilder bzw. Bilddaten zu einer entfernten (fahrzeugfremden) Recheneinheit zu übertragen und das Verfahren in der entfernten Recheneinheit durchzuführen.In the 1A and 1B a preferred computing unit 6 of the vehicle 2 is also shown, which is connected to the respective camera 10, 20 for data exchange. The processing unit 6 is set up to receive images recorded by the respective camera in order to capture the images. The processing unit 6 is also set up to carry out the method according to the invention, ie the processing unit can execute a computer program (stored, for example, in a memory of the processing unit) which implements the method. Instead of a computing unit 6 included in the vehicle 2, it is also conceivable to transmit the images or image data to a remote computing unit (external to the vehicle) and to carry out the method in the remote computing unit.

In den 1A und 1B ist außerdem ein optionaler Bewegungssensor 8 gezeigt, der ebenfalls mit der Recheneinheit 6 (oder einer entfernten Recheneinheit) zum Datenaustausch verbunden sein kann. Messdaten des Bewegungssensors 8 können bei der Eigenbewegungsschätzung zusätzlich berücksichtigt werden.In the 1A and 1B an optional motion sensor 8 is also shown, which can also be connected to the computing unit 6 (or a remote computing unit) for data exchange. Measurement data from the motion sensor 8 can also be taken into account when estimating one's own motion.

2 zeigt ein beispielhaftes Bild, das von einer Innenraumkamera in einem Fahrzeug mit Fokus auf die vorderen Sitze erfasst wurde. Die Innenraumkamera kann hier z.B. die Innenraumkamera 10 mit Fokus auf die vorderen Sitze aus 1A sein. Entsprechend sind hier die Sichtfeld-Ausschnitte 141, 142, 143, 144, 145 wie vorstehend beschrieben erkennbar. 2 12 shows an example image captured by an interior camera in a vehicle with a focus on the front seats. The interior camera can here, for example, the interior camera 10 with a focus on the front seats 1A be. Correspondingly, the field of view excerpts 141, 142, 143, 144, 145 can be seen here as described above.

3 zeigt ein Ablaufdiagramm des Verfahrens zur Eigenbewegungsschätzung und des Verfahrens zur Positionsbestimmung eines Fahrzeugs gemäß einer bevorzugten Ausführungsform der Erfindung. 3 shows a flow chart of the method for self-motion estimation and the method for determining the position of a vehicle according to a preferred embodiment of the invention.

In Schritt 100 wird zunächst wenigstens ein Sichtfeld-Ausschnitt, in dem die Innenraumkamera einen Bereich in der Umgebung des Fahrzeugs erfasst, bestimmt bzw. festgelegt. Dabei können z.B. Raumwinkelbereiche bzw. Ausschnitt-Raumwinkelbereiche, die den Sichtfeld-Ausschnitten entsprechen, innerhalb eines Sichtfeld-Raumwinkelbereichs, der dem Sichtfeld der Innenraumkamera entspricht, bestimmt und in geeigneter Weise gespeichert bzw. hinterlegt werden. Dies erfolgt beispielsweise bei Montage der Innenraumkamera im Fahrzeug, kann aber auch beispielsweise für ein bestimmtes Fahrzeugmodell mit integrierter Innenraumkamera bekannt sein. Wird die Kameraposition oder Kameraorientierung im Fahrzeug geändert, muss der wenigstens eine Sichtfeld-Ausschnitt erneut bestimmt werden.In step 100, at least one field of view detail, in which the interior camera captures an area in the area surrounding the vehicle, is first determined or specified. For example, solid angle ranges or section solid angle ranges that correspond to the field of view sections can be determined within a field of view solid angle range that corresponds to the field of view of the interior camera and stored or stored in a suitable manner. This occurs, for example, when the interior camera is installed in the vehicle, but it can also be known, for example, for a specific vehicle model with an integrated interior camera. If the camera position or camera orientation is changed in the vehicle, the at least one field of view section must be determined again.

In Schritt 110 werden zeitlich aufeinanderfolgende Bilder mittels der Innenraumkamera erfasst. Die Bilder werden von der Innenraumkamera aufgenommen und beispielsweise an eine Recheneinheit übertragen, die das Verfahren implementiert. Jedem Bild ist ein Aufnahmezeitpunkt zugeordnet. Typischerweise sind die Aufnahmezeitpunkte regelmäßig voneinander beabstandet, d.h. sie werden mit einer bestimmten Rate aufgenommen, z.B. 25 oder 30 oder 60 Bilder je Sekunde. Schritt 110 erfolgt fortlaufend, so dass fortlaufend aufeinanderfolgende Bilder erfasst werden.In step 110 chronologically consecutive images are recorded by means of the interior camera. The images are recorded by the interior camera and, for example, transmitted to a computing unit that implements the method. A recording time is assigned to each image. Typically, the recording times are regularly spaced, i.e. they are recorded at a certain rate, e.g. 25 or 30 or 60 frames per second. Step 110 occurs continuously, so that consecutive images are captured continuously.

In Schritt 120 wird wenigstens eine Folge von Bildausschnitten gebildet. Ein Bildausschnitt schließt jeweils einen Bereich eines der Bilder ein, der dem Sichtfeld-Ausschnitt entspricht. Es werden also Bildbereiche aus den Bildern ausgeschnitten, um daraus für jeden Sichtfeld-Ausschnitt eine Folge von Bildausschnitten zu bilden. Die wenigstens eine Folge von Bildausschnitten wird zu wenigstens einem Schätzzeitpunkt gebildet. Jede Folge von Bildausschnitten schließt wenigsten zwei Bilder ein.In step 120 at least one sequence of image sections is formed. An image section always encloses an area of one of the images that corresponds to the field of view section. Image areas are thus cut out of the images in order to form a sequence of image sections for each field of view section. The at least one sequence of image sections is formed at at least one estimation time. Each sequence of image sections includes at least two images.

In Schritt 130 erfolgt ein Erkennen eines oder mehrerer Objekte in der Umgebung des Fahrzeugs in der wenigstens einen Folge von Bildausschnitten. Aus der wenigstens einen Folge der Bildausschnitte können eine oder mehrere Relativgeschwindigkeiten des Fahrzeugs relativ zu dem einen oder den mehreren Objekten auf Grundlage der Relativbewegung des einen oder der mehreren Objekte bestimmt werden. Die Relativgeschwindigkeiten können bestimmt werden, da die Aufnahmezeitpunkte bzw. die zeitlichen Abstände der Aufnahmezeitpunkte der Bilder und damit der Bildausschnitte bekannt sind. Für erkannte Objekte wird eine relative Position des Objekts zum Fahrzeug bestimmt, so dass die Bewegungsstrecke (gemessen z.B. in Metern) bzw. der Bewegungsvektor zwischen aufeinanderfolgenden Bildausschnitten bestimmt werden kann. Die Relativgeschwindigkeiten können dann als Quotienten aus Bewegungsvektoren und zeitlichen Abständen erhalten werden.In step 130, one or more objects in the vicinity of the vehicle are recognized in the at least one sequence of image sections. One or more relative speeds of the vehicle relative to the one or more objects can be determined from the at least one sequence of image sections on the basis of the relative movement of the one or more objects. The relative speeds can be determined since the recording times or the time intervals between the recording times of the images and thus the image sections are known. For detected objects, a relative position of the object to the vehicle is determined so that the movement distance (measured e.g. in meters) or the movement vector between successive image sections can be determined. The relative speeds can then be obtained as the quotient of motion vectors and time intervals.

Die relative Position des Objekts zum Fahrzeug kann bestimmt werden aus der relativen Position des Objekts zur Innenraumkamera und der relativen Positionierung und Orientierung der Innenraumkamera zu einem Fahrzeugkoordinatensystem. Die relative Position des Objekts zur Innenraumkamera kann wiederum bestimmt werden aus einerseits der Winkelposition (z.B. Azimuthwinkel und Höhenwinkel) innerhalb des Sichtfelds einer Innenraumkamera (dies entspricht der Pixel-Position des Objekts im aufgenommenen Bild) und andererseits der Entfernung des Objekts von der Innenraumkamera. Die Entfernung kann beispielsweise aus Eigenschaften der Innenraumkamera (z.B. deren Fokussiersystem) bestimmt oder zumindest geschätzt werden. Insbesondere werden physikalischen Abbildungsgesetzte berücksichtigt (beispielsweise definiert durch die extrinsische und intrinsische Kalibrierung der Kamera und Optik). Zum Erkennen von Objekten kann ein geeigneter Bilderkennungs-Algorithmus verwendet werden, so dass erkannte Objekte in verschiedenen Bildern einander zugeordnet werden können. Wenn die absoluten Abmessungen eines (vorzugsweise statischen) erkannten Objekts bekannt sind, z.B. eines Verkehrsschilds, oder ungefähr bekannt sind, z.B. eines Autos oder eines Autoreifens, kann die Entfernung zu diesem auch anhand der im Bild erkannten relativen Abmessungen bestimmt bzw. geschätzt werden. Falls mehrere Innenraumkameras mit überlappenden Sichtfeldern vorgesehen sind, ist auch eine Triangulierung von Objekten denkbar.The position of the object relative to the vehicle can be determined from the position of the object relative to the interior camera and the relative positioning and orientation of the interior camera to a vehicle coordinate system. The relative position of the object to the indoor camera can in turn be determined from the angular position (e.g. azimuth angle and elevation angle) within the field of view of an indoor camera (this corresponds to the pixel position of the object in the recorded image) and the distance of the object from the indoor camera. The distance can, for example, be determined or at least estimated from properties of the interior camera (e.g. its focusing system). In particular, physical imaging laws are taken into account (e.g. defined by the extrinsic and intrinsic calibration of the camera and optics). A suitable image recognition algorithm can be used to recognize objects, so that recognized objects in different images can be assigned to one another. If the absolute dimensions of a (preferably static) detected object are known, e.g. a traffic sign, or approximately known, e.g. a car or a car tire, the distance to this object can also be determined or estimated using the relative dimensions detected in the image. If several interior cameras are provided with overlapping fields of view, a triangulation of objects is also conceivable.

In Schritt 140 werden eine oder mehrere Geschwindigkeitskomponenten des Fahrzeugs relativ zur Umgebung basierend auf der einen oder den mehreren Relativgeschwindigkeiten bestimmt. Dies ist möglich, da zwischen den Relativgeschwindigkeiten und den Geschwindigkeitskomponenten ein Zusammenhang besteht, der durch geometrische Beziehungen bedingt ist. In Schritt 140 können gegebenenfalls Messdaten eines Bewegungssensors berücksichtigt werden.In step 140, one or more velocity components of the vehicle relative to the environment are determined based on the one or more relative velocities. This is possible because there is a relationship between the relative velocities and the velocity components, which is determined by geometric relationships. In step 140, against measurement data from a motion sensor are also taken into account.

Die so erhaltenen Geschwindigkeitskomponenten beziehen sich beispielsweise auf einen Zeitpunkt (Schätzzeitpunkt). Sollen Geschwindigkeitskomponenten für mehrere Zeitpunkte bestimmt werden, insbesondere dann, wenn neue Bilder erfasst werden, kann wieder zu Schritt 120 gesprungen werden (Pfeil 145) und eine weitere wenigstens eine Folge von Bildausschnitten aus den in Schritt 110 fortlaufend erfassten aufeinanderfolgenden Bildern gebildet werden, die gemäß der Schritte 130 und 140 verarbeitet wird, um für einen weiteren Zeitpunkt eine oder mehrere Geschwindigkeitskomponenten zu bestimmen.The speed components obtained in this way relate, for example, to a point in time (estimated point in time). If speed components are to be determined for a plurality of points in time, in particular when new images are captured, one can jump back to step 120 (arrow 145) and at least one further sequence of image excerpts from the successive images continuously captured in step 110 are formed, which according to of steps 130 and 140 to determine one or more velocity components for a further point in time.

Die so erhaltenen (eine oder mehreren) Geschwindigkeitskomponenten an verschiedenen Zeitpunkten (Schätzzeitpunkten), d.h. die sich auf verschiedene Zeitpunkte beziehen, können im bevorzugten Schritt 150 über die Zeit integriert werden. Insbesondere kann eine Summe über die Produkte der Geschwindigkeitskomponenten mit den Zeitabständen zwischen Zeitpunkten berechnet werden. Als Zeitabstand kann beispielsweise, wenn sich eine Geschwindigkeitskomponente auf einen bestimmten Zeitpunkt bezieht, der Zeitabstand zum nachfolgenden Zeitpunkt oder zum vorhergehenden Zeitpunkt oder ein Mittelwert davon verwendet werden. Bei bevorzugt regelmäßig beabstandeten Zeitpunkten (Schätzzeitpunkten) ist der Zeitabstand immer gleich, d.h. durch den Abstand der regelmäßig beabstandeten Zeitpunkte gegeben.The (one or more) velocity components obtained in this way at different points in time (estimated points in time), i.e. which relate to different points in time, can be integrated over time in preferred step 150. In particular, a sum of the products of the speed components with the time intervals between points in time can be calculated. If a speed component relates to a specific point in time, for example, the time interval to the subsequent point in time or to the preceding point in time or an average thereof can be used as the time interval. In the case of preferably regularly spaced times (estimated times), the time interval is always the same, i.e. given by the distance between the regularly spaced times.

Ausgehend von einem ersten Zeitpunkt wird auf diese Weise mit jedem neuen Zeitpunkt, insbesondere mit jedem neuen Summanden, eine neue Relativposition des Fahrzeugs zwischen dem ersten und dem neuen Zeitpunkt bestimmt. Aus der Folge dieser Relativpositionen kann im bevorzugten Schritt 160 die zurückgelegte Fahrstrecke des Fahrzeugs bestimmt werden.In this way, starting from a first point in time, a new relative position of the vehicle between the first and the new point in time is determined with each new point in time, in particular with each new summand. From the sequence of these relative positions, the distance traveled by the vehicle can be determined in preferred step 160 .

Claims

A method for estimating the movement of a vehicle (2) in relation to the surroundings of the vehicle, the vehicle (2) comprising an interior camera (10; 20) whose field of view (12; 22) is directed into the interior of a passenger compartment of the vehicle determining (100) at least one field of view section (141, 142, 143, 144, 145; 241, 242, 243) in which the interior camera captures an area in the vicinity of the vehicle; Recording (110) temporally consecutive images by means of the interior camera (10; 20); forming (120) at least one sequence of image sections, each image section enclosing a region of one of the images which corresponds to the at least one field of view section (141, 142, 143, 144, 145; 241, 242, 243); Recognizing (130) one or more objects (4) in the area surrounding the vehicle (2) in the at least one sequence of image sections and determining one or more relative speeds of the vehicle relative to the one or more objects (4) on the basis of the relative movement of the one or more objects in the at least one sequence of image sections; Determining (140) one or more speed components of the vehicle (4) relative to the environment based on the one or more relative speeds.

procedure after claim 1 , wherein an object recognition algorithm is used when recognizing the one or more objects (4); wherein the object recognition algorithm is preferably set up to classify recognized objects (4), wherein more preferably each recognized object (4) is assigned a reliability based on the classification.

procedure after claim 2 , wherein the object detection algorithm is set up to detect static objects in the environment, and is preferably set up to detect potentially dynamic objects in the environment.

Method according to one of the preceding claims, wherein measurement data from a motion sensor (8) are additionally used to determine the one or more speed components.

Method according to one of the preceding claims, wherein the determination (140) of the one or more velocity components of the vehicle (4) relative to the environment based on the one or more relative velocities is carried out by means of a regression in which one or more estimated relative velocities as from the variables dependent on one or more velocity components, wherein a functional dependent on differences between the one or more estimated relative velocities and the determined one or more relative velocities is minimized.

procedure after claim 4 and 5 , estimated measurement data being understood as variables dependent on the one or more speed components, the functional also being dependent on differences between the estimated measurement data and the measurement data.

procedure after claim 5 or 6 , the differences being weighted in the functional according to a reliability which an object recognition algorithm assigns to a recognized object (4), or according to a reliability of the measurement data.

Method for determining the position of a vehicle (2), in which the vehicle's (2) own motion estimates are carried out at successive points in time according to one of the preceding claims, and in which the determined one or more speed components are integrated (150) over time in order to calculate a route of the vehicle ( 2) to determine (160).

procedure after claim 8 , Being corrected by a position determination system, in particular a global position determination system, certain position data using the route.

Procedure according to one of Claims 8 or 9 , The route being compared with route data on a map in order to determine a position of the vehicle (2).

Arithmetic unit (6) which is set up to carry out all method steps of a method according to one of the preceding claims.

Computer program that causes a computing unit (6) to all method steps of a method according to one of Claims 1 until 10 to be performed when it is executed on the computing unit.

Machine-readable storage medium with a computer program stored on it claim 12 .