DE102016223094A1

DE102016223094A1 - Method and system for detecting a raised object located within a parking lot

Info

Publication number: DE102016223094A1
Application number: DE102016223094.8A
Authority: DE
Inventors: Stefan Nordbruch; Felix Hess; Andreas Lehn
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-11-23
Filing date: 2016-11-23
Publication date: 2018-05-24
Also published as: FR3059137A1; FR3059137B1

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras, deren jeweiliger Sichtbereich sich in einem Überlappungsbereich überlappt, umfassend die folgenden Schritte:Aufnehmen von jeweiligen Videobildern des Überlappungsbereichs mittels der Videokameras,Analysieren der aufgenommenen Videobilder, um in den aufgenommenen Videobildern ein erhabenes sich bewegendes Objekt zu detektieren,Durchführen einer optischen Flussanalyse der aufgenommenen Videobilder, um bei Detektion eines erhabenen sich bewegenden Objekts in den aufgenommenen Videobildern das detektierte erhabene sich bewegende Objekt mittels der optischen Flussanalyse zu verifizieren.Die Erfindung betrifft ferner ein entsprechendes System, einen Parkplatz sowie ein Computerprogramm.The invention relates to a method for detecting a raised object located within a parking space using at least two video cameras distributed spatially within the parking space, the respective viewing area of which overlaps in an overlapping area, comprising the following steps: taking respective video pictures of the overlapping area by means of the Video cameras, analyzing the captured video images to detect a raised moving object in the captured video images, performing optical flow analysis of the captured video images to detect the detected raised moving object upon optical detection of a raised moving object in the captured video images The invention further relates to a corresponding system, a parking space and a computer program.

Description

Die Erfindung betrifft ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise eines Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts. Die Erfindung betrifft ferner ein System zum Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts. Die Erfindung betrifft des Weiteren einen Parkplatz. Die Erfindung betrifft ferner ein Computerprogramm.The invention relates to a method for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space. The invention further relates to a system for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space. The invention further relates to a parking lot. The invention further relates to a computer program.

Stand der TechnikState of the art

Die Offenlegungsschrift DE 10 2015 201 209 A1 zeigt ein Valet-Parking System zum automatischen Verbringen eines Fahrzeugs von einer Übergabezone zu einem zugewiesenen Stellplatz innerhalb eines vorgegebenen Parkraums. Das bekannte System umfasst ein Parkplatzüberwachungssystem mit mindestens einer ortsfest angeordneten Sensoreinheit. Das Parkplatzüberwachungssystem ist ausgebildet, die innerhalb des vorgegebenen Parkraums fahrenden Fahrzeuge zu lokalisieren.The publication DE 10 2015 201 209 A1 shows a valet parking system for automatically moving a vehicle from a transfer zone to an assigned parking space within a given parking space. The known system comprises a parking space monitoring system with at least one stationarily arranged sensor unit. The parking surveillance system is configured to locate the vehicles traveling within the given parking space.

Offenbarung der ErfindungDisclosure of the invention

Die der Erfindung zugrunde liegende Aufgabe ist darin zu sehen, ein Konzept zum effizienten Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise eines Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts bereitzustellen.The object on which the invention is based is to provide a concept for the efficient detection of a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space.

Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.This object is achieved by means of the subject matter of the independent claims. Advantageous embodiments of the invention are the subject of each dependent subclaims.

Nach einem Aspekt wird ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras bereitgestellt, deren jeweiliger Sichtbereich sich in einem Überlappungsbereich überlappt, umfassend die folgenden Schritte:

a) Aufnehmen von jeweiligen Videobildern des Überlappungsbereichs mittels der Videokameras,
b) Analysieren der aufgenommenen Videobilder, um in den aufgenommenen Videobildern ein erhabenes sich bewegendes Objekt zu detektieren,
c) Durchführen einer optischen Flussanalyse der aufgenommenen Videobilder, um bei Detektion eines erhabenen sich bewegenden Objekts in den aufgenommenen Videobildern das detektierte erhabene sich bewegende Objekt mittels der optischen Flussanalyse zu verifizieren.

In one aspect, there is provided a method of detecting a raised object located within a parking lot using at least two video cameras spatially distributed within the parking lot, the respective viewing area of which overlaps in an overlap area, comprising the steps of:

a) taking respective video images of the overlapping area by means of the video cameras,
b) analyzing the captured video images to detect a raised moving object in the captured video images,
c) performing an optical flow analysis of the captured video images to verify the detected raised moving object by optical flow analysis upon detection of a raised moving object in the captured video images.

Nach einem anderen Aspekt wird ein System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts bereitgestellt, wobei das System ausgebildet ist, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts durchzuführen.In another aspect, there is provided a system for detecting a raised object located within a parking lot, the system being configured to perform the method of detecting a raised object located within a parking lot.

Nach einem anderen Aspekt wird ein Parkplatz bereitgestellt, welcher das System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts umfasst.In another aspect, a parking lot is provided which includes the system for detecting a raised object located within a parking lot.

Nach noch einem Aspekt wird ein Computerprogramm bereitgestellt, welches Programmcode zur Durchführung des Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts umfasst, wenn das Computerprogramm auf einem Computer ausgeführt wird.In yet another aspect, there is provided a computer program comprising program code for performing the method of detecting a raised object located within a parking lot when the computer program is executed on a computer.

Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe dadurch gelöst werden kann, dass zeitlich nacheinander aufgenommene Videobilder analysiert werden, um ein erhabenes sich bewegendes Objekt zu detektieren. Es ist dann vorgesehen, ein solch detektiertes erhabenes sich bewegendes Objekt basierend auf einer optischen Flussanalyse der aufgenommenen Videobilder zu verifizieren, also zu bestätigen. Das heißt insbesondere, dass ein Ergebnis, welches basierend auf einer Analyse der aufgenommenen Videobilder ermittelt wurde, wobei das Ergebnis angibt, dass ein erhabenes sich bewegendes Objekt detektiert wurde, durch eine optische Flussanalyse der Videobilder überprüft oder verifiziert wird. Die optische Flussanalyse wird also zu dem Zweck durchgeführt, das in der Analyse der Videobilder detektierte erhabene sich bewegende Objekt zu bestätigen.The invention is based on the realization that the above object can be achieved by analyzing temporally successively recorded video images in order to detect a raised moving object. It is then envisaged to verify, ie to confirm, such a detected raised moving object based on an optical flow analysis of the recorded video images. In particular, this means that a result, which was determined based on an analysis of the captured video images, wherein the result indicates that a raised moving object was detected, is checked or verified by an optical flow analysis of the video images. The optical flow analysis is thus performed for the purpose of confirming the raised moving object detected in the analysis of the video images.

Somit kann beispielsweise das detektierte sich bewegende Objekt effizient plausibilisiert werden. Denn in der Regel ist es beispielsweise so, dass ein Objekt nicht plötzlich verschwinden kann. Das Objekt sollte, sofern es tatsächlich real ist, auch in der optischen Flussanalyse erkennbar sein.Thus, for example, the detected moving object can be efficiently plausibilized. For, as a rule, it is the case, for example, that an object can not suddenly disappear. The object, if it is actually real, should also be recognizable in the optical flow analysis.

Sofern also das detektierte erhabene sich bewegende Objekt durch die optische Flussanalyse verifiziert werden kann, wird beispielsweise bestimmt, dass das detektierte Objekt real ist.If, therefore, the detected raised moving object can be verified by the optical flow analysis, it is determined, for example, that the detected object is real.

Sofern also das detektierte erhabene sich bewegende Objekt nicht durch die optische Flussanalyse verifiziert werden kann, wird beispielsweise bestimmt, dass das detektierte Objekt nicht real ist.If, therefore, the detected raised moving object can not be verified by the optical flow analysis, it is determined, for example, that the detected object is not real.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass Fehlalarme reduziert oder vermieden werden können, was in vorteilhafter Weise einen effizienten Betrieb des Parkplatzes ermöglicht und was beispielsweise einen effizienten Betrieb von innerhalb des Parkplatzes führerlos fahrenden Kraftfahrzeugen ermöglicht. As a result, for example, the technical advantage is caused that false alarms can be reduced or avoided, which advantageously allows efficient operation of the parking lot and which, for example, allows efficient operation of driving inside the parking lot driverless.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass Objekte effizient erkannt werden können, so dass ein Kollidieren mit solchen Objekten verhindert werden kann.As a result, for example, the technical advantage is achieved that objects can be recognized efficiently, so that a collision with such objects can be prevented.

Somit wird also der technische Vorteil bewirkt, dass ein Konzept zum effizienten Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts bereitgestellt werden kann.Thus, the technical advantage is brought about that a concept for efficiently detecting a raised object located within a parking lot can be provided.

Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Überprüfen umfasst, ob ein optischer Fluss an Orten in den aufgenommenen Videobildern vorhanden ist, an denen basierend auf der Analyse gemäß dem Schritt b) kein erhabenes Objekt detektiert wurde.According to one embodiment, it is provided that step c) comprises checking whether there is an optical flow at locations in the recorded video images on which no raised object was detected based on the analysis according to step b).

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass mögliche Fehler, die bei der Analyse gemäß dem Schritt b) aufgetreten sind, effizient erkannt werden können.As a result, for example, the technical advantage is caused that possible errors which have occurred during the analysis according to step b) can be recognized efficiently.

In einer Ausführungsform ist vorgesehen, dass, wenn das Überprüfen, ob ein optischer Fluss an Orten in den aufgenommenen Videobildern vorhanden ist, an denen basierend auf der Analyse gemäß dem Schritt b) kein erhabenes Objekt detektiert wurde, ergeben hat, dass an einem solchen Ort ein optischer Fluss vorhanden ist, eine oder mehrere der folgenden Aktionen gesteuert werden: Anhalten aller innerhalb des Parkplatzes führerlos fahrenden Kraftfahrzeuge, Beordern eines Servicepersonals zu den Videokameras, Durchführen eine Funktionskontrolle der Videokameras, Anpassen einer von innerhalb des Parkplatzes führerlos fahrenden Kraftfahrzeugen abzufahrenden jeweiligen Soll-Trajektorie, um einen den Überlappungsbereich umfassenden Abschnitt des Parkplatzes zu umfahren, Absperren eines den Überlappungsbereich umfassenden Abschnitts des Parkplatzes, Absperren eines den Überlappungsbereich umfassenden Geschosses des Parkplatzes, Senden einer Fehlermeldung an einen Operator über ein Kommunikationsnetzwerk.In an embodiment it is provided that, if the checking for whether there is an optical flow at locations in the captured video images at which no raised object was detected based on the analysis according to step b) has revealed that at such a location an optical flow is present, one or more of the following actions are controlled: halting all motor vehicles driving without a driver inside the parking lot, ordering a service person to the video cameras, performing a function control of the video cameras, adjusting a respective target set to run from within the parking lot driverless motor vehicles Trajectory to bypass a portion of the parking area comprising the overlap area, closing off a portion of the parking area comprising the overlap area, shutting off a parking space comprising the overlapping area, sending an error message to an operator via a comm unikationsnetzwerk.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass eine Sicherheit für den Parkplatz effizient erhöht werden kann.This causes, for example, the technical advantage that safety for the parking lot can be efficiently increased.

Der Fokus dieser Ausführungsform umfasst also nicht nur die Verifikation von erhabenen sich bewegenden Objekten, sondern insbesondere auch die Prüfung, ob an Stellen, an denen gemäß der Analyse der Videobilder gemäß dem Schritt b) kein erhabenes sich bewegendes Objekt detektiert wurde, ein optischer Fluss auftritt. Dann muss sich dort ein sich bewegendes Objekt befinden, welches von der Analyse gemäß dem Schritt b) nicht erkannt wurde. Diese Fehldetektion triggert beispielsweise eine oder mehrere der vorstehend bezeichneten Aktionen, also insbesondere einen Notstopp der führerlos fahrenden Kraftfahrzeuge.Thus, the focus of this embodiment includes not only the verification of raised moving objects, but also, in particular, the examination of whether an optical flow occurs at locations where, according to the analysis of the video images according to step b), no raised moving object has been detected , Then there must be a moving object which was not recognized by the analysis according to step b). This misdetection triggers, for example, one or more of the actions described above, that is to say, in particular, an emergency stop of the driverless motor vehicles.

Gemäß einer Ausführungsform ist vorgesehen, dass zum Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern gemäß der Analyse gemäß dem Schritt b) folgende Schritte vorgesehen sind:

- Rektifizieren der aufgenommenen Videobilder,
- miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen zu erkennen,
- Detektieren eines erhabenen sich bewegenden Objekts basierend auf dem Vergleich.

According to one embodiment, it is provided that the following steps are provided for detecting a raised object in the recorded video images according to the analysis according to step b):

- rectifying the recorded video images,
comparing the respective rectified video image with each other in order to detect a difference in the recorded overlapping areas,
Detecting a raised moving object based on the comparison.

Vor einem Vergleich der Videobilder ist insbesondere vorgesehen, dass die Videobilder in die Vogelperspektive transformiert werden, also rektifiziert werden. Die rektifizierten Videobilder werden dann miteinander verglichen.Before a comparison of the video images is provided in particular that the video images are transformed into a bird's eye view, so be rectified. The rectified video images are then compared.

Wenn alle rektifizierten Videobilder des Überlappungsbereichs beispielsweise keine Unterschiede aufweisen, also gleich oder identisch sind, oder Unterschiede aufweisen, die sich um maximal einen vorbestimmten Toleranzwert unterscheiden, so kann davon ausgegangen werden, dass sich kein erhabenes Objekt auf der jeweiligen Sichtachse zwischen dem Überlappungsbereich und den Videokameras befindet. Insofern wird gemäß der Analyse der Videobilder kein erhabenes Objekt detektiert. Es wird dann also insbesondere ein Ergebnis ermittelt, das angibt, dass kein erhabenes sich bewegendes Objekt detektiert wurde.For example, if all of the rectified video images of the overlapping area have no differences, ie are the same or identical, or have differences that differ by a maximum of a predetermined tolerance value, it can be assumed that there is no raised object on the respective visual axis between the overlap area and the Video cameras is located. In this respect, according to the analysis of the video images, no raised object is detected. In particular, a result is determined which indicates that no raised moving object was detected.

Sofern sich aber ein erhabenes Objekt auf einer Sichtachse zwischen dem Überlappungsbereich und einer der Videokameras befindet, sieht diese eine Videokamera nicht das Gleiche wie die anderen Videokameras. Das entsprechende rektifizierte Videobild wird sich also von dem rektifizierten Videobild der anderen Videokameras um einen Unterschied größer als der vorbestimmte Toleranzwert unterscheiden. Insofern wird dann gemäß der Analyse der Videobilder ein erhabenes Objekt detektiert. Somit wird also insbesondere ein Ergebnis ermittelt, das angibt, dass ein erhabenes sich bewegendes Objekt detektiert wurde.However, if there is a raised object on a line of sight between the overlap area and one of the video cameras, this one video camera does not look the same as the other video cameras. The corresponding rectified video image will thus differ from the rectified video image of the other video cameras by a difference greater than the predetermined tolerance value. In this respect, a raised object is then detected according to the analysis of the video images. Thus, in particular, a result is determined which indicates that a raised moving object has been detected.

Somit kann also effizient ein erhabenes sich bewegendes Objekt mittels der mindestens zwei Videokameras gemäß der Analyse detektiert werden. Thus, therefore, a raised moving object can be efficiently detected by means of the at least two video cameras according to the analysis.

Ein Parkplatz im Sinne der Beschreibung ist insbesondere ein Parkplatz für Kraftfahrzeuge. Der Parkplatz ist beispielsweise ein Parkhaus oder eine Parkgarage. Ein zu detektierendes Objekt befindet sich beispielsweise innerhalb eines Fahrschlauchs des Parkplatzes.A parking space in the sense of the description is in particular a parking lot for motor vehicles. The parking lot is for example a parking garage or a parking garage. An object to be detected is located, for example, within a driving path of the parking lot.

Ein erhabenes Objekt bezeichnet insbesondere ein Objekt, dessen Höhe relativ zu einem Boden des Parkplatzes mindestens 10 cm beträgt.A raised object refers in particular to an object whose height is at least 10 cm relative to a floor of the parking lot.

Das erhabene Objekt befindet sich beispielsweise auf einem Boden des Parkplatzes, beispielsweise auf einer Fahrbahn oder innerhalb eines Fahrbereichs, also beispielsweise innerhalb eines Fahrschlauchs, des Parkplatzes. Das erhabene Objekt befindet sich also beispielsweise innerhalb eines Fahrschlauchs des Parkplatzes.The raised object is located, for example, on a floor of the parking lot, for example, on a roadway or within a driving range, that is, for example, within a driving tube of the parking lot. The raised object is thus, for example, within a driving tube of the parking lot.

Ein Rektifizieren der aufgenommenen Videobilder umfasst insbesondere respektive ist beispielsweise eine Transformation der aufgenommenen Videobilder in die Vogelperspektive. Das heißt also insbesondere, dass die aufgenommenen Videobilder beispielsweise in die Vogelperspektive transformiert werden. Dadurch kann in vorteilhafter Weise der anschließende Vergleich besonders effizient durchgeführt werden.A rectification of the recorded video images comprises in particular respectively a transformation of the recorded video images into a bird's eye view. This means, in particular, that the recorded video images are transformed, for example, into a birds-eye view. As a result, the subsequent comparison can be carried out particularly efficiently in an advantageous manner.

Die Formulierungen „Gleiche Bildinformation“ respektive „identische Bildinformation“ respektive „gleiche Videobilder“ respektive „identische Videobilder“ im Sinne dieser Beschreibung umfassen insbesondere auch den Fall, dass sich die Bildinformationen respektive die Videobilder um maximal einen vorbestimmten Toleranzwert unterscheiden. Erst Unterschiede, die größer als der vorbestimmte Toleranzwert ist, resultieren in einer Detektion eines Objekts. Das heißt also insbesondere, dass geringe Unterschiede in der Helligkeits- und/oder Farbinformation zulässig sind, um die Aussage zu treffen, dass die Bildinformation respektive die Videobilder gleich respektive identisch ist oder sind, solange die Unterschiede kleiner als der vorbestimmte Toleranzwert sind.The terms "identical image information" or "identical image information" or "identical video images" or "identical video images" in the sense of this description also include in particular the case that the image information or the video images differ by a maximum of a predetermined tolerance value. Only differences greater than the predetermined tolerance value result in a detection of an object. This means, in particular, that small differences in the brightness and / or color information are permissible in order to make the statement that the image information or the video images are identical or identical as long as the differences are smaller than the predetermined tolerance value.

Das heißt also insbesondere, dass gemäß der Analyse der Videobilder beispielsweise erst dann ein erhabenes Objekt detektiert wird, wenn sich beispielsweise die Videobilder um einen Unterschied unterscheiden, der größer ist als der vorbestimmte Toleranzwert. Das heißt also insbesondere, dass erst dann ein erhabenes Objekt detektiert wird, wenn sich beispielsweise ein Überlappungsbereich von den anderen Überlappungsbereichen um einen Unterschied unterscheidet, der größer als der vorbestimmte Toleranzwert ist.This means in particular that according to the analysis of the video images, for example, a raised object is only detected when, for example, the video images differ by a difference that is greater than the predetermined tolerance value. This means, in particular, that a raised object is only detected when, for example, an overlap area differs from the other overlap areas by a difference that is greater than the predetermined tolerance value.

In einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln von dem detektierten erhabenen Objekt zugeordneten optischen Flussvektoren umfasst, wobei die optischen Flussvektoren auf Plausibilität geprüft werden, um das detektierte erhabene Objekt mittels der optischen Flussanalyse zu verifizieren.In one embodiment, it is provided that step c) comprises determining optical flow vectors associated with the detected raised object, wherein the optical flow vectors are checked for plausibility in order to verify the detected raised object by means of optical flow analysis.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Verifizieren effizient durchgeführt werden kann.This, for example, causes the technical advantage that the verification can be carried out efficiently.

Ein Prüfen der optischen Flussvektoren auf Plausibilität im Sinne der Beschreibung bedeutet insbesondere, dass ermittelt wird, ob die optischen Flussvektoren dem detektierten erhabenen Objekt entsprechen können, also ob die optischen Flussvektoren zu dem detektierten erhabenen Objekt passen können.In particular, checking the optical flow vectors for plausibility in the sense of the description means that it is determined whether the optical flow vectors can correspond to the detected raised object, ie whether the optical flow vectors can match the detected raised object.

Nach einer anderen Ausführungsform ist vorgesehen, dass das Prüfen der optischen Flussvektoren auf Plausibilität ein Prüfen umfasst, ob die optischen Flussvektoren unterschiedlich sind, und wenn ja, ein entsprechender Unterschied zwischen den Flussvektoren ermittelt wird, wobei abhängig von dem ermittelten Unterschied das detektierte erhabene Objekt verifiziert wird.According to another embodiment, it is provided that checking the optical flow vectors for plausibility includes checking whether the optical flow vectors are different and, if so, determining a corresponding difference between the flow vectors, wherein the detected raised object verifies depending on the determined difference becomes.

Diese Ausführungsform basiert auf der Erkenntnis, dass beispielsweise einzelne Teile, beispielsweise Pixel und/oder Bereiche, des detektierten erhabenen Objekts nicht unterschiedliche, oder zumindest nur mit einer bestimmten Differenz unterschiedliche, optische Flussvektoren ausweisen können. Zum Beispiel kann sich nicht ein Teil des Objekts nach links bewegen und ein anderes Teil des Objekts gleichzeitig nach rechts oder oben bewegen.This embodiment is based on the recognition that, for example, individual parts, for example pixels and / or regions, of the detected raised object can not identify different, or at least only with a specific difference, different optical flow vectors. For example, one part of the object can not move to the left and another part of the object can simultaneously move to the right or up.

Das heißt also beispielsweise, dass für einige oder mehrere oder für alle Pixel des Objekts ein jeweiliger optischer Flussvektor ermittelt wird, wobei die jeweiligen Flussvektoren beispielsweise paarweise untereinander verglichen werden, um einen Unterschied zu ermitteln.This means, for example, that a respective optical flow vector is determined for some or more or for all pixels of the object, the respective flow vectors being compared in pairs, for example, in order to determine a difference.

Ein Unterschied umfasst beispielsweise eine unterschiedliche Richtung, in die die optischen Flussvektoren jeweils zeigen können.For example, a difference includes a different direction in which the optical flow vectors can each point.

Ein Unterschied umfasst beispielsweise einen unterschiedlichen Betrag, um die sich die optischen Flussvektoren jeweils unterscheiden können.For example, a difference includes a different amount by which the optical flow vectors may differ.

Das Prüfen, ob die optischen Flussvektoren unterschiedlich sind, umfasst also beispielsweise ein Prüfen, ob die optischen Flussvektoren in unterschiedliche Richtungen zeigen, und/oder ob sich die optischen Flussvektoren in ihrem Betrag unterscheiden. The checking whether the optical flow vectors are different thus includes, for example, checking whether the optical flow vectors point in different directions and / or whether the optical flow vectors differ in their magnitude.

In einer Ausführungsform ist vorgesehen, dass der ermittelte Unterschied mit einem vorbestimmten Unterschiedsschwellwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, dass das detektierte erhabene Objekt real oder irreal ist.In an embodiment it is provided that the determined difference is compared with a predetermined difference threshold value, it being determined depending on the comparison that the detected raised object is real or unreal.

Der Unterschiedsschwellwert ist beispielsweise ein Winkelschwellwert respektive ein Betragsschwellwert.The difference threshold value is, for example, an angle threshold value or an amount threshold value.

Ist beispielsweise der ermittelte Unterschied größer oder größer-gleich dem vorbestimmten Unterschiedsschwellwert, so wird bestimmt, dass das detektierte erhabene Objekt nicht real ist, also irreal ist.If, for example, the determined difference is greater than or equal to the predetermined difference threshold value, it is determined that the detected sublime object is not real, that is, is unreal.

Ist beispielsweise der ermittelte Unterschied kleiner oder kleiner-gleich dem vorbestimmten Unterschiedsschwellwert, so wird bestimmt, dass das detektierte erhabene Objekt real ist.If, for example, the determined difference is smaller or smaller than the predetermined difference threshold value, it is determined that the detected raised object is real.

In einer Ausführungsform ist vorgesehen, dass, wenn das Prüfen der optischen Flussvektoren auf Plausibilität ergibt, dass zumindest zwei der optischen Flussvektoren in entgegensetzte Richtungen zeigen, bestimmt wird, dass das detektierte erhabene Objekt nicht real ist, so dass das detektierte erhabene Objekt nicht mittels der optischen Flussanalyse verifiziert wird.In one embodiment, if the checking of the optical flow vectors for plausibility shows that at least two of the optical flow vectors point in opposite directions, it is determined that the detected raised object is not real, such that the detected raised object is not detected by the optical flow analysis is verified.

In einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer Objektgeschwindigkeit, beispielsweise basierend auf der optischen Flussanalyse, umfasst, wobei die ermittelte Objektgeschwindigkeit mit einem vorbestimmten Objektgeschwindigkeitsschwellwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist.In one embodiment, it is provided that step c) comprises determining an object speed, for example based on the optical flow analysis, wherein the determined object speed is compared with a predetermined object speed threshold, it being determined depending on the comparison, whether the detected raised object real is.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn für reale Objekte innerhalb eines Parkplatzes werden in der Regel bestimmte Geschwindigkeiten erwartet. Beispielsweise ist eine Objektgeschwindigkeit von 150 km/h nicht plausibel. In diesem Fall ist das detektierte Objekt nicht real.As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot, certain speeds are usually expected. For example, an object speed of 150 km / h is not plausible. In this case, the detected object is not real.

Das heißt also insbesondere, dass bestimmt wird, dass das detektierte erhabene Objekt real ist, wenn die ermittelte Objektgeschwindigkeit kleiner oder kleiner-gleich dem vorbestimmten Objektgeschwindigkeitsschwellwert ist, wobei bestimmt wird, dass das detektierte erhabene Objekt nicht real ist, wenn die ermittelte Objektgeschwindigkeit größer oder größer-gleich dem vorbestimmten Objektgeschwindigkeitsschwellwert ist.That is to say, in particular, it is determined that the detected raised object is real if the determined object speed is less than or equal to the predetermined object speed threshold, and it is determined that the detected raised object is not real, if the determined object speed is greater than or equal to is greater than or equal to the predetermined object speed threshold.

Ein Objektgeschwindigkeitsschwellwert ist beispielsweise 60 km/h, beispielsweise 50 km/h, insbesondere 40 km/h.An object speed threshold is, for example, 60 km / h, for example 50 km / h, in particular 40 km / h.

Diese Ausführungsform basiert also auf der Erkenntnis, dass sich Objekte innerhalb des Parkplatzes in der Regel nur mit einer bestimmten maximalen Geschwindigkeit fortbewegen können.This embodiment is thus based on the recognition that objects within the parking space can usually only move at a certain maximum speed.

Gemäß dieser Ausführungsform ist also vorgesehen, dass ermittelt wird, ob die ermittelte Objektgeschwindigkeit plausibel ist.According to this embodiment, it is thus provided that it is determined whether the determined object speed is plausible.

Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer Bewegung des detektierten erhabenen Objekts, beispielsweise basierend auf der optischen Flussanalyse, umfasst, wobei ermittelt wird, ob die Bewegung des detektierten erhabenen Objekts plausibel ist, wobei abhängig von der Plausibilisierung bestimmt wird, ob das detektierte erhabene Objekt real ist.According to one embodiment, it is provided that step c) comprises determining a movement of the detected raised object, for example based on the optical flow analysis, wherein it is determined whether the movement of the detected raised object is plausible, being determined as a function of the plausibility check whether the detected raised object is real.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn für reale Objekte innerhalb eines Parkplatzes werden in der Regel bestimmte Bewegungen erwartet. Objekte in der Größenordnung eines Kraftfahrzeugs können sich nicht senkrecht nach oben bewegen oder ihre Richtung auf der Stelle um 90° ändern. Für kleinere Objekte lässt sich keine solche Aussage treffen, da zum Beispiel Menschen in die Luft springen können. Das Ermitteln der Plausibilität der Bewegung wird beispielsweise abhängig von einer Größe des detektierten Objektes durchgeführt. Objekte, die eine Größe aufweisen, die in der Größenordnung eines Kraftfahrzeugs liegt, unterliegen beispielsweise den vorstehend bezeichneten Bewegungseinschränkungen.As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot certain movements are usually expected. Objects of the order of magnitude of a motor vehicle can not move vertically upward or change direction by 90 °. For smaller objects, no such statement can be made, because, for example, people can jump in the air. Determining the plausibility of the movement is performed, for example, depending on a size of the detected object. For example, objects having a size that is on the order of a motor vehicle are subject to the movement restrictions described above.

Gemäß dieser Ausführungsform ist also vorgesehen, dass ermittelt wird, ob die ermittelte Bewegung plausibel ist.According to this embodiment, it is therefore provided that it is determined whether the determined movement is plausible.

In einer Ausführungsform umfasst der Schritt c) ein Ermitteln, beispielsweise basierend auf der optischen Flussanalyse, ob, und wenn ja, an welchem Ort in den Videobildern sich das detektierte erhabene Objekt in das jeweilige Videobild hineinbewegt respektive aus dem jeweiligen Videobild hinausbewegt. Insbesondere wird bestimmt, dass das detektierte erhabene Objekt real ist, wenn sich das detektierte Objekt am Rand als Ort in das jeweilige Videobild hineinbewegt respektive sich am Rand als Ort aus dem jeweiligen Videobild hinausbewegt. Insbesondere wird bestimmt, dass das detektierte erhabene Objekt nicht real ist, wenn das detektierte Objekt innerhalb des Videobilds im Videobild erscheint respektive innerhalb des Videobilds aus dem Videobild verschwindet, ohne den Rand des Videobilds überquert zu haben.In one embodiment, step c) comprises determining, for example based on the optical flow analysis, whether, and if so, at which location in the video images the detected raised object moves into the respective video image or moves out of the respective video image. In particular, it is determined that the detected raised object is real if the detected object moves in the edge as a location in the respective video image respectively moves out of the respective video image at the edge as a location. In particular, it is determined that the detected sublime object is not real if the detected object appears within the video image in the video image, or disappears within the video image from the video image without having traversed the edge of the video image.

Diese Ausführungsform basiert auf der Erkenntnis, dass sich erhabene Objekte in eine Szene (hier die Videobilder) nur über den Rand der Szene bewegen können respektive aus nur über den Rand die Szene wieder verlassen können. Mitten in einer Szene, also innerhalb der Szene, kann ein Objekt nicht einfach erscheinen oder auftauchen respektive verschwinden.This embodiment is based on the recognition that raised objects in a scene (in this case the video images) can only move over the edge of the scene or leave the scene again only via the edge. In the middle of a scene, within the scene, an object can not appear or appear or disappear.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist.As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real.

Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Klassifizieren des detektierten erhabenen Objekts, beispielsweise basierend auf der optischen Flussanalyse, umfasst, wobei abhängig von der Klassifizierung bestimmt wird, ob das detektierte erhabene Objekt real ist.According to one embodiment, it is provided that step c) comprises classifying the detected raised object, for example based on the optical flow analysis, wherein it is determined depending on the classification whether the detected raised object is real.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn innerhalb eines Parkplatzes werden in der Regel nur bestimmte Objekte erwartet. Zusätzlich kann das Wissen über den Objekttyp oder die Art des Objekts effizient für das Bestimmen genutzt werden, ob das detektierte Objekt real ist.As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because within a parking lot usually only certain objects are expected. In addition, the knowledge about the object type or the type of the object can be efficiently used for determining whether the detected object is real.

Gemäß dieser Ausführungsform ist also vorgesehen, dass ermittelt wird, ob die Klassifizierung plausibel ist.According to this embodiment, it is therefore provided that it is determined whether the classification is plausible.

Der Schritt c) umfasst beispielsweise ein Prüfen, beispielsweise basierend auf der optischen Flussanalyse, ob sich die Klassifizierung über die Zeit ändert, wobei das Bestimmen, ob das Objekt real ist, in Abhängigkeit von diesem Prüfen durchgeführt wird. Insbesondere wenn eine Änderung ermittelt wird, so wird bestimmt, dass das Objekt nicht real ist. Insbesondere wenn keine Änderung ermittelt wird, so wird bestimmt, dass das Objekt real ist.Step c) includes, for example, checking, for example, based on the optical flow analysis, whether the classification changes over time, wherein determining whether the object is real is performed in response to this checking. In particular, when a change is detected, it is determined that the object is not real. In particular, if no change is detected, it is determined that the object is real.

Das Klassifizieren umfasst beispielsweise, dass eine Größe, also insbesondere eine Länge und/oder eine Höhe und/oder eine Breite, des detektierten Objekts ermittelt wird.The classification includes, for example, that a size, that is to say in particular a length and / or a height and / or a width, of the detected object is determined.

Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer dynamischen Eigenschaft des detektierten Objekts, beispielsweise basierend auf der optischen Flussanalyse, umfasst, wobei die ermittelte dynamische Eigenschaft des detektierten Objekts mit einem vorbestimmten Referenzwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist.According to one embodiment, it is provided that step c) comprises determining a dynamic property of the detected object, for example based on the optical flow analysis, wherein the determined dynamic property of the detected object is compared with a predetermined reference value, being determined depending on the comparison whether the detected raised object is real.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist, da in der Regel übliche Objekte innerhalb eines Parkplatzes bestimmte dynamische Eigenschaften aufweisen.This causes, for example, the technical advantage that it can be efficiently determined whether the detected raised object is real, since usually common objects within a parking space have certain dynamic properties.

Gemäß dieser Ausführungsform ist also vorgesehen, dass ermittelt wird, ob die ermittelte dynamische Eigenschaft plausibel ist.According to this embodiment, it is thus provided that it is determined whether the determined dynamic property is plausible.

Eine dynamische Eigenschaft ist beispielsweise eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung.A dynamic property is, for example, a speed, an acceleration, a direction of movement.

Beispielsweise werden jeweils mehrere dynamische Eigenschaften ermittelt. Ausführungen, die im Zusammenhang mit einer dynamischen Eigenschaft gemacht sind, gelten analog für mehrere dynamische Eigenschaften und umgekehrt.For example, several dynamic properties are determined in each case. Embodiments made in connection with a dynamic property apply analogously to several dynamic properties and vice versa.

In einer Ausführungsform ist vorgesehen, dass abhängig von der Klassifizierung ein objektspezifischer Geschwindigkeitsschwellwert als der Objektgeschwindigkeitsschwellwert für den Vergleich vorgegeben wird.In one embodiment, it is provided that, depending on the classification, an object-specific speed threshold value is specified as the object speed threshold value for the comparison.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Bestimmen, ob das detektierte Objekt real ist, objektspezifisch durchgeführt werden kann.As a result, for example, the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.

In einer Ausführungsform ist vorgesehen, dass abhängig von der Klassifizierung ein objektspezifischer Referenzwert für den Vergleich mit der ermittelten dynamischen Eigenschaft vorgegeben wird.In one embodiment, it is provided that, depending on the classification, an object-specific reference value is predetermined for the comparison with the determined dynamic property.

In einer Ausführungsform ist vorgesehen, dass ermittelt wird, ob die ermittelte Bewegung für das klassifizierte Objekt plausibel ist.In one embodiment, it is provided that it is determined whether the determined movement is plausible for the classified object.

Diese Ausführungsform basiert auf der Erkenntnis, dass sich unterschiedliche Objekte unterschiedlich bewegen. Eine Person bewegt sich in der Regel anders als ein Kraftfahrzeug. Zum Beispiel kann eine Person auf der Stelle wenden, was ein Kraftfahrzeug in der Regel nicht kann. Personen weisen also beispielsweise andere Bewegungsprofile auf als Kraftfahrzeuge. This embodiment is based on the recognition that different objects move differently. A person usually moves differently than a motor vehicle. For example, a person can turn on the spot, which a motor vehicle usually can not. For example, persons have different movement profiles than motor vehicles.

Mit diesem Wissen kann somit in vorteilhafter Weise effizient geprüft werden, ob die ermittelte Bewegung in zeitlich nacheinander aufgenommenen Videobildern weiterhin dem gleichen Objekttyp zugeordnet werden kann.With this knowledge, it is therefore advantageously possible to efficiently check whether the determined movement in video images recorded consecutively one after the other can still be assigned to the same object type.

Ein erhabenes Objekt kann nicht einmal ein Kraftfahrzeug sein und später ein Fußgänger.A sublime object can not even be a motor vehicle and later a pedestrian.

Ein detektiertes Objekt wird beispielsweise in eine der folgenden Klassen von Objekttypen klassifiziert: Kraftfahrzeug, Fußgänger, Radfahrer, Tier, Kinderwagen, Sonstiges.For example, a detected object is classified into one of the following classes of object types: motor vehicle, pedestrian, cyclist, animal, stroller, miscellaneous.

In einer Ausführungsform ist vorgesehen, dass, wenn das detektierte erhabene Objekt nicht mittels der optischen Flussanalyse verifiziert wurde, eine oder mehrere der folgenden Aktionen gesteuert werden: Anhalten aller innerhalb des Parkplatzes führerlos fahrenden Kraftfahrzeuge, Beordern eines Servicepersonals zu den Videokameras, Durchführen eine Funktionskontrolle der Videokameras, Anpassen einer von innerhalb des Parkplatzes führerlos fahrenden Kraftfahrzeugen abzufahrenden jeweiligen Soll-Trajektorie, um einen den Überlappungsbereich umfassenden Abschnitt des Parkplatzes zu umfahren, Absperren eines den Überlappungsbereich umfassenden Abschnitts des Parkplatzes, Absperren eines den Überlappungsbereich umfassenden Geschosses des Parkplatzes, Senden einer Fehlermeldung an einen Operator über ein Kommunikationsnetzwerk.In one embodiment, when the detected raised object has not been verified by optical flow analysis, one or more of the following actions are controlled: stopping all driverless vehicles within the parking lot, ordering service personnel to the video cameras, performing a functional check of the Video cameras, adjusting a respective target trajectory to be traveled by motor vehicles driving inside the parking lot in order to bypass a section of the parking space comprising the overlapping area, shutting off a section of the parking area comprising the overlap area, shutting off a parking space comprising the overlapping area, sending an error message an operator via a communication network.

Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras verwendet werden, wobei n größer-gleich 3 ist, wobei ein Objekt detektiert wird, wenn basierend auf dem Vergleich ermittelt wird, dass sich bereits ein Überlappungsbereich von den anderen aufgenommenen Überlappungsbereichen unterscheidet oder dass sich mindestens m Überlappungsbereiche von den anderen Überlappungsbereichen unterscheiden, wobei m größer 1 und kleiner n ist, oder dass sich alle n Überlappungsbereiche unterscheiden. Je mehr Kameras verwendet werden und je mehr Überlappungsbereiche sich unterscheiden sollen, desto genauer kann das erfindungsgemäße Konzept, also insbesondere das erfindungsgemäße Verfahren, die Standfläche des erhabenen Objekts eingrenzen.According to one embodiment, it is provided that at least n video cameras are used, where n is greater than or equal to 3, and an object is detected when it is determined based on the comparison that an overlap area already differs from the other recorded overlap areas or at least m differentiate overlap areas from the other overlap areas, where m is greater than 1 and less than n, or that all n overlap areas differ. The more cameras are used and the more overlap areas should differ, the more accurate the concept according to the invention, that is to say in particular the method according to the invention, can narrow down the footprint of the raised object.

Nach einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich relativ zu mindestens einer Videokamera unterschiedlich beleuchtet wird verglichen mit den anderen Videokameras.According to one embodiment, it is provided that the overlapping area is illuminated differently relative to at least one video camera compared to the other video cameras.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass ein Objekt effizient detektiert werden kann. Denn sofern eine Seite des Objekts bevorzugt oder anders beleuchtet wird als andere Seiten des Objekts, so lassen sich in effizienter Weise Unterschiede in den aufgenommenen Videobildern besonders leicht und effizient erkennen.This causes, for example, the technical advantage that an object can be detected efficiently. Because if one side of the object is preferred or illuminated differently than other sides of the object, it is possible to identify differences in the recorded video images in an efficient manner particularly easily and efficiently.

Dass der Überlappungsbereich relativ zu zumindest einer Videokamera unterschiedlich beleuchtet wird verglichen mit den anderen Videokameras, bedeutet zum Beispiel, dass eine Lichtquelle innerhalb des Parkplatzes angeordnet ist, die den Überlappungsbereich aus der Richtung der zumindest einen Videokamera beleuchtet. Aus den Richtungen der anderen Videokameras ist zum Beispiel keine Beleuchtung, also keine weiteren Lichtquellen, vorgesehen oder es sind unterschiedliche Beleuchtungen vorgesehen, beispielsweise Lichtquellen, die mit unterschiedlichen Lichtstärken betrieben werden.That the overlap area is differently illuminated relative to at least one video camera compared to the other video cameras means, for example, that a light source is located within the parking lot that illuminates the overlap area from the direction of the at least one video camera. For example, no illumination, ie no further light sources, is provided from the directions of the other video cameras or different illuminations are provided, for example light sources which are operated with different light intensities.

Gemäß einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich einen Fahrbereich für Kraftfahrzeuge umfasst.According to one embodiment, it is provided that the overlapping area comprises a driving area for motor vehicles.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Fahrbereich effizient überwacht werden kann.This causes, for example, the technical advantage that the driving range can be monitored efficiently.

Nach einer Ausführungsform ist vorgesehen, dass das Vergleichen ein Vergleichen einer jeweiligen Helligkeit der rektifizierten Videobilder umfasst, um Helligkeitsunterschiede als einen Unterschied zu erkennen.In one embodiment, it is contemplated that the comparing comprises comparing a respective brightness of the rectified video images to detect differences in brightness as a difference.

Dadurch wird insbesondere der technische Vorteil bewirkt, dass Unterschiede in den aufgenommenen Überlappungsbereichen effizient erkannt werden können.As a result, the technical advantage in particular that differences in the recorded overlapping areas can be recognized efficiently.

Nach einer Ausführungsform ist vorgesehen, dass der Parkplatz eingerichtet oder ausgebildet ist, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts aus- oder durchzuführen.According to one embodiment, it is provided that the parking space is set up or designed to execute or execute the method for detecting a raised object located within a parking space.

Nach einer Ausführungsform ist vorgesehen, dass das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts mittels des Systems zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts ausgeführt oder durchgeführt wird.According to one embodiment, it is provided that the method for detecting a raised object located within a parking space is carried out or carried out by means of the system for detecting a raised object located within a parking space.

Technische Funktionalitäten des Systems ergeben sich analog aus entsprechenden technischen Funktionalitäten des Verfahrens und umgekehrt. Technical functionalities of the system result analogously from corresponding technical functionalities of the method and vice versa.

Das heißt also insbesondere, dass sich Systemmerkmale aus entsprechenden Verfahrensmerkmalen und umgekehrt ergeben.This means, in particular, that system features result from corresponding process features and vice versa.

Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras vorgesehen sind, wobei n größer-gleich 3 ist.According to one embodiment, it is provided that at least n video cameras are provided, where n is greater than or equal to 3.

Nach einer Ausführungsform ist vorgesehen, dass die Schritte b) und/oder c) mittels einer Datenverarbeitungseinrichtung durchgeführt werden: Das heißt also insbesondere, dass gemäß eine Ausführungsform eine Datenverarbeitungseinrichtung vorgesehen ist, die ausgebildet ist, den Schritt b) und/oder den Schritt c) durchzuführen.According to one embodiment, it is provided that steps b) and / or c) are carried out by means of a data processing device. That is to say, in particular, according to one embodiment, a data processing device is provided which is configured to carry out step b) and / or step c ).

Die Datenverarbeitungseinrichtung umfasst beispielsweise einen oder mehrere Prozessoren, die beispielsweise von zumindest einem der folgenden Elemente umfasst sind: Videokamera respektive Videokameras und/oder Recheneinheit, die verschieden von den Videokameras ist.The data processing device comprises, for example, one or more processors, which are for example comprised by at least one of the following elements: video camera or video cameras and / or arithmetic unit, which is different from the video cameras.

In einer Ausführungsform ist vorgesehen, dass zumindest einer der vorstehend im Zusammenhang mit der Datenverarbeitungseinrichtung aufgeführten Schritte mittels zumindest einer der Videokameras und/oder mittels einer Recheneinheit, die verschieden von den Videokameras ist, durchgeführt wird.In one embodiment, it is provided that at least one of the steps listed above in connection with the data processing device is performed by means of at least one of the video cameras and / or by means of a computing unit which is different from the video cameras.

Durch die Recheneinheit wird zum Beispiel der technische Vorteil bewirkt, dass effizient eine Redundanz geschaffen ist. Wenn die Videokamera die entsprechenden Schritte durchführt, wird beispielsweise der technische Vorteil bewirkt, dass die Videokamera effizient genutzt wird.For example, the computing unit has the technical advantage of efficiently creating redundancy. For example, if the video camera performs the appropriate steps, the technical advantage of using the video camera efficiently is exhibited.

Nach einer Ausführungsform ist eine Beleuchtungseinrichtung vorgesehen. Die Beleuchtungseinrichtung ist ausgebildet, den Überlappungsbereich relativ zu zumindest einer Videokamera unterschiedlich zu beleuchten verglichen mit den anderen Videokameras.According to one embodiment, a lighting device is provided. The illumination device is designed to illuminate the overlapping area differently relative to at least one video camera compared to the other video cameras.

Die Beleuchtungseinrichtung umfasst beispielsweise eine oder mehrere Lichtquellen, die räumlich verteilt innerhalb des Parkplatzes angeordnet sind. Die Lichtquellen sind beispielsweise derart angeordnet, dass der Überlappungsbereich aus unterschiedlichen Richtungen unterschiedlich beleuchtet wird.The illumination device comprises, for example, one or more light sources, which are spatially distributed within the parking space. The light sources are arranged, for example, such that the overlapping area is illuminated differently from different directions.

In einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich spotartig aus einer Vorzugsrichtung beleuchtet wird, beispielsweise mittels der Beleuchtungseinrichtung.In one embodiment, it is provided that the overlapping area is spot-like illuminated from a preferred direction, for example by means of the illumination device.

In einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich aus einer einzigen Richtung beleuchtet wird.In one embodiment, it is provided that the overlapping area is illuminated from a single direction.

Die Lichtquellen sind beispielsweise an einer Decke respektive an einer Säule respektive an einer Wand, allgemein an einem Infrastrukturelement, des Parkplatzes angeordnet.The light sources are arranged, for example, on a ceiling or on a pillar or on a wall, generally on an infrastructure element of the parking lot.

Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras verwendet werden, wobei n größer-gleich 3 ist.According to one embodiment, it is provided that at least n video cameras are used, where n is greater than or equal to 3.

Nach einer Ausführungsform ist vorgesehen, dass ein jeweiliger Überlappungsbereich von genau drei oder von genau vier Videokameras überwacht wird, deren jeweiliger Sichtbereich sich in dem jeweiligen Überlappungsbereich überlappt.According to one embodiment, it is provided that a respective overlapping area is monitored by exactly three or by exactly four video cameras whose respective viewing area overlaps in the respective overlapping area.

In einer Ausführungsform ist vorgesehen, dass mehrere Videokameras vorgesehen sind respektive werden, deren jeweiliger Sichtbereich sich jeweils in einem Überlappungsbereich überlappen. Das heißt also insbesondere, dass hier mehrere Überlappungsbereiche mittels mehrerer Videokameras erfasst, also insbesondere überwacht, werden.In one embodiment, it is provided that a plurality of video cameras are provided, respectively, whose respective viewing area each overlap in an overlapping area. This means, in particular, that here several overlapping areas are detected by means of a plurality of video cameras, that is to say in particular monitored.

Die Formulierung „respektive“ umfasst insbesondere die Formulierung „und/oder“.The wording "respectively" includes in particular the wording "and / or".

Nicht real bedeutet irreal.Not real means unreal.

Nach einer Ausführungsform ist vorgesehen, dass eine respektive mehrere respektive alle Videokameras in einer Höhe von mindestens 2 m, insbesondere 2,5 m, relativ zu einem Boden des Parkplatzes angeordnet sind.According to one embodiment, it is provided that one or more respectively all video cameras are arranged at a height of at least 2 m, in particular 2.5 m, relative to a floor of the parking lot.

Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Überlappungsbereich effizient aufgenommen werden kann.This causes, for example, the technical advantage that the overlapping area can be taken up efficiently.

Die Erfindung wird im Folgenden anhand von bevorzugten Ausführungsbeispielen näher erläutert. Hierbei zeigen

1 ein Ablaufdiagramm eines Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts,
2 ein System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts,
3 einen Parkplatz,
4 zwei Videokameras, die einen Boden eines Parkplatzes überwachen und
5 die zwei Videokameras der 4 bei der Erfassung eines erhabenen Objekts,

The invention will be explained in more detail below with reference to preferred embodiments. Show here

1 a flowchart of a method for detecting a raised object located within a parking lot,
2 a system for detecting a raised object located within a parking lot,
3 a parking lot,
4 two video cameras monitoring a floor of a parking lot and
5 the two video cameras the 4 when detecting a raised object,

Im Folgenden können für gleiche Bezugszeichen gleiche Merkmale verwendet werden.Hereinafter, like features may be used for like reference numerals.

1 zeigt ein Ablaufdiagramm eines Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras, deren jeweiliger Sichtbereich sich in einem Überlappungsbereich überlappt. 1 FIG. 12 is a flowchart of a method of detecting a raised object located within a parking lot using at least two video cameras spatially distributed within the parking lot, the respective viewing area of which overlaps in an overlapping area.

Das Verfahren umfasst die folgenden Schritte:

- Aufnehmen 101 von jeweiligen Videobildern des Überlappungsbereichs mittels der Videokameras,
- Analysieren 103 der aufgenommenen Videobilder, um in den aufgenommenen Videobildern ein erhabenes sich bewegendes Objekt zu detektieren,
- Durchführen 105 einer optischen Flussanalyse der aufgenommenen Videobilder, um bei Detektion eines erhabenen sich bewegenden Objekts in den aufgenommenen Videobildern das detektierte erhabene sich bewegenden Objekt mittels der optischen Flussanalyse zu verifizieren.

The method comprises the following steps:

- Take up 101 of respective video images of the overlapping area by means of the video cameras,
- Analyze 103 the captured video images to detect in the captured video images a raised moving object,
- Carry out 105 an optical flow analysis of the captured video images to verify the detected raised moving object by optical flow analysis upon detection of a raised moving object in the captured video images.

Das Durchführen der optischen Flussanalyse umfasst insbesondere, dass der optische Fluss zwischen zwei zeitlich folgenden Videobildern berechnet oder ermittelt wird.In particular, performing the optical flux analysis comprises calculating or determining the optical flux between two temporally successive video images.

In einer Ausführungsform ist vorgesehen, dass das Durchführen der optischen Flussanalyse ein Überprüfen des optischen Flusses von mehreren oder allen Pixeln der Videobilder und/oder ein Überprüfen des optischen Flusses von mehreren oder allen dem detektierten erhabenen Objekt zugeordneten Pixeln der Videobilder und/oder ein Überprüfen des optischen Flusses von einem Teilbereich der Videobilder respektive des detektierten Objekts umfasst. Das heißt insbesondere, dass der optische Fluss der Pixel respektive der Bereiche bzw. der Positionen des detektierten Objekts auf Basis der Videobilder überprüft wird, ob ein detektiertes Objekt überhaupt möglich ist, also ob ein detektiertes Objekt realistisch, also real, ist.In one embodiment it is provided that performing the optical flow analysis comprises checking the optical flow of several or all pixels of the video images and / or checking the optical flow of several or all pixels of the video images associated with the detected raised object and / or checking the optical flow from a portion of the video images, respectively, of the detected object. This means, in particular, that the optical flow of the pixels or of the regions or of the positions of the detected object is checked on the basis of the video images as to whether a detected object is even possible, ie whether a detected object is realistic, ie real.

Konnte das detektierte erhabene Objekt durch die optische Flussanalyse nicht verifiziert werden, so ist beispielsweise vorgesehen, dass eine oder mehrere der vorstehend bezeichneten Aktionen gesteuert werden.If the detected raised object could not be verified by the optical flow analysis, it is provided, for example, that one or more of the actions described above are controlled.

Ein detektiertes erhabenes Objekt kann beispielsweise wie folgt klassifiziert werden: Kraftfahrzeug, Fußgänger, Radfahrer, Tier, Kinderwagen, Sonstiges.A detected raised object may be classified, for example, as follows: motor vehicle, pedestrian, cyclist, animal, stroller, miscellaneous.

2 zeigt ein System 201 zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts. Das System 201 ist ausgebildet, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts auszuführen oder durchzuführen. 2 shows a system 201 for detecting a raised object located within a parking lot. The system 201 is configured to perform or perform the method of detecting a raised object located within a parking lot.

Das System 201 umfasst beispielsweise:

- mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordnete Videokameras 203, deren jeweiliger Sichtbereich sich in einem Überlappungsbereich überlappt, um ein jeweiliges Videobild des Überlappungsbereichs aufzunehmen, und
- eine Datenverarbeitungseinrichtung 205, die ausgebildet ist, die aufgenommenen Videobilder zu analysieren und/oder den optischen Fluss zu analysieren durchzuführen.

The system 201 includes for example:

- At least two spatially distributed within the parking lot arranged video cameras 203 whose respective viewing area overlaps in an overlap area to capture a respective video image of the overlap area, and
- a data processing device 205 that is configured to analyze the recorded video images and / or to analyze the optical flow.

Die Datenverarbeitungseinrichtung 205 ist beispielsweise ausgebildet, den optischen Fluss zwischen zwei zeitlich folgenden Videobildern zu berechnen oder zu ermitteln.The data processing device 205 For example, it is designed to calculate or determine the optical flow between two temporally following video images.

3 zeigt einen Parkplatz 301. 3 shows a parking lot 301 ,

Der Parkplatz 301 umfasst das System 201 der 2.The parking lot 301 includes the system 201 of the 2 ,

4 zeigt eine erste Videokamera 403 und eine zweite Videokamera 405, die einen Boden 401 eines Parkplatzes überwachen. Die beiden Videokameras 403, 405 sind beispielsweise an einer Decke (nicht gezeigt) angeordnet. 4 shows a first video camera 403 and a second video camera 405 that a floor 401 a parking lot monitor. The two video cameras 403 . 405 For example, they are arranged on a ceiling (not shown).

Die erste Videokamera 403 weist einen ersten Sichtbereich 407 auf. Die zweite Videokamera 405 weist einen zweiten Sichtbereich 409 auf. Die beiden Videokameras 403, 405 sind derart angeordnet, dass sich die beiden Sichtbereiche 407, 409 in einem Überlappungsbereich 411 überlappen. Dieser Überlappungsbereich 411 ist Teil des Bodens 401.The first video camera 403 has a first field of view 407 on. The second video camera 405 has a second field of view 409 on. The two video cameras 403 . 405 are arranged so that the two viewing areas 407 . 409 in an overlap area 411 overlap. This overlap area 411 is part of the soil 401 ,

Unmittelbar links neben der zweiten Videokamera 405 ist eine Lichtquelle 413 angeordnet, die den Überlappungsbereich 411 aus Richtung der zweiten Videokamera 405 beleuchtet.Immediately to the left of the second video camera 405 is a light source 413 arranged the overlapping area 411 from the direction of the second video camera 405 illuminated.

Auf dem Boden 401 befindet sich kein erhabenes Objekt. Das heißt also, dass beide Videokameras 403, 405 den gleichen Überlappungsbereich 411 sehen oder erfassen. Das heißt also, dass die beiden Videokameras 403, 405 die gleiche Bildinformation des Überlappungsbereichs 411 erkennen oder sehen.On the ground 401 there is no raised object. So that means that both video cameras 403 . 405 the same overlap area 411 see or capture. So that means that the two video cameras 403 . 405 the same Image information of the overlapping area 411 recognize or see.

Die beiden Videokameras 403, 405 nehmen jeweils Videobilder des Überlappungsbereichs 411 auf, wobei die Videobilder rektifiziert werden. Wenn sich kein erhabenes Objekt zwischen dem Überlappungsbereich 411 und der Videokamera 403 respektive 405 befindet, so unterscheiden sich die jeweils rektifizierten Videobilder nicht voneinander, zumindest nicht innerhalb einer vorgegebenen Toleranz (der vorbestimmte Toleranzwert). In diesem Fall wird also kein Unterschied erkannt werden, sodass entsprechend auch kein erhabenes Objekt detektiert wird.The two video cameras 403 . 405 each take video pictures of the overlapping area 411 on, wherein the video images are rectified. If there is no raised object between the overlap area 411 and the video camera 403 405 respectively, the rectified video images do not differ from each other, at least not within a predetermined tolerance (the predetermined tolerance value). In this case, therefore, no difference will be detected so that accordingly no raised object is detected.

Der Überlappungsbereich 411 befindet sich zum Beispiel auf einem Fahrbereich des Parkplatzes. Das heißt also beispielsweise, dass auf dem Überlappungsbereich 411 Kraftfahrzeuge fahren können.The overlap area 411 is located, for example, on a driving area of the parking lot. So that means, for example, that on the overlap area 411 Motor vehicles can drive.

5 zeigt die beiden Videokameras 403, 405 bei der Erfassung eines erhabenen Objekts 501. Das erhabene Objekt 501 weist gegenüberliegende Seiten 503, 505 auf: Die Seite 503 wird nachfolgend als die (bezogen auf die Papierebene) rechte Seite bezeichnet. Die Seite 505 wird nachfolgend als die (bezogen auf die Papierebene) linke Seite bezeichnet. 5 shows the two video cameras 403 . 405 when detecting a raised object 501 , The sublime object 501 has opposite sides 503 . 505 on the side 503 is hereinafter referred to as the right-hand side (relative to the paper plane). The page 505 is hereafter referred to as the left-hand side (relative to the paper plane).

In der Regel sehen erhabene Objekte von unterschiedlichen Seiten unterschiedlich aus. Das heißt also, dass das erhabene Objekt 501 von der rechten Seite 503 anders aussieht als von der linken Seite 505.As a rule, raised objects look different from different sides. So that means that the sublime object 501 from the right side 503 looks different than from the left side 505 ,

Das erhabene Objekt 501 befindet sich auf dem Boden 401. Das erhabene Objekt 501 befindet sich zwischen dem Überlappungsbereich 411 und den beiden Videokameras 403, 405.The sublime object 501 is on the ground 401 , The sublime object 501 is located between the overlap area 411 and the two video cameras 403 . 405 ,

Die erste Videokamera 403 erfasst die linke Seite 505 des erhabenen Objekts 501. Die zweite Videokamera 405 erfasst die rechte Seite 503 des erhabenen Objekts 501.The first video camera 403 captures the left side 505 the sublime object 501 , The second video camera 405 captures the right side 503 the sublime object 501 ,

In diesem Fall unterscheiden sich somit die jeweils rektifizierten Videobilder, sodass entsprechend ein Unterschied erkannt wird. Entsprechend wird dann das erhabene Objekt 501 detektiert. Hier sind die Unterschiede größer als der vorbestimmte Toleranzwert.In this case, the respective rectified video images thus differ, so that a difference is detected accordingly. Accordingly, then the sublime object 501 detected. Here, the differences are greater than the predetermined tolerance value.

Durch das Vorsehen der Lichtquelle 413 wird insbesondere bewirkt, dass die rechte Seite 503 stärker beleuchtet wird als die linke Seite 505. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass sich die aufgenommenen und somit auch die rektifizierten Videobilder in ihrer Helligkeit unterscheiden. Helligkeitsunterschiede können effizient detektiert werden, sodass der Unterschied effizient erkannt werden kann, sodass hierüber in vorteilhafter Weise das erhabene Objekt 501 effizient detektiert werden kann.By providing the light source 413 in particular, it causes the right side 503 is illuminated more than the left side 505 , This causes, for example, the technical advantage that the recorded and thus also the rectified video images differ in their brightness. Brightness differences can be detected efficiently, so that the difference can be recognized efficiently, so that advantageously the raised object 501 can be detected efficiently.

Das erhabene Objekt 501 ist zum Beispiel ein Kraftfahrzeug, welches auf dem Boden 401 des Parkplatzes fährt. Die Seiten 503, 505 sind zum Beispiel Vorder- und Rückseiten des Kraftfahrzeugs oder die rechte und linke Seite.The sublime object 501 is for example a motor vehicle which is on the ground 401 of the parking lot drives. The pages 503 . 505 For example, front and rear sides of the vehicle or the right and left sides.

Wenn sich ein nicht-erhabenes, also zweidimensionales oder flaches, Objekt auf dem Boden 401 befindet, so unterscheiden sich die entsprechend rektifizierten Videobilder in der Regel innerhalb einer vorgegebenen Toleranz nicht voneinander. Ein solch zweidimensionales Objekt ist zum Beispiel ein Blatt, Papier oder Laub. Dass in einem solchen Fall sich zwar ein Objekt, wenn auch kein erhabenes Objekt, auf dem Boden 401 befindet, welches gegebenenfalls aufgrund des mangelnden Unterschieds (Unterschiede sind kleiner oder kleiner-gleich als der vorgegebene Toleranzwert.) in den rektifizierten Videobildern nicht detektiert wird, ist hier insofern aus Sicherheitsgründen nicht relevant, da solche nicht erhabenen Objekte in der Regel problemlos durch Kraftfahrzeuge überfahren werden dürfen respektive können. Kraftfahrzeuge können Laub oder Papier überfahren, ohne dass es zu einer gefährlichen Situation oder Kollision kommt im Gegensatz zu einem erhabenen Objekt, welches beispielsweise ein Fußgänger oder ein Radfahrer oder ein Tier oder ein Kraftfahrzeug sein kann. Mit solchen Objekten sollte ein Kraftfahrzeug nicht kollidieren.When a non-elevated, ie two-dimensional or flat, object is on the ground 401 As a rule, the correspondingly rectified video images do not differ from each other within a given tolerance. Such a two-dimensional object is for example a sheet, paper or foliage. That in such a case, an object, albeit not a sublime object, on the ground 401 If necessary, due to the lack of difference (differences are smaller or smaller than the predetermined tolerance value.) Not detected in the rectified video images is not relevant here for safety reasons, since such non-raised objects usually run over easily by motor vehicles may or may be allowed. Motor vehicles can run over leaves or paper without causing a dangerous situation or collision, in contrast to a raised object, which may be, for example, a pedestrian or a cyclist or an animal or a motor vehicle. A motor vehicle should not collide with such objects.

Mittels der Videokameras 403, 405 werden Videobilder aufgenommenen, die gemäß den vorstehenden Ausführungen analysiert werden, um ein erhabenes Objekt in den Videobildern zu detektieren.By means of video cameras 403 . 405 For example, video images are analyzed which are analyzed as described above to detect a raised object in the video images.

Ein erhabenes Objekt wird unter Verwendung einer optischen Flussanalyse der Videobilder verifiziert. Sofern dies nicht möglich sein sollte, wird bestimmt, dass das detektierte erhabene Objekt nicht real ist.A raised object is verified using optical flow analysis of the video images. If this is not possible, it is determined that the detected raised object is not real.

Beispielsweise sind ein oder mehrere Kriterien vorgesehen, die, wenn sie erfüllt sind, dazu führen, dass gemäß der Analyse ein Objekt in den Videobildern detektiert wird.For example, one or more criteria are provided which, when met, result in an object being detected in the video images according to the analysis.

Ein Kriterium ist zum Beispiel, dass ein unterschiedliches rektifiziertes Videobild einer einzigen Videokamera bereits beispielsweise ausreicht, um ein erhabenes Objekt unabhängig davon zu detektieren, ob die anderen Videokameras unterschiedliche oder gleiche Videobilder aufnehmen.For example, one criterion is that a different rectified video image from a single video camera is already sufficient, for example, to detect a raised object regardless of whether the other video cameras are recording different or the same video images.

Ein anderes Kriterium ist zum Beispiel, dass alle Videokameras ein unterschiedliches Videobild aufnehmen müssen, um ein erhabenes Objekt zu detektieren.Another criterion is, for example, that all video cameras have a different video image to detect a raised object.

Ein weiteres Kriterium ist zum Beispiel, dass bei n Videokameras, wobei n größer-gleich 3, m Videokameras jeweils ein unterschiedliches Videobild aufnehmen müssen, wobei m größer 1 und kleiner n ist, um ein erhabenes Objekt unabhängig davon zu detektieren, ob die anderen Videokameras unterschiedliche oder gleiche Videobilder aufnehmen.Another criterion is, for example, that for n video cameras where n is greater than or equal to 3, m video cameras must each capture a different video image, where m is greater than 1 and less than n to detect a raised object regardless of whether the other video cameras record different or the same video pictures.

Die Information, dass ein Objekt detektiert wurde, wird beispielsweise an ein Parkplatzverwaltungssystem gemeldet oder gesendet. Das Parkplatzverwaltungssystem verwendet beispielsweise diese Information für die Planung oder Verwaltung eines Betriebs des Parkplatzes. Das Parkplatzverwaltungssystem betreibt also beispielsweise den Parkplatz basierend auf der Information.The information that an object has been detected is reported or sent, for example, to a parking lot management system. For example, the parking management system uses this information for planning or managing an operation of the parking lot. The parking management system thus operates, for example, the parking lot based on the information.

Diese Information wird beispielsweise bei einer Fernsteuerung eines Kraftfahrzeugs verwendet, welches sich innerhalb des Parkplatzes befindet. Das heißt also beispielsweise, dass das Parkplatzverwaltungssystem basierend auf dem oder den detektierten Objekten ein Kraftfahrzeug innerhalb des Parkplatzes fernsteuert.This information is used for example in a remote control of a motor vehicle, which is located within the parking lot. This means, for example, that the parking management system remotely controls a motor vehicle within the parking space based on the detected object (s).

Diese Information wird beispielsweise an innerhalb des Parkplatzes autonom fahrende Kraftfahrzeuge über ein drahtloses Kommunikationsnetzwerk übermittelt.This information is transmitted, for example, to motor vehicles traveling autonomously within the parking space via a wireless communication network.

Die Erfindung basiert also insbesondere auf dem Gedanken, von Videokameras zeitlich nach einander aufgenommene Videobilder zu analysieren und bei einer Objektdetektion das detektierte erhabene Objekt mittels einer optischen Flussanalyse der aufgenommenen Videobilder zu verifizieren. Die Videokameras sind innerhalb eines Parkplatzes, der beispielsweise als ein Parkhaus oder als eine Parkgarage ausgebildet sein kann, räumlich verteilt derart angeordnet, dass beispielsweise jeder Punkt eines Fahrbereichs von mindestens zwei, beispielsweise mindestens drei, Videokameras gesehen oder erfasst respektive überwacht wird. Das heißt also, dass sich die jeweiligen Sichtbereiche jeweils in Überlappungsbereiche überlappen, wobei die Überlappungsbereiche den Fahrbereich abdecken. Die aufgenommenen Videobilder werden beispielsweise vor dem Vergleich rektifiziert.The invention is thus based in particular on the idea of analyzing video images recorded in temporal succession and of verifying the detected raised object by means of an optical flow analysis of the recorded video images during object detection. The video cameras are arranged spatially distributed within a parking space, which may be designed, for example, as a parking garage or as a parking garage, such that each point of a travel area is viewed or recorded or monitored by at least two, for example at least three, video cameras. This means that the respective viewing areas each overlap in overlapping areas, the overlapping areas covering the driving area. The recorded video images are rectified, for example, before the comparison.

Die entsprechenden rektifizierten Videobilder der Videokameras werden miteinander verglichen. Beispielsweise ist vorgesehen, dass, wenn alle Videokameras im Fahrbereich die gleiche Bildinformation an einer bestimmten Stelle oder an einem bestimmten Punkt sehen, bestimmt wird, dass sich auf dem jeweiligen Sichtstrahl zwischen der bestimmten Stelle und den Videokameras kein Objekt befindet. Insofern wird auch kein Objekt detektiert. Unterscheidet sich allerdings beispielsweise die Bildinformation einer Videokamera an dieser Stelle von den anderen Videokameras, so ist klar, dass sich auf dem Sichtstrahl dieser einen Videokamera ein erhabenes Objekt befinden muss. Insofern wird ein erhabenes Objekt detektiert.The corresponding rectified video images of the video cameras are compared with each other. For example, it is provided that if all video cameras in the driving range see the same image information at a certain point or at a certain point, it is determined that there is no object on the respective visual beam between the specific point and the video cameras. In this respect, no object is detected. However, if, for example, the image information of a video camera differs from the other video cameras at this point, then it is clear that there must be a raised object on the viewing beam of this one video camera. In this respect, a raised object is detected.

Die Formulierungen „gleiche Bildinformation“ respektive „identische Bildinformation“ im Sinne dieser Beschreibung umfassen insbesondere auch den Fall, dass sich die Bildinformationen maximal um einen vorbestimmten Toleranzwert unterscheiden. Erst Unterschiede, die größer als der vorbestimmte Toleranzwert ist, resultieren in einer Detektion eines Objekts. Das heißt also insbesondere, dass geringe Unterschiede in der Helligkeits- und/oder Farbinformation zulässig sind, um die Aussage zu treffen, dass die Bildinformation gleich respektive identisch ist, solange die Unterschiede kleiner als der vorbestimmte Toleranzwert sind.The terms "identical image information" or "identical image information" in the sense of this description also include in particular the case where the image information differs at most by a predetermined tolerance value. Only differences greater than the predetermined tolerance value result in a detection of an object. This means, in particular, that small differences in the brightness and / or color information are permissible in order to make the statement that the image information is identical or identical as long as the differences are smaller than the predetermined tolerance value.

Das heißt also insbesondere, dass beispielsweise eine Toleranz vorgegeben wird respektive ist, um die sich die rektifizierten Videobilder unterscheiden dürfen, ohne dass ein erhabenes Objekt detektiert wird. Erst wenn die Unterschiede größer als die vorgegebene Toleranz sind, wird ein erhabenes Objekt detektiert.That means, in particular, that, for example, a tolerance is specified or is the one by which the rectified video images may differ without a raised object being detected. Only when the differences are greater than the predetermined tolerance, a raised object is detected.

Das heißt also insbesondere, dass gemäß einer Ausführungsform erst dann ein Objekt detektiert wird, wenn die Unterschiede in den rektifizierten Videobildern größer als eine vorgegebene Toleranz respektive ein vorbestimmter Toleranzwert sind.This means in particular that according to one embodiment, an object is detected only when the differences in the rectified video images are greater than a predetermined tolerance or a predetermined tolerance value.

Beispielsweise ist vorgesehen, dass sich ein autonom oder ferngesteuert fahrendes Kraftfahrzeug innerhalb des Parkplatzes auf vorher festgelegten Flächen, dem Fahrbereich, bewegt. Die Videokameras sind beispielsweise derart angeordnet, dass sich ihre Sichtbereiche im Fahrbereich überlappen. Diese Überlappung ist derart gewählt, dass jeder Punkt auf den Begrenzungsflächen (zum Beispiel Boden, Wand) im Fahrbereich von mindestens drei Videokameras gesehen oder überwacht wird. Insbesondere ist die Anordnung derart gewählt, dass jeder Punkt auf der Begrenzungsfläche aus unterschiedlichen Perspektiven betrachtet oder überwacht wird.For example, it is provided that an autonomously or remotely controlled motor vehicle within the parking lot on predetermined areas, the driving range moves. The video cameras are arranged, for example, such that their viewing areas overlap in the driving range. This overlap is chosen so that each point on the boundary surfaces (eg floor, wall) in the driving range is viewed or monitored by at least three video cameras. In particular, the arrangement is chosen such that each point on the boundary surface is viewed or monitored from different perspectives.

Das heißt also insbesondere, dass der Überlappungsbereich mittels der Videokameras aus unterschiedlichen Richtungen erfasst respektive aufgenommen wird.This means, in particular, that the overlapping area is detected or recorded by the video cameras from different directions.

Von jedem einzelnen Punkt der Begrenzungsfläche lassen sich nun die Sichtstrahlen zu den beispielsweise drei Videokameras verfolgen, die diesen Punkt sehen. Sofern mehr Videokameras zur Verfügung stehen sollten, so ist beispielsweise vorgesehen, dass aus den mehreren Kameras drei Videokameras mit möglichst unterschiedlichen Perspektiven ausgewählt werden.From each individual point of the boundary surface, the visual beams can now be tracked to, for example, three video cameras, which see this point. If more video cameras should be available, so for example provided that from the multiple cameras three video cameras are selected with different perspectives.

Befindet sich kein erhabenes Objekt auf den Sichtstrahlen der Videokameras zu diesem Punkt, so sehen alle Videokameras die gleiche Bildinformation respektive Bildinformationen, die sich maximal um einen vorbestimmten Toleranzwert unterscheiden (vgl. 4).If there is no raised object on the visual beams of the video cameras at this point, then all the video cameras see the same image information or image information which differ at most by a predetermined tolerance value (cf. 4 ).

Ändert sich beispielsweise eine Helligkeit oder eine Farbe der Oberfläche des Bodens, beispielsweise wenn der Boden durch Nässeeintrag feucht ist, so stört dies eine Detektion der Begrenzungsfläche nicht, insofern alle Videokameras die gleiche geänderte Helligkeit oder Farbe sehen. Liegt beispielsweise ein zweidimensionales Objekt, beispielsweise ein Blatt, Papier oder Laub, auf dem Boden, so wird dieses nicht erhabene gemäß dem erfindungsgemäßen Konzept in der Regel nicht detektiert, da alle Videokameras die gleiche Bildinformation respektive Bildinformationen, die sich maximal um einen vorbestimmten Toleranzwert unterscheiden, sehen. Dies ist insofern aus Sicherheitsgründen nicht kritisch, da solche zweidimensionalen Objekte von Kraftfahrzeugen problemlos überfahren werden dürfen.For example, if a brightness or a color of the surface of the floor changes, for example, if the floor is wet by moisture, this does not interfere with detection of the boundary surface inasmuch as all the video cameras see the same changed brightness or color. If, for example, a two-dimensional object, for example a sheet, paper or foliage, is lying on the ground, then this sublime is generally not detected according to the concept according to the invention, since all video cameras have the same image information or image information that differ at most by a predetermined tolerance value , see. This is not critical for safety reasons insofar as such two-dimensional objects of motor vehicles may be easily run over.

Sofern sich ein erhabenes Objekt im Fahrbereich (vgl. beispielsweise 5) befindet, treffen die Sichtstrahlen der Videokameras nicht mehr wie erwartet auf die Begrenzungsfläche (Überlappungsbereich), sondern sehen unterschiedliche Ansichten des erhabenen Objekts und nehmen somit unterschiedliche Videobilder auf.Provided that a raised object in the driving range (cf., for example 5 ), the visual beams of the video cameras no longer meet the boundary surface (overlap area) as expected, but see different views of the raised object and thus record different video images.

Ein erhabenes Objekt ist beispielsweise eine Person oder ein Kraftfahrzeug.A sublime object is, for example, a person or a motor vehicle.

So sieht zum Beispiel eine Videokamera die Vorderseite des Objekts, während die andere Videokamera die Rückseite des Objekts sieht. In der Regel unterscheiden sich die beiden Seiten signifikant und das erhabene Objekt kann somit detektiert werden, insofern sich die aufgenommenen Videobilder unterscheiden. Dieser Effekt lässt sich beispielsweise durch eine einseitig hellere Beleuchtung der Szene, also des Überlappungsbereichs, verstärken, sodass ein Übersehen von erhabenen Objekten effizient ausgeschlossen werden kann. Durch eine unterschiedliche Beleuchtung der verschiedenen Seiten eines Objekts erscheint dieses Objekt auf der stärker beleuchteten Seite heller als auf der schwach beleuchteten Seite, sodass die Videokameras unterschiedliche Bildinformationen sehen. Dies gilt selbst für einfarbige Objekte.For example, one video camera sees the front of the object while the other video camera sees the back of the object. As a rule, the two sides differ significantly and the raised object can thus be detected insofar as the recorded video images differ. This effect can be enhanced, for example, by brighter illumination of the scene on one side, ie of the overlapping area, so that an overlook of raised objects can be efficiently excluded. By differently illuminating the different sides of an object, this object appears brighter on the more illuminated side than on the dimly lit side, so that the video cameras see different image information. This is true even for monochrome objects.

Das erfindungsgemäße Konzept (räumlich verteilte Anordnung der Videokameras mit entsprechendem Überlappungsbereich, beispielhafte Beleuchtung der Szene Analyse und Durchführen einer optischen Flussanalyse der aufgenommenen Videobilder) ermöglicht es in vorteilhafter Weise, dass effizient bestimmt werden kann, ob ein detektiertes erhabenes Objekt tatsächlich real ist, was in der Summe dazu führt, dass erhabene Objekte effizient detektiert oder erkannt werden können. Das erfindungsgemäße Konzept ist insbesondere sehr robust gegenüber Helligkeitsänderungen oder punktuellen Änderungen der Helligkeit, beispielsweise durch Sonneneinstrahlung.The inventive concept (spatially distributed arrangement of the video cameras with a corresponding overlapping area, exemplary illumination of the scene analysis and performing an optical flow analysis of the recorded video images) advantageously makes it possible to efficiently determine whether a detected raised object is actually real, which the sum leads to the fact that raised objects can be detected or detected efficiently. The inventive concept is in particular very robust against changes in brightness or point changes in brightness, for example due to solar radiation.

Das erfindungsgemäße Konzept sieht also insbesondere folgenden Ablauf vor:

1. Ermitteln der erhabenen Objekte (Analyse gemäß dem Schritt b)).
2. Ermitteln der optischen Flussinformationen (Schritt c)).
3. Verifikation des Ergebnisses gemäß 1. Durch das Ergebnis gemäß 2.

The inventive concept thus provides in particular the following sequence:

1. Determine the raised objects (analysis according to step b)).
2. Determine the optical flow information (step c)).
3. Verification of the result according to 1. By the result according to 2.

Das erfindungsgemäße Konzept weist insbesondere den Vorteil auf, das eine Sicherheit aufgrund eine Eigenüberprüfung über die Zeit effizient erhöht werden kann.In particular, the concept according to the invention has the advantage that a security can be efficiently increased over time due to a self-examination.

Das erfindungsgemäße Konzept weist insbesondere den Vorteil auf, das eine Sicherheit durch realistische / mögliche Bewegungsprofile von detektierten erhabenen Objekten effizient erhöht werden kann.In particular, the concept according to the invention has the advantage that security can be efficiently increased by realistic / possible movement profiles of detected raised objects.

Die Information, dass ein erhabenes Objekt detektiert wird, kann beispielsweise an ein übergeordnetes Regelsystem übergeben werden. Dieses Regelsystem kann beispielsweise ein ferngesteuertes Kraftfahrzeug stoppen oder ein Stoppsignal an ein autonom fahrendes Kraftfahrzeug senden, sodass diese Kraftfahrzeuge vor dem erhabenen Objekt noch rechtzeitig anhalten können. Das Regelsystem ist beispielsweise von dem Parkplatzverwaltungssystem umfasst.The information that a raised object is detected, for example, can be passed to a higher-level control system. This control system can, for example, stop a remote-controlled motor vehicle or send a stop signal to an autonomously driving motor vehicle so that these motor vehicles can stop in time before the raised object. The control system is included, for example, by the parking lot management system.

Somit kann das erfindungsgemäße Konzept in vorteilhafter Weise auch im AVP-Bereich eingesetzt werden. „AVP“ steht für „Automated Valet Parking“ und kann mit „automatischer Parkvorgang“ übersetzt werden. Im Rahmen eines solchen AVP-Vorgangs ist insbesondere vorgesehen, dass Kraftfahrzeuge automatisch innerhalb eines Parkplatzes geparkt werden und nach Ende einer Parkdauer automatisch von ihrer Parkposition zu einer Abholposition geführt werden, an welcher das Kraftfahrzeug von seinem Besitzer abgeholt werden kann.Thus, the inventive concept can be advantageously used in the AVP area. "AVP" stands for "Automated Valet Parking" and can be translated as "automatic parking". In the context of such an AVP process, provision is made in particular for motor vehicles to be parked automatically within a parking space and to be guided automatically from their parking position to a pick-up position at the end of a parking period, at which the motor vehicle can be picked up by its owner.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102015201209 A1 [0002]

Claims

Method for detecting a raised object (501) located within a parking space (301) using at least two video cameras (203) distributed spatially within the parking space (301), whose respective viewing area (407, 409) is located in an overlapping area (411 ) overlaps, comprising the following steps: a) taking (101) respective video images of the overlapping area (411) by means of the video cameras (203), b) analyzing (103) the captured video images to detect a raised moving object in the captured video images, c) performing (105) an optical flow analysis of the captured video images to verify the detected moving raised object by optical flow analysis upon detection of a moving raised object in the captured video images.

Method according to Claim 1 wherein step c) comprises checking whether there is optical flow at locations in the captured video images at which no elevated object has been detected based on the analysis of step b).

Method according to Claim 1 or 2 wherein step c) (105) comprises determining optical flow vectors associated with the detected raised object, wherein the optical flow vectors are checked for plausibility to verify the detected raised object by means of optical flow analysis.

Method according to Claim 3 wherein checking the optical flow vectors for plausibility comprises checking whether the optical flow vectors are different and, if so, determining a corresponding difference between the flow vectors, wherein the detected raised object is verified depending on the determined difference.

Method according to Claim 3 or 4 in that, if the checking of the optical flow vectors for plausibility shows that at least two of the optical flow vectors point in opposite directions, it is determined that the detected raised object is not real, so that the detected raised object is not verified by the optical flow analysis.

Method according to one of the preceding claims, wherein the step c) (105) comprises determining an object speed, wherein the determined object speed is compared with a predetermined object speed threshold, it being determined depending on the comparison, whether the detected raised object is real.

Method according to one of the preceding claims, wherein the step c) (105) comprises determining a movement of the detected raised object, wherein it is determined whether the movement of the detected raised object is plausible, wherein it is determined whether the detected sublime object is real.

Method according to one of the preceding claims, wherein the step c) (105) comprises a classification of the detected raised object, wherein it is determined depending on the classification, whether the detected raised object is real.

Method according to one of the preceding claims as far back to Claim 6 and up Claim 8 in which, depending on the classification, an object-specific speed threshold value is specified as the object speed threshold value for the comparison.

Method according to one of the preceding claims as far back to Claim 7 and up Claim 8 in which it is determined whether the determined movement is plausible for the classified object.

Method according to one of the preceding claims, wherein, if the detected raised object has not been verified by the optical flow analysis, one or more of the following actions are controlled: stopping all motor vehicles driving inside the parking lot (301), ordering a service person to the video cameras ( 203), performing a functional check of the video cameras (203), adjusting a respective target trajectory to be traveled by motor vehicles driving inside the parking lot (301) to bypass a portion of the parking space (301) comprising the overlapping area (411), shutting off the Overlapping area (411) of the parking lot (301), shutting off a parking space (301) comprising the overlapping area (411), sending an error message to an operator via a communication network.

Method according to one of the preceding claims, wherein for detecting a raised object in the recorded video images according to the analysis according to step b) (103) the following steps are provided: - rectifying the recorded video images, - comparing the respective rectified video image with one another by a difference Detecting a raised moving object based on the comparison.

Method according to one of the preceding claims, wherein the overlapping region (411) comprises a driving range for motor vehicles.

A system (201) for detecting a raised object (501) located within a parking lot (301), the system (201) being arranged to perform the method of any preceding claim.

Parking lot (301) comprising the system (201) Claim 14 ,

Computer program comprising program code for performing the method according to one of Claims 1 to 13 when the computer program is running on a computer.