EP3545506A1 - Method and system for detecting a raised object located within a parking area - Google Patents

Method and system for detecting a raised object located within a parking area

Info

Publication number
EP3545506A1
EP3545506A1 EP17780746.8A EP17780746A EP3545506A1 EP 3545506 A1 EP3545506 A1 EP 3545506A1 EP 17780746 A EP17780746 A EP 17780746A EP 3545506 A1 EP3545506 A1 EP 3545506A1
Authority
EP
European Patent Office
Prior art keywords
detected
raised object
raised
video images
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17780746.8A
Other languages
German (de)
French (fr)
Inventor
Stefan Nordbruch
Felix Hess
Andreas Lehn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3545506A1 publication Critical patent/EP3545506A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the invention relates to a method for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space.
  • the invention further relates to a system for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space.
  • the invention further relates to a parking lot.
  • the invention further relates to a computer program.
  • the published patent application DE 10 2015 201 209 A1 shows a valet parking system for the automatic transfer of a vehicle from a transfer zone to an assigned parking space within a predetermined parking space.
  • the known system comprises a parking space monitoring system with at least one stationarily arranged sensor unit.
  • the parking lot monitoring system is designed to run within the given parking space
  • the object on which the invention is based is to provide a concept for the efficient detection of a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space. This object is achieved by means of the subject matter of the independent claims. Advantageous embodiments of the invention are the subject of each dependent subclaims.
  • Overlapping area overlaps comprising the following steps:
  • Detection of a raised object the detected raised object is real.
  • a system for detecting a raised object located within a parking lot the system being configured to perform the method of detecting a raised object located within a parking lot.
  • a parking lot which includes the system for detecting a raised object located within a parking lot.
  • a computer program comprising program code for performing the method of detecting a raised object located within a parking lot when the computer program is executed on a computer.
  • the invention is based on the finding that the above object can be achieved by the fact that based on successively recorded
  • Video images is checked whether an initially detected raised object real is or not. This means, in particular, that a result, which was determined based on the video images recorded for the first time, wherein the result indicates that a raised object was detected, is verified or checked by temporal tracking of the first detected object.
  • the object detected for the first time can be made efficiently plausible. For, as a rule, it is the case, for example, that an object can not suddenly disappear.
  • the object, if it is actually real, should also be detected in an analysis of video images taken in time to the video image in which the object was first detected, and there, for example, have the same properties as before.
  • the technical advantage is achieved that false alarms can be reduced or avoided, which advantageously allows efficient operation of the parking lot and, for example, an efficient operation of driving without drivers within the parking lot
  • the technical advantage is achieved that objects can be recognized efficiently, so that a collision with such objects can be prevented.
  • the technical advantage is brought about that a concept for efficiently detecting a raised object located within a parking lot can be provided.
  • the video images are transformed into a bird's eye view, so be rectified.
  • the rectified video images are then compared. For example, if all of the rectified video images of the overlap area have no differences, ie are the same or identical, or have differences which are at most a predetermined tolerance value
  • Video camera is not the same as the other video cameras.
  • Video image of the other video cameras to distinguish a difference greater than the predetermined tolerance value.
  • a sublime object is detected.
  • a result is determined that indicates that a raised object has been detected.
  • a raised object can be efficiently detected by means of the at least two video cameras.
  • a parking space in the sense of the description is in particular a parking lot for motor vehicles.
  • the parking lot is for example a parking garage or a
  • An object to be detected is located, for example, within a driving path of the parking lot.
  • a raised object refers in particular to an object whose height is at least 10 cm relative to a floor of the parking lot.
  • the raised object is located, for example, on a floor of the
  • Parkplatzes for example, on a roadway or within a
  • Driving range so for example within a driving tube
  • a rectification of the recorded video images comprises in particular respectively a transformation of the recorded ones
  • Video images in the bird's eye view This means, in particular, that the recorded video images are transformed, for example, into a birds-eye view. As a result, the subsequent comparison can be carried out particularly efficiently in an advantageous manner.
  • Video images in the sense of this description also include in particular the case where the image information or the video images differ by a maximum of a predetermined tolerance value.” Only differences greater than the predetermined tolerance value result in a detection of an object small differences in the
  • Brightness and / or color information are allowed to make the statement that the image information or the video images are the same or the same or are identical, as long as the differences are smaller than the predetermined tolerance value.
  • step c) comprises determining an object speed, wherein the determined object speed is compared with a predetermined object speed threshold value, it being determined depending on the comparison whether the detected raised object is real.
  • the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot, certain speeds are usually expected. For example, an object speed of 150 km / h is not plausible. In this case, the detected object is not real.
  • An object speed threshold is, for example, 60 km / h,
  • step c) comprises determining a movement of the detected raised object, wherein it is determined whether the movement of the detected raised object is plausible, it being determined depending on the plausibility check, whether the detected raised object is real ,
  • the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot, certain movements are usually expected. Objects of the order of magnitude of a motor vehicle can not move vertically upward or change direction by 90 °. For smaller objects, no such statement can be made, because, for example, people can jump in the air. Determining the plausibility of the movement is performed, for example, depending on a size of the detected object. Objects that have a size that is in the
  • Magnitude of a motor vehicle is subject, for example, the above-mentioned movement restrictions.
  • step c) comprises determining whether, and if so, at which location in the video images, the detected sublime object moves into the respective video image or moves out of the respective video image.
  • the detected raised object is real if the detected object moves in the edge as a location in the respective video image respectively moves out of the respective video image at the edge as a location.
  • the detected raised object is not real if the detected object appears within the video image in the video image, respectively, disappears within the video image from the video image without having traversed the edge of the video image.
  • This embodiment is based on the recognition that raised objects in a scene (in this case the video images) can only move over the edge of the scene or leave the scene again only via the edge. In the middle of a scene, within the scene, an object can not appear or appear or disappear.
  • the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real.
  • Classifying the detected raised object it is determined depending on the classification, whether the detected raised object is real. As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because within a parking lot usually only certain objects are expected. In addition, the knowledge about the object type or the type of the object can be efficiently used for determining whether the detected object is real.
  • step c) includes checking whether the classification changes over time, wherein determining whether the object is real is performed in response to that check. In particular, when a change is detected, it is determined that the object is not real. Especially if no
  • the classification includes, for example, that a size, that is to say in particular a length and / or a height and / or a width, of the detected object is determined.
  • step c) comprises determining a dynamic property of the detected object, wherein the determined dynamic property of the detected object with a
  • predetermined reference value is determined, it being determined depending on the comparison, whether the detected raised object is real.
  • a dynamic property is, for example, a speed, an acceleration, a direction of movement.
  • an object-specific speed threshold value is determined as the
  • Object speed threshold is specified for the comparison.
  • the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
  • an object-specific reference value is predetermined for the comparison with the determined dynamic property.
  • the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
  • the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
  • This embodiment is based on the recognition that different objects move differently.
  • a person usually moves differently than a motor vehicle.
  • a person can turn on the spot, which a motor vehicle usually can not.
  • persons have different movement profiles than motor vehicles.
  • a sublime object can not even be a motor vehicle and later a pedestrian.
  • a detected object is classified into one of the following classes of object types: motor vehicle, pedestrian, cyclist, animal,
  • Motor vehicles ordering a service personnel to the video cameras, performing a functional check of the video cameras, adjusting a respective target trajectory to be traveled by motor vehicles driving inside the parking lot to bypass a portion of the parking area comprising the overlapping area, shutting off the
  • Overlapping portion of the parking lot shutting off a parking space comprising the overlapping area, sending an error message to an operator via a communication network.
  • n video cameras are used, where n is greater than or equal to 3, wherein an object is detected when, based on the comparison, it is determined that there is already a
  • Overlap range from the other recorded overlap ranges or that at least m overlap ranges are different from the other overlap ranges, where m is greater than 1 and less than n, or that all n overlap ranges are different.
  • the more cameras are used and the more overlap areas should differ the more accurate the concept according to the invention, that is to say in particular the method according to the invention, can narrow down the footprint of the raised object.
  • the overlapping area is illuminated differently relative to at least one video camera compared to the other video cameras. This causes, for example, the technical advantage that an object can be detected efficiently. Because if one side of the object is preferred or illuminated differently than other sides of the object, it is possible to identify differences in the recorded video images in an efficient manner particularly easily and efficiently.
  • That the overlap area is differently illuminated relative to at least one video camera compared to the other video cameras means, for example, that a light source is located within the parking lot that illuminates the overlap area from the direction of the at least one video camera.
  • a light source is located within the parking lot that illuminates the overlap area from the direction of the at least one video camera.
  • no illumination ie no further light sources, is provided from the directions of the other video cameras or different illuminations are provided, for example light sources which are operated with different light intensities.
  • the overlapping area comprises a driving area for motor vehicles.
  • the parking space is set up or designed to execute or execute the method for detecting a raised object located within a parking space.
  • Car parked raised object is executed or carried out.
  • n video cameras are provided, where n is greater than or equal to 3.
  • step b determining a result, whether in the
  • Detecting overlapping areas detecting a raised object based on the comparison. That is to say, in particular, according to one embodiment, a data processing device is provided which is designed to carry out one or more or all of the steps described above.
  • the data processing device comprises, for example, one or more processors, which are for example comprised by at least one of the following elements: video camera or video cameras and / or arithmetic unit, which is different from the video cameras.
  • At least one of the steps listed above in connection with the data processing device is performed by means of at least one of the video cameras and / or by means of a computing unit which is different from the video cameras.
  • the computing unit has the technical advantage of efficiently creating redundancy. If the video camera the
  • the technical advantage causes the video camera is used efficiently.
  • a lighting device is provided.
  • the illumination device is designed to illuminate the overlapping area differently relative to at least one video camera compared to the other video cameras.
  • the lighting device comprises, for example, one or more
  • Light sources which are arranged spatially distributed within the parking lot.
  • the light sources are arranged, for example, such that the
  • Overlapping area is illuminated differently from different directions.
  • the overlapping area is spot-like illuminated from a preferred direction, for example by means of the illumination device.
  • the overlapping area is illuminated from a single direction.
  • the light sources are arranged, for example, on a ceiling or on a pillar or on a wall, generally on an infrastructure element of the parking lot.
  • n is greater than or equal to 3.
  • Overlap area is monitored by exactly three or from exactly four video cameras, their respective field of view in the respective
  • Overlap area overlaps In one embodiment, it is provided that a plurality of video cameras are provided, respectively, whose respective viewing area each overlap in an overlapping area. This means, in particular, that here several overlapping areas are detected by means of a plurality of video cameras, that is to say in particular monitored.
  • one or more respectively all video cameras are arranged at a height of at least 2 m, in particular 2.5 m, relative to a floor of the parking lot.
  • 1 is a flowchart of a method for detecting a raised object located within a parking lot
  • Fig. 4 shows two video cameras that monitor a floor of a parking lot
  • FIG. 5 shows the two video cameras of FIG. 4 in detecting a raised object
  • FIG. 1 shows a flow diagram of a method for detecting a raised object located within a parking space using at least two video cameras spatially distributed within the parking space, the respective viewing area of which overlaps in an overlapping area.
  • the method comprises the following steps:
  • Step 103 or step 105 includes, for example, the following steps:
  • the step of rectification comprises in particular that the recorded video images are transformed into a bird's-eye view. This has the technical advantage in particular that the video images can then be compared efficiently.
  • a detected raised object may be classified, for example, as follows: motor vehicle, pedestrian, cyclist, animal, stroller, miscellaneous.
  • Fig. 2 shows a system 201 for detecting a within a
  • the system 201 is configured to perform or perform the method of detecting a raised object located within a parking lot.
  • the system 201 includes, for example:
  • a data processing device 205 configured to perform one or more of the following steps: step b), step c), determining a result of whether a raised object has been detected in the captured video images, detecting a raised object in the captured video images, determining whether the detected raised object is real, rectifying the captured video image, comparing the respective rectified video image with each other to detect a difference in the captured overlap areas, detecting a raised object based on the comparison.
  • Fig. 3 shows a parking lot 301.
  • the parking lot 301 includes the system 201 of FIG. 2.
  • FIG. 4 shows a first video camera 403 and a second video camera 405 that monitor a floor 401 of a parking lot.
  • the two video cameras 403, 405 are arranged, for example, on a ceiling (not shown).
  • the first video camera 403 has a first viewing area 407.
  • the second video camera 405 has a second viewing area 409.
  • the two Video cameras 403, 405 are arranged such that the two
  • Viewing regions 407, 409 overlap in an overlap region 41 1.
  • This overlapping area 41 1 is part of the floor 401.
  • a light source 413 is arranged, which illuminates the overlap region 41 1 from the direction of the second video camera 405.
  • the two video cameras 403, 405 each take video images of the
  • Overlap area 41 1 wherein the video images are rectified. If there is no raised object between the overlap area 41 1 and the video camera 403 or 405, respectively, the respective rectified video images do not differ from each other, at least not within a predetermined tolerance (the predetermined tolerance value). In this case, therefore, no difference will be detected so that accordingly no raised object is detected.
  • the overlapping area 41 1 is located, for example, on a driving area of the parking lot. So that means, for example, that on the
  • Fig. 5 shows the two video cameras 403, 405 in detecting a raised object 501.
  • the raised object 501 has opposite sides 503, 505:
  • the side 503 is hereinafter referred to as the right side (with respect to the paper plane).
  • Page 505 will be referred to as the
  • the raised object 501 looks different from the right side 503 than the left side 505.
  • the raised object 501 is located on the floor 401.
  • the raised object 501 is located between the overlapping area 41 1 and the two video cameras 403, 405.
  • the first video camera 403 detects the left side 505 of the raised object 501.
  • the second video camera 405 detects the right side 503 of the raised object 501.
  • the respective rectified video images thus differ, so that a difference is correspondingly detected.
  • the raised object 501 is then detected.
  • the differences are greater than the predetermined tolerance value.
  • the provision of the light source 413 causes the right side 503 to be illuminated more strongly than the left side 505. This has the technical advantage, for example, that the recorded and thus rectified video images differ in their brightness.
  • the raised object 501 is, for example, a motor vehicle traveling on the floor 401 of the parking lot.
  • the sides 503, 505 are, for example, front and rear sides of the motor vehicle or the right and left sides.
  • a non-raised, ie two-dimensional or flat, object is located on the floor 401, then the correspondingly rectified video images generally do not differ from each other within a predetermined tolerance.
  • a two-dimensional object is for example a leaf,
  • a raised object is detected in the recorded video images, it is provided, for example, that video images recorded temporally after these video images by the video cameras 403, 405 are analyzed analogously in order to acquire the object detected in the earlier images in these later recorded video images to verify.
  • the first detected object is not detected again, it is determined, for example, that the first detected object is not real.
  • the first raised object is detected, for example, it is provided that a
  • Object speed is determined and / or that both the first detected object and the again detected object are classified.
  • the determined object velocity is greater than a predetermined object velocity threshold, it is determined that the detected raised object is not real.
  • the two classifications should differ, it is determined that the detected raised object is not real.
  • one or more criteria are provided which, when satisfied, result in an object being detected in the video images.
  • one criterion is that a different rectified video image from a single video camera is already sufficient, for example, to detect a raised object regardless of whether the other video cameras are recording different or the same video images.
  • Another criterion is that all video cameras are on
  • Another criterion is, for example, that for n video cameras where n is greater than or equal to 3, m video cameras must each capture a different video image, where m is greater than 1 and less than n to detect a raised object regardless of whether the other video cameras record different or the same video pictures.
  • the information that an object has been detected is reported or sent, for example, to a parking lot management system.
  • the parking management system uses this information for planning or managing an operation of the parking lot.
  • the parking management system operates the parking lot based on the information.
  • This information is for example in a remote control of a
  • Motor vehicle used which is located within the parking lot. This means, for example, that the parking management system remotely controls a motor vehicle within the parking space based on the detected object (s).
  • This information is transmitted, for example, to motor vehicles traveling autonomously within the parking space via a wireless communication network.
  • Video cameras time after each other recorded video images respectively analyze and track the detected raised object in an object detection in time to determine whether the detected object is real.
  • the video cameras are arranged spatially distributed within a parking space, which may be designed, for example, as a parking garage or as a parking garage, such that each point of a driving range is seen or recorded or monitored by at least two, for example at least three, video cameras. This means that the respective viewing areas each overlap in overlapping areas, with the
  • video images are rectified before comparison.
  • the corresponding rectified video images of the video cameras are compared with each other. For example, it is envisaged that if all
  • Video cameras in the driving range see the same image information at a certain point or at a certain point, it is determined that there is no object on the respective visual beam between the specific location and the video cameras. In this respect, no object is detected. However, if, for example, the image information of a video camera differs from the other video cameras at this point, then it is clear that there must be a raised object on the viewing beam of this one video camera. In this respect, a raised object is detected.
  • the temporal video images following these rectified video images are analyzed analogously to these earlier rectified video images, ie in particular rectified and compared with one another. In particular, the result of this comparison is used to determine whether, in object detection based on the previous video images, the corresponding detected raised object is real.
  • Image information in the sense of this description includes in particular also the case that the image information is maximally by a predetermined
  • Image information is identical or identical, as long as the differences are smaller than the predetermined tolerance value.
  • an object is detected only when the differences in the rectified video images are greater than a predetermined tolerance or a predetermined tolerance
  • an autonomously or remotely controlled motor vehicle within the parking lot on predetermined areas the driving range moves.
  • the video cameras are arranged, for example, such that their viewing areas overlap in the driving range. This overlap is chosen so that each point on the boundary surfaces (eg floor, wall) in the driving range is viewed or monitored by at least three video cameras. In particular, the arrangement is chosen such that each point on the boundary surface is viewed or monitored from different perspectives.
  • Sight rays to track for example, three video cameras that see this point. If more video cameras should be available, it is for example provided that three video cameras with as many different perspectives are selected from the several cameras. If no raised object is located on the visual beams of the video cameras at this point, then all the video cameras see the same image information or image information, which differ by a maximum of a predetermined tolerance value (see Fig. 4).
  • a brightness or a color of the surface of the floor changes, for example, if the floor is wet by moisture, this does not interfere with detection of the boundary surface inasmuch as all the video cameras see the same changed brightness or color.
  • a two-dimensional object for example a sheet, paper or foliage, is lying on the ground, then this sublime is generally not detected according to the concept according to the invention since all video cameras have the same image information or image information which is at most a predetermined one
  • the visual beams of the video cameras no longer meet the boundary surface (overlap area) as expected, but instead see different views of the raised object and thus take different views
  • a sublime object is, for example, a person or a motor vehicle.
  • one video camera sees the front of the object while the other video camera sees the back of the object.
  • the two sides differ significantly and the raised object can thus be detected insofar as the recorded video images differ.
  • This effect can be enhanced, for example, by brighter illumination of the scene on one side, ie of the overlapping area, so that an overlook of raised objects can be efficiently excluded.
  • this object appears brighter on the more illuminated side than on the dimly lit side so that the video cameras see different image information. This is true even for monochrome objects.
  • Video cameras with corresponding overlapping area Video cameras with corresponding overlapping area
  • Illumination of the scene and the time tracking or tracking of a detected raised object advantageously makes it possible to efficiently determine whether a detected raised object is actually real, resulting in the sum that raised objects are detected or detected efficiently can.
  • the inventive concept is in particular very robust against changes in brightness or point changes in brightness, for example due to solar radiation.
  • the information that a raised object is detected can be passed to a higher-level control system.
  • This control system may, for example, stop or enter a remote-controlled motor vehicle
  • the control system is included, for example, by the parking lot management system.
  • AVP Automated Valet Parking
  • automatic parking In the context of such an AVP process, provision is made in particular for motor vehicles to be parked automatically within a parking space and to be guided automatically from their parking position to a pick-up position at the end of a parking period, at which the motor vehicle can be picked up by its owner.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Image Processing (AREA)

Abstract

The invention relates to a method for detecting a raised object located within a parking area by means of at least two video cameras which are arranged in a spatially distributed manner within the parking area, the visual ranges of which overlap in an overlapping sector, said method comprising the following steps: recording in each case video images of the overlapping sector by means of the video cameras; analyzing the recorded video images in order to detect a raised object in the recorded video images; determining on the basis of the recorded video images whether during the detection of the raised object said detected raised object is real. The invention further relates to a corresponding system, to a parking area and to a computer program.

Description

Beschreibung Titel  Description title
Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts  Method and system for detecting a raised object located within a parking lot
Die Erfindung betrifft ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise eines Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts. Die Erfindung betrifft ferner ein System zum Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts. Die Erfindung betrifft des Weiteren einen Parkplatz. Die Erfindung betrifft ferner ein Computerprogramm. The invention relates to a method for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space. The invention further relates to a system for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space. The invention further relates to a parking lot. The invention further relates to a computer program.
Stand der Technik State of the art
Die Offenlegungsschrift DE 10 2015 201 209 A1 zeigt ein Valet-Parking System zum automatischen Verbringen eines Fahrzeugs von einer Übergabezone zu einem zugewiesenen Stellplatz innerhalb eines vorgegebenen Parkraums. Das bekannte System umfasst ein Parkplatzüberwachungssystem mit mindestens einer ortsfest angeordneten Sensoreinheit. Das Parkplatzüberwachungssystem ist ausgebildet, die innerhalb des vorgegebenen Parkraums fahrenden The published patent application DE 10 2015 201 209 A1 shows a valet parking system for the automatic transfer of a vehicle from a transfer zone to an assigned parking space within a predetermined parking space. The known system comprises a parking space monitoring system with at least one stationarily arranged sensor unit. The parking lot monitoring system is designed to run within the given parking space
Fahrzeuge zu lokalisieren. Locate vehicles.
Offenbarung der Erfindung Disclosure of the invention
Die der Erfindung zugrunde liegende Aufgabe ist darin zu sehen, ein Konzept zum effizienten Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise eines Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts bereitzustellen. Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen. The object on which the invention is based is to provide a concept for the efficient detection of a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space. This object is achieved by means of the subject matter of the independent claims. Advantageous embodiments of the invention are the subject of each dependent subclaims.
Nach einem Aspekt wird ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras bereitgestellt, deren jeweiliger Sichtbereich sich in einem In one aspect, there is provided a method of detecting a raised object located within a parking lot using at least two video cameras spatially distributed within the parking lot, the respective field of view of which is located in a parking space
Überlappungsbereich überlappt, umfassend die folgenden Schritte: Overlapping area overlaps, comprising the following steps:
a) Aufnehmen von jeweiligen Videobildern des Überlappungsbereichs  a) recording of respective video images of the overlapping area
mittels der Videokameras,  by means of video cameras,
b) Analysieren der aufgenommenen Videobilder, um in den aufgenommenen Videobildern ein erhabenes Objekt zu detektieren,  b) analyzing the recorded video images to detect a raised object in the captured video images,
c) Ermitteln basierend auf den aufgenommenen Videobildern, ob bei  c) determine whether based on the recorded video images
Detektion eines erhabenen Objekts das detektierte erhabene Objekt real ist.  Detection of a raised object the detected raised object is real.
Nach einem anderen Aspekt wird ein System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts bereitgestellt, wobei das System ausgebildet ist, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts durchzuführen. In another aspect, there is provided a system for detecting a raised object located within a parking lot, the system being configured to perform the method of detecting a raised object located within a parking lot.
Nach einem anderen Aspekt wird ein Parkplatz bereitgestellt, welcher das System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts umfasst. In another aspect, a parking lot is provided which includes the system for detecting a raised object located within a parking lot.
Nach noch einem Aspekt wird ein Computerprogramm bereitgestellt, welches Programmcode zur Durchführung des Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts umfasst, wenn das Computerprogramm auf einem Computer ausgeführt wird. In yet another aspect, there is provided a computer program comprising program code for performing the method of detecting a raised object located within a parking lot when the computer program is executed on a computer.
Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe dadurch gelöst werden kann, dass basierend auf zeitlich nacheinander aufgenommenen The invention is based on the finding that the above object can be achieved by the fact that based on successively recorded
Videobildern überprüft wird, ob ein zunächst detektiertes erhabenes Objekt real ist oder nicht. Das heißt insbesondere, dass ein Ergebnis, welches basierend auf den erstmals aufgenommenen Videobildern ermittelt wurde, wobei das Ergebnis angibt, dass ein erhabenes Objekt detektiert wurde, durch ein zeitliches Tracking des erstmalig detektierten Objekts verifiziert oder überprüft wird. Somit kann insbesondere das erstmalig detektierte Objekt effizient plausibilisiert werden. Denn in der Regel ist es beispielsweise so, dass ein Objekt nicht plötzlich verschwinden kann. Das Objekt sollte, sofern es tatsächlich real ist, auch bei einer Analyse von Videobildern detektiert werden, die zeitlich nach dem Videobild aufgenommen wurden, in denen das Objekt erstmalig detektiert wurde, und dort beispielsweise die gleichen Eigenschaften aufweisen wie zuvor. Video images is checked whether an initially detected raised object real is or not. This means, in particular, that a result, which was determined based on the video images recorded for the first time, wherein the result indicates that a raised object was detected, is verified or checked by temporal tracking of the first detected object. Thus, in particular the object detected for the first time can be made efficiently plausible. For, as a rule, it is the case, for example, that an object can not suddenly disappear. The object, if it is actually real, should also be detected in an analysis of video images taken in time to the video image in which the object was first detected, and there, for example, have the same properties as before.
Das heißt also insbesondere, dass basierend auf jeweiligen Auswertungen von jeweils zeitlich nacheinander aufgenommenen Videobildern überprüft wird, ob ein erkanntes, also detektiertes Objekt, real ist, also ob das Objekt überhaupt möglich oder realistisch ist. This means, in particular, that it is checked, based on respective evaluations of video images recorded sequentially in time, whether a detected, ie detected, object is real, ie whether the object is even possible or realistic.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass Fehlalarme reduziert oder vermieden werden können, was in vorteilhafter Weise einen effizienten Betrieb des Parkplatzes ermöglicht und was beispielsweise einen effizienten Betrieb von innerhalb des Parkplatzes führerlos fahrenden As a result, for example, the technical advantage is achieved that false alarms can be reduced or avoided, which advantageously allows efficient operation of the parking lot and, for example, an efficient operation of driving without drivers within the parking lot
Kraftfahrzeugen ermöglicht. Motor vehicles allows.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass Objekte effizient erkannt werden können, so dass ein Kollidieren mit solchen Objekten verhindert werden kann. As a result, for example, the technical advantage is achieved that objects can be recognized efficiently, so that a collision with such objects can be prevented.
Somit wird also der technische Vorteil bewirkt, dass ein Konzept zum effizienten Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts bereitgestellt werden kann. Thus, the technical advantage is brought about that a concept for efficiently detecting a raised object located within a parking lot can be provided.
Gemäß einer Ausführungsform ist vorgesehen, dass zum Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern gemäß der Analyse gemäß dem Schritt b) folgende Schritte vorgesehen sind: According to one embodiment, it is provided that the following steps are provided for detecting a raised object in the recorded video images according to the analysis according to step b):
- Rektifizieren der aufgenommenen Videobilder, - miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen zu erkennen, - rectifying the recorded video images, comparing the respective rectified video image with each other in order to detect a difference in the recorded overlapping areas,
- Detektieren eines erhabenen Objekts basierend auf dem Vergleich.  Detecting a raised object based on the comparison.
Vor einem Vergleich der Videobilder ist insbesondere vorgesehen, dass die Videobilder in die Vogelperspektive transformiert werden, also rektifiziert werden. Die rektifizierten Videobilder werden dann miteinander verglichen. Wenn alle rektifizierten Videobilder des Überlappungsbereichs beispielsweise keine Unterschiede aufweisen, also gleich oder identisch sind, oder Unterschiede aufweisen, die sich um maximal einen vorbestimmten Toleranzwert Before a comparison of the video images is provided in particular that the video images are transformed into a bird's eye view, so be rectified. The rectified video images are then compared. For example, if all of the rectified video images of the overlap area have no differences, ie are the same or identical, or have differences which are at most a predetermined tolerance value
unterscheiden, so kann davon ausgegangen werden, dass sich kein erhabenes Objekt auf der jeweiligen Sichtachse zwischen dem Überlappungsbereich und den Videokameras befindet. Insofern wird kein erhabenes Objekt detektiert. Es wird dann also insbesondere ein Ergebnis ermittelt, das angibt, dass kein erhabenes Objekt detektiert wurde. different, it can be assumed that there is no raised object on the respective visual axis between the overlapping area and the video cameras. In this respect, no raised object is detected. In particular, a result is determined which indicates that no raised object was detected.
Sofern sich aber ein erhabenes Objekt auf einer Sichtachse zwischen dem Überlappungsbereich und einer der Videokameras befindet, sieht diese eineHowever, if there is a raised object on a visual axis between the overlap area and one of the video cameras, this sees one
Videokamera nicht das Gleiche wie die anderen Videokameras. Das Video camera is not the same as the other video cameras. The
entsprechende rektifizierte Videobild wird sich also von dem rektifizierten The corresponding rectified video image will therefore be rectified
Videobild der anderen Videokameras um einen Unterschied größer als der vorbestimmte Toleranzwert unterscheiden. Insofern wird dann ein erhabenes Objekt detektiert. Somit wird also insbesondere ein Ergebnis ermittelt, das angibt, dass ein erhabenes Objekt detektiert wurde. Video image of the other video cameras to distinguish a difference greater than the predetermined tolerance value. In this respect, then a sublime object is detected. Thus, in particular, a result is determined that indicates that a raised object has been detected.
Somit kann also effizient ein erhabenes Objekt mittels der mindestens zwei Videokameras detektiert werden. Thus, therefore, a raised object can be efficiently detected by means of the at least two video cameras.
Ein Parkplatz im Sinne der Beschreibung ist insbesondere ein Parkplatz für Kraftfahrzeuge. Der Parkplatz ist beispielsweise ein Parkhaus oder eine A parking space in the sense of the description is in particular a parking lot for motor vehicles. The parking lot is for example a parking garage or a
Parkgarage. Ein zu detektierendes Objekt befindet sich beispielsweise innerhalb eines Fahrschlauchs des Parkplatzes. Ein erhabenes Objekt bezeichnet insbesondere ein Objekt, dessen Höhe relativ zu einem Boden des Parkplatzes mindestens 10 cm beträgt. Parking garage. An object to be detected is located, for example, within a driving path of the parking lot. A raised object refers in particular to an object whose height is at least 10 cm relative to a floor of the parking lot.
Das erhabene Objekt befindet sich beispielsweise auf einem Boden des The raised object is located, for example, on a floor of the
Parkplatzes, beispielsweise auf einer Fahrbahn oder innerhalb eines Parkplatzes, for example, on a roadway or within a
Fahrbereichs, also beispielsweise innerhalb eines Fahrschlauchs, des  Driving range, so for example within a driving tube, the
Parkplatzes. Das erhabene Objekt befindet sich also beispielsweise innerhalb eines Fahrschlauchs des Parkplatzes. Ein Rektifizieren der aufgenommenen Videobilder umfasst insbesondere respektive ist beispielsweise eine Transformation der aufgenommenen Parking lot. The raised object is thus, for example, within a driving tube of the parking lot. A rectification of the recorded video images comprises in particular respectively a transformation of the recorded ones
Videobilder in die Vogelperspektive. Das heißt also insbesondere, dass die aufgenommenen Videobilder beispielsweise in die Vogelperspektive transformiert werden. Dadurch kann in vorteilhafter Weise der anschließende Vergleich besonders effizient durchgeführt werden. Video images in the bird's eye view. This means, in particular, that the recorded video images are transformed, for example, into a birds-eye view. As a result, the subsequent comparison can be carried out particularly efficiently in an advantageous manner.
Die Formulierungen„Gleiche Bildinformation" respektive„identische The formulations "same image information" respectively "identical
Bildinformation" respektive„gleiche Videobilder" respektive„identische Image information "respectively" same video images "respectively" identical
Videobilder" im Sinne dieser Beschreibung umfassen insbesondere auch den Fall, dass sich die Bildinformationen respektive die Videobilder um maximal einen vorbestimmten Toleranzwert unterscheiden. Erst Unterschiede, die größer als der vorbestimmte Toleranzwert ist, resultieren in einer Detektion eines Objekts. Das heißt also insbesondere, dass geringe Unterschiede in der Video images "in the sense of this description also include in particular the case where the image information or the video images differ by a maximum of a predetermined tolerance value." Only differences greater than the predetermined tolerance value result in a detection of an object small differences in the
Helligkeits- und/oder Farbinformation zulässig sind, um die Aussage zu treffen, dass die Bildinformation respektive die Videobilder gleich respektive identisch ist oder sind, solange die Unterschiede kleiner als der vorbestimmte Toleranzwert sind. Brightness and / or color information are allowed to make the statement that the image information or the video images are the same or the same or are identical, as long as the differences are smaller than the predetermined tolerance value.
Das heißt also insbesondere, dass beispielsweise erst dann ein erhabenes Objekt detektiert wird, wenn sich beispielsweise die Videobilder um einenThis means, in particular, that, for example, a raised object is only detected when, for example, the video images are around one
Unterschied unterscheiden, der größer ist als der vorbestimmte Toleranzwert. Das heißt also insbesondere, dass erst dann ein erhabenes Objekt detektiert wird, wenn sich beispielsweise ein Überlappungsbereich von den anderen Überlappungsbereichen um einen Unterschied unterscheidet, der größer als der vorbestimmte Toleranzwert ist. ln einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer Objektgeschwindigkeit umfasst, wobei die ermittelte Objektgeschwindigkeit mit einem vorbestimmten Objektgeschwindigkeitsschwellwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist. Difference difference, which is greater than the predetermined tolerance value. This means, in particular, that a raised object is only detected when, for example, an overlap area differs from the other overlap areas by a difference that is greater than the predetermined tolerance value. In an embodiment, it is provided that step c) comprises determining an object speed, wherein the determined object speed is compared with a predetermined object speed threshold value, it being determined depending on the comparison whether the detected raised object is real.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn für reale Objekte innerhalb eines Parkplatzes werden in der Regel bestimmte Geschwindigkeiten erwartet. Beispielsweise ist eine Objektgeschwindigkeit von 150 km/h nicht plausibel. In diesem Fall ist das detektierte Objekt nicht real. As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot, certain speeds are usually expected. For example, an object speed of 150 km / h is not plausible. In this case, the detected object is not real.
Das heißt also insbesondere, dass bestimmt wird, dass das detektierte erhabene Objekt real ist, wenn die ermittelte Objektgeschwindigkeit kleiner oder kleinergleich dem vorbestimmten Objektgeschwindigkeitsschwellwert ist, wobei bestimmt wird, dass das detektierte erhabene Objekt nicht real ist, wenn die ermittelte Objektgeschwindigkeit größer oder größer-gleich dem vorbestimmten Objektgeschwindigkeitsschwellwert ist. This means, in particular, that it is determined that the detected raised object is real if the determined object speed is less than or equal to the predetermined object speed threshold value, and it is determined that the detected raised object is not real if the determined object speed is greater or greater. is equal to the predetermined object speed threshold.
Ein Objektgeschwindigkeitsschwellwert ist beispielsweise 60 km/h, An object speed threshold is, for example, 60 km / h,
beispielsweise 50 km/h, insbesondere 40 km/h. For example, 50 km / h, especially 40 km / h.
Diese Ausführungsform basiert also auf der Erkenntnis, dass sich Objekte innerhalb des Parkplatzes in der Regel nur mit einer bestimmten maximalenThis embodiment is based on the recognition that objects within the parking lot usually only with a certain maximum
Geschwindigkeit fortbewegen können. Speed can move.
Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer Bewegung des detektierten erhabenen Objekts umfasst, wobei ermittelt wird, ob die Bewegung des detektierten erhabenen Objekts plausibel ist, wobei abhängig von der Plausibilisierung bestimmt wird, ob das detektierte erhabene Objekt real ist. According to one embodiment, it is provided that step c) comprises determining a movement of the detected raised object, wherein it is determined whether the movement of the detected raised object is plausible, it being determined depending on the plausibility check, whether the detected raised object is real ,
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn für reale Objekte innerhalb eines Parkplatzes werden in der Regel bestimmte Bewegungen erwartet. Objekte in der Größenordnung eines Kraftfahrzeugs können sich nicht senkrecht nach oben bewegen oder ihre Richtung auf der Stelle um 90° ändern. Für kleinere Objekte lässt sich keine solche Aussage treffen, da zum Beispiel Menschen in die Luft springen können. Das Ermitteln der Plausibilität der Bewegung wird beispielsweise abhängig von einer Größe des detektierten Objektes durchgeführt. Objekte, die eine Größe aufweisen, die in der As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot, certain movements are usually expected. Objects of the order of magnitude of a motor vehicle can not move vertically upward or change direction by 90 °. For smaller objects, no such statement can be made, because, for example, people can jump in the air. Determining the plausibility of the movement is performed, for example, depending on a size of the detected object. Objects that have a size that is in the
Größenordnung eines Kraftfahrzeugs liegt, unterliegen beispielsweise den vorstehend bezeichneten Bewegungseinschränkungen. Magnitude of a motor vehicle is subject, for example, the above-mentioned movement restrictions.
In einer Ausführungsform umfasst der Schritt c) ein Ermitteln, ob, und wenn ja, an welchem Ort in den Videobildern sich das detektierte erhabene Objekt in das jeweilige Videobild hineinbewegt respektive aus dem jeweiligen Videobild hinausbewegt. Insbesondere wird bestimmt, dass das detektierte erhabene Objekt real ist, wenn sich das detektierte Objekt am Rand als Ort in das jeweilige Videobild hineinbewegt respektive sich am Rand als Ort aus dem jeweiligen Videobild hinausbewegt. Insbesondere wird bestimmt, dass das detektierte erhabene Objekt nicht real ist, wenn das detektierte Objekt innerhalb des Videobilds im Videobild erscheint respektive innerhalb des Videobilds aus dem Videobild verschwindet, ohne den Rand des Videobilds überquert zu haben. In one embodiment, step c) comprises determining whether, and if so, at which location in the video images, the detected sublime object moves into the respective video image or moves out of the respective video image. In particular, it is determined that the detected raised object is real if the detected object moves in the edge as a location in the respective video image respectively moves out of the respective video image at the edge as a location. In particular, it is determined that the detected raised object is not real if the detected object appears within the video image in the video image, respectively, disappears within the video image from the video image without having traversed the edge of the video image.
Diese Ausführungsform basiert auf der Erkenntnis, dass sich erhabene Objekte in eine Szene (hier die Videobilder) nur über den Rand der Szene bewegen können respektive aus nur über den Rand die Szene wieder verlassen können. Mitten in einer Szene, also innerhalb der Szene, kann ein Objekt nicht einfach erscheinen oder auftauchen respektive verschwinden. This embodiment is based on the recognition that raised objects in a scene (in this case the video images) can only move over the edge of the scene or leave the scene again only via the edge. In the middle of a scene, within the scene, an object can not appear or appear or disappear.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real.
Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein According to one embodiment, it is provided that step c)
Klassifizieren des detektierten erhabenen Objekts umfasst, wobei abhängig von der Klassifizierung bestimmt wird, ob das detektierte erhabene Objekt real ist. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn innerhalb eines Parkplatzes werden in der Regel nur bestimmte Objekte erwartet. Zusätzlich kann das Wissen über den Objekttyp oder die Art des Objekts effizient für das Bestimmen genutzt werden, ob das detektierte Objekt real ist. Classifying the detected raised object, it is determined depending on the classification, whether the detected raised object is real. As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because within a parking lot usually only certain objects are expected. In addition, the knowledge about the object type or the type of the object can be efficiently used for determining whether the detected object is real.
Der Schritt c) umfasst beispielsweise ein Prüfen, ob sich die Klassifizierung über die Zeit ändert, wobei das Bestimmen, ob das Objekt real ist, in Abhängigkeit von diesem Prüfen durchgeführt wird. Insbesondere wenn eine Änderung ermittelt wird, so wird bestimmt, dass das Objekt nicht real ist. Insbesondere wenn keineFor example, step c) includes checking whether the classification changes over time, wherein determining whether the object is real is performed in response to that check. In particular, when a change is detected, it is determined that the object is not real. Especially if no
Änderung ermittelt wird, so wird bestimmt, dass das Objekt real ist. Change is determined, it is determined that the object is real.
Das Klassifizieren umfasst beispielsweise, dass eine Größe, also insbesondere eine Länge und/oder eine Höhe und/oder eine Breite, des detektierten Objekts ermittelt wird. The classification includes, for example, that a size, that is to say in particular a length and / or a height and / or a width, of the detected object is determined.
Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer dynamischen Eigenschaft des detektierten Objekts umfasst, wobei die ermittelte dynamische Eigenschaft des detektierten Objekts mit einem According to one embodiment, it is provided that step c) comprises determining a dynamic property of the detected object, wherein the determined dynamic property of the detected object with a
vorbestimmten Referenzwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist. predetermined reference value is determined, it being determined depending on the comparison, whether the detected raised object is real.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist, da in der Regel übliche Objekte innerhalb eines Parkplatzes bestimmte dynamische Eigenschaften aufweisen. This causes, for example, the technical advantage that it can be efficiently determined whether the detected raised object is real, since usually common objects within a parking space have certain dynamic properties.
Eine dynamische Eigenschaft ist beispielsweise eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung. A dynamic property is, for example, a speed, an acceleration, a direction of movement.
Beispielsweise werden jeweils mehrere dynamische Eigenschaften ermittelt. Ausführungen, die im Zusammenhang mit einer dynamischen Eigenschaft gemacht sind, gelten analog für mehrere dynamische Eigenschaften und umgekehrt. ln einer Ausführungsform ist vorgesehen, dass abhängig von der Klassifizierung ein objektspezifischer Geschwindigkeitsschwellwert als der For example, several dynamic properties are determined in each case. Embodiments made in connection with a dynamic property apply analogously to several dynamic properties and vice versa. In one embodiment it is provided that, depending on the classification, an object-specific speed threshold value is determined as the
Objektgeschwindigkeitsschwellwert für den Vergleich vorgegeben wird. Object speed threshold is specified for the comparison.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Bestimmen, ob das detektierte Objekt real ist, objektspezifisch durchgeführt werden kann. As a result, for example, the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
In einer Ausführungsform ist vorgesehen, dass abhängig von der Klassifizierung ein objektspezifischer Referenzwert für den Vergleich mit der ermittelten dynamischen Eigenschaft vorgegeben wird. In one embodiment, it is provided that, depending on the classification, an object-specific reference value is predetermined for the comparison with the determined dynamic property.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Bestimmen, ob das detektierte Objekt real ist, objektspezifisch durchgeführt werden kann. As a result, for example, the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
In einer Ausführungsform ist vorgesehen, dass ermittelt wird, ob die ermittelte Bewegung für das klassifizierte Objekt plausibel ist. In one embodiment, it is provided that it is determined whether the determined movement is plausible for the classified object.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Bestimmen, ob das detektierte Objekt real ist, objektspezifisch durchgeführt werden kann. As a result, for example, the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
Diese Ausführungsform basiert auf der Erkenntnis, dass sich unterschiedliche Objekte unterschiedlich bewegen. Eine Person bewegt sich in der Regel anders als ein Kraftfahrzeug. Zum Beispiel kann eine Person auf der Stelle wenden, was ein Kraftfahrzeug in der Regel nicht kann. Personen weisen also beispielsweise andere Bewegungsprofile auf als Kraftfahrzeuge. This embodiment is based on the recognition that different objects move differently. A person usually moves differently than a motor vehicle. For example, a person can turn on the spot, which a motor vehicle usually can not. For example, persons have different movement profiles than motor vehicles.
Mit diesem Wissen kann somit in vorteilhafter Weise effizient geprüft werden, ob die ermittelte Bewegung bei Detektion eines erhabenen Objekts in zeitlich nacheinander aufgenommenen Videobildern weiterhin dem gleichen Objekttyp zugeordnet werden kann. With this knowledge, it is therefore advantageously possible to efficiently check whether the determined movement can continue to be assigned to the same object type in the case of detection of a raised object in video images recorded in chronological succession.
Ein erhabenes Objekt kann nicht einmal ein Kraftfahrzeug sein und später ein Fußgänger. Ein detektiertes Objekt wird beispielsweise in eine der folgenden Klassen von Objekttypen klassifiziert: Kraftfahrzeug, Fußgänger, Radfahrer, Tier, A sublime object can not even be a motor vehicle and later a pedestrian. For example, a detected object is classified into one of the following classes of object types: motor vehicle, pedestrian, cyclist, animal,
Kinderwagen, Sonstiges. Baby carriage, miscellaneous.
In einer Ausführungsform ist vorgesehen, dass, wenn das detektierte erhabene Objekt nicht real ist, eine oder mehrere der folgenden Aktionen gesteuert werden: Anhalten aller innerhalb des Parkplatzes führerlos fahrenden In one embodiment, it is contemplated that if the detected raised object is not real, one or more of the following actions are controlled: stopping all of the drivers within the parking lot without drivers
Kraftfahrzeuge, Beordern eines Servicepersonals zu den Videokameras, Durchführen eine Funktionskontrolle der Videokameras, Anpassen einer von innerhalb des Parkplatzes führerlos fahrenden Kraftfahrzeugen abzufahrenden jeweiligen Soll-Trajektorie, um einen den Überlappungsbereich umfassenden Abschnitt des Parkplatzes zu umfahren, Absperren eines den Motor vehicles, ordering a service personnel to the video cameras, performing a functional check of the video cameras, adjusting a respective target trajectory to be traveled by motor vehicles driving inside the parking lot to bypass a portion of the parking area comprising the overlapping area, shutting off the
Überlappungsbereich umfassenden Abschnitts des Parkplatzes, Absperren eines den Überlappungsbereich umfassenden Geschosses des Parkplatzes, Senden einer Fehlermeldung an einen Operator über ein Kommunikationsnetzwerk. Overlapping portion of the parking lot, shutting off a parking space comprising the overlapping area, sending an error message to an operator via a communication network.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass eine Sicherheit für den Parkplatz effizient erhöht werden kann. This causes, for example, the technical advantage that safety for the parking lot can be efficiently increased.
Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras verwendet werden, wobei n größer-gleich 3 ist, wobei ein Objekt detektiert wird, wenn basierend auf dem Vergleich ermittelt wird, dass sich bereits ein According to one embodiment, it is provided that at least n video cameras are used, where n is greater than or equal to 3, wherein an object is detected when, based on the comparison, it is determined that there is already a
Überlappungsbereich von den anderen aufgenommenen Überlappungsbereichen unterscheidet oder dass sich mindestens m Überlappungsbereiche von den anderen Überlappungsbereichen unterscheiden, wobei m größer 1 und kleiner n ist, oder dass sich alle n Überlappungsbereiche unterscheiden. Je mehr Kameras verwendet werden und je mehr Überlappungsbereiche sich unterscheiden sollen, desto genauer kann das erfindungsgemäße Konzept, also insbesondere das erfindungsgemäße Verfahren, die Standfläche des erhabenen Objekts eingrenzen. Overlap range from the other recorded overlap ranges, or that at least m overlap ranges are different from the other overlap ranges, where m is greater than 1 and less than n, or that all n overlap ranges are different. The more cameras are used and the more overlap areas should differ, the more accurate the concept according to the invention, that is to say in particular the method according to the invention, can narrow down the footprint of the raised object.
Nach einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich relativ zu mindestens einer Videokamera unterschiedlich beleuchtet wird verglichen mit den anderen Videokameras. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass ein Objekt effizient detektiert werden kann. Denn sofern eine Seite des Objekts bevorzugt oder anders beleuchtet wird als andere Seiten des Objekts, so lassen sich in effizienter Weise Unterschiede in den aufgenommenen Videobildern besonders leicht und effizient erkennen. According to one embodiment, it is provided that the overlapping area is illuminated differently relative to at least one video camera compared to the other video cameras. This causes, for example, the technical advantage that an object can be detected efficiently. Because if one side of the object is preferred or illuminated differently than other sides of the object, it is possible to identify differences in the recorded video images in an efficient manner particularly easily and efficiently.
Dass der Überlappungsbereich relativ zu zumindest einer Videokamera unterschiedlich beleuchtet wird verglichen mit den anderen Videokameras, bedeutet zum Beispiel, dass eine Lichtquelle innerhalb des Parkplatzes angeordnet ist, die den Überlappungsbereich aus der Richtung der zumindest einen Videokamera beleuchtet. Aus den Richtungen der anderen Videokameras ist zum Beispiel keine Beleuchtung, also keine weiteren Lichtquellen, vorgesehen oder es sind unterschiedliche Beleuchtungen vorgesehen, beispielsweise Lichtquellen, die mit unterschiedlichen Lichtstärken betrieben werden. That the overlap area is differently illuminated relative to at least one video camera compared to the other video cameras means, for example, that a light source is located within the parking lot that illuminates the overlap area from the direction of the at least one video camera. For example, no illumination, ie no further light sources, is provided from the directions of the other video cameras or different illuminations are provided, for example light sources which are operated with different light intensities.
Gemäß einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich einen Fahrbereich für Kraftfahrzeuge umfasst. According to one embodiment, it is provided that the overlapping area comprises a driving area for motor vehicles.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Fahrbereich effizient überwacht werden kann. This causes, for example, the technical advantage that the driving range can be monitored efficiently.
Nach einer Ausführungsform ist vorgesehen, dass das Vergleichen ein According to one embodiment, it is provided that the comparison
Vergleichen einer jeweiligen Helligkeit der rektifizierten Videobilder umfasst, um Helligkeitsunterschiede als einen Unterschied zu erkennen. Comparing a respective brightness of the rectified video images to detect differences in brightness as a difference.
Dadurch wird insbesondere der technische Vorteil bewirkt, dass Unterschiede in den aufgenommenen Überlappungsbereichen effizient erkannt werden können. As a result, the technical advantage in particular that differences in the recorded overlapping areas can be recognized efficiently.
Nach einer Ausführungsform ist vorgesehen, dass der Parkplatz eingerichtet oder ausgebildet ist, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts aus- oder durchzuführen. According to one embodiment, it is provided that the parking space is set up or designed to execute or execute the method for detecting a raised object located within a parking space.
Nach einer Ausführungsform ist vorgesehen, dass das Verfahren zum According to one embodiment, it is provided that the method for
Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts mittels des Systems zum Detektieren eines sich innerhalb eines Detecting a raised located within a parking lot Object by means of the system for detecting a within a
Parkplatzes befindenden erhabenen Objekts ausgeführt oder durchgeführt wird. Car parked raised object is executed or carried out.
Technische Funktionalitäten des Systems ergeben sich analog aus Technical functionalities of the system are analogous
entsprechenden technischen Funktionalitäten des Verfahrens und umgekehrt. corresponding technical functionalities of the procedure and vice versa.
Das heißt also insbesondere, dass sich Systemmerkmale aus entsprechenden Verfahrensmerkmalen und umgekehrt ergeben. Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras vorgesehen sind, wobei n größer-gleich 3 ist. This means, in particular, that system features result from corresponding process features and vice versa. According to one embodiment, it is provided that at least n video cameras are provided, where n is greater than or equal to 3.
Nach einer Ausführungsform ist vorgesehen, dass ein oder mehrere oder alle der folgenden Schritte mittels einer Datenverarbeitungseinrichtung durchgeführt werden: Schritt b), Schritt c), Ermitteln eines Ergebnisses, ob in den According to one embodiment, it is provided that one or more or all of the following steps are performed by means of a data processing device: step b), step c), determining a result, whether in the
aufgenommenen Videobildern ein erhabenes Objekt detektiert wurde, recorded video images a sublime object was detected,
Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern, Bestimmen, ob das detektierte erhabene Objekt real ist, Rektifizieren des aufgenommenen Videobilder, miteinander Vergleichen des jeweiligen Detecting a raised object in the captured video images, determining whether the detected raised object is real, rectifying the captured video image, comparing each other
rektifizierten Videobilds, um einen Unterschied in den aufgenommenen rectified video image to make a difference in the recorded
Überlappungsbereichen zu erkennen, Detektieren eines erhabenen Objekts basierend auf dem Vergleich. Das heißt also insbesondere, dass gemäß eine Ausführungsform eine Datenverarbeitungseinrichtung vorgesehen ist, die ausgebildet ist, ein oder mehrere oder alle der vorstehend bezeichneten Schritte durchzuführen.  Detecting overlapping areas, detecting a raised object based on the comparison. That is to say, in particular, according to one embodiment, a data processing device is provided which is designed to carry out one or more or all of the steps described above.
Die Datenverarbeitungseinrichtung umfasst beispielsweise einen oder mehrere Prozessoren, die beispielsweise von zumindest einem der folgenden Elemente umfasst sind: Videokamera respektive Videokameras und/oder Recheneinheit, die verschieden von den Videokameras ist. The data processing device comprises, for example, one or more processors, which are for example comprised by at least one of the following elements: video camera or video cameras and / or arithmetic unit, which is different from the video cameras.
In einer Ausführungsform ist vorgesehen, dass zumindest einer der vorstehend im Zusammenhang mit der Datenverarbeitungseinrichtung aufgeführten Schritte mittels zumindest einer der Videokameras und/oder mittels einer Recheneinheit, die verschieden von den Videokameras ist, durchgeführt wird. Durch die Recheneinheit wird zum Beispiel der technische Vorteil bewirkt, dass effizient eine Redundanz geschaffen ist. Wenn die Videokamera die In one embodiment, it is provided that at least one of the steps listed above in connection with the data processing device is performed by means of at least one of the video cameras and / or by means of a computing unit which is different from the video cameras. For example, the computing unit has the technical advantage of efficiently creating redundancy. If the video camera the
entsprechenden Schritte durchführt, wird beispielsweise der technische Vorteil bewirkt, dass die Videokamera effizient genutzt wird. Performing appropriate steps, for example, the technical advantage causes the video camera is used efficiently.
Nach einer Ausführungsform ist eine Beleuchtungseinrichtung vorgesehen. Die Beleuchtungseinrichtung ist ausgebildet, den Überlappungsbereich relativ zu zumindest einer Videokamera unterschiedlich zu beleuchten verglichen mit den anderen Videokameras. According to one embodiment, a lighting device is provided. The illumination device is designed to illuminate the overlapping area differently relative to at least one video camera compared to the other video cameras.
Die Beleuchtungseinrichtung umfasst beispielsweise eine oder mehrere The lighting device comprises, for example, one or more
Lichtquellen, die räumlich verteilt innerhalb des Parkplatzes angeordnet sind. Die Lichtquellen sind beispielsweise derart angeordnet, dass der Light sources, which are arranged spatially distributed within the parking lot. The light sources are arranged, for example, such that the
Überlappungsbereich aus unterschiedlichen Richtungen unterschiedlich beleuchtet wird. Overlapping area is illuminated differently from different directions.
In einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich spotartig aus einer Vorzugsrichtung beleuchtet wird, beispielsweise mittels der Beleuchtungseinrichtung. In one embodiment, it is provided that the overlapping area is spot-like illuminated from a preferred direction, for example by means of the illumination device.
In einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich aus einer einzigen Richtung beleuchtet wird. In one embodiment, it is provided that the overlapping area is illuminated from a single direction.
Die Lichtquellen sind beispielsweise an einer Decke respektive an einer Säule respektive an einer Wand, allgemein an einem Infrastrukturelement, des Parkplatzes angeordnet. The light sources are arranged, for example, on a ceiling or on a pillar or on a wall, generally on an infrastructure element of the parking lot.
Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras verwendet werden, wobei n größer-gleich 3 ist. According to one embodiment, it is provided that at least n video cameras are used, where n is greater than or equal to 3.
Nach einer Ausführungsform ist vorgesehen, dass ein jeweiliger According to one embodiment, it is provided that a respective
Überlappungsbereich von genau drei oder von genau vier Videokameras überwacht wird, deren jeweiliger Sichtbereich sich in dem jeweiligen Overlap area is monitored by exactly three or from exactly four video cameras, their respective field of view in the respective
Überlappungsbereich überlappt. In einer Ausführungsform ist vorgesehen, dass mehrere Videokameras vorgesehen sind respektive werden, deren jeweiliger Sichtbereich sich jeweils in einem Überlappungsbereich überlappen. Das heißt also insbesondere, dass hier mehrere Überlappungsbereiche mittels mehrerer Videokameras erfasst, also insbesondere überwacht, werden. Overlap area overlaps. In one embodiment, it is provided that a plurality of video cameras are provided, respectively, whose respective viewing area each overlap in an overlapping area. This means, in particular, that here several overlapping areas are detected by means of a plurality of video cameras, that is to say in particular monitored.
Die Formulierung "respektive" umfasst insbesondere die Formulierung The phrase "respectively" includes in particular the formulation
"und/oder". "and or".
Nicht real bedeutet irreal. Not real means unreal.
Nach einer Ausführungsform ist vorgesehen, dass eine respektive mehrere respektive alle Videokameras in einer Höhe von mindestens 2 m, insbesondere 2,5 m, relativ zu einem Boden des Parkplatzes angeordnet sind. According to one embodiment, it is provided that one or more respectively all video cameras are arranged at a height of at least 2 m, in particular 2.5 m, relative to a floor of the parking lot.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der This causes, for example, the technical advantage that the
Überlappungsbereich effizient aufgenommen werden kann. Die Erfindung wird im Folgenden anhand von bevorzugten Overlapping area can be recorded efficiently. The invention will be described below with reference to preferred
Ausführungsbeispielen näher erläutert. Hierbei zeigen  Embodiments explained in more detail. Show here
Fig. 1 ein Ablaufdiagramm eines Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts, 1 is a flowchart of a method for detecting a raised object located within a parking lot;
Fig. 2 ein System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts, 2 shows a system for detecting a raised object located within a parking lot,
Fig. 3 einen Parkplatz, 3 a parking lot,
Fig. 4 zwei Videokameras, die einen Boden eines Parkplatzes überwachen und Fig. 4 shows two video cameras that monitor a floor of a parking lot and
Fig. 5 die zwei Videokameras der Fig. 4 bei der Erfassung eines erhabenen Objekts, lm Folgenden können für gleiche Bezugszeichen gleiche Merkmale verwendet werden. 5 shows the two video cameras of FIG. 4 in detecting a raised object, FIG. Hereinafter, like features may be used for like reference numerals.
Fig. 1 zeigt ein Ablaufdiagramm eines Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras, deren jeweiliger Sichtbereich sich in einem Überlappungsbereich überlappt. 1 shows a flow diagram of a method for detecting a raised object located within a parking space using at least two video cameras spatially distributed within the parking space, the respective viewing area of which overlaps in an overlapping area.
Das Verfahren umfasst die folgenden Schritte: The method comprises the following steps:
- Aufnehmen 101 eines jeweiligen Videobilds des Überlappungsbereichs mittels der Videokameras, Capturing 101 a respective video image of the overlapping area by means of the video cameras,
- Analysieren 103 der aufgenommenen Videobilder, um in den  - Analyze 103 of the recorded video images to get into the
aufgenommenen Videobildern ein erhabenes Objekt zu detektieren, recorded video images to detect a raised object,
- Ermitteln 105 basierend auf den aufgenommenen Videobildern, ob bei Detektion eines erhabenen Objekts das detektierte erhabene Objekt real ist. Determine 105 based on the captured video images, whether the detected raised object is real in detection of a raised object.
Der Schritt 103 respektive der Schritt 105 umfasst beispielsweise folgende Schritte: Step 103 or step 105 includes, for example, the following steps:
- Rektifizieren der aufgenommenen Videobilder,  - rectifying the recorded video images,
- miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen zu erkennen, comparing the respective rectified video image with each other in order to detect a difference in the recorded overlapping areas,
- Detektieren eines erhabenen Objekts basierend auf dem Vergleich. Detecting a raised object based on the comparison.
Der Schritt des Rektifizierens umfasst insbesondere, dass die aufgenommenen Videobilder in die Vogelperspektive transformiert werden. Dadurch wird insbesondere der technische Vorteil bewirkt, dass die Videobilder anschließend effizient verglichen werden können. The step of rectification comprises in particular that the recorded video images are transformed into a bird's-eye view. This has the technical advantage in particular that the video images can then be compared efficiently.
Ergibt beispielsweise das Ermitteln 105, dass das detektierte Objekt nicht real, also irreal, ist, so ist beispielsweise vorgesehen, dass eine oder mehrere der vorstehend bezeichneten Aktionen gesteuert werden. Ein detektiertes erhabenes Objekt kann beispielsweise wie folgt klassifiziert werden: Kraftfahrzeug, Fußgänger, Radfahrer, Tier, Kinderwagen, Sonstiges. For example, if the determination 105 indicates that the detected object is not real, that is, unreal, then it is provided, for example, that one or more of the actions described above are controlled. A detected raised object may be classified, for example, as follows: motor vehicle, pedestrian, cyclist, animal, stroller, miscellaneous.
Fig. 2 zeigt ein System 201 zum Detektieren eines sich innerhalb eines Fig. 2 shows a system 201 for detecting a within a
Parkplatzes befindenden erhabenen Objekts. Das System 201 ist ausgebildet, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts auszuführen oder durchzuführen. Parking lot located sublime object. The system 201 is configured to perform or perform the method of detecting a raised object located within a parking lot.
Das System 201 umfasst beispielsweise: The system 201 includes, for example:
- mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordnete Videokameras 203, deren jeweiliger Sichtbereich sich in einem - At least two spatially distributed within the parking area arranged video cameras 203 whose respective field of view in a
Überlappungsbereich überlappt, um ein jeweiliges Videobild des  Overlap area overlaps to form a respective video image of the
Überlappungsbereichs aufzunehmen, und  Overlap area, and
- eine Datenverarbeitungseinrichtung 205, die ausgebildet ist, einen oder mehrere der folgenden Schritte durchzuführen: Schritt b), Schritt c), Ermitteln eines Ergebnisses, ob in den aufgenommenen Videobildern ein erhabenes Objekt detektiert wurde, Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern, Bestimmen, ob das detektierte erhabene Objekt real ist, Rektifizieren des aufgenommenen Videobilder, miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen zu erkennen, Detektieren eines erhabenen Objekts basierend auf dem Vergleich.  a data processing device 205 configured to perform one or more of the following steps: step b), step c), determining a result of whether a raised object has been detected in the captured video images, detecting a raised object in the captured video images, determining whether the detected raised object is real, rectifying the captured video image, comparing the respective rectified video image with each other to detect a difference in the captured overlap areas, detecting a raised object based on the comparison.
Fig. 3 zeigt einen Parkplatz 301 . Fig. 3 shows a parking lot 301.
Der Parkplatz 301 umfasst das System 201 der Fig. 2. The parking lot 301 includes the system 201 of FIG. 2.
Fig. 4 zeigt eine erste Videokamera 403 und eine zweite Videokamera 405, die einen Boden 401 eines Parkplatzes überwachen. Die beiden Videokameras 403, 405 sind beispielsweise an einer Decke (nicht gezeigt) angeordnet. 4 shows a first video camera 403 and a second video camera 405 that monitor a floor 401 of a parking lot. The two video cameras 403, 405 are arranged, for example, on a ceiling (not shown).
Die erste Videokamera 403 weist einen ersten Sichtbereich 407 auf. Die zweite Videokamera 405 weist einen zweiten Sichtbereich 409 auf. Die beiden Videokameras 403, 405 sind derart angeordnet, dass sich die beiden The first video camera 403 has a first viewing area 407. The second video camera 405 has a second viewing area 409. The two Video cameras 403, 405 are arranged such that the two
Sichtbereiche 407, 409 in einem Überlappungsbereich 41 1 überlappen. Dieser Überlappungsbereich 41 1 ist Teil des Bodens 401 . Unmittelbar links neben der zweiten Videokamera 405 ist eine Lichtquelle 413 angeordnet, die den Überlappungsbereich 41 1 aus Richtung der zweiten Videokamera 405 beleuchtet. Viewing regions 407, 409 overlap in an overlap region 41 1. This overlapping area 41 1 is part of the floor 401. Immediately to the left of the second video camera 405, a light source 413 is arranged, which illuminates the overlap region 41 1 from the direction of the second video camera 405.
Auf dem Boden 401 befindet sich kein erhabenes Objekt. Das heißt also, dass beide Videokameras 403, 405 den gleichen Überlappungsbereich 41 1 sehen oder erfassen. Das heißt also, dass die beiden Videokameras 403, 405 die gleiche Bildinformation des Überlappungsbereichs 41 1 erkennen oder sehen. On the floor 401 is no raised object. This means that both video cameras 403, 405 see or detect the same overlapping area 41 1. This means that the two video cameras 403, 405 recognize or see the same image information of the overlapping area 41 1.
Die beiden Videokameras 403, 405 nehmen jeweils Videobilder des The two video cameras 403, 405 each take video images of the
Überlappungsbereichs 41 1 auf, wobei die Videobilder rektifiziert werden. Wenn sich kein erhabenes Objekt zwischen dem Überlappungsbereich 41 1 und der Videokamera 403 respektive 405 befindet, so unterscheiden sich die jeweils rektifizierten Videobilder nicht voneinander, zumindest nicht innerhalb einer vorgegebenen Toleranz (der vorbestimmte Toleranzwert). In diesem Fall wird also kein Unterschied erkannt werden, sodass entsprechend auch kein erhabenes Objekt detektiert wird. Overlap area 41 1, wherein the video images are rectified. If there is no raised object between the overlap area 41 1 and the video camera 403 or 405, respectively, the respective rectified video images do not differ from each other, at least not within a predetermined tolerance (the predetermined tolerance value). In this case, therefore, no difference will be detected so that accordingly no raised object is detected.
Der Überlappungsbereich 41 1 befindet sich zum Beispiel auf einem Fahrbereich des Parkplatzes. Das heißt also beispielsweise, dass auf dem The overlapping area 41 1 is located, for example, on a driving area of the parking lot. So that means, for example, that on the
Überlappungsbereich 41 1 Kraftfahrzeuge fahren können. Overlapping area 41 1 motor vehicles can drive.
Fig. 5 zeigt die beiden Videokameras 403, 405 bei der Erfassung eines erhabenen Objekts 501. Das erhabene Objekt 501 weist gegenüberliegende Seiten 503, 505 auf: Die Seite 503 wird nachfolgend als die (bezogen auf die Papierebene) rechte Seite bezeichnet. Die Seite 505 wird nachfolgend als dieFig. 5 shows the two video cameras 403, 405 in detecting a raised object 501. The raised object 501 has opposite sides 503, 505: The side 503 is hereinafter referred to as the right side (with respect to the paper plane). Page 505 will be referred to as the
(bezogen auf die Papierebene) linke Seite bezeichnet. (referred to the paper level) left side.
In der Regel sehen erhabene Objekte von unterschiedlichen Seiten As a rule, raised objects look from different sides
unterschiedlich aus. Das heißt also, dass das erhabene Objekt 501 von der rechten Seite 503 anders aussieht als von der linken Seite 505. Das erhabene Objekt 501 befindet sich auf dem Boden 401 . Das erhabene Objekt 501 befindet sich zwischen dem Überlappungsbereich 41 1 und den beiden Videokameras 403, 405. different. That is, the raised object 501 looks different from the right side 503 than the left side 505. The raised object 501 is located on the floor 401. The raised object 501 is located between the overlapping area 41 1 and the two video cameras 403, 405.
Die erste Videokamera 403 erfasst die linke Seite 505 des erhabenen Objekts 501 . Die zweite Videokamera 405 erfasst die rechte Seite 503 des erhabenen Objekts 501. In diesem Fall unterscheiden sich somit die jeweils rektifizierten Videobilder, sodass entsprechend ein Unterschied erkannt wird. Entsprechend wird dann das erhabene Objekt 501 detektiert. Hier sind die Unterschiede größer als der vorbestimmte Toleranzwert. Durch das Vorsehen der Lichtquelle 413 wird insbesondere bewirkt, dass die rechte Seite 503 stärker beleuchtet wird als die linke Seite 505. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass sich die aufgenommenen und somit auch die rektifizierten Videobilder in ihrer Helligkeit unterscheiden. The first video camera 403 detects the left side 505 of the raised object 501. The second video camera 405 detects the right side 503 of the raised object 501. In this case, the respective rectified video images thus differ, so that a difference is correspondingly detected. Accordingly, the raised object 501 is then detected. Here, the differences are greater than the predetermined tolerance value. In particular, the provision of the light source 413 causes the right side 503 to be illuminated more strongly than the left side 505. This has the technical advantage, for example, that the recorded and thus rectified video images differ in their brightness.
Helligkeitsunterschiede können effizient detektiert werden, sodass der Brightness differences can be detected efficiently, so that the
Unterschied effizient erkannt werden kann, sodass hierüber in vorteilhafter Weise das erhabene Objekt 501 effizient detektiert werden kann. Difference can be detected efficiently, so that over this advantageously the raised object 501 can be detected efficiently.
Das erhabene Objekt 501 ist zum Beispiel ein Kraftfahrzeug, welches auf dem Boden 401 des Parkplatzes fährt. Die Seiten 503, 505 sind zum Beispiel Vorder- und Rückseiten des Kraftfahrzeugs oder die rechte und linke Seite. The raised object 501 is, for example, a motor vehicle traveling on the floor 401 of the parking lot. The sides 503, 505 are, for example, front and rear sides of the motor vehicle or the right and left sides.
Wenn sich ein nicht-erhabenes, also zweidimensionales oder flaches, Objekt auf dem Boden 401 befindet, so unterscheiden sich die entsprechend rektifizierten Videobilder in der Regel innerhalb einer vorgegebenen Toleranz nicht voneinander. Ein solch zweidimensionales Objekt ist zum Beispiel ein Blatt,If a non-raised, ie two-dimensional or flat, object is located on the floor 401, then the correspondingly rectified video images generally do not differ from each other within a predetermined tolerance. Such a two-dimensional object is for example a leaf,
Papier oder Laub. Dass in einem solchen Fall sich zwar ein Objekt, wenn auch kein erhabenes Objekt, auf dem Boden 401 befindet, welches gegebenenfalls aufgrund des mangelnden Unterschieds (Unterschiede sind kleiner oder kleinergleich als der vorgegebene Toleranzwert.) in den rektifizierten Videobildern nicht detektiert wird, ist hier insofern aus Sicherheitsgründen nicht relevant, da solche nicht erhabenen Objekte in der Regel problemlos durch Kraftfahrzeuge überfahren werden dürfen respektive können. Kraftfahrzeuge können Laub oder Papier überfahren, ohne dass es zu einer gefährlichen Situation oder Kollision kommt im Gegensatz zu einem erhabenen Objekt, welches beispielsweise ein Fußgänger oder ein Radfahrer oder ein Tier oder ein Kraftfahrzeug sein kann. Mit solchen Objekten sollte ein Kraftfahrzeug nicht kollidieren. Paper or foliage. That in such a case an object, albeit not a raised object, is located on the floor 401, which may not be detected in the rectified video images due to the lack of difference (differences are smaller or smaller than the predetermined tolerance value) insofar for security reasons not relevant, since such As a rule, non-raised objects can be passed over by motor vehicles without problems. Motor vehicles can run over leaves or paper without causing a dangerous situation or collision, in contrast to a raised object, which may be, for example, a pedestrian or a cyclist or an animal or a motor vehicle. A motor vehicle should not collide with such objects.
Mittels der Videokameras 403, 405 werden Videobilder aufgenommenen, die ausgewertet, also analysiert, werden, um ein erhabenes Objekt in den By means of the video cameras 403, 405 video images are recorded, which are evaluated, ie analyzed, to a sublime object in the
Videobildern zu detektieren. Detect video images.
Sofern ein erhabenes Objekt in den aufgenommenen Videobildern detektiert wird, ist beispielsweise vorgesehen, dass Videobilder, die zeitlich nach diesen Videobildern mittels der Videokameras 403, 405 aufgenommen werden, analog analysiert werden, um in diesen später aufgenommenen Videobildern das in den früheren Bildern detektierte Objekt zu verifizieren. If a raised object is detected in the recorded video images, it is provided, for example, that video images recorded temporally after these video images by the video cameras 403, 405 are analyzed analogously in order to acquire the object detected in the earlier images in these later recorded video images to verify.
Sofern in den später aufgenommenen Videobildern das erstmalig detektierte Objekt nicht nochmals detektiert wird, wird beispielsweise bestimmt, dass das erstmalig detektierte Objekt nicht real ist. If in the later recorded video images the first detected object is not detected again, it is determined, for example, that the first detected object is not real.
Sofern in den später aufgenommenen Videobildern das erstmalig erhabene Objekt detektiert wird, ist beispielsweise vorgesehen, dass eine If in the later recorded video images the first raised object is detected, for example, it is provided that a
Objektgeschwindigkeit ermittelt wird und/oder dass sowohl das erstmalig detektierte Objekt als auch das nochmals detektierte Objekt klassifiziert werden. Object speed is determined and / or that both the first detected object and the again detected object are classified.
Sofern beispielsweise die ermittelte Objektgeschwindigkeit größer als ein vorbestimmter Objektgeschwindigkeitsschwellwert ist, wird bestimmt, dass das detektierte erhabene Objekt nicht real ist. For example, if the determined object velocity is greater than a predetermined object velocity threshold, it is determined that the detected raised object is not real.
Sofern sich beispielsweise die beiden Klassifizierungen unterscheiden sollten, wird bestimmt, dass das detektierte erhabene Objekt nicht real ist. If, for example, the two classifications should differ, it is determined that the detected raised object is not real.
Beispielsweise sind ein oder mehrere Kriterien vorgesehen, die, wenn sie erfüllt sind, dazu führen, dass ein Objekt in den Videobildern detektiert wird. Ein Kriterium ist zum Beispiel, dass ein unterschiedliches rektifiziertes Videobild einer einzigen Videokamera bereits beispielsweise ausreicht, um ein erhabenes Objekt unabhängig davon zu detektieren, ob die anderen Videokameras unterschiedliche oder gleiche Videobilder aufnehmen. For example, one or more criteria are provided which, when satisfied, result in an object being detected in the video images. For example, one criterion is that a different rectified video image from a single video camera is already sufficient, for example, to detect a raised object regardless of whether the other video cameras are recording different or the same video images.
Ein anderes Kriterium ist zum Beispiel, dass alle Videokameras ein Another criterion, for example, is that all video cameras are on
unterschiedliches Videobild aufnehmen müssen, um ein erhabenes Objekt zu detektieren. need to record different video image to detect a raised object.
Ein weiteres Kriterium ist zum Beispiel, dass bei n Videokameras, wobei n größer-gleich 3, m Videokameras jeweils ein unterschiedliches Videobild aufnehmen müssen, wobei m größer 1 und kleiner n ist, um ein erhabenes Objekt unabhängig davon zu detektieren, ob die anderen Videokameras unterschiedliche oder gleiche Videobilder aufnehmen. Another criterion is, for example, that for n video cameras where n is greater than or equal to 3, m video cameras must each capture a different video image, where m is greater than 1 and less than n to detect a raised object regardless of whether the other video cameras record different or the same video pictures.
Die Information, dass ein Objekt detektiert wurde, wird beispielsweise an ein Parkplatzverwaltungssystem gemeldet oder gesendet. Das The information that an object has been detected is reported or sent, for example, to a parking lot management system. The
Parkplatzverwaltungssystem verwendet beispielsweise diese Information für die Planung oder Verwaltung eines Betriebs des Parkplatzes. Das For example, the parking management system uses this information for planning or managing an operation of the parking lot. The
Parkplatzverwaltungssystem betreibt also beispielsweise den Parkplatz basierend auf der Information. Thus, for example, the parking management system operates the parking lot based on the information.
Diese Information wird beispielsweise bei einer Fernsteuerung eines This information is for example in a remote control of a
Kraftfahrzeugs verwendet, welches sich innerhalb des Parkplatzes befindet. Das heißt also beispielsweise, dass das Parkplatzverwaltungssystem basierend auf dem oder den detektierten Objekten ein Kraftfahrzeug innerhalb des Parkplatzes fernsteuert. Motor vehicle used, which is located within the parking lot. This means, for example, that the parking management system remotely controls a motor vehicle within the parking space based on the detected object (s).
Diese Information wird beispielsweise an innerhalb des Parkplatzes autonom fahrende Kraftfahrzeuge über ein drahtloses Kommunikationsnetzwerk übermittelt. This information is transmitted, for example, to motor vehicles traveling autonomously within the parking space via a wireless communication network.
Die Erfindung basiert also insbesondere auf dem Gedanken, mittels The invention is thus based in particular on the idea by means of
Videokameras zeitlich nach einander aufgenommene Videobilder jeweils zu analysieren und bei einer Objektdetektion das detektierte erhabenes Objekt zeitlich zu verfolgen, um zu ermitteln, ob das detektierte Objekt real ist. Die Videokameras sind innerhalb eines Parkplatzes, der beispielsweise als ein Parkhaus oder als eine Parkgarage ausgebildet sein kann, räumlich verteilt derart angeordnet, dass beispielsweise jeder Punkt eines Fahrbereichs von mindestens zwei, beispielsweise mindestens drei, Videokameras gesehen oder erfasst respektive überwacht wird. Das heißt also, dass sich die jeweiligen Sichtbereiche jeweils in Überlappungsbereiche überlappen, wobei die Video cameras time after each other recorded video images respectively analyze and track the detected raised object in an object detection in time to determine whether the detected object is real. The video cameras are arranged spatially distributed within a parking space, which may be designed, for example, as a parking garage or as a parking garage, such that each point of a driving range is seen or recorded or monitored by at least two, for example at least three, video cameras. This means that the respective viewing areas each overlap in overlapping areas, with the
Überlappungsbereiche den Fahrbereich abdecken. Die aufgenommenen Overlap areas cover the driving range. The recorded
Videobilder werden beispielsweise vor dem Vergleich rektifiziert. For example, video images are rectified before comparison.
Die entsprechenden rektifizierten Videobilder der Videokameras werden miteinander verglichen. Beispielsweise ist vorgesehen, dass, wenn alle The corresponding rectified video images of the video cameras are compared with each other. For example, it is envisaged that if all
Videokameras im Fahrbereich die gleiche Bildinformation an einer bestimmten Stelle oder an einem bestimmten Punkt sehen, bestimmt wird, dass sich auf dem jeweiligen Sichtstrahl zwischen der bestimmten Stelle und den Videokameras kein Objekt befindet. Insofern wird auch kein Objekt detektiert. Unterscheidet sich allerdings beispielsweise die Bildinformation einer Videokamera an dieser Stelle von den anderen Videokameras, so ist klar, dass sich auf dem Sichtstrahl dieser einen Videokamera ein erhabenes Objekt befinden muss. Insofern wird ein erhabenes Objekt detektiert. Video cameras in the driving range see the same image information at a certain point or at a certain point, it is determined that there is no object on the respective visual beam between the specific location and the video cameras. In this respect, no object is detected. However, if, for example, the image information of a video camera differs from the other video cameras at this point, then it is clear that there must be a raised object on the viewing beam of this one video camera. In this respect, a raised object is detected.
Zeitlich diesen rektifizierten Videobildern folgenden Videobildern werden analog zu diesen früheren rektifizierten Videobildern analysiert, also insbesondere rektifiziert und miteinander verglichen. Das Ergebnis dieses Vergleichs wird insbesondere verwendet, um zu bestimmen, ob bei einer Objektdetektion basierend auf den früheren Videobildern das entsprechend detektierte erhabene Objekt real ist. Die Formulierungen„gleiche Bildinformation" respektive„identische The temporal video images following these rectified video images are analyzed analogously to these earlier rectified video images, ie in particular rectified and compared with one another. In particular, the result of this comparison is used to determine whether, in object detection based on the previous video images, the corresponding detected raised object is real. The formulations "same image information" respectively "identical
Bildinformation" im Sinne dieser Beschreibung umfassen insbesondere auch den Fall, dass sich die Bildinformationen maximal um einen vorbestimmten  Image information "in the sense of this description includes in particular also the case that the image information is maximally by a predetermined
Toleranzwert unterscheiden. Erst Unterschiede, die größer als der vorbestimmte Toleranzwert ist, resultieren in einer Detektion eines Objekts. Das heißt also insbesondere, dass geringe Unterschiede in der Helligkeits- und/oder Farbinformation zulässig sind, um die Aussage zu treffen, dass die Differ tolerance value. Only differences greater than the predetermined tolerance value result in a detection of an object. This means in particular that slight differences in the brightness and / or Color information is allowed to make the statement that the
Bildinformation gleich respektive identisch ist, solange die Unterschiede kleiner als der vorbestimmte Toleranzwert sind. Image information is identical or identical, as long as the differences are smaller than the predetermined tolerance value.
Das heißt also insbesondere, dass beispielsweise eine Toleranz vorgegeben wird respektive ist, um die sich die rektifizierten Videobilder unterscheiden dürfen, ohne dass ein erhabenes Objekt detektiert wird. Erst wenn die That means, in particular, that, for example, a tolerance is specified or is the one by which the rectified video images may differ without a raised object being detected. Only when the
Unterschiede größer als die vorgegebene Toleranz sind, wird ein erhabenes Objekt detektiert. Differences greater than the predetermined tolerance, a raised object is detected.
Das heißt also insbesondere, dass gemäß einer Ausführungsform erst dann ein Objekt detektiert wird, wenn die Unterschiede in den rektifizierten Videobildern größer als eine vorgegebene Toleranz respektive ein vorbestimmter This means in particular that, according to one embodiment, an object is detected only when the differences in the rectified video images are greater than a predetermined tolerance or a predetermined tolerance
Toleranzwert sind. Tolerance value are.
Beispielsweise ist vorgesehen, dass sich ein autonom oder ferngesteuert fahrendes Kraftfahrzeug innerhalb des Parkplatzes auf vorher festgelegten Flächen, dem Fahrbereich, bewegt. Die Videokameras sind beispielsweise derart angeordnet, dass sich ihre Sichtbereiche im Fahrbereich überlappen. Diese Überlappung ist derart gewählt, dass jeder Punkt auf den Begrenzungsflächen (zum Beispiel Boden, Wand) im Fahrbereich von mindestens drei Videokameras gesehen oder überwacht wird. Insbesondere ist die Anordnung derart gewählt, dass jeder Punkt auf der Begrenzungsfläche aus unterschiedlichen Perspektiven betrachtet oder überwacht wird. For example, it is provided that an autonomously or remotely controlled motor vehicle within the parking lot on predetermined areas, the driving range moves. The video cameras are arranged, for example, such that their viewing areas overlap in the driving range. This overlap is chosen so that each point on the boundary surfaces (eg floor, wall) in the driving range is viewed or monitored by at least three video cameras. In particular, the arrangement is chosen such that each point on the boundary surface is viewed or monitored from different perspectives.
Das heißt also insbesondere, dass der Überlappungsbereich mittels der This means in particular that the overlap area by means of
Videokameras aus unterschiedlichen Richtungen erfasst respektive Video cameras from different directions detected respectively
aufgenommen wird. is recorded.
Von jedem einzelnen Punkt der Begrenzungsfläche lassen sich nun die From each single point of the boundary surface can now be the
Sichtstrahlen zu den beispielsweise drei Videokameras verfolgen, die diesen Punkt sehen. Sofern mehr Videokameras zur Verfügung stehen sollten, so ist beispielsweise vorgesehen, dass aus den mehreren Kameras drei Videokameras mit möglichst unterschiedlichen Perspektiven ausgewählt werden. Befindet sich kein erhabenes Objekt auf den Sichtstrahlen der Videokameras zu diesem Punkt, so sehen alle Videokameras die gleiche Bildinformation respektive Bildinformationen, die sich maximal um einen vorbestimmten Toleranzwert unterscheiden (vgl. Fig. 4). Sight rays to track, for example, three video cameras that see this point. If more video cameras should be available, it is for example provided that three video cameras with as many different perspectives are selected from the several cameras. If no raised object is located on the visual beams of the video cameras at this point, then all the video cameras see the same image information or image information, which differ by a maximum of a predetermined tolerance value (see Fig. 4).
Ändert sich beispielsweise eine Helligkeit oder eine Farbe der Oberfläche des Bodens, beispielsweise wenn der Boden durch Nässeeintrag feucht ist, so stört dies eine Detektion der Begrenzungsfläche nicht, insofern alle Videokameras die gleiche geänderte Helligkeit oder Farbe sehen. Liegt beispielsweise ein zweidimensionales Objekt, beispielsweise ein Blatt, Papier oder Laub, auf dem Boden, so wird dieses nicht erhabene gemäß dem erfindungsgemäßen Konzept in der Regel nicht detektiert, da alle Videokameras die gleiche Bildinformation respektive Bildinformationen, die sich maximal um einen vorbestimmten For example, if a brightness or a color of the surface of the floor changes, for example, if the floor is wet by moisture, this does not interfere with detection of the boundary surface inasmuch as all the video cameras see the same changed brightness or color. If, for example, a two-dimensional object, for example a sheet, paper or foliage, is lying on the ground, then this sublime is generally not detected according to the concept according to the invention since all video cameras have the same image information or image information which is at most a predetermined one
Toleranzwert unterscheiden, sehen. Dies ist insofern aus Sicherheitsgründen nicht kritisch, da solche zweidimensionalen Objekte von Kraftfahrzeugen problemlos überfahren werden dürfen. Tolerance value differ, see. This is not critical for safety reasons insofar as such two-dimensional objects of motor vehicles may be easily run over.
Sofern sich ein erhabenes Objekt im Fahrbereich (vgl. beispielsweise Fig. 5) befindet, treffen die Sichtstrahlen der Videokameras nicht mehr wie erwartet auf die Begrenzungsfläche (Überlappungsbereich), sondern sehen unterschiedliche Ansichten des erhabenen Objekts und nehmen somit unterschiedliche If a raised object is located in the travel area (cf., for example, FIG. 5), the visual beams of the video cameras no longer meet the boundary surface (overlap area) as expected, but instead see different views of the raised object and thus take different views
Videobilder auf. Video images on.
Ein erhabenes Objekt ist beispielsweise eine Person oder ein Kraftfahrzeug. A sublime object is, for example, a person or a motor vehicle.
So sieht zum Beispiel eine Videokamera die Vorderseite des Objekts, während die andere Videokamera die Rückseite des Objekts sieht. In der Regel unterscheiden sich die beiden Seiten signifikant und das erhabene Objekt kann somit detektiert werden, insofern sich die aufgenommenen Videobilder unterscheiden. Dieser Effekt lässt sich beispielsweise durch eine einseitig hellere Beleuchtung der Szene, also des Überlappungsbereichs, verstärken, sodass ein Übersehen von erhabenen Objekten effizient ausgeschlossen werden kann. Durch eine unterschiedliche Beleuchtung der verschiedenen Seiten eines Objekts erscheint dieses Objekt auf der stärker beleuchteten Seite heller als auf der schwach beleuchteten Seite, sodass die Videokameras unterschiedliche Bildinformationen sehen. Dies gilt selbst für einfarbige Objekte. For example, one video camera sees the front of the object while the other video camera sees the back of the object. As a rule, the two sides differ significantly and the raised object can thus be detected insofar as the recorded video images differ. This effect can be enhanced, for example, by brighter illumination of the scene on one side, ie of the overlapping area, so that an overlook of raised objects can be efficiently excluded. By differently illuminating the different sides of an object, this object appears brighter on the more illuminated side than on the dimly lit side so that the video cameras see different image information. This is true even for monochrome objects.
Das erfindungsgemäße Konzept (räumlich verteilte Anordnung der The inventive concept (spatially distributed arrangement of
Videokameras mit entsprechendem Überlappungsbereich, beispielhafte Video cameras with corresponding overlapping area, exemplary
Beleuchtung der Szene und das zeitliche Tracking oder Verfolgen eines detektierten erhabenen Objekts) ermöglicht es in vorteilhafter Weise, dass effizient bestimmt werden kann, ob ein detektiertes erhabenes Objekt tatsächlich real ist, was in der Summe dazu führt, dass erhabene Objekte effizient detektiert oder erkannt werden können. Das erfindungsgemäße Konzept ist insbesondere sehr robust gegenüber Helligkeitsänderungen oder punktuellen Änderungen der Helligkeit, beispielsweise durch Sonneneinstrahlung. Illumination of the scene and the time tracking or tracking of a detected raised object) advantageously makes it possible to efficiently determine whether a detected raised object is actually real, resulting in the sum that raised objects are detected or detected efficiently can. The inventive concept is in particular very robust against changes in brightness or point changes in brightness, for example due to solar radiation.
Die Information, dass ein erhabenes Objekt detektiert wird, kann beispielsweise an ein übergeordnetes Regelsystem übergeben werden. Dieses Regelsystem kann beispielsweise ein ferngesteuertes Kraftfahrzeug stoppen oder ein The information that a raised object is detected, for example, can be passed to a higher-level control system. This control system may, for example, stop or enter a remote-controlled motor vehicle
Stoppsignal an ein autonom fahrendes Kraftfahrzeug senden, sodass diese Kraftfahrzeuge vor dem erhabenen Objekt noch rechtzeitig anhalten können. Das Regelsystem ist beispielsweise von dem Parkplatzverwaltungssystem umfasst. Send stop signal to an autonomously driving motor vehicle, so that these vehicles can stop ahead of the raised object in time. The control system is included, for example, by the parking lot management system.
Somit kann das erfindungsgemäße Konzept in vorteilhafter Weise auch im AVP- Bereich eingesetzt werden. "AVP" steht für "Automated Valet Parking" und kann mit "automatischer Parkvorgang" übersetzt werden. Im Rahmen eines solchen AVP-Vorgangs ist insbesondere vorgesehen, dass Kraftfahrzeuge automatisch innerhalb eines Parkplatzes geparkt werden und nach Ende einer Parkdauer automatisch von ihrer Parkposition zu einer Abholposition geführt werden, an welcher das Kraftfahrzeug von seinem Besitzer abgeholt werden kann. Thus, the inventive concept can be used advantageously in the AVP area. "AVP" stands for "Automated Valet Parking" and can be translated as "automatic parking". In the context of such an AVP process, provision is made in particular for motor vehicles to be parked automatically within a parking space and to be guided automatically from their parking position to a pick-up position at the end of a parking period, at which the motor vehicle can be picked up by its owner.

Claims

Ansprüche claims
1 . Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes (301 ) befindenden erhabenen Objekts (501 ) unter Verwendung von mindestens zwei innerhalb des Parkplatzes (301 ) räumlich verteilt angeordneten 1 . A method of detecting a raised object (501) located within a parking lot (301) using at least two within the parking space (301) spatially distributed
Videokameras (203), deren jeweiliger Sichtbereich (407, 409) sich in einem Video cameras (203), whose respective field of view (407, 409) in a
Überlappungsbereich (41 1 ) überlappt, umfassend die folgenden Schritte: a) Aufnehmen (101 ) von jeweiligen Videobildern des Überlappungsbereichs (41 1 ) mittels der Videokameras (203), Overlapping area (41 1) overlaps, comprising the following steps: a) recording (101) of respective video images of the overlapping area (41 1) by means of the video cameras (203),
b) Analysieren (103) der aufgenommenen Videobilder, um in den  b) analyzing (103) the recorded video images to be included in the
aufgenommenen Videobildern ein erhabenes Objekt zu detektieren, c) Ermitteln (105) basierend auf den aufgenommenen Videobildern, ob bei Detektion eines erhabenen Objekts das detektierte erhabene Objekt real ist. 2. Verfahren nach Anspruch 1 , wobei der Schritt c) (105) ein Ermitteln einer c) determining (105) based on the captured video images whether the detected raised object is real upon detection of a raised object. 2. The method of claim 1, wherein step c) (105) comprises determining a
Objektgeschwindigkeit umfasst, wobei die ermittelte Objektgeschwindigkeit mit einem vorbestimmten Objektgeschwindigkeitsschwellwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist. Object speed, wherein the determined object speed is compared with a predetermined Objektgeschwindigkeitsschwellwert, wherein it is determined depending on the comparison, whether the detected raised object is real.
3. Verfahren nach Anspruch 1 oder 2, wobei der Schritt c) (105) ein Ermitteln einer Bewegung des detektierten erhabenen Objekts umfasst, wobei ermittelt wird, ob die Bewegung des detektierten erhabenen Objekts plausibel ist, wobei abhängig von der Plausibilisierung bestimmt wird, ob das detektierte erhabene Objekt real ist. 3. The method of claim 1, wherein step c) comprises determining a movement of the detected raised object, wherein it is determined whether the movement of the detected raised object is plausible, it being determined whether or not depending on the plausibility check the detected raised object is real.
4. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt c) (105) ein Klassifizieren des detektierten erhabenen Objekts umfasst, wobei abhängig von der Klassifizierung bestimmt wird, ob das detektierte erhabene Objekt real ist. Verfahren nach einem der vorherigen Ansprüche soweit rückbezogen auf Anspruch 2 und auf Anspruch 4, wobei abhängig von der Klassifizierung ein objektspezifischer Geschwindigkeitsschwellwert als der 4. The method of claim 1, wherein step c) comprises classifying the detected raised object, wherein it is determined whether the detected raised object is real, depending on the classification. Method according to one of the preceding claims as far as dependent on claim 2 and claim 4, wherein, depending on the classification, an object-specific speed threshold value as the
Objektgeschwindigkeitsschwellwert für den Vergleich vorgegeben wird. Object speed threshold is specified for the comparison.
Verfahren nach einem der vorherigen Ansprüche soweit rückbezogen auf Anspruch 3 und auf Anspruch 4, wobei ermittelt wird, ob die ermittelte Bewegung für das klassifizierte Objekt plausibel ist. Method according to one of the preceding claims as far as dependent on claim 3 and claim 4, wherein it is determined whether the determined movement for the classified object is plausible.
Verfahren nach einem der vorherigen Ansprüche, wobei, wenn das detektierte erhabene Objekt nicht real ist, eine oder mehrere der folgenden Aktionen gesteuert werden: Anhalten aller innerhalb des Parkplatzes (301 ) führerlos fahrenden Kraftfahrzeuge, Beordern eines Servicepersonals zu den Videokameras (203), Durchführen eine Funktionskontrolle der Videokameras (203), Anpassen einer von innerhalb des Parkplatzes (301 ) führerlos fahrenden Kraftfahrzeugen abzufahrenden jeweiligen Soll-Trajektorie, um einen den Überlappungsbereich (41 1 ) umfassenden Abschnitt des A method according to any one of the preceding claims, wherein, if the detected sublime object is not real, one or more of the following actions are controlled: stopping all driverless vehicles within the parking lot (301), ordering service personnel to the video cameras (203), performing a functional control of the video cameras (203), adjusting a respective target trajectory to be traveled by motor vehicles driving without a driver within the parking space (301), about a section of the area comprising the overlapping area (41 1)
Parkplatzes (301 ) zu umfahren, Absperren eines den Überlappungsbereich (41 1 ) umfassenden Abschnitts des Parkplatzes (301 ), Absperren eines den Überlappungsbereich (41 1 ) umfassenden Geschosses des Parkplatzes (301 ), Senden einer Fehlermeldung an einen Operator über ein Parking around (301) to shut off a section of the parking lot (301) comprising the overlapping area (41 1), shutting off the parking lot (301) comprising the overlapping area (41 1), sending an error message to an operator via a
Kommunikationsnetzwerk. Communication network.
Verfahren nach einem der vorherigen Ansprüche, wobei zum Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern gemäß der Analyse gemäß dem Schritt b) (103) folgende Schritte vorgesehen sind:Method according to one of the preceding claims, wherein for detecting a raised object in the recorded video images according to the analysis according to step b) (103) the following steps are provided:
- Rektifizieren der aufgenommenen Videobilder, - rectifying the recorded video images,
- miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen (41 1 ) zu erkennen,  - Comparing the respective rectified video image with each other to detect a difference in the recorded overlap areas (41 1),
- Detektieren eines erhabenen Objekts basierend auf dem Vergleich. Detecting a raised object based on the comparison.
9. Verfahren nach einem der vorherigen Ansprüche, wobei der 9. The method according to any one of the preceding claims, wherein the
Überlappungsbereich (41 1 ) einen Fahrbereich für Kraftfahrzeuge umfasst.  Overlap area (41 1) comprises a driving range for motor vehicles.
10. System (201 ) zum Detektieren eines sich innerhalb eines Parkplatzes (301 ) befindenden erhabenen Objekts (501 ), wobei das System (201 ) ausgebildet ist, das Verfahren nach einem der vorherigen Ansprüche durchzuführen. A system (201) for detecting a raised object (501) located within a parking lot (301), the system (201) being arranged to perform the method of any preceding claim.
1 1 . Parkplatz (301 ), umfassend das System (201 ) nach Anspruch 10. 1 1. A parking lot (301) comprising the system (201) of claim 10.
12. Computerprogramm, umfassend Programmcode zur Durchführung des 12. Computer program comprising program code for performing the
Verfahrens nach einem der Ansprüche 1 bis 9, wenn das Computerprogramm auf einem Computer ausgeführt wird.  Method according to one of claims 1 to 9, when the computer program is executed on a computer.
EP17780746.8A 2016-11-23 2017-10-09 Method and system for detecting a raised object located within a parking area Withdrawn EP3545506A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016223106.5A DE102016223106A1 (en) 2016-11-23 2016-11-23 Method and system for detecting a raised object located within a parking lot
PCT/EP2017/075608 WO2018095640A1 (en) 2016-11-23 2017-10-09 Method and system for detecting a raised object located within a parking area

Publications (1)

Publication Number Publication Date
EP3545506A1 true EP3545506A1 (en) 2019-10-02

Family

ID=60037618

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17780746.8A Withdrawn EP3545506A1 (en) 2016-11-23 2017-10-09 Method and system for detecting a raised object located within a parking area

Country Status (6)

Country Link
US (1) US11080530B2 (en)
EP (1) EP3545506A1 (en)
JP (1) JP6806920B2 (en)
CN (1) CN109983518B (en)
DE (1) DE102016223106A1 (en)
WO (1) WO2018095640A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223171A1 (en) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and system for detecting a raised object located within a parking lot
DE102018217128A1 (en) * 2018-10-08 2020-04-09 Robert Bosch Gmbh Entity discovery method
CN109657545B (en) * 2018-11-10 2022-12-20 天津大学 Pedestrian detection method based on multi-task learning
CN112468681B (en) 2019-09-06 2022-02-15 杭州海康威视数字技术股份有限公司 Camera device for collecting vehicle information

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3664892B2 (en) * 1998-09-30 2005-06-29 松下電器産業株式会社 Stereo image processing method and apparatus and intruding object monitoring system
JP3795810B2 (en) 2002-02-12 2006-07-12 株式会社東芝 Object detection method and apparatus
CN101688783A (en) * 2007-07-04 2010-03-31 三菱电机株式会社 Navigation system
DE102008023504A1 (en) * 2008-05-09 2009-11-19 Siemens Aktiengesellschaft Track monitoring system for a vehicle and method for its operation
KR101182853B1 (en) * 2008-12-19 2012-09-14 한국전자통신연구원 System and method for auto valet parking
US20100258107A1 (en) 2009-04-09 2010-10-14 Chimex Pty Ltd Transportable wood-fired oven trailer
EP2372627A3 (en) * 2010-04-01 2011-10-12 Richard E. Rowe Providing city services using mobile devices and a sensor network
JP5812598B2 (en) * 2010-12-06 2015-11-17 富士通テン株式会社 Object detection device
KR20120086140A (en) * 2011-01-25 2012-08-02 한국전자통신연구원 Mobile and apparatus for providing auto valet parking service and method thereof
US9129524B2 (en) * 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
US9171382B2 (en) * 2012-08-06 2015-10-27 Cloudparc, Inc. Tracking speeding violations and controlling use of parking spaces using cameras
US8698896B2 (en) * 2012-08-06 2014-04-15 Cloudparc, Inc. Controlling vehicle use of parking spaces and parking violations within the parking spaces using multiple cameras
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
DE102014205180A1 (en) 2014-03-20 2015-09-24 Robert Bosch Gmbh Method and device for operating a vehicle
US9858816B2 (en) 2014-05-21 2018-01-02 Regents Of The University Of Minnesota Determining parking space occupancy using a 3D representation
DE102014008578B4 (en) * 2014-06-12 2016-02-18 Audi Ag Method for determining position data for use in the operation of a vehicle system of a motor vehicle and position data acquisition and distribution system
JP6405141B2 (en) 2014-07-22 2018-10-17 サクサ株式会社 Imaging apparatus and determination method
JP6169544B2 (en) 2014-09-05 2017-07-26 本田技研工業株式会社 Driving support control device
DE102014221682A1 (en) 2014-10-24 2016-04-28 Robert Bosch Gmbh Method and device for operating a vehicle
JP6354542B2 (en) 2014-11-26 2018-07-11 株式会社デンソー Automatic vehicle driving system
DE102015201209A1 (en) 2015-01-26 2016-07-28 Robert Bosch Gmbh Valet parking method and valet parking system
DE102015208053A1 (en) 2015-04-30 2016-11-03 Robert Bosch Gmbh Method and device for reducing the risk to and / or from a vehicle located in a parking space

Also Published As

Publication number Publication date
DE102016223106A1 (en) 2018-05-24
CN109983518A (en) 2019-07-05
JP6806920B2 (en) 2021-01-06
US20190325225A1 (en) 2019-10-24
CN109983518B (en) 2022-08-23
US11080530B2 (en) 2021-08-03
WO2018095640A1 (en) 2018-05-31
JP2020500390A (en) 2020-01-09

Similar Documents

Publication Publication Date Title
EP3187383B1 (en) Method and device for remotely actuating an actuator of a vehicle
EP3545507B1 (en) Method and system for the detection of a raised object located within a parking area
EP3545506A1 (en) Method and system for detecting a raised object located within a parking area
DE102018203807A1 (en) Method and device for detecting and evaluating road conditions and weather-related environmental influences
DE102012022336A1 (en) Method for carrying out an at least semi-autonomous parking operation of a motor vehicle in a garage, parking assistance system and motor vehicle
EP3545505A1 (en) Method and system for the detection of a raised object located within a parking area
WO2009003793A2 (en) Device for identifying and/or classifying movement patterns in an image sequence of a surveillance scene, method and computer program
DE102016223094A1 (en) Method and system for detecting a raised object located within a parking lot
DE102018133441A1 (en) Method and system for determining landmarks in the surroundings of a vehicle
DE102017212376A1 (en) Method and system for detecting a free area within a parking lot
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
DE102021116703A1 (en) Method and system for predicting a trajectory of a target vehicle in the surroundings of a vehicle
DE102018217746A1 (en) Method for operating a driver assistance system of a motor vehicle and motor vehicle
DE102017212513A1 (en) Method and system for detecting a free area within a parking lot
EP2254104B1 (en) Method for automatic recognition of a change in a situation
DE102017123226A1 (en) A method of determining a critical altitude of a forward link for a vehicle comprising a towing vehicle and a trailer
DE102016223180A1 (en) Method and system for detecting a raised object located within a parking lot
EP3576013A1 (en) Estimation of a path of a rail path
DE102016223144A1 (en) Method and system for detecting a raised object located within a parking lot
EP4222039A1 (en) Optical railway detection
DE102020005763A1 (en) Method for controlling a vehicle
DE102016223118A1 (en) Method and system for detecting a raised object located within a parking lot
DE102017212379A1 (en) Method and system for detecting a free area within a parking lot
DE102019008079A1 (en) Method for detecting at least one object in a driving area of a vehicle, device set up to carry out such a method, and vehicle with such a device
DE102018010042A1 (en) Method for recognizing at least one object located in an environment of a motor vehicle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190624

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20211005

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220216