EP2235562A1 - Device and method for measuring a parking gap - Google Patents

Device and method for measuring a parking gap

Info

Publication number
EP2235562A1
EP2235562A1 EP08870696A EP08870696A EP2235562A1 EP 2235562 A1 EP2235562 A1 EP 2235562A1 EP 08870696 A EP08870696 A EP 08870696A EP 08870696 A EP08870696 A EP 08870696A EP 2235562 A1 EP2235562 A1 EP 2235562A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
parking space
line scan
depth
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP08870696A
Other languages
German (de)
French (fr)
Inventor
Michael Scherl
Uwe Zimmermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2235562A1 publication Critical patent/EP2235562A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/934—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the depth, i.e. width, not length, of the parking space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/935—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space

Definitions

  • the invention is based on a device or a method according to the preamble of the independent claims.
  • EP 1 467 225 A1 it is known to record three-dimensional environmental images of a vehicle with an optical three-dimensional system, for example an SD camera.
  • the device according to the invention and the method according to the invention with the features of the independent claims have the advantage that a cost-effective one-dimensional sensor, namely a depth-measuring line scan camera, is provided for detecting the 3D information necessary for the detection and measurement of a parking space. From a plurality of successive shots of the depth-resolving one-dimensional sensor obtained in the movement of the vehicle, a three-dimensional image of the surroundings of the vehicle can be composed.
  • Line scan cameras are available with a high pixel count, so that a particularly high resolution can be achieved. Because the data captured by the line scan camera already contain spatially resolved depth information, an accurate spatial measurement of the objects in the surroundings of the vehicle is possible. Thus, in particular the size, shape and position of a parking space can be determined with particular high accuracy, as well as shapes and dimensions of the boundaries of a parking space or any obtrusive objects in the parking space. As a result, a reliable classification and assessment of the relevance of the objects in question is possible, for example, an accurate determination of the height of the curb or a safe distinction between traversable and non-drivable objects, as well as between objects that do not drive over, but can be surmounted by a body part such as a low curb, and objects that can not. In addition, optical limitations, such as shadows cast in unfavorable sunlight or contrast weakness between foreground and background, play no role in depth-measuring line sensors. The detected by the line camera simultaneously with the depth information
  • the line scan camera is in this case arranged with a horizontal viewing direction, ie, on a vehicle in order to detect the environment relevant for the detection and measurement of parking spaces. In particular, parked vehicles and objects located near the road surface should be reliably detected.
  • the viewing direction of the line scan camera is preferably perpendicular to the longitudinal direction of the vehicle, but can also be aligned obliquely forward or backward.
  • the one-dimensional image of the environment taken by the line scan camera consists of pixels, which are preferably arranged in the vertical direction; but the camera line can also be aligned obliquely to the vertical.
  • the intensity or brightness information obtained with the line scan camera can also be evaluated. By increasing the redundancy, for example, these can permit statements about the usability of the depth information, for example with a weak signal or with errors of the line scan camera. Likewise, for example, reflexes can be detected, which also allow statements about the shape of the detected objects. In addition, by evaluating the reflectance or gray value data, the security and accuracy of the object classification can be improved.
  • At least one evaluation device is provided which can be integrated separately from the line scan camera or also into it.
  • the evaluation device can also be designed as part of a higher-level system.
  • the evaluation device may be associated with storage means which may contain data of the vehicle, such as the dimensions, the positions of the wheels to the corners of the vehicle, or even the maximum height of objects that can still be run over or surmounted.
  • the storage means may also serve to store images of the line scan camera.
  • the evaluated data on the parking space may be available for the information of the driver, for example, whether the parking space is sufficient for parking the vehicle at all, or also serve for the calculation of actions of a parking assistance system. It is also possible to provide several line scan cameras for detecting different areas, for increasing accuracy, for avoiding shadowing or for detecting different types of parking spaces.
  • a line scan camera can be arranged on the right side of the vehicle for measuring
  • a line scan camera can be arranged in the front region of the vehicle and a further in the rear region, in order to be able to determine the data of the parking space at any time at the earliest possible time, irrespective of the direction of passing; when driving forwards, one of the line scan cameras is in operation in this case, while the reverse is the other. Both line scan cameras can also be used simultaneously to achieve optimum coverage of the parking space or a redundant measurement under all conditions.
  • the plurality of line scan cameras can be designed or arranged differently, for example, with viewing directions in different obliquity to the longitudinal direction in order to reduce shadowing.
  • the deep-resolution line scan camera may be a PMD (Photon Mixing Device) sensor or range imager.
  • PMD Photon Mixing Device
  • range imager Such a sensor is available at low cost. The active lighting allows use even under bad
  • Illumination conditions eg. At night. It is particularly preferred when the sensor is operating in the NIR range, since it is invisible to the human eye, but the sensor and receiver technology is mature, robust and readily available.
  • Resolution and angle range of the depth-measuring line scan camera be designed by a suitable optics, for example by toroidal lenses with different focal lengths in different planes.
  • Such measures can be provided both for the design of the beam range of the transmitter as well as the sensitivity range of the receiver.
  • This allows the desired beam or sensitivity profiles, for example oval profiles, to be achieved for each pixel. So it may be particularly advantageous in the horizontal and in the vertical direction to have different width beamprojections, which are optimally adapted to the respective required resolution in the horizontal and in the vertical direction.
  • Line scan camera is adjusted horizontally and vertically different or view-dependent of the required accuracy.
  • the detection range of each pixel may be lower in the vertical direction than in the horizontal direction. This can be achieved with a given sensitivity of the pixels a particularly high resolution and accuracy in the vertical direction, for example, to determine the height of a curb as accurately as possible in order to classify these as überragbar or not überragbar.
  • the resolution of the line scan camera in a line of sight in which objects are found in frequently occurring driving situations, the height of which must be precisely measured, can be higher than in other areas. This can be achieved for example by a different pixel pitch or by using multiple sensors or line scan cameras with different resolution.
  • vehicle-mounted or vehicle-independent systems can be used.
  • vehicle-mounted or vehicle-independent systems can be used.
  • Embodiment are used for this odometry sensors.
  • This has the advantage of a simple, inexpensive design.
  • such sensors are often already present in vehicles as part of other systems, such as ABS or ASR;
  • ABS or ASR ABS or ASR
  • the use of these sensors has the particular advantage that there are no additional costs for the sensors.
  • the detection of the movement of the vehicle allows, in particular, the determination of the distance increment by which the vehicle has moved from one shot of the line scan camera to the next, and thus, possibly with the help of further data on the orientation of the line scan camera or rotational movements of the vehicle Composition of successive shots to a complete picture of the environment of the vehicle.
  • a sequence of frames of an environment of the vehicle (1) is taken in a horizontal direction transverse to a longitudinal direction (x) of the vehicle, with the frames in a further transverse direction
  • the vehicle's longitudinal movement (x) is resolved, the movement of the vehicle as it passes the parking space is detected, and from this the path increment is calculated from one to a subsequent single image shot; In this case, other movements than the movement of the vehicle in the longitudinal direction can be detected for later evaluation.
  • the recording of the individual images takes place according to the invention with a depth-measuring line scan camera, so that the individual images contain one-dimensionally resolved brightness and depth information in the further direction. From the sequence of one-dimensional images with depth information, the limitations of the parking space can be detected with high accuracy and the usable dimensions of the parking space can be determined.
  • the method according to claim 8 in contrast, has the further advantage that with a low computing and storage capacity and therefore inexpensive and fast secure evaluation of the data supplied by the line scan camera is possible.
  • the beginning and the depth of the parking space can be determined.
  • Figure 1 shows a situation when passing on a parking space from a bird's eye view
  • Figure 2 shows the function of a device according to the invention in cross section of the scene of Figure 1;
  • FIG. 3 shows a side view of the scene from FIG. 1 with a schematically represented single image of a line scan camera
  • FIG. 4 shows a synthesized image of the line scan camera as it passes by the parking space of FIG. 1;
  • FIG. 5 shows in schematic form a method according to the invention for determining the parameters of a parking space
  • FIG. 6 shows the part of the single image from FIG. 3 which is essential for carrying out the method according to the invention
  • Fig. 7 shows in schematic form the depth information contained in the image of Fig. 4;
  • Embodiments of the invention A situation in which the device according to the invention and the method according to the invention can be used advantageously is shown in plan view (from a bird's-eye view) in FIG.
  • the parking space 4 is further limited by the curb 5.
  • the parking space may also be limited by other objects, such as trees, bollards, parked bicycles, etc.
  • the use of the device according to the invention may also be useful if the parking space is open to more than one side, for example, if no curb or even a single stationary vehicle 3 is present.
  • the device according to the invention generates data which serve as a basis for information to the driver or possibly further actions, such as the planning and execution of a partially or completely independent parking operation, to a superordinate driver information or control system.
  • a depth-measuring line camera 10 is provided according to embodiment, the viewing direction is directed perpendicular to the longitudinal direction x of the vehicle. As shown in FIG. 2, the receiving aperture of the depth-measuring line camera 10 biases a fan-shaped area 11 in the vertical direction, which detects the objects located in the vicinity of the vehicle 1.
  • Each pixel of the line scan camera is assigned a line of sight 12, 13 in a specific spatial direction. For those pixels whose visual rays 12 do not strike any object, there is no depth information and possibly also no brightness information.
  • FIG. 3 shows an example of the inverse brightness distribution in a single image 40 of the line scan camera in a side view of the scene from FIG. If the vehicle 1 with the line camera 10 located thereon now moves past the stationary vehicles 2, 3 in the longitudinal direction x, a complete image of the scene can be synthesized from the successive individual images of the line camera (FIG. 4). A column 41 of the synthesized image corresponds to a single image of the line scan camera.
  • each column corresponds to the Weginkrement that has covered the vehicle 1 from one to the next shot of the line scan camera.
  • a second sensor for example an odometry sensor 20, is provided, which determines the speed of the vehicle from the wheel movement, from which the path increment can be calculated with the time interval of the individual shots of the camera. The time interval of the
  • Individual shots depend on the speed of the vehicle 1 and the desired resolution in the x-direction.
  • a method according to the invention is shown schematically in FIG.
  • the vehicle (1) passes by at the parking space, a plurality of individual images are recorded by the depth-resolving line scan camera, as a result of which depth information is available for each pixel in addition to the brightness information from which distance information is determined.
  • the data can be smoothed or even several pixels with similar depth or distance information summarized and erroneous values that are unusable, for example, due to sensor defects, reflections or the like, are eliminated.
  • determines the contiguous area corresponding to distance information, each representing environment objects. This is shown schematically in FIG. 6 for a column 42 of the synthesized image of the surroundings of the vehicle.
  • the minimum and maximum vertical values Z m1n and z max are determined, which characterizes the dimensions of the object in question, with possibly those measured values representing the road surface being eliminated.
  • z max is important for determining the traversability of objects and for classifying objects in those that can be run over, such as a lowered curb, those that can be run over, for example, with the rear, but not with a wheel, such as a Curb below a predetermined maximum height, and those that are not run over can, such as a parked vehicle, a bollard or a wall.
  • the line scan camera 10 and the odometry sensor 20 are connected to an evaluation device 30, which determines the information from the data supplied by the sensors and, if appropriate, makes this available to a higher-level system.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

The invention relates to a device for measuring a parking gap (4) encountered by a vehicle (1) as it passes by the parking gap, comprising a line scan camera that moves with the vehicle (1) for detecting of individual images of the environment around the vehicle (1) perpendicular to a longitudinal direction (x) of the vehicle, means to determine the motion of the vehicle (1) and an evaluation device (30), wherein the line scan camera is a depth measuring line scan camera so that the individual images of the environment around the vehicle (1) contain depth information that can be resolved in a vertical direction (z). This enables cost-effective, precise and safe measurement of parking gaps. The invention also relates to a method for measuring a parking gap.

Description

Beschreibung description
Titeltitle
Vorrichtung und Verfahren zur Vermessung einer ParklückeDevice and method for measuring a parking space
Stand der TechnikState of the art
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach dem Oberbegriff der unabhängigen Ansprüche.The invention is based on a device or a method according to the preamble of the independent claims.
Aus EP 0 735 383 Al ist bereits eine Vorrichtung zur Aufnahme der Umgebung eines Fahrzeugs mit Hilfe eines Abstandssensors bekannt. Hierbei ist derFrom EP 0 735 383 A1 a device for recording the surroundings of a vehicle by means of a distance sensor is already known. Here is the
Empfindlichkeitsbereich des Sensors in vertikaler Richtung größer als in horizontaler Richtung. Eine räumlich aufgelöste Erfassung der detektierten Objekte findet nicht statt.Sensitivity range of the sensor in the vertical direction greater than in the horizontal direction. A spatially resolved detection of the detected objects does not take place.
Aus EP 1 467 225 Al ist es bekannt, dreidimensionale Umgebungsbilder eines Fahrzeugs mit einem optischen dreidimensionalen System, beispielsweise einer SD- Kamera, aufzunehmen.From EP 1 467 225 A1 it is known to record three-dimensional environmental images of a vehicle with an optical three-dimensional system, for example an SD camera.
Weiterhin ist es aus DE 101 14 932 Al bekannt, mit einem scannenden Abstandssensor den Bereich seitlich eines Fahrzeugs in jeweils senkrecht zur Fahrtrichtung und zur Straßenoberfläche stehenden Flächen abzutasten und aus den dadurch gewonnenenFurthermore, it is known from DE 101 14 932 A1 to scan with a scanning distance sensor, the area laterally of a vehicle in each case perpendicular to the direction of travel and the road surface surfaces and from the thus obtained
Tiefenprofilen ein dreidimensionales Abbild des Umfelds des Fahrzeugs zu generieren. Offenbarung der ErfindungDepth profiles to generate a three-dimensional image of the environment of the vehicle. Disclosure of the invention
Vorteile der ErfindungAdvantages of the invention
Die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren mit den Merkmalen der unabhängigen Ansprüche haben demgegenüber den Vorteil, dass zur Erfassung der für die Erkennung und Vermessung einer Parklücke notwendigen 3D- Informationen ein kostengünstiger eindimensionaler Sensor, nämlich eine tiefenmessende Zeilenkamera, vorgesehen ist. Aus einer Mehrzahl von aufeinander folgenden Aufnahmen des tiefenauflösenden eindimensionalen Sensors, die bei der Bewegung des Fahrzeugs gewonnen werden, kann ein dreidimensionales Bild der Umgebung des Fahrzeugs zusammengesetzt werden.The device according to the invention and the method according to the invention with the features of the independent claims have the advantage that a cost-effective one-dimensional sensor, namely a depth-measuring line scan camera, is provided for detecting the 3D information necessary for the detection and measurement of a parking space. From a plurality of successive shots of the depth-resolving one-dimensional sensor obtained in the movement of the vehicle, a three-dimensional image of the surroundings of the vehicle can be composed.
Zeilenkameras sind mit einer hohen Pixelzahl erhältlich, so dass eine besonders hohe Auflösung erzielt werden kann. Dadurch, dass die von der Zeilenkamera erfassten Daten bereits räumlich aufgelöste Tiefeninformationen enthalten, ist eine genaue räumliche Vermessung der Objekte in der Umgebung des Fahrzeugs möglich. So können insbesondere Größe, Form und Position einer Parklücke mit besondere hoher Genauigkeit bestimmt werden, sowie Formen und Abmessungen der Begrenzungen einer Parklücke oder eventueller Störobjekte in der Parklücke. Hierdurch ist auch eine sichere Klassifikation und Einschätzung der Relevanz der betreffenden Objekte möglich, beispielsweise eine genaue Bestimmung der Höhe des Randsteins oder eine sichere Unterscheidung zwischen überfahrbaren und nicht überfahrbaren Objekten, sowie zwischen Objekten, die zwar nicht überfahren, aber mit einem Karosserieteil überragt werden können, wie etwa ein niedriger Randstein, und Objekten, bei denen das nicht möglich ist. Darüber hinaus spielen bei tiefenmessenden Zeilensensoren optische Einschränkungen, wie Schattenwurf bei ungünstiger Sonneneinstrahlung oder Kontrastschwäche zwischen Vorder- und Hintergrund, keine Rolle. Die durch die Zeilenkamera gleichzeitig mit den Tiefeninformationen erfasstenLine scan cameras are available with a high pixel count, so that a particularly high resolution can be achieved. Because the data captured by the line scan camera already contain spatially resolved depth information, an accurate spatial measurement of the objects in the surroundings of the vehicle is possible. Thus, in particular the size, shape and position of a parking space can be determined with particular high accuracy, as well as shapes and dimensions of the boundaries of a parking space or any obtrusive objects in the parking space. As a result, a reliable classification and assessment of the relevance of the objects in question is possible, for example, an accurate determination of the height of the curb or a safe distinction between traversable and non-drivable objects, as well as between objects that do not drive over, but can be surmounted by a body part such as a low curb, and objects that can not. In addition, optical limitations, such as shadows cast in unfavorable sunlight or contrast weakness between foreground and background, play no role in depth-measuring line sensors. The detected by the line camera simultaneously with the depth information
Helligkeitsinformationen können ebenfalls für eine nachfolgende Auswertung zur Verfügung stehen. Die Zeilenkamera ist dabei mit horizontaler Blickrichtung, d. h., zur Erfassung der für die Erkennung und Vermessung von Parklücken relevanten Umgebung, an einem Fahrzeug angeordnet. Insbesondere sollen parkende Fahrzeuge und nahe der Straßenoberfläche befindliche Objekte sicher detektiert werden. Die Blickrichtung der Zeilenkamera ist bevorzugt senkrecht zur Längsrichtung des Fahrzeugs, kann aber auch schräg nach vorne oder nach hinten ausgerichtet sein. Das von der Zeilenkamera aufgenommene eindimensionale Bild der Umgebung besteht aus Bildpunkten, die bevorzugt in senkrechter Richtung angeordnet sind; die Kamerazeile kann aber auch schräg zur Senkrechten ausgerichtet sein.Brightness information may also be available for subsequent evaluation. The line scan camera is in this case arranged with a horizontal viewing direction, ie, on a vehicle in order to detect the environment relevant for the detection and measurement of parking spaces. In particular, parked vehicles and objects located near the road surface should be reliably detected. The viewing direction of the line scan camera is preferably perpendicular to the longitudinal direction of the vehicle, but can also be aligned obliquely forward or backward. The one-dimensional image of the environment taken by the line scan camera consists of pixels, which are preferably arranged in the vertical direction; but the camera line can also be aligned obliquely to the vertical.
Neben den Tiefeninformationen können auch die Intensitäts- bzw. Helligkeitsinformationen, die mit der Zeilenkamera erhalten werden, ausgewertet werden. Diese können durch Erhöhung der Redundanz beispielsweise Aussagen über die Nutzbarkeit der Tiefeninformationen zulassen, etwa bei schwachem Signal oder bei Fehlern der Zeilenkamera. Ebenso können beispielsweise Reflexe erkannt werden, die ebenfalls Aussagen über die Form der detektierten Objekte zulassen. Darüber hinaus kann durch Auswertung der Reflektanz- bzw. Grauwertdaten die Sicherheit und Genauigkeit der Objektklassifikation verbessert werden.In addition to the depth information, the intensity or brightness information obtained with the line scan camera can also be evaluated. By increasing the redundancy, for example, these can permit statements about the usability of the depth information, for example with a weak signal or with errors of the line scan camera. Likewise, for example, reflexes can be detected, which also allow statements about the shape of the detected objects. In addition, by evaluating the reflectance or gray value data, the security and accuracy of the object classification can be improved.
Zur Auswertung der von der Zeilenkamera gelieferten Daten und der Bewegung des Fahrzeugs ist mindestens eine Auswerteeinrichtung vorgesehen, die von der Zeilenkamera separat oder auch in diese integriert sein kann. Ebenso kann die Auswerteeinrichtung auch als Teil eines übergeordneten Systems ausgebildet sein. Der Auswerteeinrichtung können Speichermittel zugeordnet sein, die Daten des Fahrzeugs enthalten können, wie beispielsweise die Abmessungen, die Positionen der Räder zu den Ecken des Fahrzeugs, oder auch die maximale Höhe von Objekten, die noch überfahren oder überragt werden können. Die Speichermittel können auch dazu dienen, Bilder der Zeilenkamera zu speichern. Die ausgewerteten Daten über die Parklücke können zur Information des Fahrers zur Verfügung stehen, beispielsweise, ob die Parklücke zum Einparken des Fahrzeugs überhaupt ausreichend ist, oder auch zur Berechnung von Aktionen eines Einparkhilfesystems dienen. Es können auch mehrere Zeilenkameras zur Erfassung unterschiedlicher Bereiche, zur Erhöhung der Genauigkeit, zur Vermeidung von Abschattungen oder zur Erfassung unterschiedlicher Arten von Parklücken vorgesehen sein. So kann beispielsweise eine Zeilenkamera auf der rechten Fahrzeugseite angeordnet sein zur Vermessung vonFor evaluating the data supplied by the line scan camera and the movement of the vehicle, at least one evaluation device is provided which can be integrated separately from the line scan camera or also into it. Likewise, the evaluation device can also be designed as part of a higher-level system. The evaluation device may be associated with storage means which may contain data of the vehicle, such as the dimensions, the positions of the wheels to the corners of the vehicle, or even the maximum height of objects that can still be run over or surmounted. The storage means may also serve to store images of the line scan camera. The evaluated data on the parking space may be available for the information of the driver, for example, whether the parking space is sufficient for parking the vehicle at all, or also serve for the calculation of actions of a parking assistance system. It is also possible to provide several line scan cameras for detecting different areas, for increasing accuracy, for avoiding shadowing or for detecting different types of parking spaces. For example, a line scan camera can be arranged on the right side of the vehicle for measuring
Parklücken auf der rechten Straßenseite und eine weitere auf der linken Fahrzeugseite zur Vermessung von Parklücken auf der linken Straßenseite. Ebenso kann eine Zeilenkamera im vorderen Bereich des Fahrzeugs angeordnet sein und eine weitere im hinteren Bereich, um, unabhängig von der Richtung der Vorbeifahrt, in jedem Fall zum frühest möglichen Zeitpunkt die Daten der Parklücke ermitteln zu können; bei Vorwärtsfahrt ist in diesem Fall die eine der Zeilenkameras in Betrieb, bei Rückwärtsfahrt die andere. Es können auch beide Zeilenkameras gleichzeitig benutzt werden, um unter allen Bedingungen eine optimale Abdeckung der Parklücke oder auch eine redundante Messung zu erzielen. Ebenso können die mehreren Zeilenkameras unterschiedlich ausgestaltet oder angeordnet sein, beispielsweise mit Blickrichtungen in unterschiedlicher Schrägstellung zur Längsrichtung, um Abschattungen zu vermindern.Parking spaces on the right side of the street and another on the left side of the vehicle to measure parking spaces on the left side of the street. Likewise, a line scan camera can be arranged in the front region of the vehicle and a further in the rear region, in order to be able to determine the data of the parking space at any time at the earliest possible time, irrespective of the direction of passing; when driving forwards, one of the line scan cameras is in operation in this case, while the reverse is the other. Both line scan cameras can also be used simultaneously to achieve optimum coverage of the parking space or a redundant measurement under all conditions. Likewise, the plurality of line scan cameras can be designed or arranged differently, for example, with viewing directions in different obliquity to the longitudinal direction in order to reduce shadowing.
In vorteilhafter Weise kann die tiefenauflösende Zeilenkamera ein PMD- (Photon Mixing Device) Sensor bzw. Range Imager sein. Ein solcher Sensor ist kostengünstig erhältlich. Die aktive Beleuchtung erlaubt eine Verwendung auch unter schlechtenAdvantageously, the deep-resolution line scan camera may be a PMD (Photon Mixing Device) sensor or range imager. Such a sensor is available at low cost. The active lighting allows use even under bad
Beleuchtungsverhältnissen, z. B. nachts. Besonders bevorzugt ist es, wenn der Sensor im NIR-Bereich arbeitet, da dieser für das menschliche Auge unsichtbar ist, aber die Sensor- und Empfängertechnologie ausgereift und robust und leicht verfügbar ist.Illumination conditions, eg. At night. It is particularly preferred when the sensor is operating in the NIR range, since it is invisible to the human eye, but the sensor and receiver technology is mature, robust and readily available.
In einer weiteren vorteilhaften Weiterbildung der Erfindung können Ausleuchtung,In a further advantageous embodiment of the invention illumination,
Auflösung und Winkelbereich der tiefenmessenden Zeilenkamera durch eine geeignete Optik ausgestaltet werden, beispielsweise durch Toroidlinsen mit unterschiedlichen Brennweiten in verschiedenen Ebenen. Derartige Maßnahmen können sowohl zur Ausgestaltung des Strahlbereichs des Senders wie auch des Empfindlichkeitsbereichs des Empfängers vorgesehen sein. Damit lassen sich für jedes Pixel die gewünschten Strahl- bzw. Empfindlichkeitsprofile, beispielsweise auch ovale Profile, erreichen. So kann es insbesondere vorteilhaft sein, in horizontaler und in vertikaler Richtung unterschiedlich breite Strahlpro fϊle zu haben, die an die jeweilige erforderliche Auflösung in horizontaler und in vertikaler Richtung optimal angepasst sind.Resolution and angle range of the depth-measuring line scan camera be designed by a suitable optics, for example by toroidal lenses with different focal lengths in different planes. Such measures can be provided both for the design of the beam range of the transmitter as well as the sensitivity range of the receiver. This allows the desired beam or sensitivity profiles, for example oval profiles, to be achieved for each pixel. So it may be particularly advantageous in the horizontal and in the vertical direction to have different width beamprojections, which are optimally adapted to the respective required resolution in the horizontal and in the vertical direction.
Zur genauen Höhenvermessung von Hindernissen, insbesondere Bordsteinen, kann es dabei besonders vorteilhaft sein, wenn die Auflösung der tiefenmessendenFor accurate height measurement of obstacles, especially curbs, it may be particularly advantageous if the resolution of the depth-measuring
Zeilenkamera horizontal und vertikal unterschiedlich oder blickrichtungsabhängig der jeweils erforderlichen Genauigkeit angepasst ist. So kann beispielsweise der Detektionsbereich jedes Pixels in vertikaler Richtung geringer sein als in horizontaler Richtung. Hiermit kann bei gegebener Empfindlichkeit der Pixel eine besonders hohe Auflösung und Messgenauigkeit in vertikaler Richtung erreicht werden, um beispielsweise die Höhe eines Bordsteins möglichst genau zu bestimmen, um diesen als überragbar oder nicht überragbar klassifizieren zu können. Ebenso kann die Auflösung der Zeilenkamera in einer Blickrichtung, in der sich in häufig vorkommenden Fahrsituationen Objekte befinden, deren Höhe genau vermessen werden muss, höher sein als in anderen Bereichen. Dies kann beispielsweise durch einen unterschiedlichen Pixelabstand oder durch Verwendung von mehreren Sensoren bzw. Zeilenkameras mit unterschiedlicher Auflösung erreicht werden. Bei geeigneter Ausgestaltung und Anordnung können dadurch beispielsweise Objekte in der Nähe der Fahrbahnoberfläche, insbesondere Bordsteine, sehr genau vermessen werden, während für den oberen Bereich von Fahrzeugen, der für einen Einparkvorgang weniger genau bekannt sein muss, ein geringerer Aufwand bezüglich Sensorik und Auswertung ausreichend ist.Line scan camera is adjusted horizontally and vertically different or view-dependent of the required accuracy. For example, the detection range of each pixel may be lower in the vertical direction than in the horizontal direction. This can be achieved with a given sensitivity of the pixels a particularly high resolution and accuracy in the vertical direction, for example, to determine the height of a curb as accurately as possible in order to classify these as überragbar or not überragbar. Likewise, the resolution of the line scan camera in a line of sight, in which objects are found in frequently occurring driving situations, the height of which must be precisely measured, can be higher than in other areas. This can be achieved for example by a different pixel pitch or by using multiple sensors or line scan cameras with different resolution. With a suitable configuration and arrangement, for example, objects in the vicinity of the road surface, in particular curbs, can be measured very accurately, while for the upper range of vehicles, which must be less accurately known for a parking operation, a lesser effort in terms of sensors and evaluation is sufficient ,
Zur Erfassung der Bewegung des Fahrzeugs können fahrzeuggebundene oder vom Fahrzeug unabhängige Systeme eingesetzt werden. In einer bevorzugtenTo detect the movement of the vehicle, vehicle-mounted or vehicle-independent systems can be used. In a preferred
Ausführungsform werden hierfür Odometriesensoren verwendet. Dies hat den Vorteil einer einfachen, kostengünstigen Ausführung. Darüber hinaus sind solche Sensoren häufig in Fahrzeugen als Teil anderer Systeme, beispielsweise ABS oder ASR, bereits vorhanden; die Verwendung dieser Sensoren hat den besonderen Vorteil, dass keine zusätzlichen Kosten für die Sensorik entstehen. Die Erfassung der Bewegung des Fahrzeugs ermöglicht insbesondere die Ermittlung des Weginkrements, um das sich das Fahrzeug von einer Aufnahme der Zeilenkamera bis zur nächsten weiterbewegt hat, und damit, ggf. unter Zuhilfenahme weiterer Daten über die Ausrichtung der Zeilenkamera oder rotatorischer Bewegungen des Fahrzeugs, die Zusammensetzung aufeinander folgender Aufnahmen zu einem vollständigen Bild der Umgebung des Fahrzeugs.Embodiment are used for this odometry sensors. This has the advantage of a simple, inexpensive design. In addition, such sensors are often already present in vehicles as part of other systems, such as ABS or ASR; The use of these sensors has the particular advantage that there are no additional costs for the sensors. The detection of the movement of the vehicle allows, in particular, the determination of the distance increment by which the vehicle has moved from one shot of the line scan camera to the next, and thus, possibly with the help of further data on the orientation of the line scan camera or rotational movements of the vehicle Composition of successive shots to a complete picture of the environment of the vehicle.
Gemäß einem erfindungsgemäßen Verfahren zur Vermessung einer Parklücke bei einer Vorbeifahrt eines Fahrzeugs an der Parklücke, d. h., an einem Umgebungsbereich, der potentiell als Parklücke dienen kann, wird eine Folge von Einzelbildern einer Umgebung des Fahrzeugs (1) in einer horizontalen Richtung quer zu einer Längsrichtung (x) des Fahrzeugs aufgenommen, wobei die Einzelbilder in einer weiteren Richtung quer zur Längsrichtung (x) des Fahrzeugs aufgelöst sind, die Bewegung des Fahrzeugs bei der Vorbeifahrt an der Parklücke wird erfasst und daraus das Weginkrement von einer zu einer darauf folgenden Einzelbildaufnahme berechnet; hierbei können auch andere Bewegungen als die Bewegung des Fahrzeugs in Längsrichtung zur späteren Auswertung erfasst werden. Die Aufnahme der Einzelbilder erfolgt erfindungsgemäß mit einer tiefenmessenden Zeilenkamera, so dass die Einzelbilder in der weiteren Richtung eindimensional aufgelöste Helligkeits- und Tiefeninformationen enthalten. Aus der Folge von eindimensionalen Einzelbildern mit Tiefeninformationen können die Begrenzungen der Parklücke mit hoher Genauigkeit erkannt und die nutzbaren Abmessungen der Parklücke ermittelt werden.According to a method according to the invention for measuring a parking space when a vehicle passes by at the parking space, d. that is, at a surrounding area that can potentially serve as a parking space, a sequence of frames of an environment of the vehicle (1) is taken in a horizontal direction transverse to a longitudinal direction (x) of the vehicle, with the frames in a further transverse direction The vehicle's longitudinal movement (x) is resolved, the movement of the vehicle as it passes the parking space is detected, and from this the path increment is calculated from one to a subsequent single image shot; In this case, other movements than the movement of the vehicle in the longitudinal direction can be detected for later evaluation. The recording of the individual images takes place according to the invention with a depth-measuring line scan camera, so that the individual images contain one-dimensionally resolved brightness and depth information in the further direction. From the sequence of one-dimensional images with depth information, the limitations of the parking space can be detected with high accuracy and the usable dimensions of the parking space can be determined.
Das Verfahren nach Anspruch 8 hat demgegenüber den weiteren Vorteil, dass mit einer geringen Rechen- und Speicherkapazität und daher kostengünstig und schnell eine sichere Auswertung der von der Zeilenkamera gelieferten Daten möglich ist. Hiermit kann beispielsweise bei einer nach vorne offenen Parklücke der Anfang und die Tiefe der Parklücke ermittelt werden.The method according to claim 8, in contrast, has the further advantage that with a low computing and storage capacity and therefore inexpensive and fast secure evaluation of the data supplied by the line scan camera is possible. Hereby, for example, with a parking space open to the front, the beginning and the depth of the parking space can be determined.
Das Verfahren nach Anspruch 9 ermöglicht demgegenüber auf ebenso einfache und kostengünstige Weise die Ermittlung der Position und der Länge einer nach vorne und hinten begrenzten Parklücke. Kurze Beschreibung der ZeichnungenThe method according to claim 9, in contrast, allows the determination of the position and the length of a front and rear limited parking space in an equally simple and cost-effective manner. Brief description of the drawings
Ausfuhrungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.Exemplary embodiments of the invention are illustrated in the drawings and explained in more detail in the following description.
Es zeigen:Show it:
Figur 1 eine Situation bei der Vorbeifahrt an einer Parklücke aus der Vogelperspektive;Figure 1 shows a situation when passing on a parking space from a bird's eye view;
Figur 2 die Funktion einer erfindungsgemäßen Vorrichtung im Querschnitt der Szene aus Figur 1 ;Figure 2 shows the function of a device according to the invention in cross section of the scene of Figure 1;
Figur 3 eine Seitenansicht der Szene aus Fig. 1 mit einem schematisch dargestellten Einzelbild einer Zeilenkamera;FIG. 3 shows a side view of the scene from FIG. 1 with a schematically represented single image of a line scan camera;
Figur 4 ein synthetisiertes Bild der Zeilenkamera bei der Vorbeifahrt an der Parklücke der Fig. 1;FIG. 4 shows a synthesized image of the line scan camera as it passes by the parking space of FIG. 1;
Fig. 5 in schematischer Form ein erfindungsgemäßes Verfahren zur Bestimmung der Parameter einer Parklücke;5 shows in schematic form a method according to the invention for determining the parameters of a parking space;
Figur 6 den für die Ausführung des erfindungsgemäßen Verfahrens wesentlichen Teil des Einzelbilds aus Fig. 3;FIG. 6 shows the part of the single image from FIG. 3 which is essential for carrying out the method according to the invention;
Fig. 7 in schematischer Form die in dem Bild der Figur 4 enthaltene Tiefeninformation;Fig. 7 shows in schematic form the depth information contained in the image of Fig. 4;
Ausführungsformen der Erfindung Eine Situation, in der die erfϊndungsgemäße Vorrichtung und das erfindungsgemäße Verfahren vorteilhaft einsetzbar sind, ist in Fig. 1 in Draufsicht (aus der Vogelperspektive) dargestellt. Ein Fahrzeug 1 , das mit der erfindungsgemäßen Vorrichtung ausgestattet ist, fährt an Objekten, beispielsweise stehenden Fahrzeugen 2 und 3, vorbei, die einen potentiell als Parklücke 4 geeigneten Zwischenraum begrenzen. Die Parklücke 4 wird weiterhin begrenzt durch den Randstein 5. Natürlich kann die Parklücke auch durch andere Objekte, etwa Bäume, Poller, abgestellte Fahrräder usw. begrenzt sein. Der Einsatz der erfindungsgemäßen Vorrichtung kann aber auch sinnvoll sein, wenn die Parklücke nach mehr als einer Seite offen ist, wenn beispielsweise kein Randstein oder auch nur ein einzelnes stehendes Fahrzeug 3 vorhanden ist. Die erfindungsgemäße Vorrichtung erzeugt Daten, die einem übergeordneten Fahrerinformations- oder Steuerungssystem als Grundlage für Informationen an den Fahrer oder ggf. weitere Aktionen, wie die Planung und Durchführung eines teilweise oder ganz selbstständigen Einparkvorgangs, dienen.Embodiments of the invention A situation in which the device according to the invention and the method according to the invention can be used advantageously is shown in plan view (from a bird's-eye view) in FIG. A vehicle 1, which is equipped with the device according to the invention, drives past objects, for example stationary vehicles 2 and 3, which delimit a space which is potentially suitable as parking space 4. The parking space 4 is further limited by the curb 5. Of course, the parking space may also be limited by other objects, such as trees, bollards, parked bicycles, etc. The use of the device according to the invention may also be useful if the parking space is open to more than one side, for example, if no curb or even a single stationary vehicle 3 is present. The device according to the invention generates data which serve as a basis for information to the driver or possibly further actions, such as the planning and execution of a partially or completely independent parking operation, to a superordinate driver information or control system.
Hierzu ist gemäß Ausführungsbeispiel eine tiefenmessende Zeilenkamera 10 vorgesehen, deren Blickrichtung senkrecht zur Längsrichtung x des Fahrzeugs gerichtet ist. Wie in Fig. 2 dargestellt, spannt die Empfangsapertur der tiefenmessenden Zeilenkamera 10 in vertikaler Richtung einen fächerförmigen Bereich 11 auf, der die in der Umgebung des Fahrzeugs 1 befindlichen Objekte erfasst. Jedem Pixel der Zeilenkamera ist dabei ein Sehstrahl 12, 13 in eine bestimmte Raumrichtung zugeordnet. Für diejenigen Pixel, deren Sehstrahlen 12 auf kein Objekt treffen, gibt es keine Tiefeninformation und ggf. auch keine Helligkeitsinformation. Bei denjenigen Pixeln, deren Sehstrahlen 13 auf ein Objekt treffen, ermittelt die tiefenmessende Zeilenkamera neben dem Helligkeitswert auch eine Tiefeninformation, d. h., den Abstand zur Objektoberfläche 14. Da der Winkel jeden Sehstrahls 12, 13 zur Horizontalen bekannt ist, kann damit aus jedem Einzelbild der tiefenmessenden Zeilenkamera ein Bild mit Abstandsinformationen gewonnen werden. In Fig. 3 ist in einer Seitenansicht der Szene aus Fig. 1 beispielhaft die inverse Helligkeitsverteilung in einem Einzelbild 40 der Zeilenkamera dargestellt. Bewegt sich nun das Fahrzeug 1 mit der daran befindlichen Zeilenkamera 10 in Längsrichtung x an den ruhenden Fahrzeugen 2, 3 vorbei, so kann aus den aufeinander folgenden Einzelbildern der Zeilenkamera ein vollständiges Bild der Szene synthetisiert werden (Fig. 4). Eine Spalte 41 des synthetisierten Bildes entspricht dabei einem Einzelbild der Zeilenkamera. Die Breite jeder Spalte entspricht dem Weginkrement, das das Fahrzeug 1 von einer zur nächsten Aufnahme der Zeilenkamera zurückgelegt hat. Zur Bestimmung dieses Weginkrements ist ein zweiter Sensor, beispielsweise ein Odometriesensor 20, vorgesehen, der aus der Radbewegung die Geschwindigkeit des Fahrzeugs ermittelt, aus der mit dem Zeitabstand der Einzelaufnahmen der Kamera das Weginkrement berechnet werden kann. Dabei kann der Zeitabstand derFor this purpose, a depth-measuring line camera 10 is provided according to embodiment, the viewing direction is directed perpendicular to the longitudinal direction x of the vehicle. As shown in FIG. 2, the receiving aperture of the depth-measuring line camera 10 biases a fan-shaped area 11 in the vertical direction, which detects the objects located in the vicinity of the vehicle 1. Each pixel of the line scan camera is assigned a line of sight 12, 13 in a specific spatial direction. For those pixels whose visual rays 12 do not strike any object, there is no depth information and possibly also no brightness information. In the case of those pixels whose visual rays 13 strike an object, the depth-measuring line camera also determines depth information, ie the distance to the object surface 14, since the angle of each visual ray 12, 13 to the horizontal is known depth-measuring line camera to obtain a picture with distance information. FIG. 3 shows an example of the inverse brightness distribution in a single image 40 of the line scan camera in a side view of the scene from FIG. If the vehicle 1 with the line camera 10 located thereon now moves past the stationary vehicles 2, 3 in the longitudinal direction x, a complete image of the scene can be synthesized from the successive individual images of the line camera (FIG. 4). A column 41 of the synthesized image corresponds to a single image of the line scan camera. The width of each column corresponds to the Weginkrement that has covered the vehicle 1 from one to the next shot of the line scan camera. In order to determine this path increment, a second sensor, for example an odometry sensor 20, is provided, which determines the speed of the vehicle from the wheel movement, from which the path increment can be calculated with the time interval of the individual shots of the camera. The time interval of the
Einzelaufnahmen beispielsweise von der Geschwindigkeit des Fahrzeugs 1 und von der gewünschten Auflösung in x-Richtung abhängen.Individual shots, for example, depend on the speed of the vehicle 1 and the desired resolution in the x-direction.
Ein erfindungsgemäßes Verfahren ist schematisch in Fig. 5 gezeigt. Bei der Vorbeifahrt des Fahrzeugs (1) an der Parklücke werden von der tiefenauflösenden Zeilenkamera eine Vielzahl von Einzelbildern aufgenommen, wodurch zu jedem Pixel neben den Helligkeits- auch Tiefeninformationen vorliegen, aus denen Abstandsinformationen ermittelt werden. Im Zuge einer Filterung können die Daten geglättet oder auch mehrere Pixel mit ähnlichen Tiefen- oder Abstandsinformationen zusammengefasst sowie fehlerhafte Werte, die beispielsweise aufgrund von Sensor defekten, Reflexen o. ä. unbrauchbar sind, eliminiert werden. Im nächsten Schritt wird jeweils mindestens ein Abstandsminimum |ymin| ermittelt und der gemäß Abstandsinformationen damit zusammenhängende Bereich bestimmt, die jeweils Umgebungsobjekte darstellen. Dies ist in Fig. 6 schematisch für eine Spalte 42 des synthetisierten Bildes der Umgebung des Fahrzeugs dargestellt. Für diese Bereiche werden dann der minimale und der maximale Vertikal wert Zm1n und zmax ermittelt, der die Abmessungen des betreffenden Objekts charakterisiert, wobei ggf. diejenigen Messwerte, die die Straßenoberfläche darstellen, eliminiert werden. Insbesondere zmax ist wichtig zur Ermittlung der Überfahrbarkeit von Objekten und zur Klassifikation von Objekten in solche, die überfahren werden können, wie beispielsweise ein abgesenkter Bordstein, solche, die beispielsweise mit dem Heck, aber nicht mit einem Rad überfahren werden können, wie beispielsweise ein Bordstein unterhalb einer vorbestimmten Maximalhöhe, und solchen, die nicht überfahren werden können, wie beispielsweise ein parkendes Fahrzeug, ein Poller oder eine Wand. Diese Schritte werden für eine Vielzahl von aufeinander folgenden, jeweils um ein Weginkrement (beispielsweise Δx) veränderten, Positionen x wiederholt.A method according to the invention is shown schematically in FIG. When the vehicle (1) passes by at the parking space, a plurality of individual images are recorded by the depth-resolving line scan camera, as a result of which depth information is available for each pixel in addition to the brightness information from which distance information is determined. As part of a filtering, the data can be smoothed or even several pixels with similar depth or distance information summarized and erroneous values that are unusable, for example, due to sensor defects, reflections or the like, are eliminated. In the next step, at least one minimum distance | y min | and determines the contiguous area corresponding to distance information, each representing environment objects. This is shown schematically in FIG. 6 for a column 42 of the synthesized image of the surroundings of the vehicle. For these areas, then the minimum and maximum vertical values Z m1n and z max are determined, which characterizes the dimensions of the object in question, with possibly those measured values representing the road surface being eliminated. In particular, z max is important for determining the traversability of objects and for classifying objects in those that can be run over, such as a lowered curb, those that can be run over, for example, with the rear, but not with a wheel, such as a Curb below a predetermined maximum height, and those that are not run over can, such as a parked vehicle, a bollard or a wall. These steps are repeated for a plurality of successive positions x changed by one path increment (for example Δx).
Für jede Position x, d. h., für jedes Einzelbild oder für eine Mehrzahl von miteinander zusammenhängenden Einzelbildern, können auf diese Weise wesentliche Kenngrößen, wie etwa der Abstand zu einem Objekt oder die Höhe des Objekts bestimmt werden. Damit kann eine Entscheidung getroffen werden, ob am betreffenden Ort x der Längsbewegung des Fahrzeugs ein für eine mögliche Parklücke nutzbarer Raum vorliegt oder nicht. Ist im weiteren Verlauf der Vorbeifahrt des Fahrzeugs ein vorhandener Raum beendet, was beispielsweise, wie in Fig. 7 schematisch dargestellt, an einem Sprung von |ymin| erkannt wird, so kann aus den vorhandenen Daten eine Entscheidung getroffen werden, ob der Raum als Parklücke nutzbar ist oder nicht und die entsprechenden Daten beispielsweise einem Fahrerinformations- oder einem Einparkhilfesystem zugänglich gemacht werden.For each position x, ie, for each frame or for a plurality of interconnected frames, essential characteristics, such as the distance to an object or the height of the object can be determined in this way. Thus, a decision can be made as to whether or not there is a space usable for a possible parking space at the relevant location x of the longitudinal movement of the vehicle. Is in the further course of the passage of the vehicle, an existing space is completed, which, for example, as shown schematically in Fig. 7, at a jump of | y min | is detected, it can be made from the existing data, a decision as to whether the room is usable as a parking space or not and the corresponding data, for example, a driver information or a parking assistance system made accessible.
Zur Durchführung des Verfahrens sind die Zeilenkamera 10 und der Odometriesensor 20 mit einer Auswertevorrichtung 30 verbunden, die aus den von den Sensoren gelieferten Daten die genannten Informationen ermittelt und diese ggf. einem übergeordneten System zur Verfügung stellt. To carry out the method, the line scan camera 10 and the odometry sensor 20 are connected to an evaluation device 30, which determines the information from the data supplied by the sensors and, if appropriate, makes this available to a higher-level system.

Claims

Ansprüche claims
1. Vorrichtung zur Vermessung einer Parklücke (4) bei einer Vorbeifahrt eines Fahrzeugs (1) an der Parklücke, mit - mindestens einem mit dem Fahrzeug (1) mitbeweglichen Sensor zur1. A device for measuring a parking space (4) when driving past a vehicle (1) at the parking space, with - at least one with the vehicle (1) mitbeweglichen sensor for
Erfassung von Daten einer Umgebung des Fahrzeugs (1) in einer horizontalen Richtung quer zu einer Längsrichtung (x) des Fahrzeugs, wobei die Daten der Umgebung des Fahrzeugs (1) eindimensional in einer weiteren Richtung quer zu einer Längsrichtung des Fahrzeugs (x) auflösbar sind,Acquiring data of an environment of the vehicle (1) in a horizontal direction transverse to a longitudinal direction (x) of the vehicle, the data of the surroundings of the vehicle (1) being one-dimensionally resolvable in a further direction transverse to a longitudinal direction of the vehicle (x) .
Mitteln zur Erfassung der Bewegung des Fahrzeugs (1) bei der Vorbeifahrt an der Parklücke und mindestens einer Auswerteeinrichtung (30) zur Auswertung der von dem Sensor und den Mitteln zur Erfassung der Bewegung des Fahrzeugs gelieferten Daten, dadurch gekennzeichnet, dass der mindestens eine Sensor eine tiefenmessende Zeilenkamera ist und die von dem mindestens einen Sensor erfassbaren Daten in der weiteren Richtung auflösbare Helligkeits- und Tiefeninformationen enthalten.Means for detecting the movement of the vehicle (1) when passing by the parking space and at least one evaluation device (30) for evaluating the data supplied by the sensor and the means for detecting the movement of the vehicle, characterized in that the at least one sensor depth-measuring line scan camera is and contain the data detectable by the at least one sensor in the further direction resolvable brightness and depth information.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass mehrere tiefenmessende Zeilenkameras vorgesehen sind.2. Apparatus according to claim 1, characterized in that a plurality of depth-measuring line scan cameras are provided.
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die tiefenmessende Zeilenkamera bzw. die tiefenmessenden Zeilenkameras als3. Apparatus according to claim 1 or 2, characterized in that the depth-measuring line scan camera or the depth-measuring line scan cameras as
PMD-Sensor bzw. Range Imager arbeiten.PMD sensor or range imager work.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Auflösung der Zeilenkamera in vertikaler Richtung höher ist als in horizontaler. 4. Device according to one of claims 1 to 3, characterized in that the resolution of the line scan camera in the vertical direction is higher than in horizontal.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Auflösung der Zeilenkamera abhängig von der Blickrichtung ist.5. Device according to one of claims 1 to 4, characterized in that the resolution of the line scan camera is dependent on the viewing direction.
6. Vorrichtung nach einem der Ansprüche 1 - 5, dadurch gekennzeichnet, dass zur Erfassung der Bewegung des Fahrzeugs Odometriesensoren vorgesehen sind.6. Device according to one of claims 1-5, characterized in that are provided for detecting the movement of the vehicle odometry sensors.
7. Verfahren zur Vermessung einer Parklücke (4) bei einer Vorbeifahrt eines Fahrzeugs (1) an der Parklücke, mit den Schritten:7. A method for measuring a parking space (4) when passing a vehicle (1) at the parking space, comprising the steps:
Aufnehmen einer Folge von Einzelbildern einer Umgebung des Fahrzeugs (1) in einer horizontalen Richtung quer zu einerTaking a sequence of frames of an environment of the vehicle (1) in a horizontal direction transverse to one
Längsrichtung (x) des Fahrzeugs bei einer Vorbeifahrt des Fahrzeugs an der Parklücke, wobei die Einzelbilder in einer weiteren Richtung quer zur Längsrichtung (x) des Fahrzeugs aufgelöst sind, Erfassung der Bewegung des Fahrzeugs (1) bei der Vorbeifahrt an der ParklückeLongitudinal direction (x) of the vehicle when passing the vehicle at the parking space, wherein the individual images are resolved in a further direction transverse to the longitudinal direction (x) of the vehicle, detecting the movement of the vehicle (1) in passing the parking space
Berechnen des Weginkrements von einer zu einer darauf folgenden Einzelbildaufnahme, dadurch gekennzeichnet, dass die Aufnahme der Einzelbilder mit einer tiefenmessenden Zeilenkamera erfolgt, die Einzelbilder in der weiteren Richtung eindimensional aufgelöste Helligkeits- und Tiefeninformationen enthalten, und aus der Folge von eindimensionalen Einzelbildern mit Tiefeninformationen die Begrenzungen der Parklücke erkannt und die nutzbaren Abmessungen der Parklücke ermittelt werden.Computing the Weginkrements from one to a subsequent single image, characterized in that the recording of the individual images with a depth-measuring line camera takes place, the frames contain one-dimensionally resolved brightness and depth information in the further direction, and from the sequence of one-dimensional frames with depth information, the boundaries the parking space is detected and the usable dimensions of the parking space are determined.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass aus der Tiefeninformation für mindestens ein eindimensionales Einzelbild mindestens ein lokales Minimum |ymin| des Abstands vom Fahrzeug (1) ermittelt wird, zu dem mindestens einen lokalen Minimum |ymin| ein hiermit zusammenhängender Bereich innerhalb eines Einzelbilds und/oder innerhalb einer Mehrzahl aufeinander folgender Einzelbilder ermittelt wird, für den mit dem lokalen Minimum |ymin| zusammenhängenden Bereich der minimale und der maximale Vertikalwert Zm1n und zmax bestimmt werden, daraus ein parklückenbegrenzendes Objekt erkannt und als überfahrbar, überragbar oder nicht überfahr- oder überragbar klassifizieren wird, und und daraus der Anfang und die Tiefe einer Parklücke ermittelt werden.8. The method according to claim 7, characterized in that from the depth information for at least one one-dimensional single image at least one local minimum | y min | of the distance from the vehicle (1) to which at least one local minimum | y min | a related area within a frame and / or within a plurality of consecutive frames for which the local minimum | y min | contiguous area of the minimum and the maximum vertical value Z m1n and z max are determined from a Parklückenbegrenzendes object recognized and classify as overrun, überragbar or not traversable or überragbar, and from the beginning and the depth of a parking space can be determined.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass bei der Vorbeifahrt an der Parklücke (4) das Ende und die Länge der Parklücke (4) ermittelt und entsprechende Daten an ein übergeordnetes System übermittelt werden. A method according to claim 8, characterized in that when driving past the parking space (4) the end and the length of the parking space (4) determined and corresponding data are transmitted to a higher-level system.
EP08870696A 2008-01-16 2008-11-11 Device and method for measuring a parking gap Withdrawn EP2235562A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008004632A DE102008004632A1 (en) 2008-01-16 2008-01-16 Device and method for measuring a parking space
PCT/EP2008/065275 WO2009089938A1 (en) 2008-01-16 2008-11-11 Device and method for measuring a parking gap

Publications (1)

Publication Number Publication Date
EP2235562A1 true EP2235562A1 (en) 2010-10-06

Family

ID=40427254

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08870696A Withdrawn EP2235562A1 (en) 2008-01-16 2008-11-11 Device and method for measuring a parking gap

Country Status (4)

Country Link
US (1) US8422737B2 (en)
EP (1) EP2235562A1 (en)
DE (1) DE102008004632A1 (en)
WO (1) WO2009089938A1 (en)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010132677A1 (en) 2009-05-13 2010-11-18 Rutgers, The State University Vehicular information systems and methods
DE102009046674A1 (en) 2009-11-13 2011-06-09 Robert Bosch Gmbh Method for assisting parking process of motor vehicle i.e. lorry, by parking device, involves instaneously detecting contours of actuating position by sensor device, and guiding motor vehicle to actuating position by parking device
EP2428431A1 (en) * 2010-09-08 2012-03-14 Ford Global Technologies, LLC Vehicele park assist system and method for parking a vehicle using such system
US10776635B2 (en) * 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
DE102011013681A1 (en) 2011-03-11 2012-09-13 Valeo Schalter Und Sensoren Gmbh A method for detecting a parking space, parking assistance system and motor vehicle with a parking assistance system
DE102012201051A1 (en) * 2012-01-25 2013-07-25 Robert Bosch Gmbh Procedure for driving assistance and driver assistance system
JP2013200603A (en) * 2012-03-23 2013-10-03 Hitachi Automotive Systems Ltd In-vehicle image processing device and method
KR101877570B1 (en) * 2012-04-04 2018-07-11 현대자동차주식회사 Apparatus for setting parking position based on around view image and method thereof
JP5831415B2 (en) 2012-09-18 2015-12-09 アイシン精機株式会社 Parking assistance device
KR101417399B1 (en) * 2012-11-09 2014-07-08 현대자동차주식회사 Apparatus and method for parking position display of vehicle
DE102013010010B4 (en) * 2013-06-14 2022-02-10 Audi Ag Method for operating a driver assistance system for maneuvering and/or parking
GB201312038D0 (en) * 2013-07-04 2013-08-21 Jaguar Land Rover Ltd Trailer parameter identification system
US9285230B1 (en) * 2013-12-20 2016-03-15 Google Inc. Methods and systems for detecting road curbs
US9384662B2 (en) 2014-04-17 2016-07-05 Ford Global Technologies, Llc Parking assistance for a vehicle
DE102015201317A1 (en) * 2015-01-27 2016-07-28 Bayerische Motoren Werke Aktiengesellschaft Measuring a dimension on a surface
US10288733B2 (en) * 2015-04-28 2019-05-14 Robert Bosch Gmbh Method for forecasting parking area availability of a street section
DE102016111079A1 (en) 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Method for object height detection of an object in the environment of a motor vehicle and driver assistance system
KR102359806B1 (en) * 2016-06-27 2022-02-09 모빌아이 비젼 테크놀로지스 엘티디 Control of the host vehicle based on the detected parking vehicle characteristics
US10163347B2 (en) * 2016-12-12 2018-12-25 Arm Ip Limited Method of detecting and providing parking space information and/or road obstacle information to vehicles
DE102017105721A1 (en) * 2017-03-16 2018-09-20 Friedrich-Alexander-Universität Erlangen-Nürnberg Method for identifying at least one parking space for a vehicle and parking assistance system of a vehicle
US10614721B2 (en) * 2017-06-08 2020-04-07 International Business Machines Corporation Providing parking assistance based on multiple external parking data sources
JP2018203214A (en) * 2017-06-09 2018-12-27 アイシン精機株式会社 Parking support device, parking support method, driving support device and driving support method
DE102020131281A1 (en) 2020-11-26 2022-06-02 Valeo Schalter Und Sensoren Gmbh METHOD OF OPERATING A DRIVING ASSISTANCE SYSTEM, COMPUTER PROGRAM PRODUCT, DRIVING ASSISTANCE SYSTEM AND VEHICLE

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2732493B1 (en) 1995-03-29 1997-05-30 Renault DETECTION AND / OR LOCATION DEVICE OF A VEHICLE
DE19821974B4 (en) * 1998-05-18 2008-04-10 Schwarte, Rudolf, Prof. Dr.-Ing. Apparatus and method for detecting phase and amplitude of electromagnetic waves
US6285297B1 (en) * 1999-05-03 2001-09-04 Jay H. Ball Determining the availability of parking spaces
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3427823B2 (en) * 2000-02-29 2003-07-22 株式会社豊田自動織機 Backing support device for parallel parking
DE10114932B4 (en) 2001-03-26 2005-09-15 Daimlerchrysler Ag Three-dimensional environment detection
DE10146712A1 (en) 2001-09-21 2003-04-10 Bayerische Motoren Werke Ag Parking aid device for motor vehicles
DE10147808A1 (en) 2001-09-27 2003-04-10 Conti Temic Microelectronic Image recorder, in particular for the three-dimensional detection of objects or scenes
JP4234374B2 (en) * 2002-08-21 2009-03-04 三菱自動車工業株式会社 Parking assistance device
EP1467225A1 (en) 2003-04-10 2004-10-13 IEE International Electronics & Engineering S.A.R.L. Vehicle parking assistance
JP4235026B2 (en) * 2003-04-28 2009-03-04 トヨタ自動車株式会社 Parking assistance device
DE102004029038A1 (en) 2004-06-09 2006-07-06 Valeo Schalter Und Sensoren Gmbh Parking assistance system
DE102004039740A1 (en) 2004-08-17 2006-02-23 Robert Bosch Gmbh Method and device for distance determination and object determination
JP4604703B2 (en) * 2004-12-21 2011-01-05 アイシン精機株式会社 Parking assistance device
JP4600760B2 (en) * 2005-06-27 2010-12-15 アイシン精機株式会社 Obstacle detection device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009089938A1 *

Also Published As

Publication number Publication date
US20110013201A1 (en) 2011-01-20
US8422737B2 (en) 2013-04-16
WO2009089938A1 (en) 2009-07-23
DE102008004632A1 (en) 2009-07-23

Similar Documents

Publication Publication Date Title
EP2235562A1 (en) Device and method for measuring a parking gap
EP3084466B1 (en) Method for detecting a mark applied to an underlying surface, driver assistance device and motor vehicle
EP1267178B1 (en) Method for processing a high definition picture
DE102008004633A1 (en) Method and device for detecting and / or measuring a parking space
EP3183721A1 (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
EP2025991B1 (en) Device and method for three-dimensional monitoring of a spatial area with at least two image sensors
WO2006063546A1 (en) Method and device for determining the speed of a vehicle
DE102005001455A1 (en) Road surface reflection detection device
EP3479058A1 (en) Method and device for measuring damage to bodywork
CH701106B1 (en) Method and apparatus for measuring the spatial extent of an object.
WO2013091620A1 (en) Determining a vertical profile of a vehicle environment by means of a 3d camera
DE19705047A1 (en) Detailed tyre tread depth measurement and recording using laser beam illumination
WO2013083379A1 (en) Method and device for locating a predefined parking position
DE102019133642A1 (en) DIGITAL IMAGING SYSTEM INCLUDING OPTICAL PLENOPTIC DEVICE AND IMAGE DATA PROCESSING METHOD FOR DETECTING VEHICLE OBSTACLES AND GESTURES
DE102009031319A1 (en) Method and system for determining a vehicle class
DE10034461A1 (en) Procedure for determining visibility
EP2588868A1 (en) Method and apparatus for detecting a vehicle movement
DE102007025147B4 (en) Lane departure warning and / or lane departure warning system
EP2960883B1 (en) Determination of at least one vehicle feature
DE10239765B4 (en) Profiltiefenmeßvorrichtung
DE10019462B4 (en) Road sensor system, road detection system and method for determining the road surface
DE10148062A1 (en) Localizing system for objects uses transmitter for pulsed emission of laser beams and receiver with sensor to pick up reflected beam pulses and to analyze them regarding their execution time
DE102007032997A1 (en) Driver assistance device
WO2018046504A1 (en) System and method for recording properties of at least one wheel of a rail vehicle
DE102011017707A1 (en) Method for detecting object e.g. concrete post in vicinity of camera for monitoring rear side region of vehicle, involves reading images captured by cameras after partially illuminating with illumination patterns

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100816

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20160601