EP2856390A1 - Verfahren und vorrichtung zur verarbeitung stereoskopischer daten - Google Patents

Verfahren und vorrichtung zur verarbeitung stereoskopischer daten

Info

Publication number
EP2856390A1
EP2856390A1 EP13718581.5A EP13718581A EP2856390A1 EP 2856390 A1 EP2856390 A1 EP 2856390A1 EP 13718581 A EP13718581 A EP 13718581A EP 2856390 A1 EP2856390 A1 EP 2856390A1
Authority
EP
European Patent Office
Prior art keywords
disparity
points
sensor system
stereo
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP13718581.5A
Other languages
English (en)
French (fr)
Inventor
Lutz Buerkle
Oliver Pink
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2856390A1 publication Critical patent/EP2856390A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a method and an apparatus for processing or sensor data of a stereo sensor system for a stereoscopic detection of an environment of the stereo sensor system.
  • the invention further relates to an object recognition system and a computer program.
  • Driver assistance systems usually require sensors for detecting obstacles and for determining an open space in the vehicle environment.
  • this stereo cameras are used, which include two horizontally offset video cameras.
  • objects are also observed to be horizontally offset in the camera images, with the offset, the so-called disparity, becoming smaller for distant objects and for objects in the vicinity in relation to the cameras. From the disparity, therefore, its distance from the observer, in this case the stereo camera, can be determined for each object.
  • the published patent application DE 2009 003 1 10 A1 discloses a method for determining the disparities of the two camera images, the so-called disparity card.
  • the published patent application EP 2 136 333 A2 discloses a method for determining a passable area and for detecting obstacles from the disparity map.
  • the object underlying the invention can be seen to provide a method which allows a simple classification of objects of an environment of a stereo sensor system.
  • the object underlying the invention can also be seen to provide a corresponding device.
  • the object underlying the invention can also be seen to provide a corresponding object recognition system.
  • a method of processing sensor data of a stereo sensor system for stereoscopically sensing an environment of the stereo sensor system for stereoscopically sensing an environment of the stereo sensor system.
  • a disparity map is formed based on the sensor data of the stereo sensor system. It is provided that a disparity change is determined between two disparity points of the disparity map formed at a distance from one another, wherein at least one of the two disparity points is classified according to the disparity change of an object.
  • an apparatus for processing sensor data of a stereo sensor system for a stereoscopic detection of an environment of the stereo sensor system includes disparity means for forming a disparity map based on the sensor data of the stereo sensor system. Furthermore, a determination device is provided for determining a disparity change between two disparity points of the disparity map formed at a distance from each other. In addition, the device comprises a classification direction for classifying at least one of the two disparity points corresponding to an object depending on the disparity change.
  • an object recognition system comprising a stereo sensor system for stereoscopically detecting an environment of the stereo sensor system and a device for processing sensor data of a stereo sensor system for stereoscopically detecting an environment of the stereo sensor system.
  • a computer program comprising program code for executing the method of processing sensor data of a stereo sensor system for stereoscopically detecting an environment of the stereo sensor system when the computer program is executed in a computer.
  • the invention has the advantage that it has substantially no size dependency of objects in the environment. Only a minimum height should have the objects.
  • a stereo sensor system according to the present invention is particularly adapted to stereoscopically to an environment of the stereo sensor system to capture. This means, in particular, that two sensor images of the environment are formed, wherein the two sensor images are taken from each other horizontally offset perspectives. This leads, as mentioned above, to an offset of objects in the two sensor images.
  • the sensor data of the stereo sensor system correspond to the two sensor images.
  • Disparity in the sense of the present invention thus refers in particular to the resulting offset from a pixel of the first sensor image to the corresponding pixel of the second sensor image.
  • the pixels correspond to world points that are associated with a real object in the vicinity of the stereo sensor system.
  • the pixels thus result from a mapping of the world points on one or more sensors of the stereo sensor system.
  • These sensors are in particular designed to detect the environment by sensors. For example, infrared sensors can be provided, which can still detect the environment in an advantageous manner even in the dark.
  • Each pixel and / or each disparity is here in a unique relationship to a respective distance of the world point to the stereo sensor system. The further away an object is located in relation to the stereo sensor system in the environment, the lower the corresponding disparity compared to an object which is arranged closer to the stereo sensor system. From the disparity, therefore, for each object its distance from the stereo sensor system can be determined.
  • the pixels of the sensor images can be described by X, Y coordinates, also referred to as image coordinates, of a Cartesian coordinate system.
  • a sensor image line also referred to as image line or simply line, is defined in the direction of the abscissa, here the X axis, of the coordinate system.
  • a sensor image column also referred to as image column or simply column, is defined in the direction of the ordinate, here the Y axis, of the coordinate system.
  • the disparity can also be abbreviated as "d.”
  • a set of all disparities d (X, Y) of two sensor images forms the disparity map.
  • the stereo sensor system is formed as a stereo video camera. That is, that means that two horizontally offset video cameras are formed.
  • the disparity can be related to a focal length of the cameras and in particular as a quotient of the offset of the pixels corresponding to a world point, expressed in image coordinates X, Y and the focal length of the cameras result.
  • the disparity is preferably reciprocal to the distance of the world point from a reference such as a reference point, a reference surface, or a reference surface of the stereo.
  • the quotient of disparity and camera focal length corresponds to the quotient of base distance and distance of the world point.
  • the disparity d is therefore defined in particular as a one-dimensional displacement vector in the direction of the image line and, starting from a pixel Xi in the first sensor image, gives the corresponding pixel Xj in the second
  • a disparity change in the sense of the present invention therefore in particular denotes a difference between a first disparity value, also referred to simply as disparity, at a first pixel (X1, Y1) and a second pixel
  • Disparity value also referred to simply as disparity
  • h d (X1, Y1) - d (X2, Y2)
  • the disparity change means in particular that a predetermined threshold value, in particular a plurality of predetermined threshold values, is provided, the classification depending in particular being carried out by whether h is greater, equal, smaller, greater than or equal or less than the predetermined one Threshold, preferably equal to the plurality of predetermined thresholds, is. For example, it may be provided that if h is less than the threshold, the disparity point is classified as a first object, for example an obstacle, and if h is greater than the threshold, the disparity point is a second object, such as a drivable area , is classified.
  • a classification or a classification or a classification in the sense of the present invention designates in particular an association or an association of the disparity points or the pixels corresponding to these disparity points in the sensor images to predetermined object classes or objects.
  • an object class may be an obstacle.
  • Another object class may be an open space or a drivable area. This means, in particular, that the individual pixels of the sensor images are classified, for example, as to whether it is an obstacle or an open space or a drivable area.
  • the disparity points are based on the image points of the sensor images which correspond to world points or which world points are assigned, it is therefore advantageously possible to classify a real object in the surroundings of the stereosensor system.
  • ⁇ denotes the horizontal distance, ie in the X direction, between the two disparity points.
  • ⁇ denotes the vertical distance, ie in the Y-direction, between the two disparity points.
  • the distance ⁇ between the two disparity points is selected as a function of a position of one of the two disparity points in the disparity map.
  • a sensitivity adjustment with respect to the classification is made possible in an advantageous manner.
  • the distance ⁇ between the two disparity points is selected as a function of a disparity noise, in particular of an expected disparity noise.
  • a sensitivity adjustment with regard to the classification is likewise made possible in an advantageous manner, since individual differently rushing regions of the disparity card can thus be taken into account individually.
  • the distance between the two disparity points is selected as a function of a height of an object to be expected, in particular of an obstacle.
  • the distance is chosen differently for each disparity point of the disparity card.
  • a sensitivity with regard to the detection and classification or classification can be effected in an advantageous manner.
  • the distance for all disparity points of the disparity map is chosen to be constant. As a result, an arithmetic effort is advantageously further reduced.
  • the disparity map is smoothed in the horizontal and / or vertical direction, ie in the column and / or line direction. This advantageously suppresses observation noise of the disparity card, resulting in an improved signal to noise ratio.
  • the two disparity points are therefore arranged only vertically offset from each other, not even offset horizontally to each other.
  • the disparity card is thus evaluated in particular column by column.
  • the disparity change in the vertical direction is considered.
  • bridges or similar accessible objects can be detected in an advantageous manner.
  • the points corresponding to the bridge have a greater disparity than the points below the bridge. In this respect, a disparity change will be negative.
  • the disparity means may be formed as a disparity estimator configured to perform a disparity estimation based on the sensor data and to form the disparity map based on the disparity estimate. This can be formed quickly, without too much computational effort and efficiently a disparity card.
  • the determination of the disparity change corresponds to a determination of a disparity gradient.
  • the disparity change corresponds to a disparity gradient.
  • the second disparity point in an environment of the first disparity point is therefore determined in particular from the first disparity point in such a way that the corresponding disparity change, which in fact corresponds to a slope of the disparity map, is maximal.
  • a gradient at a point here the first disparity point, a scalar field, here the disparity map, a vector pointing from the point in the direction of maximum or steepest rise of the scalar field, a length of the gradient being a measure of the Slope or slope is.
  • a vertical disparity gradient is determined. This means in particular that, starting from the first disparity point, the second disparity point is determined such that it has the same X coordinate but a different Y coordinate, the disparity change being maximal with respect to the set of disparity points having the same Y coordinate is.
  • the proportion in the Y direction of the corresponding vector field is determined based on the disparities.
  • Show here 1 is a flowchart of a method for operating sensor data of a stereo sensor system
  • FIG. 2 shows an apparatus for processing or sensor data of a stereo sensor system
  • FIG. 6 shows a flowchart of a further method for processing or sensor data of a stereo sensor system.
  • FIG. 1 shows a flowchart of a method for processing sensor data of a stereo sensor system for a stereoscopic detection of an environment of the stereo sensor system.
  • a disparity map is formed based on the sensor data of the stereo sensor system.
  • a disparity change between two disparity points of the disparity map formed at a distance from one another is determined.
  • at least one of the two disparity points is classified according to an object according to a step 105.
  • an object assigned to the disparity point is classified. This means, for example, that the object is classified as an obstacle or as an open space or a drivable area or as an accessible object such as a bridge.
  • FIG. 2 shows a device 201 for processing sensor data of a stereo sensor system (not shown) for a stereoscopic detection of an environment of the stereo sensor system.
  • the device 201 includes a disparity device 203 for forming a disparity map based on the sensor data provided by the stereo sensor system.
  • the disparity means 203 may be preferably formed as a disparity estimator configured to perform a disparity estimation based on the sensor data and to form the disparity map based thereon.
  • the device 201 comprises a determination device 205 for determining a disparity change between two disparity points of the disparity map arranged at a distance from each other. Furthermore, the device 201 includes a classifier 207 for classifying at least one of the two disparity points corresponding to an object depending on the disparity change.
  • 3 shows an object recognition system 301.
  • the object recognition system 301 comprises a stereo sensor system 303 for a stereoscopic detection of an environment of the stereo sensor system and the device 201 according to FIG. 2.
  • Fig. 4 shows two sensor images 401 and 403, which were formed by means of a stereo sensor system. Furthermore, a Cartesian X, Y, Z coordinate system 405 is shown. Furthermore, a pixel 407 with the coordinates Xi, Y in the sensor image 401 is shown for illustration. The pixel corresponding to the pixel 407 in the sensor image 403 is identified in the sensor image 403 by the reference numeral 409 and has the coordinates Xj, Y. Furthermore, the projected point 407 of the sensor image 401 is shown in the sensor image 403 as an unfilled circle.
  • the individual disparity values d are then plotted in the Cartesian coordinate system 405 on the Z axis.
  • FIG. 5 shows a disparity map 501.
  • Two regions 503 and 509 are shown in the disparity map 501, which identify regions each having different disparities, wherein in the individual regions 503 and 509 the disparities are substantially constant or differ only by negligible amounts.
  • all disparities in the area 505 may be smaller than the disparities in the area 503.
  • the world points that underlie the area 505 are farther away than the world points that underlie the area 503.
  • the objects corresponding to these world points are at different distances from the stereo sensor system.
  • the objects corresponding to the region 505 are thus located farther away than the objects corresponding to the region 503 with respect to the stereo sensor system.
  • disparity point 507 is drawn in the disparity map 501, the disparity point 507 being in the area 503.
  • Disparity point 509 is in region 505.
  • Disparity point 51 1 lies outside of both regions 503 and 505 and within disparity map 501.
  • the disparity point 513 is also located outside the two regions 503 and 505 but within the disparity map 501.
  • a distance between the two disparity points 507 and 509 is indicated by ⁇ 1.
  • a distance between the disparity point 507 and the disparity point 51 1 is indicated by ⁇ 2.
  • a distance between the disparity point 507 and the disparity point 513 is ⁇ 3 .
  • the two disparity points 507 and 505 have different X coordinates but the same Y coordinate.
  • the two disparity points 507 and 51 1 have the same X coordinate but different Y coordinates.
  • the two disparity points 507, 513 each have different X and Y coordinates.
  • the disparity change between the two disparity points 507 and 51 1 may also be referred to as a vertical disparity change.
  • the disparity map 501 is evaluated column by column. This means, in particular, that the disparity change in the column direction of the disparity map 501 is used as a measure of the classification.
  • h (X, Y) d (X, Y) -d (X, Y + ⁇ 2), where d is the disparity.
  • a predetermined threshold is provided, wherein, depending on whether h (X, Y) is less than or equal to or greater than or equal to the predetermined threshold, the corresponding disparity points and thus indirectly classifies the objects underlying the disparity points in the environment be, for example, as an obstacle, as an open space or drivable area or as an accessible area such as a bridge.
  • FIG. 6 shows a flow chart of another method for processing sensor data of a stereo sensor system 601.
  • the stereo sensor system 601 comprises two video cameras 603 and 605, which are arranged horizontally offset from one another.
  • the respective sensor data of the two video cameras 603, 605, each corresponding to a sensor image, are used in a step 607 to form a disparity map 609.
  • a step 61 1 it is provided to smooth the disparity map 609 in the vertical and / or horizontal direction in order to advantageously suppress observation noise in the disparity map 609.
  • a disparity change between two spaced disparity points of the disparity map 609 is determined.
  • the disparity change in the column direction of the disparity card 609 is determined.
  • a classification then takes place in step 615 to classify at least one of the disparity points.
  • a classification may be made such that the object underlying the disparity points is classified as an obstacle 617 or as an open space 619.
  • This classification according to the step 615 is carried out in particular as a function of the disparity change according to the step 613.
  • a threshold value is provided, wherein preferably in the case of a disparity change which is smaller or smaller than or equal to the predetermined threshold value, the corresponding disparity points are classified as free area 619. If the disparity change is greater than or equal to the predetermined threshold, the corresponding disparity points are classified as an obstacle 617.
  • the invention in particular includes the idea of performing a detection of obstacles and a determination of accessible open spaces on the basis of a disparity card of a stereo sensor system, in particular a stereo video sensor system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Verarbeiten von Sensordaten eines Stereosensorsystems (303) für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems (303), wobei basierend auf den Sensordaten eine Disparitätskarte (501) gebildet (101) wird, dadurch gekennzeichnet, dass eine Disparitätsänderung zwischen zwei in einem Abstand (Δ1, Δ2, Δ3) zueinander gebildeten Disparitätspunkten (507, 509, 511, 513) der Disparitätskarte (501) bestimmt (103) wird, wobei abhängig von der Disparitätsänderung zumindest einer der zwei Disparitätspunkte einem Objekt (617, 619) entsprechend klassifiziert (105) wird. Die Erfindung betrifft ferner eine entsprechende Vorrichtung (201), ein entsprechendes Objekterkennungssystem (301) sowie ein entsprechendes Computerprogramm.

Description

Beschreibung
Titel
VERFAHREN UND VORRICHTUNG ZUR VERARBEITUNG STEREOSKOPISCHER DATEN
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems. Die Erfindung betrifft ferner ein Objekterkennungssystem sowie ein Computerprogramm.
Stand der Technik
Fahrerassistenzsysteme erfordern in der Regel Sensoren zur Erfassung von Hindernissen und zur Bestimmung einer Freifläche im Fahrzeugumfeld. Unter Anderem werden hierfür Stereokameras verwendet, welche zwei horizontal versetzte Videokameras umfassen. Diese Anordnung führt dazu, dass Objekte auch in den Kamerabildern horizontal versetzt beobachtet werden, wobei der Versatz, die sogenannte Disparität, für entfernte Objekte kleiner und für Objekte im Nahbereich bezogen auf die Kameras größer wird. Aus der Disparität kann folglich für jedes Objekt seine Entfernung vom Beobachter, hier also der Stereokamera, bestimmt werden.
Aus der Offenlegungsschrift DE 2009 003 1 10 A1 ist ein Verfahren zur Bestimmung der Disparitäten der beiden Kamerabildern, die sogenannte Disparitätskarte, bekannt.
Aus der Offenlegungsschrift EP 2 136 333 A2 ist ein Verfahren zur Bestimmung eines befahrbaren Bereichs und zur Erkennung von Hindernissen aus der Disparitätskarte bekannt.
Offenbarung der Erfindung Die der Erfindung zugrundeliegende Aufgabe kann darin gesehen werden, ein Verfahren bereitzustellen, welches eine einfache Klassifikation von Objekten eines Umfelds eines Stereosensorsystems ermöglicht.
Die der Erfindung zugrundeliegende Aufgabe kann auch darin gesehen werden, eine entsprechende Vorrichtung bereitzustellen.
Die der Erfindung zugrundeliegende Aufgabe kann auch darin gesehen werden, ein entsprechendes Objekterkennungssystem bereitzustellen.
Die der Erfindung zugrundeliegende Aufgabe kann ferner darin gesehen werden, ein entsprechendes Computerprogramm anzugeben.
Diese Aufgaben werden mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand von jeweils abhängigen Unteransprüchen.
Nach einem Aspekt wird ein Verfahren zum Verarbeiten bzw. Bearbeiten von Sensordaten eines Stereosensorsystems für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems bereitgestellt. Hierbei wird basierend auf den Sensordaten des Stereosensorsystems eine Disparitätskarte gebildet. Es ist vorgesehen, dass eine Disparitätsänderung zwischen zwei in einem Abstand zueinander gebildeten Disparitätspunkten der Disparitätskarte bestimmt wird, wobei abhängig von der Disparitätsänderung zumindest einer der zwei Disparitätspunkte einem Objekt entsprechend klassifiziert wird.
Gemäß einem weiteren Aspekt wird eine Vorrichtung zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems bereitgestellt. Die Vorrichtung umfasst eine Disparitätseinrichtung zum Bilden einer Disparitätskarte basierend auf den Sensordaten des Stereosensorsystems. Ferner ist eine Bestimmungseinrichtung zum Bestimmen einer Disparitätsänderung zwischen zwei in einem Abstand zueinander gebildeten Disparitätspunkten der Disparitätskarte vorgesehen. Darüber hinaus umfasst die Vorrichtung eine Klassifizierungsein- richtung zum Klassifizieren von zumindest einem der zwei Disparitätspunkte entsprechend einem Objekt abhängig von der Disparitätsänderung.
Nach noch einem anderen Aspekt wird ein Objekterkennungssystem bereitgestellt, welches ein Stereosensorsystem zum stereoskopischen Erfassen einer Umgebung des Stereosensorsystems und eine Vorrichtung zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems zum stereoskopischen Erfassen einer Umgebung des Stereosensorsystems umfasst.
Nach noch einem weiteren Aspekt wird ein Computerprogramm bereitgestellt, welches Programmcode zur Ausführung des Verfahrens zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems zum stereoskopischen Erfassen einer Umgebung des Stereosensorsystems umfasst, wenn das Computerprogramm in einem Computer ausgeführt wird.
Dadurch, dass vorgesehen ist, die Disparitätskarte dahingehend auszuwerten, dass eine Differenz zwischen einem ersten Disparitätswert und einem zweiten Disparitätswert der Disparitätskarte, als der Disparitätsänderung zwischen zwei Disparitätspunkten der Disparitätskarte, bestimmt wird, wird in vorteilhafter Weise erreicht, dass keine Annahmen über eine Umgebung des Stereosensorsystems getroffen werden müssen, um zumindest einen der beiden Disparitätspunkte einem Objekt entsprechend zu klassifizieren.
In der Regel ist es im Stand der Technik so, dass Annahmen über die Umgebung getroffen werden müssen, um aus der Disparitätskarte Objekte erkennen bzw. klassifizieren zu können. Wenn beispielsweise das Stereosensorsystem in einem Fahrzeug verwendet wird, so wird üblicherweise die Annahme verwendet, dass eine befahrbare Fläche in der Umgebung des Fahrzeugs durch eine Ebene angenähert wird. Hindernisse zeichnen sich hierbei durch eine deutlich von einer Fahrbahnebene abweichende Höhe aus. Dies erfordert aber eine vorherige Bestimmung der Fahrbahnebene, beispielsweise über ein zeilenweises Histogramm der Disparitätskarte, die sogenannte V-Disparität. Wenn aber Fehler bei der Ebenenschätzung auftreten, so führen diese in der Regel unmittelbar zu fälschlich detektierten oder nicht detektierten Objekten. Ferner ist die Annahme einer ebenen Fläche in der Fahrzeugumgebung in der Praxis bzw. Realität in der Regel nur für sehr geringe Entfernungen gerechtfertigt bzw. korrekt. Dadurch also, dass keine Ebenenannahme für die Umgebung des Stereosensorsystems durchgeführt werden muss, kann in vorteilhafter Weise ein entsprechender Rechenaufwand reduziert werden. Insbesondere ist es somit nicht mehr erforderlich, dass ein zeilenweises Histogramm der Disparitätskarte erstellt wird. Auch dies reduziert einen Rechenaufwand. Es wird also für eine entsprechende Berechnung weniger Energie im Vergleich zum Stand der Technik benötigt. Ferner kann in vorteilhafter Weise eine Rechenzeit eingespart werden. Das führt insbesondere zu schnelleren Reaktionen von Fahrerassistenzsystemen, welche erfindungsgemäße Ausführungsformen umfassen, da ein Ergebnis, ob es sich bei dem erkannten Objekt um ein Hindernis oder um eine befahrbare Fläche handelt, schneller zur Verfügung steht. Dadurch wird in vorteilhafter Weise weiterhin eine Sicherheit erhöht, sowohl für das Fahrzeug, Fahrzeuginsassen als auch für weitere Verkehrsteilnehmer wie beispielsweise Fußgänger.
Ferner können Fehler aufgrund von Schätzungen oder Annahmen systembedingt nicht mehr auftreten, da solche Schätzungen bzw. Annahmen nicht mehr notwendig sind und auch nicht mehr verwendet werden. Es muss kein Modell einer Fahrbahnoberfläche gebildet werden. Insbesondere besteht keine Abhängigkeit mehr von einem Verlauf einer Punktebene bezogen auf die Fahrbahnoberfläche. Dies führt insbesondere zu einer deutlich erhöhten Robustheit und Zuverlässig- keit in der Praxis.
Des Weiteren können auch größere Entfernungsbereiche bezogen auf das Stereosensorsystem zuverlässig auf Objekte analysiert werden, die dann entsprechend klassifiziert werden.
Ferner weist die Erfindung den Vorteil auf, dass sie im Wesentlichen keine Größenabhängigkeit von Objekten in der Umgebung aufweist. Lediglich eine Mindesthöhe sollten die Objekte aufweisen. Ein Stereosensorsystem im Sinne der vorliegenden Erfindung ist insbesondere dafür ausgebildet, eine Umgebung des Stereosensorsystems stereoskopisch zu erfassen. Das heißt also insbesondere, dass zwei Sensorbilder der Umgebung gebildet werden, wobei die beiden Sensorbilder aus zueinander horizontal versetzten Perspektiven aufgenommen werden. Das führt, wie eingangs erwähnt, zu einem Versatz von Objekten in den beiden Sensorbildern. Die Sensordaten des Stereosensorsystems entsprechen den zwei Sensorbildern.
Disparität im Sinne der vorliegenden Erfindung bezeichnet also insbesondere den sich ergebenden Versatz von einem Bildpunkt des ersten Sensorbilds zu dem korrespondierenden Bildpunkt des zweiten Sensorbilds. Hierbei entsprechen die Bildpunkte Weltpunkten, die einem realen Objekt in der Umgebung des Stereosensorsystems zugeordnet sind. Die Bildpunkte resultieren also aus einer Abbildung der Weltpunkte auf einem oder mehreren Sensoren des Stereosensorsystems. Diese Sensoren sind insbesondere ausgebildet, die Umgebung sensorisch zu erfassen. Beispielsweise können Infrarotsensoren vorgesehen sein, die in vorteilhafter Weise auch bei Dunkelheit noch die Umgebung erfassen können. Jeder Bildpunkt und/oder jede Disparität steht hierbei in einer eindeutigen Beziehung zu einer jeweiligen Entfernung des Weltpunktes zum Stereosensorsystem. Je weiter weg ein Objekt bezogen auf das Stereosensorsystem in der Umgebung angeordnet ist, desto geringer ist die entsprechende Disparität verglichen mit einem Objekt, welches näher zum Stereosensorsystem angeordnet ist. Aus der Disparität kann folglich für jedes Objekt seine Entfernung vom Stereosensorsystem bestimmt werden.
Allgemein können die Bildpunkte der Sensorbilder mittels X, Y-Koordinaten, auch als Bildkoordinaten bezeichnet, eines kartesischen Koordinatensystems beschrieben werden. Eine Sensorbildzeile, auch als Bildzeile bzw. einfach Zeile bezeichnet, wird in Richtung der Abszisse, hier der X-Achse, des Koordinatensystems definiert. Eine Sensorbildspalte, auch als Bildspalte bzw. einfach Spalte bezeichnet, wird in Richtung der Ordinate, hier der Y-Achse, des Koordinatensys- tems definiert.
Die Disparität kann im Folgenden auch mit„d" abgekürzt werden. Eine Menge aller Disparitäten d (X, Y) von zwei Sensorbildern bildet die Disparitätskarte. Nach einer Ausführungsform kann vorgesehen sein, dass das Stereosensorsystem als eine Stereo-Video-Kamera gebildet ist. Das heißt also, dass zwei horizontal versetzt zueinander angeordnete Videokameras gebildet sind. Im dieser Ausführungsform kann die Disparität bezogen werden auf eine Brennweite der Kameras und sich insbesondere als Quotient aus dem Versatz der zu einem Weltpunkt korrespondierenden Bildpunkte, ausgedrückt in Bildkoordinaten X, Y und der Brennweite der Kameras ergeben. Die Disparität ist dabei vorzugsweise reziprok zu der Entfernung des Weltpunktes von einer Bezugsstelle wie ei- nem Bezugspunkt, einer Bezugsfläche oder einer Bezugsoberfläche der Stereo-
Video-Kamera und kann unter Berücksichtigung einer Basisweite der Kameras untereinander, das heißt im Abstand der Kameras, etwa als folgendes Verhältnis angegeben werden: Der Quotient aus Disparität und Kamerabrennweite entspricht dem Quotienten aus Basisweite und Entfernung des Weltpunktes.
Die Disparität d ist also insbesondere als eindimensionaler Verschiebungsvektor in Richtung der Bildzeile definiert und gibt ausgehend von einem Bildpunkt Xi in dem ersten Sensorbild den korrespondierenden Bildpunkt Xj in dem zweiten
Sensorbild an. Also ist d (Xi, Y) = Xj - Xi.
Eine Disparitätsänderung im Sinne der vorliegenden Erfindung bezeichnet also insbesondere eine Differenz zwischen einem ersten Disparitätswert, auch einfach als Disparität bezeichnet, an einem ersten Bildpunkt (X1 , Y1 ) und einem zweiten
Disparitätswert, auch einfach als Disparität bezeichnet, eines zweiten Bildpunktes mit den Koordinaten (X2, Y2). Die Disparitätsänderung kann insofern mittels folgender mathematischer Formel beschrieben werden: h = d (X1 , Y1 ) - d (X2, Y2)
Dass die Klassifikation der Disparitätspunkte abhängig von h, der Disparitätsänderung, durchgeführt wird, bedeutet insbesondere, dass ein vorbestimmter Schwellwert, insbesondere mehrere vorbestimmte Schwellwerte, vorgesehen ist, wobei die Klassifikation abhängig insbesondere davon durchgeführt wird, ob h größer, gleich, kleiner, größer gleich oder kleiner gleich dem vorbestimmten Schwellwert, vorzugsweise gleich den mehreren vorbestimmten Schwellwerten, ist. So kann beispielsweise vorgesehen sein, dass, wenn h kleiner als der Schwellwert ist, der Disparitätspunkt als ein erstes Objekt, beispielsweise ein Hindernis, klassifiziert wird, und wenn h größer als der Schwellwert ist, der Disparitätspunkt als ein zweites Objekt, beispielsweise eine befahrbare Fläche, klassifiziert wird.
Ein Klassifizieren bzw. eine Klassifikation oder eine Klassifizierung im Sinne der vorliegenden Erfindung bezeichnet insbesondere ein Zuordnen bzw. eine Zuordnung der Disparitätspunkte bzw. der diesen Disparitätspunkten entsprechenden Bildpunkten in den Sensorbildern zu vorbestimmten Objektklassen bzw. Objekten. Somit kann beispielsweise eine Objektklasse ein Hindernis sein. Eine weitere Objektklasse kann eine Freifläche bzw. eine befahrbare Fläche sein. Das heißt also insbesondere, dass die einzelnen Bildpunkte der Sensorbilder beispielsweise dahingehend klassifiziert werden, ob es sich um ein Hindernis oder eine Freifläche bzw. eine befahrbare Fläche handelt.
Da den Disparitätspunkten die Bildpunkte der Sensorbilder zugrunde liegen, welche Weltpunkten entsprechen bzw. welchen Weltpunkten zugeordnet sind, kann somit in vorteilhafter Weise ein reales Objekt in der Umgebung des Stereosensorsystems klassifiziert werden.
Der Abstand zwischen zwei Disparitätspunkten mit den Koordinaten (X1 , Y1 ) und (X2, Y2) kann als Δ (ΔΧ, ΔΥ) bezeichnet werden, wobei X2 = X1 + ΔΧ und Y2 = Y1 + ΔΥ sind. ΔΧ bezeichnet den horizontalen Abstand, also in X-Richtung, zwischen den zwei Disparitätspunkten. ΔΥ bezeichnet den vertikalen Abstand, also in Y-Richtung, zwischen den zwei Disparitätspunkten.
Gemäß einer Ausführungsform kann vorgesehen sein, dass der Abstand Δ zwischen den zwei Disparitätspunkten abhängig von einer Position von einem der zwei Disparitätspunkte in der Disparitätskarte gewählt wird. Dadurch ist in vorteilhafter Weise eine Empfindlichkeitseinstellung bezüglich der Klassifizierung ermöglicht. Bei geeigneter Wahl des Abstands sind somit auch kleinere Objekte als Hindernisse detektierbar. Nach einer weiteren Ausführungsform wird der Abstand Δ zwischen den zwei Disparitätspunkten abhängig von einem Disparitätsrauschen, insbesondere von einem zu erwartenden Disparitätsrauschen, gewählt. Dadurch ist ebenfalls in vorteilhafter Weise eine Empfindlichkeitseinstellung bezüglich der Klassifizierung ermöglicht, da so individuell unterschiedlich rauschende Bereiche der Disparitätskarte berücksichtigt werden können.
In einer anderen Ausführungsform kann vorgesehen sein, dass der Abstand zwischen den zwei Disparitätspunkten abhängig von einer Höhe eines zu erwarten- den Objektes, insbesondere eines Hindernisses, gewählt wird.
In einer anderen Ausführungsform kann vorgesehen sein, dass der Abstand für jeden Disparitätspunkt der Disparitätskarte unterschiedlich gewählt wird. Dadurch kann in vorteilhafter Weise eine Empfindlichkeit hinsichtlich der Detektion und Klassifikation bzw. Klassifizierung bewirkt werden.
Nach einer anderen Ausführungsform kann vorgesehen sein, dass der Abstand für alle Disparitätspunkte der Disparitätskarte konstant gewählt wird. Dadurch wird in vorteilhafter Weise ein Rechenaufwand noch weiter reduziert.
Gemäß einer anderen Ausführungsform kann vorgesehen sein, dass die Disparitätskarte in horizontaler und/oder in vertikaler Richtung, also in Spalten- und/oder in Zeilenrichtung, geglättet wird. Dadurch wird in vorteilhafter Weise ein Beobachtungsrauschen der Disparitätskarte unterdrückt, was ein verbessertes Signal zu Rausch Verhältnis bewirkt.
In einer weiteren Ausführungsform kann vorgesehen sein, dass die zwei Disparitätspunkte als zwei ausschließlich vertikal zueinander versetzt angeordnete Disparitätspunkte der Disparitätskarte gewählt werden. Das heißt also, dass ΔΧ = 0 ist. Die beiden Disparitätspunkte sind also nur vertikal zueinander versetzt angeordnet, nicht auch noch horizontal versetzt zueinander. Es findet also vorzugsweise eine vertikale Auswertung hinsichtlich einer Disparitätsänderung in Spaltenrichtung statt. Die Disparitätskarte wird somit insbesondere spaltenweise ausgewertet. Es wird die Disparitätsänderung in vertikaler Richtung betrachtet. Nach einer anderen Ausführungsform kann vorgesehen sein, dass bei einer negativen Disparitätsänderung der Disparitätspunkt als ein unterfahrbares Objekt klassifiziert wird, wenn der zweite Disparitätspunkt oberhalb des ersten Disparitätspunktes gebildet ist. Somit können in vorteilhafter Weise Brücken oder ähnli- che unterfahrbare Objekte erkannt werden. Die Punkte entsprechend der Brücke weisen insofern eine größere Disparität auf als die Punkte unterhalb der Brücke. Insofern wird eine Disparitätsänderung negativ sein.
Gemäß einer weiteren Ausführungsform kann die Disparitätseinrichtung als ein Disparitätsschätzer gebildet sein, der ausgebildet ist, basierend auf den Sensordaten eine Disparitätsschätzung durchzuführen und basierend auf der Disparitätsschätzung die Disparitätskarte zu bilden. Dadurch kann schnell, ohne allzu großen Rechenaufwand und effizient eine Disparitätskarte gebildet werden.
In einer anderen Ausführungsform kann vorgesehen sein, dass das Bestimmen der Disparitätsänderung einem Bestimmen eines Disparitätsgradienten entspricht. Das heißt also insbesondere, dass die Disparitätsänderung einem Disparitätsgradienten entspricht. Es wird also insbesondere von dem ersten Disparitätspunkt ausgehend der zweite Disparitätspunkt in einer Umgebung des ersten Disparitätspunkts derart bestimmt, so dass die entsprechende Disparitätsänderung, welche ja einer Steigung der Disparitätskarte entspricht, maximal ist. Mathematisch beschrieben ist ein Gradient an einem Punkt, hier der erste Disparitätspunkt, eines Skalarfeldes, hier der Disparitätskarte, ein Vektor, der von dem Punkt in Richtung des maximalen bzw. steilsten Anstiegs des skalaren Feldes zeigt, wobei eine Länge des Gradienten ein Maß für die Steilheit bzw. Steigung ist. Vorzugsweise wird ein vertikaler Disparitätsgradient bestimmt. Das heißt also insbesondere, dass ausgehend von dem ersten Disparitätspunkt der zweite Disparitätspunkt derart bestimmt wird, dass dieser die gleiche X-Koordinate, aber eine unterschiedliche Y-Koordinate aufweist, wobei die Disparitätsänderung bezogen auf die Menge der Disparitätspunkte mit der gleichen Y-Koordinate maximal ist. Es wird insbesondere der Anteil in Y-Richtung des entsprechenden Vektorfeldes bezogen auf die Disparitäten bestimmt.
Die Erfindung wird im Folgenden anhand von bevorzugten Ausführungsbeispie- len näher erläutert. Hierbei zeigen Fig. 1 ein Ablaufdiagramm eines Verfahrens zum Betreiben von Sensordaten eines Stereosensorsystems,
Fig. 2 eine Vorrichtung zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems,
Fig. 3 ein Objekterkennungssystem,
Fig. 4 zwei Sensorbilder,
Fig. 5 eine Disparitätskarte,
Fig. 6 ein Ablaufdiagramm eines weiteren Verfahrens zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems.
Im Folgenden können für gleiche Merkmale gleiche Bezugszeichen verwendet werden.
Fig. 1 zeigt ein Ablaufdiagramm eines Verfahrens zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems.
Gemäß einem Schritt 101 wird eine Disparitätskarte basierend auf den Sensordaten des Stereosensorsystems gebildet. In einem Schritt 103 wird eine Disparitätsänderung zwischen zwei in einem Abstand zueinander gebildeten Disparitätspunkten der Disparitätskarte bestimmt. Abhängig von der Disparitätsänderung wird zumindest einer der zwei Disparitätspunkte einem Objekt entsprechend gemäß einem Schritt 105 klassifiziert. Das heißt also insbesondere, dass ein dem Disparitätspunkt zugeordnetes Objekt klassifiziert wird. Das heißt also beispielsweise, dass das Objekt als ein Hindernis oder als ein Freifläche bzw. eine befahrbare Fläche oder als ein unterfahrbares Objekt wie beispielsweise eine Brücke klassifiziert wird.
Fig. 2 zeigt eine Vorrichtung 201 zum Bearbeiten bzw. Verarbeiten von Sensordaten eines Stereosensorsystems (nicht gezeigt) für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems. Die Vorrichtung 201 umfasst eine Disparitätseinrichtung 203 zum Bilden einer Disparitätskarte basierend auf den Sensordaten, welche mittels des Stereosensorsystems bereitgestellt werden. Die Disparitätseinrichtung 203 kann vorzugsweise als ein Disparitätsschätzer gebildet sein, welcher ausgebildet ist, eine Disparitätsschätzung basierend auf den Sensordaten durchzuführen und basierend darauf die Disparitätskarte zu bilden.
Ferner umfasst die Vorrichtung 201 eine Bestimmungseinrichtung 205 zum Bestimmen einer Disparitätsänderung zwischen zwei in einem Abstand zueinander angeordneten Disparitätspunkten der Disparitätskarte. Des Weiteren umfasst die Vorrichtung 201 eine Klassifizierungseinrichtung 207 zum Klassifizieren von zumindest einem der zwei Disparitätspunkte entsprechend einem Objekt abhängig von der Disparitätsänderung.
Fig. 3 zeigt ein Objekterkennungssystem 301.
Das Objekterkennungssystem 301 umfasst ein Stereosensorsystem 303 für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems sowie die Vorrichtung 201 gemäß Fig. 2.
Fig. 4 zeigt zwei Sensorbilder 401 und 403, welche mittels eines Stereosensorsystems gebildet wurden. Ferner ist ein kartesisches X, Y, Z-Koordinatensystem 405 eingezeichnet. Des Weiteren ist zur Veranschaulichung ein Bildpunkt 407 mit den Koordinaten Xi, Y in dem Sensorbild 401 eingezeichnet. Der zu dem Bildpunkt 407 korrespondierende Bildpunkt in dem Sensorbild 403 ist in dem Sensorbild 403 mit dem Bezugszeichen 409 gekennzeichnet und weist die Koordinaten Xj, Y auf. Ferner ist als nicht ausgefüllter Kreis in dem Sensorbild 403 der projizierte Punkt 407 des Sensorbildes 401 eingezeichnet.
Mit Disparität d ist nun der Versatz zwischen den beiden Punkten 407 und 409 bezeichnet. Das heißt also insbesondere, dass die Disparität d = Xj - Xi ist.
Die Menge aller Disparitäten mit d (X, Y) = Xj - Xi wird als Disparitätskarte bezeichnet. Die einzelnen Disparitätswerte d werden dann in dem kartesischen Koordinatensystem 405 auf der Z-Achse aufgetragen.
Fig. 5 zeigt eine Disparitätskarte 501.
Es sind zwei Bereiche 503 und 509 in der Disparitätskarte 501 eingezeichnet, welche Bereiche mit jeweils unterschiedlichen Disparitäten kennzeichnen, wobei in den einzelnen Bereichen 503 und 509 die Disparitäten im Wesentlichen konstant sind bzw. sich nur um vernachlässigbare Beträge unterscheiden. Bei- spielsweise können sämtliche Disparitäten in dem Bereich 505 kleiner sein als die Disparitäten in dem Bereich 503. Das heißt also insbesondere, dass die Weltpunkte, welche dem Bereich 505 zugrunde liegen, weiter entfernt liegen als die Weltpunkte, welche dem Bereich 503 zugrunde liegen. Das heißt also insbesondere, dass die diesen Weltpunkten entsprechenden Objekte unterschiedlich weit vom Stereosensorsystem entfernt sind. Die Objekte entsprechend dem Bereich 505 liegen also bezogen auf das Stereosensorsystem weiter weg als die Objekte entsprechend dem Bereich 503.
Ferner sind in der Disparitätskarte 501 drei Disparitätspunkte 507, 509, 51 1 und 513 eingezeichnet, wobei der Disparitätspunkt 507 in dem Bereich 503 liegt. Der
Disparitätspunkt 509 liegt in dem Bereich 505. Der Disparitätspunkt 51 1 liegt außerhalb der beiden Beireiche 503 und 505 und innerhalb der Disparitätskarte 501 . Der Disparitätspunkt 513 ist ebenfalls außerhalb der beiden Bereiche 503 und 505, aber innerhalb der Disparitätskarte 501 angeordnet.
Ein Abstand zwischen den beiden Disparitätspunkten 507 und 509 ist mit Δ1 gekennzeichnet. Ein Abstand zwischen dem Disparitätspunkt 507 und dem Disparitätspunkt 51 1 ist mit Δ2 gekennzeichnet. Ein Abstand zwischen dem Disparitätspunkt 507 und dem Disparitätspunkt 513 ist mit Δ3.
Hierbei weisen die beiden Disparitätspunkte 507 und 505 unterschiedliche X- Koordinaten aber die gleiche Y-Koordinate auf. Die beiden Disparitätspunkte 507 und 51 1 weisen die gleiche X-Koordinate, aber unterschiedliche Y-Koordinaten auf. Die beiden Disparitätspunkte 507, 513 weisen jeweils unterschiedliche X- und Y-Koordinaten auf. Die Disparitätsänderung zwischen den beiden Disparitätspunkten 507 und 51 1 kann auch als eine vertikale Disparitätsänderung bezeichnet werden. In diesem Fall wird die Disparitätskarte 501 spaltenweise ausgewertet. Das heißt also insbesondere, dass als Maß für die Klassifikation die Disparitätsänderung in Spal- tenrichtung der Disparitätskarte 501 verwendet wird.
In diesem Fall kann die Disparitätsänderung h (X, Y) wie folgt beschrieben werden: h (X, Y) =d (X, Y) - d (X, Y + Δ2), wobei d für die Disparität steht.
Vorzugsweise ist ein vorbestimmter Schwellenwert vorgesehen, wobei abhängig davon, ob h (X, Y) kleiner bzw. kleiner gleich oder größer bzw. größer gleich dem vorbestimmten Schwellenwert ist, die entsprechenden Disparitätspunkte und damit mittelbar die den Disparitätspunkten zugrunde liegenden Objekte in der Umgebung klassifiziert werden, beispielsweise als Hindernis, als Freifläche bzw. befahrbare Fläche oder als unterfahrbare Fläche wie beispielsweise eine Brücke.
Fig. 6 zeigt ein Ablaufdiagramm eines weiteren Verfahrens zum Verarbeiten bzw. Bearbeiten von Sensordaten eines Stereosensorsystems 601.
Das Stereosensorsystem 601 umfasst zwei Videokameras 603 und 605, welche horizontal versetzt zueinander angeordnet sind. Die entsprechenden Sensordaten der beiden Videokameras 603, 605, die jeweils einem Sensorbild entsprechen, werden in einem Schritt 607 verwendet, um eine Disparitätskarte 609 zu bilden. In einem Schritt 61 1 ist vorgesehen, die Disparitätskarte 609 in vertikaler und/oder horizontaler Richtung zu glätten, um in vorteilhafter Weise ein Beobach- tungsrauschen in der Disparitätskarte 609 zu unterdrücken.
In einem Schritt 613 wird eine Disparitätsänderung zwischen zwei in einem Abstand zueinander gebildeten Disparitätspunkten der Disparitätskarte 609 bestimmt. Hierfür wird insbesondere die Disparitätsänderung in Spaltenrichtung der Disparitätskarte 609 bestimmt. Es findet dann in einem Schritt 615 eine Klassifikation statt, um zumindest einen der Disparitätspunkte zu klassifizieren. Insbesondere kann eine Klassifikation dahingehend durchgeführt werden, dass das den Disparitätspunkten zugrundeliegende Objekt als ein Hindernis 617 oder als eine Freifläche 619 klassifiziert wird.
Diese Klassifikation gemäß dem Schritt 615 wird insbesondere in Abhängigkeit von der Disparitätsänderung gemäß dem Schritt 613 durchgeführt. Hierbei ist insbesondere ein Schwellwert vorgesehen, wobei vorzugsweise bei einer Disparitätsänderung, welche kleiner bzw. kleiner oder gleich ist als der vorbestimmte Schwellwert, die entsprechenden Disparitätspunkte als Freifläche 619 klassifiziert werden. Wenn die Disparitätsänderung größer bzw. größer gleich ist als der vorbestimmte Schwellwert, so werden die entsprechenden Disparitätspunkte als ein Hindernis 617 klassifiziert.
Zusammenfassend umfasst also die Erfindung insbesondere den Gedanken, eine Erkennung von Hindernissen und eine Bestimmung von befahrbaren Freiflächen anhand einer Disparitätskarte eines Stereosensorsystems, insbesondere eines Stereo-Video-Sensorsystems, durchzuführen. Hierbei sind keine
Ebenenannahmen in der Umgebung des Stereosensorsystems notwendig, sodass die Erfindung auch für einen großen Entfernungsbereich relativ zu dem Stereosensorsystem einsetzbar ist.

Claims

Ansprüche
1 . Verfahren zum Verarbeiten von Sensordaten eines Stereosensorsystems (303) für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems (303), wobei basierend auf den Sensordaten eine Disparitätskarte (501 ) gebildet (101 ) wird, dadurch gekennzeichnet, dass eine Disparitätsänderung zwischen zwei in einem Abstand (Δ1 , Δ2, Δ3) zueinander gebildeten Disparitätspunkten (507, 509, 51 1 , 513) der Disparitätskarte (501 ) bestimmt (103) wird, wobei abhängig von der Disparitätsänderung zumindest einer der zwei Disparitätspunkte (507, 509, 51 1 , 513) einem Objekt (617, 619) entsprechend klassifiziert (105) wird.
2. Verfahren nach Anspruch 1 , wobei der Abstand (Δ1 , Δ2, Δ3) zwischen den zwei Disparitätspunkten (507, 509, 51 1 , 513) abhängig von einer Position von einem der zwei Disparitätspunkte (507, 509, 51 1 , 513) in der Disparitätskarte (501 ) gewählt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei der Abstand (Δ1 , Δ2, Δ3) zwischen den zwei Disparitätspunkten (507, 509, 51 1 , 513) abhängig von einem Disparitätsrauschen gewählt wird.
4. Verfahren nach einem der vorherigen Ansprüche, wobei der Abstand (Δ1 , Δ2, Δ3) für alle Disparitätspunkte (507, 509, 51 1 , 513) der Disparitätskarte (501 ) konstant gewählt wird.
5. Verfahren nach einem der vorherigen Ansprüche, wobei die Disparitätskarte (501 ) in horizontaler und/oder in vertikaler Richtung geglättet (61 1 ) wird.
6. Verfahren nach einem der vorherigen Ansprüche, wobei die zwei Disparitätspunkte (507, 509, 51 1 , 513) als zwei ausschließlich vertikal zueinander versetzt angeordnete Disparitätspunkte (507, 51 1 ) der Disparitätskarte (501 ) gewählt werden.
7. Verfahren nach Anspruch 6, wobei bei einer negativen Disparitätsänderung der Disparitätspunkt (507) als ein unterfahrbares Objekt klassifiziert wird, wenn der zweite Disparitätspunkt (51 1 ) oberhalb des ersten Disparitätspunktes (507) gebildet ist.
8. Vorrichtung (201 ) zum Verarbeiten von Sensordaten eines Stereosensorsystems (303) für ein stereoskopisches Erfassen einer Umgebung des Stereosensorsystems (303), umfassend eine Disparitätseinrichtung (203) zum Bilden einer Disparitätskarte (501 ) basierend auf den Sensordaten, eine Bestimmungseinrichtung (205) zum Bestimmen einer Disparitätsänderung zwischen zwei in einem Abstand (Δ1 , Δ2, Δ3) zueinander gebildeten Disparitätspunkten (507, 509, 51 1 , 513) der Disparitätskarte (501 ) und eine Klassifizierungseinrichtung (207) zum Klassifizieren von zumindest einem der zwei Disparitätspunkte (507, 509, 51 1 , 513) entsprechend einem Objekt (617, 619) abhängig von der Disparitätsänderung.
9. Objekterkennungssystem (301 ), umfassend ein Stereosensorsystem (303) und die Vorrichtung (201 ) nach Anspruch 8.
10. Computerprogramm, umfassend Programmcode zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 7, wenn das Computerprogramm in einem Computer ausgeführt wird.
EP13718581.5A 2012-06-01 2013-04-24 Verfahren und vorrichtung zur verarbeitung stereoskopischer daten Ceased EP2856390A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012209316A DE102012209316A1 (de) 2012-06-01 2012-06-01 Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
PCT/EP2013/058476 WO2013178407A1 (de) 2012-06-01 2013-04-24 Verfahren und vorrichtung zur verarbeitung stereoskopischer daten

Publications (1)

Publication Number Publication Date
EP2856390A1 true EP2856390A1 (de) 2015-04-08

Family

ID=48184204

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13718581.5A Ceased EP2856390A1 (de) 2012-06-01 2013-04-24 Verfahren und vorrichtung zur verarbeitung stereoskopischer daten

Country Status (5)

Country Link
US (1) US10165246B2 (de)
EP (1) EP2856390A1 (de)
CN (1) CN104364796A (de)
DE (1) DE102012209316A1 (de)
WO (1) WO2013178407A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209550A1 (de) * 2015-05-26 2016-12-01 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs
CN106254888B (zh) * 2015-06-09 2020-06-02 同济大学 一种图像编码及解码方法、图像处理设备
CN106489062B (zh) * 2015-06-26 2019-06-28 深圳市大疆创新科技有限公司 用于测量移动平台的位移的系统和方法
EP3497618B1 (de) * 2016-08-12 2023-08-02 3M Innovative Properties Company Unabhängige verarbeitung mehrerer regionen von interesse
US11450140B2 (en) 2016-08-12 2022-09-20 3M Innovative Properties Company Independently processing plurality of regions of interest
EP3306521B1 (de) * 2016-10-07 2021-12-08 Veoneer Sweden AB Stereosichtsystem und -verfahren für ein kraftfahrzeug
US11202055B2 (en) * 2018-02-28 2021-12-14 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images
CN108647579B (zh) * 2018-04-12 2022-02-25 海信集团有限公司 一种障碍物检测方法、装置及终端
US20200077073A1 (en) * 2018-08-28 2020-03-05 Qualcomm Incorporated Real-time stereo calibration by direct disparity minimization and keypoint accumulation
CN111898396B (zh) * 2019-05-06 2024-08-09 北京四维图新科技股份有限公司 障碍物检测方法和装置
DE102023201888A1 (de) 2023-03-02 2024-09-05 Zf Friedrichshafen Ag Verfahren und Steuereinrichtung zum Steuern eines Fahrzeugs abseits der Straße

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1574079B1 (de) * 2002-10-23 2013-03-13 Koninklijke Philips Electronics N.V. Verfahren zur nachverarbeitung eines 3d digitalen video signals
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US7366325B2 (en) * 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
GB2418314A (en) * 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
WO2006106522A2 (en) * 2005-04-07 2006-10-12 Visionsense Ltd. Method for reconstructing a three- dimensional surface of an object
AU2006295455A1 (en) * 2005-09-22 2007-04-05 3M Innovative Properties Company Artifact mitigation in three-dimensional imaging
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
KR100902343B1 (ko) * 2007-11-08 2009-06-12 한국전자통신연구원 로봇 영상 시스템 및 검출 방법
US8411934B2 (en) * 2007-11-09 2013-04-02 Thomson Licensing System and method for depth map extraction using region-based filtering
US9137518B2 (en) * 2008-01-29 2015-09-15 Thomson Licensing Method and system for converting 2D image data to stereoscopic image data
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
DE102008002567A1 (de) 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenverarbeitungsverfahren
US8300089B2 (en) * 2008-08-14 2012-10-30 Reald Inc. Stereoscopic depth mapping
US8233664B2 (en) * 2008-11-12 2012-07-31 Eastman Kodak Company Determining relative depth of points in multiple videos
KR20100072772A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
US8326036B2 (en) * 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
EP2246806B1 (de) * 2009-04-29 2014-04-02 Autoliv Development AB Sichtverfahren und -system zur automatischen Erkennung von Objekten vor einem Kraftfahrzeug
DE102009003110A1 (de) 2009-05-14 2010-11-18 Robert Bosch Gmbh Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
DE102009035755A1 (de) * 2009-07-24 2011-01-27 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines Raumbereichs
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
CN101701818B (zh) 2009-11-05 2011-03-30 上海交通大学 远距离障碍的检测方法
CN101701828B (zh) 2009-11-23 2012-10-03 常州超媒体与感知技术研究所有限公司 基于立体视觉和信息融合的盲人自主导航方法
KR101813299B1 (ko) * 2010-04-01 2017-12-28 톰슨 라이센싱 3차원(3d) 표시에 있어서 플로팅 윈도우를 사용하는 방법과 시스템
FR2958767B1 (fr) * 2010-04-09 2016-11-11 Commissariat Energie Atomique Procede de detection de cibles dans des images stereoscopiques.
WO2012017650A1 (ja) * 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
US9294755B2 (en) * 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
CN101999972B (zh) * 2010-11-24 2013-07-03 上海理工大学 一种基于立体视觉的盲人辅助行走装置及其辅助方法
WO2012092246A2 (en) * 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
CN102313536B (zh) * 2011-07-21 2014-02-19 清华大学 基于机载双目视觉的障碍物感知方法
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
CN102390370B (zh) 2011-10-25 2013-07-03 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
US8837815B2 (en) * 2011-12-14 2014-09-16 Thomson Licensing Method of filtering a disparity mesh obtained from pixel images
US9237330B2 (en) * 2012-02-21 2016-01-12 Intellectual Ventures Fund 83 Llc Forming a stereoscopic video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2013178407A1 *

Also Published As

Publication number Publication date
DE102012209316A1 (de) 2013-12-05
WO2013178407A1 (de) 2013-12-05
US10165246B2 (en) 2018-12-25
CN104364796A (zh) 2015-02-18
US20150156471A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
WO2013178407A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
DE102018116111B4 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE112010002047B4 (de) Objekterfassungsvorrichtung
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102005056645B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102014221144A1 (de) Zielerfassungsvorrichtung
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102016216294B4 (de) Einrichtung zum Erkennen eines Hindernisses um ein Fahrzeug herum und Verfahren dafür
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
DE102011087797A1 (de) Verfahren und Vorrichtung zur Lokalisation einer vordefinierten Parkposition
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE112021004200T5 (de) Objekterkennungsvorrichtung
DE102012024878A1 (de) Verfahren zum Detektieren eines Zielobjekts anhand eines Kamerabilds durch Clusterbildung aus mehreren benachbarten Bildzellen, Kameraeinrichtung und Kraftfahrzeug
DE112020005547T5 (de) Verarbeitungsvorrichtung
DE102018113559A1 (de) Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem
DE112021002598T5 (de) Bildverarbeitungsvorrichtung
EP1944212B1 (de) Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE102016216962B3 (de) Verfahren und Steuerungseinheit zur Nachführung eines Bildausschnitts
DE102017217140B4 (de) Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
EP3663800B1 (de) Verfahren zur objekterfassung mit einer 3d-kamera
DE102011111856B4 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
DE102014017904A1 (de) Verfahren und Vorrichtung zur Detektion erhabener Objekte und Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150105

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20170720

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20201127