DE102014112914A1

DE102014112914A1 - Method for segmenting an image, driver assistance system and motor vehicle

Info

Publication number: DE102014112914A1
Application number: DE102014112914.8A
Authority: DE
Inventors: Swaroop Kaggere Shivamurthy; Senthil Kumar Yogamani; Ciaran Hughes; Jonathan Horgan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2014-09-09
Filing date: 2014-09-09
Publication date: 2016-03-10

Abstract

Die Erfindung betrifft ein Verfahren zum Segmentieren eines mit einer Kamera (4) eines Kraftfahrzeugs (1) bereitgestellten Bildes (8) einer Umgebung (7) des Kraftfahrzeugs (1) mit den Schritten: a) Bestimmen einer Mehrzahl von Teilbereichen des Bildes (8), b) Bestimmen einer Variation einer Intensität (11) innerhalb jedes Teilbereichs (9, B) der Mehrzahl von Teilbereichen, c) Zuordnen der Teilbereiche (9, B) der Mehrzahl von Teilbereichen zu einer ersten Homogenitätsgruppe, deren bestimmte Variation der Intensität (11) einen vorbestimmten Schwellenwert (TH) unterschreitet, und der Teilbereiche (9, B) der Mehrzahl von Teilbereichen zu einer zweiten Homogenitätsgruppe, deren bestimmte Variation der Intensität (11) den vorbestimmten Schwellenwert (TH) überschreitet, d) Bestimmen eines jeweiligen Intensitätswerts (12) der Teilbereiche (9, B), der eine Intensität (11) zumindest eines Bildpunkts (10) des Teilbereichs (9, B) beschreibt, der ersten Homogenitätsgruppe und Zuweisen der Teilbereiche (9, B) der ersten Homogenitätsgruppe zu zumindest zwei unterschiedlichen Helligkeitskategorien anhand ihres jeweiligen bestimmten Intensitätswerts (12), und e) Zuordnen der Teilbereiche (9, B) der ersten Homogenitätsgruppe zu zumindest zwei Klassen (RO, SW, SK, NU), welche Bereichen in der Umgebung (7) des Kraftfahrzeugs (1) zugeordnet sind, anhand ihrer Helligkeitskategorie.The invention relates to a method for segmenting an image (8) of an environment (7) of the motor vehicle (1) provided with a camera (4) of a motor vehicle (1) comprising the steps of: a) determining a plurality of subregions of the image (8) b) determining a variation of an intensity (11) within each subarea (9, B) of the plurality of subareas, c) assigning the subareas (9, B) of the plurality of subareas to a first homogeneity group whose particular variation of the intensity (11 ) falls below a predetermined threshold value (TH), and the subregions (9, B) of the plurality of subregions to a second homogeneity group whose specific variation of the intensity (11) exceeds the predetermined threshold value (TH), d) determining a respective intensity value (12 ) of the subregions (9, B) which describes an intensity (11) of at least one pixel (10) of the subarea (9, B), the first homogeneity group and assigning the Subregions (9, B) of the first homogeneity group for at least two different brightness categories on the basis of their respective particular intensity value (12), and e) assignment of the subregions (9, B) of the first homogeneity group to at least two classes (RO, SW, SK, NU) which areas in the environment (7) of the motor vehicle (1) are assigned, based on their brightness category.

Description

Die Erfindung betrifft ein Verfahren zum Segmentieren eines mit einer Kamera eines Kraftfahrzeugs bereitgestellten Bildes einer Umgebung des Kraftfahrzeugs. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem. The invention relates to a method for segmenting an image of an environment of the motor vehicle provided with a camera of a motor vehicle. The invention also relates to a driver assistance system for a motor vehicle and to a motor vehicle having such a driver assistance system.

Verfahren zum Segmentieren eines mit einer Kamera bereitgestellten Bildes sind aus dem Stand der Technik bekannt. Unter dem Begriff Segmentierung ist insbesondere das Erzeugen von inhaltlich zusammenhängenden Regionen beziehungsweise Bereichen durch Zusammenfassen benachbarter Bildpunkte entsprechend eines bestimmten Homogenitätskriteriums zu verstehen. So greifen Verfahren zum Segmentieren des Bildes beispielsweise auf Techniken des Regionenwachstumsverfahrens zurück. Hierbei werden die Bildpunkte mit ihren Nachbarbildpunkten verglichen und zu einer Region verschmolzen, falls diese ähnlich sind. Durch den Vergleich mit all seinen Nachbarn wächst die Region weiter. Wenn kein Nachbar mehr hinzugenommen werden kann, ist eine Region gefunden, und man wählt einen neuen Bildpunkt, welcher noch zu keiner Region gehört, und beginnt das Verfahren von vorne. Der ganze Prozess wird so lange wiederholt, bis alle Bildpunkte Regionen zugeordnet wurden. Methods of segmenting an image provided with a camera are known in the art. The term segmentation is understood to mean, in particular, the generation of content-related regions or regions by combining adjacent pixels in accordance with a specific homogeneity criterion. For example, techniques for segmenting the image rely on regional growth techniques. Here, the pixels are compared with their neighboring pixels and merged into a region, if they are similar. By comparison with all its neighbors, the region continues to grow. If no neighbor can be added, a region is found, and one chooses a new pixel that does not belong to any region, and starts the procedure from scratch. The whole process is repeated until all pixels have been assigned to regions.

Es gibt noch eine Vielzahl von anderen bekannten Verfahren zum Segmentieren des Bildes, wobei eine Einteilung in Pixel-, Kanten- und Regionen-basierte Verfahren erfolgen kann. Weiterhin gibt es beispielsweise grenzwertbasierte Methoden, Split-and-Merge-Methoden, graphenbasierte Methoden und trainierbare Methoden. Anschließend können die Segmente von der Segmentierung in Form einer Klassifizierung klassifiziert werden, also einer Semantik beziehungsweise einer Bedeutung zugeordnet werden. There are a variety of other known methods of segmenting the image, which can be classified into pixel, edge, and region-based methods. There are also limit-based methods, split-and-merge methods, graph-based methods and trainable methods. Subsequently, the segments of the segmentation can be classified in the form of a classification, that is, assigned to a semantics or a meaning.

Viele der erwähnten Verfahren zum Segmentieren des Bildes führen zu einer Vielzahl von Regionen, welche in einem aufwendigen Nachbearbeitungsschritt zusammengefasst werden müssen, um zusammengefasste Regionen zu erhalten, welche dann Klassen der realen Welt zugeordnet werden können. Diese Verfahren sind deshalb für einen digitalen Signalprozessor aufwendig zu berechnen. Many of the mentioned methods for segmenting the image lead to a multiplicity of regions which have to be combined in a complex post-processing step in order to obtain summarized regions, which can then be assigned to real-world classes. These methods are therefore expensive to calculate for a digital signal processor.

Es ist daher Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem die Segmentierung des Bildes einer Umgebung eines Kraftfahrzeugs mit besonders wenig Aufwand durchgeführt werden kann. It is therefore an object of the invention to provide a method, a driver assistance system and a motor vehicle, with which or in which the segmentation of the image of an environment of a motor vehicle can be carried out with very little effort.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. This object is achieved by a method by a driver assistance system and by a motor vehicle with the features according to the respective independent claims.

Bei einem erfindungsgemäßen Verfahren wird ein mit einer Kamera eines Kraftfahrzeugs bereitgestelltes Bild einer Umgebung des Kraftfahrzeugs mit den folgenden Schritten segmentiert:

a) Bestimmen einer Mehrzahl von Teilbereichen des Bildes,
b) Bestimmen einer Variation einer Intensität innerhalb jedes Teilbereichs der Mehrzahl von Teilbereichen,
c) Zuordnen der Teilbereiche der Mehrzahl von Teilbereichen zu einer ersten Homogenitätsgruppe, deren bestimmte Variation der Intensität einen vorbestimmten Schwellenwert unterschreitet, und der Teilbereiche der Mehrzahl von Teilbereichen zu einer zweiten Homogenitätsgruppe, deren bestimmte Variation der Intensität den vorbestimmten Schwellenwert überschreitet,
d) Bestimmen eines jeweiligen Intensitätswerts der Teilbereiche, der eine Intensität zumindest eines Bildpunkts des Teilbereichs beschreibt, der ersten Homogenitätsgruppe und Zuweisen der Teilbereiche der ersten Homogenitätsgruppe zu zumindest zwei unterschiedlichen Helligkeitskategorien anhand ihres jeweiligen bestimmten Intensitätswerts, und
e) Zuordnen der Teilbereiche der ersten Homogenitätsgruppe zu zumindest zwei Klassen, welche Bereichen in der Umgebung des Kraftfahrzeugs zugeordnet sind, anhand ihrer Helligkeitskategorie.

In a method according to the invention, an image of an environment of the motor vehicle provided with a camera of a motor vehicle is segmented with the following steps:

a) determining a plurality of partial regions of the image,
b) determining a variation of an intensity within each subregion of the plurality of subregions,
c) assigning the subareas of the plurality of subareas to a first homogeneity group whose specific variation of the intensity falls below a predetermined threshold value and of the subareas of the plurality of subareas to a second homogeneity group whose specific variation of the intensity exceeds the predetermined threshold value,
d) determining a respective intensity value of the partial regions which describes an intensity of at least one pixel of the partial region, of the first homogeneity group and assigning the partial regions of the first homogeneity group to at least two different brightness categories based on their respective determined intensity value, and
e) assigning the subareas of the first homogeneity group to at least two classes, which areas are assigned in the surroundings of the motor vehicle, by means of their brightness category.

Bei dem Verfahren werden mehrere Teilbereiche des Bildes ermittelt. Das Bild kann in eine Mehrzahl von Teilbereichen unterteilt werden. Durch das erfindungsgemäße Verfahren wird es möglich, das Bild so zu segmentieren, dass die Teilbereiche der ersten Homogenitätsgruppe zu zumindest zwei Klassen der realen Welt anhand ihrer Helligkeitskategorie zugeordnet werden können. Das Verfahren wird insbesondere mehrstufig durchgeführt. Zuerst werden die Teilbereiche hinsichtlich der Variation der Intensitäten untersucht. Die Variation der Intensität beschreibt, wie stark die Intensitäten des jeweiligen Teilbereichs schwanken. Unterschreitet die Variation der Intensität den vorbestimmten Schwellenwert, so werden die Teilbereiche zu der ersten Homogenitätsgruppe, welche homogene beziehungsweise einheitliche Teilbereiche enthält, zugeordnet. Überschreitet die Variation der Intensität des jeweiligen Teilbereichs den vorbestimmten Schwellenwert, so wird der jeweilige Teilbereich der zweiten Homogenitätsgruppe zugeordnet, welche im Vergleich zu der ersten Homogenitätsgruppe heterogene beziehungsweise uneinheitliche Teilbereiche enthält. Es wird also anhand der Variation der Intensität eine erste Zuordnung der Teilbereiche des Bildes vorgenommen. The method determines several subregions of the image. The image can be divided into a plurality of subregions. The method according to the invention makes it possible to segment the image in such a way that the subregions of the first homogeneity group can be assigned to at least two classes of the real world on the basis of their brightness category. The process is carried out in particular in several stages. First, the partitions are examined for the variation of the intensities. The variation of the intensity describes how much the intensities of the respective subarea fluctuate. If the variation of the intensity falls below the predetermined threshold value, then the partial regions are assigned to the first homogeneity group, which contains homogeneous or uniform partial regions. If the variation of the intensity of the respective partial region exceeds the predetermined threshold value, then the respective partial region is assigned to the second homogeneity group, which contains heterogeneous or non-uniform partial regions in comparison to the first homogeneity group. It will be based on the variation of the intensity made a first assignment of the partial areas of the image.

Weiterhin wird der jeweilige Intensitätswert des jeweiligen Teilbereichs bestimmt, welcher der Intensität zumindest eines Bildpunkts des jeweiligen Teilbereichs entspricht. Somit kann beispielsweise der Intensitätswert des Teilbereichs der Intensität des in der Mitte des Teilbereichs angeordneten Bildpunktes entsprechen. Durch den Intensitätswert kann also der jeweilige Teilbereich mit einem Wert beschrieben werden. Anhand des Intensitätswerts werden die Teilbereiche, welche der ersten Homogenitätsgruppe zugewiesen sind, anhand ihres jeweiligen bestimmten Intensitätswerts zu zumindest zwei unterschiedlichen Helligkeitskategorien zugewiesen. Das bedeutet, die Teilbereiche der ersten Homogenitätsgruppe können zumindest zwei unterschiedlichen Helligkeitskategorien zugewiesen werden und somit weiter unterteilt. Furthermore, the respective intensity value of the respective subarea is determined, which corresponds to the intensity of at least one pixel of the respective subarea. Thus, for example, the intensity value of the partial region can correspond to the intensity of the pixel arranged in the middle of the partial region. By means of the intensity value, therefore, the respective subarea can be described with a value. Based on the intensity value, the subregions assigned to the first homogeneity group are assigned to at least two different brightness categories based on their respective particular intensity value. This means that the subregions of the first homogeneity group can be assigned to at least two different brightness categories and thus subdivided further.

Schließlich werden in dem Schritt e) die Teilbereiche, welchen die zumindest zwei unterschiedlichen Helligkeitskategorien zugewiesen worden sind, anhand dieser Helligkeitskategorien zu zumindest zwei Klassen zugeordnet. Die Klassen bezeichnen Bereiche in der Umgebung des Kraftfahrzeugs, also in der realen Welt existierende Erscheinungen, welche jeweils mit einem Begriff bezeichnet werden können. Die Klassen sind also das Ergebnis einer Klassifizierung, welche die Teilbereiche des Bildes einer realen Information zuordnet. Die reale Information kann beispielsweise ein Objekt der realen Welt sein. Die Klassifizierung weist den Teilbereichen also eine Semantik beziehungsweise eine Bedeutung zu. Finally, in step e) the subareas to which the at least two different brightness categories have been assigned are assigned to at least two classes on the basis of these brightness categories. The classes designate areas in the vicinity of the motor vehicle, ie phenomena existing in the real world, which can each be designated by a term. The classes are thus the result of a classification which assigns the subareas of the image to real information. For example, the real information may be an object of the real world. The classification therefore assigns semantics or meaning to the subareas.

Insbesondere ist vorgesehen, dass die Teilbereiche der ersten Homogenitätsgruppe einer ersten Helligkeitskategorie zugewiesen werden, falls ihr bestimmter Intensitätswert einen vorbestimmten Grenzwert unterschreitet, und die Teilbereiche der ersten Homogenitätsgruppe einer zweiten Helligkeitskategorie zugewiesen werden, falls ihr bestimmter Intensitätswert den vorbestimmten Grenzwert überschreitet. Das Zuweisen der Teilbereiche der ersten Homogenitätsgruppe zu der ersten Helligkeitskategorie und/oder der zweiten Helligkeitskategorie kann also anhand des vorbestimmten Grenzwerts vorgenommen werden kann. Somit kann eindeutig festgelegt werden, wann der jeweilige Teilbereich aus der ersten Homogenitätsgruppe der ersten Helligkeitskategorie zugewiesen wird und wann der jeweilige Teilbereich aus der ersten Homogenitätsgruppe der zweiten Helligkeitskategorie zugewiesen wird. In particular, it is provided that the subregions of the first homogeneity group are assigned to a first brightness category if their specific intensity value falls below a predetermined limit value and the subregions of the first homogeneity group are assigned to a second brightness category if their specific intensity value exceeds the predetermined limit value. The assignment of the subregions of the first homogeneity group to the first brightness category and / or the second brightness category can therefore be carried out on the basis of the predetermined limit value. Thus, it can be clearly determined when the respective subarea from the first homogeneity group is assigned to the first brightness category and when the respective subarea from the first homogeneity group is assigned to the second brightness category.

Weiterhin ist vorgesehen, dass der vorbestimmte Grenzwert anhand eines Histogramms der jeweiligen Intensitätswerte der Teilbereiche bestimmt wird. So kann der vorbestimmte Grenzwert beispielsweise anhand eines Maximalbereichs des Histogramms bestimmt werden. Anhand des Histogramms können auch mehrere der vorbestimmten Grenzwerte bestimmt werden. Der vorbestimmte Grenzwert kann beispielsweise anhand von Minima und/oder Maxima des Histogramms bestimmt werden. So kann davon ausgegangen werden, dass nach einem Minima oder einem Maxima des Histogramms eine andere Helligkeitskategorie beginnt. Es kann beispielsweise aber auch ein Bereich, welcher sich links und rechts von dem Maxima des Histogramms erstreckt, gewählt werden, um den vorbestimmten Grenzwert zu bestimmen. Der vorbestimmte Grenzwert kann aber auch anhand von Diskontinuitäten des Histogramms oder Teilen des Histogramms bestimmt werden. Furthermore, it is provided that the predetermined limit value is determined on the basis of a histogram of the respective intensity values of the subregions. Thus, the predetermined limit value can be determined, for example, based on a maximum range of the histogram. On the basis of the histogram also several of the predetermined limits can be determined. The predetermined limit value can be determined, for example, on the basis of minima and / or maxima of the histogram. Thus it can be assumed that a different brightness category begins after a minimum or a maximum of the histogram. However, it is also possible, for example, to select a region which extends to the left and to the right of the maximum of the histogram in order to determine the predetermined limit value. However, the predetermined limit value can also be determined on the basis of discontinuities of the histogram or parts of the histogram.

Vorzugsweise ist vorgesehen, dass die Teilbereiche der ersten Homogenitätsgruppe anhand ihrer Intensitätswerte drei unterschiedlichen Helligkeitskategorien zugewiesen werden, die Teilbereiche einer ersten der drei Helligkeitskategorien einem Schatten als die Klasse zugeordnet werden, die Teilbereiche einer zweiten der drei Helligkeitskategorien einer Straße als die Klasse zugeordnet werden und die Teilbereiche einer dritten der drei Helligkeitskategorien einem Himmel als die Klasse zugeordnet werden. Die Unterteilung in die Klasse Schatten, die Klasse Straße und die Klasse Himmel sind vorteilhaft, weil diese Klassen häufig in der Umgebung des Kraftfahrzeugs auftreten. Somit können dadurch besonders aussagekräftige Klassen zur Verfügung gestellt werden. Die erste Helligkeitskategorie und die zweite Helligkeitskategorie und die dritte Helligkeitskategorie können beispielsweise mit zwei vorbestimmten Grenzwerten voneinander unterschieden werden. So kann einer der zwei Grenzwerte ein Minimalgrenzwert sein und ein zweiter der zwei Grenzwerte ein Maximalgrenzwert sein, welche beispielsweise anhand eines Histogramms der jeweiligen Intensitätswerte der Teilbereiche bestimmt werden. It is preferably provided that the subregions of the first homogeneity group are assigned to three different brightness categories based on their intensity values, the subregions of a first of the three brightness categories are assigned to a shadow as the class, the subregions of a second of the three brightness categories are assigned to the street as the class, and Portions of a third of the three brightness categories are assigned to a sky as the class. The subdivision into the class shadow, the class street and the class sky are advantageous, because these classes frequently occur in the environment of the motor vehicle. Thus, particularly meaningful classes can be made available. For example, the first brightness category and the second brightness category and the third brightness category may be distinguished from each other by two predetermined thresholds. Thus, one of the two limit values may be a minimum limit value and a second of the two limit values may be a maximum limit value, which are determined, for example, on the basis of a histogram of the respective intensity values of the partial ranges.

Insbesondere ist vorgesehen, dass das Bild derart in eine Mehrzahl von Teilbereichen unterteilt wird, dass die Teilbereiche in mehreren Spalten und in mehreren Zeilen angeordnet sind sowie ein Spaltenhistogramm, welches für jede der Spalten ein Histogramm für die Klassen beschreibt, und ein Zeilenhistogramm, welches für jede der Zeilen ein Histogramm für die Klassen beschreibt, bestimmt werden. Die Verwendung des Spalten- und/oder des Zeilenhistogramm ist vorteilhaft, weil dadurch die Statistik beziehungsweise eine Häufigkeit einer Klasse in der jeweiligen Spalte und/oder der jeweiligen Zeile der Teilbereiche beschrieben werden kann. Weiterhin haben das Spaltenhistogramm und/oder das Zeilenhistogramm den Vorteil, dass die Ortsinformation jeweils nur in einer Dimension nicht berücksichtigt wird. So sind die Teilbereiche beispielsweise in einem zweidimensionalen Gitter angeordnet beziehungsweise in einer zweidimensionalen Matrix angeordnet. Bei dem Spaltenhistogramm geht nun die Ortsinformation in vertikaler Richtung der Matrix der Teilbereiche verloren, dafür wird die Häufigkeit der jeweiligen Klasse in vertikaler Richtung der Matrix bereitgestellt. Anders herum verhält es sich bei dem Zeilenhistogramm, welches die Ortsinformation der jeweiligen Klasse der Teilbereiche in vertikaler Richtung beibehält und eine Häufigkeitsverteilung der jeweiligen Klasse in horizontaler Richtung der Matrix der Teilbereiche bereitstellen kann. Somit können für jede der Klassen ein Spaltenhistogramm und/oder ein Zeilenhistogramm bereitgestellt werden, welche eine Verteilung und Position der Klassen der Teilbereiche beschreiben. In particular, it is provided that the image is subdivided into a plurality of subareas, that the subareas are arranged in a plurality of columns and in a plurality of lines, and a column histogram, which describes a histogram for the classes for each of the columns, and a line histogram, which for each of the lines describes a histogram for the classes to be determined. The use of the column and / or the row histogram is advantageous because it can describe the statistics or a frequency of a class in the respective column and / or the respective line of the partial areas. Furthermore, the column histogram and / or the row histogram have the advantage that the location information is only taken into account in one dimension at a time. For example, the subareas are arranged in a two-dimensional grid or arranged in a two-dimensional matrix. In the column histogram, the location information is now lost in the vertical direction of the matrix of the subregions, for which the frequency of the respective class in the vertical direction of the matrix is provided. The reverse is the case with the line histogram, which retains the location information of the respective class of the subareas in the vertical direction and can provide a frequency distribution of the respective class in the horizontal direction of the matrix of the subareas. Thus, for each of the classes, a column histogram and / or a row histogram describing a distribution and position of the classes of the subregions may be provided.

Weiterhin wird in einer Ausgestaltung anhand des Spaltenhistogramms für die Klasse Schatten und/oder des Zeilenhistogramms für die Klasse Schatten eine Position von zumindest einem Schattenbereich in dem Bild bestimmt. Es kann also das Spaltenhistogramm für die Klasse Schatten durchlaufen werden mit der Suche nach der Häufigkeit der Klasse Schatten größer Null, und somit Spalten der Teilbereiche beziehungsweise der Matrix der Teilbereiche ermittelt werden, in welchen die Klasse Schatten anfängt oder in welchen die Klasse Schatten aufhört. Es kann also beispielsweise ein linker und ein rechter Rand des Schattens beziehungsweise der Klasse Schatten in der Bildebene bestimmt werden. Analog dazu kann anhand des Zeilenhistogramms ein oberer und ein unterer Rand des Schattens beziehungsweise der Klasse Schatten der Teilbereiche beziehungsweise in der Matrix der Teilbereiche bestimmt werden. Die Matrix der Teilbereiche ist also eine grobe Rasterung des Bildes, weil in der Matrix der Teilbereiche mehrere Bildpunkte des Bildes durch einen Intensitätswert repräsentiert werden können. Für die Matrix der Teilbereiche anhand ihrer Klassen kann der Begriff Klassenkarte beziehungsweise ID-Karte gebraucht werden. Die Klassenkarte zeigt dann somit alle Teilbereiche, wobei jeder der Teilbereiche einer Klasse zugeordnet ist. Furthermore, in one embodiment, a position of at least one shadow area in the image is determined on the basis of the column histogram for the class shadow and / or of the row histogram for the class shadow. Thus, the column histogram for the class shadow can be traversed with the search for the frequency of the class shadow greater than zero, and thus columns of the subareas or the matrix of the subregions are determined in which the class shadows begins or in which the class shadows ceases. Thus, for example, a left and a right edge of the shadow or the class shadow in the image plane can be determined. Similarly, an upper and a lower edge of the shadow or the class shadows of the subregions or in the matrix of the subregions can be determined on the basis of the line histogram. The matrix of the subareas is thus a coarse rasterization of the image, because in the matrix of the subareas a plurality of pixels of the image can be represented by an intensity value. For the matrix of the subareas based on their classes, the term class card or ID card can be used. The class card then shows all subareas, each of the subareas being assigned to a class.

In einer weiteren Ausgestaltung ist vorgesehen, dass anhand des Spaltenhistogramms für die Klasse Schatten und/oder des Zeilenhistogramms für die Klasse Schatten Teilbereiche, welche der Klasse Schatten zugeordnet sind, ausgewählt werden und einer Klasse Kraftfahrzeugschatten zugeordnet werden. Dadurch kann es also ermöglicht werden, dass die Klasse Schatten weiterhin unterteilt beziehungsweise spezifiziert wird und ein gewisser Teil der Klasse Schatten der Klasse Kraftfahrzeugschatten zugeordnet wird. Der Kraftfahrzeugschatten beschreibt einen Schatten in den Bild, der von dem Kraftfahrzeug hervorgerufen wird. Die Spezifizierung der Klasse Schatten kann beispielsweise dadurch erfolgen, dass das Zeilenhistogramm, welches die Ortsinformation der Klassen in vertikaler Richtung beibehalten hat, von unten an beginnend durchlaufen wird. So kann beispielsweise davon ausgegangen werden, dass die Klasse Kraftfahrzeugschatten unmittelbar an das Kraftfahrzeug anschließt und somit die unterste Zeile der Teilbereiche schon eine Klasse Schatten aufweist, welche dann ein Indiz für die Klasse Kraftfahrzeugschatten sein kann. So kann dann beispielsweise das Zeilenhistogramm für die Klasse Schatten ausgehend von dem unteren Bildrand durchlaufen werden und die Klasse Schatten so lange zu der Klasse Kraftfahrzeugschatten zugeordnet werden, bis das Auftreten der Klasse Schatten in dem Zeilenhistogramm für die Klasse Schatten nicht mehr festgestellt wird. Für weitere Teilbereiche der Klasse Schatten in dem Zeilenhistogramm kann davon ausgegangen werden, dass diese Teilbereiche nicht mehr zu der Klasse Kraftfahrzeugschatten zuzuordnen sind. Auch das Spaltenhistogramm kann für das Zuordnen der Klasse Schatten zu der Klasse Kraftfahrzeugschatten genutzt werden, so kann beispielsweise ein starkes Abfallen der Häufigkeit der Klasse Schatten als ein Hinweis auf eine Grenze beziehungsweise auf ein Ende der Klasse Kraftfahrzeugschatten zu verstehen sein, falls das Spaltenhistogramm beispielsweise von dessen Mitte aus nach links und/oder rechts durchlaufen wird. In a further refinement, it is provided that, based on the column histogram for the class shadow and / or the row histogram for the class shadow, partial areas which are assigned to the class shadow are selected and assigned to a class of motor vehicle shadows. Thus, it can thus be made possible that the class shadow is further subdivided or specified and a certain part of the class shadow is assigned to the class motor vehicle shadow. The motor vehicle shadow describes a shadow in the image, which is caused by the motor vehicle. The specification of the class shadow can be done, for example, by traversing the line histogram, which has maintained the location information of the classes in the vertical direction, starting from the bottom. Thus, for example, it can be assumed that the class motor vehicle shadow directly adjoins the motor vehicle and thus the bottom line of the subregions already has a class of shadows, which can then be an indication of the class motor vehicle shadows. For example, then the row histogram for the class shadow may be traversed from the bottom of the screen and the class shadow may be assigned to the class motor vehicle shadow until the occurrence of the class shadow is no longer detected in the row histogram for the class shadow. For further subregions of the class shadow in the line histogram, it can be assumed that these subregions are no longer to be assigned to the class motor vehicle shadows. The column histogram can also be used for assigning the class shadow to the class motor vehicle shadow, for example a strong drop in the frequency of the class shadow as an indication of a border or on an end of the class motor vehicle shadows to be understood, if the column histogram, for example whose center is traversed to the left and / or right.

Weiterhin kann anhand des Spaltenhistogramms für die Klasse Straße und/oder des Zeilenhistogramms für die Klasse Straße eine Position und/oder eine Begrenzung von zumindest einer Straße in dem Bild bestimmt werden. So kann beispielsweise ein Fluchtpunkt der Straße in dem Bild bestimmt werden, indem das Zeilenhistogramm für die Klasse Straße von unten nach oben durchlaufen wird und nach einer maximalen plötzlichen Abweichung beziehungsweise einem stärksten plötzlichen Abfall der Häufigkeit der Klasse Straße gesucht wird. So kommt die Straße beispielsweise kontinuierlich von unten angefangen in dem Zeilenhistogramm für die Klasse Straße vor, aber plötzlich fällt die Häufigkeit des Vorkommens der Klasse Straße abrupt ab. Diese vertikale Position der Zeile der Teilbereiche, an dem die Häufigkeit der Klasse Straße abrupt abfällt, kann die Zeile in der Matrix der Teilbereiche angeben, in welcher ein Fluchtpunkt der Straße in dem Bild angeordnet ist. Die Begrenzung der Straße in dem Bild kann beispielsweise ermittelt werden, indem das Zeilenhistogramm für die Klasse Straße von unten nach oben bezüglich der Bildebene durchlaufen wird und der Bereich für die Klasse Straße mit Fortschreiten des Durchlaufs immer enger gefasst wird, also immer weniger Teilbereiche dazu genommen werden. Somit wird die Straße in dem Bild von unten nach oben stetig schmäler. Furthermore, based on the column histogram for the class street and / or the row histogram for the class street, a position and / or a boundary of at least one street in the image can be determined. For example, a vanishing point of the road in the image can be determined by traversing the line histogram for the class of road from the bottom up and looking for a maximum sudden deviation or a sharpest sudden drop in the frequency of the class road. For example, the road appears continuously from the bottom of the line histogram for the street class, but suddenly the frequency of occurrence of the street class abruptly drops. This vertical position of the line of the subregions at which the frequency of the class road abruptly drops may indicate the line in the matrix of the subregions in which a vanishing point of the road is arranged in the image. For example, the boundary of the road in the image may be determined by traversing the row histogram for the class "street" from the bottom up with respect to the image plane and narrowing the area for the class road as the itinerary progresses, thus taking fewer and fewer subregions become. Thus, the road in the image from bottom to top is getting narrower.

Weiterhin ist vorgesehen, dass anhand des Spaltenhistogramms für die Klasse Himmel und/oder des Zeilenhistogramms für die Klasse Himmel eine Position eines Himmels in dem Bild bestimmt wird. Hierzu kann beispielsweise das Zeilenhistogramm für die Klasse Himmel von oben nach unten durchlaufen werden, um die vertikale Position beziehungsweise eine Zeilennummer zu bestimmen, bei welcher der Himmel in dem Bild endet. So kann beispielsweise das Auftreten der Klasse Himmel in dem Zeilenhistogramm für die Klasse Himmel nach einem abrupten Abfall der Klasse Himmel beziehungsweise einem abrupten Abfall der Häufigkeit der Klasse Himmel darauf schließen lassen, dass weitere stark beleuchtete Regionen in dem Bild vorhanden sind. Ergänzend oder alternativ kann, falls in dem Spalten- und/oder dem Zeilenhistogramm keine Klasse Himmel zugeordnet werden kann, davon ausgegangen werden, dass das Bild innerhalb eines Gebäudes aufgenommen wurde. Andernfalls kann bei erfolgter Zuordnung von Teilbereichen zu der Klasse Himmel und einem erkannten Himmel in dem Bild davon ausgegangen werden, dass das Bild im Freien aufgenommen worden ist. Weiterhin kann, falls ein Wert für die oberste Zeile des Zeilenhistogramms für die Klasse Himmel im Wesentlichen Null ist, aber später noch sehr helle Bereiche des Bildes, welche der Klasse Himmel zugeordnet sind, erscheinen, von einer Tageszeit Nacht ausgegangen werden. Furthermore, it is provided that a position of a sky in the image is determined on the basis of the column histogram for the class sky and / or the line histogram for the class sky. For this purpose, for example, the line histogram for the class sky can be traversed from top to bottom to determine the vertical position or a line number at which the sky ends in the image. For example, the occurrence of the class sky in the line histogram for the class sky after an abrupt drop of the class sky, or an abrupt drop in the frequency of the class sky, may indicate that there are more heavily illuminated regions in the image. Additionally or alternatively, if no class sky can be assigned in the column and / or line histogram, it can be assumed that the image was taken within a building. Otherwise, when the subregions have been assigned to the class sky and a recognized sky in the image, it can be assumed that the image has been taken outdoors. Furthermore, if a value for the top line of the line histogram for the sky class is substantially zero, but later on very bright areas of the image associated with the class of sky appear, a daytime night will be assumed.

In einer weiteren Ausgestaltung liegt das Bild in mehreren Farbkanälen eines Farbraums vor, und die Schritte a) bis e) werden jeweils für die mehreren Farbkanäle durchgeführt. Vorteilhaft ist also, dass dadurch ein Farbraum gewählt werden kann, welcher besonders gut für das Verfahren geeignet ist. So kann beispielsweise ein YUV-Farbraum oder ein Lab-Farbraum oder ein I1-, I2-, I3-Farbraum verwendet werden. Aufgrund der Farbinformation kann eine höhere Genauigkeit der Segmentierung erreicht werden. Weiterhin ist vorteilhaft, dass mit der Nutzung von mehreren Farbkanälen eine höhere Zuverlässigkeit des Verfahrens erreicht werden kann. Es kann somit also das Ergebnis von einem Farbkanal mit dem Ergebnis von dem anderen Farbkanal kontrolliert werden. In a further refinement, the image is present in a plurality of color channels of a color space, and steps a) to e) are carried out in each case for the plurality of color channels. It is therefore advantageous that a color space can be selected which is particularly suitable for the method. For example, a YUV color space or a Lab color space or an I1, I2, I3 color space can be used. Due to the color information, a higher accuracy of the segmentation can be achieved. Furthermore, it is advantageous that a higher reliability of the method can be achieved with the use of multiple color channels. Thus, therefore, the result of one color channel with the result of the other color channel can be controlled.

Weiterhin ist vorgesehen, dass das Bild in mehreren Farbkanälen vorliegt und die Schritte a) bis e) jeweils für einen Y-Kanal und/oder einen U-Kanal und/oder einen V-Kanal eines YUV-Farbraums durchgeführt wird. Somit kann beispielsweise mit dem Y-Kanal gezielt die Helligkeitsinformation des Bildes genutzt werden, während mit den verbleibenden Kanälen eine Farbinformation des Bildes genutzt werden kann. Der Y-Kanal beschreibt die Luminanz des Bildes, und der U-Kanal zusammen mit dem V-Kanal beschreiben die Chrominanz des Bildes. Furthermore, it is provided that the image is present in a plurality of color channels and the steps a) to e) are each performed for a Y channel and / or a U channel and / or a V channel of a YUV color space. Thus, for example, the brightness information of the image can be used selectively with the Y channel, while color information of the image can be used with the remaining channels. The Y channel describes the luminance of the picture, and the U channel together with the V channel describe the chrominance of the picture.

Insbesondere ist vorgesehen, dass nach dem Schritt h) ein morphologisches Verfahren, insbesondere eine Dilatation, durchgeführt wird. Bei dem morphologischen Verfahren werden Methoden der Nachbarschaftsfindung verwendet, um einen Bereich um einen Bildpunkt herum in Betracht zu ziehen und daraus folgend Operationen durchzuführen. Mittels der Dilatation können Bereiche des Bildes aufgefüllt werden. Mathematisch gesehen handelt es sich bei der Dilatation im Falle von Binärbildern um die Bildung der Minkowski-Summe von Bild und strukturierendem Element. Die Dilatation eines Bildes mit einem strukturierenden Element führt dazu, dass dem Bild Bildpunkte hinzugefügt werden, um kleine Lücken oder kleine Löcher entsprechend dem strukturierenden Element aufzufüllen beziehungsweise zu ergänzen. Die Dilatation wird verwendet, um das Ergebnis der Segmentierung zu verbessern beziehungsweise um die Qualität der Segmentierung zu erhöhen. Es kann auch eine grobe und eine feine Dilatation angewendet werden. In particular, it is provided that after the step h) a morphological process, in particular a dilatation, is carried out. In the morphological method, neighborhood finding methods are used to consider an area around a pixel and to perform operations thereafter. Dilation can be used to fill in areas of the image. Mathematically, dilation in the case of binary images is the formation of the Minkowski sum of image and structuring element. The dilation of an image with a structuring element results in pixels being added to the image to fill in small gaps or small holes corresponding to the structuring element. The dilation is used to improve the result of the segmentation or to increase the quality of the segmentation. It can also be applied a coarse and a fine dilatation.

Weiterhin ist vorgesehen, dass eine Region von Interesse innerhalb des Bildes definiert wird und das Bild in einer Region von Interesse in die Teilbereiche unterteilt wird. Die Region von Interesse kann so gewählt werden, dass Bereiche des Bildes, welche das Kraftfahrzeug selbst darstellen, nicht berücksichtigt werden. Weiterhin können Randbereiche des Bildes nicht berücksichtigt werden. Somit kann die Segmentierung ausschließlich in einer relevanten Region des Bildes durchgeführt werden und es werden Ressourcen gespart. Furthermore, it is provided that a region of interest is defined within the image and the image in a region of interest is subdivided into the subregions. The region of interest may be chosen so that areas of the image representing the motor vehicle itself are not taken into account. Furthermore, border areas of the image can not be taken into account. Thus, the segmentation can be performed only in a relevant region of the image and resources are saved.

Ein erfindungsgemäßes Fahrerassistenzsystem mit einem Kamerasystem, welches zumindest eine Kamera und eine Auswerteeinheit umfasst, ist dazu ausgelegt, ein erfindungsgemäßes Verfahren durchzuführen. A driver assistance system according to the invention having a camera system which comprises at least one camera and an evaluation unit is designed to carry out a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem. An inventive motor vehicle, in particular a passenger car, comprises a driver assistance system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame to leave the invention. There are thus also embodiments of the invention as encompassed and disclosed, which are not explicitly shown and explained in the figures, but by separated Feature combinations emerge from the described embodiments and can be generated.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Embodiments of the invention are explained in more detail below with reference to schematic drawings.

Dabei zeigen: Showing:

1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem und einem Kamerasystem; 1 in a schematic plan view of an embodiment of a motor vehicle according to the invention with a driver assistance system and a camera system;

2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens; 2 a flow diagram of a method according to the invention;

3 ein weiteres Ablaufdiagramm des erfindungsgemäßen Verfahrens; 3 a further flow diagram of the method according to the invention;

4 eine Fortsetzung des Ablaufdiagramms aus 3; 4 a continuation of the flowchart 3 ;

5 eine schematische Darstellung von einem Bild einer Umgebung des Kraftfahrzeugs, welches in eine Mehrzahl von Teilbereichen unterteilt ist; 5 a schematic representation of an image of an environment of the motor vehicle, which is divided into a plurality of partial areas;

6 eine schematische Darstellung eines Teilbereichs der Mehrzahl von Teilbereichen, von welchem eine Variation einer Intensität in horizontale Richtung bestimmt wird; 6 a schematic representation of a portion of the plurality of sub-areas, of which a variation of an intensity in the horizontal direction is determined;

7 eine schematische Darstellung analog zu 6, wobei die Variation der Intensität in vertikale Richtung bestimmt wird; 7 a schematic representation analogous to 6 wherein the variation of intensity in the vertical direction is determined;

8 ein weiteres Ablaufdiagramm, welches ein Zuordnen der Teilbereiche zu einer ersten Homogenitätsgruppe und einer zweiten Homogenitätsgruppe beschreibt; 8th a further flowchart, which describes an assignment of the partial areas to a first homogeneity group and a second homogeneity group;

9 ein weiteres Ablaufdiagramm, welches ein Zuweisen der Teilbereiche der ersten Homogenitätsgruppe zu drei unterschiedlichen Helligkeitskategorien beschreibt; 9 a further flow chart, which describes assigning the portions of the first homogeneity group to three different brightness categories;

10 eine schematische Darstellung eines Spaltenhistogramms und eines Zeilenhistogramms, welche anhand einer Klassenkarte bestimmt werden; 10 a schematic representation of a column histogram and a line histogram, which are determined based on a class card;

11 das Spaltenhistogramm und das Zeilenhistogramm und die Klassenkarte, in welcher eine Klasse Kraftfahrzeugschatten bestimmt wird; 11 the column histogram and the row histogram and the class card in which a class of vehicle shadow is determined;

12 das Spaltenhistogramm und das Zeilenhistogramm und die Klassenkarte, in welcher ein Fluchtpunkt einer Straße im Bild bestimmt wird; 12 the column histogram and the line histogram and the class map in which a vanishing point of a road in the image is determined;

13 das Spaltenhistogramm und das Zeilenhistogramm und die Klassenkarte, in welcher eine Begrenzung der Straße in dem Bild bestimmt wird; und 13 the column histogram and the row histogram and the class card in which a boundary of the street in the image is determined; and

14 das Spaltenhistogramm und das Zeilenhistogramm und die Klassenkarte, in welcher die Teilbereiche von einer Klasse Straße als eine Klasse genaue Straße bestimmt werden. 14 the column histogram and the row histogram and the class map in which the subregions of a class street are determined to be an exact street class.

In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel ein Kamerasystem 3 mit einer Kamera 4 und einer Auswerteeinheit 5. Gemäß dem Ausführungsbeispiel in 1 ist die Kamera 4 an einer Front 6 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 4 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass eine Umgebung 7 des Kraftfahrzeugs 1 erfasst werden kann. Die Kamera 4 kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche ein Bild 8 der Umgebung 7 zur Verfügung stellt. Es können auch mehrere solcher Kameras 4 eingesetzt werden. Die Kamera 4 ist eine Videokamera, welche kontinuierlich eine Bildsequenz von Bildern 8 bereitstellt. Das Bild 8 ist ein Einzelbild. Die Auswerteeinheit 5 verarbeitet dann die Bildsequenz der Bilder 8 beispielsweise in Echtzeit. In 1 is a schematic plan view of a motor vehicle 1 with a driver assistance system 2 represented according to an embodiment of the invention. The driver assistance system 2 comprises in the embodiment a camera system 3 with a camera 4 and an evaluation unit 5 , According to the embodiment in 1 is the camera 4 on a front 6 of the motor vehicle 1 arranged. The arrangement of the camera 4 However, it is possible in many ways, but preferably so that an environment 7 of the motor vehicle 1 can be detected. The camera 4 may be a CMOS camera or a CCD camera or any image capture device, which is an image 8th the environment 7 provides. There can also be several such cameras 4 be used. The camera 4 is a video camera which continuously takes a picture sequence of pictures 8th provides. The picture 8th is a single picture. The evaluation unit 5 then process the image sequence of the images 8th for example, in real time.

2 zeigt ein Unterteilen des Bildes 8 in Teilbereiche 9. Auf der rechten Seite von 2 ist das Bild 8 dargestellt, das in dem vorliegenden Ausführungsbeispiel in zwölf Teilbereiche 9 eingeteilt ist. Hier wird das komplette Bild 8 in Teilbereiche 9 eingeteilt. Es kann auch vorgesehen sein, dass eine Region von Interesse 15 in dem Bild 8 bestimmt wird und die Teilbereiche 9 nur in der Region von Interesse 15 bestimmt werden. Auf der linken Seite von 2 sind die einzelnen Bildpunkte 10 des Bildes 8 dargestellt. Weiterhin ist in das Bild 8 ein Teilbereich 9 eingezeichnet, der mehrere Bildpunkte 10 umfasst. 2 shows a subdivision of the image 8th in subareas 9 , On the right side of 2 is the picture 8th shown in the present embodiment in twelve sub-areas 9 is divided. Here is the complete picture 8th in subareas 9 assigned. It can also be provided that a region of interest 15 in the picture 8th is determined and the subareas 9 only in the region of interest 15 be determined. On the left side of 2 are the individual pixels 10 of the picture 8th shown. Continue in the picture 8th a subarea 9 plotted several pixels 10 includes.

3 zeigt ein Ablaufdiagramm, welches das Verfahren vereinfacht beschreibt. In einem Schritt S1 wird eine Variation einer Intensität, insbesondere eine horizontale Variation einer Intensität H_N und eine vertikalen Variation einer Intensität V_N, jedes Teilbereichs 9 bestimmt. Weiterhin werden anhand der Variation der Intensität H_N, V_N die Teilbereiche 9 einer ersten Homogenitätsgruppe zugeordnet, falls ein vorbestimmter Schwellenwert hinsichtlich der bestimmten Variation der Intensität H_N, V_N unterschritten wird. Alternativ dazu werden die Teilbereiche 9 einer zweiten Homogenitätsgruppe zugeordnet, falls der vorbestimmte Schwellenwert hinsichtlich der bestimmten Variation der Intensität H_N, V_N überschritten wird. 3 shows a flowchart that describes the method simplified. In a step S1, a variation of an intensity, in particular a horizontal variation of an intensity H_N and a vertical variation of an intensity V_N, of each subregion is determined 9 certainly. Furthermore, based on the variation of the intensity H_N, V_N, the subregions 9 assigned to a first homogeneity group, if a predetermined threshold with respect to the particular variation of the intensity H_N, V_N is exceeded. Alternatively, the subareas 9 assigned to a second homogeneity group, if the predetermined threshold with respect to the specific variation of the intensity H_N, V_N is exceeded.

In einem Schritt S2 wird eine Helligkeitsinformation des Bildes 8 bestimmt. Die Helligkeitsinformation kann beispielsweise anhand eines Y-Kanal eines YUV-Farbraums des Bildes 8 bestimmt werden. Des Weiteren werden die Teilbereiche 9, welche der ersten Homogenitätsgruppe zugeordnet sind, anhand eines jeweiligen Intensitätswerts 12 vorbestimmten Helligkeitskategorien zugeordnet. Es können beispielsweise drei unterschiedlichen Helligkeitskategorien vorgesehen sein. In a step S2, brightness information of the image is obtained 8th certainly. The For example, brightness information may be based on a Y channel of a YUV color space of the image 8th be determined. Furthermore, the subareas 9 , which are assigned to the first homogeneity group, based on a respective intensity value 12 assigned to predetermined brightness categories. For example, three different brightness categories can be provided.

In einem Schritt S3 wird eine Farbinformation beziehungsweise eine Chrominanz-Information bestimmt, welche beispielsweise anhand eines U-Kanal und/oder eines V-Kanal des YUV-Farbraums ermittelt werden kann. Auf diese Weise kann beispielsweise eine genaue Begrenzung von Bereichen in dem Bild 8 ermittelt werden. Hierzu können unterschiedliche Klassen für die Bereiche in dem Bild definiert werden. Diese Bereiche können beispielsweise Objekte, einen Himmel, eine Straße oder einen Schatten darstellen. In a step S3, color information or chrominance information is determined which can be determined, for example, on the basis of a U channel and / or a V channel of the YUV color space. In this way, for example, an accurate boundary of areas in the image 8th be determined. Different classes can be defined for the areas in the image. For example, these areas may represent objects, a sky, a road, or a shadow.

In einem Schritt S4 wird jedem der Teilbereiche 9 eine Klasse zugeordnet. Weiterhin wird das Bild 8 anhand der Verteilung der Klassen der Teilbereiche 9 analysiert. Hier können beispielsweise ein Spaltenhistogramm 13 und ein Zeilenhistogramm 14 bestimmt werden. In einem Schritt S4 wird das Bild 8 durch das Spaltenhistogramm 13 und das Zeilenhistogramm 14, welche auf Basis der Helligkeit, also des Y-Kanals, erstellt wurden, genutzt, um das Bild 8 zu beschreiben. In a step S4, each of the subareas becomes 9 associated with a class. Continues the picture 8th based on the distribution of the classes of the subareas 9 analyzed. For example, here is a column histogram 13 and a line histogram 14 be determined. In a step S4, the image becomes 8th through the column histogram 13 and the line histogram 14 , which were created on the basis of the brightness, so the Y-channel, used to the image 8th to describe.

In einem Schritt S5 werden Eigenschaften des Bildes 8 kontrolliert und angepasst, wie beispielsweise Homogenität, Konnektivität, Kanten/Grenzen und/oder Farbtreue, um schließlich in einem Schritt S6 ein segmentiertes Bild beziehungsweise eine segmentierte Karte ausgeben zu können. In a step S5, properties of the image 8th controlled and adapted, such as homogeneity, connectivity, edges / boundaries and / or color fidelity, in order finally to be able to output a segmented image or a segmented map in a step S6.

Die 4 und 5 zeigen ein Ablaufdiagramm, welches das Verfahren ausführlich beschreibt. Das Verfahren wird in einem Schritt S7 gestartet. In einem Schritt S8 wird eine Konfiguration eingelesen. In einem Schritt S9 werden Ressourcen allokiert und initialisiert, was beispielsweise bedeutet, dass Speicher für Variablen und/oder Konstanten reserviert wird und die Variablen und/oder Konstanten initialisiert werden, also mit einem ersten Wert versehen werden. In einem Schritt S10 wird das Bild 8 in dem YUV-Farbraum bereitgestellt. In einem Schritt S11 wird eine Region von Interesse 15 in dem Bild 8 bestimmt und des werden alle Teilbereiche 9 innerhalb einer Region von Interesse 15 des Bildes 8 bereitgestellt und im Folgenden verarbeitet. Das Unterteilen des Bildes 8 erfolgt beispielsweise analog zu dem Ausführungsbeispiel von 2. Beispielsweise haben die Teilbereiche 9 eine Größe von 8 × 8 Bildpunkten 10. The 4 and 5 show a flowchart which describes the method in detail. The method is started in a step S7. In a step S8, a configuration is read. In a step S9, resources are allocated and initialized, which means, for example, that memory is reserved for variables and / or constants and the variables and / or constants are initialized, that is, provided with a first value. In a step S10, the image becomes 8th provided in the YUV color space. In a step S11, a region becomes of interest 15 in the picture 8th determined and of all subareas 9 within a region of interest 15 of the picture 8th provided and processed below. Dividing the picture 8th takes place, for example, analogous to the embodiment of 2 , For example, the sections have 9 a size of 8 × 8 pixels 10 ,

In einem Schritt S12 werden die Teilbereiche 9 hinsichtlich ihrer Variation der Intensität H_N, V_N untersucht. In einem Schritt S13 werden die Teilbereiche 9 der ersten Homogenitätsgruppe oder der zweiten Homogenitätsgruppe zugeordnet. Die Zuordnung geschieht anhand der Variation der Intensität H_N, V_N. Die erste Homogenitätsgruppe beinhaltet die Teilbereiche 9, welche Bildpunkte 10 mit einheitlicheren Intensitäten aufweisen, verglichen mit den Teilbereichen 9 der zweiten Homogenitätsgruppe. Somit beinhaltet die erste Homogenitätsgruppe einheitlichere Teilbereiche, während die zweite Homogenitätsgruppe im Vergleich zu ersten Homogenitätsgruppe uneinheitlichere Teilbereiche 9 beinhaltet. In einem Schritt S14 wird für jeden der Teilbereiche 9, welcher der ersten Homogenitätsgruppe zugeordnet ist, eine Beschreibung des jeweiligen Teilbereichs 9 mittels des Intensitätswerts 12 vorgenommen. Der Intensitätswert 12 kann beispielsweise der mittlere Bildpunkt 10 des Teilbereichs 9 sein, welcher im Weiteren den Wert des Teilbereichs 9 repräsentiert. Jeder der Teilbereiche 9 wird also nun durch den Intensitätswert 12 repräsentiert. In dem Schritt 14 wird ein Histogramm erstellt, welches die Intensitätswerte 12 von den Teilbereichen 9 aus der ersten Homogenitätsgruppe enthält. In a step S12, the partial areas 9 in terms of their variation in intensity H_N, V_N examined. In a step S13, the partial areas 9 assigned to the first homogeneity group or the second homogeneity group. The assignment takes place on the basis of the variation of the intensity H_N, V_N. The first homogeneity group contains the subareas 9 , which pixels 10 with more uniform intensities compared to the subregions 9 the second homogeneity group. Thus, the first homogeneity group includes more uniform portions, while the second homogeneity group contains more fragmented portions than the first homogeneity group 9 includes. In a step S14, for each of the partial areas 9 , which is assigned to the first homogeneity group, a description of the respective subarea 9 by means of the intensity value 12 performed. The intensity value 12 For example, the middle pixel 10 of the subarea 9 which, in addition, the value of the subarea 9 represents. Each of the sections 9 So now is the intensity value 12 represents. In the step 14 A histogram is created showing the intensity values 12 from the subareas 9 from the first homogeneity group.

In dem Schritt 11 wird weiterhin überprüft, ob alle Teilbereiche 9 prozessiert worden sind und somit die Schritte S12 bis S14 durchlaufen haben. Ist das der Fall, folgt ein Schritt S15, welcher eine Zuweisung der Teilbereiche 9 anhand des jeweiligen Intensitätswerts 12 zu drei Helligkeitskategorien vornimmt. Die Helligkeitskategorien sind gemäß dem Ausführungsbeispiel niedrige Helligkeitskategorie und mittlere Helligkeitskategorie und hohe Helligkeitskategorie. Anhand der Helligkeitskategorien werden die Teilbereiche 9 drei Klassen zugeordnet, welche Bereiche in der Umgebung des Kraftfahrzeugs sind. Die Klassen sind Himmel, Straße und Schatten. Es gibt also von nun an eine Klasse Himmel SK, eine Klasse Straße RO, eine Klasse Schatten SW. Weiterhin gibt es eine Klasse uneinheitlich NU, welche in dem Schritt S13 bestimmt wird. Die Klasse uneinheitlich NU sind alle Teilbereiche 9, welche der zweiten Homogenitätsgruppe zugeordnet worden sind. Also insgesamt gibt es nun vier Klassen SK, RO, SW, NU. Drei Klassen SK, RO, SW kommen aus der ersten Homogenitätsgruppe und sind die Klasse Himmel SK, die Klasse Straße RO und die Klasse Schatten SW. Weiterhin beschreibt die Klasse uneinheitlich NU die Teilbereiche 9, welche in der zweiten Homogenitätsgruppe vorhanden sind. In the step 11 will continue to check if all subareas 9 have been processed and thus have passed through the steps S12 to S14. If so, a step S15 follows, which assigns the subregions 9 based on the respective intensity value 12 to three brightness categories. The brightness categories are low brightness category and middle brightness category and high brightness category according to the embodiment. Based on the brightness categories, the subregions become 9 associated with three classes, which are areas in the vicinity of the motor vehicle. The classes are sky, road and shadow. So, from now on, there is a class sky SK, a class street RO, a class shadow SW. Furthermore, there is a class of non-uniform NU which is determined in the step S13. The class inconsistent NU are all subareas 9 which have been assigned to the second homogeneity group. So altogether there are now four classes SK, RO, SW, NU. Three classes SK, RO, SW come from the first homogeneity group and are the class sky SK, the class RO RO and the class shade SW. Furthermore, the class inconsistent NU describes the subareas 9 which are present in the second homogeneity group.

In einem Schritt S16 werden das Spaltenhistogramm 13 und das Zeilenhistogramm 14 bereitgestellt. Für das Spaltenhistogramm 13 und das Zeilenhistogramm 14 werden jeweils Histogramme für die vier Klassen SK, RO, SW, NU aus dem Schritt S15 erzeugt, sodass gemäß dem Ausführungsbeispiel das Spaltenhistogramm 13 die Klasse Straße RO, die Klasse Schatten SW, die Klasse Himmel SK und die Klasse uneinheitlich NU umfasst. Das Zeilenhistogramm 14 umfasst ebenfalls die Klasse Straße RO, die Klasse Schatten SW, die Klasse Himmel SK und die Klasse uneinheitlich NU. Das Spaltenhistogramm 13 wird für jede der Klassen bezüglich der Spalten der Teilbereiche 9 erzeugt. Die Teilbereiche 9 liegen also – wie in 2 gezeigt – in Form einer Matrix vor mit Zeilen und Spalten. Analog dazu wird bei dem Zeilenhistogramm 14 eine Häufigkeit der jeweiligen Klasse über die Zeilen ermittelt. Anhand des Spaltenhistogramms 13 und/oder des Zeilenhistogramms 14 können die Szene beziehungsweise das Bild 8 beschrieben werden. Ein Schritt S17 zeigt an, dass das Ablaufdiagramm von 4 mit einem weiteren Ablaufdiagramm von 5 fortgesetzt wird. In a step S16, the column histogram becomes 13 and the line histogram 14 provided. For the column histogram 13 and the line histogram 14 Histograms for the four classes SK, RO, SW, NU are respectively generated from step S15, so that according to the Embodiment the column histogram 13 the class road RO, the class shadow SW, the class sky SK and the class uneven NU covers. The line histogram 14 also includes the class Road RO, the class shadow SW, the class sky SK and the class inconsistent NU. The column histogram 13 is for each of the classes regarding the columns of the subareas 9 generated. The subareas 9 are so - as in 2 shown - in the form of a matrix in front of rows and columns. Similarly, in the line histogram 14 a frequency of the respective class over the lines determined. Based on the column histogram 13 and / or the line histogram 14 can the scene or the picture 8th to be discribed. A step S17 indicates that the flowchart of FIG 4 with another flowchart of 5 will continue.

5 beginnt also mit dem Schritt S17, um an 4 anzuknüpfen. In einem Schritt S18 wird anhand des Spaltenhistogramms 13 und/oder des Zeilenhistogramms 14 eine Position und/oder eine Begrenzung von zumindest einer Straße in dem Bild 8 bestimmt. Dies geschieht anhand des Spaltenhistogramms 13 für die Klasse Straße RO und/oder des Zeilenhistogramms 14 für die Klasse Straße RO. So kann beispielsweise das Spaltenhistogramm 13 genutzt werden, um einen Fluchtpunkt der Straße 16 in dem Bild 8 zu bestimmen. Der Fluchtpunkt der Straße 16 ist beispielsweise die Spalte der Matrix der Teilbereiche, in welcher in dem korrespondierenden Bin beziehungsweise der korrespondierenden Spalte des Spaltenhistogramms die Klasse Straße RO am häufigsten vorkommt. Auch kann die Begrenzung der Straße in dem Bild 8 dadurch gefunden werden, dass das Zeilenhistogramm 14 von unten nach oben durchlaufen wird und die Spalten beziehungsweise die Teilbereiche in horizontaler Richtung, welche der Klasse Straße RO zugeordnet werden beziehungsweise der Straße des Bildes 8 zugeordnet werden, weniger werden. Somit verjüngt sich die Straße in dem Bild 8 von unten nach oben. Die Straße wird also schmäler von unten nach oben bezüglich der Bildebene. 5 So starts with step S17 to 4 to tie. In a step S18, based on the column histogram 13 and / or the line histogram 14 a position and / or a boundary of at least one road in the image 8th certainly. This is done using the column histogram 13 for class RO and / or line histogram 14 for the class street RO. For example, the column histogram 13 used to be a vanishing point of the road 16 in the picture 8th to determine. The vanishing point of the road 16 is, for example, the column of the matrix of the partial regions in which the class RO is the most frequently occurring in the corresponding bin or the corresponding column of the column histogram. Also, the limitation of the road in the picture 8th be found by the fact that the line histogram 14 is passed from bottom to top and the columns or the sub-areas in the horizontal direction, which are assigned to the class street RO or the street of the image 8th be assigned, become less. Thus, the road rejuvenates in the picture 8th from the bottom up. The road is thus narrower from bottom to top with respect to the image plane.

In einem Schritt S19 wird die Chrominanz beziehungsweise ein Histogramm des U-Kanals und/oder des V-Kanals genutzt. Es wird also anhand der Farbinformation ein Teil der Teilbereiche, welche der Klasse Straße RO zugewiesen sind, abhängig von der Farbinformation der Klasse genaue Straße zugeordnet. Hierbei wird auch wieder ein jeweiliges Maximum des Histogramms des U-Kanals und/oder des V-Kanals genutzt, um die Straße in dem Bild von anderen Objekten in dem Bild 8 zu unterscheiden. In einem Schritt S20 können nun die Teilbereiche der Klasse uneinheitlicher Teilbereich oder der Klasse Himmel SK oder der Klasse Straße RO oder der Klasse Schatten SW oder der Klasse Gras oder der Klasse anderes zugeordnet werden. In einem Schritt S21 können die Teilbereiche 9 der Klasse uneinheitlich NU beziehungsweise uneinheitlicher Teilbereich oder der Klasse Himmel SK oder der Klasse genaue Straße oder der Klasse Schatten SW oder der Klasse Gras oder der Klasse anderes zugeordnet werden. In einem Schritt S22 wird gemäß dem Ausführungsbeispiel eine Dilatation durchgeführt, um die Qualität der Segmentierung zu verbessern. In einem Schritt S23 endet das Verfahren. In a step S19, the chrominance or a histogram of the U-channel and / or the V-channel is used. Thus, based on the color information, a part of the partial areas assigned to the RO RO class is assigned to the exact street depending on the color information of the class. Here again, a respective maximum of the histogram of the U-channel and / or the V-channel is used to represent the road in the image of other objects in the image 8th to distinguish. In a step S20, the subareas of the non-uniform subarray class or of the class sky SK or the class RO RO or the class shadow SW or the class grass or the class other can now be assigned. In a step S21, the subareas 9 the class inconsistent NU or non-uniform sub-area or the class sky SK or the class exact road or the class shade SW or the class grass or the class other. In a step S22, according to the embodiment, dilation is performed to improve the quality of the segmentation. In a step S23, the method ends.

In 6 wird der Schritt S1 gemäß 3 näher erläutert. Insbesondere wird gezeigt, wie die horizontale Variation der Intensität H_N bestimmt wird. Die horizontale Variation beschreibt die Summe der absoluten Differenz von dem Teilbereich 9 zu seinem Nachbarteilbereich B^L. Dies kann folgendermaßen mathematisch ausgedrückt werden:

In 6 Step S1 becomes 3 explained in more detail. In particular, it is shown how the horizontal variation of the intensity H_N is determined. The horizontal variation describes the sum of the absolute difference of the subarea 9 to its neighbor area B ^L. This can be expressed mathematically as follows:

Q_step ist ein Skalar und kann verwendet werden, um H_N zu normalisieren. In dem Fall von einem 8 × 8-Bildpunkte-Teilbereich 9 ist Q_step somit gleich 64. 6 zeigt nun eine Referenzspalte B L / i,A eines linken Nachbarteilbereichs B^L eines Teilbereichs B. Die Referenzspalte B L / i,A wird von links nach rechts über die Spalten des Teilbereichs B spaltenweise hinweg geschoben, wobei jedes Mal eine Summe der absoluten Differenzen für jede Zeile gebildet wird. Somit wird von dem obersten Element der Referenzspalte B L / i,A eine Differenz mit jedem Element in der obersten Zeile des Teilbereichs B gebildet, und alle Differenzen werden aufsummiert. Dies kann formelmäßig wie folgt dargestellt werden:

wobei i der Zeilenindex ist und j der Spaltenindex des jeweiligen Teilbereichs B ist. A ist eine Konstante. Q _step is a scalar and can be used to normalize H_N. In the case of an 8x8 pixel subarea 9 Q _{step is} thus equal to 64. 6 now shows a reference column

BL / i, A

a left neighbor portion B ^{L of} a portion B. The reference column

BL / i, A

is slotted from left to right across the columns of subarray B, each time forming a sum of the absolute differences for each row. Thus, from the topmost element of the reference column

BL / i, A

a difference is formed with each element in the top row of subarea B, and all differences are summed up. This can be represented formulaically as follows:

where i is the row index and j is the column index of the respective portion B. A is a constant.

Die Summe aller absoluten Differenzen für jede Zeile kann nun zur Summe von allen Differenzen, also der horizontalen Variation der Intensität H_N, zusammengefasst werden. Dies kann wie folgt berechnet werden:

The sum of all absolute differences for each row can now be summarized to the sum of all differences, ie the horizontal variation of the intensity H_N. This can be calculated as follows:

A ist die Konstante beziehungsweise ein fester Spaltenwert, weil die Referenzspalte B L / i,A sich in diesem Fall nicht verändert. A is the constant or a fixed column value because the reference column BL / i, A does not change in this case.

Des Weiteren wird der Schritt S1 gemäß 3 in 7 weiter erläutert. Insbesondere zeigt 7, wie die vertikale Variation der Intensität V_N bestimmt wird. Dies geschieht analog zu der in 6 gezeigten horizontalen Variation der Intensität H_N. Der Teilbereich B wird also hinsichtlich seiner Variation der Intensität V_N untersucht, indem aus einem unmittelbar darüber angeordneten Teilbereich B^T eine Referenzzeile B T / A,j genutzt wird. Diese Referenzzeile B T / A,j wird also so weiterverarbeitet, dass mit jedem der Elemente der Referenzreihe B T / A,j mit allen Elementen des Teilbereichs B und dem gleichen Spaltenindex jeweils eine Differenz gebildet wird. Dies lässt sich formelmäßig wie folgt beschreiben:

Furthermore, the step S1 according to 3 in 7 further explained. In particular shows 7 how the vertical variation of intensity V_ N is determined. This happens analogously to the in 6 shown horizontal variation of the intensity H_N. Subarea B is thus examined with regard to its variation of intensity V_N by a reference line from a subarea B ^T arranged directly above it

BT / A, j

is being used. This reference line

BT / A, j

is thus processed so that with each of the elements of the reference series

BT / A, j

a difference is formed with all elements of the subarea B and the same column index. This can be described in the formula as follows:

Mit der Summe der absoluten Differenzen für jede Spalte kann dies folgendermaßen ausgedrückt werden:

The sum of the absolute differences for each column can be expressed as follows:

Insgesamt ergibt sich somit mit der Summe von allen Differenzen zu:

All in all, the sum of all differences becomes:

Somit liegen gemäß dem aus 6 und 7 gezeigten Verfahren die vertikale Variation der Intensität V_N und die horizontale Variation der Intensität H_N vor. Thus, according to the 6 and 7 The method shown, the vertical variation of the intensity V_N and the horizontal variation of the intensity H_N before.

8 zeigt ein weiteres Ablaufdiagramm, welches zur weiteren Verdeutlichtung des Schritts S1 gemäß 3 dient. Das in 8 gezeigte Verfahren startet mit einem Schritt S24 startet. Ein an den Schritt S24 anschließender Schritt ist identisch mit dem Schritt S11 gemäß 4 und beschreibt diesen und die nachfolgenden Schritte S13 und S14 genauer. In dem Schritt S11 werden alle Teilbereiche 9, welche sich in der Region von Interesse 15 befinden, prozessiert, was in den nachfolgenden Schritten abläuft. 8th shows a further flowchart, which for further clarification of the step S1 according to 3 serves. This in 8th The method shown starts with a step S24 starts. A step subsequent to the step S24 is identical to the step S11 in FIG 4 and describes this and subsequent steps S13 and S14 in more detail. In step S11, all subareas become 9 which are of interest in the region 15 are processed, what happens in the following steps.

In einem Schritt S25 wird die horizontale Variation der H_N gemäß 6 bestimmt. In einem darauffolgenden Schritt S26 wird die vertikale Variation der Intensität V_N gemäß 7 bestimmt. Falls die horizontale Varianz der Intensität H_N kleiner als ein vorbestimmter Schwellenwert TH ist und zugleich die vertikale Varianz der Intensität V_N ebenfalls kleiner ist als der vorbestimmte Schwellenwert TH, wird das Verfahren in einem Schritt S28 fortgesetzt. Ist dies in dem Schritt S27 nicht der Fall, wird das Verfahren in einem Schritt S29 fortgeführt. In dem Schritt S28 werden die Teilbereiche 9 der ersten Homogenitätsgruppe zugeordnet, während in dem Schritt S29 die Teilbereiche 9 der zweiten Homogenitätsgruppe zugeordnet werden. In einem Schritt S30 werden die Teilbereiche 9, welche zu der ersten Homogenitätsgruppe gehören, jeweils mit dem korrespondierenden Intensitätswert 12 beschrieben beziehungsweise dementsprechend repräsentiert. In einem Schritt S31 endet dieses Ablaufdiagramm, falls alle der Teilbereiche 9 innerhalb der Region von Interesse 15 bearbeitet worden sind. In a step S25, the horizontal variation of the H_N is determined according to 6 certainly. In a subsequent step S26, the vertical variation of the intensity V_N is determined according to 7 certainly. If the horizontal variance of the intensity H_N is smaller than a predetermined threshold TH and at the same time the vertical variance of the intensity V_N is also smaller than the predetermined threshold TH, the method is continued in a step S28. If this is not the case in step S27, the method is continued in step S29. In step S28, the subareas 9 assigned to the first homogeneity group, while in step S29 the subregions 9 be assigned to the second homogeneity group. In a step S30, the partial areas 9 which belong to the first homogeneity group, each with the corresponding intensity value 12 described or represented accordingly. In a step S31, this flowchart ends if all of the partial areas 9 within the region of interest 15 have been processed.

9 verdeutlicht den Schritt S2 des Verfahrens gemäß 3. 9 zeigt ein weiteres Ablaufdiagramm, welches mit einem Schritt S32 startet und anschließend eine detaillierte Beschreibung ausgehend von dem Schritt S14 gibt. Hier wird also ein Histogramm auf Basis der Intensitätswerte 12 von dem Y-Kanal erstellt. Dieses Histogramm wird so ausgewertet, dass fünf Spitzen des Histogramms beziehungsweise die fünf höchsten Bins ausgewählt werden und diese dann in aufsteigender Reihenfolge in einem Schritt S34 geordnet werden. Hieraus wird in einem Schritt S35 anhand von Diskontinuitäten der ausgewählten Bins ein vorbestimmter Mindestgrenzwert min und ein vorbestimmter Maximalgrenzwert max ermittelt. Dies kann wie folgt geschehen: Sind die ausgewählten Bins beispielsweise 9, 10, 11, 12, 17, so ist die jeweilige Differenz: 10 – 9 = 1 11 – 10 = 1 12 – 11 = 1 17 – 12 = 5 (das erlaubte Maximum beträgt in diesem Fall gleich 2). 9 illustrates the step S2 of the method according to 3 , 9 FIG. 12 shows another flowchart starting with a step S32 and then giving a detailed description from the step S14. So here's a histogram based on the intensity values 12 created by the Y-channel. This histogram is evaluated so that five peaks of the histogram and the five highest bins, respectively, are selected and then ordered in ascending order in a step S34. From this, a predetermined minimum limit value min and a predetermined maximum limit value max are determined in a step S35 on the basis of discontinuities of the selected bins. This can be done as follows: For example, if the selected bins are 9, 10, 11, 12, 17, the difference is: 10 - 9 = 1 11 - 10 = 1 12 - 11 = 1 17 - 12 = 5 (the maximum allowed in this case is 2).

Somit ergibt sich für den Mindestgrenzwert der Wert 9 und für den Maximalgrenzwert max den Wert 12. In einem Schritt S36 werden alle die Teilbereiche 9, welche sich in der Region von Interesse 15 des Bildes 8 befinden, prozessiert. Sind alle prozessiert, folgt ein Schritt S37, welcher das Ende dieses Ablaufdiagramms kennzeichnet. Sind noch nicht alle Teilbereiche 9 prozessiert, so folgt in einem Schritt S38 anschließend an den Schritt S36 ein Vergleich des Intensitätswerts 12 des Teilbereichs 9 mit dem vorbestimmten Mindestgrenzwert min, wobei für den Fall, dass der Intensitätswert 12 kleiner als der Mindestgrenzwert min ist, ein Schritt S39 folgt, in welchem der Teilbereich 9 der dunklen Helligkeitskategorie zugewiesen wird und somit der Klasse Schatten zugeordnet werden kann. Thus, the value for the minimum limit value is 9 and for the maximum limit value, the value is 12. In a step S36, all the sub-ranges are obtained 9 which are of interest in the region 15 of the picture 8th are located, processed. When all are processed, a step S37 follows which marks the end of this flowchart. Are not yet all sections 9 processed, then in step S38 subsequent to step S36, a comparison of the intensity value follows 12 of the subarea 9 with the predetermined minimum limit min, wherein in the event that the intensity value 12 is smaller than the minimum threshold min, a step S39 follows, in which the subarea 9 is assigned to the dark brightness category and thus can be assigned to the shadow class.

In einem auf den Schritt S38 folgenden Schritt S40 wird überprüft, ob der Intensitätswert 12 des jeweiligen Teilbereichs 9 größer ist als der vorbestimmte Maximalgrenzwert max. Ist das der Fall, wird der Teilbereich 9 der hellsten Helligkeitskategorie zugewiesen und kann somit der Klasse Himmel zugeordnet werden. Dies erfolgt in einem Schritt S41. Ist der Intensitätswert 12 des jeweiligen Teilbereichs 9 jedoch kleiner als der vorbestimmte Maximalgrenzwert max, so folgt ein Schritt S42. In dem Schritt S42 wird überprüft, ob der Intensitätswert 12 des jeweiligen Teilbereichs 9 kleiner oder gleich als der vorbestimmte Maximalgrenzwert max ist und ob der der Intensitätswert 12 des jeweiligen Teilbereichs 9 größer oder gleich als der Minimalengrenzwert min ist. Ist das der Fall, wird der Teilbereich 9 in einem Schritt S43 der mittleren Helligkeitskategorie zugewiesen und kann somit der Klasse Straße RO zugeordnet werden. Falls der Teilbereich 9 in dem Schritt S42 die Anforderungen nicht erfüllt, so wird dieser in einem Schritt S44 weiter verarbeitet und schließlich an den Schritt S36 zurückgegeben, indem der darauf folgende Teilbereich 9 prozessiert wird. In a step S40 following the step S38, it is checked whether the intensity value 12 of the respective subarea 9 is greater than the predetermined maximum limit max. If that is the case, the subarea becomes 9 assigned to the brightest brightness category and can therefore be the class sky be assigned. This is done in a step S41. Is the intensity value 12 of the respective subarea 9 however, smaller than the predetermined maximum limit value max, a step S42 follows. In step S42, it is checked if the intensity value 12 of the respective subarea 9 is less than or equal to the predetermined maximum limit max and whether the intensity value 12 of the respective subarea 9 is greater than or equal to the minimum threshold min. If that is the case, the subarea becomes 9 is assigned to the middle brightness category in a step S43 and can thus be assigned to the RO RO class. If the subarea 9 in the step S42 does not satisfy the requirements, it is further processed in a step S44 and finally returned to the step S36 by the subsequent subarea 9 is processed.

In 10 ist der Schritt S4 des Verfahrens gemäß 3 näher erläutert. 10 zeigt das Bild 8 mit der Region von Interesse 15, welche vorliegend zentral in dem Bild 8 angeordnet ist. In der Region von Interesse 15 ist das Bild 8 in die Teilbereiche 9 unterteilt. Jeder der Teilbereiche 9 ist anhand seines Intensitätswerts 12 einer Klasse RO, SW, SK, NU zugeordnet worden. Es werden somit das Spaltenhistogramm 13 und das Zeilenhistogramm 14 anhand der Klassen RO, SW, SK, NU der Teilbereiche 9 innerhalb der Region von Interesse 15 bestimmt. Das Spaltenhistogramm 13 zeigt also gemäß 10 beispielhaft an, wie viele der Teilbereiche 9 in der jeweiligen Spalte der Teilbereiche 9 der jeweiligen Klasse RO, SW, SK, NU zugeordnet wurden. Analog gilt das für das Zeilenhistogramm 14, welches die Häufigkeit der jeweiligen Klasse RO, SW, SK, NU für die jeweilige Zeile der Teilbereiche 9 beziehungsweise der Matrix der Teilbereiche 9 angibt. Die Werte und auch die Anzahl der Spalten und Zeilen des Spaltenhistogramms 13 und des Zeilenhistogramms 14 sind beispielhaft gewählt und dienen nur zur Veranschaulichung des Ausführungsbeispiels. In 10 is the step S4 of the method according to 3 explained in more detail. 10 shows the picture 8th with the region of interest 15 , which present centrally in the picture 8th is arranged. In the region of interest 15 is the picture 8th into the subareas 9 divided. Each of the sections 9 is by its intensity value 12 assigned to a class RO, SW, SK, NU. It will become the column histogram 13 and the line histogram 14 based on the classes RO, SW, SK, NU of the subareas 9 within the region of interest 15 certainly. The column histogram 13 shows accordingly 10 by way of example, how many of the subsections 9 in the respective column of the subareas 9 assigned to the respective class RO, SW, SK, NU. The same applies to the line histogram 14 , which is the frequency of the respective class RO, SW, SK, NU for the respective line of the subareas 9 or the matrix of the subareas 9 indicates. The values and also the number of columns and rows of the column histogram 13 and the line histogram 14 are chosen by way of example and serve only to illustrate the embodiment.

In 11 ist der Schritt S4 des Verfahrens gemäß 3 weiter erläutert. 11 zeigt ebenfalls das Bild 8 mit der Region von Interesse 15 und dem bestimmten Spaltenhistogramm 13 und dem bestimmten Zeilenhistogramm 14. Anhand der 11 wird nun beispielhaft gezeigt, wie die Klasse Kraftfahrzeugschatten SW_EGO zugeordnet wird. Hierzu wird das Zeilenhistogramm 14 von unten nach oben für die Klasse Schatten SW durchlaufen. Es wird beispielsweise davon ausgegangen, dass der Kraftfahrzeugschatten SW_EGO in der ersten Zeile von unten des Zeilenhistogramms 14 bereits vorhanden sein muss, und somit wird eine horizontale Begrenzung 17 der Klasse Kraftfahrzeugschatten SW_EGO dort festgelegt, wo die Klasse Schatten SW beim Durchschreiten des Zeilenhistogramms 14 von unten nach oben zum ersten Mal abrupt abfällt beziehungsweise dann insbesondere 0 ist. Weiterhin wird anhand des Zeilenhistogramms 14 für die Klasse Schatten SW festgestellt, wo sich das Maximum der Klasse Schatten SW befindet. Von dem Maximum der Klasse Schatten SW in dem Spaltenhistogramm 13 wird das Spaltenhistogramm 13 nach links durchlaufen, um einen abrupten Abfall der Häufigkeit der Klasse Schatten SW eine linke Begrenzungslinie 18 des Kraftfahrzeugschattens SW_EGO zu ermitteln. Analog zu der linken Begrenzung beziehungsweise der linken vertikalen Begrenzung der Klasse Kraftfahrzeugschatten SW_EGO wird eine rechte vertikale Begrenzung 19 des Kraftfahrzeugschattens SW_EGO ermittelt. Für die rechte vertikale Begrenzung 19 der Klasse Kraftfahrzeugschatten SW_EGO wird also das Spaltenhistogramm 13 für die Klasse Schatten SW von dem Maximum der Klasse Schatten SW ab nach rechts durchlaufen, bis ein abrupter Abfall der Häufigkeit der Klasse Schatten SW detektiert werden kann. Somit sind die Position und die Begrenzungen der Klasse Kraftfahrzeugschatten SW_EGO in alle Richtungen des Bildes 8 festgelegt. Nach links durch die linke vertikale Begrenzung 18, nach rechts durch die rechte vertikale Begrenzung 19, nach oben durch die horizontale Begrenzung 17 und nach unten durch das Ende beziehungsweise das untere Ende in Bildrichtung gesehen von der Region von Interesse 15. In 11 is the step S4 of the method according to 3 further explained. 11 also shows the picture 8th with the region of interest 15 and the specific column histogram 13 and the specific line histogram 14 , Based on 11 it will now be shown by way of example how the class motor vehicle shadow SW_EGO is assigned. To do this, the line histogram becomes 14 go through from bottom to top for the class shadow SW. It is assumed, for example, that the motor vehicle shadow SW_EGO in the first line from the bottom of the line histogram 14 already exists, and thus becomes a horizontal boundary 17 the class auto-vehicle shadow SW_EGO set where the class shadow SW when crossing the line histogram 14 from the bottom to the top abruptly for the first time, or in particular 0 is. Furthermore, based on the line histogram 14 for the class shadow SW determined where the maximum of the class shadow SW is located. From the maximum of the class Shadow SW in the column histogram 13 becomes the column histogram 13 Going through to the left to make an abrupt drop in the frequency of the class shadow SW a left boundary 18 of the motor vehicle shadow SW_EGO. Analogous to the left boundary or the left vertical boundary of the class motor vehicle shadow SW_EGO becomes a right vertical boundary 19 of the vehicle shadow SW_EGO determined. For the right vertical boundary 19 the class vehicle shadow SW_EGO is thus the column histogram 13 for the class shadows SW from the maximum of the class shadows SW ab to go right until an abrupt drop in the frequency of the class shade SW can be detected. Thus, the position and the boundaries of the class vehicle shadow SW_EGO in all directions of the image 8th established. To the left through the left vertical boundary 18 , right through the right vertical boundary 19 , upwards through the horizontal boundary 17 and down through the end and the bottom, respectively, in the image direction of the region of interest 15 ,

Zur weiteren Verdeutlichung des Schritts S3 gemäß 3, zeigt 12 ebenfalls das Bild 8 mit der Region von Interesse 15. Anhand von 12 lässt sich von einem Fluchtpunkt 20 einer Straße in dem Bild 8 und einer linken vertikalen Straßenbegrenzung 21 und einer rechten vertikalen Straßenbegrenzung 22 der Straße in dem Bild 8 beschreiben. Der Fluchtpunkt 20 wird in vertikaler Richtung anhand des Zeilenhistogramms 14 bestimmt. Eine Begrenzungslinie 23, welche eine Begrenzung des Fluchtpunkts 20 in vertikaler Richtung darstellt, wird dort festgelegt, wo die Klasse Straße RO in dem Zeilenhistogramm 14 beim Durchlaufen von unten nach oben des Zeilenhistogramms 14 abrupt abfällt. Ein abruptes Abfallen kann beispielsweise ein Abfallen größer 70 Prozent oder größer 80 Prozent oder insbesondere größer 90 Prozent der Häufigkeit der jeweiligen Klasse RO, SW, SK, NU sein. Eine Begrenzungslinie 24, welche eine Begrenzung des Fluchtpunkts 20 in horizontaler Richtung darstellt, der Straße kann anhand des Spaltenhistogramms 13 ermittelt werden. For further clarification of step S3 according to 3 , shows 12 also the picture 8th with the region of interest 15 , Based on 12 lets go of a vanishing point 20 a street in the picture 8th and a left vertical road boundary 21 and a right vertical road boundary 22 the street in the picture 8th describe. The vanishing point 20 is in the vertical direction using the line histogram 14 certainly. A boundary line 23 which is a boundary of the vanishing point 20 represents in the vertical direction, it is determined where the class street RO in the line histogram 14 when going from bottom to top of the line histogram 14 abruptly drops. An abrupt drop may, for example, be a drop greater than 70 percent or greater than 80 percent, or in particular greater than 90 percent of the frequency of the respective class RO, SW, SK, NU. A boundary line 24 which is a boundary of the vanishing point 20 in the horizontal direction, the road can be determined by the column histogram 13 be determined.

Hierzu wird in dem Spaltenhistogramm 13 für die Klasse Straße RO ein Maximum der Häufigkeit der Klasse Straße RO ermittelt. Die linke vertikale Straßenbegrenzung 21 und die rechte vertikale Straßenbegrenzung 22 werden dann ermittelt, indem diese Begrenzungslinien jeweils nach links und rechts ausgehend von dem Maximalwert der Häufigkeit der Klasse Straße RO geführt werden, bis die Hälfte der Häufigkeit des Maximums der Häufigkeit der Klasse Straße RO auf der jeweiligen Seite, also links und rechts, erreicht wird. Die linke vertikale Straßenbegrenzung 21 und die rechte vertikale Straßenbegrenzung 22 liegen also dort, wo in dem Spaltenhistogramm 13 die Hälfte der maximalen Häufigkeit der Klasse Straße RO beim Durchlaufen des Spaltenhistogramms 13 nach links und rechts von dem Maximum ausgehend der Klasse Straße RO bestimmt wurden. This is done in the column histogram 13 for the class road RO a maximum of the frequency of the class road RO is determined. The left vertical road boundary 21 and the right vertical road boundary 22 are then determined by passing these boundary lines left and right, respectively, from the maximum value of the frequency of the class RO until half the frequency of the maximum of the frequency of the class RO is reached on the respective side, that is, left and right , The left vertical road boundary 21 and the right vertical road boundary 22 lie where, where in the column histogram 13 half the maximum frequency of the RO RO class when iterating through the column histogram 13 were determined to the left and right of the maximum starting from the class road RO.

Zur Verdeutlichung des Schritts S4 des Verfahrens gemäß 3 zeigt 13 das Bild 8 mit der Region von Interesse 15 und dem Spaltenhistogramm 13 und dem Zeilenhistogramm 14. Eine genaue Grenze der Straße wird erhalten, indem die Klasse Straße RO in vertikale und in horizontale Richtung erweitert wird. Es kann also beispielsweise von oben in der Region von Interesse 15 begonnen werden, und die Straße beziehungsweise die genaue Grenze der Straße wird immer so weit erweitert, bis links und rechts von der Straße ein Teilbereich 9 ermittelt werden kann, welcher der Klasse uneinheitlich NU zugeordnet ist. Somit findet eine stufenweise Erweiterung 25 der Straße in dem Bild 8 statt. Es wird also die stufenweise Erweiterung 25 von oben nach unten innerhalb der Region von Interesse 15 durchgeführt, wobei das linke und rechte Ende in der horizontalen Richtung der Klasse Straße RO dadurch festgelegt wird, dass die stufenweise Erweiterung 25 auf einen Teilbereich 9 trifft, welcher der Klasse uneinheitlich NU beziehungsweise nicht einheitlich zugeordnet ist. Somit kann eine genaue Begrenzung der Straße ermittelt werden. To clarify the step S4 of the method according to 3 shows 13 the picture 8th with the region of interest 15 and the column histogram 13 and the line histogram 14 , An exact boundary of the road is obtained by extending the RO RO class in vertical and horizontal directions. So it may be of interest, for example, from the top of the region 15 be started, and the road or the exact limit of the road is always extended so far, to the left and right of the road a sub-area 9 It can be determined which of the classes is unevenly assigned to NU. Thus, a gradual expansion takes place 25 the street in the picture 8th instead of. So it will be the gradual expansion 25 from top to bottom within the region of interest 15 performed, wherein the left and right end in the horizontal direction of the class road RO is determined by the gradual extension 25 to a subarea 9 which class of the class is unevenly NU or not uniformly assigned. Thus, an accurate boundary of the road can be determined.

Zur Verdeutlichung des Schritts S3 des Verfahrens gemäß 3 zeigt 14 das Bild 8 mit der Region von Interesse 15 und das Spaltenhistogramm 13 und das Zeilenhistogramm 14, wobei das Spaltenhistogramm 13 und das Zeilenhistogramm 14 anhand von dem U-Kanal und/oder dem V-Kanal des YUV-Farbraums bestimmt wurden. Es werden Maxima in dem jeweiligen Zeilenhistogramm 14 und/oder Spaltenhistogramm 13 gesucht und ihre Ausläufer beziehungsweise Abschweifungen in dem Spaltenhistogramm 13 und/oder dem Zeilenhistogramm 14. Gemäß dem Ausführungsbeispiel in 14 werden die Klassen RO, SW, SK, NU also anhand von Spaltenhistogrammen 13 und/oder Zeilenhistogrammen 14 bestimmt, welche auf der Farbinformation und nicht auf der Helligkeitsinformation des Bildes 8 basieren. Hierfür werden die Maxima und deren benachbarte Werte in dem Spaltenhistogramm 13 und dem Zeilenhistogramm 14 genutzt. To illustrate the step S3 of the method according to 3 shows 14 the picture 8th with the region of interest 15 and the column histogram 13 and the line histogram 14 , where the column histogram 13 and the line histogram 14 determined by the U channel and / or the V channel of the YUV color space. There will be maxima in the respective line histogram 14 and / or column histogram 13 searched and their extensions or digressions in the column histogram 13 and / or the line histogram 14 , According to the embodiment in 14 The classes RO, SW, SK, NU are therefore based on column histograms 13 and / or row histograms 14 determines which ones on the color information and not on the brightness information of the image 8th based. For this, the maxima and their neighboring values in the column histogram become 13 and the line histogram 14 used.

Schließlich wird am Ende des Verfahrens, wenn alle Teilbereiche 9 innerhalb der Region von Interesse 15 einer der Klassen RO, SW, SK, NU, SW_EGO zugeordnet sind, ein morphologisches Verfahren, insbesondere eine Dilatation, auf die Klassen RO, SW, SK, NU angewandt. Mit der Dilatation kann das Ergebnis der Segmentierung verbessert werden. Bei der Dilatation werden beispielsweise die Teilbereiche 9, welche in ihrem Umfeld wenige oder keine Teilbereiche mit der gleichen Klasse RO, SW, SK, NU, SW_EGO aufweisen, zu der Klasse RO, SW, SK, NU, SW_EGO hinzugenommen, welche am stärksten in dem Umfeld vertreten ist. Somit können Störungen der Segmentierung beziehungsweise der Klassifizierung reduziert beziehungsweise unterdrückt werden. Finally, at the end of the procedure, if all subsections 9 within the region of interest 15 are assigned to one of the classes RO, SW, SK, NU, SW_EGO, a morphological method, in particular a dilation, applied to the classes RO, SW, SK, NU. Dilation can improve the result of segmentation. During dilatation, for example, the subregions 9 who have in their environment few or no subareas with the same class RO, SW, SK, NU, SW_EGO, added to the class RO, SW, SK, NU, SW_EGO, which is most represented in the environment. Thus, disturbances of the segmentation or the classification can be reduced or suppressed.

Claims

Method of segmenting one with a camera ( 4 ) of a motor vehicle ( 1 ) provided image ( 8th ) an environment ( 7 ) of the motor vehicle ( 1 ) comprising the steps of: a) determining a plurality of partial regions of the image ( 8th b) determining a variation of an intensity (H_N, V_N) within each subregion ( 9 , B) the plurality of subareas, c) assigning the subareas ( 9 , B) of the plurality of partial regions to a first homogeneity group, whose specific variation of the intensity (H_N, V_N) falls below a predetermined threshold value (TH), and of the partial regions ( 9 , B) of the plurality of partial regions to a second homogeneity group, whose specific variation of the intensity (H_N, V_N) exceeds the predetermined threshold value (TH), d) determining a respective intensity value ( 12 ) of the subareas ( 9 , B) having an intensity of at least one pixel ( 10 ) of the subarea ( 9 , B), the first homogeneity group and assigning the subregions ( 9 , B) the first homogeneity group for at least two different brightness categories based on their respective determined intensity value ( 12 ), and e) assigning the subareas ( 9 , B) the first homogeneity group to at least two classes (RO, SW, SK, NU), which areas in the environment ( 7 ) of the motor vehicle ( 1 ) are assigned according to their brightness category.

Method according to claim 1, characterized in that the subareas ( 9 , B) are assigned to the first homogeneity group of a first brightness category, if their particular intensity value ( 12 ) falls below a predetermined limit (min, max), and the subregions ( 9 , B) are assigned to the first homogeneity group of a second brightness category if their specific intensity value ( 12 ) exceeds the predetermined limit (min, max).

Method according to Claim 2, characterized in that the predetermined limit value (min, max) is determined on the basis of a histogram of the respective intensity values ( 12 ) of the subareas ( 9 , B) is determined.

Method according to one of the preceding claims, characterized in that the subregions ( 9 , B) the first homogeneity group of three different brightness categories based on their intensity values ( 12 ), the subareas ( 9 , B) a first of the three brightness categories are assigned to a shadow as the class (RO, SW, SK, NU), the subregions ( 9 , B) a second of the three brightness categories of a road are assigned as the class (RO, SW, SK, NU) and the subregions ( 9 , B) a third of the three brightness categories are assigned to a sky as the class (RO, SW, SK, NU).

Method according to one of the preceding claims, characterized in that the image ( 8th ) is subdivided into a plurality of partial regions such that the partial regions ( 9 , B) are arranged in several columns and in several rows and a column histogram ( 13 ), which describes for each of the columns a histogram for the classes (RO, SW, SK, NU), and a line histogram ( 14 ), which for each of the lines describes a histogram for the classes (RO, SW, SK, NU).

A method according to claim 5, characterized in that based on the column histogram ( 13 ) for the class shadow (SW) and / or the line histogram ( 14 ) for the class shadow (SW) a position of at least one shadow area in the image ( 8th ) is determined.

Method according to claim 5 or 6, characterized in that based on the column histogram ( 13 ) for the class shadow (SW) and / or the line histogram ( 14 ) for the class shadow (SW) subareas ( 9 , B), which are assigned to the class shadow (SW), are selected and assigned to a class of vehicle shadows (SW_EGO).

Method according to one of claims 5 to 7, characterized in that based on the column histogram ( 13 ) for the class RO (RO) and / or the row histogram ( 14 ) for the class of road (RO) a position and / or a boundary of at least one road in the image ( 8th ) is determined.

Method according to one of claims 5 to 8, characterized in that based on the column histogram ( 13 ) for the class sky (SK) and / or the line histogram ( 14 ) for the class sky (SK) a position of a sky in the image ( 8th ) is determined.

Method according to one of the preceding claims, characterized in that the image ( 8th ) is present in several color channels of a color space and the steps a) to e) are performed in each case for the plurality of color channels.

Method according to one of the preceding claims, characterized in that the image is present in a plurality of color channels and the steps a) to e) are each performed for a Y channel and / or a U channel and / or a V channel of a YUV color space becomes.

Method according to one of the preceding claims, characterized in that after step h) a morphological method, in particular a dilatation, is performed.

Method according to one of the preceding claims, characterized in that a region of interest ( 15 ) within the picture ( 8th ) and the image ( 8th ) in the region of interest ( 15 ) into the subareas ( 9 , B) is divided.

Driver assistance system ( 2 ) with a camera system ( 3 ), which at least one camera ( 4 ) and an evaluation unit ( 5 ), wherein the camera system ( 3 ) is designed to carry out a method according to one of the preceding claims.

Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 14.