DE102017123582A1 - Verfahren zum Bestimmen einer Region von Interesse in einem von einer Kamera eines Kraftfahrzeugs aufgenommenen Bild, Steuereinrichtung, Kamerasystem sowie Kraftfahrzeug - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Region von Interesse (11) in einem von einer Kamera (4) eines Kraftfahrzeugs (1) aufgenommenen Bild (9), bei welchem das Bild (9) von der Kamera (4) empfangen wird, anhand von Bildpunkten des Bilds (9) in dem Bild (9) eine Grenze (20) eines Bereichs, welcher eine Umgebung (8) des Kraftfahrzeugs (1) abbildet, erkannt wird und die Region von Interesse (11) anhand der Grenze bestimmt wird, wobei eine Mehrzahl von Referenzpunkten (15), welche eine Referenzgrenze einer vorbestimmten, mittleren Region von Interesse beschreiben, in dem Bild (9) vorgegeben wird, anhand der Bildpunkte eine Mehrzahl von Verschiebungsparametern bestimmt wird, welche jeweils eine Verschiebung der Referenzpunkte (15) zu der Grenze (20) beschreiben, wobei die Verschiebungsparameter iterativ unter Berücksichtigung der zuvor bestimmten Verschiebungsparameter bestimmt werden, anhand der Verschiebungsparameter ein Parametervektor bestimmt wird und die Region von Interesse (11) anhand einer Verschiebung der jeweiligen Referenzpunkte (15) durch den Parametervektor bestimmt wird.

Description

• Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Region von Interesse in einem von einer Kamera eines Kraftfahrzeugs aufgenommenen Bild, bei welchem das Bild von der Kamera empfangen wird, anhand von Bildpunkten des Bilds in dem Bild eine Grenze eines Bereichs, welcher eine Umgebung des Kraftfahrzeugs abbildet, erkannt wird und die Region von Interesse anhand der Grenze bestimmt wird. Des Weiteren betrifft die vorliegende Erfindung eine Steuereinrichtung für ein Kamerasystem. Ferner betrifft die vorliegende Erfindung ein Kamerasystem für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug.
• Das Interesse richtet sich vorliegend auf Kamerasysteme für Kraftfahrzeuge. Derartige Kamerasysteme umfassen zumindest eine Kamera, mittels welcher ein Bild, welches eine Umgebung des Kraftfahrzeugs beschreibt, aufgenommen werden kann. Mittels des Kamerasystems können anhand der aufgenommenen Bilder Objekte in dem Umgebungsbereich des Kraftfahrzeugs erkannt werden. Hierzu können die Bilder mithilfe einer Steuereinrichtung beziehungsweise einer Bilderverarbeitungseinrichtung des Kamerasystems einem entsprechenden Objekterkennungsalgorithmus unterzogen werden. Derartige Kamerasysteme können beispielsweise zur Fußgängererkennung, zur dreidimensionalen Objekterkennung, zur Erkennung von Fahrbahnmarkierungen, zur Erkennung von Parkflächenmarkierungen oder dergleichen genutzt werden.
• Um die Kamerasysteme zuverlässig betreiben zu können, ist es erforderlich, eine sogenannte Region von Interesse (ROI - Region Of Interest) in den Bildern zu bestimmen. Dabei beschreibt die Region von Interesse den Bereich des Bilds, welcher die Umgebung des Kraftfahrzeugs beschreiben. Die Region von Interesse unterscheidet sich von dem Bereich des Bilds, welcher Teile des Kraftfahrzeugs, beispielsweise den Stoßfänger, abbildet. Diese Region von Interesse ist für unterschiedliche Fahrzeugmodelle und für unterschiedliche Kameramodelle unterschiedlich. Gemäß dem Stand der Technik wird die Region von Interesse vor der Inbetriebnahme des Kamerasystems für das spezifische Fahrzeugmodell und die verwendete Kamera manuell vorbestimmt.
• Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie eine Region von Interesse in einem von einer Kamera eines Kraftfahrzeugs aufgenommenen Bilds einfacher und zuverlässiger bestimmt werden kann.
• Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Steuereinrichtung, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
• Gemäß einer Ausführungsform eines Verfahrens zum Bestimmen einer Region von Interesse in einem von einer Kamera eines Kraftfahrzeugs aufgenommenen Bilds wird bevorzugt das Bild von der Kamera empfangen. Darüber hinaus wird bevorzugt anhand von Bildpunkten des Bilds in dem Bild eine Grenze eines Bereichs, welcher insbesondere eine Umgebung des Kraftfahrzeugs abbildet, erkannt. Darüber hinaus wird die Region von Interesse bevorzugt anhand der Grenze bestimmt. Dabei ist es bevorzugt vorgesehen, dass eine Mehrzahl von Referenzpunkten, welche insbesondere eine Referenzgrenze einer vorbestimmten, mittleren Region von Interesse beschreiben, in dem Bild vorgegeben wird. Darüber hinaus wird bevorzugt anhand der Bildpunkte eine Mehrzahl von Verschiebungsparametern bestimmt, welche insbesondere jeweils eine Verschiebung der Referenzpunkte zu der Grenze beschreiben. Dabei ist es bevorzugt vorgesehen, dass die Verschiebungsparameter iterativ unter Berücksichtigung der zu vorbestimmten Verschiebungsparameter bestimmt werden. Des Weiteren wird bevorzugt anhand der Verschiebungsparameter ein Verschiebungsvektor bestimmt. Ferner wird die Region von Interesse insbesondere anhand einer Verschiebung der jeweiligen Referenzpunkte durch den Parametervektor bestimmt.
• Ein erfindungsgemäßes Verfahren dient zum Bestimmen einer Region von Interesse in einem Bild, welches mit einer Kamera eines Kraftfahrzeugs aufgenommen wird. Dabei wird das Bild von der Kamera empfangen. Anhand von Bildpunkten des Bilds wird in dem Bild eine Grenze eines Bereichs, welcher eine Umgebung des Kraftfahrzeugs abbildet, erkannt und die Region von Interesse wird anhand der Grenze bestimmt. Des Weiteren ist es vorgesehen, dass eine Mehrzahl von Referenzpunkten, welche eine Referenzgrenze einer vorbestimmten, mittleren Region von Interesse beschreiben, in dem Bild vorgegeben wird. Außerdem wird anhand der Bildpunkte eine Mehrzahl von Verschiebungsparametern bestimmt, welche jeweils eine Verschiebung der Referenzpunkte zu der Grenze beschreiben, wobei die Verschiebungsparameter iterativ unter Berücksichtigung der zuvor bestimmten Verschiebungsparameter bestimmt werden.
• Anhand der Verschiebungsparameter wird ein Parametervektor bestimmt und die Region von Interesse wird anhand einer Verschiebung der jeweiligen Referenzpunkte durch den Parametervektor bestimmt.
• Mithilfe des Verfahrens soll die Region von Interesse in dem Bild, welches mit einer Kamera des Kraftfahrzeugs beziehungsweise des Kamerasystems aufgenommen wird, bestimmt werden. Die Region von Interesse beschreibt den Bereich in dem Bild, welcher die Umgebung des Kraftfahrzeugs abbildet. Insbesondere unterscheidet sich die Region von Interesse von einem Bereich des Bilds, welcher Teile des Kraftfahrzeugs, beispielsweise einen Stoßfänger oder ein Außenverkleidungsteil, abbildet. Das Verfahren kann beispielsweise mit einer Steuereinrichtung beziehungsweise einem elektronischen Steuergerät des Kamerasystems durchgeführt werden. Mit der Steuereinrichtung wird das Bild empfangen, welches von der Kamera aufgenommen wird. Um die Region von Interesse zu bestimmen, werden die Bildpunkte oder zumindest einige der Bildpunkte des Bilds untersucht. Hierbei wird berücksichtigt, dass sich die Bildpunkte, welche die Region von Interesse beziehungsweise die Umgebung des Kraftfahrzeugs beschreiben, von den Bildpunkten, welche Teile des Kraftfahrzeugs beschreiben, bezüglich der Farbe, der Textur und/oder der Helligkeit unterscheiden. Durch die Untersuchung der Bildpunkte kann dann die Grenze des Bereichs bestimmt werden, welcher die Umgebung des Kraftfahrzeugs beschreibt. Innerhalb dieser Grenze kann dann die Region von Interesse definiert werden.
• Gemäß einem wesentlichen Aspekt der vorliegenden Erfindung ist es vorgesehen, dass innerhalb des Bilds die Mehrzahl von Referenzpunkte vorgegeben wird. Diese Referenzpunkte beschreiben eine zuvor bestimmte, mittlere Region von Interesse. Diese mittlere Region von Interesse wurde zuvor in einer Trainingsphase anhand von Trainingsbildern bestimmt. Insbesondere wurde die mittlere Region von Interesse auf Grundlage mehrerer unterschiedlicher Kameramodelle und/oder Fahrzeugmodelle bestimmt. Die einzelnen Referenzpunkte können ein mittleres Polygon beschreiben. Dies bedeutet, dass sich das mittlere Polygon ergibt, wenn die einzelnen Referenzpunkte miteinander verbunden werden. Insbesondere ergibt sich durch die Verbindung der einzelnen Referenzpunkte eine geschlossene Kurve. Diese Referenzpunkte werden nun als Ausgangsposition verwendet, um die tatsächliche Region von Interesse in dem Bild zu bestimmen. Zu diesem Zwecke wird anhand der Bildpunkte die Mehrzahl von Verschiebungsparameter bestimmt. Dabei ist es bevorzugt vorgesehen, dass für jeden der Referenzpunkte ein Verschiebungsparameter bestimmt wird. Die jeweiligen Verschiebungsparameter beschreiben die Verschiebung der Referenzpunkte zu der Grenze. Die einzelnen Referenzpunkte sollen also so verschoben werden, dass diese auf der Grenze der tatsächlichen Region von Interesse liegen.
• Dabei ist es vorgesehen, dass die jeweiligen Verschiebungsparameter iterativ bestimmt werden. Dies bedeutet, dass beim Bestimmen eines Verschiebungsparameters die zuvor bestimmten Verschiebungsparameter berücksichtigt werden. Der erste Verschiebungsparameter wird auf Grundlage der Bildpunkte in dem Bild bestimmt. Der erste Verschiebungsparameter beschreibt wie ein erster Referenzpunkt in Richtung der Grenze zu verschieben ist. Bei der Bestimmung des zweiten Verschiebungsparameters wird der zuvor bestimmte erste Verschiebungsparameter berücksichtigt. Bei der Bestimmung des dritten Verschiebungsparameters werden der erste und der zweite Verschiebungsparameter berücksichtigt und so weiter. Auf Grundlage der einzelnen Verschiebungsparameter kann dann ein Parametervektor bestimmt werden. Dieser Parametervektor beschreibt insbesondere die Kombination der einzelnen Verschiebungsparameter. Beispielsweise kann Parametervektor anhand der Addition oder Multiplikation der einzelnen Verschiebungsparameter bestimmt werden. Der Parametervektor beschreibt, wie die einzelnen Referenzpunkte zu verschieben sind, damit diese auf der Grenze der Region von Interesse liegen. Somit kann auf Grundlage der mittleren Region von Interesse beziehungsweise der Referenzpunkte, die zuvor in der Trainingsphase bestimmt wurden, ein regressionsbasiertes Verfahren zum Bestimmen der Grenze bereitgestellt werden. Ausgehend von dieser mittleren Region von Interesse beziehungsweise dem mittleren Polygon kann dann die tatsächliche Region von Interesse in dem Bild bestimmt werden. Somit kann das Verfahren für unterschiedliche Kameramodelle und/oder Fahrzeugmodelle verwendet werden. Insgesamt kann somit die Region von Interesse auf einfache und zuverlässige Weise bestimmt werden.
• Bevorzugt wird anhand des Parametervektors ein Verschiebungsvektor bestimmt, welcher die Verschiebung der jeweiligen Referenzpunkte in einem Koordinatensystem des Bilds beschreibt, und zum Bestimmen der Region von Interesse werden die jeweiligen Referenzpunkte mit dem Verschiebungsvektor verschoben. Auf Grundlage des Parametervektors wird der Verschiebungsvektor bestimmt, welcher die Verschiebung der einzelnen Referenzpunkte in dem zweidimensionalen Koordinatensystem des Bilds beschreibt. Beispielsweise kann der Verschiebungsvektor für jeden der Referenzpunkte die Verschiebung in eine erste Richtung (x-Richtung) und einer dazu senkrechten, zweiten Richtung (y-Richtung) beschreiben. Dies bedeutet, dass der Verschiebungsparameter doppelt so viele Parameter aufweist wie der Parametervektor.
• Zum Bestimmen des Verschiebungsparameters kann eine entsprechende Matrix bestimmt werden, welche den Parametervektor auf den Verschiebungsvektor abbildet. Auf Grundlage einer Beschreibung der Referenzpunkte beziehungsweise des mittleren Polygons in dem Koordinatensystem des Bilds kann dann mittels des Verschiebungsvektors die Verschiebung der einzelnen Referenzpunkte durchgeführt werden. Diese ermöglicht eine zuverlässige Bestimmung der Grenze der Region von Interesse in dem Bild.
• In einer weiteren Ausführungsform wird eine Funktion bestimmt, welche jeweils für eine Gruppe der Bildpunkte ein Merkmal bestimmt, welches die Grenze beschreibt, und die jeweiligen Verschiebungsparametern werden anhand der Funktion bestimmt. Bei dem Verfahren kann jeweils eine Gruppe von Bildpunkten beziehungsweise ein Set von Bildpunkten berücksichtigt werden. Dabei ist die Anzahl der Bildpunkte in der Gruppe der Bildpunkte beliebig. Die Gruppe von Bildpunkten kann in dem Bild frei gewählt werden. Bevorzugt ist es aber vorgesehen, dass die Gruppe von Bildpunkten in dem Bereich der Referenzpunkte angeordnet ist. Mithilfe der Funktion können die jeweiligen Verschiebungsparameter bestimmt werden. Hierzu können beispielsweise die Intensitätswerte der einzelnen Bildpunkte überprüft werden. Es können aber auch bekannte Verfahren zur Kantendetektion oder dergleichen verwendet werden. Die Grenze der Region von Interesse kann anhand der Farbe der Bildpunkte, der Intensität der Bildpunkte, der Textur der Bildpunkte oder dergleichen bestimmt werden. Mithilfe der Funktion kann innerhalb der Gruppe von Bildpunkten Gradient bestimmt werden, um die Verschiebungsrichtung für den Referenzpunkt zu bestimmen. Dabei ist es insbesondere vorgesehen, dass die Verschiebung für den jeweiligen Referenzpunkt Richtung einer Normalen bestimmt wird. Hierzu können auch die benachbarten Referenzpunkte berücksichtigt werden. Diese Funktion wird nun zur Bestimmung von jedem der Verschiebungsparameter verwendet. Somit können die einzelnen Verschiebungsparameter auf zuverlässige Weise bestimmt werden.
• In einer weiteren Ausführungsform wird in einer Trainingsphase eine Mehrzahl von Basisformen für unterschiedliche Regionen von Interesse bestimmt und anhand der Mehrzahl von Basisformen wird die mittlere Region von Interesse vorbestimmt. Das vorliegende Verfahren zum Bestimmen der tatsächlichen Region von Interesse wird online durchgeführt, wobei Informationen aus der zuvor durchgeführten Trainingsphase berücksichtigt werden. In dieser Trainingsphase werden unterschiedliche Basisformen bestimmt. Diese Basisformen beschreiben die Formen von unterschiedlichen Regionen von Interesse. Dabei ist es insbesondere vorgesehen, dass die Basisformen anhand von verschiedenen Trainingsbildern von unterschiedlichen Typen von Kraftfahrzeugen und/oder Kameras bestimmt werden. In der Trainingsphase können also eine Mehrzahl von Trainingsbildern genutzt werden, welche sich bezüglich des Fahrzeugtyps, der Einbauposition der Kamera und/oder der Ausgestaltung der Kamera voneinander unterscheiden. Auf Grundlage dieser unterschiedlichen Basisformen kann nun die mittlere Region von Interesse beziehungsweise das mittlere Polygon bestimmt werden. Die jeweiligen Basisformen können Basispunkte aufweisen, welche zusammen ein Polygon beschreiben. Aus den jeweiligen korrespondierenden Basispunkten der Mehrzahl von Basislinien kann nun jeweils ein Mittelwert bestimmt werden, um die Referenzpunkte zu bestimmen. Damit beschreiben die Referenzpunkte quasi einen Mittelwert von unterschiedlichen Regionen von Interesse, die in der Trainingsphase bestimmt wurden. Somit stellen die Referenzpunkte beziehungsweise die mittlere Region von Interesse eine gute Ausgangsposition für die Bestimmung der tatsächlichen Region von Interesse in dem Bild dar.
• Bevorzugt ist es vorgesehen, dass zum Bestimmen der jeweiligen Basisform in dem Trainingsbild Hilfspunkte an einer Grenze der Region von Interesse bestimmt werden und anhand der Hilfspunkte eine Kurve bestimmt wird. Um die jeweiligen Basisformen zu bestimmen, wird ein Trainingsbild verwendet. Dieses Trainingsbild beschreibt ein Bild, das mit einer an einem Kraftfahrzeug montierten Kamera aufgenommen wurde. In diesem Trainingsbild können nun die Hilfspunkte manuell an der Grenze der Region von Interesse in dem Trainingsbild vorgegeben werden. Um die Basisformen für dieses Trainingsbild zu bestimmen, werden die einzelnen Bildpunkte zu der Kurve verbunden.
• In einer weiteren Ausführungsform wird in dem Trainingsbild eine Mehrzahl von Hilfslinien bestimmt, wobei die Hilfslinien von einem Mittelpunkt der Region von Interesse zu einem Rand des Trainingsbilds verlaufen und wobei benachbarte Hilfslinien jeweils den gleichen Winkel einschließen, und anhand der jeweiligen Schnittpunkte zwischen den Hilfslinien und der Kurve werden Basispunkte für die Basisform bestimmt. Wie bereits erläutert, werden die Referenzpunkte auf Grundlage von Basispunkten bestimmt, welche die jeweiligen Basisformen beschreiben. Zum Bestimmen der Basispunkte ist es vorgesehen, dass die Basisform gleichmäßig eingeteilt wird. Hierzu wird die Mehrzahl von Hilfslinien bestimmt. Die Hilfslinien verlaufen jeweils von dem Mittelpunkt der Region von Interesse zu dem Rand des Trainingsbilds. Dabei schließen jeweils zwei benachbarte Hilfslinien den gleichen Winkel zueinander ein. Anhand der Schnittpunkte der jeweiligen Hilfslinien und der Kurve können dann die Basispunkte bestimmt werden. Somit kann auf zulässige Weise erreicht werden, dass gleichmäßig verteilte Basispunkte anhand der Basis vom bestimmt werden.
• Weiterhin ist es vorteilhaft, wenn anhand der Basispunkte der jeweiligen Basisformen und der Referenzpunkt eine Mehrzahl von Zwischenpunkten bestimmt wird und anhand der Unterschiede der jeweiligen Zwischenpunkte und der Referenzpunkte ein Referenz-Parametervektor bestimmt wird. In der Trainingsphase werden zudem mehrere Zwischenpunkte bestimmt. Diese Zwischenpunkte werden zwischen den Referenzpunkten der mittleren Region von Interesse und den Basispunkten einer der Basisformen bestimmt. Diese Zwischenpunkte beschreiben den Übergang beziehungsweise die Verschiebung von den jeweiligen Referenzpunkten zu den Basispunkten der Basisformen. Somit können die jeweiligen Unterschiede der Zwischenpunkte zu den korrespondierenden Referenzpunkten genutzt werden, um die Verschiebung der Referenzpunkte zu beschreiben. Somit kann in der Trainingsphase bestimmt werden, wie die Verschiebung der einzelnen Referenzpunkte stattfindet. Diese Information kann dann in der Onlinephase des Verfahrens genutzt werden.
• In einer weiteren Ausführungsform wird der Referenz-Parametervektor anhand der jeweiligen Unterscheide mittels einer Hauptkomponentenanalyse bestimmt. Die mittlere Region von Interesse kann beispielsweise 100 Referenzpunkte aufweisen. Wenn nun ein Verschiebungsvektor für diese Referenzpunkte bestimmt wird, weist dieser eine Länge von 200 auf, da dieser die Verschiebung jedes Referenzpunkts in eine erste Richtung (x-Richtung) und in eine zweite Richtung (y-Richtung) beschreibt. Dies würde bedeuten, dass anhand der Bildpunkte alle 200 Werte richtig geschätzt werden müssen, um die tatsächliche Region von Interesse zuverlässig bestimmen zu können. Dies würde einen großen Rechenaufwand mit sich bringen. Zudem könnte ein einziger Fehler bei der Bestimmung eines der Parameter das Ergebnis verfälschen. Vorliegend wird die Erkenntnis genutzt, dass die Bewegung beziehungsweise Verschiebung eines der Referenzpunkte nicht unabhängig von der Verschiebung der benachbarten Punkte ist, da diese zusammen ein Polygon beziehungsweise eine Kurve bilden. Hierzu wird das bekannte Verfahren der Hauptkomponentenanalyse verwendet, um die Anzahl der Parameter zu reduzieren. Mithilfe der Hauptkomponentenanalyse kann beispielsweise die Anzahl der Parameter auf sechs Parameter reduziert werden. Diese Parameter können dann in dem Referenz-Parametervektor beschrieben werden. Durch die Reduzierung der Parameter kann ein deutlich robuster Algorithmus bereitgestellt werden, welcher weniger fehleranfällig ist.
• Dabei ist es bevorzugt vorgesehen, dass anhand des Referenz-Parametervektors Regressionsmatrizen für die jeweiligen Verschiebungsparameter bestimmt werden. Anhand der einzelnen Referenzpunkte in der Zwischenpunkte kann jeweils der Referenz-Parametervektor bestimmt werden. Hierzu können beispielsweise unterschiedliche Trainingsmatrizen verwendet werden. Diese Trainingsmatrizen können iterativ bestimmt werden. Auf Grundlage der Trainingsmatrizen kann dann der Referenz-Parametervektor bestimmt werden. Auf Grundlage des Referenz-Parametervektors können dann Regressionsmatrizen bestimmt werden. Diese Regressionsmatrizen können dann bei der Bestimmung der jeweiligen Verschiebungsparameter in dem Onlinemodus berücksichtigt werden.
• Eine erfindungsgemäße Steuereinrichtung für ein Kamerasystem eines Kraftfahrzeugs ist zum Durchführen eines erfindungsgemäßen Verfahrens und der vorteilhaften Ausgestaltungen davon ausgelegt. Die Steuereinrichtung kann ein elektronisches Steuergerät (ECU - Electronic Control Unit) des Kraftfahrzeugs sein. Die Steuereinrichtung kann auch durch eine Recheneinrichtung, einen Mikroprozessor, einen digitalen Signalprozessor oder dergleichen bereitgestellt werden. Die Steuereinrichtung kann das Bild oder die Bilder, die mit der Kamera aufgenommen werden, empfangen. Des Weiteren kann mittels der Steuereinrichtung ein Objekterkennungsalgorithmus durchgeführt werden, um in den Bildpunkten des Bilds Merkmale zu erkennen, welche die Grenze der Region von Interesse beschreiben. Mittels der Steuereinrichtung kann dann die Region von Interesse auf Grundlage der vorbestimmten Referenzpunkte für die mittlere Region von Interesse beziehungsweise das mittlere Polygon bestimmt werden.
• Ferner kann ein Computerprogramm vorgesehen sein, das beispielsweise auf einem Speichermedium abgelegt ist, wobei das Computerprogramm zum Ausführen des hier beschriebenen Verfahrens programmiert ist, wenn es auf der Steuereinrichtung oder einer Recheneinrichtung der Steuereinrichtung ausgeführt wird.
• Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst eine erfindungsgemäße Steuereinrichtung. Darüber hinaus umfasst das Kamerasystem zumindest eine Kamera. Bevorzugt umfasst das Kamerasystem eine Mehrzahl von Kameras, die beispielsweise verteilt an dem Kraftfahrzeug angeordnet werden können. Die jeweiligen Kameras sind zur Datenübertragung beziehungsweise zu Übertragung der Bilder mit der Steuereinrichtung über eine Datenleitung verbunden. Mithilfe des Kamerasystems können innerhalb der Region von Interesse dann Objekte in der Umgebung des Kraftfahrzeugs erkannt werden.
• Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem. Das Kraftfahrzeug ist bevorzugt als Personenkraftwagen ausgebildet. Es kann auch vorgesehen sein, dass das Kraftfahrzeug als Nutzfahrzeug ausgebildet ist.
• Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Steuereinrichtung, für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
• Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
• Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
• Dabei zeigen:
• 1 ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung, welches ein Kamerasystem aufweist;
• 2 ein Trainingsbild, in welchem manuell eine Mehrzahl von Hilfspunkten an einer Grenze einer Region von Interesse bestimmt wird;
• 3 das Trainingsbild gemäß 2, in welchem anhand der Mehrzahl von Hilfspunkten eine Kurve bestimmt wird;
• 4 das Trainingsbild gemäß 3, in welchem anhand einer Mehrzahl von Hilfslinien und der Kurve eine Mehrzahl von Basispunkten für eine Basisform bestimmt werden;
• 5 jeweilige Basispunkte für drei verschiedene Basisformen sowie Referenzpunkte einer mittleren Region von Interesse, welche anhand der jeweiligen Basispunkte bestimmt wurde;
• 6 jeweilige Zwischenpunkte, welche jeweils zwischen den Referenzpunkten der mittleren Region von Interesse und den Basispunkten einer ersten Basisformen bestimmt wurden;
• 7 jeweilige Zwischenpunkte, welche jeweils zwischen den Referenzpunkten der mittleren Region von Interesse und den Basispunkten einer zweiten Basisformen bestimmt wurden;
• 8 jeweilige Zwischenpunkte, welche jeweils zwischen den Referenzpunkten der mittleren Region von Interesse und den Basispunkten einer dritten Basisformen bestimmt wurden; und
• 9 ein von einer Kamera des Kraftfahrzeugs aufgenommenes Bild, in welchem anhand der Referenzpunkte der mittleren Region von Interesse die Grenze einer Region von Interesse bestimmt wird.
• In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
• 1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist in dem vorliegenden Fall als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2. Das Kamerasystem 2 umfasst wiederum eine Steuereinrichtung 3, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs 1 gebildet sein kann. Darüber hinaus umfasst das Kamerasystem 2 zumindest eine Kamera 4. In dem vorliegenden Ausführungsbeispiel umfasst das Kamerasystem 2 vier Kameras 4, die verteilt an dem Kraftfahrzeug 1 angeordnet sind. Vorliegend ist eine der Kameras 4 in einem Heckbereich 5 des Kraftfahrzeugs 1 angeordnet, eine der Kameras 4 ist in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet und die übrigen zwei Kameras 4 sind in einem jeweiligen Seitenbereich 6, insbesondere in einem Bereich der Seitenspiegel, angeordnet. Die Anzahl und Anordnung der Kameras 4 des Kamerasystem 2 ist vorliegend rein beispielhaft zu verstehen.
• Mit den Kameras 4 kann eine Umgebung 8 beziehungsweise ein Umgebungsbereich des Kraftfahrzeugs 1 erfasst werden. Die vier Kameras 4 sind bevorzugt baugleich ausgebildet. Insbesondere kann eine Sequenz von Bildern 9 mit den Kameras 4 bereitgestellt werden, welche die Umgebung 8 beschreiben. Diese Bilder 9 beziehungsweise Bilddaten können von den Kameras 4 an die Steuereinrichtung 3 übertragen werden. Mittels der Steuereinrichtung 3 kann eine hier nicht dargestellte Anzeigeeinrichtung des Kraftfahrzeugs 1 angesteuert werden, so dass dem Fahrer die Bilder 9 der Kameras 4 angezeigt werden können. Das Kamerasystem 2 dient somit zum Unterstützen des Fahrers des Kraftfahrzeugs 1 beim Führen des Kraftfahrzeugs 1. Das Kamerasystem 2 kann beispielsweise ein sogenannter elektronischer Rückspiegel sein oder ein Parkassistenzsystem oder ein sonstiges System sein. Insbesondere können mit dem Kamerasystem 2 Objekt in der Umgebung 8 des Kraftfahrzeugs 1 erkannt werden.
• Mittels der Steuereinrichtung 3 soll in den Bilder 9 eine Region von Interesse 11 bestimmt werden. Die Region von Interesse 11 beschreibt den Bereich des Bilds 9, welcher die Umgebung 8 des Kraftfahrzeugs 1 abbildet. Die Region von Interesse 11 unterscheidet sich von einem Bereich 10 in dem Bild 9, welcher Teile des Kraftfahrzeugs 1 abbildet.
• Um die Region von Interesse 11 zu bestimmen, wird eine Mehrzahl von Referenzpunkten 15 vorgegeben. Diese Referenzpunkte 15 beschreiben eine mittlere Region von Interesse, welche zuvor in einer Trainingsphase bestimmt wurde. Die Referenzpunkte 15 können zu einem mittleren Polygon verbunden werden. Mithilfe eines Verfahrens, welches mit der Steuereinrichtung 3 durchgeführt wird, soll nun in einer Onlinephase bestimmt werden, wie diese Referenzpunkte 15 zu verschieben sind, damit diese die Region von Interesse 11 in dem Bild 9 beschreiben. Anhand der Referenzpunkte 15 sollen also verschobene Punkte 19 bestimmt werden, welche eine Grenze 20 der Region von Interesse 11 beschreiben. Dabei liegt die Grenze 20 zwischen der Region von Interesse 11 und den Bereich 10. Dies ist in 9 gezeigt. Dieses Verfahren kann verwendet werden, wenn die Region von Interesse 11 erstmals für ein Kraftfahrzeug 1 und/oder eine bestimmte Kamera 8 bestimmt werden soll.
• Zum Bestimmen der Verschiebung der einzelnen Referenzpunkte 15 werden in der Onlinephase Verschiebungsparameter bestimmt beziehungsweise abgeschätzt. Die Schätzung der Verschiebungsparameter für die Deformation der Region von Interesse 11 kann mit folgender Gleichung beschrieben werden: $$\begin{array}{l}{p}^{\left(1\right)}=H^{\left(1\right)}f\left(I,X^{\left(1\right)}\right)\hfill \\ p^{\left(2\right)}=H^{\left(2\right)}f\left(I,\rho \left(X^{\left(2\right)},p^{\left(1\right)}\right)\right)\hfill \\ p^{\left(3\right)}=H^{\left(3\right)}f\left(I,\rho \left(X^{\left(3\right)},p^{\left(1\right)}\circ p^{\left(2\right)}\right)\right)\hfill \\ ⋮\hfill \\ p^{\left(k\right)}=H^{\left(k\right)}f\left(I,\rho \left(X^{\left(k\right)},p^{\left(1\right)}\circ \dots \circ p^{\left(k-1\right)}\right)\right)\hfill \\ p=p^{\left(1\right)}\circ \dots \circ p^{\left(k\right)}\hfill \end{array}$$

  
• Dabei beschreibt f eine Funktion zur Berechnung von Merkmalen, welche einen Vektor von Merkmalswerten ausgibt. Hierbei werden die zweidimensionalen Bildpunkte in Gruppen oder Sets X⁽ⁱ⁾ berücksichtigt, welche durch die Transformation p verschoben werden. Wie aus Gleichung (1) zu erkennen ist, werden die Verschiebungsparameter iterativ bestimmt. Dies bedeutet, dass bei der Bestimmung des i-ten Verschiebungsparameters die zuvor bestimmten Verschiebungsparameter p⁽¹⁾ ∘...∘ p^(i-1) berücksichtigt werden. Diese Sequenz von Verschiebungsparametern wird anhand eines einzigen Bilds 9 geschätzt und ist nicht abhängig von der Zeit oder sich ändernden Bildern. Aus den einzelnen Verschiebungsparameter kann dann ein Parametervektor p bestimmt werden Die Operation ∘ wird dazu verwendet, die Verschiebungsparameter geeignet zu kombinieren. In Abhängigkeit von der Transformation p kann diese Operation eine einfache Addition, eine Multiplikation oder dergleichen sein. Die Funktion f kann frei bestimmt werden. Dabei kann die Intensität der einzelnen Bildpunkte berücksichtigt werden. Es kann auch vorgesehen sein, dass ein Algorithmus zur Detektion von Merkmalen verwendet wird, welcher die Merkmale über das Set X⁽ⁱ⁾ von Bildpunkten, welche mit p transformiert sind, bestimmt.
• Der resultierende Parametervektor p beschreibt die Deformation des mittleren Polygons der mittleren Region von Interesse zu einem passenden Polygon für die Region von Interesse 11 des aktuellen Bilds 9. Ferner wird der Parametervektor p in einen Verschiebungsvektor t transformiert, welcher die Verschiebung der realen Bildpunkte des Polygons in Bezug auf das mittlere Polygon beschreibt. Der Verschiebungsvektor t beschreibt also die Verschiebung der einzelnen Referenzpunkte 15 in dem Koordinatensystem des Bilds 9. Hierzu wird der Parametervektor mit einer Matrix U' multipliziert, welche die Parameter in dem Raum der Bildpunkte transformiert. Dies kann mit folgender Formel beschrieben werden: $$t=\left(U\text{'}p\right)\ast \sigma +t_m$$

  
• Der Verschiebungsvektor t der Verschiebungsparameter codiert die zweidimensionale Bewegung (Δx, Δy)^T von jedem Punkt in dem Polygon. Dies bedeutet, dass der Verschiebungsvektor t doppelt so viele Parameter wie Punkt ein der Kurve, welche das Polygon beschreiben, aufweist. t_m beschreibt den mittleren Parametervektor und σ ist der Vektor der Verschiebungsabweichungen. Die Operation * beschreibt eine elementweise Multiplikation von zwei Vektoren, welche in einem Vektor derselben Länge resultiert. Die Transformation p mit den Eingaben X⁽ⁱ⁾, p^(j) wendet die Gleichung (2) an und bewegt die Bildpunkte in dem Set X⁽ⁱ⁾ unter Verwendung der Parameter in dem Verschiebungsvektor t und einer mittleren Polygonform Y_m. Wie die Verschiebungsparameter auf die Bildpunkte angewendet werden, hängt von der Art der verwendeten Merkmale ab und kann beliebig gewählt sein.
• Das Polygon für die in einem aktuellen Bild 9 erkannt Region von Interesse 11 kann mit folgender Gleichung beschrieben werden: $$t+Y_m$$

  
• Nachfolgend wird erläutert, wie die Größen H⁽ⁱ⁾, X⁽ⁱ⁾, U',Y_m, t_m, σ anhand von Trainingsdaten bestimmt werden können. Die Trainingsdaten werden in einer Trainingsphase, welche offline durchgeführt wird, bestimmt. Dabei werden die Regressionsmatrizen H⁽ⁱ⁾ und die Matrix U', welche die niedrig dimensionalen Deformationsparameter auf die Verschiebung der Punkte des Polygons abbildet, bestimmt.
• 2 zeigt ein Trainingsbild 9', welches mit einer Kameras 4 eines Kraftfahrzeugs 1 bereitgestellt wird. Das Trainingsbild 9' umfasst einen Bereich 10, welcher Teile des Kraftfahrzeugs 1 abbildet. Zudem umfasst das Trainingsbild 9' eine Region von Interesse 11, welche sich von dem Bereich 10 unterscheidet. In dem Trainingsbild 9' wird manuell eine Mehrzahl von Hilfspunkten 12 an der Grenze zwischen der Region von Interesse 11 und dem Bereich 10 festgelegt. Dabei ist es ausreichend, dass die Hilfspunkten 12 für ein einziges Trainingsbild 9' bestimmt werden, da sich die Region von Interesse 11 nicht in Abhängigkeit von der Zeit verändert.
• Da die Hilfspunkte 12 manuell in der Trainingsphase vorgegeben werden, können sich diese bezüglich ihrer Anzahl und ihrer Position unterscheiden. Um zuverlässige Trainingsdaten zu bestimmen, ist es erforderlich, dass die Hilfspunkte 12 für einen Typ von Region von Interesse 11 gleich sind. Dabei beschreibt ein Typ der Region von Interesse 11 die Bilder der gleichen Kamera 4 beziehungsweise des Kraftfahrzeugs 1 für unterschiedliche Szenen.
• 3 zeigt das Trainingsbild 9' gemäß 2, bei welcher die Hilfspunkte 12 zu einer Kurve 13 verbunden sind. Zum Bestimmen der Kurve 13 kann eine Spline-Kurve verwendet werden oder es kann auch stückweise eine lineare Funktion verwendet werden. Somit kann eine Annäherung für die Hilfspunkte 12 in jeden Punkt der gesamten Region von Interesse 11 bestimmt werden.
• Im Anschluss daran wird anhand der Kurve 13 eine Mehrzahl von Basispunkten 14 bestimmt. Zu diesem Zweck werden jeweilige Hilfslinien 16 bestimmt, welche sich von einem im Mittelpunkt der Region von Interesse 11 zu einem Randbereich erstrecken. Dabei werden die Hilfslinien 16 so bestimmt, dass jeweils zwei benachbarten Hilfslinien 16 den gleichen Winkel einschließen. Die Schnittpunkte der jeweiligen Hilfslinien 16 mit der Kurve 13 beschreiben dann die Basispunkte 14. Die Basispunkte 14 beschreiben eine Basisform, welche ein Polygon ist. Dies ist in 4 veranschaulicht.
• Diese Basispunkte 14 werden dann als sogenannte ground-truth-Anmerkungen verwendet. Hier wird (I⁽ⁱ⁾, Y^(j) als Trainingspaar für das j-te Bild mit dem dazugehörigen Polygon der zweidimensionalen Punkte, die in einem Vektor Y = (x₁,y₁,x₂,y₂,...)^T gespeichert sind, bestimmt.
• Nachfolgend werden die automatische Überprüfung der ground-truth-Annahme und die Extraktion der Basisformen durchgeführt. Es kann beispielsweise vorgesehen sein, dass mehrere Sequenzen durchgeführt werden um Basispunkte 14, 14', 14" zu bestimmen. Hierzu zeigt 5 eine erste Basisform mit den ersten Basispunkte 14, welche den Basispunkten aus 4 entsprechen. Zudem ist eine zweite Basisform mit den zweiten Basispunkten 14' und eine dritte Basisform mit den dritten Basispunkten 14" dargestellt. Die zweiten Basispunkte 14' und die dritten Basispunkte 14" wurden anhand von weiteren Trainingsbildern 9' von anderen Fahrzeugmodellen und/oder Kameramodellen bestimmt. Mithilfe eines Algorithmus werden dann die Anzahl und die Formen dieser Basisformen bestimmt. Auf Grundlage der drei Basisformen wird dann die mittlere Form Y_m, welche durch die Referenzpunkte 15 repräsentiert wird, bestimmt.
• Darüber hinaus ist es vorgesehen, dass auf Grundlage von allen bestimmten Basisformen Störungen bestimmt werden. Zu diesem Zweck werden jeweilige Zwischenpunkte 16, 16', 16", 17, 17', 17", 18, 18, 18" bestimmt. Hierzu zeigt 6 Zwischenpunkte 16, 16', 16" beziehungsweise die dazugehörigen Formen, welche zwischen der ersten Basisform, die durch die Basispunkte 14 repräsentiert ist, und der mittleren Form, welche durch die Referenzpunkte 15 beschrieben ist, bestimmt wurden. Des Weiteren zeigt 7 Zwischenpunkte 17, 17', 17" beziehungsweise die dazugehörigen Formen, welche zwischen der zweiten Basisform, die durch die Basispunkte 14' repräsentiert ist, und der mittleren Form, die durch die Referenzpunkte 15 repräsentiert ist, bestimmt wurden. Schließlich zeigt 8 Zwischenpunkte 18, 18', 18" beziehungsweise die dazugehörigen Formen, welche zwischen der dritten Basisform, welche durch die Basispunkte 14" beschrieben ist, und der mittleren Form, welche durch die Referenzpunkte 15 repräsentiert ist, bestimmt wurden.
• Diese Punkte 16, 16', 16", 17, 17', 17", 18, 18, 18" beziehungsweise die dadurch beschriebenen Formen dienen als aussagekräftige Trainingsformen Y⁽ⁱ⁾, um die Regressionsmatrizen H⁽¹⁾, ..., H^(k) bestimmen zu können. Die Deformation der dazugehörigen Polygone beziehungsweise Formen kann dann anhand des Parametervektors t = Y^(j) - Y_m bestimmt werden, welcher die Länge l aufweist.
• Wenn beispielsweise für die Region von Interesse 11 zum Bestimmen der Form beziehungsweise des Polygon 100 Referenzpunkte 15 verwendet werden, würden diese in einem Verschiebungsvektor t beschrieben werden, welcher eine Länge l = 200 aufweist, da dieser die Verschiebung in x-Richtung und y-Richtung beschreibt. Dies bedeutet, dass alle 200 Werte anhand der Bilddaten korrekt geschätzt werden müssen, um eine gute Form für die Region von Interesse 11 in dem Bild 9 bestimmen zu können. Dies kann Schwierigkeiten mitbringen, da bereits Fehler bei der Schätzung von einem der Parameter das Ergebnis verfälschen können und zudem gibt es zu viele Parameter, die abgeschätzt werden müssen. Vorliegend wird berücksichtigt, dass die Bewegung eines der Referenzpunkte 15 nicht unabhängig von der Bewegung der benachbarten Referenzpunkte 15 ist, da es sich um ein Polygon beziehungsweise um eine Kurve handelt. Daher wird die Hauptkomponentenanalyse verwendet um die Anzahl der Parameter zu reduzieren. Nach der Hauptkomponentenanalyse erhält man vorliegend sechs Parameter in einem Referenz-Parametervektor, durch welchen die gesamte Deformation einer Kurve bestimmt werden kann. Danach wird der Algorithmus robuster und weniger fehleranfällig.
• Die Hauptkomponentenanalyse wird anhand einer Singulärwertzerlegung svd durchgeführt: $$\left[U,{\displaystyle \sum ,V^T}\right]=svd\left(T\right)$$

  
• Dabei beschreibt T die Matrix, welche sich aus allen normalisierten Parametervektoren des Trainings für alle n Trainingsproben zusammensetzt: T = [(t⁽¹⁾ - t_m) ∗ (σ^-1), (t⁽²⁾ - t_m) ∗ (σ^-1), ..., (t⁽ⁿ⁾ - t_m) ∗ (σ^-1)]. Der Vektor t_m ist der mittlere Verschiebungsvektor und σ ist der Vektor der Streuungen der Parameterabweichungen. Die resultierende Matrix U ist eine orthogonale Rotationsmatrix. Nur die ersten b Singluärwerte auf der Diagonalen der Matrix Σ sind signifikant, wobei b << l gilt. Daher werden nur die ersten b Spalten der Matrix U berücksichtigt und in der Matrix U' gespeichert: $$U\text{'}=\begin{array}{ccc}{u}_{\mathrm{1,1}}& \dots & u_{\mathrm{1,}b}\\ ⋮& \ddots & ⋮\\ u_{l\mathrm{,1}}& \dots & u_{l,b}\end{array}$$

  
• Der Paramtervektor p mit den sechs Verschiebungsparametern wird aus der j-ten Probe als p^(j) = U'^T((t^(j) - t_m) ∗ (σ^-i)) erhalten. Um die Regressionsmatrix zu trainieren, werden alle Deformationsvektoren p^(j) und alle korrespondierenden Merkmalswerte f(I^(j),ρ(X^(k),p^(j))) gesammelt.
• Für die Einfachheit der folgenden Gleichungen kann der Merkmalsvektor für ein einzelnes Bild 9 in s^(j) = f(I^(j),ρ(X⁽ⁱ⁾,p^(j))), ∀j=1, ... ngespeichert werden. Danach werden die Trainingsmatrizen P⁽ⁱ⁾,S⁽ⁱ⁾ für die individuellen Regressionsmatrizen H⁽ⁱ⁾ wie folgt bestimmt: $$p^{\left(1\right)}=\left[-p^{\left(1\right)},-p^{\left(2\right)},\dots ,-p^{\left(n\right)}\right]$$

  

  $$S^{\left(1\right)}=\left[s^{\left(1\right)},s^{\left(2\right)},\dots ,s^{\left(n\right)}\right]$$

  
• Die Bestimmung der Trainingsmatrizen für das nächste Training der Regressionsmatrix ist abhängig von den zuvor bestimmten Trainingsmatrizen: $$p^{\left(j\right)}\text{'}=p^{\left(j\right)}+H^{\left(1\right)}f\left(I^{\left(j\right)},\rho \left(X^{\left(1\right)},p^{\left(j\right)}\right)\right)$$

  

  $$s^{\left(j\right)\text{'}}=f\left(I^{\left(j\right)},\rho \left(X^{\left(2\right)},p^{\left(j\right)\text{'}}\right)\right)$$

  

  $$P^{\left(2\right)}=\left[-p^{\left(1\right)\text{'}},-p^{\left(2\right)\text{'}},\dots ,-p^{\left(n\right)\text{'}}\right]$$

  

  $$S^{\left(2\right)}=\left[s^{\left(1\right)\text{'}},s^{\left(2\right)\text{'}},\dots ,s^{\left(n\right)\text{'}}\right]$$

  
• Die nachfolgenden Trainingsmatrizen können dann wie folgt bestimmt werden: $$p^{\left(j\right)"}=p^{\left(j\right)\text{'}}+H^{\left(2\right)}f\left(I^{\left(j\right)},\rho \left(X^{\left(2\right)},p^{\left(j\right)}\right)\right)$$

  

  $$s^{\left(j\right)"}=f\left(I^{\left(j\right)},\rho \left(X^{\left(3\right)},p^{\left(j\right)"}\right)\right)$$

  

  $$P^{\left(3\right)}=\left[-p^{\left(1\right)"},-p^{\left(2\right)"},\dots ,-p^{\left(n\right)"}\right]$$

  

  $$S^{\left(3\right)}=\left[s^{\left(1\right)"},s^{\left(2\right)"},\dots ,s^{\left(n\right)"}\right]$$

  
• Das Lernen der individuellen Regressionsmatrizen H⁽ⁱ⁾ ist ein Optimierungsproblem, welches nach der Methode der kleinsten Quadrate gelöst wird: $$H^{\left(i\right)}={\text{arg min}}_{H\left(i\right)}{\Vert H^{\left(i\right)}{S}^{\left(i\right)}-P^{\left(i\right)}\Vert }_F^2$$

  
• Die Gleichung (16) kann entsprechend modifiziert werden: $$H^{\left(i\right)}=P^{\left(i\right)}{S}^{{\left(i\right)}^T}{\left(S^{\left(i\right)}{S}^{{\left(i\right)}^T}\right)}^{-1}$$

  
• Ausgehend von der mittleren Form Y_m können dann unter Berücksichtigung der Gleichungen (1), (2) und (3) Punkte 19 für eine Region von Interesse 11 in einem Bild 9 bestimmt werden. Dies ist beispielhaft in 9 veranschaulicht, wo ausgehend von den Referenzpunkten 15 der mittleren Form mittels der Kurvenanpassung die Punkte 19 für die Region von Interesse 11 bestimmt werden. Die Punkte 19 resultieren aus der Anpassung t + Y_m mittels der Regressionsmatrizen H⁽¹⁾, ...,H^(k).
• Auf diese Weise kann ein regressionsbasiertes Verfahren des maschinellen Lernens bereitgestellt werden, mit der eine Funktion bereitgestellt wird, welche die Referenzpunkte 15 direkt auf die Grenze 20 der Region von Interesse 11 abbildet. Dieses Verfahren kann auch für mehrere Bilder, die mit der Kamera 4 bereitgestellt werden, durchgeführt werden. Mit dem Verfahren wird ein Polygon bereitgestellt, welches die 2-dimensionalen Punkte 19 umfasst. Diese Punkte 19 Beziehung beziehungsweise das Polygon liegt auf der Grenze 20 zwischen der Region von Interesse 11 und dem Bereich 10. Somit kann die Region von Interesse 11 auf zuverlässige Weise bestimmt werden.

Claims (13)

1. Verfahren zum Bestimmen einer Region von Interesse (11) in einem von einer Kamera (4) eines Kraftfahrzeugs (1) aufgenommenen Bild (9), bei welchem das Bild (9) von der Kamera (4) empfangen wird, anhand von Bildpunkten des Bilds (9) in dem Bild (9) eine Grenze (20) eines Bereichs, welcher eine Umgebung (8) des Kraftfahrzeugs (1) abbildet, erkannt wird und die Region von Interesse (11) anhand der Grenze bestimmt wird, dadurch gekennzeichnet, dass eine Mehrzahl von Referenzpunkten (15), welche eine Referenzgrenze einer vorbestimmten, mittleren Region von Interesse beschreiben, in dem Bild (9) vorgegeben wird, anhand der Bildpunkte eine Mehrzahl von Verschiebungsparametern bestimmt wird, welche jeweils eine Verschiebung der Referenzpunkte (15) zu der Grenze (20) beschreiben, wobei die Verschiebungsparameter iterativ unter Berücksichtigung der zuvor bestimmten Verschiebungsparameter bestimmt werden, anhand der Verschiebungsparameter ein Parametervektor bestimmt wird und die Region von Interesse (11) anhand einer Verschiebung der jeweiligen Referenzpunkte (15) durch den Parametervektor bestimmt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass anhand des Parametervektors ein Verschiebungsvektor bestimmt wird, welcher die Verschiebung der jeweiligen Referenzpunkte (15) in einem Koordinatensystem des Bilds (9) beschreibt, und zum Bestimmen der Region von Interesse (11) die jeweiligen Referenzpunkte (15) mit dem Verschiebungsvektor verschoben werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Funktion bestimmt wird, welche jeweils für eine Gruppe der Bildpunkte ein Merkmal bestimmt, welches die Grenze (20) beschreibt, und die jeweiligen Verschiebungsparametern anhand der Funktion bestimmt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einer Trainingsphase eine Mehrzahl von Basisformen für unterschiedliche Regionen von Interesse (11) bestimmt wird und anhand der Mehrzahl von Basisformen die mittlere Region von Interesse vorbestimmt wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Basisformen anhand von verschiedenen Trainingsbildern (9') von unterschiedlichen Typen von Kraftfahrzeugen (1) und/oder Kameras (4) bestimmt werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zum Bestimmen der jeweiligen Basisform in dem Trainingsbild (9') Hilfspunkte (12) an einer Grenze der Region von Interesse (11) bestimmt werden und anhand der Hilfspunkte (12) eine Kurve (13) bestimmt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in dem Trainingsbild (9') eine Mehrzahl von Hilfslinien (16) bestimmt wird, wobei die Hilfslinien (16) von einem Mittelpunkt der Region von Interesse (11) zu einem Rand des Trainingsbilds (9') verlaufen und wobei benachbarte Hilfslinien (16) jeweils den gleichen Winkel einschließen, und anhand der jeweiligen Schnittpunkte zwischen den Hilfslinien (16) und der Kurve (13) Basispunkte (14, 14', 14") für die Basisform bestimmt werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass anhand der Basispunkte (14, 14', 14") der jeweiligen Basisformen und der Referenzpunkte (14) eine Mehrzahl von Zwischenpunkten (16, 16', 16", 17, 17', 17", 18, 18', 18") bestimmt wird und anhand der Unterschiede der jeweiligen Zwischenpunkte (16, 16', 16", 17, 17', 17", 18, 18', 18") und der Referenzpunkte (15) ein Referenz-Parametervektor bestimmt wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der Referenz-Parametervektor anhand der jeweiligen Unterscheide mittels einer Hauptkomponentenanalyse bestimmt wird.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass anhand des Referenz-Parametervektors Regressionsmatrizen für die jeweiligen Verschiebungsparameter bestimmt werden.
11. Steuereinrichtung (3) für ein Kamerasystem (2) eines Kraftfahrzeugs (1), welche zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgelegt ist.
12. Kamerasystem (2) für ein Kraftfahrzeug (1) mit einer Steuereinrichtung (3) nach Anspruch 11 und mit zumindest einer Kamera (4).
13. Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 12.

Images