-
HINTERGRUND
-
Technisches Gebiet
-
Die vorliegende Offenbarung betrifft eine Vorrichtung zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich und insbesondere eine Technologie zum Korrigieren eines Interpolationskoeffizienten, der die Tiefe eines Baumes in einem Quadtree-basierten Stereoabgleich-Algorithmus bestimmt.
-
Beschreibung des Standes der Technik
-
Im Allgemeinen berechnet ein Quadtree-basierter Stereoabgleich-Algorithmus einen Interpolationskoeffizienten (λ) durch eine Übereinstimmungsdetektions-Kostenfunktion und bestimmt auf der Grundlage des Interpolationskoeffizienten die Tiefe (d. h., Struktur) eines Baumes. Durch Bestimmen der Tiefe eines Baumes unter Verwendung des Interpolationskoeffizienten, der unabhängig von einem Objekt (z. B. Hindernis), das in einem Bild positioniert wird, berechnet wird, kann die Genauigkeit der Übereinstimmung gering sein. Auch wenn der Quadtree-basierte Stereoabgleich-Algorithmus angewendet wird, um den Abstand von einem Objekt unter Verwendung eines Stereobildes zu berechnen, kann die Genauigkeit sogar niedriger sein. Demzufolge ist ein System erforderlich, das in der Lage ist, einen Interpolationskoeffizienten gemäß der Position eines Objekts in einem Bild zu korrigieren.
-
ZUSAMMENFASSUNG
-
Um das oben beschriebene Problem im Stand der Technik zu lösen, stellt die vorliegende Erfindung eine Vorrichtung zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich bereit, die in der Lage ist, die Genauigkeit beim Berechnen des Abstandes von einem Objekt unter Verwendung eines Stereobildes durch adaptives Korrigieren eines Interpolationskoeffizienten, der die Tiefe eines Baumes in einem Quadtree-basierten Stereoabgleich-Algorithmus bestimmt, auf der Grundlage der Position des Objekts in einem Bild zu verbessern.
-
Gemäß Ausführungsformen der vorliegenden Offenbarung umfasst eine Vorrichtung zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich der vorliegenden Offenbarung: eine Interpolationskoeffizienten-Erzeugungsvorrichtung, die eingerichtet ist, um einen Interpolationskoeffizienten λ zu erzeugen; eine Korrekturwert-Berechnungsvorrichtung, die eingerichtet ist, um einen Parameter und einen Gewichtswert auf der Grundlage einer Position eines Objekts in einem Bild zu berechnen; und eine Interpolationskoeffizienten-Korrekturvorrichtung, die eingerichtet ist, um den erzeugten Interpolationskoeffizienten durch Multiplizieren des berechneten Parameters und des berechneten Gewichtswerts mit dem erzeugten Interpolationskoeffizienten zu korrigieren.
-
Die Korrekturwert-Berechnungsvorrichtung kann eine erste Parameter-Berechnungsvorrichtung umfassen, die eingerichtet ist, um einen ersten Parameter α unter Verwendung der folgenden Gleichung α = 2d zu berechnen, wobei d ein Abstand zwischen einer Stereokamera und dem Objekt ist.
-
Die Korrekturwert-Berechnungsvorrichtung kann eine zweite Parameter-Berechnungsvorrichtung umfassen, die eingerichtet ist, um einen zweiten Parameter β, der einem Abstand zu dem Objekt entspricht, auf der Grundlage einer Anzahl von Pixeln zu einem Fluchtpunkt in dem Bild und eines einem Pixel entsprechenden Abstandes zu berechnen.
-
Die Korrekturwert-Berechnungsvorrichtung kann eine Fahrspur-Erfassungsvorrichtung umfassen, die eingerichtet ist, um einen Gewichtswert γ zuzuordnen, wenn das Objekt in der gleichen Fahrspur wie sein Fahrzeug positioniert ist.
-
Die Korrekturwert-Berechnungsvorrichtung kann eine Kanten-Erfassungsvorrichtung umfassen, die eingerichtet ist, um einen Gewichtswert δ zuzuordnen, wenn eine Kante des Objekts erfasst wird.
-
Die Korrekturwert-Berechnungsvorrichtung kann umfassen: eine erste Parameter-Berechnungsvorrichtung, die eingerichtet ist, um einen ersten Parameter α unter Verwendung der Gleichung α = 2d zu berechnen, wobei d ein Abstand zwischen einer Stereokamera und dem Objekt ist; eine zweite Parameter-Berechnungsvorrichtung, die eingerichtet ist, um einen zweiten Parameter β, der einem Abstand zu dem Objekt entspricht, auf der Grundlage einer Anzahl von Pixeln zu einem Fluchtpunkt in dem Bild und eines einem Pixel entsprechenden Abstandes zu berechnen; eine Fahrspur-Erfassungsvorrichtung, die eingerichtet ist, um einen Gewichtswert γ zuzuordnen, wenn das Objekt in der gleichen Fahrspur wie sein Fahrzeug positioniert ist; eine Kanten-Erfassungsvorrichtung, die eingerichtet ist, um einen Gewichtswert δ zuzuordnen, wenn eine Kante des Objekts erfasst wird.
-
Die Interpolationskoeffizienten-Korrekturvorrichtung korrigiert den Interpolationskoeffizienten λ unter Verwendung der folgenden Gleichung: λ' = λ × α × β × γ × δ, wobei λ' der korrigierte Interpolationskoeffizient ist.
-
Ferner umfasst ein Verfahren zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich gemäß Ausführungsformen der vorliegenden Offenbarung: Erzeugen eines Interpolationskoeffizienten λ; Berechnen eines Parameters und eines Gewichtswerts auf der Grundlage einer Position eines Objekts in einem Bild; und Korrigieren des erzeugten Interpolationskoeffizienten durch Multiplizieren des berechneten Parameters und des berechneten Gewichtswerts mit dem erzeugten Interpolationskoeffizienten.
-
Das Verfahren kann ferner ein Berechnen eines ersten Parameters α unter Verwendung der folgenden Gleichung umfassen: α = 2d, wobei d ein Abstand zwischen einer Stereokamera und dem Objekt ist.
-
Das Verfahren kann ferner ein Berechnen eines zweiten Parameters β, der einem Abstand zu dem Objekt entspricht, auf der Grundlage einer Anzahl von Pixeln zu einem Fluchtpunkt in dem Bild und eines einem Pixel entsprechenden Abstandes umfassen.
-
Das Verfahren kann ferner ein Zuordnen eines Gewichtswerts γ umfassen, wenn das Objekt in der gleichen Fahrspur wie sein Fahrzeug positioniert ist.
-
Das Verfahren kann ferner ein Zuordnen eines Gewichtswerts δ umfassen, wenn eine Kante des Objekts erfasst wird.
-
Das Verfahren kann ferner umfassen: Berechnen eines ersten Parameters α unter Verwendung der folgenden Gleichung: α = 2d, wobei d ein Abstand zwischen einer Stereokamera und dem Objekt ist; Berechnen eines zweiten Parameters β, der einem Abstand zu dem Objekt entspricht, auf der Grundlage einer Anzahl von Pixeln zu einem Fluchtpunkt in dem Bild und eines einem Pixel entsprechenden Abstandes; Zuordnen eines Gewichtswerts γ, wenn das Objekt in der gleichen Fahrspur wie sein Fahrzeug positioniert ist; und Zuordnen eines Gewichtswerts δ, wenn eine Kante des Objekts erfasst wird.
-
Das Verfahren kann ferner ein Korrigieren des Interpolationskoeffizienten λ unter Verwendung der folgenden Gleichung umfassen: λ' = λ × α × β × γ × δ, wobei λ' der korrigierte Interpolationskoeffizient ist.
-
Ferner umfasst ein nichtflüchtiges computerlesbares Medium, das Programmbefehle zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich enthält, gemäß Ausführungsformen der vorliegenden Offenbarung: Programmbefehle, die einen Interpolationskoeffizienten λ erzeugen; Programmbefehle, die einen Parameter und einen Gewichtswert auf der Grundlage einer Position eines Objekts in einem Bild berechnen; und Programmbefehle, die den erzeugten Interpolationskoeffizienten durch Multiplizieren des berechneten Parameters und des berechneten Gewichtswerts mit dem erzeugten Interpolationskoeffizienten korrigieren.
-
Demzufolge können die Lehren der vorliegenden Offenbarung die Genauigkeit beim Berechnen des Abstandes von einem Objekt unter Verwendung eines Stereobildes durch adaptives Korrigieren eines Interpolationskoeffizienten, der die Tiefe eines Baumes in einem Quadtree-basierten Stereoabgleich-Algorithmus bestimmt, auf der Grundlage der Position des Objekts in einem Bild verbessern.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Die obigen und weiteren Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen deutlicher. In den Figuren zeigen:
-
1 ein Konfigurationsdiagramm einer Vorrichtung zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich gemäß Ausführungsformen der vorliegenden Offenbarung; und
-
2 ein beispielhaftes Diagramm eines Stereobild-basierten Abstandsberechnungsprozesses gemäß der vorliegenden Offenbarung.
-
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Die vorstehenden Aufgaben, Merkmale und Vorteile werden durch die nachfolgende ausführliche Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen ersichtlicher, und somit kann ein Durchschnittsfachmann die technische Lehre der vorliegenden Offenbarung umsetzen/ausführen. Nachstehend werden unter Bezugnahme auf die beigefügten Zeichnungen die Ausführungsformen der vorliegenden Erfindung im Detail beschrieben. Weitere Aufgaben und Vorteile der vorliegenden Offenbarung können durch die folgende Beschreibung nachvollzogen werden und sie werden durch die offenbarten Ausführungsformen deutlicher. Es versteht sich auch, dass die Aufgaben und Vorteile der vorliegenden Offenbarung durch Mittel, die in den Ansprüchen und einer Kombination derselben beschrieben werden, realisiert/erzielt werden können.
-
Die hierin verwendete Terminologie ist zum Zwecke der Beschreibung bestimmter Ausführungsformen vorgesehen und ist nicht dazu bestimmt, die Erfindung einzuschränken. Wie hierin verwendet, sind die Singularformen ”ein”, ”eine/einer” und ”der/die/das” dazu vorgesehen, dass sie ebenso die Pluralformen umfassen, wenn aus dem Zusammenhang nicht eindeutig etwas anderes hervorgeht. Es versteht sich ferner, dass die Ausdrücke ”aufweisen” und/oder ”aufweisend”, wenn sie in dieser Beschreibung verwendet werden, die Anwesenheit der angegebenen Merkmale, Zahlen, Schritte, Operationen, Elemente und/oder Komponenten beschreiben, aber nicht das Vorhandensein oder die Hinzufügung von einen oder mehreren Merkmalen, Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen. Wie hierin verwendet, umfasst der Ausdruck ”und/oder” jede und sämtliche Kombinationen von einem oder mehreren der zugeordneten aufgeführten Elemente.
-
Es versteht sich, dass der Ausdruck ”Fahrzeug” oder ”Fahrzeug-” oder andere gleichlautende Ausdrücke wie sie hierin verwendet werden, Kraftfahrzeuge im Allgemeinen wie z. B. Personenkraftwagen einschließlich Sports Utility Vehicles (SUV), Busse, Lastwägen, verschiedene Nutzungsfahrzeuge, Wasserfahrzeuge, einschließlich einer Vielfalt von Booten und Schiffen, Luftfahrzeugen und dergleichen einschließen, und Hybridfahrzeuge, Elektrofahrzeuge, Plug-In-Hybridelektrofahrzeuge, wasserstoffbetriebene Fahrzeuge und andere Fahrzeuge mit alternativen Kraftstoff umfassen (beispielsweise Kraftstoff, der von anderen Quellen als Erdöl gewonnen wird). Wie hierin Bezug genommen wird, ist ein Hybridfahrzeug ein Fahrzeug, das zwei oder mehr Antriebsquellen aufweist, wie zum Beispiel sowohl benzinbetriebene als auch elektrisch angetriebene Fahrzeuge.
-
Zusätzlich versteht es sich, dass ein oder mehrere der nachfolgenden Verfahren oder Ausgestaltungen derselben durch zumindest eine Steuerung ausgeführt werden können. Der Ausdruck Steuerung kann sich auf eine Hardware-Vorrichtung, die einen Speicher und einen Prozessor umfasst, die eingerichtet ist, um einen oder mehrere Schritte auszuführen, beziehen. Der Speicher ist eingerichtet, um Programmbefehle zu speichern, und der Prozessor ist eingerichtet, um die Programmbefehle auszuführen, um einen oder mehrere Prozesse, die weiter unten beschrieben werden, durchzuführen. Außerdem versteht es sich, dass die nachfolgenden Verfahren durch eine Vorrichtung, aufweisend die Steuerung, ausgeführt werden können, wobei die Vorrichtung im Stand der Technik bekannt ist, die dazu geeignet ist, um einen Interpolationskoeffizienten für einen Stereoabgleich zu korrigieren.
-
Darüber hinaus kann die Steuerlogik der vorliegenden Erfindung als nichtflüchtige computerlesbare Medien auf einem computerlesbaren Medium ausgeführt werden, das ablauffähige Programmbefehle umfasst, die durch einen Prozessor, eine Steuerung/Steuereinheit oder dergleichen ausgeführt werden. Beispiele von computerlesbaren Speichermedien umfassen in nicht einschränkender Weise ROM, RAM, Compact-Disc(CD)-ROMs, Magnetbänder, Floppydisks, Flash-Laufwerke, Smart Cards und optische Datenspeichervorrichtungen. Das computerlesbare Aufzeichnungsmedium kann ebenfalls in netzgekoppelten Computersystemen dezentral angeordnet sein, so dass das computerlesbare Medium in einer verteilten Art und Weise gespeichert und ausgeführt wird, z. B. durch einen Telematik-Server oder ein Controller Area Network (CAN).
-
Unter Bezugnahme auf 1 der vorliegenden Offenbarung zeigt 1 ein Konfigurationsdiagramm einer Vorrichtung zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich gemäß den Ausführungsformen der vorliegenden Offenbarung.
-
Wie in 1 dargestellt ist, umfasst eine Vorrichtung zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich gemäß der vorliegenden Offenbarung eine Interpolationskoeffizienten-Erzeugungsvorrichtung 10, eine erste Parameter-Berechnungsvorrichtung 20, eine zweite Parameter-Berechnungsvorrichtung 30, eine Fahrspur-Erfassungsvorrichtung 40, eine Kanten-Erfassungsvorrichtung 50 und eine Interpolationskoeffizienten-Korrekturvorrichtung 60. Zuerst erzeugt die Interpolationskoeffizienten-Erzeugungsvorrichtung 10 einen Interpolationskoeffizienten (λ), der die Tiefe eines Baumes in einem Quadtree-basierten Stereoabgleich-Algorithmus bestimmt. Da die Technologie, in welcher die Interpolationskoeffizienten-Erzeugungsvorrichtung 10 den Interpolationskoeffizienten erzeugt, bekannt ist, wird der ausführliche Prozess weggelassen.
-
Als nächstes berechnet die erste Parameter-Berechnungsvorrichtung 20 den Abstand zwischen einer Stereokamera und einem Objekt (z. B. ein Hindernis) auf der Grundlage eines Stereobildsystems (Stereo-Vision-System) und berechnet dann einen ersten Parameter α auf der Grundlage der folgenden Gleichung:
-
[Gleichung 1]
-
-
Nachstehend wird unter Bezugnahme auf 2 der Prozess, in welchem die erste Parameter-Berechnungsvorrichtung 20 den Abstand d berechnet, beschrieben.
-
Zuerst wird die Tiefenkarte durch Auffinden/Ermitteln eines entsprechenden Punktes unter Verwendung des von der Stereokamera 220 aufgenommenen Bildes erzeugt. Ein sich bewegendes Objekt wird unter Verwendung der Tiefenkarte und des linken/rechten Bildes erfasst und ein Disparitätsmittelwert in dem sich bewegenden Objekt wird erhalten. In einem Stereobildsystem kann der Abstand des Objekts unter Verwendung der erhaltenen Disparität geschätzt/veranschlagt werden.
-
In 2 bezieht sich b (d. h., Grundlinie) auf den Abstand zwischen den Zentren der Stereokameras, f bezieht sich auf die Brennweite der Stereokamera (z. B. der Abstand zwischen einer Linse und einer Abbildungsvorrichtung (zum Beispiel CCD, CMOS usw.), x1 bezieht sich auf den Abstand, um den das von der linken Kamera fokussierte Objekt von dem Zentrum der linken Kamera abgewichen ist, xr bezieht sich auf den Abstand, um den das von der rechten Kamera fokussierte Objekt von dem Zentrum der rechten Kamera abgewichen ist, und d bezieht sich auf den vertikalen Abstand zwischen dem Objekt und der Stereokamera.
-
Demzufolge kann d durch die folgende Gleichung dargestellt werden: [Gleichung 2]
-
Hierbei bezieht sich Pd auf den Abstand zwischen Pixeln eines Bildes und k bezieht sich auf die Anzahl von Pixeln. Das heißt, d kann durch Dividieren des Produkts des Abstandes zwischen den Zentren der Stereokameras b und der Brennweite der Stereokamera f durch die Zeitdifferenz x1 – xr berechnet werden. Die Zeitdifferenz x1 – xr kann durch das Produkt des Abstandes zwischen Pixeln eines Bildes Pd und der Anzahl von Pixeln k angenähert werden.
-
Als nächstes berechnet die zweite Parameter-Berechnungsvorrichtung 30 einen Abstand β zu dem Objekt auf der Grundlage der Anzahl von Pixeln zu einem Fluchtpunkt in einem Bild und des den Pixeln entsprechenden Abstandes, der durch den Fahrspur-Schätzalgorithmus geschätzt wird. Wo zum Beispiel die Anzahl von Pixeln zu dem Fluchtpunkt 100 betragen kann, kann ein einzelnes Pixel tatsächlich 1 m darstellen (es kann in dem Anfangseinstellungsprozess bekannt sein). Somit, wenn die Anzahl von Pixeln von dem unteren Ende des Bildes zu dem Objekt 10 beträgt, beträgt der Abstand von der Stereokamera zu dem Objekt 10 m.
-
Als nächstes ordnet die Fahrspur-Erfassungsvorrichtung 40 einen ersten Gewichtswert (zum Beispiel γ > 1) als einen Gewichtswert γ zu, wenn das Objekt in der gleichen Fahrspur mit seinem Fahrzeug positioniert wird, und ordnet einen zweiten Gewichtswert (γ = 1) zu, wenn das Objekt nicht in der gleichen Fahrspur wie mit seinem Fahrzeug positioniert wird. Als nächstes ordnet die Kanten-Erfassungsvorrichtung 50 einen dritten Gewichtswert (zum Beispiel δ > 1) als einen Gewichtswert δ zu, wenn das Objekt durch die Kante beim Erfassen des Objekts durch den Kanten-Schätzalgorithmus erfasst wird, und ordnet einen vierten Schwellenwert (δ = 1) zu, wenn das Objekt nicht durch die Kante erfasst wird. Hierbei bedeutet die Kante den Abschnitt (d. h. Pixel), bei dem die Änderung zwischen den Flächen groß ist.
-
Als nächstes korrigiert die Interpolationskoeffizienten-Korrekturvorrichtung 60 den durch die Interpolationskoeffizienten-Erzeugungsvorrichtung 10 erzeugten Interpolationskoeffizienten unter Verwendung von zumindest einem des ersten Parameters α, der durch die erste Parameter-Berechnungsvorrichtung 20 berechnet wird, des zweiten Parameters β, der durch die zweite Parameter-Berechnungsvorrichtung 30 berechnet wird, des Gewichtswerts γ, der durch die Fahrspur-Erfassungsvorrichtung 40 zugeordnet wird, und des Gewichtswerts δ, der durch die Kanten-Erfassungsvorrichtung 50 zugeordnet wird. Das heißt, die Interpolationskoeffizienten-Korrekturvorrichtung 60 kann den Interpolationskoeffizienten unter Verwendung der folgenden Gleichung korrigieren:
-
[Gleichung 3]
-
-
Obwohl α, β, γ, δ alle zusammen in [Gleichung 3] angewendet werden, muss lediglich einer von diesen Parametern in der Gleichung angewendet werden (es sollte zumindest ein Parameter angewendet werden). Somit gibt es insgesamt 15 mögliche Formelkonfigurationen. Demzufolge verwendet die Korrekturwert-Berechnungsvorrichtung Werte, die von einer der ersten Parameter-Berechnungsvorrichtung 20, der zweiten Parameter-Berechnungsvorrichtung 30, der Fahrspur-Erfassungsvorrichtung 40 und der Kanten-Erfassungsvorrichtung 50 abgeleitet werden.
-
Wie oben beschrieben, obwohl die vorliegende Offenbarung durch bestimmte Konfigurationen und Zeichnungen erläutert wird, ist das technische Konzept der Erfindung nicht auf die vorgenannten Ausführungsformen beschränkt und verschiedene Modifikationen und Änderungen können innerhalb der Äquivalente des technischen Konzepts der vorliegenden Offenbarung und der beigefügten Ansprüche durch einen Durchschnittsfachmann vorgenommen werden.
-
Bezugszeichenliste
-
- 10
- Interpolationskoeffizienten-Erzeugungsvorrichtung
- 20
- erste Parameter-Berechnungsvorrichtung
- 30
- zweite Parameter-Berechnungsvorrichtung
- 40
- Fahrspur-Erfassungsvorrichtung
- 50
- Kanten-Erfassungsvorrichtung
- 60
- Interpolationskoeffizienten-Korrekturvorrichtung
