DE102012222361A1

DE102012222361A1 - Umgebungserkennungsvorrichtung

Info

Publication number: DE102012222361A1
Application number: DE102012222361A
Authority: DE
Inventors: Minami Asatani; Masatoshi Okutomi; Shigeki Sugimoto
Original assignee: Honda Motor Co Ltd; Tokyo Institute of Technology NUC
Current assignee: Honda Motor Co Ltd; Tokyo Institute of Technology NUC
Priority date: 2011-12-06
Filing date: 2012-12-05
Publication date: 2013-06-06
Anticipated expiration: 2032-12-06
Also published as: US20130141546A1; US8896689B2; JP2013120083A; JP5515018B2; DE102012222361B4

Abstract

Eine Vorrichtung, die in der Lage ist, die Abschätzungsgenauigkeit von Informationen über ein Subjekt, einschließlich des Abstandes bis zum Subjekt, zu verbessern, wird geschaffen. Gemäß einer Umgebungserkennungsvorrichtung der vorliegenden Erfindung wird eine erste Kostenfunktion als abnehmende Funktion eines Objektpunktabstandes Z definiert. Je länger der Objektpunktabstand Z ist, desto niedriger werden folglich die ersten Kosten eines betreffenden Pixels bewertet. Dies verringert den Beitrag der ersten Kosten eines Pixels, das sehr wahrscheinlich einen großen Mess- oder Abschätzungsfehler des Objektpunktabstandes Z aufweist, zu den Gesamtkosten C. Dadurch wird die Abschätzungsgenauigkeit eines Ebenenparameters ^q, der die Oberflächenposition und -lage des Subjekts darstellt, verbessert.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung, die einen Abstand oder dergleichen bis zu einem Subjekt unter Verwendung eines Entfernungsbildsensors und von zwei Bildsensoren abschätzt.
2. Beschreibung des Standes der Technik
Ein Verfahren zum Abschätzen eines Ebenenparameters und eines Abstandes gemäß einem Gradientenverfahren auf der Basis von Luminanzinformationen, die von einer Stereokamera erfasst werden, wurde vorgeschlagen (siehe Nicht-Patent-Dokument 1: "Lukas-Kanade 20 Years On: A Unifying Framework Part 1: The Quantity Approximated, the Warp Update Rule and the Gradient Descent Approximation" S. Baker und I Matthews, International Journal of Computer Vision [2004] Band: 56, Ausgabe: 3, Seiten: 221–255).
Es wurde auch ein Verfahren zum Abschätzen eines Entfernungsbildes durch Kombinieren eines durch einen Entfernungsbildsensor aufgenommenen Entfernungsbildes und von Bildern, die durch individuelle Stereokameras aufgenommen werden, vorgeschlagen (siehe Nicht-Patent-Dokument 2: "Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps", JieJie Zhu, u. a. IEEE [2008]).
Insbesondere wird die Gesamtwahrscheinlichkeit auf der Basis der Abstandswahrscheinlichkeit und der Luminanzwahrscheinlichkeit berechnet und der Abstandskandidatenwert mit der höchsten Gesamtwahrscheinlichkeit unter mehreren Abstandskandidatenwerten wird als echter Abstandswert an jedem Pixel des Entfernungsbildes abgeschätzt.
Die Gewichte der Abstandswahrscheinlichkeit und der Luminanzwahrscheinlichkeit werden gemäß einer empirischen Regel unabhängig davon, ob der Abstand bis zu einem Subjekt lang oder kurz ist, bestimmt. Folglich wird ein Einfluss der Informationen auf einem langen Abstand, der einen großen Messfehler verursacht, in der Gesamtwahrscheinlichkeit in einem nicht ignorierbaren Grad widergespiegelt, wodurch die Abstandsabschätzungsgenauigkeit wahrscheinlich abnimmt.
Folglich ist es eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung zu schaffen, die in der Lage ist, die Abschätzungsgenauigkeit der Subjektinformationen, einschließlich eines Abstandes bis zu einem Subjekt, zu verbessern.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung, die eine Position und eine Lage einer Oberfläche eines Subjekts unter Verwendung von Folgendem abschätzt: einem Bereichs- bzw. Entfernungsbildsensor, der dazu konfiguriert ist, einen Abstand bis zum Subjekt zu messen; einem Standardbildsensor, der dazu konfiguriert ist, ein Standardbild, das aus mehreren Pixeln mit jeweils einer festgelegten physikalischen Größe des Subjekts als Pixelwert besteht, durch Abbilden des Subjekts aufzunehmen; und einem Referenzbildsensor, der dazu konfiguriert ist, ein Referenzbild, das aus mehreren Pixeln mit jeweils der festgelegten physikalischen Größe des Subjekts als Pixelwert besteht, durch Abbilden des Subjekts aufzunehmen.
Gemäß einem ersten Aspekt der Erfindung wird eine Umgebungserkennungsvorrichtung geschaffen, die Folgendes aufweist: ein erstes Verarbeitungselement, das dazu konfiguriert ist, erste Kosten unter Verwendung einer ersten Kostenfunktion, die als multivariate Funktion definiert ist, die eine zunehmende Funktion in Bezug auf eine erste Abweichung und eine abnehmende Funktion in Bezug auf einen Objektpunktabstand ist, für jedes Pixel, das zum Objektbereich gehört, der zumindest ein Teil des Standardbildes ist, auf der Basis der ersten Abweichung, die gemäß der Länge eines Intervalls zwischen einem realen Punkt, dessen Position durch den Entfernungsbildsensor, als Abstandsmesswert gemessen wird, und einem virtuellen Punkt als Ergebnis der Projektion des realen Punkts auf eine virtuelle Oberfläche in Bezug auf eine Augenrichtung des Standardbildsensors bestimmt wird, und des Objektpunktabstandes, der ein Abstand zwischen dem Standardbildsensor und einem Objektpunkt ist, der einer des realen Punkts und des virtuellen Punkts ist, in Bezug auf eine Richtung einer optischen Achse des Standardbildsensors zu berechnen; ein zweites Verarbeitungselement, das dazu konfiguriert ist, zweite Kosten unter Verwendung einer zweiten Kostenfunktion, die eine zunehmende Funktion in Bezug auf eine zweite Abweichung ist, für jedes Pixel, das zum Objektbereich des Standardbildes gehört, auf der Basis der zweiten Abweichung als Abweichung zwischen dem Pixelwert des Pixels im Standardbild und dem Pixelwert des Pixels im Referenzbild und des Pixelwerts des Pixels des Referenzbildes, das dem Pixel des Standardbildes entspricht, gemäß der Position und Lage der virtuellen Oberfläche zu berechnen; und ein drittes Verarbeitungselement, das dazu konfiguriert ist, die Position und Lage der Oberfläche des Subjekts durch Erkunden der virtuellen Oberfläche abzuschätzen, so dass die Gesamtkosten, die eine Gesamtsumme der ersten Kosten und der zweiten Kosten sind, in Bezug auf jedes Pixel, das zum Objektbereich des Standardbildes gehört, nahe den Minimalwert der Gesamtkosten gebracht werden.
Gemäß der Umgebungserkennungsvorrichtung des ersten Aspekts der Erfindung ist die erste Kostenfunktion als abnehmende Funktion in Bezug auf den Objektpunktabstand definiert. Daher gilt, je länger der Objektpunktabstand ist, desto niedriger werden die ersten Kosten des betreffenden Pixels bewertet. Dies verringert den Beitrag der ersten Kosten eines Pixels, das sehr wahrscheinlich einen großen Messfehler oder Abschätzungsfehler des Objektpunktabstandes aufweist, zu den Gesamtkosten. Dadurch wird die Abschätzungsgenauigkeit der Subjektinformationen, einschließlich des Abstandes bis zum Subjekt, verbessert.
In der Umgebungserkennungsvorrichtung gemäß dem ersten Aspekt der Erfindung ist die erste Kostenfunktion vorzugsweise als zunehmende Funktion in Bezug auf eine Genauigkeit einer Messung eines Abstandes bis zum Subjekt, die durch den Entfernungsbildsensor erhalten wird, definiert und das erste Verarbeitungselement ist dazu konfiguriert, die Genauigkeit der Messung des Abstandes zu erkennen und die ersten Kosten auf der Basis der ersten Abweichung, des Objektpunktabstandes und der Genauigkeit gemäß der ersten Kostenfunktion zu berechnen.
In der Umgebungserkennungsvorrichtung gemäß dem ersten Aspekt der Erfindung ist vorzugsweise die zweite Kostenfunktion als zunehmende Funktion in Bezug auf eine Genauigkeit einer Messung eines Pixelwerts, die durch den Standardbildsensor und/oder den Referenzbildsensor erhalten wird, definiert und das zweite Verarbeitungselement ist dazu konfiguriert, die Genauigkeit der Messung des Pixelwerts zu erkennen und die zweiten Kosten auf der Basis zumindest der zweiten Abweichung und der Genauigkeit gemäß der zweiten Kostenfunktion zu berechnen.
In der Umgebungserkennungsvorrichtung gemäß dem ersten Aspekt der Erfindung ist vorzugsweise das dritte Verarbeitungselement dazu konfiguriert, die Position und Lage der Oberfläche des Subjekts gemäß einem Verfahren kleinster Quadrate abzuschätzen.
Gemäß einem zweiten Aspekt der Erfindung wird eine Umgebungserkennungsvorrichtung geschaffen, die die Position und Lage einer Oberfläche eines Subjekts unter Verwendung von Folgendem abschätzt: einem Bereichs- bzw. Entfernungsbildsensor, der dazu konfiguriert ist, einen Abstand bis zum Subjekt zu messen; einem Standardbildsensor, der dazu konfiguriert ist, ein Standardbild, das aus mehreren Pixeln mit jeweils einer festgelegten physikalischen Größe des Subjekts als Pixelwert besteht, durch Abbilden des Subjekts aufzunehmen; und einem Referenzbildsensor, der dazu konfiguriert ist, ein Referenzbild, das aus mehreren Pixeln mit jeweils der festgelegten physikalischen Größe des Subjekts als Pixelwert besteht, durch Abbilden des Subjekts aufzunehmen, wobei die Umgebungserkennungsvorrichtung Folgendes aufweist: ein erstes Verarbeitungselement, das dazu konfiguriert ist, eine erste Abweichung auf der Basis eines Parallaxenrestfehlers, der eine Abweichung zwischen einer Pixelposition, die durch Projizieren der Pixelposition des Standardbildsensors entsprechend dem Abstandsmesswert auf den Referenzbildsensor erhalten wird, und einer Pixelposition, die durch Projizieren der Pixelposition des Standardbildsensors entsprechend einem Abstandskandidatenwert auf den Referenzbildsensor erhalten wird, ist, gemäß einer Einschränkungsbedingung, dass die durch den Standardbildsensor und den Referenzbildsensor erfasste festgelegte physikalische Größe in derselben Position im Bild identisch ist, in Bezug auf jede von mehreren Pixelpositionen eines durch den Entfernungsbildsensor aufgenommenen Entfernungsbildes zu berechnen; ein zweites Verarbeitungselement, das dazu konfiguriert ist, den Pixelwert eines Pixels im Referenzbild, das einem Pixel im Standardbild entspricht, gemäß der Parallaxe zu erfassen und eine zweite Abweichung der festgelegten physikalischen Größe, die ein Pixelwert von jedem von mehreren Pixeln im Standardbild und im Referenzbild ist, auf der Basis der Annahme, dass der Standardbildsensor und der Referenzbildsensor eine Parallaxe aufweisen, gemäß dem Abstandskandidatenwert zu berechnen; und ein drittes Verarbeitungselement, das dazu konfiguriert ist, eine Divergenz zwischen dem Standardbild und dem Referenzbild auf der Basis der durch das erste Verarbeitungselement berechneten ersten Abweichung und der durch das zweite Verarbeitungselement berechneten zweiten Abweichung zu berechnen und den Abstandskandidatenwert unter mehreren Abstandskandidatenwerten, der die Divergenz minimiert, als echten Abstandswert an jedem Pixel des Entfernungsbildes abzuschätzen.
Gemäß der Umgebungserkennungsvorrichtung des zweiten Aspekts der Erfindung wird die erste Abweichung gemäß der universellen Bedingung ”die festgelegte physikalische Größe an derselben Stelle ist in Bildern, die zu derselben oder im Wesentlichen derselben Istzeit durch den Standardbildsensor und den Referenzbildsensor aufgenommen werden, identisch” berechnet. Durch Vergleichen mit dem Fall, in dem die Wahrscheinlichkeit des Abstandskandidatenwerts auf der Basis der Auswertungsfunktion ausgewertet wird, die auf der Basis einer empirischen Regel entworfen ist, kann somit ein echter Abstandswert, folglich die Abschätzungsgenauigkeit des Entfernungsbildes, verbessert werden.
In der Umgebungserkennungsvorrichtung gemäß dem zweiten Aspekt der Erfindung berechnet das erste Verarbeitungselement vorzugsweise die erste Abweichung durch Durchführen einer Transformation vom Parallaxenrestfehler auf eine Abweichung in der festgelegten physikalischen Größe.
In der Umgebungserkennungsvorrichtung gemäß dem zweiten Aspekt der Erfindung berechnet das erste Verarbeitungselement vorzugsweise die erste Abweichung durch Durchführen der Transformation durch Multiplizieren des Parallaxenrestfehlers mit einem Gradienten der festgelegten physikalischen Größe entlang der Epipolarlinienrichtung.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ein erläuterndes Konfigurationsdiagramm, das eine Umgebungserkennungsvorrichtung als Ausführungsform der vorliegenden Erfindung darstellt;
2 ein Diagramm, das einen Ablaufplan eines Umgebungserkennungsverfahrens als Ausführungsform der vorliegenden Erfindung darstellt;
3 ein erläuterndes Diagramm einer Korrelation zwischen einem Standardbild-Koordinatensystem und einem Entfernungsbild-Koordinatensystem;
4 ein erläuterndes Diagramm eines realen Punkts, einer virtuellen Oberfläche und eines virtuellen Punkts;
5 ein erläuterndes Diagramm einer Beziehung zwischen dem Standardbild-Koordinatensystem und einem Referenzbild-Koordinatensystem; und
6 ein erläuterndes Diagramm von Umgebungserkennungsergebnissen.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
(Konfiguration)
Eine Umgebungserkennungsvorrichtung 1, die in 1 dargestellt ist, weist einen Entfernungsbildsensor C0 einen Standardbildsensor C1 und einen Referenzbildsensor C2 auf. Die Umgebungserkennungsvorrichtung 1 ist an einer beweglichen Vorrichtung wie beispielsweise einem Fahrzeug oder einem mobilen Roboter mit Beinen angebracht und wird verwendet, um die Umgebung der beweglichen Vorrichtung zu erkennen.
Der Entfernungsbildsensor C0 ist beispielsweise ein Laufzeit-Entfernungsbildsensor (TOF-Entfernungsbildsensor) und nimmt ein primäres Entfernungsbild auf, in dem jedes Pixel einen Abstandsmesswert Ds' (siehe 4) als Pixelwert aufweist. Abbildungselemente, die auf einer Abbildungsoberfläche oder einer flachen Oberfläche des Entfernungsbildsensors C0 angeordnet sind, definieren das ”Primärentfernungsbild-Koordinatensystem”.
Der Standardbildsensor C1 ist eine Kamera (beispielsweise die linke Kamera) von Stereokameras für sichtbares Licht und nimmt ein Standardbild auf, in dem jedes Pixel zumindest eine Luminanz (festgelegte physikalische Größe) als Pixelwert aufweist. Die Richtung der optischen Achse des Standardbildsensors C1 ist als Z-Achsen-Richtung definiert (siehe 4). Abbildungselemente, die auf einer Abbildungsoberfläche oder flachen Oberfläche des Standardbildsensors C1 angeordnet sind, definieren das ”Standardbild-Koordinatensystem”. Die horizontale Richtung des Standardbild-Koordinatensystems ist als X-Achsen-Richtung definiert und die vertikale Richtung ist als Y-Achsen-Richtung definiert.
Der Referenzbildsensor C2 ist die andere Kamera (beispielsweise die rechte Kamer) der Stereokameras für sichtbares Licht und nimmt ein Referenzbild auf, in dem jedes Pixels ähnlich dem Standardbild zumindest eine Luminanz als Pixelwert aufweist. Abbildungselemente, die auf einer Abbildungsoberfläche oder einer flachen Oberfläche des Referenzbildsensors C2 angeordnet sind, definieren das ”Referenzbild-Koordinatensystem”.
Kameraparameter (ein interner Parameter und ein externer Parameter) des Entfernungsbildsensors C0, des Standardbildsensors C1 und des Referenzbildsensors C2 sind bekannt und sind in einem Speicher eines Computers gespeichert, der die Umgebungserkennungsvorrichtung 1 bildet. Eine Rotationsmatrix und eine Translationsmatrix, die eine Koordinatentransformation zwischen dem Primärentfernungsbild-Koordinatensystem und dem Standardbild-Koordinatensystem darstellen, oder eine dazu äquivalente Quaternion sind beispielsweise im Speicher gespeichert. Ebenso sind eine Rotationsmatrix und eine Translationsmatrix, die eine Koordinatentransformation zwischen dem Standardbild-Koordinatensystem und dem Referenzbild-Koordinatensystem darstellen, oder eine dazu äquivalente Quaternion im Speicher gespeichert.
In dem Fall, in dem die Umgebungserkennungsvorrichtung 1 an einem Roboter angebracht ist, werden die Position und Lage im Primärentfernungsbild-Koordinatensystem, im Standardbild-Koordinatensystem und im Referenzbild-Koordinatensystem in Bezug auf das Roboterkoordinatensystem gemäß einem Vorwärtskinematikmodell berechnet, das ein Verhalten des Roboters darstellt, und dann im Speicher gespeichert.
Im Roboterkoordinatensystem ist das Massenzentrum (beispielsweise in der Basis enthalten) des Roboters als Ursprung definiert, die Aufwärtsseite des Roboters ist als +x-Richtung definiert, die rechte Seite ist als +y-Richtung definiert und die Vorderseite ist als +z-Richtung definiert. Die Position und Lage des Roboterkoordinatensystems im Weltkoordinatensystem werden beispielsweise gemäß der Aktionsebene des Roboters definiert.
Die Umgebungserkennungsvorrichtung 1 besteht aus einem programmierbaren Computer und weist ein erstes Verarbeitungselement 11, ein zweites Verarbeitungselement 12 und ein drittes Verarbeitungselement 13 auf, die dazu konfiguriert sind, eine Rechenverarbeitung, die später beschrieben wird, für ein betreffendes Bild durchzuführen. Die drei Verarbeitungselemente 11 bis 13 können jeweils aus einem einzelnen Computer bestehen oder aus mehreren Computern bestehen, die physikalisch voneinander unabhängig sind.
Die Formulierung, so dass jedes Verarbeitungselement dazu ”konfiguriert” ist, eine Rechenverarbeitung durchzuführen, die dem Verarbeitungselement zugewiesen ist, bedeutet, dass die Rechenverarbeitungseinheit wie z. B. eine CPU, die jedes Verarbeitungselement bildet, so ”programmiert” ist, dass sie eine Software zusätzlich zu erforderlichen Informationen aus dem Speicher wie z. B. einem ROM, RAM oder dergleichen oder von einem Aufzeichnungsmedium liest und dann die Rechenverarbeitung gemäß der Software für die betreffenden Informationen durchführt.
(Funktionen)
Ein Umgebungserkennungsverfahren, das von der Umgebungserkennungsvorrichtung 1 mit der obigen Konfiguration durchgeführt wird, wird nachstehend beschrieben.
Die Umgebungserkennungsvorrichtung 1 nimmt ein ”sekundäres Entfernungsbild” auf, das aus mehreren Pixeln mit jeweils einem Abstandsmesswert Ds[s], der durch den Entfernungsbildsensor C0 erfasst wird, als Pixelwert besteht (SCHRITT 002 in 2). Hier bedeutet ”s” eine Pixelposition (die Position eines quantisierten Punkts), die im Objektbereich oder in einem interessierenden Bereich (ROI) in einem Standardbild enthalten ist und der der Abstandsmesswert Ds unter den Pixelpositionen im Standardbild-Koordinatensystem zugewiesen wird, und bedeutet genauer den Koordinatenwert der Pixelposition.
Insbesondere nimmt zuerst die Umgebungserkennungsvorrichtung 1 das ”primäre Entfernungsbild” auf, das aus mehreren Pixeln s' mit jeweils einem Abstandsmesswert Ds' bis zum Subjekt (siehe 4), der vom Entfernungsbildsensor C0 erfasst wird, als Pixelwert besteht. Dann wird der Pixelwert entsprechend dem Abstandsmesswert Ds' in jeder Pixelposition im Primärentfernungsbild-Koordinatensystem jeder Pixelposition u im Standardbild-Koordinatensystem zugewiesen, wodurch das das sekundäre Entfernungsbild aufgenommen wird.
Insbesondere, wie in 3 dargestellt, wird eine Punktposition s'' als Ergebnis, dass die Pixelposition s' im Primärentfernungsbild-Koordinatensystem in das Standardbild-Koordinatensystem koordinatentransformiert wird, erhalten. Die Position des Beobachtungspunkts Ps auf der Basis des Primärentfernungsbild-Koordinatensystems wird durch einen Vektor ^p' = Ds'^e'(s') dargestellt. ”^” gibt einen Vektor an (dasselbe gilt nachstehend). ”^e(s')” ist ein Einheitsvektor, der die Augenrichtung des Entfernungsbildsensors C0 darstellt, die durch die Pixelposition s' im Primärentfernungsbild-Koordinatensystem verläuft.
Ein Vektor ^p'' = R^p' + T, der die Position des Beobachtungspunkts Ps auf der Basis des Standardbild-Koordinatensystems darstellt, wird auf der Basis einer Rotationsmatrix R und einer Translationsmatrix T, die eine Koordinatentransformation vom Primärentfernungsbild-Koordinatensystem in das Standardbild-Koordinatensystem darstellen, berechnet. Die Rotationsmatrix R und die Translationsmatrix T werden im Speicher im Voraus gespeichert. Die Rotationsmatrix R und die Translationsmatrix T können unter Verwendung einer Quaternion definiert werden, die mathematisch dazu äquivalent ist.
Eine Koordinatenposition s'' = (1/Zs'')^p'' entsprechend dem Beobachtungspunkt Ps im Standardbild-Koordinatensystem wird auf der Basis des Vektors ^p'' und der Tiefenrichtungskomponente davon Zs'' (eine Z-Richtungs-Komponente senkrecht zum Standardbild-Koordinatensystem, das das X-Y-Koordinatensystem ist) erhalten.
Die Koordinatenposition s'' (siehe ein weißer Kreis in 3) stimmt im Allgemeinen nicht mit der Pixelposition s (siehe ein schwarzer Kreis in 3) im Standardbild-Koordinatensystem überein. Daher wird ein Abstand (Abstand eines realen Punkts) Zs, der auf der Basis eines Abstandes Zs'', der der Koordinatenposition s'' entspricht, bestimmt wird, jeder Pixelposition s im Standardbild-Koordinatensystem gemäß einem allgemein bekannten Interpolationsverfahren, wie z. B. dem Interpolationsverfahren des nächsten Nachbarn, dem bilinearen Interpolationsverfahren oder dem bikubischen Spline-Verfahren, zugewiesen.
Dann wird eine Norm Ds(s) eines Vektors ^p = Ds^e(s), der die Position des Beobachtungspunkts Ps auf der Basis des Sekundärentfernungsbild-Koordinatensystems darstellt, als Pixelwert jeder Pixelposition s im Standardbild-Koordinatensystem zugewiesen. ”^e(s)” ist ein Einheitsvektor, der die Augenrichtung des Entfernungsbildsensors C0 darstellt, die durch die Pixelposition s im Sekundärentfernungsbild-Koordinatensystem verläuft.
Es besteht jedoch kein Bedarf, Abstandsmesswerte allen Pixelpositionen im Standardbild-Koordinatensystem in Anbetracht einer Differenz in der Auflösung oder dergleichen zwischen dem Entfernungsbildsensor C0 und dem Standardbildsertsor C1 zuzuweisen. Dadurch wird das sekundäre Entfernungsbild aufgenommen.
Außerdem wird ein ”Standardbild”, das aus mehreren Pixeln mit jeweils zumindest einer Luminanz als Pixelwert besteht, durch den Standardbildsensor C1 aufgenommen (SCHRITT 004 in 2).
Außerdem wird ein ”Referenzbild”, das aus mehreren Pixeln mit jeweils zumindest einer Luminanz als Pixelwert ähnlich zum Standardbild besteht, durch den Referenzbildsensor C2 aufgenommen (SCHRITT 006 in 2).
Eine Reihe von nachstehend beschriebenen Prozessen wird für ein sekundäres Entfernungsbild, ein Standardbild und ein Referenzbild zu derselben Istzeit, die zu derselben Istzeit aufgenommen wurden und im Speicher gespeichert wurden, durchgeführt. In dem Fall, in dem der Entfernungsbildsensor C0. der Standardbildsensor C1 und der Referenzbildsensor C2 nicht vollständig miteinander synchronisiert sind, können ein sekundäres Entfernungsbild, ein Standardbild und ein Referenzbild zu geringfügig unterschiedlichen Istzeiten oder zu im Wesentlichen derselben Istzeit wie jene zu derselben Istzeit aufgenommen werden.
Für die Pixelposition s im Standardbild-Koordinatensystem wird zuerst eine virtuelle Oberfläche (flache Oberfläche) festgelegt (SCHRITT 008 in 2). Insbesondere wird ein Ebenenparameter ^q festgelegt, der durch einen Vektor ^n/d definiert ist, der die Position und Lage der virtuellen Oberfläche darstellt. Obwohl der anfängliche Wert des Ebenenparameters ^q beliebig sein kann, wird der aktuelle Wert davon durch Modifizieren des vorherigen Werts des Ebenenparameters ^q festgelegt, wie später beschrieben. ”n” ist ein Einheitsnormalvektor auf der virtuellen Oberfläche (siehe 4). ”d” ist ein Abstand von einem Abbildungselement des Standardbildsensors C1 zur virtuellen Oberfläche (siehe 4).
Das erste Verarbeitungselement 11 berechnet ”erste Kosten” gemäß einer ersten Kostenfunkton f₁ auf der Basis einer ersten Abweichung e₁, die gemäß dem bestimmt wird, ob das Intervall |Ds-Dc| zwischen dem realen Punkt Ps und dem virtuellen Punkt Pc lang oder kurz ist (SCHRITT 012 in 2).
Wie in 4 dargestellt, bedeutet der Begriff ”realer Punkt” einen Punkt Ps = (1/Ds)^s, dessen reale Raumposition gemäß dem Pixelwert Ds(s) der Pixelposition s = (u, v) im Sekundärentfernungsbild-Koordinatensystem bestimmt wird. Überdies bedeutet der Begriff ”virtueller Punkt” einen Punkt, der durch Projizieren des realen Punkts Ps auf die virtuelle Oberfläche von der Pixelposition ^s in Bezug auf die Richtung des Pixelwerts Ds(s) (die Augenrichtung des Standardbildsensors C1) erhalten wird.
Als erste Abweichung e₁ wird eine Abweichung |Zs-Zc| zwischen einem Abstand Zs des realen Punkts und einem Abstand Zc des virtuellen Punkts verwendet. Der Abstand Zs des realen Punkts ist ein Abstand zwischen dem Standardbildsensor C1 und dem realen Punkt Ps in Bezug auf die Richtung der optischen Achse (Z-Richtung) des Standardbildsensors C1. Der Abstand Zc des virtuellen Punkts ist ein Abstand zwischen dem Standardbildsensor C1 und dem virtuellen Punkt Pc (siehe 4).
Außerdem können verschiedene Abstände, die aus der geometrischen Beziehung in Abhängigkeit davon, ob das Intervall |Ds-Dc| zwischen dem realen Punkt Ps und dem virtuellen Punkt Pc lang oder kurz ist, eindeutig bestimmt werden, als erste Abweichung e₁ verwendet werden. Neben dem Intervall |Ds-Dc| kann beispielsweise ein Intervall zwischen einem Punkt, der sich aus der Projektion des realen Punkts Ps auf die virtuelle Oberfläche in Bezug auf die Z-Richtung ergibt, und dem virtuellen Punkt Pc in Bezug auf die festgelegte Richtung als erste Abweichung e_l verwendet werden. Überdies kann ein Intervall zwischen einem Punkt, der sich aus der Projektion des virtuellen Punkts Pc auf eine flache Oberfläche entsprechend dem Subjekt in Bezug auf die Z-Richtung ergibt, und dem realen Punkt Ps in Bezug auf die festgelegte Richtung als erste Abweichung e₁ verwendet werden.
Die erste Kostenfunktion f₁ ist eine kontinuierlich oder schrittweise zunehmende Funktion mit der ersten Abweichung e₁ als Variable. Mit anderen Worten, ein relationaler Ausdruck (∂f₁/∂e₁) > 0 oder f₁(e₁ + δe₁) – f₁(e₁) > 0(δe₁ > 0) wird erfüllt. Die erste Kostenfunktion f₁ ist beispielsweise gemäß einem relationalen Ausdruck (10) definiert. f₁(e₁) = Σ_se₁ ²(s) (10)
”Σs” gibt eine Summe im Sekundärentfernungsbild-Koordinatensystem an. Die erste Abweichung e₁ ist eine Funktion mit dem Ebenenparameter ^q = ^n/d auf der virtuellen Oberfläche als Variable und daher sind die ersten Kosten, die auf der Basis der ersten Abweichung e₁ berechnet werden, eine Funktion mit dem Ebenenparameter ^q der virtuellen Oberfläche als Variable.
Die erste Kostenfunktion f₁ kann eine multivariate Funktion mit dem Objektpunktabstand Z, der einer des Abstandes Zs des realen Punkts und des Abstandes Zc des virtuellen Punkts ist, als Variable zusätzlich zur ersten Abweichung e₁ sein. Die erste Kostenfunktion f₁ ist als abnehmende Funktion in Bezug auf den Objektpunktabstand Z definiert. In diesem Fall ist die erste Kostenfunktion f₁ beispielsweise gemäß einem relationalen Ausdruck (11) definiert: f₁(e₁, Z) = Σ_sg₁(Z(s))e₁ ²(s), g₁(Z) = 1/Zⁿ(n > 0, beispielsweise n = 1 oder 2) (11)
Die erste Kostenfunktion f₁, die gemäß dem relationalen Ausdruck (11) definiert ist, weist Verhaltenseigenschaften zum Objektpunktabstand Z auf, die zumindest teilweise zu den Verhaltenseigenschaften des Parallaxenrestfehlers Δu des Standardbildsensors C1 und des Referenzbildsensors C2 identisch sind oder diesen nahekommen, wie nachstehend beschrieben. Daher ist es verständlich, dass die erste Kostenfunktion f₁ in einer geeigneten Form angesichts der geometrischen Beziehung definiert wird, die den Parallaxenrestfehler Δu eindeutig bestimmt. Nun wird nachstehend eine Beschreibung dieses Punkts durchgeführt.
Für eine leichte Beschreibung wird hier angenommen, dass eine parallele Stereoanordnung vorgesehen ist, in der der Standardbildsensor C1 und der Referenzbildsensor C2 mit identischen Parametern so angeordnet sind, dass sie zueinander parallele optische Achsen aufweisen. Wenn der Standardbildsensor C1 und der Referenzbildsensor C2 nicht in der parallelen Stereoanordnung festgelegt sind, wie in 5(a) dargestellt, ist der Parallaxenrestfehler Δu eine Differenz jeder Pixelposition zwischen dem Abstandsmesswert Ds und dem Abstandskandidatenwert Dc, der auf den Referenzbildsensor C2 projiziert wird.
Der Parallaxenrestfehler Δu ist gemäß einem relationalen Ausdruck (111) auf der Basis des Abstandes Zs des realen Punkts, des Abstandes Zc des virtuellen Punkts und einer Basislinienlänge L zwischen den Bildsensoren C1 und C2 definiert (siehe 4). Δu = L{(1/Zs) – (1/Zc)} (111)
”u” ist ein Koordinatenwert, der eine Position in der horizontalen Richtung im Standardbild-Koordinatensystem (oder im Referenzbild-Koordinatensystem) darstellt. Im Fall von parallelem Stereo ist die Richtung der u-Achse zu einer Epipolarlinie parallel. Ein Fehler ΔI der Luminanz zwischen dem Standardbild und dem Referenzbild unter der Annahme, dass ein Parallaxenrestfehler Δu existiert, wird durch einen relationalen Ausdruck (112) unter Berücksichtigung einer Epipolareinschränkungsbedingung ausgedrückt (siehe 5(b)). ΔI = (∂I/∂u)^e_epΔu (112)
”^e_ep” ist ein Einheitsvektor, der die Richtung der Epipolarlinie im Standardbild-Koordinatensystem darstellt. Hier ist (∂1/∂u) ein Vektor, der einen Luminanzgradienten darstellt, und ”(∂I/∂u)^e_ep” stellt einen Luminanzgradienten in der Epipolarlinienrichtung dar. Insbesondere in dem Fall, in dem die u-Achse zur Epipolarlinie parallel ist, wird der Luminanzgradient nur in der u-Achsen-Richtung verwendet. Gemäß dem relationalen Ausdruck (112) kann der Luminanzrestfehler ΔI für einen Fall berechnet werden, in dem der Abstandsrestfehler ΔZ = Zs – Zc existiert.
Der relationale Ausdruck (112) stellt dar, dass der Parallaxenrestfehler Δu, der eine Abweichung zwischen der Pixelposition, die durch Projizieren von ”s” des Standardbildsensors C1 (der Pixelposition im Standardbild-Koordinatensystem) in den Referenzbildsensor C2 gemäß dem Abstandsmesswert Ds erhalten wird, und der Pixelposition, die durch Projizieren von ”s” des Standardbildsensors C1 in den Referenzbildsensor C2 gemäß dem Abstandskandidatenwert Dc erhalten wird, ist, in einen Luminanzrestfehler (eine Abweichung der festgelegten physikalischen Größe) in Übereinstimmung mit der Einschränkungsbedingung, dass die festgelegten physikalischen Größen (in dieser Patentbeschreibung die Luminanz), die an derselben Stelle und zur gleichen Istzeit durch den Standardbildsensor C1 und den Referenzbildsensor C2 abgebildet werden, identisch sind, transformiert wird.
Das erste Verarbeitungselement 11 kann verwendet werden, um den Luminanzrestfehler ΔI als erste Abweichung e₁ gemäß dem relationalen Ausdruck (112) zu berechnen.
Der Parallaxenrestfehler Δu wird durch einen relationalen Ausdruck (113) durch Transformieren des relationalen Ausdrucks (111) gemäß den relationalen Ausdrücken Δu = (du/dZc)ΔZ und ΔZ = Zs – Zc ausgedrückt. Δu = –(L/Zc²)(Zs – Zc) (113)
Gemäß dem relationalen Ausdruck (113) weist in dem Fall, in dem der Abstand Zc des virtuellen Punkts als Objektpunktabstand Z definiert ist, der Parallaxenrestfehler Δu einen Term auf, der zu einer Potenz einer inversen Zahl (1/Z) des Objektpunktabstandes Z proportional ist. Folglich ist es möglich zu bewirken, dass die Abhängigkeit der ersten Kostenfunktion f₁ im relationalen Ausdruck (11) vom Objektpunktabstand Z zur Abhängigkeit des Parallaxenrestfehlers Δu vom Objektpunktabstand Z teilweise identisch ist oder dieser nahekommt. Daher ist es verständlich, dass die erste Kostenfunktion f₁ in einer geeigneten Form angesichts der geometrischen Anordnungsbeziehung des Standardbildsensors C1, des Referenzbildsensors C2, der Position des realen Punkts Ps und der Position des virtuellen Punkts Pc definiert wird, die den. Parallaxenrestfehler Δu eindeutig bestimmt.
Die erste Kostenfunktion f₁ kann eine multivariate Funktion mit der Genauigkeit r₁ des Abstandsmesswerts Ds, der durch den Entfernungsbildsensor C0 erfasst wird, als Variable zusätzlich zur ersten Abweichung e₁ oder der ersten Abweichung e₁ und dem Objektpunktabstand Z als Variablen sein. Die erste Kostenfunktion f₁ ist als kontinuierlich oder schrittweise abnehmende Funktion in Bezug auf die Genauigkeit r₁ definiert.
Die Genauigkeit r₁(s) ist als zunehmende Funktion einer empfangenen Lichtintensität im Entfernungsbildsensor C0 definiert. Insbesondere gilt, je höher die empfangene Lichtintensität des Entfernungsbildsensors in einer Pixelposition im Primärentfernungsbild-Koordinatensystem ist, wobei die empfangene Lichtintensität als Basis für den Pixelwert der Pixelposition s im Entfernungsbild-Koordinatensystem dient, desto mehr nimmt der Wert der Genauigkeit r₁(s) zu. In diesem Fall ist die erste Kostenfunktion f₁ beispielsweise gemäß irgendeinem der folgenden relationalen Ausdrücke (12) bis (15) definiert: f₁(e₁, Z, r₁) = Σ_sh₁(r₁(s))g₁(Z(s))e₁ ²(s), h₁(r₁) = 1/r₁ ⁿ(n > 0: beispielsweise n = 1) (12) f₁(e₁, Z, r₁) = h₁(Σ_sr₁(s)/N)Σ_ig₁(Z(s))e₁ ²(s), h₁(r₁) = 1/r₁ ⁿ(n > 0: beispielsweise n = 1, and Σ_sr₁(s)/N ist ein Mittelwert der Genauigkeit r₁ einer Pixelgruppe, die zum Objektbereich gehört.) (13) f₁(e₁, r₁) = Σ_sh₁(r₁(s))e₁ ²(s) (14) f₁(e₁, r₁) = h₁(Σ_sr₁(s)/N)Σ_ie₁ ²(s) (15)
Das zweite Verarbeitungselement 12 erzeugt ein transformiertes Bild durch Koordinatentransformation des Referenzbildes in das Standardbild-Koordinatensystem unter der Annahme, dass der Standardbildsensor C1 und der Referenzbildsensor C2 dieselbe virtuelle Oberfläche abgebildet haben (SCHRITT 012 in 2). Genauer wird ein Bild als transformiertes Bild erfasst, bei dem die Luminanz in der Pixelposition s₂ im Fall der Existenz einer Parallaxe in Abhängigkeit von der Position und Lage der virtuellen Oberfläche im Referenzbild-Koordinatensystem der Pixelposition s₁ im Standardbild-Koordinatensystem zugewiesen wird.
Das zweite Verarbeitungselement 12 berechnet ”zweite Kosten” gemäß der zweiten Kostenfunktion f₂ auf der Basis der zweiten Abweichung e₂ als Abweichung des Pixelwerts in derselben Pixelposition s zwischen dem Standardbild-Koordinatensystem und dem Koordinatensystem des transformierten Bildes (SCHRITT 014 in 2).
Die zweite Kostenfunktion f₂ ist eine kontinuierlich oder schrittweise zunehmende Funktion mit der zweiten Abweichung e₂ als Variable. Insbesondere wird der relationale Ausdruck (∂f₂/∂e₂) > 0 oder f₂(e₂+ δe₂) – f₂(e₂) > 0(∂e₂ > 0) erfüllt. Die zweite Kostenfunktion f₂ ist beispielsweise gemäß dem relationalen Ausdruck (20) definiert. f₂(e₂) = Σ_se₂ ²(s) (20)
Die zweite Abweichung e₂ ist eine Funktion mit dem Ebenenparameter ^q = ^n/d der virtuellen Oberfläche als Variable. Daher sind die zweiten Kosten, die auf der Basis der zweiten Abweichung e₂ berechnet werden, auch eine Funktion mit dem Ebenenparameter ^q der virtuellen Oberfläche als Variable.
Die zweite Kostenfunktion f₂ kann eine multivariate Funktion mit der Genauigkeit r₂ eines Pixelwerts, der durch den Standardbildsensor C1 und/oder den Referenzbildsensor C2 erfasst wird, als Variable zusätzlich zur zweiten Abweichung e₂ oder der zweiten Abweichung e₂ und dem Objektpunktabstand Z als Variablen sein. Die zweite Kostenfunktion f₂ ist als kontinuierlich oder schrittweise abnehmende Funktion in Bezug auf die Genauigkeit r₂ definiert.
Die Genauigkeit r₂(s) ist als Funktion definiert, die als hoch oder niedrig gemäß beispielsweise Kriterien dessen bestimmt wird, ob der Ableitungswert eines Pixels ein charakteristischer Wert ist oder nicht. In diesem Fall ist die zweite Kostenfunktion f₂ gemäß beispielsweise dem relationalen Ausdruck (21) oder (22) definiert. f₂(e₂, r₂) = Σ_sh₂(r₂(s))e₂ ²(s), h₂(r₂) = 1/r₂ ^m(m > 0: beispielsweise m = 1) (21) f₂(e₂, r₂) = h₂(Σ_sr₂(s)/M)Σ_se₂ ²(s), h₂(r₂) = 1/r₂ ^m(m > 0: beispielsweise m = 1, und Σ_sr₂(s)/M ist ein Mittelwert der Genauigkeit r₂ einer Pixelgruppe, die zum Objektbereich des Standardbildsensors oder einem diesem entsprechenden Bereich im Referenzbildsensor gehört.) (22)
Die Genauigkeit r₂(s) kann auf einen positiven vorbestimmten Wert gesetzt werden, der im Voraus im Fall bestimmt wird, in dem der Gradient der Luminanz, die ein Pixelwert ist, gleich dem oder niedriger als der Standardwert ist.
Das dritte Verarbeitungselement 13 erkundet die virtuelle Oberfläche gemäß dem Verfahren kleinster Quadrate, so dass die Gesamtkosten C, die durch Addieren der ersten Kosten zu den zweiten Kosten erfasst werden, sich dem minimalen Wert nähern (SCHRITT 016 in 2). Dadurch werden die Position und Lage der Oberfläche des Subjekts abgeschätzt. Wie vorstehend beschrieben, sind die ersten Kosten und die zweiten Kosten beide Funktionen mit dem Ebenenparameter ^q der virtuellen Oberfläche als Variable. Wie durch einen relationalen Ausdruck (31) oder (32) ausgedrückt, sind daher die Gesamtkosten C auch als Funktion C(^q) des Ebenenparameters ^q definiert. Dies (die Gesamtkosten C) stellt eine Divergenz in einem Objektbereich zwischen dem Standardbild und dem Referenzbild dar. C(^q) = f₁(^q) + f₂(^q) (31) C(^q) = αf₁(^q) + (1 – α)f₂(^q), (0 < α < 1) (32)
Überdies ist der Luminanzrestfehler ΔI dem Abstandsrestfehler ΔZ durch die relationalen Ausdrücke (112) und (113) zugeordnet. Dies ermöglicht, dass die erste Abweichung e₁ in derselben Dimension durch den Luminanzrestfehler ΔI in einer geeigneten Form angesichts der geometrischen Anordnungsbeziehung dargestellt wird. Alternativ ermöglicht das Obige, dass die zweite Abweichung e₂ in derselben Dimension durch den Abstandsrestfehler ΔZ in einer geeigneten Form angesichts der geometrischen Anordnungsbeziehung dargestellt wird.
Dann wird der Ebenenparameter ^q, der die Gesamtkosten C minimiert, gemäß dem Gradientenverfahren erkundet, das den Ebenenparameter der virtuellen Oberfläche um das Ausmaß in Abhängigkeit von (∂C(^q)/∂^q) verändert.
Ob die Erkundung der virtuellen Oberfläche endet oder nicht, wird gemäß dem bestimmt, ob der Ebenenparameter ^q eine bestimmte Konvergenzbedingung erfüllt oder nicht, so dass eine Differenz zwischen dem vorherigen Wert und dem aktuellen Wert der Gesamtkosten gleich oder niedriger als ein Schwellenwert ist (SCHRITT 018 in 2). Wenn das Bestimmungsergebnis negativ ist (NEIN in SCHRITT 018 in 2), wird der aktuelle Ebenenparameter ^q(k + 1) als Ergebnis der Aktualisierung des vorherigen Ebenenparameters ^q(k) (k ist ein Exponent, der die Aktualisierungshäufigkeit des Ebenenparameters angibt) gemäß dem Gradientenverfahren (SCHRITT 008 in 2) festgelegt. Auf der Basis des Obigen wird die vorstehend erwähnte Reihe von Prozessen wiederholt (SCHRITT 010 bis SCHRITT 018 in 2).
Wenn andererseits das Bestimmungsergebnis bejahend ist (JA in SCHRITT 018 in 2), schätzt das dritte Verarbeitungselement 13 die Position und Lage der virtuellen Oberfläche, die durch den Ebenenparameter ^q zu diesem Zeitpunkt definiert ist, als Position und Lage der Oberfläche des Subjekts ab (SCHRITT 020 in 2).
6(a) stellt ein Beispiel eines Standardbildes, eines Referenzbildes und eines Entfernungsbildes mit einem echten Abstandswert als Pixelwert beginnend von links dar. Im Entfernungsbild gilt, je größer der Abstand ist, der der Pixelwert ist, desto niedriger ist die Helligkeit, und je kleiner ist der Abstand ist, der der Pixelwert ist, desto höher ist die Helligkeit. 6(b) stellt ein Entfernungsbild dar, das durch ein Umgebungserkennungsverfahren der vorliegenden Erfindung erfasst wird. Unterdessen stellt 6(c) ein Entfernungsbild dar, das durch Anwenden des im Nicht-Patent-Dokument 1 offenbarten Verfahrens, das eine herkömmliche Technik ist, auf Luminanzinformationen, die durch eine Stereokamera erfasst werden, erfasst wird.
Die im Standardbild und im Referenzbild enthaltenen Objektoberflächen sind in der Praxis im Wesentlichen flach (siehe 6(a)). Gemäß der herkömmlichen Technik zeigt jedoch ein erfasstes Entfernungsbild, dass die Objektoberfläche relativ große Unregelmäßigkeiten aufweist, die sich aus der Existenz von Zeichen oder Bildern auf der Oberfläche ergeben (siehe 6(c)). Andererseits ist gemäß der vorliegenden Erfindung die Objektoberfläche im Wesentlichen flach, obwohl die Objektoberfläche kleine Unregelmäßigkeiten aufweist, und folglich wird ein Entfernungsbild, das dem tatsächlichen Zustand nahekommt, aufgenommen, woraus es verständlich ist, dass die Umgebungserkennungsgenauigkeit verbessert ist (siehe 6(b)).
Außerdem kann eine Farbe (RGB-Wert), die durch eine Kamera für sichtbares Licht erfasst wird, eine Temperatur, die durch eine Infrarotkamera erfasst wird, oder irgendeine andere physikalische Größe als die Luminanz, die durch die Kamera für sichtbares Licht erfasst wird, als festgelegte physikalische Information zum Abschätzen des Entfernungsbildes verwendet werden.
Gemäß der Umgebungserkennungsvorrichtung 1 der vorliegenden Erfindung ist die erste Kostenfunktion als abnehmende Funktion des Objektpunktabstandes Z definiert. Daher gilt, je länger der Objektpunktabstand Z ist, desto geringer werden die ersten Kosten des Pixels bewertet (siehe die relationalen Ausdrücke (11) bis (15)). Dies verringert den Beitrag der ersten Kosten eines Pixels, das sehr wahrscheinlich einen großen Mess- oder Abschätzungsfehler im Objektpunktabstand Z aufweist, zu den Gesamtkosten C. Dadurch wird die Abschätzungsgenauigkeit des Ebenenparameters ^q, der die Oberflächenposition und -lage des Subjekts darstellt, verbessert.
Außerdem werden die Gesamtkosten C auf der Basis einer quadratischen Summe der ersten Abweichung e₁, einer Potenz einer inversen Zahl (1/Z) des Objektpunktabstandes Z und einer quadratischen Summe der zweiten Abweichung e₂ berechnet (siehe die relationalen Ausdrücke (10) bis (15) und die relationalen Ausdrücke (20) bis (22)). Durch Vergleichen mit dem Fall, in dem die Auswertungsfunktion eine logarithmische Funktion oder eine Exponentialfunktion des Restfehlers ist (siehe beispielsweise Ausdruck (5) im Nicht-Patent-Dokument 2), kann folglich die Rechenmenge der Gesamtkosten verringert werden, um die Rechengeschwindigkeit zu verbessern.
Bezugszeichenliste

1: Umgebungserkennungsvorrichtung
11: Erstes Verarbeitungselement
12: Zweites Verarbeitungselement
13: Drittes Verarbeitungselement
C0: Bereichs- bzw. Entfernungsbildsensor
C1: Standardbildsensor
C2: Referenzbildsensor

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

”Lukas-Kanade 20 Years On: A Unifying Framework Part 1: The Quantity Approximated, the Warp Update Rule and the Gradient Descent Approximation” S. Baker und I Matthews, International Journal of Computer Vision [2004] Band: 56, Ausgabe: 3, Seiten: 221–255) [0002]
”Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps”, JieJie Zhu, u. a. IEEE [2008] [0003]

Claims

Umgebungserkennungsvorrichtung, die eine Position und eine Lage einer Oberfläche eines Subjekts unter Verwendung von Folgendem abschätzt: einem Entfernungsbildsensor, der dazu konfiguriert ist, einen Abstand bis zum Subjekt zu messen; einem Standardbildsensor, der dazu konfiguriert ist, ein Standardbild, das aus mehreren Pixeln mit jeweils einer festgelegten physikalischen Größe des Subjekts als Pixelwert zusammengesetzt ist bzw. besteht, durch Abbilden des Subjekts aufzunehmen; und einem Referenzbildsensor, der dazu konfiguriert ist, ein Referenzbild, das aus mehreren Pixeln mit jeweils der festgelegten physikalischen Größe des Subjekts als Pixelwert besteht, durch Abbilden des Subjekts aufzunehmen, wobei die Umgebungserkennungsvorrichtung Folgendes aufweist: ein erstes Verarbeitungselement, das dazu konfiguriert ist, erste Kosten unter Verwendung einer ersten Kostenfunktion, die als multivariate Funktion definiert ist, die eine zunehmende Funktion in Bezug auf eine erste Abweichung und eine abnehmende Funktion in Bezug auf einen Objektpunktabstand ist, für jedes Pixel, das zum Objektbereich gehört, der zumindest ein Teil des Standardbildes ist, auf der Basis der ersten Abweichung, die gemäß der Länge eines Intervalls zwischen einem realen Punkt, dessen Position durch den Entfernungsbildsensor als Abstandsmesswert gemessen wird, und einem virtuellen Punkt als Ergebnis der Projektion des realen Punkts auf eine virtuelle Oberfläche in Bezug auf eine Augenrichtung des Standardbildsensors bestimmt wird, und des Objektpunktabstandes, der ein Abstand zwischen dem Standardbildsensor und einem Objektpunkt ist, der einer des realen Punkts und des virtuellen Punkts ist, in Bezug auf eine Richtung einer optischen Achse des Standardbildsensors zu berechnen; ein zweites Verarbeitungselement, das dazu konfiguriert ist, zweite Kosten unter Verwendung einer zweiten Kostenfunktion, die eine zunehmende Funktion in Bezug auf eine zweite Abweichung ist, für jedes Pixel, das zum Objektbereich des Standardbildes gehört, auf der Basis der zweiten Abweichung als Abweichung zwischen dem Pixelwert des Pixels im Standardbild und dem Pixelwert des Pixels im Referenzbild und des Pixelwerts des Pixels des Referenzbildes, das dem Pixel des Standardbildes entspricht, gemäß der Position und Lage der virtuellen Oberfläche zu berechnen; und ein drittes Verarbeitungselement, das dazu konfiguriert ist, die Position und Lage der Oberfläche des Subjekts durch Erkunden der virtuellen Oberfläche abzuschätzen, so dass die Gesamtkosten, die eine Gesamtsumme der ersten Kosten und der zweiten Kosten sind, in Bezug auf jedes Pixel, das zum Objektbereich des Standardbildes gehört, nahe den Minimalwert der Gesamtkosten gebracht werden.
Umgebungserkennungsvorrichtung nach Anspruch 1, wobei: die erste Kostenfunktion als zunehmende Funktion in Bezug auf eine Genauigkeit einer Messung eines Abstandes bis zum Subjekt, die durch den Entfernungsbildsensor erhalten wird, definiert ist; und das erste Verarbeitungselement dazu konfiguriert ist, die Genauigkeit der Messung des Abstandes zu erkennen und die ersten Kosten auf der Basis der ersten Abweichung, des Objektpunktabstandes und der Genauigkeit gemäß der ersten Kostenfunktion zu berechnen.
Umgebungserkennungsvorrichtung nach Anspruch 1 oder 2, wobei: die zweite Kostenfunktion als zunehmende Funktion in Bezug auf eine Genauigkeit einer Messung eines Pixelwerts, die durch den Standardbildsensor und/oder den Referenzbildsensor erhalten wird, definiert ist; und das zweite Verarbeitungselement dazu konfiguriert ist, die Genauigkeit der Messung des Pixelwerts zu erkennen und die zweiten Kosten auf der Basis zumindest der zweiten Abweichung und der Genauigkeit gemäß der zweiten Kostenfunktion zu berechnen.
Umgebungserkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei das dritte Verarbeitungselement dazu konfiguriert ist, die Position und Lage der Oberfläche des Subjekts gemäß einem Verfahren kleinster Quadrate abzuschätzen.
Umgebungserkennungsvorrichtung, die die Position und Lage einer Oberfläche eines Subjekts unter Verwendung von Folgendem abschätzt: einem Entfernungsbildsensor, der dazu konfiguriert ist, einen Abstand bis zum Subjekt zu messen; einem Standardbildsensor, der dazu konfiguriert ist, ein Standardbild, das aus mehreren Pixeln mit jeweils einer festgelegten physikalischen Größe des Subjekts als Pixelwert besteht, durch Abbilden des Subjekts aufzunehmen; und einem Referenzbildsensor, der dazu konfiguriert ist, ein Referenzbild, das aus mehreren Pixeln mit jeweils der festgelegten physikalischen Größe des Subjekts als Pixelwert besteht, durch Abbilden des Subjekts aufzunehmen, wobei die Umgebungserkennungsvorrichtung Folgendes aufweist: ein erstes Verarbeitungselement, das dazu konfiguriert ist, eine erste Abweichung auf der Basis eines Parallaxenrestfehlers, der eine Abweichung zwischen einer Pixelposition, die durch Projizieren der Pixelposition des Standardbildsensors entsprechend dem Abstandsmesswert auf den Referenzbildsensor erhalten wird, und einer Pixelposition, die durch Projizieren der Pixelposition des Standardbildsensors entsprechend einem Abstandskandidatenwert auf den Referenzbildsensor erhalten wird, ist, gemäß einer Einschränkungsbedingung, dass die durch den Standardbildsensor und den Referenzbildsensor erfasste festgelegte physikalische Größe in derselben Position im Bild identisch ist, in Bezug auf jede von mehreren Pixelpositionen eines durch den Entfernungsbildsensor aufgenommenen Entfernungsbildes zu berechnen; ein zweites Verarbeitungselement, das dazu konfiguriert ist, den Pixelwert eines Pixels im Referenzbild, das einem Pixel im Standardbild entspricht, gemäß der Parallaxe zu erfassen und eine zweite Abweichung der festgelegten physikalischen Größe, die ein Pixelwert von jedem von mehreren Pixeln im Standardbild und im Referenzbild ist, auf der Basis der Annahme, dass der Standardbildsensor und der Referenzbildsensor eine Parallaxe aufweisen, gemäß dem Abstandskandidatenwert zu berechnen; und ein drittes Verarbeitungselement, das dazu konfiguriert ist, eine Divergenz zwischen dem Standardbild und dem Referenzbild auf der Basis der durch das erste Verarbeitungselement berechneten ersten Abweichung und der durch das zweite Verarbeitungselement berechneten zweiten Abweichung zu berechnen und den Abstandskandidatenwert unter mehreren Abstandskandidatenwerten, der die Divergenz minimiert, als echten Abstandswert an jedem Pixel des Entfernungsbildes abzuschätzen.
Umgebungserkennungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass das erste Verarbeitungselement (11) die erste Abweichung durch Durchführen einer Transformation vom Parallaxenrestfehler auf eine Abweichung in der festgelegten physikalischen Größe berechnet.
Umgebungserkennungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass das erste Verarbeitungselement (11) die erste Abweichung durch Durchführen der Transformation durch Multiplizieren des Parallaxenrestfehlers mit einem Gradienten der festgelegten physikalischen Größe entlang der Epipolarlinienrichtung berechnet.