DE102019104397A1

DE102019104397A1 - Bildsynthesevorrichtung und Steuerverfahren

Info

Publication number: DE102019104397A1
Application number: DE102019104397.2A
Authority: DE
Inventors: Masato Yuda; Toshihide Matsuda; Naoki Ootani; Tadashi Yoshida
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Automotive Systems Co Ltd
Priority date: 2018-02-27
Filing date: 2019-02-21
Publication date: 2019-08-29
Anticipated expiration: 2039-02-22
Also published as: DE102019104397B4

Abstract

Eine Bildsynthesevorrichtung (10) enthält: eine Erlangungseinheit (21), die ein erstes Bild und ein zweites Bild erlangt; eine Merkmalspunktbestimmungseinheit (31), die einen ersten Merkmalspunkt in dem ersten Bild und einen zweiten Merkmalspunkt in dem zweiten Bild bestimmt; eine Paarbestimmungseinheit (32), die ein Paar aus einem ersten Merkmalspunkt und einem zweiten Merkmalspunkt bestimmt, an denen Bilder eines identischen Objekts aufgenommen sind; eine erste Berechnungseinheit (33), die für jedes Teilbild einen ersten repräsentativen Vektor, der sich von dem ersten Merkmalspunkt in dem Paar zu einer Mitte erstreckt, und einen zweiten repräsentativen Vektor berechnet, der sich von dem zweiten Merkmalspunkt zu der Mitte erstreckt; eine zweite Berechnungseinheit (34), die einen ersten Einzelvektor für jede der Pixelzeilen durch eine Interpolation des ersten repräsentativen Vektors berechnet und einen zweiten Einzelvektor für jede der Pixelzeilen durch eine Interpolation des zweiten repräsentativen Vektors berechnet; und eine Syntheseeinheit (23), die das erste Bild und das zweite Bild nach einem Berechnen eines Pixelwerts für eine im ersten Bild enthaltene Pixelzeile unter Verwendung des ersten Einzelvektors und einem Berechnen eines Pixelwerts für eine im zweiten Bild enthaltene Pixelzeile unter Verwendung des zweiten Einzelvektors synthetisiert.

Description

Gebiet
Die vorliegende Erfindung betrifft eine Bildsynthesevorrichtung und ein Steuerverfahren.
Hintergrund
Es sind Bildanzeigevorrichtungen bekannt, die ein Bild eines Bereichs hinter einem Fahrzeug durch mehr als eine am Fahrzeug montierte Kamera aufnehmen und das aufgenommene Bild anzeigen. Zum Beispiel ist eine Bildanzeigevorrichtung bekannt, die es einem Fahrer ermöglicht, ein von einem Bereich hinter einem Fahrzeug aufgenommenes Bild visuell zu erfassen, das heißt, ein elektronischer Fahrzeugspiegel.
Diese Bildanzeigevorrichtung erlangt Bilder eines linken Bereichs und eines rechten Bereichs hinter dem Fahrzeug, die durch Kameras aufgenommen sind, die in der Nähe einer linken Tür und einer rechten Tür des Fahrzeugs befestigt sind, und eines Bildes eines mittleren Bereichs hinter dem Fahrzeug, das durch eine in der Nähe einer hinteren Stoßstange oder eines Kofferraumdeckels des Fahrzeugs befestigte Kamera aufgenommen ist. Diese Bilder werden verbunden, um ein einziges Bild zu erzeugen, in dem der hintere linke Bereich, der hintere mittlere Bereich und der hintere rechte Bereich erscheinen, und das erzeugte Bild wird auf einer Anzeigevorrichtung in der Art eines Rückspiegels dargestellt.
Eine Bildsynthesevorrichtung, die Bilder synthetisiert, indem sie die Bilder verbindet, ist herkömmlich bekannt (siehe beispielsweise die Patentschrift 1).
Literaturverzeichnis
Patentliteratur
Patentschrift 1: Japanische ungeprüfte Patentoffenlegung Nr. 2000-215317
Zusammenfassung
Technische Aufgabe
Jedoch kann bei der Synthese von Bildern durch die in der Patentschrift 1 offenbarte Bildsynthesevorrichtung ein Gefühl der Befremdung durch eine Duplikation aufkommen, die in der Nachbarschaft der Grenze zwischen den zu synthetisierenden Bildern auftritt. Die Duplikation bezieht sich auf Doppelschichten eines in einem Bild erscheinenden Objekts.
Somit ist es eine Aufgabe der vorliegenden Erfindung, eine Bildsynthesevorrichtung zu schaffen, die Bilder synthetisiert, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Lösung der Aufgabe
Eine Bildsynthesevorrichtung gemäß einem Aspekt der vorliegenden Erfindung enthält: eine Erlangungseinheit, ausgelegt, ein erstes Bild und ein zweites Bild eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands zu erlangen und das erste Bild und das zweite Bild, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung anzuordnen, in der sich das erste Bild und das zweite Bild teilweise überlappen; eine Merkmalspunktbestimmungseinheit, ausgelegt, einen oder mehrere erste Merkmalspunkte in dem durch die Erlangungseinheit angeordneten ersten Bild und einen oder mehrere zweite Merkmalspunkte in dem durch die Erlangungseinheit angeordneten zweiten Bild zu bestimmen; eine Paarbestimmungseinheit, ausgelegt, eine Vielzahl von Paaren zu bestimmen, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten zu bestimmen, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; eine erste Berechnungseinheit, ausgelegt zum Berechnen für jedes aus einer Vielzahl von Teilbildern (i) eines ersten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen ersten Merkmalspunkt in einem im Teilbild enthaltenen Paar zu einer Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstreckt, und (ii) eines zweiten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen zweiten Merkmalspunkt in dem Paar zu der Mitte erstreckt, wobei die Vielzahl von Teilbildern durch ein Teilen des ersten Bildes und des zweiten Bildes, die angeordnet wurden, entlang einer Trennlinie erlangt ist, die sich in einer ersten Richtung erstreckt; eine zweite Berechnungseinheit, ausgelegt, einen ersten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des ersten repräsentativen Vektors zu berechnen, der durch die erste Berechnungseinheit für jedes aus der Vielzahl von Teilbildern berechnet wurde, und einen zweiten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des zweiten repräsentativen Vektors zu berechnen, der durch die erste Berechnungseinheit für jedes aus der Vielzahl von Teilbildern berechnet wurde; und eine Syntheseeinheit, ausgelegt, das erste Bild und das zweite Bild zu synthetisieren, nach einem Berechnen eines Pixelwerts für eine im ersten Bild enthaltene Pixelzeile unter Verwendung des ersten Einzelvektors und einem Berechnen eines Pixelwerts für eine im zweiten Bild enthaltene Pixelzeile unter Verwendung des zweiten Einzelvektors.
Es ist anzumerken, dass diese allgemeinen oder spezifischen Aspekte unter Verwendung eines Systems, eines Verfahrens, einer integrierten Schaltung, eines Computerprogramms oder eines computerlesbaren Aufzeichnungsmediums, wie etwa einer CD-ROM, oder einer beliebigen Kombination von Systemen, Verfahren, integrierten Schaltungen, Computerprogrammen oder Aufzeichnungsmedien umgesetzt sein können.
Vorteilhafte Wirkung
Die Bildsynthesevorrichtung gemäß der vorliegenden Erfindung ist in der Lage, Bilder zu synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Figurenliste

1 ist eine schematische Ansicht, die ein Beispiel eines mit einer Kamera ausgestatteten Fahrzeugs darstellt, die Bilder erlangt, die eine Bildsynthesevorrichtung gemäß der Ausführungsform 1 synthetisiert.
2 ist eine erläuternde Skizze, die unsynthetisierte Bilder und ein sich aus der Synthese durch eine Bildsynthesevorrichtung gemäß der Ausführungsform 1 ergebendes Bild darstellt.
3 ist eine Skizze zum Beschreiben der Duplikation eines Gegenstands in durch verschiedene Kameras aufgenommenen Bildern.
4 ist ein Blockdiagramm, das den funktionellen Aufbau einer Bildsynthesevorrichtung gemäß der Ausführungsform 1 darstellt.
5 ist ein erläuterndes Diagramm, das Verfahren zum Bestimmen von Merkmalspunkten und Paaren durch eine Bildsynthesevorrichtung gemäß der Ausführungsform 1 darstellt.
6 ist ein erläuterndes Diagramm, das repräsentative Vektoren darstellt, berechnet durch eine Bildsynthesevorrichtung gemäß der Ausführungsform 1.
7 ist ein erläuterndes Diagramm, das ein Verfahren zum Berechnen eines Einzelvektors durch eine lineare Interpolation repräsentativer Vektoren durch eine Bildsynthesevorrichtung gemäß der Ausführungsform 1 darstellt.
8 ist ein erläuterndes Diagramm, das einen durch eine Bildsynthesevorrichtung gemäß der Ausführungsform 1 berechneten Einzelvektor darstellt.
9 ist ein erläuterndes Diagramm, das einen Syntheseablauf darstellt, durchgeführt unter Verwendung eines Einzelvektors durch eine Bildsynthesevorrichtung gemäß der Ausführungsform 1.
10 ist ein Flussdiagramm, das Vorgänge einer Bildsynthesevorrichtung gemäß der Ausführungsform 1 darstellt.
11 ist ein Blockdiagramm, das den funktionellen Aufbau einer Bildsynthesevorrichtung gemäß der Ausführungsform 2 darstellt.
12 ist eine erläuternde Skizze, die ein Beispiel eines rechten Rückwärtsbildes von einem Fahrzeug aus gemäß der Ausführungsform 2 darstellt.
13 ist eine erläuternde Skizze, die ein Beispiel eines mittleren Rückwärtsbildes von einem Fahrzeug aus gemäß der Ausführungsform 2 darstellt.
14 ist eine erläuternde Skizze, die ein Beispiel eines Bildes darstellt, erlangt durch ein Verbinden eines linken Rückwärtsbildes und eines mittleren Rückwärtsbildes von einem Fahrzeug aus gemäß dem Stand der Technik.
15 ist eine erläuternde Skizze, die ein linkes Rückwärtsbild und ein mittleres Rückwärtsbild von einem Fahrzeug aus gemäß der Ausführungsform 2 darstellt, die teilweise in Schichten angeordnet sind.
16 ist eine erläuternde Skizze, die ein Beispiel einer Grenzlinie für die Bildsynthese gemäß der Ausführungsform 2 darstellt.
17 ist eine vergrößerte Ansicht des Rahmens XVII in 16.
18 ist eine erläuternde Skizze, die ein Beispiel eines Bildes darstellt, das aus einem linken Rückwärtsbild von einem Fahrzeug aus gemäß der Ausführungsform 2 extrahiert ist.
19 ist eine erläuternde Skizze, die ein Beispiel eines Bildes darstellt, das aus einem mittleren Rückwärtsbild von einem Fahrzeug aus gemäß der Ausführungsform 2 extrahiert ist.
20 ist eine erläuternde Skizze, die ein Beispiel eines Bildes darstellt, erlangt durch ein Verbinden eines linken Rückwärtsbildes und eines mittleren Rückwärtsbildes von einem Fahrzeug aus gemäß der Ausführungsform 2.
21 ist ein Flussdiagramm, das Vorgänge einer Bildsynthesevorrichtung gemäß der Ausführungsform 2 darstellt.
22 ist eine erläuternde Skizze, die ein weiteres Beispiel einer Grenzlinie zum Synthetisieren eines linken Rückwärtsbildes und eines mittleren Rückwärtsbildes von einem Fahrzeug aus gemäß der Ausführungsform 2 darstellt.
23 ist ein erläuterndes Diagramm, das eine Grenzlinie und einen Einzelvektor darstellt, berechnet durch eine Bildsynthesevorrichtung gemäß einer Abwandlung der Ausführungsform 2.

Beschreibung von Ausführungsformen
Eine Bildsynthesevorrichtung gemäß einem Aspekt der vorliegenden Erfindung enthält: eine Erlangungseinheit, ausgelegt, ein erstes Bild und ein zweites Bild eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands zu erlangen und das erste Bild und das zweite Bild, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung anzuordnen, in der sich das erste Bild und das zweite Bild teilweise überlappen; eine Merkmalspunktbestimmungseinheit, ausgelegt, einen oder mehrere erste Merkmalspunkte in dem durch die Erlangungseinheit angeordneten ersten Bild und einen oder mehrere zweite Merkmalspunkte in dem durch die Erlangungseinheit angeordneten zweiten Bild zu bestimmen; eine Paarbestimmungseinheit, ausgelegt, eine Vielzahl von Paaren zu bestimmen, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten zu bestimmen, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; eine erste Berechnungseinheit, ausgelegt zum Berechnen für jedes aus einer Vielzahl von Teilbildern (i) eines ersten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen ersten Merkmalspunkt in einem im Teilbild enthaltenen Paar zu einer Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstreckt, und (ii) eines zweiten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen zweiten Merkmalspunkt in dem Paar zu der Mitte erstreckt, wobei die Vielzahl von Teilbildern durch ein Teilen des ersten Bildes und des zweiten Bildes, die angeordnet wurden, entlang einer Trennlinie erlangt ist, die sich in einer ersten Richtung erstreckt; eine zweite Berechnungseinheit, ausgelegt, einen ersten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des ersten repräsentativen Vektors zu berechnen, der durch die erste Berechnungseinheit für jedes aus der Vielzahl von Teilbildern berechnet wurde, und einen zweiten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des zweiten repräsentativen Vektors zu berechnen, der durch die erste Berechnungseinheit für jedes aus der Vielzahl von Teilbildern berechnet wurde; und eine Syntheseeinheit, ausgelegt, das erste Bild und das zweite Bild zu synthetisieren, nach einem Berechnen eines Pixelwerts für eine im ersten Bild enthaltene Pixelzeile unter Verwendung des ersten Einzelvektors und einem Berechnen eines Pixelwerts für eine im zweiten Bild enthaltene Pixelzeile unter Verwendung des zweiten Einzelvektors.
Gemäß dem obigen Aspekt führt die Bildsynthesevorrichtung eine Pixelwertberechnung so durch, dass Merkmalspunkte, die im ersten Bild und im zweiten Bild auftreten, und an denen Bilder eines identischen Objekts aufgenommen sind, einander nähern, und synthetisiert dann das erste Bild und das zweite Bild. Bei dieser Berechnung wird, nachdem zuerst der erste repräsentative Vektor oder dergleichen berechnet wurde, der Einzelvektor in jeder der Pixelzeilen unter Verwendung des berechneten ersten repräsentativen Vektors berechnet, und die Pixelwertberechnung wird unter Verwendung des Einzelvektors durchgeführt. Indem auf diese Weise zuerst der erste repräsentative Vektor oder dergleichen berechnet wird, ist es möglich, das Eintreten zu verhindern, dass die Bildsynthese durch einen Vektor beeinträchtigt wird, der aufgrund eines Fehlpaarens von Merkmalspunkten erzeugt werden kann und sich bedeutend von den anderen Vektoren unterscheidet. Als Ergebnis kann die Bildsynthesevorrichtung Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die erste Berechnungseinheit ausgelegt, für jedes aus der Vielzahl von Teilbildern: als den ersten repräsentativen Vektor einen Median von Vektoren zu berechnen, die sich jeweils von dem einen ersten Merkmalspunkt in einem aus der Vielzahl von im Teilbild enthaltenen Paaren zu einer Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstrecken; und als den zweiten repräsentativen Vektor einen Median von Vektoren zu berechnen, die sich jeweils von dem einen zweiten Merkmalspunkt in einem aus der Vielzahl von Paaren zu der Mitte erstrecken.
Gemäß dem obigen Aspekt berechnet die Bildsynthesevorrichtung den Median der Vielzahl von Vektoren als den ersten repräsentativen Vektor oder dergleichen. Damit ist es möglich, das Eintreten auszuschließen, dass der Einzelvektor durch einen Vektor beeinträchtigt wird, der aufgrund eines Fehlpaarens von Merkmalspunkten erzeugt werden kann und sich bedeutend von den anderen Vektoren unterscheidet. Somit kann die Bildsynthesevorrichtung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die zweite Berechnungseinheit ausgelegt: für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen den ersten Einzelvektor durch eine lineare Interpolation zu berechnen, indem sie eine mittlere Pixelzeile in jedem aus der Vielzahl von Teilbildern mit dem ersten repräsentativen Vektor in dem Teilbild verknüpft; und für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen den zweiten Einzelvektor durch eine lineare Interpolation zu berechnen, indem sie die mittlere Pixelzeile in jedem aus der Vielzahl von Teilbildern mit dem zweiten repräsentativen Vektor in dem Teilbild verknüpft.
Gemäß dem obigen Aspekt berechnet die Bildsynthesevorrichtung den Einzelvektor durch eine lineare Interpolation der repräsentativen Vektoren. Somit kann die Bildsynthesevorrichtung auf Grundlage einer genaueren Anordnung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die erste Berechnungseinheit ausgelegt, einen statistischen Vorgang durchzuführen, um (i) einen Unterschied zwischen dem ersten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem ersten repräsentativen Vektor in einem benachbarten aus der Vielzahl von Teilbildern zu reduzieren und (ii) einen Unterschied zwischen dem zweiten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem zweiten repräsentativen Vektor in dem benachbarten aus der Vielzahl von Teilbildern zu reduzieren, und die zweite Berechnungseinheit ist ausgelegt, den ersten Einzelvektor und den zweiten Einzelvektor zu berechnen, nachdem die erste Berechnungseinheit den statistischen Vorgang durchgeführt hat.
Gemäß dem obigen Aspekt reduziert die Bildsynthesevorrichtung den Unterschied zwischen dem repräsentativen Vektor in einem Teilbild und dem repräsentativen Vektor in einem benachbarten Teilbild, um den Unterschied zwischen Einzelvektoren in den Teilbildern zu reduzieren; als Ergebnis ist es möglich, eine in dem synthetisierten Bild auftretende Verzerrung zu vermeiden. Somit kann die Bildsynthesevorrichtung durch ein Verhindern des Auftretens von Verzerrung zwischen Teilen von Bildern Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die Erlangungseinheit ausgelegt, eine Vielzahl der ersten Bilder und eine Vielzahl der zweiten Bilder zu erlangen, die zu unterschiedlichen Zeitpunkten aufgenommen sind, ist die erste Berechnungseinheit ausgelegt, einen statistischen Vorgang durchzuführen, um (i) einen Unterschied zwischen dem ersten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem ersten repräsentativen Vektor in einem früher am selben Ort erlangten Teilbild zu reduzieren und (ii) einen Unterschied zwischen dem zweiten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem zweiten repräsentativen Vektor in dem früher am selben Ort erlangten Teilbild zu reduzieren, und die zweite Berechnungseinheit ist ausgelegt, den ersten Einzelvektor und den zweiten Einzelvektor zu berechnen, nachdem die erste Berechnungseinheit den statistischen Vorgang durchgeführt hat.
Gemäß dem obigen Aspekt reduziert die Bildsynthesevorrichtung den Unterschied zwischen dem repräsentativen Vektor in einem Teilbild und dem repräsentativen Vektor in einem früheren Teilbild vom selben Ort, um das Ausmaß zeitlicher Änderung bei dem Einzelvektor zu reduzieren; als Ergebnis ist es möglich, eine in dem synthetisierten Bild auftretende Verzerrung zu vermeiden. Somit kann die Bildsynthesevorrichtung durch ein Verhindern des Auftretens von Verzerrung zwischen Teilen von Bildern Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die Erlangungseinheit ausgelegt, eine Vielzahl der ersten Bilder und eine Vielzahl der zweiten Bilder zu erlangen, die zu unterschiedlichen Zeitpunkten aufgenommen sind, und die erste Berechnungseinheit ist ausgelegt: wenn mindestens eine vorgegebene Anzahl der Paare in einem Teilbild unter der Vielzahl von Teilbildern enthalten ist, die durch ein Teilen des ersten Bildes und des zweiten Bildes erlangt sind, die zu einem Zeitpunkt aufgenommen sind, das Teilbild für das erste Bild und das zweite Bild zu verkleinern, die zu einem späteren Zeitpunkt aufgenommen sind als dem einen Zeitpunkt; und wenn das Teilbild mindestens die vorgegebene Anzahl der Paare enthält, das Teilbild für das erste Bild und das zweite Bild zu vergrößern, die zu einem späteren Zeitpunkt aufgenommen sind als dem einen Zeitpunkt.
Gemäß dem obigen Aspekt kann die Bildsynthesevorrichtung innerhalb eines geeigneten Bereichs die Anzahl von Paaren von Merkmalspunkten festlegen, die in dem Teilbild enthalten sind. Wenn die Anzahl von Merkmalspunkten, die in dem Teilbild enthalten sind, größer ist als der geeignete Bereich, wird die Streuung bei dem Vektor groß, der den Merkmalspunkt und die Mitte zwischen den Merkmalspunkten verbindet, und es gibt eine große Anzahl von Vektoren mit Abstand vom berechneten repräsentativen Vektor. Daher gibt es Fälle, in denen kein geeigneter repräsentativer Vektor berechnet wird. Andererseits gibt es, wenn die Anzahl der im Teilbild enthaltenen Merkmalspunkte geringer ist als der geeignete Bereich, eine kleine Anzahl von Merkmalspunkten, die als Berechnungsbasis dienen, und es kann Fälle geben, in denen der berechnete repräsentative Vektor nicht unbedingt ein Vektor ist, der in dem Teilbild enthaltene Vektoren repräsentiert. Somit wird die Anzahl von Paaren von Merkmalspunkten, die in den Teilbild enthalten sind, in dem geeigneten Bereich festgelegt, sodass ein geeigneter repräsentativer Vektor berechnet wird, was es ermöglicht, Bilder zu synthetisieren, während ein Gefühl der Befremdung unterdrückt wird, das durch die Bildsynthese auftritt.
Zum Beispiel ist die erste Richtung horizontal.
Gemäß dem obigen Aspekt erzeugt die Bildsynthesevorrichtung ein Teilbild unter Verwendung einer horizontalen Trennlinie. Somit kann die Bildsynthesevorrichtung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die zweite Berechnungseinheit ausgelegt, den ersten repräsentativen Vektor und den zweiten repräsentativen Vektor durch eine Hardwareverarbeitung unter Verwendung eines Grafikprozessors (einer GPU) zu berechnen, und die Syntheseeinheit ist ausgelegt, das erste Bild und das zweite Bild durch eine Hardwareverarbeitung unter Verwendung der GPU zu synthetisieren.
Gemäß dem obigen Aspekt synthetisiert die Bildsynthesevorrichtung Bilder auf Grundlage des ersten repräsentativen Vektors durch die Hardwareverarbeitung unter Verwendung der GPU. Somit kann die Bildsynthesevorrichtung mit reduziertem Verarbeitungsaufwand und Zeitaufwand Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel enthält die Bildsynthesevorrichtung weiter: eine Kurvenbestimmungseinheit, ausgelegt, eine Kurve zu bestimmen, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind, und die Syntheseeinheit ist ausgelegt, das erste Bild und das zweite Bild unter Verwendung der durch die Kurvenbestimmungseinheit bestimmten einen Kurve als Grenze zu synthetisieren.
Gemäß dem obigen Aspekt synthetisiert die Bildsynthesevorrichtung das erste Bild und das zweite Bild unter Verwendung der gemäß dem Inhalt des ersten Bildes und des zweiten Bildes bestimmten Grenzlinie. Diese Grenzlinie ist so festgelegt, dass sie durch die Nachbarschaft eines Paars von Merkmalspunkten unter den Paaren der Merkmalspunkte im ersten Bild und im zweiten Bild verläuft, das durch einen relativ kurzen Abstand getrennt ist, und somit wird eine Bildduplikation oder ein Verschwinden unterdrückt, die nahe der Grenze auftreten können. Als Ergebnis kann die Bildsynthesevorrichtung Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die Kurvenbestimmungseinheit ausgelegt, als die eine Kurve eine Approximationskurve zu bestimmen, die durch die Nachbarschaft der Vielzahl nahestehender Paare verläuft, die bestimmt wurden.
Gemäß dem obigen Aspekt bestimmt die Bildsynthesevorrichtung unter Verwendung der Approximationskurve eine Grenzlinie, die für die Bildsynthese verwendet wird. Somit kann die Bildsynthesevorrichtung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die Kurvenbestimmungseinheit ausgelegt, die eine Kurve unter Verwendung nichtlinearer kleinster Quadrate zu bestimmen.
Gemäß dem obigen Aspekt bestimmt die Bildsynthesevorrichtung unter Verwendung der nichtlinearen kleinsten Quadrate eine Grenzlinie, die für die Bildsynthese verwendet wird. Somit kann die Bildsynthesevorrichtung auf Grundlage einer genaueren Anordnung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel ist die Kurvenbestimmungseinheit ausgelegt, eine Kurve zu bestimmen, die nicht durch eine Nachbarschaft einer Vielzahl abstehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl abstehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch mindestens den vorgegebenen Abstand getrennt sind.
Gemäß dem obigen Aspekt legt die Bildsynthesevorrichtung eine Grenzlinie fest, die nicht durch die Nachbarschaft eines abstehenden Paares verläuft, das heißt, die Nachbarschaft eines Merkmalspunkts im ersten Bild und eines Merkmalspunkts im zweiten Bild, die in dem abstehenden Paar enthalten sind, und die Nachbarschaft der Geraden, die diese Merkmalspunkte verbindet. Somit sind die Duplikation oder das Verschwinden, die nahe der Grenze auftreten können, weiter unterdrückt. Als Ergebnis kann die Bildsynthesevorrichtung Bilder synthetisieren, während sie weiter ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel werden das erste Bild und das zweite Bild gleichzeitig durch zwei Kameras aufgenommen, die an einem einzigen Fahrzeug befestigt sind, und die vorgegebene Positionsbeziehung ist gemäß Positionen und Ausrichtungen der beiden Kameras vorab bestimmt.
Gemäß dem obigen Aspekt bestimmt die Bildsynthesevorrichtung unter Verwendung der Positionen und Ausrichtungen der am Fahrzeug montierten Kameras die Positionsbeziehung voraus, die die Anordnung des ersten Bildes und des zweiten Bildes angibt. Somit kann die Bildsynthesevorrichtung unter Verwendung der vorbestimmten Positionsbeziehung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Zum Beispiel erlangt die Bildsynthesevorrichtung: (a) ein linkes Rückwärtsbild, aufgenommen durch eine linke Kamera, die einen linken Bereich hinter einem Fahrzeug abbildet; (b) ein rechtes Rückwärtsbild, aufgenommen durch eine rechte Kamera, die einen rechten Bereich hinter dem einen Fahrzeug abbildet; und (c) ein mittleres Rückwärtsbild, aufgenommen durch eine mittlere Kamera, die einen mittleren Bereich hinter dem einen Fahrzeug abbildet; die Bildsynthesevorrichtung (i) erlangt eins aus dem linken Rückwärtsbild und dem rechten Rückwärtsbild sowie das mittlere Rückwärtsbild als das erste bzw. das zweite Bild durch die Erlangungseinheit, (ii) führt das Bestimmen jeder aus der Merkmalspunktbestimmungseinheit und der Paarbestimmungseinheit durch, (iii) führt das Berechnen jeder aus der ersten Berechnungseinheit und der zweiten Berechnungseinheit durch, und (iv) erzeugt ein drittes Bild durch eine Synthese durch die Syntheseeinheit, und die Bildsynthesevorrichtung (i) erlangt das dritte Bild und das andere aus dem linken Rückwärtsbild und dem rechten Rückwärtsbild als das erste bzw. das zweite Bild durch die Erlangungseinheit, (ii) führt das Bestimmen jeder aus der Merkmalspunktbestimmungseinheit und der Paarbestimmungseinheit durch, (iii) führt das Berechnen jeder aus der ersten Berechnungseinheit und der zweiten Berechnungseinheit durch, und (iv) erzeugt ein viertes Bild durch eine Synthese durch die Syntheseeinheit.
Gemäß dem obigen Aspekt synthetisiert die Bildsynthesevorrichtung die durch die linke Kamera, die rechte Kamera und die mittlere Kamera, die am Fahrzeug montiert sind, aufgenommenen Bilder. Dies ermöglicht der Bildsynthesevorrichtung, Bilder zu synthetisieren, die einen breiten Bereich vom linken Bereich zum rechten Bereich über den mittleren Bereich hinter dem Fahrzeug oder vom rechten Bereich zum linken Bereich über den mittleren Bereich hinter dem Fahrzeug abdecken, und dabei ein Gefühl der Befremdung zu unterdrücken, das durch die Bildsynthese auftritt.
Weiter enthält die Bildsynthesevorrichtung gemäß einem Aspekt der vorliegenden Erfindung: eine Erlangungseinheit, ausgelegt, ein erstes Bild und ein zweites Bild eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands zu erlangen und das erste Bild und das zweite Bild, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung anzuordnen, in der sich das erste Bild und das zweite Bild teilweise überlappen; eine Merkmalspunktbestimmungseinheit, ausgelegt, einen oder mehrere erste Merkmalspunkte in dem durch die Erlangungseinheit angeordneten ersten Bild und einen oder mehrere zweite Merkmalspunkte in dem durch die Erlangungseinheit angeordneten zweiten Bild zu bestimmen; eine Paarbestimmungseinheit, ausgelegt, eine Vielzahl von Paaren zu bestimmen, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten zu bestimmen, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; eine Kurvenbestimmungseinheit, ausgelegt, eine Kurve zu bestimmen, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind; und eine Syntheseeinheit, ausgelegt, das erste Bild und das zweite Bild unter Verwendung der einen Kurve, die bestimmt wurde, als Grenze zu synthetisieren.
Gemäß dem obigen Aspekt werden im Wesentlichen dieselben vorteilhaften Wirkungen erzeugt wie die durch die obige Bildsynthesevorrichtung erzeugten.
Ein Verfahren zum Steuern einer Bildsynthesevorrichtung enthält: ein Erlangen eines ersten Bildes und eines zweiten Bildes eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands und ein Anordnen des ersten Bildes und des zweiten Bildes, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung, in der sich das erste Bild und das zweite Bild teilweise überlappen; ein Bestimmen eines oder mehrerer erster Merkmalspunkte in dem beim Anordnen angeordneten ersten Bild und eines oder mehrerer zweiter Merkmalspunkte in dem beim Anordnen angeordneten zweiten Bild; ein Bestimmen einer Vielzahl von Paaren, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten enthalten, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; ein Berechnen für jedes aus einer Vielzahl von Teilbildern (i) eines ersten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen ersten Merkmalspunkt in einem im Teilbild enthaltenen Paar zu einer Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstreckt, und (ii) eines zweiten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen zweiten Merkmalspunkt in dem Paar zu der Mitte erstreckt, wobei die Vielzahl von Teilbildern durch ein Teilen des ersten Bildes und des zweiten Bildes, die angeordnet wurden, entlang einer Trennlinie erlangt ist, die sich in einer ersten Richtung erstreckt; ein Berechnen eines ersten Einzelvektors für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des ersten repräsentativen Vektors, der beim Berechnen eines ersten repräsentativen Vektors für jedes aus der Vielzahl von Teilbildern berechnet wurde, und ein Berechnen eines zweiten Einzelvektors für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des zweiten repräsentativen Vektors, der beim Berechnen eines zweiten repräsentativen Vektors für jedes aus der Vielzahl von Teilbildern berechnet wurde; und ein Synthetisieren des ersten Bildes und des zweiten Bildes nach einem Berechnen eines Pixelwerts für eine im ersten Bild enthaltene Pixelzeile unter Verwendung des ersten Einzelvektors und einem Berechnen eines Pixelwerts für eine im zweiten Bild enthaltene Pixelzeile unter Verwendung des zweiten Einzelvektors.
Gemäß dem obigen Aspekt werden im Wesentlichen dieselben vorteilhaften Wirkungen erzeugt wie die durch die obige Bildsynthesevorrichtung erzeugten.
Zum Beispiel enthält das Verfahren weiter: ein Bestimmen einer Kurve, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind, und beim Synthetisieren werden das erste Bild und das zweite Bild unter Verwendung der beim Bestimmen einer Kurve bestimmten einen Kurve als Grenze synthetisiert.
Gemäß dem obigen Aspekt werden im Wesentlichen dieselben vorteilhaften Wirkungen erzeugt wie die durch die obige Bildsynthesevorrichtung erzeugten.
Zum Beispiel enthält ein Verfahren zum Steuern einer Bildsynthesevorrichtung: ein Erlangen eines ersten Bildes und eines zweiten Bildes eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands und ein Anordnen des ersten Bildes und des zweiten Bildes, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung, in der sich das erste Bild und das zweite Bild teilweise überlappen; ein Bestimmen eines oder mehrerer erster Merkmalspunkte in dem beim Anordnen angeordneten ersten Bild und eines oder mehrerer zweiter Merkmalspunkte in dem beim Anordnen angeordneten zweiten Bild; ein Bestimmen einer Vielzahl von Paaren, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten enthalten, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; ein Bestimmen einer Kurve, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind; und ein Synthetisieren des ersten Bildes und des zweiten Bildes unter Verwendung als Grenze der Kurve, die bestimmt wurde.
Gemäß dem obigen Aspekt werden im Wesentlichen dieselben vorteilhaften Wirkungen erzeugt wie die durch die obige Bildsynthesevorrichtung erzeugten.
Es ist anzumerken, dass diese allgemeinen oder spezifischen Aspekte unter Verwendung eines Systems, eines Verfahrens, einer integrierten Schaltung, eines Computerprogramms oder eines computerlesbaren Aufzeichnungsmediums, wie etwa einer CD-ROM, oder einer beliebigen Kombination von Systemen, Verfahren, integrierten Schaltungen, Computerprogrammen oder Aufzeichnungsmedien umgesetzt sein können.
Nachstehend sind Ausführungsformen unter Bezugnahme auf die Zeichnung genau beschrieben.
Hier ist anzumerken, dass jede der nachstehend beschriebenen Ausführungsformen ein allgemeines oder genaues Beispiel zeigt. Die Zahlenwerte, Formen, Materialien, Aufbauelemente, die Anordnung und Verbindung der Aufbauelemente, die Schritte, die Verarbeitungsabfolge der Schritte usw., die in den folgenden Ausführungsformen gezeigt sind, sind nur Beispiele und sollen daher die vorliegende Erfindung nicht einschränken. Daher sind unter den Aufbauelementen in den folgenden Ausführungsformen die Aufbauelemente, die in keinem der unabhängigen Ansprüche, die die allgemeinen Konzepte der vorliegenden Erfindung formulieren, angeführt werden, als beliebige Aufbauelemente beschrieben.
Ausführungsform 1
In der vorliegenden Ausführungsform ist eine Bildsynthesevorrichtung beschrieben, die Bilder synthetisiert, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
1 ist eine schematische Ansicht, die ein Beispiel eines Fahrzeugs 1 gemäß der vorliegenden Ausführungsform darstellt. 2 ist eine erläuternde Skizze, die unsynthetisierte Bilder und ein sich aus der Synthese durch die Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform ergebendes Bild darstellt.
Wie in 1 dargestellt, enthält das Fahrzeug 1 die Bildsynthesevorrichtung 10, Kameras 12, 13 und 14 und einen elektronischen Spiegel 40. Es ist anzumerken, dass in der nachstehenden Beschreibung, sofern nicht anders angegeben, die Längs- und die Querrichtung auf der Annahme beruhen, dass die Fahrtrichtung des Fahrzeugs 1 vorwärts ist, wodurch sie als die Längs- und die Querrichtung für einen Fahrer des Fahrzeugs 1 bezeichnet werden können.
Die Kamera 12 ist nahe einer linken Tür des Fahrzeugs 1 befestigt und fotografiert einen linken Bereich hinter dem Fahrzeug 1. Die Kamera 12 erzeugt ein Bild durch ein Fotografieren eines linken Bereichs hinter dem Fahrzeug 1. Das durch die Kamera 12 erzeugte Bild ist auch als ein linkes Rückwärtsbild bezeichnet.
Die Kamera 13 ist nahe einer rechten Tür des Fahrzeugs 1 befestigt und fotografiert einen rechten Bereich hinter dem Fahrzeug 1. Die Kamera 13 erzeugt ein Bild durch ein Fotografieren eines rechten Bereichs hinter dem Fahrzeug 1. Das durch die Kamera 13 erzeugte Bild ist auch als ein rechtes Rückwärtsbild bezeichnet.
Die Kamera 14 ist nahe der hinteren Stoßstange oder dem Kofferraumdeckel des Fahrzeugs 1 befestigt und fotografiert einen mittleren Bereich hinter dem Fahrzeug 1. Die Kamera 14 erzeugt ein Bild durch ein Fotografieren eines mittleren Bereichs hinter dem Fahrzeug 1. Das durch die Kamera 14 erzeugte Bild ist auch als ein mittleres Rückwärtsbild bezeichnet.
Der Aufnahmebereich der Kamera 12 und der Aufnahmebereich der Kamera 14 überlappen einander teilweise, und der Aufnahmebereich der Kamera 13 und der Aufnahmebereich der Kamera 14 überlappen einander teilweise. Daher erscheint derselbe Gegenstand in einem Teil des linken Rückwärtsbildes und in einem Teil des mittleren Rückwärtsbildes. Weiter erscheint derselbe Gegenstand in einem Teil des rechten Rückwärtsbildes und in einem Teil des mittleren Rückwärtsbildes.
Die Kameras 12, 13 und 14 erzeugen jeweilige Bilder durch ein Fotografieren unter unterschiedlichen Bildgebungsbedingungen. Genauer sind die Kameras 12, 13 und 14 an unterschiedlichen Positionen angeordnet, weisen in unterschiedliche Richtungen und erlangen jeweilige Bilder beispielsweise bei 60 fps. Weiter können sich die optischen Eigenschaften jeweiliger optischer Systeme der Kameras 12, 13 und 14 unterscheiden.
Der elektronische Spiegel 40 ist eine Bildanzeigevorrichtung, die Rückwärtsbilder 50 anzeigt, in denen eine Rückansicht vom Fahrzeug 1 aus erscheint. Der elektronische Spiegel 40 zeigt ein Bild auf Grundlage von Videosignalen an, die durch die Bildsynthesevorrichtung 10 ausgegeben werden. Der elektronische Spiegel 40 kann als Ersatz für einen herkömmlichen Rückspiegel verwendet werden, der eine Rückansicht vom Fahrzeug 1 aus unter Verwendung von Lichtreflexion zeigt.
Die Bildsynthesevorrichtung 10 synthetisiert die jeweiligen, durch die Kameras 12, 13 und 14 erzeugten Bilder und erzeugt dadurch ein durch den elektronischen Spiegel 40 anzuzeigendes Bild. 2 stellt Bilder 51, 52 und 53 als Beispiel der jeweiligen, durch die Kameras 12, 13 und 14 erzeugten Bilder dar.
Wie oben beschrieben, nehmen die Kameras 12, 13 und 14 Bilder eines Gegenstands unter unterschiedlichen Bildgebungsbedingungen auf; somit kann, wenn die Bildsynthesevorrichtung 10 die durch die Kameras 12, 13 und 14 erzeugten Bilder einfach verbindet, kein natürliches Rückwärtsbild erlangt werden. Genauer können in einem durch ein einfaches Verbinden der Bilder erlangten Bild Duplikation oder Verschwinden in der Nachbarschaft der Grenze zwischen den verbundenen Bildern auftreten und zu einem Nichtgelingen des Erlangens natürlicher Rückwärtsbilder 50 führen. Hier ist mit einem natürlichen Rückwärtsbild 50 ein Bild gemeint, das dasselbe ist wie eine Rückansicht aus dem Fahrzeug 1, die ein Fahrer des Fahrzeugs 1 durch einen herkömmlichen Rückspiegel (physischer Spiegel genannt) sehen kann. Mit der Duplikation ist eine doppelte Ansicht eines Objekts gemeint, und mit dem Verschwinden ist ein Phänomen gemeint, bei dem ein tatsächlich existierendes Objekt im Bild nicht erscheint.
Wenn beispielsweise durch an unterschiedlichen Positionen installierte Kameras aufgenommene Bilder synthetisiert werden, kann eine Duplikation des Gegenstands auftreten. 3 ist eine Skizze zum Beschreiben der Duplikation eines Gegenstands in den durch die an zwei unterschiedlichen Positionen installierten Kameras A und B aufgenommenen Bildern.
Im Allgemeinen wird bei der Bildsynthese eine virtuelle Projektionsebene in einem vorgegebenen Abstand von jeder der Kameras A und B in einem virtuellen Raum festgelegt, werden die Bilder auf die virtuelle Projektionsebene projiziert und wird ein Synthesevorgang durchgeführt. 3 stellt in (a) und (b) die Kameras A und B und die im virtuellen Raum angeordnete virtuelle Projektionsebene dar.
Wie in (a) in 3 dargestellt, tritt, wenn die Abstände LRA und LRB von den Kameras A und B zu dem Gegenstand im tatsächlichen Raum gleich den Abständen LVA und LVB von den Kameras A und B zu der virtuellen Projektionsebene im virtuellen Raum sind, eine Bildduplikation in der virtuellen Projektionsebene nicht auf (LRA = LVA, LRB = LVB).
Wenn dagegen, wie in (b) in 3 dargestellt, die Abstände LVA und LVB von den Kameras A und B zu der virtuellen Projektionsebene im virtuellen Raum größer sind als die Abstände LRA und LRB von den Kameras A und B zu dem Gegenstand im tatsächlichen Raum, tritt eine Bildduplikation in der virtuellen Projektionsebene auf. Es ist anzumerken, dass eine Bildduplikation in der virtuellen Projektionsebene auch auftritt, wenn die Abstände von den Kameras A und B zu der virtuellen Projektionsebene im virtuellen Raum geringer sind als die Abstände von den Kameras A und B zu dem Gegenstand im tatsächlichen Raum (in der Zeichnung nicht dargestellt).
Somit führt die Bildsynthesevorrichtung 10 gemäß den durch die jeweiligen Kameras 12, 13 und 14 erzeugten Bildern eine geeignete Bearbeitung dieser Bilder durch, bevor sie sie verbindet, und erzeugt somit ein natürliches Rückwärtsbild 50, in dem eine Bildduplikation unterdrückt ist, die durch die Synthese auftreten kann, und bewirkt, dass der elektronische Spiegel 40 ein natürliches Rückwärtsbild 50 anzeigt.
Im Folgenden sind die Funktionen und Abläufe der Bildsynthesevorrichtung 10 beschrieben.
4 ist ein Blockdiagramm, das den funktionellen Aufbau der Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform darstellt. Hier ist eine Beschreibung unter Verwendung des Falls als Beispiel dargelegt, in dem die Bildsynthesevorrichtung 10 zwei aufgenommene Bilder eines Gegenstands erlangt und synthetisiert, nämlich ein erstes Bild und ein zweites Bild. Diese beiden Bilder können ein linkes Rückwärtsbild und ein mittleres Rückwärtsbild oder ein rechtes Rückwärtsbild und ein mittleres Rückwärtsbild sein.
Es ist anzumerken, dass, unter Verwendung eines Verfahrens zum Synthetisieren von zwei Bildern, nämlich des ersten Bildes und des zweiten Bildes, auch drei Bilder synthetisiert werden können. Zum Beispiel erlangt die Bildsynthesevorrichtung 10 (1) ein Bild durch ein Synthetisieren des linken Rückwärtsbildes und des mittleren Rückwärtsbildes als das erste Bild bzw. das zweite Bild und (2) synthetisiert dann das erlangte Bild und das rechte Rückwärtsbild als die erneuerten Versionen des ersten Bildes bzw. des zweiten Bildes; auf diese Weise wird schließlich ein Rückwärtsbild 50 erlangt, in dem alle, das linke Rückwärtsbild, das mittlere Rückwärtsbild und das rechte Rückwärtsbild miteinander verbunden sind. In diesem Fall wird das durch ein Synthetisieren des ersten Bildes und des zweiten Bildes erlangte Bild als das dritte Bild bezeichnet, und das durch ein Synthetisieren des dritten Bildes und des zweiten Rückwärtsbildes erlangte Bild wird als das vierte Bild bezeichnet.
Hier erlangt die Bildsynthesevorrichtung 10 bezüglich der Synthese der erwähnten drei Bilder (1) ein Bild durch ein Synthetisieren des linken Rückwärtsbildes und des mittleren Rückwärtsbildes als das erste Bild bzw. das zweite Bild und (2) synthetisiert dann das erlangte Bild und das rechte Rückwärtsbild als die erneuerten Versionen des ersten Bildes bzw. des zweiten Bildes; jedoch ist die Synthese nicht auf dieses Beispiel beschränkt. Zum Beispiel kann die Bildsynthesevorrichtung 10 (1) ein Bild durch ein Synthetisieren des rechten Rückwärtsbildes und des mittleren Rückwärtsbildes als das erste Bild bzw. das zweite Bild erlangen und (2) dann das erlangte Bild und das linke Rückwärtsbild als die erneuerten Versionen des ersten Bildes bzw. des zweiten Bildes synthetisieren. Mit anderen Worten, die Bildsynthesevorrichtung 10 erlangt durch die Erlangungseinheit 21 eins aus dem linken Rückwärtsbild und dem rechten Rückwärtsbild sowie das mittlere Rückwärtsbild als das erste Bild bzw. zweite Bild, führt das Bestimmen jeder aus der Merkmalspunktbestimmungseinheit 31 und der Paarbestimmungseinheit 32 durch, führt das Berechnen jeder aus der ersten Berechnungseinheit 33 und der zweiten Berechnungseinheit 34 durch und erzeugt ein drittes Bild durch eine Synthese durch die Syntheseeinheit 23 und erlangt durch die Erlangungseinheit 21 eins aus dem dritten Bild und dem anderen aus dem linken Rückwärtsbild und dem rechten Rückwärtsbild als das erste Bild und das zweite Bild, führt das Bestimmen jeder aus der Merkmalspunktbestimmungseinheit 31 und der Paarbestimmungseinheit 32 durch, führt das Berechnen jeder aus der ersten Berechnungseinheit 33 und der zweiten Berechnungseinheit 34 durch und erzeugt ein viertes Bild durch eine Synthese durch die Syntheseeinheit 23. Auf diese Weise wird schließlich ein Rückwärtsbild 50 erlangt, in dem alle, das linke Rückwärtsbild, das mittlere Rückwärtsbild und das rechte Rückwärtsbild miteinander verbunden sind.
Das Folgende beschreibt den Fall genau, in dem das erste Bild das linke Rückwärtsbild ist und das zweite Bild das mittlere Rückwärtsbild ist. In diesem Fall erlangt die Bildsynthesevorrichtung 10 durch die Kameras 12 und 14 das erste Bild und das zweite Bild beispielsweise bei 60 fps, und erzeugt jedes Mal, wenn das erste Bild und das zweite Bild erlangt werden, ein synthetisiertes Bild des ersten Bildes und des zweiten Bildes und zeigt das synthetisierte Bild auf dem elektronischen Spiegel 40 an.
Wie in 4 dargestellt, enthält die Bildsynthesevorrichtung 10 die Erlangungseinheit 21, die Bestimmungseinheit 22, die Syntheseeinheit 23 und die Anzeigesteuereinheit 24. Jedes der obigen Aufbauelemente kann durch einen Prozessor umgesetzt sein, der ein vorgegebenes Programm unter Verwendung eines Speichers oder dergleichen ausführt, oder kann als Spezialhardware umgesetzt sein.
Die Erlangungseinheit 21 ist eine Verarbeitungseinheit, die das erste Bild und das zweite Bild eines Gegenstands erlangt, aufgenommen unter unterschiedlichen Bildgebungsbedingungen, und ordnet das erste Bild und das zweite Bild, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung an, in der sich die Bilder teilweise überlappen. Die Erlangungseinheit 21 ordnet das erste Bild und das zweite Bild durch eine Berechnung eines Computers in einem virtuellen Raum an. Wenn die Erlangungseinheit 21 das erste Bild und das zweite Bild in dem virtuellen Raum anordnet, können die anzuordnenden Bilder vor dem Anordnen der Bilder gemäß den optischen Eigenschaften der optischen Systeme der Kameras oder dergleichen korrigiert werden, die die Bilder aufgenommen haben. Spezielle Beispiele der Korrektur umfassen eine Korrektur auf Grundlage der Verzerrung eines Objektivs, Korrektur bei Größe und Winkeljustierung und Farbtonkorrektur. Durch ein Vornehmen dieser Korrektur wird der Unterschied zwischen den optischen Systemen der Kameras reduziert, und somit ist es möglich, den Unterschied in Farbe, Größe oder dergleichen zwischen Bildern zu reduzieren, die von dem ersten und dem zweiten Bild abstammen und in dem durch ein Verbinden erzeugten Rückwärtsbild 50 enthalten sind. Die vorgegebene Positionsbeziehung zum Anordnen des ersten Bildes und des zweiten Bildes wird bestimmt gemäß den Positionen und Ausrichtungen der Kameras, die das erste Bild und das zweite Bild erlangt haben. Dies sei als statische Umwandlung bezeichnet.
Die Bestimmungseinheit 22 ist eine Bearbeitungseinheit, die eine Grenze zum Synthetisieren des ersten Bildes und des zweiten Bildes bestimmt. Die Bestimmungseinheit 22 enthält die Merkmalspunktbestimmungseinheit 31, die Paarbestimmungseinheit 32, die erste Berechnungseinheit 33 und die zweite Berechnungseinheit 34 als besondere Aufbauelemente.
Die Merkmalspunktbestimmungseinheit 31 ist eine Bearbeitungseinheit, die einen oder mehrere erste Merkmalspunkte in dem durch die Erlangungseinheit 21 angeordneten ersten Bild und einen oder mehrere zweite Merkmalspunkte in dem durch die Erlangungseinheit 21 angeordneten zweiten Bild bestimmt. Die Bestimmungseinheit 22 extrahiert einen Merkmalspunkt in jedem aus dem ersten Bild und dem zweiten Bild. Der Vorgang des Extrahierens eines Merkmalspunkts ist beispielsweise ein Vorgang des Entdeckens eines Pixels oder einer Pixelgruppe aus einem Bild, das/die in dem Bild enthalten ist und sich in Farbe, Form usw. von den umgebenden Pixeln unterscheidet; dieser Vorgang kann unter Verwendung einer bekannten Bilderkennungstechnik durchgeführt werden.
Die Paarbestimmungseinheit 32 ist eine Bearbeitungseinheit, die auf Grundlage des ersten Merkmalspunkts und des zweiten Merkmalspunkts, die durch die Merkmalspunktbestimmungseinheit 31 bestimmt sind, eine Vielzahl von Paaren bestimmt, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten enthält, die Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind. Genauer entdeckt die Paarbestimmungseinheit 32 Merkmalspunkte in aufgenommenen Bildern eines identischen Objekts durch ein Vergleichen der Farben oder der Formen oder der örtlichen Merkmalsmengen usw., die erlangt sind durch die beschleunigten, robusten Merkmale (SURF), die orientierten FAST und die rotierten BRIEF (ORB) oder dergleichen des Pixels oder der Pixelgruppe, das/die durch die Merkmalspunktbestimmungseinheit 31 als ein Merkmalspunkt im ersten Bild entdeckt wurde, und des Pixels oder der Pixelgruppe, das/die durch die Merkmalspunktbestimmungseinheit 31 als ein Merkmalspunkt im zweiten Bild entdeckt wurde (was als Paarungsvorgang bezeichnet ist), und bestimmt die entdeckten Merkmalspunkte als das oben genannte Paar.
Die erste Berechnungseinheit 33 ist eine Bearbeitungseinheit, die einen repräsentativen Vektor des durch die Paarbestimmungseinheit 32 bestimmten Paars berechnet. Genauer berechnet die erste Berechnungseinheit 33 für jedes aus einer Vielzahl von Teilbildern, die erlangt sind durch ein Teilen des ersten Bildes und des zweiten Bildes, die durch die Erlangungseinheit 21 angeordnet sind, entlang einer sich in einer ersten Richtung erstreckenden Trennlinie einen ersten repräsentativen Vektor, der einen Vektor repräsentiert, der sich von dem einen ersten Merkmalspunkt in dem Paar, das im Teilbild enthalten ist, zu der Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstreckt, und berechnet einen zweiten repräsentativen Vektor, der einen Vektor repräsentiert, der sich von dem einen zweiten Merkmalspunkt in dem Paar zu der Mitte erstreckt.
Beim Berechnen des ersten repräsentativen Vektors wird in dem Fall, in dem es eine Vielzahl von Vektoren gibt, die sich von einem ersten Merkmalspunkt in dem Paar zur Mitte erstrecken, die Vielzahl von Vektoren statistisch verarbeitet, um den ersten repräsentativen Vektor zu berechnen. Der statistische Vorgang enthält den Vorgang des Erlangens eines Medians und den Vorgang des Erlangens eines Mittelwerts. Dasselbe gilt für den zweiten repräsentativen Vektor. Das Teilbild ist in einem Gebiet enthalten, das mehr als eine Pixelzeile enthält.
Genauer kann die erste Berechnungseinheit 33 für jedes aus der Vielzahl von Teilbildern als den ersten repräsentativen Vektor den Median von Vektoren berechnen, die sich jeweils von einem ersten Merkmalspunkt in einem aus der im Teilbild enthaltenen Vielzahl von Paaren zu der Mitte zwischen einem ersten Merkmalspunkt und einem zweiten Merkmalspunkt erstrecken. Weiter kann die erste Berechnungseinheit 33 als den zweiten repräsentativen Vektor den Median von Vektoren berechnen, die sich jeweils von einem zweiten Merkmalspunkt in einem aus der Vielzahl von Paaren zu der Mitte zwischen einem ersten Merkmalspunkt und einem zweiten Merkmalspunkt erstrecken. Bei dem durch die Paarbestimmungseinheit 32 durchgeführten Paarungsvorgang gibt es Fälle, in denen Merkmalspunkte, an denen Bilder unterschiedlicher Objekte aufgenommen sind, als ein Paar bestimmt werden (auch als „Fehlpaarung“ bezeichnet). In einem solchen Fall unterscheidet sich unter der Vielzahl von Vektoren ein Vektor aus der Fehlpaarung bedeutend von den anderen Vektoren. Durch ein Verwenden des Medians beim Berechnen des ersten repräsentativen Vektors oder dergleichen ist es möglich, den Vektor aus der Fehlpaarung, der sich bedeutend von den anderen Vektoren unterscheidet, vom Beitragen zum ersten repräsentativen Vektor oder dergleichen auszuschließen.
Es ist anzumerken, dass die erste Richtung beispielsweise horizontal ist. Anders ausgedrückt, die Trennlinie ist beispielsweise eine horizontale Trennlinie. Dieser Fall, der nicht einschränkend ist, ist nachstehend beispielhaft dargelegt.
Die erste Berechnungseinheit 33 kann den Vorgang des räumlichen Mittelns des ersten repräsentativen Vektors oder dergleichen beim Berechnen des ersten repräsentativen Vektors oder dergleichen durchführen. Genauer kann die erste Berechnungseinheit 33 den statistischen Vorgang durchführen, um den Unterschied zwischen dem ersten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem ersten repräsentativen Vektor in einem benachbarten Teilbild zu reduzieren und den Unterschied zwischen dem zweiten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem zweiten repräsentativen Vektor in dem benachbarten Teilbild zu reduzieren. Dieser statistische Vorgang enthält beispielsweise den Vorgang des Erlangens eines Mittelwerts oder gewichteten Mittelwerts.
Die erste Berechnungseinheit 33 kann den Vorgang des zeitlichen Mittelns des ersten repräsentativen Vektors oder dergleichen beim Berechnen des ersten repräsentativen Vektors oder dergleichen durchführen. Genauer kann die erste Berechnungseinheit 33 den statistischen Vorgang durchführen, um den Unterschied zwischen dem ersten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem ersten repräsentativen Vektor in einem am selben Ort früher erlangten Teilbild zu reduzieren und den Unterschied zwischen dem zweiten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem zweiten repräsentativen Vektor in dem am selben Ort früher erlangten Teilbild zu reduzieren. Dieser statistische Vorgang enthält beispielsweise den Vorgang des Erlangens eines Mittelwerts oder gewichteten Mittelwerts.
Weiter kann die erste Berechnungseinheit 33 die Größe des Teilbildes so justieren, dass die Anzahl von im Teilbild enthaltenen Paaren in einen geeigneten Bereich fällt. Genauer kann die erste Berechnungseinheit 33, wenn mindestens eine vorgegebene erste Anzahl von Paaren in einem Teilbild unter einer Vielzahl von Teilbildern enthalten ist, die durch ein Teilen des ersten Bildes und des zweiten Bildes erhalten sind, die zu einem Zeitpunkt aufgenommen sind, das Teilbild für das erste Bild und das zweite Bild verkleinern, die zu einem späteren Zeitpunkt als dem einen Zeitpunkt aufgenommen sind, und wenn die Anzahl von in dem Teilbild enthaltenen Paaren kleiner oder gleich einem vorgegebenen zweiten Wert ist, kann die erste Berechnungseinheit 33 das Teilbild für das erste Bild und das zweite Bild vergrößern, die zu einem späteren Zeitpunkt aufgenommen sind als dem einen Zeitpunkt. Hier ist der erste vorgegebene Wert der obere Grenzwert des geeigneten Bereiches und kann beispielsweise auf etwa 50 festgelegt sein. Der zweite vorgegebene Wert ist der untere Grenzwert des geeigneten Bereiches und kann beispielsweise auf etwa 5 festgelegt sein.
Die zweite Berechnungseinheit 34 ist eine Bearbeitungseinheit, die einen Einzelvektor unter Verwendung des durch die erste Berechnungseinheit 33 berechneten repräsentativen Vektors berechnet. Die zweite Berechnungseinheit 34 berechnet einen ersten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des durch die erste Berechnungseinheit 33 für jedes aus der Vielzahl von Teilbildern berechneten ersten repräsentativen Vektors und berechnet einen zweiten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des durch die erste Berechnungseinheit 33 für jedes aus der Vielzahl von Teilbildern berechneten zweiten repräsentativen Vektors.
Hier kann die zweite Berechnungseinheit 34 für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen den ersten Einzelvektor durch eine lineare Interpolation berechnen, indem sie eine mittlere Pixelzeile in jedem aus der Vielzahl von Teilbildern mit dem ersten repräsentativen Vektor in dem Teilbild verknüpft. Weiter kann die zweite Berechnungseinheit 34 für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen den zweiten Einzelvektor durch eine lineare Interpolation berechnen, indem sie eine mittlere Pixelzeile in jedem aus der Vielzahl von Teilbildern mit dem zweiten repräsentativen Vektor in dem Teilbild verknüpft.
Die Syntheseeinheit 23 ist eine Bearbeitungseinheit, die ein synthetisiertes Bild erzeugt, indem sie das erste Bild und das zweite Bild unter Verwendung des durch die zweite Berechnungseinheit 34 berechneten Einzelvektors synthetisiert. Die Syntheseeinheit 23 synthetisiert das erste Bild und das zweite Bild nach einem Berechnen eines Pixelwerts für eine im ersten Bild enthaltene Pixelzeile unter Verwendung des ersten Einzelvektors und einem Berechnen eines Pixelwerts für eine im zweiten Bild enthaltene Pixelzeile unter Verwendung des zweiten Einzelvektors. Im Prinzip wird die Synthese durch ein Zerschneiden und Verbinden des ersten Bildes und des zweiten Bildes entlang der Grenzlinie erreicht. Dabei kann die Syntheseeinheit 23 in der Nachbarschaft der Grenze den Vorgang des Erlangens des gewichteten Mittelwerts der Pixelwerte im ersten Bild und im zweiten Bild durchführen.
Die Anzeigesteuereinheit 24 ist eine Bearbeitungseinheit, die das Anzeigen des durch die Syntheseeinheit 23 erzeugten synthetisierten Bildes steuert. Die Anzeigesteuereinheit 24 gibt jedes im synthetisierten Bild enthaltene Pixel an den elektronischen Spiegel 40 aus, der eine Anzeigevorrichtung ist, sodass das synthetisierte Bild auf dem elektronischen Spiegel 40 angezeigt wird.
Es ist anzumerken, dass der durch die zweite Berechnungseinheit 34 durchgeführte Vorgang und der durch die Syntheseeinheit 23 durchgeführte Vorgang Hardwarevorgänge unter Verwendung eines Allzweck-Grafikprozessors (einer GPU) sind. Dies trägt zu einer Verringerung von Bearbeitungsaufwand und Bearbeitungszeit bei.
Der Bildsynthesevorgang ist nachstehend genauer mit Bezugnahme auf Beispiele von Bildern beschrieben.
5 ist ein erläuterndes Diagramm, das Verfahren zum Bestimmen von Merkmalspunkten und Paaren durch die Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform darstellt.
Die Erlangungseinheit 21 erlangt das Bild 51 und das Bild 53 unter Verwendung der Kamera 13 bzw. der Kamera 14 und ordnet die Bilder gemäß der vorgegebenen Positionsbeziehung an, in der sich die Bilder teilweise überlappen. Diese Positionsbeziehung ist vorgegeben gemäß den Positionen und Richtungen der Kamera 13 und der Kamera 14 bezüglich des Fahrzeugs 1. Genauer wird, wie in 5 dargestellt, das Bild 51 auf der linken Seite auf dem Zeichenblatt positioniert, und das Bild 53 wird in einem vorgegebenen Abstand nach rechts vom Bild 51 auf dem Zeichenblatt positioniert. Auf diese Weise entspricht die Positionsbeziehung, in der das Bild 53 gegenüber dem Bild 51 um den vorgegebenen Abstand nach rechts auf dem Zeichenblatt versetzt ist, der vorgegebenen Positionsbeziehung. Es ist anzumerken, dass die äußere Form des Bildes 51 und des Bildes 52 aufgrund der Korrektur und der statischen Umwandlung abhängig von den optischen Eigenschaften des optischen Systems der Kamera oder dergleichen gegenüber einer rechteckigen Form verzerrt ist.
Die Merkmalspunktbestimmungseinheit 31 bestimmt Merkmalspunkte im Bild 51 und im Bild 53. Die Merkmalspunkte in den Bildern, die die Merkmalspunktbestimmungseinheit 31 bestimmt, sind in 5 dargestellt. Diese Merkmalspunkte werden erlangt unter Verwendung einer bekannten Bilderkennungstechnik oder dergleichen durch ein Entdecken eines Pixels oder einer Pixelgruppe, das/die in dem Bild enthalten ist und sich in Farbe, Form usw. von den umgebenden Pixeln unterscheidet.
Zum Beispiel ist der in 5 dargestellte Merkmalspunkt p der auf dem Bild 51 durch die Merkmalspunktbestimmungseinheit 31 bestimmte Merkmalspunkt, und der in 5 dargestellte Merkmalspunkt q ist der auf dem Bild 53 durch die Merkmalspunktbestimmungseinheit 31 bestimmte Merkmalspunkt. In 5 ist der auf dem Bild 51 bestimmte Merkmalspunkt durch einen schwarzen Kreis dargestellt, und der auf dem Bild 53 bestimmte Merkmalspunkt ist durch ein schwarzes Dreieck dargestellt
Anschließend bestimmt die Paarbestimmungseinheit 32 in den wie in 5 dargestellt angeordneten Bildern 51 und 53 ein Paar der durch die Merkmalspunktbestimmungseinheit 31 bestimmten Merkmalspunkte. Dieses Paar ist ein Punktepaar, bei dem Bilder desselben Gegenstands aufgenommen sind. Die als das Paar bestimmten Merkmalspunkte sind in 5 durch eine Linie verbunden. Zum Beispiel bilden die Merkmalspunkte p und q das Paar.
Die erste Berechnungseinheit 33 berechnet einen repräsentativen Vektor beispielsweise unter Verwendung der durch die Merkmalspunktbestimmungseinheit 31 bestimmten Merkmalspunkte p und q. Die erste Berechnungseinheit 33 erlangt die Mitte m zwischen den Merkmalspunkten p und q und berechnet den Vektor u, der sich vom Merkmalspunkt p zur Mitte m erstreckt, und den Vektor v, der sich vom Merkmalspunkt q zur Mitte m erstreckt. Es ist anzumerken, dass in 5 ein offener Kreis die durch die erste Berechnungseinheit 33 erlangte Mitte darstellt.
Anschließend berechnet die erste Berechnungseinheit 33 einen repräsentativen Vektor für jedes aus einer Vielzahl von Teilbildern 61, 62, 63 und 64, erhalten durch ein Teilen der Bilder 51 und 53. Zum Beispiel bestimmt die erste Berechnungseinheit 33 den Median einer Vielzahl von Vektoren u als den repräsentativen Vektor der Vektoren u und bestimmt den Median einer Vielzahl von in dem Teilbild enthaltenen Vektoren v als den repräsentativen Vektor der Vektoren v. Der repräsentative Vektor der Vektoren u wird auch als der erste repräsentative Vektor bezeichnet, und der repräsentative Vektor der Vektoren v wird auch als der zweite repräsentative Vektor bezeichnet.
Es ist anzumerken, dass, wenn eine Fehlpaarung beim Paarungsvorgang auftritt, den die Paarbestimmungseinheit 32 durchführt, der Vektor u oder v bedeutend unterschiedlich gegenüber den umgebenden Vektoren wird. Das Bestimmen des Medians der Vektoren u oder v als einen repräsentativen Vektor durch die erste Berechnungseinheit 33, wie oben beschrieben, weist insofern einen Vorteil auf, als ein sich aus einer Fehlpaarung ergebender Vektor aus dem Beitragen zum repräsentativen Vektor ausgeschlossen werden kann.
6 ist ein erläuterndes Diagramm, das die repräsentativen Vektoren darstellt, berechnet durch die Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform.
In 6 ist der Vektor 71 ein repräsentativer Vektor der im Teilbild 61 enthaltenen Vektoren u. Der Vektor 72 ist ein repräsentativer Vektor der im Teilbild 61 enthaltenen Vektoren v.
Ähnlich sind die Vektoren 73, 75 und 77 repräsentative Vektoren der in jeweiligen Teilbildern 62, 63 und 64 enthaltenen Vektoren u. Die Vektoren 74, 76 und 78 sind repräsentative Vektoren der in jeweiligen Teilbildern 62, 63 und 64 enthaltenen Vektoren v.
Als Nächstes ist die durch die zweite Berechnungseinheit 34 durchgeführte Berechnung eines Einzelvektors beschrieben.
7 ist ein erläuterndes Diagramm, das ein Verfahren zum Berechnen eines Einzelvektors durch eine lineare Interpolation repräsentativer Vektoren durch die Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform darstellt.
7 ist eine vergrößerte Ansicht eines Teils von 6, der das Teilbild 62 und das Teilbild 63 enthält.
Die zweite Berechnungseinheit 34 verknüpft den Vektor 73, der ein repräsentativer Vektor ist, mit der mittleren Pixelzeile 62c im Teilbild 62 und verknüpft den Vektor 75, der ein repräsentativer Vektor ist, mit der mittleren Pixelzeile 63c im Teilbild 63. Hier ist die mittlere Pixelzeile 62c eine horizontale Pixelzeile, enthalten im Teilbild 62 und befindlich in der Mitte entlang der vertikalen Richtung des Teilbilds 62. Ähnlich ist die mittlere Pixelzeile 63c eine horizontale Pixelzeile, enthalten im Teilbild 63 und befindlich in der Mitte entlang der vertikalen Richtung des Teilbilds 63. Obwohl hier der Fall beschrieben ist, in dem die Verknüpfung auf der Y-Koordinate des Endpunkts des repräsentativen Vektors beruht, kann die Verknüpfung auf der Y-Koordinate des Anfangspunkts des repräsentativen Vektors oder der Mitte des repräsentativen Vektors beruhen.
Anschließend berechnet die zweite Berechnungseinheit 34 einen Einzelvektor in einer Pixelzeile zwischen der mittleren Pixelzeile 62c und der mittleren Pixelzeile 63c durch eine lineare Interpolation zwischen der mittleren Pixelzeile 62c und der mittleren Pixelzeile 63c. Genauer erlangt die zweite Berechnungseinheit 34 einen Einzelvektor w in der Pixelzeile 66 mit einer Y-Koordinate Y gemäß den folgenden Gleichungen, wobei die Y-Koordinate der mittleren Pixelzeile 62c als Y1 bezeichnet ist und die Y-Koordinate der mittleren Pixelzeile 63c als Y2 bezeichnet ist. Hier sei der Einzelvektor w = (wX, wY), der Vektor 73 = (X73, Y73) und der Vektor 75 = (X75, Y75). $wX = X73 + {(Y - Y1) / (Y2 - Y1)} \times (X75 - X73)$
$wY = Y73 + {(Y - Y1) / (Y2 - Y1)} \times (Y75 - Y73)$
8 ist ein erläuterndes Diagramm, das den durch die Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform berechneten Einzelvektor darstellt. 9 ist ein erläuterndes Diagramm, das einen Syntheseablauf darstellt, durchgeführt unter Verwendung eines Einzelvektors durch eine Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform.
8 stellt zusätzlich zu den Vektoren 71 bis 78, die dieselben sind wie diejenigen in 6, die Einzelvektoren 81 bis 84 dar, die durch die zweite Berechnungseinheit 34 berechnet sind. Die Einzelvektoren 81 bis 84 sind für jeweilige Pixelzeilen zwischen den repräsentativen Vektoren berechnet.
Als Nächstes verknüpft die Syntheseeinheit 23 das erste Bild und das zweite Bild miteinander unter Verwendung der Grenzlinie 90 als Grenze. Die Syntheseeinheit 23 berechnet die Pixelwerte unter Verwendung der Einzelvektoren, um das erste Bild und das zweite Bild zu synthetisieren. Obwohl als Beispiel der Fall beschrieben ist, in dem die Grenzlinie 90 eine vertikale Gerade auf dem Zeichenblatt ist, ist die Form der Grenzlinie 90 nicht auf dieses Beispiel beschränkt und kann eine Diagonale oder eine gekrümmte Linie sein.
Genauer berechnet die Syntheseeinheit 23 für ein Pixel in der Nachbarschaft der Grenzlinie 90 einen Pixelwert unter Verwendung des Einzelvektors in der Pixelzeile, zu der das Pixel gehört. Beispielsweise wird, wie in (a) in 9 dargestellt, für das der Grenzlinie 90 benachbarte Pixel 91 ein Pixelwert unter Verwendung des Pixelwerts des Pixels 91 und des Pixelwerts des Pixels 92 berechnet, das sich am Anfangspunkt des Einzelvektors 81 mit dem Endpunkt am Pixel 91 befindet. Dabei kann, wie in (b) in 9 dargestellt, das am Anfangspunkt des Einzelvektors 81 befindliche Pixel 92 so erlangt werden, dass der Einzelvektor 81 mit dem Abstand von der Grenzlinie 90 weniger Auswirkung aufweist. Wenn in diesem Fall das Synthesegebiet auf einen Bereich innerhalb eines vorgegebenen Pixelabstands H von der Grenzlinie 90 festgelegt ist, ist das Auswirkungsmaß Vt des Einzelvektors 81i an dem in einem Pixelabstand X von der Grenzlinie 90 befindlichen Pixel 91i bezüglich des Einzelvektors 81 wie folgt dargestellt. $Vt = (1 - X / H), (X = 0 - H)$
Demgemäß wird das am Anfangspunkt des Einzelvektors 81i befindliche Pixel 92i erlangt durch ein Multiplizieren des Einzelvektors 81 mit diesem Auswirkungsmaß Vt. Genauer wird die Position des Pixels 92i wie folgt erlangt.
Wenn in (b) in 9 die Positionskoordinaten des Pixels 91i (X91, Y91) sind und der Einzelvektor 81 als wX81 = (wX81, wY81) dargestellt ist, ergeben sich die Positionskoordinaten (X92, Y92) des Pixels 92i wie folgt. $X92 = X91 - wX81 \times Vt$
$Y92 = Y91 - wY81 \times Vt$
Bezüglich des Pixelwerts jedes der so erlangten Pixel 91 und 92 kann die Syntheseeinheit 23 eine Berechnung so durchführen, dass der Pixelwert des Pixels 91 mit dem Pixelwert des Pixels 92 überschrieben wird, oder kann eine Berechnung durchführen, um gewichtete Mittelwerte des Pixelwerts des Pixels 92 und des Pixelwerts des Pixels 91 unter Berücksichtigung von deren Abständen von der Grenzlinie 90 zu erlangen, oder kann eine andere Berechnung durchführen.
Weiter kann die Syntheseeinheit 23 eine Berechnung so durchführen, dass die Pixelwerte in jedem aus dem ersten Bild und dem zweiten Bild berechnet werden und im Überlappungsgebiet ein gewichteter Mittelwert der Pixelwerte im ersten Bild und im zweiten Bild erlangt wird. Genauer kann, wie in (c) in 9 für das Pixel 91j dargestellt, der Pixelwert des Pixels 92j (im ersten Bild), das sich am Anfangspunkt des Einzelvektors 81j mit dem Endpunkt am Pixel 91j befindet, und der Pixelwert des Pixels 92k (im zweiten Bild), das sich am Anfangspunkt des Einzelvektors 81k mit dem Endpunkt am Pixel 91j befindet, durch ein Berechnen eines gewichteten Mittelwerts davon gemischt werden.
Dieser in (c) in 9 durch die Syntheseeinheit 23 durchgeführte Vorgang ist wie folgt zusammengefasst. Für jedes Pixel (beispielsweise das Pixel 91j) in jedem Gebiet in den Teilbildern 61 bis 64 bezieht sich die Syntheseeinheit 23 auf das Pixel 92j im ersten Bild auf Grundlage der Position (beispielsweise der Positionskoordinaten (X92, Y92)), berechnet unter Verwendung des Einzelpixels 81j (des ersten Einzelvektors). Ähnlich bezieht sich für jedes Pixel (beispielsweise das Pixel 91j) in jedem Gebiet in den Teilbildern 61 bis 64 die Syntheseeinheit 23 auf das Pixel 92k im zweiten Bild auf Grundlage der Position, berechnet unter Verwendung des Einzelpixels 81k (des zweiten Einzelvektors). Anschließend synthetisiert die Syntheseeinheit 23 das erste Bild und das zweite Bild durch ein Berechnen (beispielsweise Erlangen eines gewichteten Mittelwerts) der Pixelwerte der Pixel 92j und 92k, auf die sie sich bezieht.
Es ist anzumerken, dass das Pixel in der Nachbarschaft der Grenzlinie 90 ein Pixel angibt, das in dem Bereich innerhalb eines vorgegebenen Abstands von der Grenzlinie 90 enthalten ist. Hier ist der vorgegebene Abstand die Breite jedes Gebiets in den Teilbildern 61 bis 64 und kann beispielsweise auf 10 bis 20 % der Gesamtbreite des Bildes 51 oder 53 entlang der horizontalen Richtung des Zeichenblatts festgelegt sein.
Im Folgenden sind die Abläufe der Bildsynthesevorrichtung 10 beschrieben.
10 ist ein Flussdiagramm, das Vorgänge einer Bildsynthesevorrichtung 10 gemäß der vorliegenden Ausführungsform darstellt.
Wie in 10 dargestellt, erlangt die Erlangungseinheit 21 das erste Bild und das zweite Bild in Schritt S101. Zum Beispiel ist das erste Bild ein linkes Rückwärtsbild, und das zweite Bild ist ein mittleres Rückwärtsbild.
In Schritt S102 bestimmt die Merkmalspunktbestimmungseinheit 31 Merkmalspunkte im ersten Bild und im zweiten Bild, die in Schritt S101 erlangt sind.
In Schritt S103 bestimmt die Paarbestimmungseinheit 32 ein Paar von Merkmalspunkten unter den in Schritt S102 bestimmten Merkmalspunkten.
In Schritt S104 berechnet die erste Berechnungseinheit 33 einen repräsentativen Vektor in jedem Teilbild im ersten Bild und im zweiten Bild, die in Schritt S101 erlangt sind.
In Schritt S105 berechnet die zweite Berechnungseinheit 34 einen Einzelvektor in jeder der Pixelzeilen unter Verwendung des in Schritt S104 berechneten repräsentativen Vektors.
In Schritt S106 synthetisiert die Syntheseeinheit 23 das erste Bild und das zweite Bild durch ein Berechnen des Pixelwerts in der Nachbarschaft der Grenzlinie 90 unter Verwendung des in Schritt S105 in jeder der Pixelzeilen berechneten Einzelvektors.
In ,Schritt S107 führt die Anzeigesteuereinheit 24 eine Steuerung so aus, dass das sich aus der Synthese in Schritt S106 ergebende synthetisierte Bild auf dem elektronischen Spiegel 40 angezeigt wird.
Auf diese Weise kann die Bildsynthesevorrichtung 10 Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Wie oben beschrieben, führt die Bildsynthesevorrichtung gemäß der vorliegenden Ausführungsform eine Pixelwertberechnung so durch, dass Merkmalspunkte, die im ersten Bild und im zweiten Bild auftreten, und an denen Bilder eines identischen Objekts aufgenommen sind, einander nähern, und synthetisiert dann das erste Bild und das zweite Bild. Bei dieser Berechnung wird, nachdem zuerst der erste repräsentative Vektor oder dergleichen berechnet wurde, der Einzelvektor in jeder der Pixelzeilen unter Verwendung des berechneten ersten repräsentativen Vektors berechnet, und die Pixelwertberechnung wird unter Verwendung des Einzelvektors durchgeführt. Indem auf diese Weise zuerst der erste repräsentative Vektor oder dergleichen berechnet wird, ist es möglich, das Eintreten auszuschließen, dass die Bildsynthese durch einen Vektor beeinträchtigt wird, der aufgrund eines Fehlpaarens von Merkmalspunkten erzeugt werden kann und sich bedeutend von den anderen Vektoren unterscheidet. Als Ergebnis kann die Bildsynthesevorrichtung Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter berechnet die Bildsynthesevorrichtung den Median der Vielzahl von Vektoren als den ersten repräsentativen Vektor oder dergleichen. Damit ist es möglich, das Eintreten auszuschließen, dass der Einzelvektor durch einen Vektor beeinträchtigt wird, der aufgrund eines Fehlpaarens von Merkmalspunkten erzeugt werden kann und sich bedeutend von den anderen Vektoren unterscheidet. Somit kann die Bildsynthesevorrichtung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter berechnet die Bildsynthesevorrichtung den Einzelvektor durch eine lineare Interpolation der repräsentativen Vektoren. Somit kann die Bildsynthesevorrichtung auf Grundlage einer genaueren Anordnung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter reduziert die Bildsynthesevorrichtung den Unterschied zwischen dem repräsentativen Vektor in einem Teilbild und dem repräsentativen Vektor in einem benachbarten Teilbild, um den Unterschied zwischen Einzelvektoren in den Teilbildern zu reduzieren; als Ergebnis ist es möglich, eine in dem synthetisierten Bild auftretende Verzerrung zu vermeiden. Somit kann die Bildsynthesevorrichtung durch ein Verhindern des Auftretens von Verzerrung zwischen Teilen von Bildern Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter reduziert die Bildsynthesevorrichtung den Unterschied zwischen dem repräsentativen Vektor in einem Teilbild und dem repräsentativen Vektor in einem früheren Teilbild vom selben Ort, um das Ausmaß zeitlicher Änderung bei dem Einzelvektor zu reduzieren; als Ergebnis ist es möglich, eine in dem synthetisierten Bild auftretende Verzerrung zu vermeiden. Somit kann die Bildsynthesevorrichtung durch ein Verhindern des Auftretens von Verzerrung zwischen Teilen von Bildern Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter kann die Bildsynthesevorrichtung innerhalb eines geeigneten Bereichs die Anzahl von Paaren von Merkmalspunkten festlegen, die in dem Teilbild enthalten sind. Wenn die Anzahl von Merkmalspunkten, die in dem Teilbild enthalten sind, größer ist als der geeignete Bereich, wird die Streuung bei dem Vektor groß, der den Merkmalspunkt und die Mitte zwischen den Merkmalspunkten verbindet, und es gibt eine große Anzahl von Vektoren mit Abstand vom berechneten repräsentativen Vektor. Daher gibt es Fälle, in denen kein geeigneter repräsentativer Vektor berechnet wird. Andererseits gibt es, wenn die Anzahl der im Teilbild enthaltenen Merkmalspunkte geringer ist als der geeignete Bereich, eine kleine Anzahl von Merkmalspunkten, die als Berechnungsbasis dienen, und es kann Fälle geben, in denen der berechnete repräsentative Vektor nicht unbedingt ein Vektor ist, der in dem Teilbild enthaltene Vektoren repräsentiert. Somit wird die Anzahl von Paaren von Merkmalspunkten, die in den Teilbild enthalten sind, in dem geeigneten Bereich festgelegt, sodass ein geeigneter repräsentativer Vektor berechnet wird, was es ermöglicht, Bilder zu synthetisieren, während ein Gefühl der Befremdung unterdrückt wird, das durch die Bildsynthese auftritt.
Weiter erzeugt die Bildsynthesevorrichtung ein Teilbild unter Verwendung einer horizontalen Trennlinie. Somit kann die Bildsynthesevorrichtung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter synthetisiert die Bildsynthesevorrichtung Bilder durch die Hardwareverarbeitung unter Verwendung der GPU. Somit kann die Bildsynthesevorrichtung Bilder mit reduziertem Verarbeitungsaufwand und Zeitaufwand synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter bestimmt die Bildsynthesevorrichtung unter Verwendung der Positionen und Ausrichtungen der am Fahrzeug montierten Kameras die Positionsbeziehung vorab, die die Anordnung des ersten Bildes und des zweiten Bildes angibt. Somit kann die Bildsynthesevorrichtung unter Verwendung der vorbestimmten Positionsbeziehung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter synthetisiert die Bildsynthesevorrichtung die Bilder, die durch die linke Kamera, die rechte Kamera und die mittlere Kamera, die am Fahrzeug montiert sind, aufgenommen werden. Dies ermöglicht der Bildsynthesevorrichtung, Bilder zu synthetisieren, die einen breiten Bereich vom linken Bereich zum rechten Bereich über den mittleren Bereich hinter dem Fahrzeug oder vom rechten Bereich zum linken Bereich über den mittleren Bereich hinter dem Fahrzeug abdecken, und dabei ein Gefühl der Befremdung zu unterdrücken, das durch die Bildsynthese auftritt.
Ausführungsform 2
In der vorliegenden Ausführungsform ist eine Bildsynthesevorrichtung beschrieben, die Bilder synthetisiert, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt. Es ist anzumerken, dass das Bildsyntheseverfahren in der vorliegenden Ausführungsform unabhängig von dem Bildsyntheseverfahren gemäß der Ausführungsform 1 durchgeführt werden kann oder in Kombination mit dem Bildsyntheseverfahren gemäß der Ausführungsform 1 durchgeführt werden kann. Die Umsetzung des Bildsyntheseverfahrens in der vorliegenden Ausführungsform in Kombination mit dem Bildsyntheseverfahren gemäß der Ausführungsform 1 ist nachstehend als eine Abwandlung beschrieben.
Im Folgenden sind die Funktionen und Abläufe der Bildsynthesevorrichtung 110 gemäß der vorliegenden Ausführungsform beschrieben. Die Bildsynthesevorrichtung 110 gemäß der vorliegenden Ausführungsform entspricht der Bildsynthesevorrichtung 10 gemäß der Ausführungsform 1.
11 ist ein Blockdiagramm, das den funktionellen Aufbau der Bildsynthesevorrichtung 110 gemäß der vorliegenden Ausführungsform darstellt.
Wie in 11 dargestellt, enthält die Bildsynthesevorrichtung 110 eine Erlangungseinheit 121, eine Bestimmungseinheit 122, eine Syntheseeinheit 123 und eine Anzeigesteuereinheit 124. Jedes der obigen Aufbauelemente kann durch einen Prozessor ausgeführt sein, der ein vorgegebenes Programm unter Verwendung eines Speichers oder dergleichen ausführt, oder kann als Spezialhardware ausgeführt sein.
Die Erlangungseinheit 121 ist eine Verarbeitungseinheit, die das erste Bild und das zweite Bild eines Gegenstands erlangt, aufgenommen unter unterschiedlichen Bedingungen, und die das erste Bild und das zweite Bild, die erlangt sind, gemäß einer vorgegebenen Positionsbeziehung anordnet, in der sich die Bilder teilweise überlappen. Die Erlangungseinheit 121 ordnet das erste Bild und das zweite Bild in einem virtuellen Raum durch eine Berechnung eines Computers an. Wenn die Erlangungseinheit 121 das erste Bild und das zweite Bild in dem virtuellen Raum anordnet, können die anzuordnenden Bilder vor dem Anordnen der Bilder gemäß den optischen Eigenschaften des optischen Systems der Kameras oder dergleichen korrigiert werden, die die Bilder aufgenommen haben. Spezielle Beispiele der Korrektur umfassen eine Korrektur auf Grundlage der Verzerrung eines Objektivs und Korrektur bei Größe und Winkeljustierung. Durch ein Vornehmen dieser Korrektur wird der Unterschied zwischen den optischen Systemen der Kameras reduziert, und somit ist es möglich, den Unterschied in Farbe, Größe oder dergleichen zwischen Bildern zu reduzieren, die von dem ersten und dem zweiten Bild abstammen und in dem durch ein Verbinden erzeugten Rückwärtsbild 50 enthalten sind. Die vorgegebene Positionsbeziehung zum Anordnen des ersten Bildes und des zweiten Bildes wird bestimmt gemäß den Positionen und Ausrichtungen der Kameras, die das erste Bild und das zweite Bild erlangt haben.
Die Bestimmungseinheit 122 ist eine Bearbeitungseinheit, die eine Grenze zum Synthetisieren des ersten Bildes und des zweiten Bildes bestimmt. Die Bestimmungseinheit 122 enthält eine Merkmalspunktbestimmungseinheit 131, eine Paarbestimmungseinheit 132 und eine Kurvenbestimmungseinheit 133 als spezielle Aufbauelemente.
Die Merkmalspunktbestimmungseinheit 131 ist eine Bearbeitungseinheit, die einen oder mehrere erste Merkmalspunkte in dem durch die Erlangungseinheit 121 angeordneten ersten Bild und einen oder mehrere zweite Merkmalspunkte in dem durch die Erlangungseinheit 121 angeordneten zweiten Bild bestimmt. Die Bestimmungseinheit 122 extrahiert einen Merkmalspunkt in jedem aus dem ersten Bild und dem zweiten Bild. Der Vorgang des Extrahierens eines Merkmalspunkts ist beispielsweise ein Vorgang des Entdeckens eines Pixels oder einer Pixelgruppe aus einem Bild, das/die in dem Bild enthalten ist und sich in Farbe, Form usw. von den umgebenden Pixeln unterscheidet; dieser Vorgang kann unter Verwendung einer bekannten Bilderkennungstechnik durchgeführt werden.
Die Paarbestimmungseinheit 132 bestimmt auf Grundlage des ersten Merkmalspunkts und des zweiten Merkmalspunkts, die durch die Merkmalspunktbestimmungseinheit 131 bestimmt sind, eine Vielzahl von Paaren, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten enthält, die Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind. Genauer entdeckt die Paarbestimmungseinheit 131 Merkmalspunkte in aufgenommenen Bildern eines identischen Objekts durch ein Vergleichen der Farben oder der Formen oder dergleichen des Pixels oder der Pixelgruppe, das/die durch die Merkmalspunktbestimmungseinheit 131 als ein Merkmalspunkt im ersten Bild entdeckt wurde, und des Pixels oder der Pixelgruppe, das/die durch die Merkmalspunktbestimmungseinheit 131 als ein Merkmalspunkt im zweiten Bild entdeckt wurde, und bestimmt die entdeckten Merkmalspunkte als das oben erwähnte Paar.
Die Kurvenbestimmungseinheit 133 bestimmt eine Kurve, die durch die Nachbarschaft einer Vielzahl von Paaren (auch als nahestehende Paare bezeichnet) unter der Vielzahl von durch die Paarbestimmungseinheit 132 bestimmten Paaren verläuft, die jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind. Die Nachbarschaft der Vielzahl von nahestehenden Paaren schließt die Nachbarschaft eines ersten Merkmalspunkts oder eines zweiten Merkmalspunkts in dem nahestehenden Paar und die Nachbarschaft des Liniensegments ein, das den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt verbindet.
Zum Beispiel bestimmt die Kurvenbestimmungseinheit 133 die oben genannte eine Kurve durch ein aufeinanderfolgendes Verbinden der bestimmten nahestehenden Paare. Zum Beispiel kann die Kurvenbestimmungseinheit 133 eine Approximationskurve der bestimmten nahestehenden Paare als die oben genannte Kurve bestimmen. Alternativ kann diese Kurve unter Verwendung der nichtlinearen kleinsten Quadrate bestimmt werden. Als weiteres Beispiel kann die Kurvenbestimmungseinheit 133 eine Kurve bestimmen, die nicht durch die Nachbarschaft einer Vielzahl von abstehenden Paaren verläuft, die jeweils einen ersten Merkmalspunkt und einen zweiten Merkmalspunkt enthalten, die durch mindestens einen vorgegebenen Abstand getrennt sind, unter der Vielzahl von Paaren, die bestimmt wurden.
Die Syntheseeinheit 123 ist eine Bearbeitungseinheit, die ein synthetisiertes Bild erzeugt, indem sie das erste Bild und das zweite Bild unter Verwendung der durch die Bestimmungseinheit 122 bestimmten Grenze, das heißt, unter Verwendung der Kurve als Grenze synthetisiert, die durch die Kurvenbestimmungseinheit 133 bestimmt ist. Im Prinzip wird die Synthese durch ein Zerschneiden und Verbinden des ersten Bildes und des zweiten Bildes entlang der Grenzlinie erreicht. Dabei kann die Syntheseeinheit 123 in der Nachbarschaft der Grenze den Vorgang des Erlangens des gewichteten Mittelwerts der Pixelwerte im ersten Bild und im zweiten Bild durchführen.
Die Anzeigesteuereinheit 124 ist eine Bearbeitungseinheit, die das Anzeigen des durch die Syntheseeinheit 123 erzeugten synthetisierten Bildes steuert. Die Anzeigesteuereinheit 124 gibt jedes im synthetisierten Bild enthaltene Pixel an den elektronischen Spiegel 40 aus, der eine Anzeigevorrichtung ist, sodass das synthetisierte Bild auf dem elektronischen Spiegel 40 angezeigt wird.
Der Bildsynthesevorgang ist nachstehend genauer mit Bezugnahme auf Beispiele von Bildern beschrieben.
12 ist eine erläuternde Skizze, die ein Beispiel eines Bildes 151, das ein rechtes Rückwärtsbild ist, von dem Fahrzeug 1 aus gemäß der vorliegenden Ausführungsform darstellt. Das in 12 dargestellte Bild 151 ist ein Beispiel des durch die Bildaufnahme durch die Kamera 13 in 1 erzeugten Bildes und entspricht dem Bild 51 in 2. Im Bild 151 erscheinen ein Fahrzeug, eine Straße, Brückenauflagen usw., die sich rechts hinter dem Fahrzeug 1 befinden. Der Bereich 161 im Bild 151 ist ein Teil, der das mittlere Rückwärtsbild (Bild 153) des Fahrzeugs überlappt.
13 ist eine erläuternde Skizze, die ein Beispiel eines Bildes 153, das ein mittleres Rückwärtsbild ist, von dem Fahrzeug 1 aus gemäß der vorliegenden Ausführungsform darstellt. Das in 13 dargestellte Bild 153 ist ein Beispiel des durch die Bildaufnahme durch die Kamera 14 in 1 erzeugten Bildes und entspricht dem Bild 53 in 2. Im Bild 153 erscheint zusätzlich zu dem Fahrzeug, der Straße und den Brückenauflagen, die sich rechts hinter dem Fahrzeug 1 befinden, auch die Szenerie in der Mitte hinter dem Fahrzeug 1. Der Bereich 163 im Bild 153 ist ein Teil, der das mittlere Rückwärtsbild (Bild 151) des Fahrzeugs überlappt.
Hier ist ein Stand der Technik beim Synthetisieren des Bildes 151 und des Bildes 153 beschrieben. Der Stand der Technik besteht darin, das Bild 151 und das Bild 153 unter Verwendung einer linearen Grenzlinie zu synthetisieren.
14 ist eine erläuternde Skizze, die ein Beispiel eines Bildes darstellt, erlangt durch ein Verbinden eines linken Rückwärtsbildes und eines mittleren Rückwärtsbildes von dem Fahrzeug 1 aus gemäß dem Stand der Technik.
Hier ist ein Beispiel beschrieben, in dem das Bild 151 und das Bild 153 unter Verwendung der Grenzlinie 170 als Grenze synthetisiert werden. In 14 ist das Bild 151A ein linkes Bild unter den durch ein Zerschneiden des Bildes 151 entlang der Grenzlinie 170 erlangten Bildern. Das Bild 153A ist ein rechtes Bild unter den durch ein Zerschneiden des Bildes 153 entlang der Grenzlinie 170 erlangten Bildern. Das Bild 155A, das ein synthetisiertes Bild ist, ist gebildet durch ein Verbinden des Bildes 151A und des Bildes 153A unter Verwendung der Grenzlinie 170 als Grenze.
Das Bild 155A ist ein Rückwärtsbild, das einen rechten Bereich und einen mittleren Bereich hinter dem Fahrzeug 1 abdeckt. Jedoch ist im Bild 155A das Bild des Fahrzeugs verzerrt, das sich rechts hinter dem Fahrzeug 1 befindet; mit anderen Worten, es tritt ein Verschwinden in einem Teil des Bildes auf, der dem Fahrzeug entspricht, das sich rechts hinter dem Fahrzeug 1 befindet.
Das Bild 155A unterscheidet sich von einer von einem Fahrer des Fahrzeugs 1 durch einen physischen Spiegel aus dem Fahrzeug 1 gesehenen Rückansicht. Daher kann es den Fahrer befremdlich anmuten, wenn das Bild 155A auf dem elektronischen Spiegel angezeigt wird.
Als Nächstes ist ein Verfahren zum Synthetisieren von Bildern durch die Bildsynthesevorrichtung 110 beschrieben.
15 ist eine erläuternde Skizze, die ein Bild 151, das ein linkes Rückwärtsbild ist, und ein Bild 153, das ein mittleres Rückwärtsbild von dem Fahrzeug 1 aus ist, gemäß der vorliegenden Ausführungsform darstellt, die teilweise in Schichten angeordnet sind.
Die Erlangungseinheit 121 erlangt das Bild 151 und das Bild 153 unter Verwendung der Kamera 13 bzw. der Kamera 14 und ordnet die Bilder gemäß der vorgegebenen Positionsbeziehung an, in der sich die Bilder teilweise überlappen. Diese Positionsbeziehung ist gemäß den Positionen und Richtungen der Kamera 13 und der Kamera 14 bezüglich des Fahrzeugs 1 vorgegeben. Genauer ist, wie in 15 dargestellt, das Bild 151 links auf dem Zeichenblatt angeordnet, und das Bild 153 ist um einen Abstand M vom Bild 151 entfernt rechts auf dem Zeichenblatt angeordnet. Auf diese Weise entspricht die Positionsbeziehung, in der das Bild 153 gegenüber dem Bild 151 um den Abstand M nach rechts auf dem Zeichenblatt versetzt ist, der vorgegebenen Positionsbeziehung.
Anschließend bestimmt die Merkmalspunktbestimmungseinheit 131 Merkmalspunkte im Bild 151 und im Bild 153. Die Merkmalspunkte in den Bildern, die die Merkmalspunktbestimmungseinheit 131 bestimmt, sind in 12 und 13 dargestellt. Die Merkmalspunkte in 12 sind durch Kreissymbole dargestellt, und die Merkmalspunkte in 13 sind durch Dreieckssymbole dargestellt Diese Merkmalspunkte werden erlangt unter Verwendung einer bekannten Bilderkennungstechnik oder dergleichen durch ein Entdecken eines Pixels oder einer Pixelgruppe, das/die in dem Bild enthalten ist und sich in Farbe, Form usw. von den umgebenden Pixeln unterscheidet.
Es ist anzumerken, dass in 15 der Bereich 161 im Bild 151 und der Bereich 163 im Bild 153, die überlappende Teile von Bild 151 und Bild 153 sind, als Bereich 164 dargestellt sind, an dem keine besondere Behandlung ausgeführt wird.
16 ist eine erläuternde Skizze, die ein Beispiel einer Grenzlinie für die Bildsynthese gemäß der vorliegenden Ausführungsform darstellt. 17 ist eine vergrößerte Ansicht des Rahmens XVII in 16.
Die Paarbestimmungseinheit 132 bestimmt in den wie in 16 dargestellt angeordneten Bildern 151 und 153 ein Paar der durch die Merkmalspunktbestimmungseinheit 131 bestimmten Merkmalspunkte. Dieses Paar ist ein Punktepaar, an dem Bilder desselben Gegenstands aufgenommen sind. Zum Beispiel sind die Merkmalspunkte p1 und q1 in 16 Punkte in den Bildern 151 und 153, an denen die rechte Kante der Brückenauflage erscheint. Somit bestimmt die Paarbestimmungseinheit 132 die Merkmalspunkte p1 und q1 als ein Paar. Ähnlich sind die Merkmalspunkte p2 und q2 Punkte in den Bildern 151 und 153, an denen eine Biegung einer Straßenlampe auf der Brückenauflage erscheint, und sind somit als ein Paar bestimmt. Die Merkmalspunkte p3 und q3 sind Punkte in den Bildern 151 und 153, an denen ein Teil der Karosserie des Fahrzeugs erscheint, und sind somit als ein Paar bestimmt. Dasselbe gilt für die anderen Merkmalspunkte.
Es ist anzumerken, dass bezüglich der Bestimmung eines Paars unter den in den beiden Bildern 151 und 153 ermittelten Merkmalspunkten die Merkmalsausmaße der ermittelten Merkmalspunkte berechnet werden können, und Merkmalspunkte mit demselben Merkmalsausmaß beispielsweise durch einen Merkmalsausmaßvergleich (-abgleich) als ein Paar bestimmt werden können.
Weiter misst die Paarbestimmungseinheit 132 den Abstand zwischen den als Paar bestimmten Merkmalspunkten. Anschließend legt die Paarbestimmungseinheit 132 das um einen Abstand eines ersten vorgegebenen Werts oder weniger getrennte Paar von Merkmalspunkten auf das nahestehende Paar fest. Hier ist der erste vorgegebene Wert ein Abstand zweier Merkmalspunkte in dem nahestehenden Paar, das ein Fahrer, der das auf einem elektronischen Spiegel 40 angezeigte Bild visuell erkannt hat, als denselben Punkt ausmacht; angenommen beispielsweise, dass die Anzahl von Pixeln voll hochauflösend ist, wobei die Gesamtbreite L der wie in 16 angeordneten Bilder 151 und 153 etwa 10 Zoll beträgt, so kann der erste vorgegebene Wert ein Abstand von nicht mehr als etwa 10 bis 20 Pixeln sein. Weiter legt die Paarbestimmungseinheit 132 das um einen Abstand eines zweiten vorgegebenen Werts oder mehr getrennte Paar von Merkmalspunkten auf das abstehende Paar fest. Hier ist der zweite vorgegebene Wert ein Abstand zweier Merkmalspunkte in dem abstehenden Paar, das ein Fahrer, der das auf dem elektronischen Spiegel 40 angezeigte Bild visuell erkannt hat, als offensichtlich getrennte Punkte ausmacht; angenommen beispielsweise, dass die Anzahl von Pixeln voll hochauflösend ist, wobei die Gesamtbreite L der wie in 16 angeordneten Bilder 151 und 153 etwa 10 Zoll beträgt, so kann der zweite vorgegebene Wert ein Abstand von nicht weniger als etwa 30 bis 40 Pixeln sein.
Die Kurvenbestimmungseinheit 133 bestimmt eine Kurve auf Grundlage des durch die Paarbestimmungseinheit 132 bestimmten Paars. Hier bestimmt die Kurvenbestimmungseinheit 133 eine Kurve, die durch die Nachbarschaft des durch die Paarbestimmungseinheit 132 bestimmten nahestehenden Paars verläuft. Es ist anzumerken, dass die Nachbarschaft des nahestehenden Paars die Nachbarschaft eines Merkmalspunkts (wie etwa der Merkmalspunkte p1 und q1) im nahestehenden Paar und die Nachbarschaft des Liniensegments einschließt, das die beiden Merkmalspunkte im nahestehenden Paar verbindet. Weiter muss die Kurve nicht unbedingt durch die Nachbarschaft jedes der nahestehenden Paare verlaufen.
Hier weist die eine Kurve Endpunkte an der oberen Seite und der unteren Seite der wie in 16 angeordneten Bilder 151 und 153 auf. Somit weist die eine Kurve einen Anfangspunkt und einen Endpunkt an Seiten des Bildes auf. Es ist anzumerken, dass die eine Kurve teilweise einen geraden Linienteil enthalten kann.
Als Beispiel ist ein Verfahren zum Bestimmen einer Kurve durch ein Verbinden der Merkmalspunkte von der unteren Seite der Bilder 151 und 153 aus mit Bezugnahme auf 17 beschrieben.
Zuerst entdeckt die Kurvenbestimmungseinheit 133 das Paar s, das sich in der Nachbarschaft der unteren Seite befindet, und beginnt eine Kurve von der Nachbarschaft des Paars s an der unteren Seite aus. Die Kurvenbestimmungseinheit 133 sucht nach einem Paar nahe dem Par s und entdeckt das Paar a und das Paar b. Hier bestimmt die Kurvenbestimmungseinheit 133 wie folgt, ob sie die Kurve zum Paar a oder zum Paar b hin verlängern soll. Es gibt zwei Paare in der Nachbarschaft des Paars a und kein Paar in der Nachbarschaft des Paars b. Angesichts dessen bestimmt die Kurvenbestimmungseinheit 133, die Kurve zum Paar a hin zu verlängern.
Als Nächstes bestimmt die Kurvenbestimmungseinheit 133 wie folgt, ob sie die Kurve zum Paar c oder zum Paar d verlängern soll. In der Nachbarschaft des Paars c gibt es eine große Anzahl von durch einen relativ großen Abstand getrennten Paaren von Merkmalspunkten. Dagegen gibt es in der Nachbarschaft des Paars d nur durch einen relativ kurzen Abstand getrennte Paare von Merkmalspunkten. Angesichts dessen bestimmt die Kurvenbestimmungseinheit 133, die Kurve zum Paar d hin zu verlängern.
Auf diese Weise bestimmt die Kurvenbestimmungseinheit 133 eine Kurve, indem sie die Paare fortlaufend verbindet.
Als Nächstes synthetisiert die Syntheseeinheit 123 das Bild 151 und das Bild 153. Die Syntheseeinheit 123 synthetisiert das Bild 151 und das Bild 153 unter Verwendung der durch die Kurvenbestimmungseinheit 133 bestimmten einen Kurve als Grenze.
18 ist eine erläuternde Skizze, die ein Beispiel eines Bildes 151, das ein linkes Rückwärtsbild ist, von dem Fahrzeug 1 aus gemäß der vorliegenden Ausführungsform darstellt. 19 ist eine erläuternde Skizze, die ein Beispiel eines Bildes 153, das ein mittleres Rückwärtsbild ist, von dem Fahrzeug 1 aus gemäß der vorliegenden Ausführungsform darstellt. 20 ist eine erläuternde Skizze, die ein Beispiel eines Bildes darstellt, erlangt durch ein Verbinden des Bildes 151, das ein linkes Rückwärtsbild von dem Fahrzeug 1 aus ist, und des Bildes 153, das ein mittleres Rückwärtsbild ist, gemäß der vorliegenden Ausführungsform.
Die Syntheseeinheit 123 schneidet das Bild 151B aus und extrahiert es, das ein Teil des in 12 dargestellten Bildes 151 ist, der sich auf dem Zeichenblatt links von der Grenzlinie 171 befindet, die die durch die Kurvenbestimmungseinheit 133 bestimmte Kurve ist (siehe 18). Weiter schneidet die Syntheseeinheit 123 das Bild 153B aus und extrahiert es, das ein Teil des in 13 dargestellten Bildes 153 ist, der sich auf dem Zeichenblatt links von der Grenzlinie 171 befindet (siehe 19). Anschließend erlangt die Syntheseeinheit 123 das Bild 155, das ein synthetisiertes Bild ist, indem sie die gemäß der vorgegebenen Positionsbeziehung angeordneten Bilder 151B und 153B miteinander verknüpft.
Verglichen mit dem in 14 dargestellten Bild 155A ist im Bild 155 die Fahrzeugverzerrung, das heißt, das Verschwinden von Bildteilen, unterdrückt. Dies ist als ein vorteilhafter Effekt betrachtet, hervorgebracht durch ein Festlegen der Grenze für die Bildsynthese in der Nachbarschaft von Merkmalspunkten in zwei unsynthetisierten Bildern, die durch einen relativ kurzen Abstand getrennt sind. Somit kann die Bildsynthesevorrichtung 110 durch ein Synthetisieren von Bildern, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt, natürliche Rückwärtsbilder 50 (siehe 2) erzeugen, was ein verringertes Gefühl der Befremdung hervorbringt.
Im Folgenden sind die Abläufe der Bildsynthesevorrichtung 110 beschrieben.
21 ist ein Flussdiagramm, das Vorgänge der Bildsynthesevorrichtung 110 gemäß der vorliegenden Ausführungsform darstellt.
Wie in 21 dargestellt, erlangt die Erlangungseinheit 121 das erste Bild und das zweite Bild in Schritt S201. Zum Beispiel ist das erste Bild ein linkes Rückwärtsbild, und das zweite Bild ist ein mittleres Rückwärtsbild.
In Schritt S202 bestimmt die Merkmalspunktbestimmungseinheit 131 Merkmalspunkte im ersten Bild und im zweiten Bild.
In Schritt S203 bestimmt die Paarbestimmungseinheit 132 Paare von Merkmalspunkten unter den in Schritt S202 bestimmten Merkmalspunkten und bestimmt weiter unter den Paaren ein durch einen relativ kurzen Abstand getrenntes nahestehendes Paar von Merkmalspunkten.
In Schritt S204 bestimmt die Kurvenbestimmungseinheit 133 eine Kurve, die durch die Nachbarschaft des in Schritt S203 bestimmten nahestehenden Paars von Merkmalspunkten verläuft.
In Schritt S205 erzeugt die Syntheseeinheit 123 ein synthetisiertes Bild, indem sie das erste Bild und das zweite Bild unter Verwendung der in Schritt S204 bestimmten Kurve als Grenze synthetisiert.
In Schritt S206 führt die Anzeigesteuereinheit 124 eine Steuerung so aus, dass das sich aus der Synthese in Schritt S205 ergebende synthetisierte Bild auf dem elektronischen Spiegel 40 angezeigt wird.
Auf diese Weise kann die Bildsynthesevorrichtung 110 Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Es ist anzumerken, dass die Kurvenbestimmungseinheit 133 eine Kurve wie folgt so bestimmen kann, dass die Kurve durch die Nachbarschaften von so vielen nahestehenden Paaren wie möglich verläuft.
22 ist eine erläuternde Skizze, die ein weiteres Beispiel einer Grenzlinie zum Synthetisieren des Bildes 151, das ein linkes Rückwärtsbild von dem Fahrzeug 1 aus ist, und des Bildes 153 darstellt, das ein mittleres Rückwärtsbild ist, gemäß der vorliegenden Ausführungsform.
Die in 22 dargestellte Grenzlinie 171 wird durch die Kurvenbestimmungseinheit 133 so bestimmt, dass die Grenzlinie durch die Nachbarschaften von so vielen nahestehenden Paaren wie möglich verläuft. Eine solche Kurve kann nach einem bekannten Berechnungsverfahren als eine Kurve bestimmt werden, die den kürzestmöglichen Abstand von den nahestehenden Paaren einnimmt. Genauer ist es möglich, eine Kurve zu verwenden, die unter Verwendung der nichtlinearen kleinsten Quadrate bestimmt wird.
Abwandlung der Ausführungsform 2
Bei der vorliegenden Abwandlung ist die Umsetzung der Bildsynthesevorrichtung unter Verwendung einer Kombination des Bildsyntheseverfahrens gemäß der Ausführungsform 2 und des Bildsyntheseverfahrens gemäß der Ausführungsform 1 beschrieben.
23 ist ein erläuterndes Diagramm, das eine Grenzlinie und einen Einzelvektor darstellt, berechnet durch eine Bildsynthesevorrichtung gemäß der vorliegenden Abwandlung.
Die in 23 dargestellte Grenzlinie 90A ist die durch die Kurvenbestimmungseinheit 133 in der Ausführungsform 2 bestimmte Grenzlinie 171. Die Bildsynthesevorrichtung gemäß der vorliegenden Abwandlung verwendet als durch die Syntheseeinheit 23 gemäß der Ausführungsform 1 zu verwendende Grenzlinie 90A, um das erste Bild und das zweite Bild miteinander zu verknüpfen, die durch die Kurvenbestimmungseinheit 133 gemäß der Ausführungsform 2 bestimmte Grenzlinie 171.
Weiter stellt 23 zusätzlich zu den Vektoren 71 bis 78, die dieselben sind wie diejenigen in 6, die Einzelvektoren 81 bis 84 dar, die durch die zweite Berechnungseinheit 34 berechnet sind. Diese Vektoren sind dieselben wie die in 8 dargestellten, wurden aber so versetzt, dass ihre Endpunkte auf der Grenzlinie 90A liegen.
Anschließend verknüpft die Syntheseeinheit 23 gemäß der Ausführungsform 1 unter Verwendung der Grenzlinie 90A als Grenze das erste Bild und das zweite Bild miteinander durch ein Berechnen der Pixelwerte unter Verwendung der Einzelvektoren. Einzelheiten des Verknüpfungsverfahrens sind dieselben wie die gemäß der Ausführungsform 1, und daher sind ihre Beschreibungen weggelassen.
Wie oben beschrieben, synthetisieren die Bildsynthesevorrichtungen gemäß den vorliegenden Ausführungsformen und der Abwandlung das erste Bild und das zweite Bild unter Verwendung der gemäß dem Inhalt des ersten Bildes und des zweiten Bildes bestimmten Grenzlinie. Diese Grenzlinie ist so festgelegt, dass sie durch die Nachbarschaft eines Paars von Merkmalspunkten verläuft, das durch einen relativ kurzen Abstand getrennt ist, unter den Paaren der Merkmalspunkte im ersten Bild und im zweiten Bild, an denen Bilder eines identischen Objekts aufgenommen sind, und somit wird eine Bildduplikation oder ein Verschwinden unterdrückt, die nahe der Grenze auftreten können. Als Ergebnis kann die Bildsynthesevorrichtung Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter bestimmt die Bildsynthesevorrichtung unter Verwendung einer Approximationskurve eine Grenzlinie, die für die Bildsynthese verwendet wird. Somit kann die Bildsynthesevorrichtung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter bestimmt die Bildsynthesevorrichtung unter Verwendung der nichtlinearen kleinsten Quadrate eine Grenzlinie, die für die Bildsynthese verwendet wird. Somit kann die Bildsynthesevorrichtung auf Grundlage einer genaueren Anordnung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter legt die Bildsynthesevorrichtung eine Grenzlinie fest, die nicht durch die Nachbarschaft eines abstehenden Paares verläuft, das heißt, die Nachbarschaft eines Merkmalspunkts im ersten Bild und eines Merkmalspunkts im zweiten Bild, die in dem abstehenden Paar enthalten sind, und die Nachbarschaft der Geraden, die diese Merkmalspunkte verbindet. Somit sind die Duplikation oder das Verschwinden, die nahe der Grenze auftreten können, weiter unterdrückt. Als Ergebnis kann die Bildsynthesevorrichtung Bilder synthetisieren, während sie weiter ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter bestimmt die Bildsynthesevorrichtung unter Verwendung der Positionen und Ausrichtungen der am Fahrzeug montierten Kameras die Positionsbeziehung vorab, die die Anordnung des ersten Bildes und des zweiten Bildes angibt. Somit kann die Bildsynthesevorrichtung unter Verwendung der vorbestimmten Positionsbeziehung leichter Bilder synthetisieren, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt.
Weiter synthetisiert die Bildsynthesevorrichtung die durch die linke Kamera, die rechte Kamera und die mittlere Kamera, die am Fahrzeug montiert sind, aufgenommenen Bilder. Dies ermöglicht der Bildsynthesevorrichtung, Bilder zu synthetisieren, die einen breiten Bereich vom linken Bereich zum rechten Bereich über den mittleren Bereich hinter dem Fahrzeug oder vom rechten Bereich zum linken Bereich über den mittleren Bereich hinter dem Fahrzeug abdecken, und dabei ein Gefühl der Befremdung zu unterdrücken, das durch die Bildsynthese auftritt.
Es ist anzumerken, dass, obwohl die Bildsynthesevorrichtung gemäß der vorliegenden Ausführungsform in der obigen Beschreibung die Rückwärtsbilder vom Fahrzeug aus synthetisiert, dies nicht einschränkend ist; die Bildsynthesevorrichtung kann Frontbilder, Umgebungsbilder usw. vom Fahrzeug aus synthetisieren, und dies kann auch auf die Bildsynthese für beliebige andere Einrichtungen als ein Fahrzeug angewendet werden.
Obwohl die Bildsynthesevorrichtungen usw. gemäß einem oder mehreren Aspekten auf Grundlage der Ausführungsformen beschrieben sind, ist die vorliegende Erfindung nicht auf diese Ausführungsformen beschränkt. Formen, die durch verschiedene Modifikationen an den vorliegenden Ausführungsformen erlangt sind, die durch einen Fachmann erdacht werden können, sowie Formen, die durch ein Kombinieren von Aufbauelementen in verschiedenen Ausführungsformen erlangt sind, die innerhalb des Umfangs des Grundgedankens der vorliegenden Erfindung liegen, können in einem oder mehreren Aspekten enthalten sein.
Gewerbliche Anwendbarkeit
Die vorliegende Erfindung ist anwendbar auf eine Bildsynthesevorrichtung usw., die Bilder synthetisiert, während sie ein Gefühl der Befremdung unterdrückt, das durch die Bildsynthese auftritt. Genauer ist die vorliegende Erfindung auf eine Bildsynthesevorrichtung anwendbar, die Bilder von an einem Fahrzeug montierten Kameras synthetisiert und die synthetisierten Bilder auf einem elektronischen Spiegel anzeigt.
Bezugszeichenliste

1: Fahrzeug
10, 110: Bildsynthesevorrichtung
12, 13, 14: Kamera
21, 121: Erlangungseinheit
22, 122: Bestimmungseinheit
23, 123: Syntheseeinheit
24, 124: Anzeigesteuereinheit
31, 131: Merkmalspunktbestimmungseinheit
32, 132: Paarbestimmungseinheit
33: erste Berechnungseinheit
34: zweite Berechnungseinheit
40: elektronischer Spiegel
50: Rückwärtsbild
51, 52, 53, 151, 151A, 151B, 153, 153A, 153B, 155, 155A: Bild
61, 62, 63, 64: Teilbild
62c, 63c: mittlere Pixelzeile
66: Pixelzeile
71, 72, 73, 74, 75, 76, 77, 78, u, v: Vektor
81, 81i, 81j, 81k, 82, 83, 84, w: Einzelvektor
90, 90A, 170, 171, 172: Grenzlinie
91, 91i, 91j, 92, 92i, 92j, 92k, 93, 94: Pixel
133: Kurvenbestimmungseinheit
161, 163, 164: Bereich
a, b, c, d, s: Paar
m: Mitte
p, q: Merkmalspunkt
p1, p2, p3, q1, q2, q3: Merkmalspunkt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2000215317 [0005]

Claims

Bildsynthesevorrichtung, umfassend: eine Erlangungseinheit, ausgelegt, ein erstes Bild und ein zweites Bild eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands zu erlangen und das erste Bild und das zweite Bild, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung anzuordnen, in der sich das erste Bild und das zweite Bild teilweise überlappen; eine Merkmalspunktbestimmungseinheit, ausgelegt, einen oder mehrere erste Merkmalspunkte in dem durch die Erlangungseinheit angeordneten ersten Bild und einen oder mehrere zweite Merkmalspunkte in dem durch die Erlangungseinheit angeordneten zweiten Bild zu bestimmen; eine Paarbestimmungseinheit, ausgelegt, eine Vielzahl von Paaren zu bestimmen, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten zu bestimmen, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; eine erste Berechnungseinheit, ausgelegt zum Berechnen für jedes aus einer Vielzahl von Teilbildern (i) eines ersten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen ersten Merkmalspunkt in einem im Teilbild enthaltenen Paar zu einer Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstreckt, und (ii) eines zweiten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen zweiten Merkmalspunkt in dem Paar zu der Mitte erstreckt, wobei die Vielzahl von Teilbildern durch ein Teilen des ersten Bildes und des zweiten Bildes, die angeordnet wurden, entlang einer Trennlinie erlangt ist, die sich in einer ersten Richtung erstreckt; eine zweite Berechnungseinheit, ausgelegt, einen ersten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des ersten repräsentativen Vektors zu berechnen, der durch die erste Berechnungseinheit für jedes aus der Vielzahl von Teilbildern berechnet wurde, und einen zweiten Einzelvektor für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des zweiten repräsentativen Vektors zu berechnen, der durch die erste Berechnungseinheit für jedes aus der Vielzahl von Teilbildern berechnet wurde; und eine Syntheseeinheit, ausgelegt, das erste Bild und das zweite Bild zu synthetisieren, nach einem Berechnen eines Pixelwerts für eine im ersten Bild enthaltene Pixelzeile unter Verwendung des ersten Einzelvektors und einem Berechnen eines Pixelwerts für eine im zweiten Bild enthaltene Pixelzeile unter Verwendung des zweiten Einzelvektors.
Bildsynthesevorrichtung nach Anspruch 1, wobei die erste Berechnungseinheit ausgelegt ist, für jedes aus der Vielzahl von Teilbildern: als den ersten repräsentativen Vektor einen Median von Vektoren zu berechnen, die sich jeweils von dem einen ersten Merkmalspunkt in einem aus der Vielzahl von im Teilbild enthaltenen Paaren zu einer Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstrecken; und als den zweiten repräsentativen Vektor einen Median von Vektoren zu berechnen, die sich jeweils von dem einen zweiten Merkmalspunkt in einem aus der Vielzahl von Paaren zu der Mitte erstrecken.
Bildsynthesevorrichtung nach Anspruch 1 oder 2, wobei die zweite Berechnungseinheit ausgelegt ist: für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen den ersten Einzelvektor durch eine lineare Interpolation zu berechnen, indem sie eine mittlere Pixelzeile in jedem aus der Vielzahl von Teilbildern mit dem ersten repräsentativen Vektor in dem Teilbild verknüpft; und für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen den zweiten Einzelvektor durch eine lineare Interpolation zu berechnen, indem sie die mittlere Pixelzeile in jedem aus der Vielzahl von Teilbildern mit dem zweiten repräsentativen Vektor in dem Teilbild verknüpft.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 3, wobei die erste Berechnungseinheit ausgelegt ist, einen statistischen Vorgang durchzuführen, um (i) einen Unterschied zwischen dem ersten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem ersten repräsentativen Vektor in einem benachbarten aus der Vielzahl von Teilbildern zu reduzieren und (ii) einen Unterschied zwischen dem zweiten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem zweiten repräsentativen Vektor in dem benachbarten aus der Vielzahl von Teilbildern zu reduzieren, und die zweite Berechnungseinheit ausgelegt ist, den ersten Einzelvektor und den zweiten Einzelvektor zu berechnen, nachdem die erste Berechnungseinheit den statistischen Vorgang durchgeführt hat.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 4, wobei die Erlangungseinheit ausgelegt ist, eine Vielzahl der ersten Bilder und eine Vielzahl der zweiten Bilder zu erlangen, die zu unterschiedlichen Zeitpunkten aufgenommen sind, die erste Berechnungseinheit ausgelegt ist, einen statistischen Vorgang durchzuführen, um (i) einen Unterschied zwischen dem ersten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem ersten repräsentativen Vektor in einem früher am selben Ort erlangten Teilbild zu reduzieren und (ii) einen Unterschied zwischen dem zweiten repräsentativen Vektor in jedem aus der Vielzahl von Teilbildern und dem zweiten repräsentativen Vektor in dem früher am selben Ort erlangten Teilbild zu reduzieren, und die zweite Berechnungseinheit ausgelegt ist, den ersten Einzelvektor und den zweiten Einzelvektor zu berechnen, nachdem die erste Berechnungseinheit den statistischen Vorgang durchgeführt hat.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 5, wobei die Erlangungseinheit ausgelegt ist, eine Vielzahl der ersten Bilder und eine Vielzahl der zweiten Bilder zu erlangen, die zu unterschiedlichen Zeitpunkten aufgenommen sind, und die erste Berechnungseinheit ausgelegt ist: wenn mindestens eine vorgegebene Anzahl der Paare in einem Teilbild unter der Vielzahl von Teilbildern enthalten ist, die durch ein Teilen des ersten Bildes und des zweiten Bildes erlangt sind, die zu einem Zeitpunkt aufgenommen sind, das Teilbild für das erste Bild und das zweite Bild zu verkleinern, die zu einem späteren Zeitpunkt aufgenommen sind als dem einen Zeitpunkt; und wenn das Teilbild mindestens die vorgegebene Anzahl der Paare enthält, das Teilbild für das erste Bild und das zweite Bild zu vergrößern, die zu einem späteren Zeitpunkt aufgenommen sind als dem einen Zeitpunkt.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 6, wobei die erste Richtung horizontal ist.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 7, wobei die zweite Berechnungseinheit ausgelegt ist, den ersten repräsentativen Vektor und den zweiten repräsentativen Vektor durch eine Hardwareverarbeitung unter Verwendung eines Grafikprozessors (einer GPU) zu berechnen, und die Syntheseeinheit ausgelegt ist, das erste Bild und das zweite Bild durch eine Hardwareverarbeitung unter Verwendung der GPU zu synthetisieren.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 8, weiter umfassend: eine Kurvenbestimmungseinheit, ausgelegt, eine Kurve zu bestimmen, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind, wobei die Syntheseeinheit das erste Bild und das zweite Bild unter Verwendung der durch die Kurvenbestimmungseinheit bestimmten einen Kurve als Grenze synthetisiert.
Bildsynthesevorrichtung nach Anspruch 9, wobei die Kurvenbestimmungseinheit ausgelegt ist, als die eine Kurve eine Approximationskurve zu bestimmen, die durch die Nachbarschaft der Vielzahl nahestehender Paare verläuft, die bestimmt wurden.
Bildsynthesevorrichtung nach Anspruch 10, wobei die Kurvenbestimmungseinheit ausgelegt ist, die eine Kurve unter Verwendung nichtlinearer kleinster Quadrate zu bestimmen.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 9 bis 11, wobei die Kurvenbestimmungseinheit ausgelegt ist, eine Kurve zu bestimmen, die nicht durch eine Nachbarschaft einer Vielzahl abstehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl abstehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch mindestens den vorgegebenen Abstand getrennt sind.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 12, wobei das erste Bild und das zweite Bild gleichzeitig durch zwei Kameras aufgenommen werden, die an einem einzigen Fahrzeug befestigt sind, und die vorgegebene Positionsbeziehung gemäß Positionen und Ausrichtungen der beiden Kameras vorab bestimmt ist.
Bildsynthesevorrichtung nach einem beliebigen der Ansprüche 1 bis 9, wobei die Bildsynthesevorrichtung erlangt: (a) ein linkes Rückwärtsbild, aufgenommen durch eine linke Kamera, die einen linken Bereich hinter einem Fahrzeug abbildet; (b) ein rechtes Rückwärtsbild, aufgenommen durch eine rechte Kamera, die einen rechten Bereich hinter dem einen Fahrzeug abbildet; und (c) ein mittleres Rückwärtsbild, aufgenommen durch eine mittlere Kamera, die einen mittleren Bereich hinter dem einen Fahrzeug abbildet, die Bildsynthesevorrichtung (i) eins aus dem linken Rückwärtsbild und dem rechten Rückwärtsbild sowie das mittlere Rückwärtsbild als das erste bzw. das zweite Bild durch die Erlangungseinheit erlangt, (ii) das Bestimmen jeder aus der Merkmalspunktbestimmungseinheit und der Paarbestimmungseinheit durchführt, (iii) das Berechnen jeder aus der ersten Berechnungseinheit und der zweiten Berechnungseinheit durchführt, und (iv) ein drittes Bild durch eine Synthese durch die Syntheseeinheit erzeugt, und die Bildsynthesevorrichtung (i) das dritte Bild und das andere aus dem linken Rückwärtsbild und dem rechten Rückwärtsbild als das erste bzw. das zweite Bild durch die Erlangungseinheit erlangt, (ii) das Bestimmen jeder aus der Merkmalspunktbestimmungseinheit und der Paarbestimmungseinheit durchführt, (iii) das Berechnen jeder aus der ersten Berechnungseinheit und der zweiten Berechnungseinheit durchführt, und (iv) ein viertes Bild durch eine Synthese durch die Syntheseeinheit erzeugt.
Bildsynthesevorrichtung, umfassend: eine Erlangungseinheit, ausgelegt, ein erstes Bild und ein zweites Bild eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands zu erlangen und das erste Bild und das zweite Bild, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung anzuordnen, in der sich das erste Bild und das zweite Bild teilweise überlappen; eine Merkmalspunktbestimmungseinheit, ausgelegt, einen oder mehrere erste Merkmalspunkte in dem durch die Erlangungseinheit angeordneten ersten Bild und einen oder mehrere zweite Merkmalspunkte in dem durch die Erlangungseinheit angeordneten zweiten Bild zu bestimmen; eine Paarbestimmungseinheit, ausgelegt, eine Vielzahl von Paaren zu bestimmen, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten zu bestimmen, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; eine Kurvenbestimmungseinheit, ausgelegt, eine Kurve zu bestimmen, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind; und eine Syntheseeinheit, ausgelegt, das erste Bild und das zweite Bild unter Verwendung der einen Kurve, die bestimmt wurde, als Grenze zu synthetisieren.
Verfahren zum Steuern einer Bildsynthesevorrichtung, umfassend: ein Erlangen eines ersten Bildes und eines zweiten Bildes eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands und ein Anordnen des ersten Bildes und des zweiten Bildes, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung, in der sich das erste Bild und das zweite Bild teilweise überlappen; ein Bestimmen eines oder mehrerer erster Merkmalspunkte in dem beim Anordnen angeordneten ersten Bild und eines oder mehrerer zweiter Merkmalspunkte in dem beim Anordnen angeordneten zweiten Bild; ein Bestimmen einer Vielzahl von Paaren, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten enthalten, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; ein Berechnen für jedes aus einer Vielzahl von Teilbildern (i) eines ersten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen ersten Merkmalspunkt in einem im Teilbild enthaltenen Paar zu einer Mitte zwischen dem einen ersten Merkmalspunkt und dem einen zweiten Merkmalspunkt erstreckt, und (ii) eines zweiten repräsentativen Vektors, der einen Vektor repräsentiert, der sich von dem einen zweiten Merkmalspunkt in dem Paar zu der Mitte erstreckt, wobei die Vielzahl von Teilbildern durch ein Teilen des ersten Bildes und des zweiten Bildes, die angeordnet wurden, entlang einer Trennlinie erlangt ist, die sich in einer ersten Richtung erstreckt; ein Berechnen eines ersten Einzelvektors für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des ersten repräsentativen Vektors, der beim Berechnen eines ersten repräsentativen Vektors für jedes aus der Vielzahl von Teilbildern berechnet wurde, und ein Berechnen eines zweiten Einzelvektors für jede der im ersten Bild und im zweiten Bild enthaltenen Pixelzeilen durch eine Interpolation des zweiten repräsentativen Vektors, der beim Berechnen eines zweiten repräsentativen Vektors für jedes aus der Vielzahl von Teilbildern berechnet wurde; und ein Synthetisieren des ersten Bildes und des zweiten Bildes nach einem Berechnen eines Pixelwerts für eine im ersten Bild enthaltene Pixelzeile unter Verwendung des ersten Einzelvektors und einem Berechnen eines Pixelwerts für eine im zweiten Bild enthaltene Pixelzeile unter Verwendung des zweiten Einzelvektors.
Verfahren nach Anspruch 16, weiter umfassend: ein Bestimmen einer Kurve, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind, wobei beim Synthetisieren das erste Bild und das zweite Bild unter Verwendung der beim Bestimmen einer Kurve bestimmten einen Kurve als Grenze synthetisiert werden.
Verfahren zum Steuern einer Bildsynthesevorrichtung, umfassend: ein Erlangen eines ersten Bildes und eines zweiten Bildes eines unter unterschiedlichen Abbildungsbedingungen aufgenommenen Gegenstands und ein Anordnen des ersten Bildes und des zweiten Bildes, die erlangt wurden, gemäß einer vorgegebenen Positionsbeziehung, in der sich das erste Bild und das zweite Bild teilweise überlappen; ein Bestimmen eines oder mehrerer erster Merkmalspunkte in dem beim Anordnen angeordneten ersten Bild und eines oder mehrerer zweiter Merkmalspunkte in dem beim Anordnen angeordneten zweiten Bild; ein Bestimmen einer Vielzahl von Paaren, die jeweils einen ersten Merkmalspunkt unter dem einen oder den mehreren ersten Merkmalspunkten und einen zweiten Merkmalspunkt unter dem einen oder den mehreren zweiten Merkmalspunkten enthalten, wobei der eine erste Merkmalspunkt und der eine zweite Merkmalspunkt Punkte sind, an denen Bilder eines identischen Objekts aufgenommen sind; ein Bestimmen einer Kurve, die durch eine Nachbarschaft einer Vielzahl nahestehender Paare unter der Vielzahl von Paaren verläuft, die bestimmt wurden, wobei die Vielzahl nahestehender Paare jeweils den einen ersten Merkmalspunkt und den einen zweiten Merkmalspunkt enthalten, die durch höchstens einen vorgegebenen Abstand getrennt sind; und ein Synthetisieren des ersten Bildes und des zweiten Bildes unter Verwendung der einen Kurve, die bestimmt wurde, als Grenze.