DE112019001358T5

DE112019001358T5 - Vorrichtung zur erstellung zusammengesetzter videobilder, verfahren zur erstellung zusammengesetzter videobilder und programm zur erstellung zusammengesetzter videobilder

Info

Publication number: DE112019001358T5
Application number: DE112019001358.0T
Authority: DE
Inventors: Atsushi Hayami
Original assignee: Murakami Corp
Current assignee: Murakami Corp
Priority date: 2018-03-15
Filing date: 2019-03-12
Publication date: 2020-12-31
Also published as: US20200410641A1; US11232540B2; JP7244488B2; WO2019176930A1; CN111869198A; CN111869198B; JPWO2019176930A1

Abstract

Bei der Erstellung eines zusammengesetzten Videobilds durch Stitching bzw. Zusammenfügen benachbarter Videobilder wird ein Flackern in dem zusammengesetzten Videobild aufgrund einer häufigen Aktualisierung einer Bildtransformationsmatrix unterbunden. In Bezug auf zwei aus zwei Videobildern erfassten Bildern, die einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, wird nacheinander eine Bildtransformationsmatrix zur Zuordnung von Koordinatensystemen erzeugt. An mindestens einem Bild unter den Bildern wird unter Verwendung der erstellten Bildtransformationsmatrix eine Koordinatenumwandlung ausgeführt. Durch Übereinanderlegen von zwei Bildern, von denen zumindest das eine Bild der Koordinatenumwandlung unterzogen wurde, wird ein zusammengesetztes Bild erstellt. Die aktuell verwendete Bildtransformationsmatrix und die neu erstellte Bildtransformationsmatrix werden miteinander verglichen. Wenn die beiden Bildtransformationsmatrizes einander ähnlich sind, wird die Koordinatenumwandlung unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix ausgeführt. Wenn die beiden Bildtransformationsmatrizes einander nicht ähnlich sind, wird die Koordinatenumwandlung unter Verwendung einer mittels der neu erstellten Bildtransformationsmatrix korrigierten Bildtransformationsmatrix ausgeführt.

Description

Technischer Bereich
Die vorliegende Erfindung betrifft eine Vorrichtung zur Erstellung zusammengesetzter Videobilder, ein Verfahren zur Erstellung zusammengesetzter Videobilder und ein Programm zur Erstellung zusammengesetzter Videobilder zur Erstellung eines zusammengesetzten Videobilds durch Stitching bzw. Zusammenfügen von zwei oder mehr Videobildern, wobei zwei jeweils benachbarte Videobilder jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern.
Technischer Hintergrund
Techniken zur Erstellung zusammengesetzter Bilder, die durch Stitching bzw. Zusammenfügen von zwei oder mehr Bildern, bei denen zwei jeweils benachbarte Videobilder jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, ein zusammengesetztes Bild (z.B. eine Panoramabild) erstellen, werden in der Praxis eingesetzt. Beispiele der Techniken zur Erstellung zusammengesetzter Bilder, die gegenwärtig in der Praxis eingesetzt werden, umfassen eine, die wie folgt eine Folge von Prozessen ausführt. Hinsichtlich der beiden Bilder, die jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem sich die beiden Bilder gegenseitig überlagern, werden jeweilige Merkmalspunkte erfasst. Merkmalswerte der Merkmalspunkte werden extrahiert. Übereinstimmende Punkte in den beiden Bildern werden anhand der Merkmalswerte erfasst. Eine Bildtransformationsmatrix zur Ausrichtung der beiden Bilder wird anhand der Koordinaten der übereinstimmenden Punkte berechnet. Unter Verwendung der Bildtransformationsmatrix wird zum Abgleichen der Koordinatensysteme der beiden Bilder miteinander eine Koordinatenumwandlung an einem der Bilder ausgeführt. Die beiden Bilder werden zur Erstellung eines zusammengesetzten Bilds übereinandergelegt. Zwei oder mehr Bilder können durch Ausführen der vorstehenden Folge von Prozessen an jedem Paar benachbarter Bilder zusammengesetzt werden. Diese Technik zur Erstellung zusammengesetzter Bilder ist beispielsweise in Nichtpatentliteratur 1 offenbart.
Liste der Entgegenhaltungen
Nichtpatentliteratur
Nichtpatentliteratur 1: „Panorama image based on features“ (Auf Merkmalen basierendes Panoramabild), [Gefunden am 6. März 2018], Internet <URL: https://jp.mathworks.com/help/vision/example/feature-based-panoramicimage-Stitching.html>
Zusammenfassung der Erfindung
Technisches Problem
Die Anwendung der vorstehenden Technik zur Erstellung zusammengesetzter Bilder auf Videobilder (bewegte Bilder) ermöglicht die Erstellung eines zusammengesetzten Videobilds, bei dem zwei Videobilder, die jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, durch Stitching bzw. Zusammenfügen über den Bereich zusammengesetzt werden. Diese Technik zur Erstellung zusammengesetzter Videobilder kann beispielsweise für einen sogenannten elektronischen Spiegel für ein Fahrzeug verwendet werden. Der elektronische Spiegel ist beispielsweise wie folgt aufgebaut. Kameras sind so angeordnet, dass sie der linken Seite, der Seite der Mitte und der rechten Seite der Rückseite des Fahrzeugs zugewandt sind. Zwei jeweils benachbarte Videobilder (d.h. das linke und das mittlere Videobild und das mittlere und das rechte Videobild) unter den Videobildern von den Kameras werden zur Erstellung eines durchgehenden Panoramavideobilds durch Stitching zusammengesetzt. Das erstellte Panoramavideobild wird auf einer Bildanzeigevorrichtung wie einer Flüssigkristallanzeige angezeigt, die so vor einem Fahrersitz angeordnet ist, dass sie von einem Fahrer betrachtet werden kann.
Wird eine Technik zur Erstellung zusammengesetzter Bilder auf einen elektronischen Spiegel angewendet, können Bewegungen der Kameras in Bezug aufeinander z.B. aufgrund einer Erschütterung eines Fahrzeugs häufig Fehlausrichtungen von Bildern von den jeweiligen Kameras verursachen. Wenn dann bei jedem Auftreten einer Fehlausrichtung der Bilder von den Kameras die Bildtransformationsmatrizes aktualisiert (korrigiert) werden, tritt ein Flackern (ein Schwanken) in einem angezeigten Panoramavideobild auf, wodurch ein Fahrer irritiert und dementsprechend beim Fahren des Fahrzeugs gestört werden kann.
Durch die vorliegende Erfindung werden eine Vorrichtung zur Erstellung zusammengesetzter Videobilder, ein Verfahren zur Erstellung zusammengesetzter Videobilder und ein Programm zur Erstellung zusammengesetzter Videobilder bereitgestellt, durch die das vorstehend ausgeführte Problem gelöst und ein Flackern eines zusammengesetzten Videobilds unterbunden werden.
Lösung des Problems
Durch die vorliegende Erfindung wird eine Vorrichtung zur Erstellung zusammengesetzter Videobilder zur Erstellung eines zusammengesetzten Videobilds durch Stitching von zwei Videobildern, die jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, über die sich gegenseitig überlagernden Bereiche bereitgestellt, wobei die Vorrichtung zur Erstellung zusammengesetzter Videobilder einen Bildabrufabschnitt bzw. Bilderfassungsabschnitt, einen Merkmalswert-Extraktionsabschnitt, einen Bildtransformationsmatrix-Erstellungsabschnitt, einen Bildtransformationsabschnitt, einen Bildausgabeabschnitt und einen Korrekturbestimmungsabschnitt umfasst, wobei der Bildabrufabschnitt bzw. Bilderfassungsabschnitt nacheinander zwei Bilder, eines aus jedem der beiden Videobilder, abruft bzw. erfasst, der Merkmalswert-Extraktionsabschnitt in Bezug auf die beiden abgerufenen bzw. erfassten Bilder jeweilige Merkmalspunkte erkennt und jeweilige Merkmalswerte der erkannten Merkmalspunkte extrahiert, der Bildtransformationsmatrix-Erstellungsabschnitt anhand der extrahierten Merkmalswerte der Merkmalspunkte übereinstimmende Punkte in den beiden Bildern erkennt und anhand der Koordinaten der erkannten übereinstimmenden Punkte (beispielsweise durch Abgleichen der Koordinatensysteme miteinander, Ausführen eines Koordinatenabgleichs oder Ausrichten der sich gegenseitig überlagernden Bereiche) nacheinander eine Bildtransformationsmatrix zur Zuordnung der Koordinatensysteme der beiden Bilder zueinander erstellt, der Bildtransformationsabschnitt unter Verwendung der zum Ausführen der Zuordnung der Koordinatensysteme der beiden Bilder zueinander erstellten Bildtransformationsmatrix eine Koordinatenumwandlung an zumindest einem Bild unter den beiden Bildern ausführt, der Bildausgabeabschnitt durch Übereinanderlegen der beiden Bilder mit den einander jeweils zugeordneten Koordinatensystemen ein zusammengesetztes Bild erstellt und das zusammengesetzte Bild ausgibt, der Korrekturbestimmungsabschnitt die aktuell verwendete Bildtransformationsmatrix und die neu erstellte Bildtransformationsmatrix miteinander vergleicht, um anhand eines vorgegebenen Bestimmungskriteriums zur Bestimmung eines Grads der Abweichung oder eines Grads der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes zu bestimmen, ob die beiden Bildtransformationsmatrizes einander ähnlich sind oder nicht, und bei der Bestimmung, dass die beiden Bildtransformationsmatrizes einander ähnlich sind, den Bildtransformationsabschnitt veranlasst, die Koordinatenumwandlung unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix auszuführen, und bei der Bestimmung, dass die beiden Bildtransformationsmatrizes einander nicht ähnlich sind, den Bildtransformationsabschnitt veranlasst, die Koordinatenumwandlung unter Verwendung einer mittels der neu erstellten Bildtransformationsmatrix korrigierten (beispielsweise auf die neu erstellte Bildtransformationsmatrix umgestellten) Bildtransformationsmatrix auszuführen, und die Vorrichtung zur Erstellung zusammengesetzter Videobilder das zusammengesetzte Videobild durch aufeinanderfolgendes Ausführen der Erstellung des zusammengesetzten Bilds entsprechend dem Verlauf der Zeit erstellt. Dementsprechend wird eine häufige Aktualisierung der Bildtransformationsmatrix unterbunden, und dadurch wird ein Flackern in dem zusammengesetzten Videobild unterbunden, und demzufolge kann eine Irritation eines Betrachters des zusammengesetzten Videobilds vermindert werden.
Es ist möglich, dass die Bildtransformationsmatrix beispielsweise eine Bildtransformationsmatrix zum Abbilden des Koordinatensystems eines Bilds unter den beiden Bildern in dem Koordinatensystem des anderen Bilds ist. Dementsprechend können die Koordinatensysteme der beiden Bilder durch Ausführen einer Koordinatenumwandlung an dem einen Bild unter den beiden Bildern aufeinander abgebildet werden.
Es ist möglich, dass der Korrekturbestimmungsabschnitt den Grad der Abweichung oder den Grad der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes unter Verwendung des Bestimmungskriteriums bestimmt, wobei ein Wert, der auf einer Differenz im Elementwert (womit ein Wert jedes Elements bezeichnet wird) zwischen jeweiliger einander entsprechender Elemente in der aktuell verwendeten Bildtransformationsmatrix und der neu erstellten Bildtransformationsmatrix basiert, als Indexwert des Bestimmungskriteriums verwendet wird. Dementsprechend kann die Korrektur der Bildtransformationsmatrix nach der Bestimmung des Grads der Abweichung oder des Grads der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes unter Verwendung eines einer Differenz zwischen Elementwerten einander entsprechender Elemente in den beiden Bildtransformationsmatrizes entsprechenden Werts als Indexwert ausgeführt werden. Wenn der Indexwert beispielsweise einen vorgegebenen Schwellenwert (einen Bestimmungskriteriumswert) nicht überschreitet (d.h. wenn der Grad der Differenz zwischen den beiden Bildtransformationsmatrizes gering oder der Grad der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes hoch ist), kann bestimmt werden, dass die beiden Bildtransformationsmatrizes ähnlich sind, und die aktuell verwendete Bildtransformationsmatrix kann weiter verwendet werden. Ebenso kann, wenn der Indexwert den vorgegebenen Schwellenwert übersteigt (d.h. wenn der Grad der Differenz zwischen den beiden Bildtransformationsmatrizes hoch oder der Grad er Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes gering ist), bestimmt werden, dass die beiden Bildtransformationsmatrizes einander nicht ähnlich sind, und die für die Koordinatenumwandlung verwendete Bildtransformationsmatrix kann mittels der neu erstellten Bildtransformationsmatrix korrigiert werden. Als einer Differenz zwischen Elementwerten einander entsprechender Elemente in den beiden Bildtransformationsmatrizes entsprechender Indexwert kann beispielsweise folgendes verwendet werden.

- Die Summe jeweiliger absoluter Werte der Differenzen zwischen den Elementwerten sämtlicher einander entsprechender Elemente,
- die Summe jeweiliger absoluter Werte der Differenzen zwischen den Elementwerten bestimmter einander entsprechender Elemente,
- die Summe jeweiliger Quadrate der Differenzen zwischen den Elementwerten sämtlicher einander entsprechender Elemente,
- die Summe jeweiliger Quadrate der Differenzen zwischen den Elementwerten bestimmter einander entsprechender Elemente.

Es ist möglich, dass der Merkmalswert-Extraktionsabschnitt die Merkmalswerte in Bezug auf Bilder beispielsweise in einem geeigneten Zeitintervall extrahiert. Dementsprechend kann eine Menge an arithmetischen Operationen im Vergleich zu einem Fall reduziert werden, in dem die Merkmalswertextraktion in Bezug auf Bilder zu sämtlichen Zeitpunkten (d.h. an sämtlichen Einzelbildern) ausgeführt wird.
Es ist möglich, dass, wenn bestimmt wird, dass die Bildtransformationsmatrizes einander nicht ähnlich sind, der Korrekturbestimmungsabschnitt die für die Koordinatenumwandlung verwendete Bildtransformationsmatrix beispielsweise mittels der neu erstellten Bildtransformationsmatrix unter der Bedingung korrigiert, dass der Zustand, in dem bestimmt wird, dass die Bildtransformationsmatrizes einander nicht ähnlich sind, über eine vorgegebene Zeitspanne andauert. Dementsprechend ist es möglich, ein in den Videobildern auftretendes, durch eine Korrektur der Bildtransformationsmatrix z.B. aufgrund einer vorübergehenden Erschütterung der Videobilder verursachtes Flackern zu unterbinden.
Bei der erfindungsgemäßen Vorrichtung zur Erstellung zusammengesetzter Videobilder ist es möglich, dass in Bezug auf drei oder mehr Videobilder, bei denen zwei jeweils benachbarte Videobilder jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, ein zusammengesetztes Videobild durch Ausführen der Verarbeitung an jedem der jeweiligen Abschnitte zweier jeweils benachbarter Videobilder und Stitching der drei oder mehr Videobilder über die sich gegenseitig überlagernden Bereiche erstellt wird. Dementsprechend wird, wenn drei oder mehr Videobilder durch Stitching zusammengesetzt werden, ein Flackern eines zusammengesetzten Videobilds ebenso unterbunden, wodurch eine Verminderung der Irritation eines Betrachters ermöglicht wird. Eine Richtung, in der die jeweiligen Bilder der drei oder mehr Videobilder durch Stitching zusammengesetzt werden, kann auf unterschiedliche Weise beispielsweise wie folgt eingestellt werden.

- Die Bilder werden unter Verwendung eines Koordinatensystems eines Bilds an einem Ende als Bezug (d.h. eines festen Koordinatensystems) nacheinander in einer Richtung bis zu einem Bild am anderen Ende durch Stitching zusammengesetzt.
- Die Bilder werden unter Verwendung eines Koordinatensystems eines Bild in der Mitte als Bezug nacheinander in entgegengesetzten Richtungen bis zu den Bildern an den entgegengesetzten Enden durch Stitching zusammengesetzt.

Die vorliegende Erfindung ist beispielsweise auf eine Bildanzeigevorrichtung für ein Fahrzeug anwendbar. In einem derartigen Fall ist es beispielsweise möglich, dass in Bezug auf drei Videobilder einer linken Seite, einer Seite der Mitte und einer rechten Seite einer Rückseite eines Fahrzeugs, von denen zwei jeweils benachbarte Videobilder jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, ein zusammengesetztes Videobild durch Ausführen jedes der Prozesse an zwei jeweils benachbarten Videobildern und Stitching der drei Videobilder über die sich gegenseitig überlagernden Bereiche erstellt wird. Dementsprechend kann ein Panoramavideobild erhalten werden, bei dem drei Videobilder der linken Seite, der Seite der Mitte und der rechten Seite der Rückseite des Fahrzeugs durch Stitching zusammengesetzt sind.
Wenn die vorliegende Erfindung auf die Bildanzeigevorrichtung für ein Fahrzeug angewendet wird, ist es möglich, dass: der Bildtransformationsmatrix-Erstellungsabschnitt in Bezug auf drei aus den drei Videobildern erfassten Bilder beispielsweise jeweilige Bildtransformationsmatrizes zur Abbildung der Koordinatensysteme der beiden Bilder der linken Seite und der rechten Seite in einem Koordinatensystem des Bilds der Seite der Mitte erstellt; der Bildtransformationsabschnitt die Koordinatensysteme der Bilder der linken Seite und der rechten Seite durch Ausführen einer Koordinatenumwandlung an den Bildern der linken Seite und der rechten Seite unter Verwendung der jeweiligen erstellten Bildtransformationsmatrizes in dem Koordinatensystem des Bilds der Seite der Mitte abbildet und der Bildausgabeabschnitt das zusammengesetzte Bild durch Übereinanderlegen der drei Bilder mit den jeweiligen einander zugeordneten Koordinatensystemen erstellt und das zusammengesetzte Bild ausgibt. Dementsprechend wird das Koordinatensystem des Videobilds der Seite der Mitte der Rückseite des Fahrzeugs, das zum Fahren des Fahrzeugs wesentlich ist, nicht verändert, und daher flackert das Videobild der Seite der Mitte nicht, wodurch der Erhalt eines zum Fahren geeigneten Panoramavideobilds ermöglicht wird.
Wenn die vorliegende Erfindung auf die Bildanzeigevorrichtung für ein Fahrzeug angewendet wird, ist es möglich, dass der Korrekturbestimmungsabschnitt den Grad der Abweichung oder den Grad der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes beispielsweise unter Verwendung des Bestimmungskriteriums bestimmt, wobei ein Wert, der auf einer Differenz im Elementwert zwischen jeweiligen Elementen, die jeweils einen Parallelverschiebungsbetrag wiedergeben, und einer Differenz im Elementwert zwischen jeweiligen Elementen, die jeweils einen Drehwinkel in den beiden Bildtransformationsmatrizes wiedergeben, basiert, als Indexwert verwendet wird. Es ist denkbar, dass Änderungen einer Fehlausrichtung unter den Koordinatensystemen der Videobilder der linken Seite, der Seite der Mitte und der rechten Seite der Rückseite des Fahrzeugs allgemein in Bezug auf parallele Übersetzungsrichtungen und Drehrichtungen auftreten. Daher ermöglicht die Verwendung eines einer Differenz zwischen den Elementwerten jeweiliger Elemente, die jeweils eine parallele Übersetzungsgröße wiedergeben, entsprechenden Werts und eines einer Differenz zwischen den Elementwerten jeweiliger Elemente, die einen Drehwinkel wiedergeben, entsprechenden Werts unter den Elementen der Bildtransformationsmatrizes als Indexwert im Vergleich zu einem Fall, in dem ein Differenzen zwischen sämtlichen einander entsprechenden Elementen in den Bildtransformationsmatrizes entsprechender Wert als Indexwert verwendet wird, eine Verringerung der Menge an arithmetischen Operationen.
Ein erfindungsgemäßes Programm zur Erstellung zusammengesetzter Videobilder ist ein Programm zum Veranlassen einer Informationsverarbeitungsvorrichtung, als erfindungsgemäße Vorrichtung zur Erstellung zusammengesetzter Videobilder zu fungieren. Dementsprechend ist es möglich, eine Informationsverarbeitungsvorrichtung zu veranlassen, als Vorrichtung zur Erstellung zusammengesetzter Videobilder gemäß der vorliegenden Erfindung zu fungieren.
Ein Verfahren zur Erstellung zusammengesetzter Videobilder gemäß der vorliegenden Erfindung ist ein Verfahren zur Erstellung eines zusammengesetzten Videobilds durch Stitching bzw. Zusammenfügen von zwei Videobildern, die jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, über den sich gegenseitig überlagernden Bereich, wobei das Verfahren umfasst: aufeinanderfolgendes Abrufen bzw. Erfassen von zwei Bildern, eines aus jedem der beiden Videobilder; aufeinanderfolgendes Erstellen einer Bildtransformationsmatrix zur Zuordnung der Koordinatensysteme der beiden Bilder zueinander; das Ausführen einer Zuordnung der Koordinatensysteme der beiden Bilder zueinander durch Ausführen der Koordinatenumwandlung an zumindest einem Bild unter den beiden Bildern unter Verwendung der erstellten Bildtransformationsmatrix; Erstellen eines zusammengesetzten Bilds durch Übereinanderlegen der beiden Bilder mit den einander jeweils zugeordneten Koordinatensystemen; Vergleichen der aktuell verwendeten Bildtransformationsmatrix und der neu erstellten Bildtransformationsmatrix miteinander und Ausführen der Koordinatenumwandlung unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix bei der Bestimmung, das die beiden Bildtransformationsmatrizes einander ähnlich sind, anhand eines vorgegebenen Bestimmungskriteriums zur Bestimmung eines Grads der Abweichung oder eines Grads der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes, und Ausführen der Koordinatenumwandlung unter Verwendung einer mittels der neu erstellten Bildtransformationsmatrix korrigierten Bildtransformationsmatrix bei der Bestimmung, dass die beiden Bildtransformationsmatrizes einander nicht ähnlich sind; und Erstellen des zusammengesetzten Videobilds durch aufeinanderfolgendes Ausführen der Erstellung des zusammengesetzten Bilds entsprechend dem Verlauf der Zeit. Dementsprechend wird eine häufige Aktualisierung der Bildtransformationsmatrix unterbunden, und dadurch wird ein Flackern des zusammengesetzten Videobilds unterbunden, und demzufolge kann eine Irritation eines Betrachters des zusammengesetzten Videobilds vermindert werden.
Ein Programm zur Erstellung zusammengesetzter Videobilder gemäß der vorliegenden Erfindung ist ein Programm zum Veranlassen einer Informationsverarbeitungsvorrichtung zum Ausführen des erfindungsgemäßen Verfahrens zur Erstellung zusammengesetzter Videobilder.
Figurenliste

[1] 1 ist ein funktionales Blockdiagramm, das eine Ausführungsform der vorliegenden Erfindung darstellt, bei der die vorliegende Erfindung auf eine Vorrichtung zur Erstellung zusammengesetzter Videobilder angewendet wird, die Videobilder von drei Kameras gemäß 2 kombiniert.
[2] 2 ist eine schematische Draufsicht, die ein Beispiel der Anordnung und der Sichtbereiche von drei Kameras darstellt, wobei die Erfindung auf eine Bildanzeigevorrichtung für ein Fahrzeug angewendet wird und die Bildanzeigevorrichtung Videobilder von den drei Kameras kombiniert, die jeweils so angeordnet sind, dass sie der linken Seite der Rückseite des Fahrzeugs, der Mitte der Rückseite des Fahrzeugs und der rechten Seite der Rückseite des Fahrzeugs zugewandt sind, und das resultierende Bild anzeigt.
[3] 3 ist ein schematisches Diagramm, das ein Beispiel von drei Bildern zu einem bestimmten Zeitpunkt, die von der Vorrichtung zur Erstellung zusammengesetzter Videobilder gemäß 1 kombiniert werden, und einen Anzeigebereich des durch das Kombinieren erhaltenen zusammengesetzten Bilds auf einer Bildanzeigevorrichtung darstellt, die das zusammengesetzte Bild anzeigt.
[4] 4 ist ein Ablaufdiagramm, das ein Beispiel des Inhalts einer Steuerung eines Arbeitsablaufs zur Erstellung zusammengesetzter Videobilder durch die Vorrichtung zur Erstellung zusammengesetzter Videobilder gemäß 1 darstellt.

Beschreibung der Ausführungsform
Es wird eine Ausführungsform beschrieben, die einen Fall betrifft, in dem die vorliegende Erfindung auf eine Bildanzeigevorrichtung für ein Fahrzeug angewendet wird. Die Bildanzeigevorrichtung für ein Fahrzeug kombiniert Videobilder von drei Kameras, die so angeordnet sind, dass sie jeweils der linken Seite, der Seite der Mitte und der rechten Seite der Rückseite eines Fahrzeugs zugewandt sind, und veranlasst die Anzeige des resultierenden zusammengesetzten Videobilds (eines Panoramavideobilds) auf einer Bildanzeigevorrichtung wie einer Flüssigkristallanzeige, die vor einem Fahrersitz angeordnet ist. 2 veranschaulicht die Anordnung der Kameras an dem Fahrzeug. An einem äußeren linken seitlichen Abschnitt (beispielsweise dem linken Seitenspiegel), einem äußeren hinteren Abschnitt (beispielsweise einem Abschnitt um ein Nummernschild in einer Mitte eines hinteren Abschnitts eines Fahrzeugs in einer Breitenrichtung) und einem rechten seitlichen Abschnitt (beispielsweise einem rechten Seitenspiegel) eines Fahrzeugs 10 sind jeweils eine linke Kamera 12L, eine mittlere Kamera 12C und eine rechte Kamera 12R angeordnet. Diese Kameras 12L, 12C, 12R werden jeweils von einer elektronischen Kamera wie einer CCD-Kamera oder einer CMOS-Kamera gebildet. Jeweilige fotografische Vergrößerungen der Kameras 12L, 12C, 12R sind festgelegt und stimmen miteinander überein. Die Kameras 12L, 12C, 12R nehmen Videobilder (d.h. fortlaufende Bilder) jeweiliger Sichtbereiche mit einer Einzelbildfrequenz von einer vorgegebenen Anzahl an Einzelbildern pro Sekunde auf und geben der Reihe nach Videobildsignale der aufgenommenen Videobilder aus. Ein Beispiel der Sichtbereiche der Kameras 12L, 12C, 12R in einer horizontalen Richtung ist in 2 grau dargestellt. Gemäß diesem Beispiel sind die jeweiligen Sichtbereiche der linken Kamera 12L, der mittleren Kamera 12C und der rechten Kamera 12R in der horizontalen Richtung wie folgt eingestellt.

- Sichtbereich der linken Kamera 12L: der Bereich ZL auf der linken Seite der Rückseite des Fahrzeugs 10
- Sichtbereich der mittleren Kamera 12C: der Bereich ZC auf der Seite der Mitte der Rückseite des Fahrzeugs 10
- Sichtbereich der rechten Kamera 12R: der Bereich ZR auf der rechten Seite der Rückseite des Fahrzeugs 10

Wie in 2 dargestellt, enthalten der Bereich ZL und der Bereich ZC jeweils einen sich gegenseitig überlagernden Bereich ZLC, in dem der Bereich ZL und der Bereich ZC einander überlagern, und der Bereich ZC und der Bereich ZR enthalten jeweils einen sich gegenseitig überlagernden Bereich ZCR, in dem der Bereich ZC und der Bereich ZR einander überlagern. Jeder der Sichtbereiche der Kameras 12L, 12C, 12R ist in einer Richtung nach oben und unten mit der horizontalen Richtung als Mitte innerhalb eines geeigneten Winkelbereichs von einem geeigneten Abwärtswinkel zu einem geeigneten Aufwärtswinkel eingestellt.
1 ist ein funktionales Blockdiagramm einer Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder gemäß der vorliegenden Erfindung, wobei die Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder von den drei Kameras 12L, 12C, 12R gemäß 2 aufgenommene Videobilder kombiniert. Die Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder ist darauf ausgelegt, eine Koordinatenumwandlung von Koordinatensystemen jeweiliger Videobilder von der linken Kamera 12L und der rechten Kamera 12R so auszuführen, dass sie mit einem Koordinatensystem eines Videobilds von der mittleren Kamera 12C abgeglichen werden, und diese drei Videobilder zur Erstellung eines Panoramavideobilds übereinander zu legen. Gemäß 1 rufen (bzw. erfassen) ein linker Bilderfassungsabschnitt 16L, ein mittlerer Bilderfassungsabschnitt 16C und ein rechter Bilderfassungsabschnitt 16R auf Einzelbild-für-Einzelbild-Basis nacheinander synchron oder asynchron miteinander jeweilige Bilder (linke Bilder, mittlere Bilder und rechte Bilder) aus von der linken Kamera 12L, der mittleren Kamera 12C und der rechten Kamera 12R aufgenommenen Videobildern ab.
Merkmalswert-Extraktionsabschnitte 18L, 18C, 18R führen miteinander synchron eine Erfassung bzw. Erkennung von Merkmalspunkten und eine Extraktion von Merkmalswerten der erfassten bzw. erkannten Merkmalspunkte an einem linken Bild, einem mittleren Bild und einem rechten Bild aus, die zum gleichen Zeitpunkt (zum gleichen Zeitpunkt oder zu einem im Wesentlichen übereinstimmenden Zeitpunkt) abgerufen werden. Die Erfassung der Merkmalspunkte und die Extraktion der Merkmalswerte können beispielsweise unter Verwendung eines Merkmalswertextraktionsalgorithmus wie SIFT (scale-invariant feature transform, skaleninvariante Merkmalstransformation) oder SURF (speeded up robust features, beschleunigte, robuste Merkmale) ausgeführt werden. Es wird darauf hingewiesen, dass die Erfassung von Merkmalspunkten und die Extraktion von Merkmalswerten durch die Merkmalswert-Extraktionsabschnitte 18L, 18C, 18R an jeder geeigneten Anzahl an Einzelbildern sowie an jedem Einzelbild ausgeführt werden können. Das Ausführen der Erfassung von Merkmalspunkten und der Extraktion von Merkmalswerten an jeder geeigneten Anzahl an Einzelbildern ermöglicht im Vergleich zu einem Fall, in dem die Erfassung von Merkmalspunkten und die Extraktion von Merkmalswerten an jedem Einzelbild ausgeführt werden, eine Verringerung der Menge an arithmetischen Operationen.
Ein Bildtransformationsmatrix-Erstellungsabschnitt 20 erfasst anhand der jeweiligen in Bezug auf das linke Bild und das mittlere Bild extrahierten Merkmalswerte mehrere in dem linken Bild und dem mittleren Bild übereinstimmende Punkte. Diese übereinstimmenden Punkte sind übereinstimmende Punkte in dem Bereich ZLC (2), in dem das linke Bild und das mittlere Bild einander überlagern. Ebenso erfasst der Bildtransformationsmatrix-Erstellungsabschnitt 20 anhand der jeweiligen in Bezug auf das mittlere Bild und das rechte Bild extrahierten Merkmalswerte mehrere übereinstimmende Punkte in dem mittleren Bild und dem rechten Bild. Diese übereinstimmenden Punkte sind übereinstimmende Punkte in dem Bereich ZCR (2), in dem das mittlere Bild und das rechte Bild einander überlagern. Die Erfassung der übereinstimmenden Punkte kann beispielsweise entsprechend dem folgenden Algorithmus ausgeführt werden. Anhand der in Bezug auf die jeweiligen Merkmalspunkte erfassten Merkmalswerte werden z.B. gemäß der Methode der kleinsten Quadrate die Grade der Ähnlichkeit zwischen mehreren Merkmalspunkten in zwei Bildern berechnet. Merkmalspunkte, bei denen ein hoher Grad an Ähnlichkeit zwischen den Merkmalspunkten hoch ist (bei der Verwendung der Methode der kleinsten Quadrate Merkmalspunkte, bei denen eine Summe der Quadrate einer Differenz zwischen den Merkmalspunkten mit einem vorgegebenen Schwellenwert nahe null übereinstimmt oder darunter liegt), werden bestimmt. Die bestimmten Merkmalspunkte werden als übereinstimmender Punkt erfasst.
Darüber hinaus erstellt der Bildtransformationsmatrix-Erstellungsabschnitt 20 anhand der Koordinaten der erfassten übereinstimmenden Punkte eine Bildtransformationsmatrix zur Zuordnung der Koordinatensysteme der beiden Bilder zueinander. Anders ausgedrückt wird in Bezug auf ein Paar aus dem linken Bild und dem mittleren Bild mit dem Koordinatensystem des mittleren Bilds als Bezug eine Bildtransformationsmatrix TL zum Abgleichen des Koordinatensystems des linken Bilds mit dem Koordinatensystem des mittleren Bilds erstellt. Ebenso wird in Bezug auf ein Paar aus dem mittleren Bild und dem rechten Bild mit dem Koordinatensystem des mittleren Bilds als Bezug eine Bildtransformationsmatrix TR zum Abgleichen des Koordinatensystems des rechten Bilds mit dem Koordinatensystem des mittleren Bilds erstellt. Jede der Bildtransformationsmatrizes TL, TR kann beispielsweise als affine Transformationsmatrix erstellt werden.
Ein Bildtransformationsabschnitt 22 führt unter jeweiliger Verwendung der erzeugten Bildtransformationsmatrizes TL, TR eine Koordinatenumwandlung an dem linken Bild und an dem rechten Bild aus. Anders ausgedrückt führt der Bildtransformationsabschnitt 22 zum Abgleichen des Koordinatensystems des linken Bilds mit dem Koordinatensystem des mittleren Bilds unter Verwendung der Bildtransformationsmatrix TL eine Koordinatenumwandlung an dem linken Bild aus. Ebenso führt der Bildtransformationsabschnitt 22 zum Abgleichen des Koordinatensystems des rechten Bilds mit dem Koordinatensystem des mittleren Bilds unter Verwendung der Bildtransformationsmatrix TR eine Koordinatenumwandlung an dem rechten Bild aus. Als Ergebnis dieser Koordinatenumwandlungen sind die Koordinatensysteme des linken Bilds und des rechten Bilds mit dem Koordinatensystem des mittleren Bilds abgeglichen. Es wird darauf hingewiesen, dass die Koordinatenumwandlungsverarbeitung an einem Bild zu einem bestimmten Zeitpunkt von dem Bildtransformationsabschnitt 22 ausgeführt werden kann, ohne auf ein Ende der Verarbeitung zur Erstellung der Bildtransformationsmatrix anhand des Bilds durch den Bildtransformationsmatrix-Erstellungsabschnitt 20 zu warten. Anders ausgedrückt wird, wenn die Koordinatenumwandlungsverarbeitung an einem Bild zu einem bestimmten Zeitpunkt durch den Bildtransformationsabschnitt 22 nach einem Ende einer Verarbeitung zur Erstellung der Bildtransformationsmatrix anhand des Bilds durch den Bildtransformationsmatrix-Erstellungsabschnitt 20 ausgeführt wird, die Koordinatenumwandlungsverarbeitung an dem Bild verzögert, wenn die Verarbeitung zur Erstellung der Bildtransformationsmatrix durch den Bildtransformationsmatrix-Erstellungsabschnitt 20 Zeit in Anspruch nimmt, und das Bild wird mit einer Verzögerung angezeigt, die einem Ausmaß der Verzögerung entspricht. Die Verzögerung der Anzeige ist bei der Verwendung als elektronischer Spiegel für ein Fahrzeug unerwünscht. Daher wird die Koordinatenumwandlungsverarbeitung an einem Bild zu einem bestimmten Zeitpunkt durch den Bildtransformationsabschnitt 22 ausgeführt, ohne auf ein Ende der Verarbeitung zur Erstellung der Bildtransformationsmatrix anhand des Bilds durch den Bildtransformationsmatrix-Erstellungsabschnitt 20 zu warten. Dementsprechend kann eine mit der Verarbeitung zur Erstellung der Bildtransformationsmatrix einhergehende Verzögerung der Anzeige ausgeschlossen werden. In diesem Fall wird ein Bild der Koordinatenumwandlung unter Verwendung einer anhand eines vor dem Bild abgerufenen Bilds erstellten Bildtransformationsmatrix unterzogen. Es ist jedoch vorstellbar, dass die Wahrscheinlichkeit des Auftretens einer starken Fehlausrichtung an einer Verbindungsstelle von Bildern in einem angezeigten Panoramabild geringer ist (bzw. selbst beim Auftreten einer starken Fehlausrichtung die starke Fehlausrichtung innerhalb einer kurzen Zeitspanne behoben wird), wenn ein zeitlicher Abstand zwischen den beiden Bildern (dem zur Erstellung der Bildtransformationsmatrix verwendeten Bild und dem einer Koordinatenumwandlung unter Verwendung der erstellten Bildtransformationsmatrix unterzogenen Bild) nicht sehr groß ist.
Ein Bildausgabeabschnitt 24 erstellt durch Übereinanderlegen des linken Bilds, des mittleren Bilds und des rechten Bilds, deren Koordinatensysteme abgeglichen sind, ein zusammengesetztes Bild und gibt das zusammengesetzte Bild aus. In diesem Fall werden in Bezug auf die sich gegenseitig überlagernden Bereiche ZLC, ZCR beispielsweise die relevanten Bereiche in dem linken Bild und dem rechten Bild ausgeblendet, und die relevanten Bereiche in dem mittleren Bild werden ausgegeben. Dementsprechend wird von dem Bildausgabeabschnitt 24 ein Panoramabild ausgegeben, bei dem das linke Bild, das mittlere Bild und das rechte Bild durch Stitching zusammengesetzt wurden.
Die Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder erstellt durch aufeinanderfolgendes Ausführen einer Koordinatenumwandlungsverarbeitung durch den Bildtransformationsabschnitt 22 und einer Bildüberlagerungsverarbeitung durch den Bildausgabeabschnitt 24 an jedem Einzelbild ein Panoramavideobild. Das von der Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder erstellte Panoramavideobild wird geeignet zugeschnitten und auf der Bildanzeigevorrichtung wie einer Flüssigkristallanzeige angezeigt, die vor dem Fahrersitz angeordnet ist. Ein Fahrer kann das Fahrzeug fahren, wobei er sich der Umgebung der Rückseite des Fahrzeugs (d.h. eines horizontalen Bereichs in einem Weitwinkel von der linken Seite über die Seite der Mitte zur rechten Seite der Rückseite des Fahrzeugs) vergewissert, indem er das Videobild betrachtet.
3 stellt schematisch ein Beispiel dreier Bilder (eines linken Bilds IL, eines mittleren Bilds IC und eines rechten Bilds IR) zu einem bestimmten Zeitpunkt, die von der Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder zu kombinieren sind, und einen Anzeigebereich D der Bildanzeigevorrichtung dar. Das linke Bild IL, das mittlere Bild IC und das rechte Bild IR bilden ein Panoramabild, indem jeweilige benachbarte Bilder durch Stitching zusammengefügt werden. Das Panoramavideobild wird geeignet zugeschnitten und auf dem Anzeigebereich D der Bildanzeigevorrichtung angezeigt. Eine Position des mittleren Bilds IC in Bezug auf den Anzeigebereich D kann durch Ausführen der Koordinatenumwandlung mit einem Koordinatensystem des mittleren Bilds IC als Bezug (d.h. durch Nichtbewegen des Koordinatensystems des mittleren Bilds IC) und Festlegen von Zuschneidepositionen in Bezug auf das mittlere Bild IC feststehend sein. Dadurch ist es möglich, ein Flackern (Schwanken) eines Videobilds der Seite der Mitte der Rückseite des Fahrzeugs, das beim Fahren des Fahrzeugs wesentlich ist, aufgrund der Bildverarbeitung (der Koordinatenumwandlung und des Zuschneidens) zu verhindern und dadurch ein zum Fahren geeignetes Panoramavideobild zu erhalten.
Gemäß 1 vergleicht ein Korrekturbestimmungsabschnitt 26 eine aktuell verwendete Bildtransformationsmatrix mit einer neu erstellten Bildtransformationsmatrix, um zu bestimmen, ob eine Korrektur der Bildtransformationsmatrix erforderlich ist oder nicht. Hier ist die aktuell verwendete Bildtransformationsmatrix eine Bildtransformationsmatrix, die anhand eines zuvor abgerufen Bilds erstellt wurde und aktuell für die Koordinatenumwandlungsverarbeitung verwendet wird. Ebenso ist die neu erstellte Bildtransformationsmatrix eine Bildtransformationsmatrix, die anhand eines neu abgerufen Bilds erstellt wird und noch nicht für die Koordinatenumwandlungsverarbeitung verwendet wird. Der Korrekturbestimmungsabschnitt 26 bestimmt anhand eines vorgegebenen Bestimmungskriteriums zur Bestimmung eines Grads der Abweichung oder eines Grads der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes, ob diese beiden Bildtransformationsmatrizes einander ähnlich sind oder nicht. Dann veranlasst der Korrekturbestimmungsabschnitt 26 den Bildtransformationsabschnitt 22 bei der Bestimmung, dass die beiden Bildtransformationsmatrizes „einander ähnlich“ sind, zum Ausführen der Koordinatenumwandlung unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix. Andererseits stellt der Korrekturbestimmungsabschnitt 26 bei der Bestimmung, dass die beiden Bildtransformationsmatrizes „einander nicht ähnlich“ sind, die für die Koordinatenumwandlung verwendete Bildtransformationsmatrix auf die neu erstellte Bildtransformationsmatrix um und veranlasst den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung.
Der Korrekturbestimmungsabschnitt 26 stellt beispielsweise unter Verwendung eines Differenzen zwischen Elementwerten jeweiliger einander entsprechender Elemente in der aktuell verwendeten Bildtransformationsmatrix und der neu erstellten Bildtransformationsmatrix entsprechenden Werts als Indexwert ein Bestimmungskriterium ein. Dann bestimmt der Korrekturbestimmungsabschnitt 26 unter Verwendung des Bestimmungskriteriums einen Grad an Differenz oder einen Grad an Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes und führt eine Umstellung der Bildtransformationsmatrix aus. Wenn in diesem Fall der Indexwert einen vorgegebenen Schwellenwert nicht überschreitet (der Grad an Differenz zwischen den beiden Bildtransformationsmatrizes gering ist oder der Grad an Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes hoch ist), bestimmt der Korrekturbestimmungsabschnitt 26, dass die beiden Bildtransformationsmatrizes einander ähnlich sind, und veranlasst den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung an einem abgerufen Bild unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix. Ebenso bestimmt der Korrekturbestimmungsabschnitt 26, dass die beiden Bildtransformationsmatrizes unterschiedlich sind, wenn der Indexwert den vorgegebenen Schwellenwert übersteigt (der Grad an Differenz zwischen den beiden Bildtransformationsmatrizes hoch oder der Grad an Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes gering ist). Dann stellt der Korrekturbestimmungsabschnitt 26 die Bildtransformationsmatrix auf die neu erstellte Bildtransformationsmatrix um und veranlasst den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung an einem abgerufen Bild. Eine derartige Korrektur der Bildtransformationsmatrix ermöglicht eine Korrektur einer Fehlausrichtung der Koordinatensysteme des linken Bilds, des mittleren Bilds und des rechten Bilds. Dadurch kann eine Fehlausrichtung in einem Panoramabild unterbunden werden. Ebenso wird durch Einstellen eines Schwellenwerts zur Bestimmung, ob eine Korrektur erforderlich ist oder nicht, eine Korrektur einer Fehlausrichtung unter den Koordinatensystem der Bilder verhindert, wenn die Fehlausrichtung gering und in einem Panoramabild visuell nicht wahrnehmbar ist. Dementsprechend wird eine häufige Aktualisierung der Bildtransformationsmatrix unterbunden, und ein Flackern des zusammengesetzten Videobilds wird unterbunden, wodurch eine Verminderung einer Irritation eines Betrachters ermöglicht wird. Es wird darauf hingewiesen, dass der Korrekturbestimmungsabschnitt 26 nicht auf einen beschränkt ist, der darauf ausgelegt ist, unverzüglich eine Korrektur einer Bildtransformationsmatrix auszuführen, wenn ein Indexwert einen Schwellenwert übersteigt, sondern auch darauf ausgelegt sein kann, eine Korrektur einer Bildtransformationsmatrix unter der Bedingung auszuführen, dass ein Zustand, in dem ein Indexwert den Schwellenwert übersteigt, über eine vorgegebene Zeitspanne andauert. Eine derartige Konfiguration ermöglicht ein Unterbinden einer Umstellung der Bildtransformationsmatrix aufgrund beispielsweise eines momentanen Wackelns einiger Videobilder unter den drei Videobildern und ermöglicht so ein Unterbinden des Auftretens eines Flackerns aufgrund einer Beeinträchtigung der anderen Videobilder durch die Umstellung der Bildtransformationsmatrix.
Genauer können als von dem Korrekturbestimmungsabschnitt 26 als Bestimmungskriterium verwendeter, „Differenzen zwischen Elementwerten jeweiliger einander entsprechender Elemente in der aktuell verwendeten Bildtransformationsmatrix und der neu erstellten Bildtransformationsmatrix entsprechender Indexwert“ beispielsweise nachstehende Indexwerte (a) bis (d) verwendet werden. Der Indexwert ist jedoch nicht auf diese Beispiele beschränkt.

- Indexwert (a): Der als Summe jeweiliger absoluter Werte bezogen auf sämtliche Elemente der beiden Bildtransformationsmatrizes unter Heranziehung der absoluten Werte der Differenzen zwischen den Elementwerten der jeweiligen Elemente auf einer Element-für-Element-Basis ermittelte Wert.
- Indexwert (b): Der als Summe der Werte jeweiliger Quadrate bezogen auf sämtliche Elemente der beiden Bildtransformationsmatrizes unter Heranziehung des Werts des Quadrats der Differenzen zwischen den Elementwerten der jeweiligen Elemente auf einer Element-für-Element-Basis ermittelte Wert.
- Indexwert (c): Der als Summe jeweiliger absoluter Werte bezogen nicht auf sämtliche Elemente sondern auf bestimmte Elemente der beiden Bildtransformationsmatrizes unter Heranziehung der absoluten Werte der Differenzen zwischen den Elementwerten der jeweiligen Elemente auf einer Element-für-Element-Basis ermittelte. Wert.
- Indexwert (d): Der als Summe der Werte jeweiliger Quadrate bezogen nicht auf sämtliche Elemente sondern auf bestimmte Elemente der beiden Bildtransformationsmatrizes unter Heranziehung der Werte der Quadrate der Differenzen zwischen den Elementwerten der Elemente auf einer Element-für-Element-Basis ermittelte Wert.

Wird der bestimmten Elementen in den Bildtransformationsmatrizes entsprechende Indexwert (c) oder (d) verwendet, kann eine Menge an arithmetischen Operationen im Vergleich zu einem Fall reduziert werden, in dem der Indexwert (a) oder der Indexwert (b) verwendet wird, die auf sämtlichen Elementen in den Bildtransformationsmatrizes basieren, wodurch eine Beschleunigung der Bestimmung ermöglicht wird, ob eine Korrektur erforderlich ist oder nicht.
Jeder der Indexwerte (a) bis (d) nimmt einen geringeren Wert an, wenn die aktuell verwendete Bildtransformationsmatrix und die neu erstellte Bildtransformationsmatrix einander ähnlicher sind (d.h. wenn der Grad an Differenz geringer oder der Grad an Ähnlichkeit höher ist). Wenn bei der Verwendung eines der Indexwerte (a) bis (d) ein berechneter Wert des relevanten Indexwerts unter den Indexwerten (a) bis (d) mit einem als Bestimmungskriterium eingestellten vorgegebenen Schwellenwert übereinstimmt oder kleiner als dieser ist, bestimmt daher der Korrekturbestimmungsabschnitt 26, dass die Bildtransformationsmatrizes „einander ähnlich“ sind. Zu diesem Zeitpunkt veranlasst der Korrekturbestimmungsabschnitt 26 den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung an einem abgerufenen Bild unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix. Ebenso bestimmt der Korrekturbestimmungsabschnitt 26, dass die beiden Bildtransformationsmatrizes „einander nicht ähnlich“ sind, wenn ein berechneter Wert des relevanten Indexwerts unter den Indexwerten (a) bis (d) größer als der als Bestimmungskriterium eingestellte vorgegebene Schwellenwert ist. Zu diesem Zeitpunkt stellt der Korrekturbestimmungsabschnitt 26 die Bildtransformationsmatrix auf die neu erstellte Bildtransformationsmatrix um und veranlasst den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung an einem abgerufenen Bild.
Hier erfolgt die nachstehende Beschreibung in der Annahme, dass bei dieser Ausführungsform die affine Transformation für die Koordinatenumwandlung verwendet wird. Wie allgemein bekannt, ist die affine Transformation eine Transformation, die eine Kombination aus einer parallelen Übersetzung, einer Skalierung (Vergrößerung/Verkleinerung), einer Schrägstellung (einem Scheren) und einer Drehung ist. Bei der Verwendung als Bildanzeigevorrichtung für ein Fahrzeug gemäß der vorliegenden Ausführungsform findet jedoch keine Veränderung der Bildvergrößerung statt, da die Aufnahmevergrößerungen der Kameras 12L, 12C, 12R fest sind und miteinander übereinstimmen. Ebenso tritt keine Bildscherung auf. Wenn daher eine Veränderung unter den Koordinatensystemen der Bilder von den Kameras 12L, 12C, 12R auftritt, kann davon ausgegangen werden, dass sie auf die parallele Übersetzung oder eine Drehung zurückzuführen ist. Daher wird davon ausgegangen, dass die affinen Transformationsmatrixelemente, die von dem Korrekturbestimmungsabschnitt 26 zur Bestimmung verwendet werden, ob eine Korrektur der Bildtransformationsmatrix erforderlich ist oder nicht, auf Elemente, die eine parallele Übersetzungsgröße betreffen, und Elemente beschränkt werden können, die Drehwinkel betreffen. Ein affiner Transformationsausdruck, der eine Kombination aus paralleler Übersetzung und Drehung ist, wird durch den Ausdruck 1a oder den Ausdruck 1b ausgedrückt.
[Ausdruck 1a] $\overset{\begin{array}{l} (Koordinaten nach \\ der Koordinaten- \\ transformation) \end{array}}{[\begin{matrix} X & Y & 1 \end{matrix}]} = \overset{\begin{array}{l} (Koordinaten vor \\ der Koordinaten- \\ transformation) \end{array}}{[\begin{matrix} x & y & 1 \end{matrix}]} \overset{\begin{array}{l} (Affine Transformations- \\ matrix) \end{array}}{[\begin{matrix} cos (q) & sin (q) & 0 \\ - sin (q) & cos (q) & 0 \\ t_{x} & t_{y} & 1 \end{matrix}]}$
[Ausdruck 1b] $\overset{\begin{array}{l} (Koordinaten nach \\ der Koordinaten- \\ transformation) \end{array}}{[\begin{matrix} X \\ Y \\ 1 \end{matrix}]} = \overset{\begin{array}{l} (Affine Transformations- \\ matrix) \end{array}}{[\begin{matrix} cos (q) & - sin (q) & t_{x} \\ sin (q) & cos (q) & t_{y} \\ 0 & 0 & 1 \end{matrix}]} \overset{\begin{array}{l} (Koordinaten nach \\ der Koordinaten- \\ transformation) \end{array}}{[\begin{matrix} x \\ y \\ 1 \end{matrix}]}$
In Ausdruck 1a bzw. Ausdruck 1b sind x und y die Koordinaten vor der Koordinatenumwandlung, X und Y sind die Koordinaten nach der Koordinatenumwandlung, tx ist eine Größe einer parallelen Übersetzung in der Richtung einer x-Achse, ty ist eine Größe einer parallelen Übersetzung in der Richtung einer y-Achse, und q ist ein Drehwinkel.
Wenn der vorstehend beschriebene Indexwert (c) oder (d) verwendet wird, kann der Korrekturbestimmungsabschnitt 26 beispielsweise zwei Elemente, bei denen es sich um die Elemente tx, -sin(q) in der affinen Transformationsmatrix in Ausdruck 1a oder Ausdruck 1b handelt, als „bestimmte Elemente“ verwenden. In diesem Fall werden die Indexwerte (c) und (d) jeweils durch die Ausdrücke 2 und 3 ausgedrückt.
[Ausdruck 2] $\begin{array}{l} Indexwert (c) = | aktuell verwendeter Wert tx - neu berechneter Wert tx | + \\ | aktuell verwendeter Wert - sin (q) - neu berechneter Wert - sin (q) | \end{array}$

[Ausdruck 3] $\begin{array}{l} Indexwert (d) = {(aktuell verwendeter Wert tx - neu berechneter Wert tx)}^{2} + \\ {(aktuell verwendeter Wert - sin (q) - neu berechneter Wert - sin (q))}^{2} \end{array}$
Wenn der Indexwert (c) oder (d) verwendet wird, kann der Korrekturbestimmungsabschnitt 26 zudem nicht nur zwei Elemente, sondern auch beispielsweise drei Elemente verwenden, bei denen es sich um die Elemente tx, ty, -sin(q) handelt. Ebenso kann anstelle des Elements -sin(q) ein Element cos(q) verwendet werden.
Eine Folge von Steuerungsinhalten zur Erstellung eines zusammengesetzten Videobilds durch die Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder gemäß 1 wird unter Bezugnahme auf 4 beschrieben. Der linke Bilderfassungsabschnitt 16L, der mittlere Bilderfassungsabschnitt 16C und der rechte Bilderfassungsabschnitt 16R rufen jeweils auf Einzelbild-für-Einzelbild-Basis nacheinander linke Bilder, mittlere Bilder und rechte Bilder aus von der linken Kamera 12L, der mittleren Kamera 12C und der rechten Kamera 12R aufgenommenen Videobildern ab (S1). Hinsichtlich eines linken Bilds, eines mittleren Bilds und eines rechten Bilds, die zum gleichen Zeitpunkt abgerufen werden, führen die Merkmalswert-Extraktionsabschnitte 18L, 18C, 18R jeweils eine Bildtransformation (beispielsweise eine Umwandlung in Graustufen) zur Extraktion von Merkmalswerten aus. Als nächstes führen die Merkmalswert-Extraktionsabschnitte 18L, 18C, 18R eine Extraktion von Merkmalswerten an den jeweiligen der Bildtransformation unterzogenen Bildern (eine Erfassung von Merkmalspunkten und die Berechnung von Merkmalswerten der erfassten Merkmalspunkte) aus (S2). Es wird darauf hingewiesen, dass die Extraktion der Merkmalswerte, wie vorstehend beschrieben, an jeder geeigneten Anzahl an Einzelbildern sowie an jedem Einzelbild ausgeführt werden kann.
Der Bildtransformationsmatrix-Erstellungsabschnitt 20 erfasst anhand der jeweiligen in Bezug auf das linke Bild, das mittlere Bild und das rechte Bild extrahierten Merkmalswerte mehrere übereinstimmende Punkte in dem linken Bild und dem mittleren Bild und mehrere übereinstimmende Punkte in dem mittleren Bild und dem rechten Bild. Darüber hinaus erstellt der Bildtransformationsmatrix-Erstellungsabschnitt 20 anhand der Koordinaten der erfassten übereinstimmenden Punkte Bildtransformationsmatrizes TL, TR zum Abgleichen der übereinstimmenden Punkte miteinander (S3). Anders ausgedrückt erstellt der Bildtransformationsmatrix-Erstellungsabschnitt 20 in Bezug auf das linke Bild und das mittlere Bild eine Bildtransformationsmatrix TL zum derartigen Ausführen der Koordinatenumwandlung an dem linken Bild, dass die übereinstimmenden Punkte in dem linken Bild mit den übereinstimmenden Punkten in dem mittleren Bild abgeglichen werden. Ebenso erstellt der Bildtransformationsmatrix-Erstellungsabschnitt 20 in Bezug auf das mittlere Bild und das rechte Bild eine Bildtransformationsmatrix TR zum derartigen Ausführen der Koordinatenumwandlung an dem rechten Bild, dass die übereinstimmenden Punkte in dem rechten Bild mit den übereinstimmenden Punkten in dem mittleren Bild abgeglichen werden.
Der Korrekturbestimmungsabschnitt 26 vergleicht hinsichtlich jeder der Bildtransformationsmatrizes TL, TR die aktuell verwendete Bildtransformationsmatrix mit der neu erstellten Bildtransformationsmatrix, um zu bestimmen, ob eine Korrektur der Bildtransformationsmatrix erforderlich ist oder nicht. Anders ausgedrückt bestimmt der Korrekturbestimmungsabschnitt 26 danach, ob ein Differenzen zwischen den Elementwerten der übereinstimmenden Elemente in der aktuell verwendeten Bildtransformationsmatrix und der neu erstellten Bildtransformationsmatrix entsprechender Indexwert einen vorgegebenen Schwellenwert übersteigt oder nicht, ob eine Korrektur der Bildtransformationsmatrix erforderlich ist oder nicht (S4). Dann bestimmt der Korrekturbestimmungsabschnitt 26, dass keine Korrektur erforderlich ist, wenn der Indexwert den Schwellenwert nicht überschreitet („NEIN“ in S4), und veranlasst den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung an den abgerufenen Bilder unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrizes TL, TR (S5). Ebenso bestimmt der Korrekturbestimmungsabschnitt 26, dass eine Korrektur erforderlich ist, wenn der Indexwert den Schwellenwert übersteigt („JA“ in S4) und der Zustand, in dem der Indexwert den Schwellenwert übersteigt, über eine vorgegebene Zeitspanne andauert („JA“ in S6), und stellt die Bildtransformationsmatrix auf die neu erstellte Bildtransformationsmatrix um und veranlasst den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung an den abgerufenen Bildern (S7). Ebenso bestimmt der Korrekturbestimmungsabschnitt 26, dass keine Korrektur erforderlich ist, wenn der Indexwert den Schwellenwert übersteigt („JA“ in S4), aber der Zustand, in dem der Indexwert den Schwellenwert übersteigt, nicht über die vorgegebene Zeitspanne andauert („NEIN“ in S6), und veranlasst den Bildtransformationsabschnitt 22 zum Ausführen der Koordinatenumwandlung an den abgerufenen Bildern unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrizes TL, TR (S5). Die Verarbeitung zur Korrektur der Bildtransformationsmatrix (S4 bis S7) wird unabhängig an jeder der Bildtransformationsmatrizes TL, TR ausgeführt.
Der Bildtransformationsabschnitt 22 ruft auf Einzelbild-für-Einzelbild-Basis nacheinander linke Bilder, mittlere Bilder und rechte Bilder aus jeweiligen von der linken Kamera 12L, der mittleren Kamera 12C und der rechten Kamera 12R aufgenommenen Videobildern ab (S8). Dann führt der Bildtransformationsabschnitt 22 in Bezug auf jedes linke Bild zum Abgleich eines Koordinatensystems des linken Bilds mit einem Koordinatensystem des entsprechenden mittleren Bilds unter Verwendung der von dem Korrekturbestimmungsabschnitt 26 festgelegten Bildtransformationsmatrix TL eine Koordinatenumwandlung an dem linken Bild aus. Ebenso führt der Bildtransformationsabschnitt 22 in Bezug auf jedes rechte Bild zum Abgleich eines Koordinatensystems des rechten Bilds mit dem Koordinatensystem des entsprechenden mittleren Bilds unter Verwendung der von dem Korrekturbestimmungsabschnitt 26 festgelegten Bildtransformationsmatrix TR eine Koordinatenumwandlung an dem rechten Bild aus (S9). Der Bildausgabeabschnitt 24 legt zur Erstellung eines zusammengesetzten Panoramabilds das linke Bild, das mittlere Bild und das rechte Bild, deren Koordinatensysteme abgeglichen wurden, übereinander (S9 und S10).
Die Vorrichtung 14 zur Erstellung zusammengesetzter Videobilder gemäß der vorstehenden Ausführungsform ist beispielsweise in den folgenden Situationen nützlich.

(a) Selbst wenn z.B. aufgrund einer starken Erschütterung des Fahrzeugs oder einer Kollision einer Kamera mit einem Hindernis eine Verschiebung der Positionen der Kameras in Bezug auf einander auftritt, werden die Bildtransformationsmatrizes korrigiert, und eine Fehlausrichtung der Verbindungsstellen der Bilder wird automatisch korrigiert.
(b) Wenn bei Kameras, die einem elektrisch eingeklappten Typ angehören, eine der Kameras in einer ausgefahrenen Position an einer Position anhält, die gegenüber einer korrekten Position geringfügig verschoben ist, werden die Bildtransformationsmatrizes korrigiert, und die Verbindungsstellen der Bilder werden automatisch ausgerichtet.
(c) Wenn zur Zusammenstellung eines Panoramavideobilds nachträglich mehrere Kameras zu einem Fahrzeug hinzugefügt werden, werden die Richtungen der jeweiligen Kameras lediglich grob eingestellt, und dann werden die Bildtransformationsmatrizes automatisch korrigiert, und die Verbindungsstellen der Bilder werden ausgerichtet.
(d) Wenn eine Funktion eingebaut ist, die einem Fahrer das elektrische Einstellen der Richtungen jeweiliger Kameras per Fernsteuerung ermöglicht, werden die Bildtransformationsmatrizes bei der Einstellung der Richtungen der Kameras automatisch korrigiert, und die Verbindungsstellen der Bilder werden ausgerichtet.

Die folgenden Ausführungsformen der vorliegenden Erfindung sind ebenfalls möglich.

(a) Bei der vorstehenden Ausführungsform wird bei der Bestimmung, dass die aktuell verwendete Bildtransformationsmatrix und die neu erstellte Bildtransformationsmatrix einander nicht ähnlich sind, die für die Koordinatenumwandlung verwendete Bildtransformationsmatrix zu einem Zeitpunkt (d.h. bei einem Einzelbild) auf die neu erstellte Bildtransformationsmatrix umgestellt; die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt. Anders ausgedrückt kann die Bildtransformationsmatrix, statt zu einem Zeitpunkt umgestellt zu werden, allmählich (d.h. schrittweise über mehrere Einzelbilder) umgestellt werden. Auf diese Weise kann ein Flackern (ein Schwanken) eines zusammengesetzten Videobilds unmerklich gehalten werden.
(b) Bei der vorstehenden Ausführungsform wird die Koordinatenumwandlungsverarbeitung an einem Bild zu einem bestimmten Zeitpunkt von dem Bildtransformationsabschnitt ausgeführt, ohne auf ein Ende der Verarbeitung zur Erstellung der Bildtransformationsmatrix anhand des Bilds durch den Bildtransformationsmatrix-Erstellungsabschnitt zu warten; die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt. Anders ausgedrückt kann die Koordinatenumwandlungsverarbeitung an einem Bild zu einem bestimmten Zeitpunkt durch den Bildtransformationsabschnitt nach dem Ende der Verarbeitung zur Erstellung der Bildtransformationsmatrix anhand des Bilds durch den Bildtransformationsmatrix-Erstellungsabschnitt ausgeführt werden (d.h. die Koordinatenumwandlung an einem Bild zu einem bestimmten Zeitpunkt kann unter Verwendung einer anhand des Bilds erstellten Bildtransformationsmatrix ausgeführt werden).
(c) Bei der vorstehenden Ausführungsform wird die Koordinatenumwandlung jedes der jeweiligen Koordinatensysteme eines linken Bilds und eines rechten Bilds so ausgeführt, dass es mit einem Koordinatensystem eines mittleren Bilds in Übereinstimmung gebracht wird; die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt. Anders ausgedrückt kann eine Koordinatenumwandlung eines Koordinatensystems eines mittleren Bilds so ausgeführt werden, dass es mit einem Koordinatensystem eines linken Bilds in Übereinstimmung gebracht wird, und eine Koordinatenumwandlung eines Koordinatensystems eines rechten Bilds kann so ausgeführt werden, dass es mit dem der Koordinatenumwandlung unterzogenen Koordinatensystem des mittleren Bilds in Übereinstimmung gebracht wird (oder die Koordinatenumwandlungen können nacheinander in einer gegenüber der vorstehenden umgekehrten Reihenfolge ausgeführt werden).
(d) Bei der vorstehenden Ausführungsform wird die Ausrichtung von zwei benachbarten Bildern durch Ausführen der Koordinatenumwandlung eines Koordinatensystems nur eines der Bilder so ausgeführt, dass es mit einem Koordinatensystem des anderen Bilds in Übereinstimmung gebracht wird; die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt. Anders ausgedrückt kann zum Ausführen der Ausrichtung eine Koordinatenumwandlung der Koordinatensysteme beider Bilder ausgeführt werden.
(e) Bei der vorstehenden Ausführungsform werden von Kameras aufgenommene Bilder in unverändertem Zustand einer Koordinatenumwandlung unterzogen und kombiniert; die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt. Anders ausgedrückt können durch Ausführen einer geeigneten Bildverarbeitung (beispielsweise einer Blickpunkttransformationsverarbeitung oder einer Verzerrungskorrekturverarbeitung) an von Kameras aufgenommenen Bildern erhaltene Bilder einer Koordinatenumwandlung unterzogen und kombiniert werden.
(f) Die vorstehende Ausführungsform zeigt einen Fall, in dem die vorliegende Erfindung auf ein System angewendet wird, das drei Kameras umfasst; die Erfindung ist nicht auf dieses Beispiel beschränkt. Anders ausgedrückt ist die vorliegende Erfindung auch auf ein System, das zwei Kameras umfasst, oder ein System anwendbar, das vier oder mehr Kameras umfasst.
(g) Bei der vorstehenden Ausführungsform werden affine Transformationsmatrizes als Bildtransformationsmatrizes verwendet; es können jedoch andere Bildtransformationsmatrizes verwendet werden. Wenn beispielsweise nur eine Drehung und eine parallele Übersetzung berücksichtigt werden müssen, können starre Transformationsmatrizes verwendet werden.
(h) Die vorstehende Ausführungsform zeigt einen Fall, in dem die vorliegende Erfindung auf einen elektronischen Spiegel angewendet wird, der ein Bild eines Videobilds der Rückseite eines Fahrzeugs aufnimmt und anzeigt; die vorliegende Erfindung ist nicht auf dieses Beispiel beschränkt. Anders ausgedrückt ist die vorliegende Erfindung beispielsweise auch auf ein System anwendbar, das durch Ausführen einer Blickpunkttransformation an Videobildern von mehreren an dem Fahrzeug montierten Kameras und Stitching der Videobilder ein Bild der Umgebung eines Fahrzeugs aus der Vogelperspektive erstellt.

Bezugszeichenliste

10: Fahrzeug,
12L: linke Kamera,
12C: mittlere Kamera,
12R: rechte Kamera,
14: Vorrichtung zur Erstellung zusammengesetzter Videobilder,
16L: linker Bilderfassungsabschnitt,
16C: mittlerer Bilderfassungsabschnitt,
16R: rechter Bilderfassungsabschnitt,
18L: Merkmalswert- Extraktionsabschnitt,
18C: Merkmalswert-Extraktionsabschnitt,
18R: Merkmalswert-Extraktionsabschnitt,
20: Bildtransformationsmatrix- Erstellungsabschnitt,
22: Bildtransformationsabschnitt,
24: Bildausgabeabschnitt,
26: Korrekturbestimmungsabschnitt,
ZL: Bereich des Gesichtsfelds der linken Kamera in der horizontalen Richtung,
ZC: Bereich des Gesichtsfelds der mittleren Kamera in der horizontalen Richtung,
ZR: Bereich des Gesichtsfelds der rechten Kamera in der horizontalen Richtung,
ZLC: Bereich, in dem der Bereich
ZL: und der Bereich
ZC: einander überlagern,
ZCR: Bereich, in dem der Bereich
ZC: und der Bereich
ZR: einander überlagern,
TL: Bildtransformationsmatrix,
TR: Bildtransformationsmatrix,
IL: linkes Bild,
IC: mittleres Bild,
IR: rechtes Bild,
D: Anzeigebereich der Bildanzeigevorrichtung

Claims

Vorrichtung zur Erstellung zusammengesetzter Videobilder zur Erstellung eines zusammengesetzten Videobilds durch Stitching bzw. Zusammenfügen von zwei Videobildern, die jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, über die sich gegenseitig überlagernden Bereiche, wobei die Vorrichtung zur Erstellung zusammengesetzter Videobilder einen Bilderfassungsabschnitt, einen Merkmalswert-Extraktionsabschnitt, einen Bildtransformationsmatrix-Erstellungsabschnitt, einen Bildtransformationsabschnitt, einen Bildausgabeabschnitt und einen Korrekturbestimmungsabschnitt umfasst, wobei: der Bilderfassungsabschnitt nacheinander zwei Bilder, eines aus jedem der beiden Videobilder, erfasst; der Merkmalswert-Extraktionsabschnitt in Bezug auf die beiden erfassten Bilder jeweilige Merkmalspunkte erkennt und jeweilige Merkmalswerte der erkannten Merkmalspunkte extrahiert; der Bildtransformationsmatrix-Erstellungsabschnitt anhand der extrahierten Merkmalswerte der Merkmalspunkte übereinstimmende Punkte in den beiden Bildern erkennt und anhand der Koordinaten der erkannten übereinstimmenden Punkte nacheinander eine Bildtransformationsmatrix zur Zuordnung der Koordinatensysteme der beiden Bilder zueinander erstellt; der Bildtransformationsabschnitt unter Verwendung der erstellten Bildtransformationsmatrix zum Ausführen der Zuordnung der Koordinatensysteme der beiden Bilder zueinander eine Koordinatenumwandlung an zumindest einem Bild unter den beiden Bildern ausführt; der Bildausgabeabschnitt durch Übereinanderlegen der beiden Bilder mit den einander jeweils zugeordneten Koordinatensystemen ein zusammengesetztes Bild erstellt und das zusammengesetzte Bild ausgibt; der Korrekturbestimmungsabschnitt die aktuell verwendete Bildtransformationsmatrix und die neu erstellte Bildtransformationsmatrix anhand eines vorgegebenen Bestimmungskriteriums zur Bestimmung eines Grads der Abweichung oder eines Grads der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes miteinander vergleicht, um zu bestimmen, ob die beiden Bildtransformationsmatrizes einander ähnlich sind oder nicht, und bei der Bestimmung, dass die beiden Bildtransformationsmatrizes einander ähnlich sind, den Bildtransformationsabschnitt zum Ausführen der Koordinatenumwandlung unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix veranlasst, und bei der Bestimmung, dass die Bildtransformationsmatrizes einander nicht ähnlich sind, den Bildtransformationsabschnitt zum Ausführen der Koordinatenumwandlung unter Verwendung einer mittels der neu erstellten Bildtransformationsmatrix korrigierten Bildtransformationsmatrix veranlasst; und die Vorrichtung zur Erstellung zusammengesetzter Videobilder das zusammengesetzte Videobild durch aufeinanderfolgendes Ausführen der Erstellung des zusammengesetzten Bilds entsprechend dem Verlauf der Zeit erstellt.
Vorrichtung zur Erstellung zusammengesetzter Videobilder nach Anspruch 1, wobei der Korrekturbestimmungsabschnitt den Grad der Abweichung oder den Grad der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes unter Verwendung des Bestimmungskriteriums bestimmt, wobei ein Wert, der auf einer Differenz im Elementwert zwischen jeweiliger einander entsprechender Elemente in der aktuell verwendeten Bildtransformationsmatrix und der neu erstellten Bildtransformationsmatrix basiert, als Indexwert des Bestimmungskriteriums verwendet wird.
Vorrichtung zur Erstellung zusammengesetzter Videobilder nach Anspruch 1 oder 2, wobei der Merkmalswert-Extraktionsabschnitt die Merkmalswerte in Bezug auf die Bilder in einem geeigneten Zeitintervall extrahiert.
Vorrichtung zur Erstellung zusammengesetzter Videobilder nach einem der Ansprüche 1 bis 3, wobei, wenn bestimmt wird, dass die Bildtransformationsmatrizes einander nicht ähnlich sind, der Korrekturbestimmungsabschnitt die für die Koordinatenumwandlung verwendete Bildtransformationsmatrix mittels der neu erstellten Bildtransformationsmatrix unter der Bedingung korrigiert, dass der Zustand, in dem bestimmt wird, dass die Bildtransformationsmatrizes einander nicht ähnlich sind, über eine vorgegebene Zeitspanne andauert.
Vorrichtung zur Erstellung zusammengesetzter Videobilder nach einem der Ansprüche 1 bis 4, wobei in Bezug auf drei oder mehr Videobilder, bei denen zwei jeweils benachbarte Videobilder jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, ein zusammengesetztes Videobild durch Ausführen der Verarbeitung an jedem der jeweiligen Abschnitte zweier jeweils benachbarter Videobilder und des Stitching an den drei oder mehr Videobildern über die sich gegenseitig überlagernden Bereiche erstellt wird.
Vorrichtung zur Erstellung zusammengesetzter Videobilder nach einem der Ansprüche 1 bis 5, wobei in Bezug auf drei Videobilder einer linken Seite, einer Seite der Mitte und einer rechten Seite einer Rückseite eines Fahrzeugs, von denen zwei jeweils benachbarte Videobilder jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, ein zusammengesetztes Videobild durch Ausführen jedes der Prozesse an zwei jeweils benachbarten Videobildern und des Stitching der drei Videobilder über die sich gegenseitig überlagernden Bereiche erstellt wird.
Vorrichtung zur Erstellung zusammengesetzter Videobilder nach Anspruch 6, wobei: in Bezug auf drei aus den drei Videobildern erfassten Bilder der Bildtransformationsmatrix-Erstellungsäbschnitt jeweilige Bildtransformationsmatrizes zum Abbilden der Koordinatensysteme der beiden Bilder der linken Seite und der rechten Seite in einem Koordinatensystem des Bilds der Seite der Mitte erstellt; der Bildtransformationsabschnitt die Koordinatensysteme der Bilder der linken Seite und der rechten Seite durch Ausführen einer Koordinatenumwandlung an den Bildern der linken Seite und der rechten Seite unter Verwendung der jeweils erstellten Bildtransformationsmatrizes in dem Koordinatensystem des Bilds der Seite der Mitte abbildet; und der Bildausgabeabschnitt das zusammengesetzte Bild durch Übereinanderlegen der drei Bilder mit den jeweiligen miteinander abgeglichenen Koordinatensystemen erstellt und das zusammengesetzte Bild ausgibt.
Vorrichtung zur Erstellung zusammengesetzter Videobilder nach Anspruch 6 oder 7, wobei der Korrekturbestimmungsabschnitt den Grad der Abweichung oder den Grad der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes unter Verwendung des Bestimmungskriteriums bestimmt, wobei ein Wert, der auf einer Differenz im Elementwert zwischen jeweiligen Elementen, die jeweils einen Parallelverschiebungsbetrag wiedergeben, und einer Differenz im Elementwert zwischen jeweiligen Elementen, die jeweils einen Drehwinkel in den beiden Bildtransformationsmatrizes wiedergeben, basiert, als Indexwert verwendet wird.
Programm zur Erstellung zusammengesetzter Videobilder zum Veranlassen einer Informationsverarbeitungsvorrichtung, als Vorrichtung zur Erstellung zusammengesetzter Videobilder nach einem der Ansprüche 1 bis 8 zu fungieren.
Verfahren zur Erstellung zusammengesetzter Videobilder zur Erstellung eines zusammengesetzten Videobilds durch Stitching bzw. Zusammenfügen von zwei Videobildern, die jeweils einen sich gegenseitig überlagernden Bereich enthalten, in dem die beiden Videobilder einander überlagern, über den sich gegenseitig überlagernden Bereich, wobei das Verfahren zur Erstellung zusammengesetzter Videobilder umfasst: aufeinanderfolgendes Erfassen von zwei Bildern, eines aus jedem der beiden Videobilder; aufeinanderfolgendes Erstellen einer Bildtransformationsmatrix zur Zuordnung der Koordinatensysteme der beiden Bilder zueinander; Ausführen der Zuordnung der Koordinatensysteme der beiden Bilder zueinander durch Ausführen einer Koordinatenumwandlung an zumindest einem Bild unter den beiden Bildern unter Verwendung der erstellten Bildtransformationsmatrix; Erstellen eines zusammengesetzten Bilds durch Übereinanderlegen der beiden Bilder mit den einander jeweils zugeordneten Koordinatensystemen; Vergleichen der aktuell verwendeten Bildtransformationsmatrix und der neu erstellten Bildtransformationsmatrix miteinander und das Ausführen der Koordinatenumwandlung unter weiterer Verwendung der aktuell verwendeten Bildtransformationsmatrix bei der Bestimmung, dass die beiden Bildtransformationsmatrizes einander ähnlich sind, anhand eines vorgegebenen Bestimmungskriteriums zur Bestimmung eines Grads der Abweichung oder eines Grads der Ähnlichkeit zwischen den beiden Bildtransformationsmatrizes, und das Ausführen der Koordinatenumwandlung unter Verwendung einer mittels der neu erstellten Bildtransformationsmatrix korrigierten Bildtransformationsmatrix bei der Bestimmung, dass die beiden Bildtransformationsmatrizes einander nicht ähnlich sind; und Erstellen des zusammengesetzten Videobilds durch aufeinanderfolgendes Ausführen der Erstellung des zusammengesetzten Bilds entsprechend dem Verlauf der Zeit.
Programm zur Erstellung zusammengesetzter Videobilder zum Veranlassen einer Informationsverarbeitungsvorrichtung zum Ausführen des Verfahrens zur Erstellung zusammengesetzter Videobilder nach Anspruch 10.