-
[Technisches Gebiet]
-
Die vorliegende Offenbarung bezieht sich auf eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsprogramm, die verwendet werden, um in separaten Segmenten aufgenommene Bilder der Fahrzeugumgebung zusammenzuführen.
-
[Stand der Technik]
-
Die japanische Patentanmeldungsveröffentlichung (JP-A) Nr.
2017-175480 beschreibt das Zusammenführen sich überlappender Bilder, und insbesondere beschreibt Absatz 0066 der JP-A Nr.
2017-175480 eine Anzeige des Ergebnisses auf einem Innenrückspiegel. Allerdings wird ein Dynamikbereich nicht erwähnt, und es verbleiben Probleme im Zusammenhang mit dem Abschneiden von Überbelichtungen und Schatten.
-
Die JP-A Nr.
2012-6551 beschreibt eine Anzeigeeinheit und eine Bilderzeugungseinheit. Die Anzeigeeinheit ist in der Lage, selektiv Bilder anzuzeigen, die von einer Frontkamera, einer linken Seitenkamera, einer rechten Seitenkamera und einer Heckkamera aufgenommen wurden, und die Bilderzeugungseinheit erzeugt ein Rundumsichtbild durch Durchführen einer Blickpunktumwandlung, als ob von oben auf ein Fahrzeug herabgeschaut wird. Das Rundumsichtbild wird auf der Anzeigeeinheit angezeigt.
-
[Zusammenfassung der Erfindung]
-
[Technisches Problem]
-
Die derzeitige Technologie stellt sich jedoch lediglich auf eine bestimmte Luminanz bzw. Leuchtdichte ein und ist nicht in der Lage, alle Informationen wiederzugeben, wenn die jeweiligen Bilder mit einer für den jeweiligen Bildbereich geeigneten Belichtung aufgenommen werden. Dementsprechend können Unterschiede im Dynamikbereich zwischen den Bildern zu einem unnatürlich aussehenden Bild führen, wenn sie zu einem einzigen Bild zusammengeführt werden, und kann dazu führen, dass Objekte (wie z.B. Hindernisse, die während der Fahrt auftauchen) falsch eingeschätzt (und auch übersehen) werden.
-
Insbesondere beschreibt die JP-A Nr.
2012-6551 eine Technologie bezüglich einer zusammengesetzten bzw. zusammengeführten Rundumsicht. Es wird jedoch nicht erwähnt, dass bei der Zusammenstellung der Rundumsicht beispielsweise der Kontrast der von den jeweiligen Kameraköpfen aufgenommenen Bilder berücksichtigt wird.
-
Es ist eine Aufgabe der vorliegenden Offenbarung, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsprogramm bereitzustellen, die in der Lage sind, ein natürlich aussehendes Bild auf der Grundlage von Bildaufnahmeparametern usw. von einer Vielzahl von Bildern zu erzeugen, wenn Informationen der jeweiligen Bilder zusammengeführt werden, und die in der Lage sind, einen breiten Dynamikbereich auszudrücken.
-
[Lösung des Problems]
-
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst: einen Bezugsabschnitt, der jeweilige Informationen von Bildern erfasst, die als separate Segmente durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen werden, die jeweils einen spezifischen Blickwinkel aufnehmen, der geeignet ist, ein Sichtfeld eines Fahrers eines Fahrzeugs zu ergänzen, und der Attributinformationen der jeweiligen Bilder bezieht; einen Berechnungsabschnitt, der aus den durch den Bezugsabschnitt bezogenen Attributinformationen jeweilige Korrekturwerte berechnet, um Dynamikbereiche der jeweiligen Bildaufnahmevorrichtungen anzugleichen; einen Bildzusammenführungs-abschnitt, der die jeweiligen Bildinformationen zu einem Bild mit einem einzigen dynamischen Bereich auf der Grundlage der jeweiligen durch den Berechnungsabschnitt berechneten Korrekturwerte und der Attributinformationen der jeweiligen Bildinformationen zusammenführt; und einen Ausgabeabschnitt, der die durch den Bildzusammenführungsabschnitt zusammengeführten Bildinformationen an eine Anzeigevorrichtung ausgibt.
-
In einem Aspekt der vorliegenden Offenbarung weist der Dynamikbereich des durch den Bildzusammenführungsabschnitt zusammengeführten Bildes einen breiteren Dynamikbereich auf als ein Dynamikbereich von einer der Bildaufnahmevorrichtungen.
-
Ein Aspekt der vorliegenden Offenbarung umfasst ferner einen Anpassungsabschnitt, der die durch den Bildzusammenführungsabschnitt zusammengeführten Bildinformationen auf einen Dynamikbereich einstellt, der auf die Spezifikationen der Anzeigevorrichtung zugeschnitten ist.
-
In einem Aspekt der vorliegenden Offenlegung umfassen die Attributinformationen Bildaufnahmeparameter, einschließlich einer Empfindlichkeit, einer Belichtungszeit und einer Blende, zum Zeitpunkt der Aufnahme der jeweiligen Bilder.
-
In einem Aspekt der vorliegenden Offenlegung handelt es sich bei den Attributinformationen um interindividuelle Differenzinformationen bezüglich der jeweiligen aufgenommenen Bilder, die aus überlappenden Bildaufnahmebereichen der jeweiligen Bildinformationen erhalten werden.
-
In den vorstehend genannten Aspekten der vorliegenden Offenlegung können die Korrekturwerte zum Angleichen der Dynamikbereiche der Informationen der Vielzahl von Bilder anhand der Attributinformationen der Informationen der Vielzahl von Bilder ermittelt werden. Beispiele für die Attributinformationen umfassen Bildaufnahmeparameter, einschließlich der Empfindlichkeit, der Belichtungszeit und der Blende zum Zeitpunkt der Aufnahme, die zusammen mit den aufgenommenen Bildinformationen bezogen werden können.
-
Die Informationen der Vielzahl von Bildern werden unter Verwendung der Korrekturwerte und der Bildaufnahmeparameter (z.B. Koordinaten) zusammengeführt, um die Informationen eines einzigen Bildes zu erzeugen. Auf diese Weise wird ein natürlich aussehendes Bild erzeugt, wodurch Fehleinschätzungen von Objekten usw. verhindert werden können.
-
Es sei angemerkt, dass es sich bei den Attributinformationen um interindividuelle Differenzinformationen bezüglich den jeweiligen aufgenommenen Bildern handeln kann, die aus überlappenden Bildaufnahmebereichen der jeweiligen Bildinformationen erhalten werden.
-
Es sei angemerkt, dass weil die zusammengeführten Bildinformationen einen hohen dynamischen Bereich (HDR) aufweisen, eine Anpassung durch den Anpassungsabschnitt, z.B. eine Anpassung durch Farbtonmapping, durchgeführt werden kann, um den hohen dynamischen Bereich zu komprimieren und an die Spezifikationen (Dynamikbereich) einer Vorrichtung anzupassen.
-
Es sei angemerkt, dass obwohl als Beispiel für den spezifischen Blickwinkel ein Blickwinkel angegeben wurde, der das Sichtfeld nach hinten des Fahrzeugs ergänzt, ist der spezifische Blickwinkel nicht auf das Sichtfeld nach hinten beschränkt, sondern kann z.B. ein Blickwinkel sein, der die Umgebung des Fahrzeugs ergänzt, wenn man von oben nach unten blickt (was als Rundumblick bezeichnet wird).
-
In einem Aspekt der vorliegenden Offenbarung ist jede der Vielzahl von Bildaufnahmevorrichtungen am Fahrzeug angebracht, und umfassen einen RH-Kamerakopf, der in eine Richtung nach rechts und nach hinten des Fahrzeugs aufnimmt, einen LH-Kamerakopf, der in eine Richtung nach links und nach hinten des Fahrzeugs aufnimmt, und einen RR-Kamerakopf, der in eine Richtung nach hinten des Fahrzeugs aufnimmt. Jede der Bildaufnahmevorrichtungen hat einen vordefinierten Blickwinkel für die Bildaufnahme, so dass sich die von den jeweiligen Bildaufnahmevorrichtungen erfassten Bildinformationen zumindest teilweise überlappen.
-
In einem Aspekt der vorliegenden Offenbarung ist die Anzeigevorrichtung ein Monitor, der anstelle eines Spiegels zur Überprüfung nach hinten des Fahrzeugs installiert ist.
-
In einem Sichtfeld nach hinten gibt es mehr tote Winkel als in einem Sichtfeld nach vorne. So können z.B. in einem Bild auf einer Spiegelfläche wie einem Innenrückspiegel oder einem Seitenspiegel Hindernisse übersehen werden, insbesondere aufgrund von Unterschieden in der Helligkeit (Luminanz) der Umgebungen.
-
Die vorstehend genannten Aspekte der vorliegenden Offenbarung ermöglichen es, tote Winkel im Sichtfeld nach hinten beim Fahren des Fahrzeugs zu beseitigen, und verhindern außerdem, dass Hindernisse beim Rückwärtsfahren falsch eingeschätzt (und übersehen) werden, wodurch eine sichere Fahrt ermöglicht wird.
-
In einem Aspekt der vorliegenden Offenbarung ist die Anzeigevorrichtung eine Speichervorrichtung, die eine zyklische Speicherung der aufgenommenen Bildinformationen entsprechend vorbestimmter Zeitintervalle durchführt, so dass die aufgenommenen Bildinformationen aus einem alten Zeitintervall gelöscht und die aufgenommenen Bildinformationen aus einem aktuellen Zeitintervall gespeichert werden.
-
In den vorstehend genannten Aspekten der vorliegenden Offenbarung können die vom Ausgabeabschnitt ausgegebenen Bildinformationen beispielsweise als Bilder von einem Fahrtenschreiber verwendet werden, der vor und nach einer Kollision mit dem Fahrzeug aufzeichnet. Insbesondere können die Weitwinkelbilder mit natürlich aussehenden Grenzen und so weiter der vorliegenden Offenbarung als Analysematerial verwendet werden, um die Ursache einer Kollision mit dem Fahrzeug genau zu finden.
-
Ein Bildverarbeitungsprogramm eines weiteren Aspekts der vorliegenden Offenbarung veranlasst einen Computer, als eine der vorstehend genannten Bildverarbeitungsvorrichtungen zu fungieren.
-
[Vorteilhafte Effekte der Erfindung]
-
Wie vorstehend erläutert, bietet die vorliegende Offenlegung die vorteilhaften Effekte, dass ein natürlich aussehendes Bild auf der Grundlage von Bildaufnahmeparametern usw. mehrerer Bilder erzeugt werden kann, wenn Informationen der jeweiligen Bilder zusammengeführt werden, und dass ein breiter Dynamikbereich ausgedrückt werden kann.
-
Figurenliste
-
- 1A ist eine Draufsicht, die ein Fahrzeug gemäß einem exemplarischen Ausführungsbeispiel darstellt.
- 1B ist eine Seitenansicht des in 1A dargestellten Fahrzeugs.
- 2 ist eine schematische Ansicht, die den Innenraum einer Fahrzeugkabine gemäß einem exemplarischen Ausführungsbeispiel, gesehen von der Mitte des Rücksitzes in Richtung der Vordersitze, darstellt.
- 3 ist eine schematische Darstellung, die eine Bildverarbeitungsvorrichtung zum Zusammenführen von Bildern gemäß einem exemplarischen Ausführungsbeispiel darstellt.
- 4 ist ein Steuerungsablaufdiagramm, das einen Ablauf einer Verarbeitung durch eine Bildverarbeitungsvorrichtung gemäß einem exemplarischen Ausführungsbeispiel darstellt.
- 5 stellt ein Bild dar, das durch einfaches Zusammenführen der von den jeweiligen Kameraköpfen aufgenommenen Bilder erhalten wird.
- 6 stellt ein Bild dar, das erhalten wird, wenn man das in 5 dargestellte Bild einer Verarbeitung mit hohem Dynamikbereich unterzieht.
- 7 stellt ein Bild dar, bei dem das in 6 dargestellte Bild wie dieses ist auf einer Anzeigevorrichtung angezeigt wird (mit Überbelichtungsbeschneidung).
- 8 stellt ein Bild dar, bei dem das in 6 dargestellte Bild wie dieses ist auf einer Anzeigevorrichtung angezeigt wird (mit Schattenbeschneidung).
- 9 stellt ein Bild dar, wenn das in 6 dargestellte Bild auf einer Anzeigevorrichtung angezeigt wird, nachdem es einer Kompression mit einem einzigen Dynamikbereich unterzogen wurde.
- 10 stellt ein Bild dar, wenn das in 6 dargestellte Bild auf einer Anzeigevorrichtung angezeigt wird, nachdem es einer lokalen Farbtonkompression unterzogen wurde.
-
[Beschreibung der Ausführungsbeispiele]
-
1A ist eine Draufsicht, die ein Fahrzeug 10 gemäß einem exemplarischen Ausführungsbeispiel veranschaulicht, und 1B ist eine Seitenansicht, die das Fahrzeug 10 veranschaulicht.
-
Wie in 1A dargestellt, ist ein rechter Kameraadapter 12 an einer rechten Seitenfläche des Fahrzeugs 10 in Bezug auf eine Vorwärtsfahrtrichtung angebracht. An dem rechten Kameraadapter 12 ist ein rechter Kamerakopf 14 angebracht, dessen optische Achse in Richtung der rechten Rückseite des Fahrzeugs 10 verläuft. Der RH-Kamerakopf 14 erfasst einen Bereich AR, der in 1A durch einfache Strichpunktlinien R umschlossen ist.
-
Außerdem ragt, wie in 1A dargestellt, ein linker Kameraadapter 16 aus einer linken Seitenfläche des Fahrzeugs 10 in Bezug auf die Vorwärtsfahrtrichtung heraus. An dem linken Kameraadapter 16 ist ein linker Kamerakopf 18 angebracht, dessen optische Achse in Richtung der linken Rückseite des Fahrzeugs 10 verläuft. Der LH-Kamerakopf 18 erfasst einen Bereich AL, der in 1A durch einfache Strichpunktlinien L umschlossen ist.
-
Wie ebenfalls in 1A dargestellt, ist ein RR-Kamerakopf 20 mit einer optischen Achse, die vom Fahrzeug 10 nach hinten verläuft (die optische Achse verläuft im Wesentlichen parallel zur Fahrbahnoberfläche), an einem zentralen Teil eines hinteren Abschnitts des Fahrzeugs 10 in der Fahrzeugbreiterichtung angebracht. Der RR-Kamerakopf 20 erfasst einen Bereich AC, der in 1A durch einfache Strichpunktlinien C umschlossen ist.
-
Der Bereich AR und der Bereich AC überlagern sich teilweise, so dass sich die davon aufgenommenen Bilder teilweise überlappen. Der Bereich AL und der Bereich AC überlagern sich ebenfalls teilweise, so dass sich die davon aufgenommenen Bilder teilweise überlappen.
-
Wie in 2 dargestellt, ist am hinteren Teil des Fahrzeugs 10 separat zum RR-Kamerakopf 20 auch eine spezielle Rückfahrkamera 22 angebracht. Die spezielle Rückfahrkamera 22 ist so konfiguriert, dass sie einen von den gepunkteten Linien B eingeschlossenen Bereich AB erfasst, wobei die aufgenommenen Bilder auf einem Informationsanzeigemonitor 24 (siehe 2) in der Fahrzeugkabine angezeigt werden, wenn das Fahrzeug 10 rückwärts fährt. Eine optische Achse ist so eingestellt, dass der Bereich AB einen hinteren Endabschnitt des Fahrzeugs 10 (z.B. einen hinteren Stoßfänger) umfasst und im Vergleich zur optischen Achse des RR-Kamerakopfes 20 nach unten weist.
-
Der RH-Kamerakopf 14, der LH-Kamerakopf 18 und der RH-Kamerakopf 20, wie vorstehend beschrieben, werden zur Unterstützung des Fahrers während der normalen Fahrt des Fahrzeugs 10 (vorwärts, rückwärts oder im Stillstand) eingesetzt und haben daher einen anderen Zweck als die spezielle Rückfahrkamera 22, die zur Unterstützung des Fahrers speziell beim Rückwärtsfahren des Fahrzeugs 10 eingesetzt wird.
-
2 ist eine schematische Ansicht des Innenraums der Kabine des Fahrzeugs 10, gesehen von der Mitte des Rücksitzes in Richtung der Vordersitze.
-
Der vorstehend beschriebene rechte Kameraadapter 12 ist vor einem rechten Seitenfenster 26 des Fahrzeugs 10 angebracht, und der RH-Kamerakopf 14 ist am rechten Kameraadapter 12 befestigt.
-
Ein rechter Monitor 32 ist an einem unteren Teil einer rechten A-Säule 30 angebracht, die zwischen dem rechten Seitenfenster 26 und einem Frontfenster 28 liegt. Der rechte Monitor 32 ist so konfiguriert, dass er ein Bild des Bereichs AR (siehe 1A) hinten rechts im Fahrzeug anzeigt, das vom RH-Kamerakopf 14 in einem spiegelverkehrten Zustand aufgenommen wurde. Der RH-Kamerakopf 14 und der rechte Monitor 32 haben also die gleiche Funktion wie ein optischer rechter Türspiegel.
-
Der vorstehend beschriebene linke Kameraadapter 16 ist vor einem linken Seitenfenster 34 des Fahrzeugs 10 positioniert, und der LH-Kamerakopf 18 ist an dem linken Kameraadapter 16 befestigt.
-
Ein LH-Monitor 38 ist an einem unteren Teil einer linken A-Säule 36 angebracht, die sich zwischen dem linken Seitenfenster 34 und der Frontscheibe 28 befindet. Der LH-Monitor 38 ist so konfiguriert, dass er ein Bild des Bereichs AL (siehe 1A) hinten links am Fahrzeug anzeigt, das vom LH-Kamerakopf 18 in einem spiegelverkehrten Zustand aufgenommen wurde. Der LH-Kamerakopf 18 und der linke Monitor 38 haben also die gleiche Funktion wie ein optischer linker Außenspiegel.
-
Der Informationsanzeigemonitor 24 ist an einem oberen Teil einer Mittelkonsole 40 in der Fahrzeugkabine angebracht. Der Informationsanzeigemonitor 24 zeigt ein von der speziellen Rückfahrkamera 22 aufgenommenes Bild an, wenn ein Schalthebel 42 des Getriebes (in den Zeichnungen nicht dargestellt) des Fahrzeugs 10 in einen Rückwärtsgang (R-Bereich) geschaltet wurde.
-
Der Informationsanzeigemonitor 24 wird als Multifunktionsmonitor eingesetzt und koordiniert beispielsweise zusätzlich zur Anzeige des Fahrzeugrückbildes, wie vorstehend beschrieben, mit einem nicht veranschaulichten Navigationssystem und Audiosystem, um einen Navigationsbildschirm (einen Bildschirm mit Navigationsinformationen und dergleichen) oder einen Audiobildschirm (einen Bildschirm mit Informationen in Bezug auf Musik und dergleichen) anzuzeigen, wenn eine Umschaltoperation durchgeführt wurde. Zum Beispiel wird auf dem Navigationsbildschirm ein Kartenbild und ein Bild des Reiseortes des Fahrzeugs auf dem Kartenbild angezeigt, basierend auf Positionsinformationen, die mit einer im Fahrzeug 10 installierten GPS-Funktion erfasst wurden. Es sei angemerkt, dass in Fällen, in denen der Informationsanzeigemonitor 24 durch ein Touchpanel konfiguriert ist, der Informationsanzeigemonitor 24 auch als Eingabevorrichtung fungieren kann.
-
Es ist zu beachten, dass ein Innenrückspiegel 44, der an einem oberen Mittelteil der Frontscheibe 28 (oder der Decke) des Fahrzeugs 10 des vorliegenden exemplarischen Ausführungsbeispiels angebracht ist, als Anzeigevorrichtung der vorliegenden Offenbarung fungiert.
-
Der Innenrückspiegel 44 hat nämlich sowohl eine Spiegelfunktion, um als optischer Spiegel zu wirken, als auch eine Bildschirmfunktion, um Bilder anzuzeigen.
-
Die Spiegelfunktion ermöglicht es dem Fahrer o.ä., während der Fahrt die Situation hinter dem Fahrzeug in seinem Sichtfeld zu überprüfen (indem er seinen Blick bewegt).
-
Die Monitorfunktion ermöglicht die Anzeige eines zusammengeführten Bildes, das aus den von dem RH-Kamerakopf 14, dem LH-Kamerakopf 18 und dem RH-Kamerakopf 20 aufgenommenen Bildern konfiguriert wird.
-
Wie in 3 dargestellt, umfasst der Innenrückspiegel 44 einen Anzeigetreiber 45 und einen Anzeigeabschnitt 48, der eine eingebaute Anzeigevorrichtung 46, z.B. ein LCD, enthält und eine spiegelnde Oberfläche aufweist. Aus Gründen der Lichtintensität funktioniert der Anzeigeabschnitt 48 als Spiegel, wenn kein Bild von der Anzeigevorrichtung 46 angezeigt wird, und als Monitor, wenn ein Bild von der Anzeigevorrichtung 46 angezeigt wird.
-
Es ist zu beachten, dass die Gründe, die sich auf die Lichtintensität beziehen, sich darauf beziehen, dass die Bildanzeige durch die Anzeigevorrichtung 46 Vorrang hat, da die Luminanz der von der Anzeigevorrichtung 46 angezeigten Bilder größer ist als die Luminanz der von der Spiegeloberfläche optisch reflektierten Bilder.
-
3 zeigt schematisch eine Bildverarbeitungsvorrichtung 50, die zum Zusammenführen von Bildern verwendet wird.
-
Bei der folgenden Erläuterung wird davon ausgegangen, dass die Anzeigevorrichtung 46 des Innenrückspiegels 44 in der Monitorfunktion arbeitet, um ein zusammengeführtes Bild anzuzeigen. Die Monitorfunktion für zusammengeführte Bilder ist jedoch nicht auf den Innenrückspiegel 44 beschränkt und kann eine Funktion des Informationsanzeigemonitors 24 sein. Alternativ kann ein spezieller Monitor zur Anzeige eines zusammengeführten Bildes gemäß der vorliegenden Offenbarung in der Fahrzeugkabine zusätzlich zu dem Innenrückspiegel 44 und dem Informationsanzeigemonitor 24 vorgesehen sein.
-
Wie in 3 dargestellt, werden die Bildinformationen für den vom RH-Kamerakopf 14 aufgenommenen Bereich AR vorübergehend im Bildinformationsspeicher 52 gespeichert. Die Bildaufnahmeparameter (einschließlich Empfindlichkeit, Belichtungszeit und Blende) des RH-Kamerakopfes 14 zum Zeitpunkt der Aufnahme durch den RH-Kamerakopf 14 werden im Bildaufnahmeparameterinformationsspeicher 54 gespeichert, synchronisiert mit der Speicherung der Bildinformationen im Bildinformationsspeicher 52.
-
Die Bildinformationen für den vom RR-Kamerakopf 20 aufgenommenen Bereich AC werden vorübergehend im Bildinformationsspeicher 56 gespeichert. Bildaufnahmeparameter (einschließlich Empfindlichkeit, Belichtungszeit und Blende) zum Zeitpunkt der Aufnahme durch den RR-Kamerakopf 20 werden im Bildaufnahmeparameterinformationsspeicher 58 gespeichert, synchron mit der Speicherung der Bildinformationen im Bildinformationsspeicher 56.
-
Die Bildinformationen für den vom LH-Kamerakopf 18 aufgenommenen Bereich AL werden vorübergehend im Bildinformationsspeicher 60 gespeichert. Bildaufnahmeparameter (einschließlich Empfindlichkeit, Belichtungszeit und Blende) zum Zeitpunkt der Aufnahme durch den LH-Kamerakopf 18 werden im Bildaufnahmeparameterinformationsspeicher 62 gespeichert, synchron mit der Speicherung der Bildinformationen im Bildinformationsspeicher 60.
-
Der Bildinformationsspeicher 52, der Bildinformationsspeicher 56 und der Bildinformationsspeicher 60 sind jeweils mit einem Luminanzzusammenführungsabschnitt 63 verbunden. Der Luminanzzusammenführungsabschnitt 63 ist mit einem Bildzusammenführungsabschnitt 64 verbunden.
-
Der Bildaufnahmeparameterinformationsspeicher 54, der Bildaufnahmeparameterinformationsspeicher 58 und der Bildaufnahmeparameterinformationsspeicher 62 sind jeweils mit einem Zwischenkamerakorrekturwertberechnungsabschnitt 66 verbunden.
-
Der Zwischenkamerakorrekturwertberechnungsabschnitt 66 berechnet einen Korrekturwert für die Informationen jedes Bildes, um die Luminanz, insbesondere die Luminanz sich überlappender Bereiche, zwischen den Kameras so anzupassen, dass die jeweiligen Luminanzen einander angenähert werden. Dabei werden die Korrekturwerte nicht unter Verwendung der Informationen eines einzelnen Bildes als Referenz berechnet. Vielmehr werden die Korrekturwerte für die Informationen der jeweiligen Bilder aus den jeweiligen Bildaufnahmeparametern berechnet, um Informationen für ein einziges HDR-Bild (High Dynamic Range; hoher Dynamikbereich) zu erzeugen, das die drei Dynamikbereichstypen der Bilder einbeziehen kann.
-
Der Zwischenkamerakorrekturwertberechnungsabschnitt 66 ist mit dem Luminanzzusammenführungsabschnitt 63 verbunden.
-
Der Luminanzzusammenführungsabschnitt 63 korrigiert die Bildluminanz jedes aufgezeichneten Bildes auf der Grundlage der Korrekturwerte, die vom Zwischenkamerakorrekturwertberechnungsabschnitt 66 berechnet wurden. Um bei dieser Korrektur einen Überlauf und den Verlust von Ziffern zu vermeiden, werden die Bildinformationen in ein Speicherformat mit einem hohen Dynamikbereich umgewandelt.
-
Unter Verwendung der Bildinformationen, die durch den Luminanzzusammenführungsabschnitt 63 luminanzkorrigiert wurden, kombiniert der Bildzusammenführungsabschnitt 64 die durch den RH-Kamerakopf 14 aufgenommenen Bildinformationen, die durch den RH-Kamerakopf 20 aufgenommenen Bildinformationen und die durch den LH-Kamerakopf 18 aufgenommenen Bildinformationen, wobei die Bereiche, in denen sich die Bildaufnahme überschneidet, als Referenzen verwendet werden. Da in dem vorliegenden exemplarischen Ausführungsbeispiel eine Rückbildunterstützung vorgesehen ist, führt der Bildzusammenführungsabschnitt 64 sowohl die Bilder zusammen als auch eine Spiegelbildinversion durch. Das Ergebnis ist ein Bild, das einem links-rechts invertierten Bild auf einer Spiegelfläche entspricht.
-
Da es sich bei den überlappenden Abschnitten um Bereiche handelt, die zum gleichen Zeitpunkt aufgenommen wurden, können bei der Zusammenführung die Positionen der Umrissabschnitte, bei denen ein großer Unterschied zwischen Licht und Schatten besteht, korrigiert werden, indem sie aneinander angepasst werden.
-
Obwohl in dem vorliegenden exemplarischen Ausführungsbeispiel überlappende Erfassungsbereiche geschaffen werden, ist eine überlappende Erfassung nicht erforderlich, solange die Bildaufnahme zumindest nebeneinanderliegt (die Bilder sind aneinander angrenzend).
-
5 zeigt ein Bild, das durch einfaches Zusammenführen von Bildern erhalten wird, die von dem RH-Kamerakopf 14, dem RH-Kamerakopf 20 und dem linken LH-Kamerakopf 18 (gemeinsam als die Kameraköpfe bezeichnet) aufgenommen wurden, und repräsentiert nicht ein Bild, das in dem vorliegenden exemplarischen Ausführungsbeispiel auf der Anzeigevorrichtung 46 oder dergleichen angezeigt wird.
-
Wenn sich die Lichtintensität zwischen den jeweiligen Sichtfeldern der Kameraköpfe unterscheidet, führt die automatische Belichtungsfunktion der jeweiligen Kameraköpfe zu unterschiedlichen Belichtungen für jeden der Kameraköpfe. In solchen Fällen ergibt sich das Problem, dass die Bildluminanz in den sich überlappenden Bereichen zwischen den jeweiligen Kameraköpfen unterschiedlich ist.
-
Der Bildzusammenführungsabschnitt 64 korrigiert die Luminanz der jeweiligen Bildinformationen auf der Grundlage der Korrekturwerte, die von dem Zwischenkamerakorrekturwertberechnungsabschnitt 66 erhalten wurden. Die jeweiligen luminanzkorrigierten Bilder werden zusammengeführt, wobei der Lageversatz korrigiert wird.
-
6 zeigt ein Bild, das dem zusammengeführten Bild in 5 entspricht, nachdem es durch den Bildzusammenführungsabschnitt 64 einer Verarbeitung mit hohem Dynamikbereich unterzogen wurde. Obwohl in den Bilddaten kein Clipping bzw. Abschneiden von Schatten und Überbelichtungen vorhanden ist, überschreiten die Bilddaten den Dynamikbereich, der von der Anzeigevorrichtung 46 tatsächlich angezeigt werden kann, und daher ist eine bilddatengetreue Anzeige schwierig.
-
Und zwar sind 7 und 8 Bilder, die das in 6 dargestellte Bild zeigen, wenn es auf der Anzeigevorrichtung 46 wie dieses ist angezeigt wird. Da es sich um ein Bild mit hohem Dynamikbereich handelt, kann es mit der Anzeigevorrichtung 46 nicht wie dieses ist angezeigt werden, da dies eine Standardkonfiguration ist, die keinen ausreichenden Dynamikbereich bietet. Infolgedessen kommt es in den hellen Bereichen zu Beschneidungen in den Lichtern (siehe 7) oder auf der dunklen Seite zu Beschneidungen in den Schatten (siehe 8).
-
Der Bildzusammenführungsabschnitt 64 ist mit einem Dynamikbereichskompressionsabschnitt 68 verbunden. Die zusammengeführten Bildinformationen werden an den Dynamikbereichskompressionsabschnitt 68 ausgegeben.
-
Der Dynamikbereichskompressionsabschnitt 68 umfasst einen Hintergrundluminanzabschätzabschnitt 70 und einen Luminanzdifferenz-/Farbtonkompressionsabschnitt 72.
-
Grundsätzlich hat der Dynamikbereichskompressionsabschnitt 68 die Aufgabe, Schatten- oder Überbelichtungsbeschneidung zu unterdrücken, je nachdem, an welcher Stelle in den zusammengeführten Bildinformationen die HDR-Verarbeitung stattgefunden hat, und die zusammengeführten Bildinformationen in einen Dynamikbereich umzuwandeln, den die Anzeigevorrichtung 46 anzeigen kann.
-
Der Hintergrundluminanzabschätzabschnitt 70 schätzt die Hintergrundluminanz als niederfrequente Komponenten in den zusammengeführten Bildinformationen, die einer HDR-Verarbeitung unterzogen wurden.
-
Der Luminanzdifferenz-/Farbtonkompressionsabschnitt 72 extrahiert Unterschiede in der Hintergrundluminanz aus dem zusammengeführten Bild, das der HDR-Verarbeitung unterzogen wurde. Der Luminanzdifferenz-/Farbtonkompressionsabschnitt 72 komprimiert dann den Kontrast der Hintergrundluminanz, die vom Hintergrundluminanzabschätzabschnitt 70 abgeschätzt wurde, und fügt das Bild unter Verwendung der extrahierten Unterschiede in der Hintergrundluminanz wieder zusammen. Das neu zusammengeführte Bild behält den lokalen Kontrast bei, hat aber einen komprimierten Gesamtdynamikbereich. Es ist zu beachten, dass auch Konfigurationen möglich sind, bei denen der Dynamikbereichskompressionsabschnitt die Unterschiede zwischen Hintergrund und Luminanz nicht isoliert, sondern lediglich den Kontrast der zusammengeführten Bildinformationen, die einer HDR-Verarbeitung unterzogen wurden, verringert (9) oder den Kontrast lokal verringert (siehe 10). In den Fällen, in denen der Kontrast einfach abgesenkt wird, ist das Bild für einen Insassen jedoch vergleichsweise weniger gut zu erkennen.
-
Der Dynamikbereichskompressionsabschnitt 68 ist über einen Ausgabeabschnitt 74 mit dem Anzeigetreiber 45 des Innenrückspiegels 44 verbunden.
-
Der Ausgabeabschnitt 74 gibt die Bildinformationen, die durch den Dynamikbereichskompressionsabschnitt 68 komprimiert wurden, auf der Grundlage einer nicht in den Zeichnungen dargestellten Ausgabeanweisung an den Anzeigetreiber 45 aus. Der Anzeigetreiber 45 zeigt die Bildinformationen auf der Anzeigevorrichtung 46 an (siehe 9 oder 10).
-
Es ist zu beachten, dass während der Ausgabe an den Ausgabeabschnitt 74 jederzeit eine Ausgabeanweisung vorhanden sein kann, oder ein Sensor oder ähnliches kann erkennen, wenn das hintere Sichtfeld auf der Spiegelfläche schlecht ist (z.B. bei Regen, wenn die Sonne in der Morgen- oder Abenddämmerung niedrig steht, bei Nacht usw.) und auf die Anzeige auf der Anzeigevorrichtung 46 umschalten. Alternativ kann die Anzeige über die Anzeigevorrichtung 46 auch auf Anweisung des Fahrers erfolgen.
-
Nachfolgend wird die Funktionsweise des vorliegenden exemplarischen Ausführungsbeispiels unter Bezugnahme auf das Ablaufdiagramm in 4 erläutert.
-
4 ist ein Steuerungsablaufdiagramm, das einen Ablauf der Bildverarbeitung durch die Bildverarbeitungsvorrichtung 50 für Bildinformationen veranschaulicht, die von dem RH-Kamerakopf 14, dem RH-Kamerakopf 20 und dem LH-Kamerakopf 18 aufgenommen wurden, bis zur Anzeige auf der Anzeigevorrichtung 46.
-
In Schritt 100 wird festgestellt, ob eine Ausgabeanweisung des hinteren Bildes vorliegt oder nicht. Die Routine wird beendet, wenn die Feststellung negativ ausfällt. In den Fällen, in denen die Bestimmung in Schritt 100 positiv ausfällt, geht die Verarbeitung zu Schritt 102 über. Es sei angemerkt, dass die positive Feststellung in Schritt 100 auch Fälle einschließt, in denen eine konstante Ausgabeanweisung vorhanden ist.
-
In Schritt 102 werden die von den jeweiligen Kameraköpfen (dem RH-Kamerakopf 14, dem RH-Kamerakopf 20 und dem LH-Kamerakopf 18) aufgenommenen Bildinformationen bezogen. Die Verarbeitung geht dann zu Schritt 104 über, in dem die Bildinformationen vorübergehend in dem Bildinformationsspeicher 52, dem Bildinformationsspeicher 56 bzw. dem Bildinformationsspeicher 60 gespeichert werden. Die Verarbeitung geht dann zu Schritt 106 über.
-
In Schritt 106 werden die Bildaufnahmeparameter zum Zeitpunkt der Aufnahme für die jeweiligen Kameraköpfe (den RH-Kamerakopf 14, den RH-Kamerakopf 20 und den LH-Kamerakopf 18) bezogen. Die Verarbeitung geht dann zu Schritt 108 über, in dem die Bildaufnahmeparameter vorübergehend in dem Bildaufnahmeparameterinformationsspeicher 54, dem Bildaufnahmeparameterinformationsspeicher 58 bzw. dem Bildaufnahmeparameterinformationsspeicher 62 gespeichert werden. Die Verarbeitung geht dann zu Schritt 110 über.
-
In Schritt 110 werden die Bildaufnahmeparameter verwendet, um die Interkamerakorrekturwerte auf der Grundlage der jeweiligen Bildaufnahmeparameter zu berechnen, die vorübergehend in dem Bildaufnahmeparameterinformationsspeicher 54, dem Bildaufnahmeparameterinformationsspeicher 58 und dem Bildaufnahmeparameterinformationsspeicher 62 gespeichert sind.
-
Im nächsten Schritt 112 werden die überlappenden Bereiche auf der Grundlage der im Bildinformationsspeicher 52, im Bildinformationsspeicher 56 und im Bildinformationsspeicher 60 gespeicherten Bildinformationen extrahiert. Die Verarbeitung geht dann zu Schritt 114 über.
-
In Schritt 114 wird die Bildluminanz jedes aufgezeichneten Bildes auf der Grundlage der Korrekturwerte korrigiert, die von dem Zwischenkamerakorrekturwertberechnungsabschnitt 66 berechnet wurden. Die Bildinformationen werden in ein Speicherformat mit hohem Dynamikbereich umgewandelt, um einen Überlauf und einen Ziffernverlust während der Korrektur zu vermeiden.
-
Im nächsten Schritt 116 werden die luminanzkorrigierten Bildinformationen zur Bildzusammenführung verwendet.
-
Das durch die Zusammenführungsverarbeitung in Schritt 116 erzeugte Bild entspricht einer Bildinformation mit hohem Dynamikbereich, wie das in 6 dargestellte Bild (Schätzung). Obwohl die Bildinformationen Informationen enthalten, die vom dunkelsten bis zum hellsten Bereich reichen, können die Spezifikationen der Anzeigevorrichtung 46 dazu führen, dass Schatten in dunklen Bereichen abgeschnitten werden, während Überbelichtungen in hellen Bereichen abgeschnitten werden.
-
Im nächsten Schritt 118 wird die Hintergrundluminanz aus dem zusammengeführten HDR-Bild geschätzt, das durch die Zusammenführungsverarbeitung in Schritt 116 erzeugt wurde. Die Verarbeitung geht dann zu Schritt 120 über, wo die Luminanzdifferenz in der Hintergrundluminanz erhalten wird und der Luminanzdifferenz-/Farbtonkompressionsabschnitt 72 des Dynamikbereichskompressionsabschnitts 68 eine Farbtonkompression durchführt.
-
Im nächsten Schritt 122 wird das durch die Farbtonkompression in Schritt 120 erzeugte Bild an die Anzeigevorrichtung 46 ausgegeben. Auf der Anzeigevorrichtung 46 wird ein Bild mit einem einzigen Dynamikbereich angezeigt, wie in 9 oder 10 dargestellt. Das auf der Anzeigevorrichtung 46 angezeigte Bild wurde an den Dynamikbereich der Anzeigevorrichtung 46 angepasst, wodurch Schatten- und Lichterabschneidungen eliminiert werden.
-
In dem vorstehend beschriebenen exemplarischen Ausführungsbeispiel werden die von Vielzahl von Kameras (dem RH-Kamerakopf 14, dem RR-Kamerakopf 20 und dem LH-Kamerakopf 18) aufgenommenen Bildinformationen zu einem HDR-Bild mit angepasster Luminanz zusammengeführt und dann einer Farbtonkomprimierung für die Anzeige unterzogen, die auf den Dynamikbereich zugeschnitten ist, den die Anzeigevorrichtung 46 darstellen kann. Dementsprechend können beispielsweise auch Bilder, in denen sowohl direktes Sonnenlicht als auch Schatten vorhanden sind, was zu einem sehr starken Kontrast innerhalb des Bildes führt, von der Anzeigevorrichtung 46 in einem Zustand angezeigt werden, in dem Schattenbeschneidung in den dunklen Bereichen und Überbelichtungsbeschneidung in den hellen Bereichen unterdrückt wird.
-
Beziehung zwischen HDR-Verarbeitung und Anzeigevorrichtung 46
-
Wenn beispielsweise der Bereich hinter dem Fahrzeug 10, der vom RH-Kamerakopf 14, dem RH-Kamerakopf 20 und dem LH-Kamerakopf 18 aufgenommen wird, einer Szene entspricht, die auf der einen Seite im Schatten und auf der anderen Seite im direkten Sonnenlicht liegt, erweitert sich der Dynamikbereich der Szene (das Hell-Dunkel-Verhältnis zwischen dem hellsten und dem dunkelsten Bereich), und das Kontrastverhältnis kann über 10000:1 liegen.
-
Das Kontrastverhältnis des dynamischen Bereichs der Lichtrezeptoren (z.B. CMOS-Sensoren oder CCD-Sensoren) des RH-Kamerakopfs 14, des RH-Kamerakopfs 20 und des LH-Kamerakopfs 18 liegt jedoch im Bereich von 1000:1.
-
Dementsprechend verschieben der RH-Kamerakopf 14, der RR-Kamerakopf 20 und der LH-Kamerakopf 18 jeweils unabhängig voneinander ihren jeweiligen Dynamikbereich (ändern den Belichtungspegel), um eine Aufnahme mit einem für die Anzeige auf der Anzeigevorrichtung 46 geeigneten Dynamikbereich zu erstellen. Dementsprechend kann eine einfache Zusammenführungsverarbeitung zu extremen Sprüngen in der Luminanz des Bildes an den Übergängen zwischen den Bildern der jeweiligen Kameraköpfe führen, wenn sie auf der Anzeigevorrichtung 46 angezeigt werden (siehe 5).
-
Dementsprechend wird in dem vorliegenden exemplarischen Ausführungsbeispiel eine Luminanzkorrektur durchgeführt, um die Bilder der jeweiligen Kameraköpfe auf Bilder innerhalb desselben Luminanzbereichs abzustimmen. Die Anwendung einer kleinen Verstärkung auf Bilder mit einem hohen Belichtungspegel und die Anwendung einer großen Verstärkung auf Bilder mit einem niedrigen Belichtungspegel ermöglicht die Abstimmung der jeweiligen Bilder auf Bilder mit demselben Belichtungspegel. Bei der Durchführung einer solchen Verstärkungskorrektur werden die korrigierten Bilder in einem Speicherformat mit einem großen Dynamikbereich gespeichert, um Überlauf und Zahlenverlust zu vermeiden. Die Bildzusammenführung wird dann mit diesen luminanzkorrigierten Bildern durchgeführt. Das resultierende zusammengeführte Bild hat einen großen Dynamikbereich (siehe 6).
-
Wenn das zusammengeführte Bild auf der Anzeigevorrichtung 46 so angezeigt würde, wie es ist, könnte es in Bezug auf die Beschneidung der Bildluminanz in einigen relativ dunklen Bereichen zu einer Schattenbeschneidung kommen, während in einigen relativ hellen Bereichen an den Übergängen zwischen den Bildern der jeweiligen Kameraköpfe eine Überbelichtungsbeschneidung auftreten könnte (siehe 7 und 8).
-
In dem vorliegenden exemplarischen Ausführungsbeispiel wird der hohe Dynamikbereich des zusammengeführten Bildes durch den Dynamikbereichskompressionsabschnitt 68 in einen (einzigen) Dynamikbereich komprimiert, der auf die Anzeigevorrichtung 46 zugeschnitten ist (siehe 9 oder 10), so dass die HDR-Bildinformationen in einen Dynamikbereich umgewandelt werden, den die Anzeigevorrichtung 46 mit lokal unterdrückter Schatten- und Überbelichtungs- bzw. Glanzlichtabschneidung anzeigen kann.
-
So kann, wie in 9 und 10 dargestellt, das tatsächlich auf dem Anzeigeabschnitt 48 des Innenrückspiegels 44 (der Anzeigevorrichtung 46) angezeigte Bild eindeutig als Information über das hintere Sichtfeld wahrgenommen werden, selbst in hellen Bereichen mit Überbelichtungsbeschneidung und dunklen Bereichen mit Schattenbeschneidung, wie in den in 7 und 8 dargestellten Bildern.
-
In dem vorliegenden exemplarischen Ausführungsbeispiel ist die Beibehaltung des zusammengeführten Bildes als HDR und die Komprimierung des Dynamikbereichs zum Zeitpunkt der Anzeige an sich eine einzigartige Technologie auf dem Gebiet der Technik, bei der die Umgebung eines Fahrzeugs als separate Segmente erfasst und dann zusammengeführt wird. Mit anderen Worten, bisher wurden Informationen von separaten Bildsegmenten zusammengeführt, indem die Informationen eines Bildes als Referenzbild genommen und die Luminanz der anderen Bildinformationen entsprechend angepasst wurden, während die HDR-Verarbeitung nicht auf Informationen von Vielzahl von separat aufgenommenen Bildsegmenten durchgeführt wurde.
-
Wie in 5 dargestellt, kann es beispielsweise bei HDR-Bildern in einfacher Form zu Schattenbildung und dergleichen kommen. Bei einem HDR-Bild ist es jedoch möglich, die Position des Blicks des Fahrers innerhalb eines Anzeigebereichs der Anzeigevorrichtung 46 zu erkennen und verschiedene Verarbeitungen unter Verwendung des Dynamikbereichkompressionsabschnitts 68 durchzuführen, um beispielsweise den Kontrast eines dunklen Bildes so anzupassen, dass es in Fällen, in denen die Position des Blicks einem dunklen Bereich des Bildes entspricht, besser zu sehen ist, oder um den Kontrast eines hellen Bildes so anzupassen, dass es in Fällen, in denen der Blick einem hellen Bereich des Bildes entspricht, besser zu sehen ist.
-
Das vorliegende exemplarische Ausführungsbeispiel betrifft nämlich eine Technologie zur Erfassung der Fahrzeugumgebung in separaten Segmenten, die dann zu einem als HDR-Bild verarbeiteten Bild zusammengefügt werden, wodurch die Wahrscheinlichkeit des Übersehens von Hindernissen und dergleichen unterdrückt wird, während ein Bild präsentiert wird, das für die Unterstützung des Fahrers besser geeignet ist als bei Verwendung eines Bildes, bei dem die Bildhelligkeit an den Grenzen zwischen den Kameras unterschiedlich ist.
-
Darüber hinaus wird in dem vorliegenden exemplarischen Ausführungsbeispiel die zusammengeführte Bildinformation, die einen hohen Dynamikbereich aufweist, einer Dynamikbereichskompression unterzogen, die auf die verwendete Anzeigevorrichtung 46 zugeschnitten ist, wodurch ein Bereich von dunklen Bereichen bis zu hellen Bereichen in einem normalen Anzeigezustand der Anzeigevorrichtung 46 (insbesondere einem Zustand, in dem der Kontrast nicht gemäß dem Blick wie vorstehend beschrieben eingestellt ist) ausgedrückt werden kann (siehe 9 und 10).
-
Es sei angemerkt, dass in dem vorliegenden exemplarischen Ausführungsbeispiel, wenn Bildinformationen von den jeweiligen Kameraköpfen (dem RH-Kamerakopf 14, dem RH-Kamerakopf 20 und dem LH-Kamerakopf 18) bezogen werden, die Bildaufnahmeparameter einschließlich der Empfindlichkeit, der Belichtungszeit und der Blende zum Zeitpunkt der Aufnahme ebenfalls als Attributinformationen bezogen werden, die beim Zusammenführen der Bilder erforderlich sind. Solche Attributinformationen können jedoch auch aus den Bildinformationen gewonnen werden. Die Korrekturwerte können nämlich als Attributinformationen für die Luminanzdifferenz zwischen den überlappenden Teilen der jeweiligen Informationen der jeweiligen Bilder berechnet werden.
-
Darüber hinaus kann die Bildverarbeitungsvorrichtung 50 des vorliegenden exemplarischen Ausführungsbeispiels, obwohl Bilder in Richtung der Rückseite des Fahrzeugs 10 aufgenommen werden, um das Sichtfeld in Richtung der Rückseite des Fahrzeugs 10 zu unterstützen, auch für die Technologie zur Zusammenführung anderer Bilder verwendet werden, wie z.B. Bilder, die eine Rundumansicht, eine Vorderansicht oder Ähnliches anzeigen. In solchen Fällen werden zusätzlich zu den vier Kameras, die in dem vorliegenden exemplarischen Ausführungsbeispiel beschrieben sind, eine oder mehrere zusätzliche Kameras vorgesehen, um die Vorderseite aufzunehmen.
-
In dem vorliegenden exemplarischen Ausführungsbeispiel werden die von dem RH-Kamerakopf 14, dem LH-Kamerakopf 18 und dem RH-Kamerakopf 20 aufgenommenen Bilder einer HDR-Verarbeitung oder Ähnlichem unterzogen, bevor sie auf der Anzeigevorrichtung 46 angezeigt werden. Es ist jedoch auch möglich, Bilder mit einem Fahrtenschreiber aufzuzeichnen, ohne die Bilder anzuzeigen, so dass die Aufzeichnung bei einer Fahrzeugkollision oder ähnlichem gestoppt wird und die Bilder vor und nach der Fahrzeugkollision gespeichert werden. Die Anwendung kann auf eine Aufzeichnungsvorrichtung angewendet werden, das Bilder aufzeichnet, so dass die Bilder mit Start- und Endauslösern (in einer Schleife) in gleichmäßigen Zeitabständen aufgezeichnet werden. Bei der Anwendung auf einem Fahrtenschreiber können klare Bildinformationen unabhängig von dunklen und hellen Bereichen erhalten werden, die für eine genaue Analyse eines Fahrzeugzusammenstoßes genutzt werden können.
-
Darüber hinaus sind in dem vorliegenden exemplarischen Ausführungsbeispiel die erfassten Bildinformationen, die zusammengeführt werden sollen, auf die am Fahrzeug 10 installierten Kameras (den RH-Kamerakopf 14, den LH-Kamerakopf 18 und den RH-Kamerakopf 20) beschränkt. Eine Kommunikationseinheit kann jedoch verwendet werden, um Informationen aufzunehmen, die von infrastrukturbasierten Kameras, die entlang der befahrenen Straße installiert sind, oder von Kameras, die an anderen Fahrzeugen in der Umgebung installiert sind, erfasst werden, die beispielsweise als Informationen zur Ergänzung von Bereichen verwendet werden, die den toten Winkeln des RH-Kamerakopfs 14, des LH-Kamerakopfs 18 und des RH-Kamerakopfs 20 entsprechen.
-
Die folgenden Ergänzungen werden in Bezug auf das vorstehend beschriebene exemplarische Ausführungsbeispiel offenbart.
-
Ergänzung 1
-
Bildverarbeitungsvorrichtung, mit:
- einem Bezugsabschnitt, der jeweilige Informationen von Bildern erfasst, die als separate Segmente durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen werden, die jeweils einen spezifischen Blickwinkel aufnehmen, der geeignet ist, ein Sichtfeld eines Fahrers eines Fahrzeugs zu ergänzen, und der Attributinformationen der jeweiligen Bilder bezieht;
- einem Berechnungsabschnitt, der aus den durch den Bezugsabschnitt bezogenen Attributinformationen jeweilige Korrekturwerte berechnet, um Dynamikbereiche der jeweiligen Bildaufnahmevorrichtungen anzugleichen;
- einem Bildzusammenführungsabschnitt, der die jeweiligen Bildinformationen zu einem Bild mit einem einzigen dynamischen Bereich auf der Grundlage der jeweiligen durch den Berechnungsabschnitt berechneten Korrekturwerte und der Attributinformationen der jeweiligen Bildinformationen zusammenführt; und
- einem Ausgabeabschnitt, der die durch den Bildzusammenführungsabschnitt zusammengeführten Bildinformationen an eine Anzeigevorrichtung ausgibt.
-
Ergänzung 2
-
Die Bildverarbeitungsvorrichtung der Ergänzung 1, wobei die durch den Bildzusammenführungsabschnitt zusammengeführten Bildinformationen einen breiteren Dynamikbereich aufweisen als ein Dynamikbereich von einer der Bildaufnahmevorrichtungen.
-
Ergänzung 3
-
Die Bildverarbeitungsvorrichtung nach Ergänzung 1 oder Ergänzung 2 weiterhin mit einem Anpassungsabschnitt, der die durch den Bildzusammenführungsabschnitt zusammengeführten Bildinformationen auf einen Dynamikbereich einstellt, der geeignet ist, um durch die Anzeigevorrichtung angezeigt zu werden.
-
Ergänzung 4
-
Die Bildverarbeitungsvorrichtung nach einer der Ergänzungen 1 bis 3, wobei die Attributinformationen Bildaufnahmeparameter umfassend eine Empfindlichkeit, einer Belichtungszeit und einer Blende zum Zeitpunkt der Aufnahme der jeweiligen Bilder umfassen.
-
Ergänzung 5
-
Die Bildverarbeitungsvorrichtung nach einem der Ergänzungen 1 bis 3, wobei die Attributinformationen interindividuelle Differenzinformation bezüglich der jeweiligen Bildaufnahmevorrichtungen sind, die aus überlappenden Bildaufnahmebereichen der jeweiligen Bildinformationen erhalten werden.
-
Ergänzung 6
-
Die Bildverarbeitungsvorrichtung nach einem der Ergänzungen 1 bis 5, wobei jede der Vielzahl von Bildaufnahmevorrichtungen am Fahrzeug angebracht ist und einen RH-Kamerakopf, der in eine Richtung nach rechts und nach hinten des Fahrzeugs aufnimmt, einen LH-Kamerakopf, der in eine Richtung nach links und nach hinten des Fahrzeugs aufnimmt, und einen RR-Kamerakopf, der in eine Richtung nach hinten des Fahrzeugs aufnimmt, umfasst, und wobei jede der Bildaufnahmevorrichtungen einen definierten Blickwinkel für die Bildaufnahme aufweist, so dass sich die von den jeweiligen Bildaufnahmevorrichtungen aufgenommenen Bildinformationen zumindest teilweise überlappen.
-
Ergänzung 7
-
Die Bildverarbeitungsvorrichtung nach einem der Ergänzungen 1 bis 6, wobei die Anzeigevorrichtung ein Monitor ist, der anstelle eines Spiegels zur Überprüfung nach hinten des Fahrzeugs installiert ist.
-
Ergänzung 8
-
Die Bildverarbeitungsvorrichtung nach einem der Ergänzungen 1 bis 6, wobei die Anzeigevorrichtung eine Speichervorrichtung ist, die eine zyklische Speicherung der aufgenommenen Bildinformationen entsprechend vorbestimmter Zeitintervalle durchführt, so dass die aufgenommenen Bildinformationen aus einem alten Zeitintervall gelöscht und die aufgenommenen Bildinformationen aus einem aktuellen Zeitintervall gespeichert werden.
-
Ergänzung 9
-
Ein Bildverarbeitungsprogramm, das einen Computer veranlasst, als die Bildverarbeitungsvorrichtung nach einem der Ergänzungen 1 bis 8 zu fungieren.
-
Die Offenbarung der
japanischen Patentanmeldung Nr. 2019-130370 , eingereicht am 12. Juli 2019, ist in vollem Umfang durch Bezugnahme hierin enthalten.
-
Alle zitierten Dokumente, Patentanmeldungen und technischen Normen, die in der vorliegenden Spezifikation erwähnt werden, sind durch Verweis in die vorliegende Spezifikation in demselben Umfang einbezogen, als ob jedes einzelne zitierte Dokument, jede einzelne Patentanmeldung oder technische Norm ausdrücklich und einzeln als durch Verweis einbezogen angegeben wäre.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- rechter Kameraadapter
- 14
- RH-Kamerakopf (Bildaufnahmevorrichtung)
- 16
- linker Kameraadapter
- 18
- LH-Kamerakopf (Bildaufnahmevorrichtung)
- 20
- RR-Kamerakopf (Bildaufnahmevorrichtung)
- 22
- spezielle Rückfahrkamera
- 24
- Informationsanzeigemonitor
- 26
- rechtes Seitenfenster
- 28
- Frontfenster
- 30
- rechte A-Säule
- 32
- RH-Monitor
- 34
- linkes Seitenfenster
- 36
- linke A-Säule
- 38
- LH-Monitor
- 40
- Mittelkonsole
- 42
- Schalthebel
- 44
- Innenrückspiegel
- 45
- Anzeigetreiber
- 46
- Anzeigevorrichtung
- 48
- Anzeigeabschnitt
- 50
- Bildverarbeitungsvorrichtung
- 52
- Bildinformationsspeicher (Bezugsabschnitt)
- 54
- Bildaufnahmeparameterinformationsspeicher (Bezugsabschnitt)
- 56
- Bildinformationsspeicher (Bezugsabschnitt)
- 58
- Bildaufnahmeparameterinformationsspeicher (Bezugsabschnitt)
- 60
- Bildinformationsspeicher (Bezugsabschnitt)
- 62
- Bildaufnahmeparameterinformationsspeicher (Bezugsabschnitt)
- 63
- Luminanzzusammenführungsabschnitt
- 64
- Bildzusammenführungsabschnitt (Bildzusammenführungsabschnitt)
- 66
- Zwischenkamerakorrekturwertberechnungsabschnitt (Berechnungsabschnitt)
- 68
- Dynamikbereichskompressionsabschnitt (Anpassungsabschnitt)
- 70
- Hintergrundluminanzabschätzabschnitt
- 72
- Luminanzdifferenz-/Farbtonkompressionsabschnitt
- 74
- Ausgabeabschnitt
- R
- einfache Strichpunktlinie
- AR
- Sichtfeldbereich
- L
- einfache Strichpunktlinie
- AL
- Bereich
- C
- einfache Strichpunktlinie
- AC
- Bereich
- B
- gepunktete Linie
- AB
- Bereich
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2017175480 [0002]
- JP 20126551 [0003, 0005]
- JP 2019130370 [0109]
