DE112012001464T5 - Bildanzeigegerät - Google Patents

Bildanzeigegerät Download PDF

Info

Publication number
DE112012001464T5
DE112012001464T5 DE201211001464 DE112012001464T DE112012001464T5 DE 112012001464 T5 DE112012001464 T5 DE 112012001464T5 DE 201211001464 DE201211001464 DE 201211001464 DE 112012001464 T DE112012001464 T DE 112012001464T DE 112012001464 T5 DE112012001464 T5 DE 112012001464T5
Authority
DE
Germany
Prior art keywords
image
map
camera
photographed image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201211001464
Other languages
English (en)
Inventor
Azusa Gojyo
Kenji Nishimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PANASONIC AUTOMOTIVE SYSTEMS CO., LTD., YOKOHA, JP
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of DE112012001464T5 publication Critical patent/DE112012001464T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)

Abstract

Es wird eine Technik zum Vorsehen eines Bildanzeigegeräts angegeben, bei dem ein Benutzer mit einem Blick die gesamte Entsprechungsbeziehung zwischen einem dreidimensionalen fotografierten Bild und einem zweidimensionalen Kartenbild an einer Position, wo das fotografierte Bild aufgenommen wurde, verstehen kann, wenn das fotografierte Bild und das Kartenbild separat auf einem Bildschirm angezeigt werden. Wenn gemäß dieser Technik ein durch eine Kamera 13 aufgenommenes fotografiertes Bild und ein Kartenbild an der Aufnahmeposition der Kamera 13 separat auf dem Bildschirm einer Bildanzeigeeinheit 33 angezeigt werden, liest eine Kartenzeichnungseinheit 24 die Positionsinformationen (x, y) der Kamera und den Azimutwinkel φ der Kamera jeweils aus einem Positionssensor 21 und einem Richtungssensor 22, liest einen in einer Sichtwinkel-Steuereinheit 11 gespeicherten Sichtwinkel θ der Kamera und liest Kartendaten um den Abbildungsbereich der Kamera herum aus einer Kartendaten-Speichereinheit 23 unter Verwendung der Positionsinformationen (x, y) der Kamera, um das Kartenbild derart zu verarbeiten und zu zeichnen, dass der Sichtwinkel θ und der Azimutwinkel φ dem Sichtwinkel θ und dem Azimutwinkel φ des durch die Kamera aufgenommenen fotografierten Bilds entsprechen.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft ein Bildanzeigegerät, das separat mittels einer Teilung ein fotografiertes Bild und ein Kartenbild an einer Position, wo das fotografierte Bild aufgenommen wurde, auf einem Bildschirm anzeigt, und insbesondere ein Bildanzeigegerät, das einem Benutzer ermöglicht, geografische Informationen intuitiver zu verstehen, indem es ein Bild mit einer verbesserten Sichtbarkeit anzeigt, indem es die Entsprechungsbeziehung zwischen dem fotografierten Bild und dem separat dazu auf dem Bildschirm angezeigten Kartenbild klärt.
  • Hintergrund der Erfindung
  • Ein in einem Fahrzeug integriertes oder tragbares Fahrzeugnavigationsgerät ist ein weit verbreitetes Anzeigegerät, das geografische Informationen für einen Benutzer anzeigt. Außerdem ist seit einigen Jahren ein Navigationsgerät bekannt, das ein fotografiertes Bild einer tatsächlichen Landschaft, das durch eine im Fahrzeug integrierte Kamera aufgenommen wurde, und ein Navigationskartenbild auf einem Bildschirm anzeigt, der in zwei Bereiche wie etwa einen rechten Bereich und einen linken Bereich unterteilt ist, und das, wenn ein Benutzer ein Strukturobjekt auf dem fotografierten Bild oder ein Strukturobjekt auf dem Kartenbild auf dem Bildschirm spezifiziert, das andere Strukturobjekt hervorhebt, sodass der Benutzer Informationen in der Umgebung des Benutzers intuitiver verstehen kann (siehe zum Beispiel das nachfolgend genannte Patentdokument 1).
  • Dokumente aus dem Stand der Technik
  • Patentdokumente
    • Patentdokument 1: Japanische Patentanmeldung mit der Veröffentlichungsnummer 2007-127437 (Anspruch 1, 2)
  • Zusammenfassung der Erfindung
  • Das herkömmliche Anzeigegerät hebt das andere Strukturobjekt jedoch nur dann hervor, wenn der Benutzer das Strukturobjekt auf dem fotografierten Bild oder das Strukturobjekt auf dem Kartenbild spezifiziert. Deshalb ist bei dem Anzeigegerät das Problem gegeben, dass es für den Benutzer schwierig ist, mit einem Blick die gesamte Entsprechungsbeziehung zwischen dem fotografierten bild und dem Kartenbild zu verstehen, weil in visueller Hinsicht das fotografierte Bild ein dreidimensionales Bild ist und das Kartenbild ein zweidimensionales Bild ist.
  • Angesichts des Problems der herkömmlichen Technik ist es eine Aufgabe der vorliegenden Erfindung, ein Bildanzeigegerät anzugeben, das einem Benutzer ermöglicht, mit einem Blick die gesamte Entsprechungsbeziehung zwischen einem dreidimensionalen fotografierten Bild und einem zweidimensionalen Kartenbild an einer Position, wo das fotografierte Bild aufgenommen wurde, zu verstehen, wenn das fotografierte Bild und das Kartenbild separat auf einem Bildschirm angezeigt werden.
  • Um die vorstehend genannte Aufgabe zu lösen, gibt die vorliegende Erfindung ein Bildanzeigegerät an, das separat mittels einer Teilung ein fotografiertes Bild, das durch eine Abbildungseinheit aufgenommen wurde, und ein Kartenbild auf einem Bildschirm anzeigt, wobei das Bildanzeigegerät umfasst: eine Einheit, die einen Sichtwinkel, eine Abbildungsposition und eine Abbildungsrichtung der Abbildungseinheit erfasst; und eine Einheit, die das Kartenbild derart verarbeitet, dass die Richtung des Kartenbilds der Nachbarschaft um die erfasste Abbildungsposition herum der erfassten Abbildungsrichtung entspricht und dass der Sichtwinkel des Kartenbilds dem erfassten Sichtwinkel der Abbildungseinheit entspricht.
  • Wenn bei dieser Konfiguration ein dreidimensionales fotografiertes Bild und ein zweidimensionales Kartenbild an einer Position, wo das fotografierte Bild aufgenommen wurde, separat auf einem Bildschirm angezeigt werden, werden das fotografierte Bild und das Kartenbild mit einer übereinstimmenden Richtung und einem übereinstimmenden Sichtwinkel angezeigt. Deshalb kann der Benutzer mit einem Blick die gesamte Entsprechungsbeziehung zwischen dem fotografierten Bild und dem Kartenbild verstehen.
  • Wenn gemäß der vorliegenden Erfindung ein dreidimensionales fotografiertes Bild und ein zweidimensionales Kartenbild an einer Position, wo das fotografierte Bild aufgenommen wurde, separat auf einem Bildschirm angezeigt werden, kann ein Benutzer mit einem Blick die gesamte Entsprechungsbeziehung zwischen dem fotografierten Bild und dem Kartenbild verstehen.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm eines Bildanzeigegeräts in einer Ausführungsform der vorliegenden Erfindung.
  • 2 ist ein erläuterndes Diagramm, das einen Sichtwinkel des Bildanzeigegeräts in der Ausführungsform der vorliegenden Erfindung zeigt.
  • 3 ist ein erläuterndes Diagramm, das die Anzeigebereiche eines fotografierten Bilds und eines Kartenbilds des Bildanzeigegeräts in der Ausführungsform der vorliegenden Erfindung zeigt.
  • 4 ist ein erläuterndes Diagramm, das den Azimutwinkel der Abbildungsrichtung einer Kamera an dem Bildanzeigegerät in der Ausführungsform der vorliegenden Erfindung zeigt.
  • 5 ist ein erläuterndes Diagramm, das eine Karte um den Abbildungsbereich der Kamera herum auf dem Bildanzeigegerät und einen Speicherbereich des Kartenbilds in der Ausführungsform der vorliegenden Erfindung zeigt.
  • 6 ist ein erläuterndes Diagramm, das ein synthetisiertes Bild des fotografierten Bilds und des Kartenbilds auf dem Bildanzeigegerät in der Ausführungsform der vorliegenden Erfindung zeigt.
  • 7 ist ein Flussdiagramm, das die Verarbeitung des Bildanzeigegeräts in der Ausführungsform der vorliegenden Erfindung beschreibt.
  • Beschreibung verschiedener Ausführungsformen
  • Im Folgenden wird ein Bildanzeigegerät in einer Ausführungsform der vorliegenden Erfindung mit Bezug auf die beigefügten Zeichnungen beschrieben. 1 ist ein Blockdiagramm des Bildanzeigegeräts in der Ausführungsform der vorliegenden Erfindung. In 1 setzt eine Sichtwinkel-Steuereinheit 11 einen horizontalen Sichtwinkel θ sowohl für eine Kamera 13 als auch für eine Kartenzeichnungseinheit 24, damit der Sichtwinkel eines fotografierten Bilds mit dem Sichtwinkel eines Kartenbilds übereinstimmt, wobei das fotografierte Bild und das Kartenbild separat auf einem Bildschirm angezeigt werden, der in einen oberen und einen unteren Abschnitt innerhalb eines Anzeigebereichs auf einer Bildanzeigeeinheit 33 unterteilt ist. Um die Fensterbereiche eines oberen Bereichs (Breite w, Höhe h1) und eines unteren Bereichs (Breite w, Höhe h2) innerhalb eines Anzeigebereichs (Breite w, Höhe h = h1 + h2) der Bildanzeigeeinheit 33 jeweils für das fotografierte Bild und das Kartenbild zuzuweisen, setzt eine Anzeigebereich-Steuereinheit 12 die Fensterbereiche (w, h1) und (w, h2) jeweils für eine Fotografiertbild-Vergrößerungs-/Verkleinerungseinheit 15 und eine Kartenbild-Vergrößerungs-/Verkleinerungseinheit 26.
  • Die Kamera 13 nimmt das fotografierte Bild in Entsprechung zu dem horizontalen Sichtwinkel θ mit einer eingestellten Brennweite auf, und eine Fotografiertbild-Speichereinheit 14 speichert das durch die Kamera 13 aufgenommene fotografierte Bild. Die Fotografiertbild-Vergrößerungs-/Verkleinerungseinheit 15 vergrößert oder verkleinert das fotografierte Bild, sodass das fotografierte Bild dem durch die Anzeigebereich-Steuereinheit 12 gesetzten oberen Fensterbereich (w, h1) entspricht, und gibt das fotografierte Bild an eine Bildsyntheseeinheit 31 aus.
  • Ein Positionssensor 21 misst Positionsinformationen (x, y), die aus einer Breite x und einer Länge y der Position der Kamera 13 bestehen, und ein Richtungssensor 22 misst einen Azimutwinkel φ einer optischen Achse durch die Mitte der Linse der Kamera 13. Eine Kartendaten-Speichereinheit 23 speichert Kartendaten, die zum Zeichnen einer Karte benötigt werden. Eine Kartenzeichnungseinheit 24 liest die Kartendaten um den Abbildungsbereich der Kamera 13 herum auf der Basis der Positionsinformationen (x, y). Außerdem verarbeitet und zeichnet die Kartenzeichnungseinheit 24 das Kartenbild derart, dass der Sichtwinkel θ und der Azimutwinkel φ dem Sichtwinkel θ und dem Azimutwinkel φ des durch die Kamera 13 aufgenommenen fotografierten Bilds entsprechen. Eine Kartenbild-Speichereinheit 25 speichert die durch die Kartenzeichnungseinheit 24 gezeichneten Kartendaten. Eine Kartenbild-Vergrößerungs-/Verkleinerungseinheit 26 schneidet das Kartenbild aus und vergrößert oder verkleinert es, sodass das Kartenbild dem durch die Anzeigebereich-Steuereinheit 12 gesetzten unteren Fensterbereich (w, h2) entspricht, und gibt das Kartenbild dann an die Bildsyntheseeinheit 31 aus. Die Bildsyntheseeinheit 31 verbindet das fotografierte Bild vertikal mit dem Kartenbild, um ein synthetisiertes Bild zu erzeugen, und speichert das synthetisierte Bild in einer Synthetisiertbild-Speichereinheit 32. Die Bildanzeigeeinheit 33 zeigt das synthetisierte Bild an.
  • Im Folgenden wird der Betrieb im Detail beschrieben. Die Sichtwinkel-Steuereinheit 11 ist eine Speichereinrichtung wie etwa ein ROM zum Speichern von einem oder mehreren vorbestimmten Winkeln als horizontalen Sichtwinkeln θ, die Parameter für das Bestimmen des Abbildungsbereichs der Kamera 13 sind. Ein Benutzer kann einen Sichtwinkel θ aus der Vielzahl von gespeicherten Sichtwinkeln mittels eines Drehbedienelements oder ähnlichem wählen. 2 ist ein Diagramm, das den Sichtwinkel θ eines Bildanzeigegeräts 100 in einer Ausführungsform der vorliegenden Erfindung zeigt. Wenn in 2 die Kamera 13 horizontal positioniert wird, ist der Sichtwinkel θ der Scheitelwinkel eines gleichschenkligen Dreiecks von Abbildungsbereichen 113 auf beiden Seiten einer Abbildungsrichtung 112, die die Richtung der optischen Achse durch die Mitte der Kameralinse ist. Dabei liegt der Sichtwinkel θ im folgenden Bereich: 0 < θ < 180°.
  • Die Anzeigebereich-Steuereinheit 12 ist eine Speichereinrichtung wie etwa ein ROM zum Speichern der Anzahl von Bildpunkten in den horizontalen und vertikalen Richtungen jedes vorbestimmten Teilbereichs, um Teilbereiche, die durch das Teilen des Anzeigebereichs der Bildanzeigeeinheit 33 in einen oberen und einen unteren Abschnitt erhalten werden, jeweils zu dem Anzeigebereich des fotografierten Bilds und zu dem Anzeigebereich des Kartenbilds zuzuweisen. 3 ist ein Diagramm, das den Anzeigebereich des fotografierten Bilds und den Anzeigebereich des Kartenbilds des Bildanzeigegeräts 100 in der Ausführungsform der vorliegenden Erfindung zeigt. Dabei wird in 3 angenommen, dass der gesamte Anzeigebereich 121 in einen oberen Abschnitt und einen unteren Abschnitt unterteilt ist, wobei der obere Abschnitt ein Fotografiertbild-Anzeigebereich 122 ist und der untere Abschnitt ein Kartenbild-Anzeigebereich 123 ist und wobei die Anzahl von Bildpunkten in der horizontalen Richtung und die Anzahl von Bildpunkten in der vertikalen Richtung des gesamten Anzeigebereichs 121 jeweils durch w und h (= h1 + h2) angegeben werden, wobei h1 die Anzahl von Bildpunkten in der vertikalen Richtung des Fotografiertbild-Anzeigebereichs 122 in dem oberen Abschnitt ist und h2 die Anzahl von Bildpunkten in der vertikalen Richtung des Kartenbild-Anzeigebereichs 123 in dem unteren Abschnitt ist.
  • Die Kamera 13 ist eine sogenannte „Digitalkamera mit einer Zoom-Funktion”, die den in der Sichtwinkel-Steuereinheit 11 gespeicherten Sichtwinkel θ liest, die Brennweite der Linse derart einstellt, dass der Sichtwinkel gleich θ ist, ein durch ein Abbildungselement wie etwa ein CCD mit vorbestimmten Zeitintervallen aufgenommenes fotografiertes Bild zu RGB-Daten wandelt und die RGB-Daten in die Fotografiertbild-Speichereinheit 14 schreibt. Die Fotografiertbild-Speichereinheit 14, die eine Speichereinrichtung wie etwa ein DRAM zum Speichern von fotografierten Bildern ist, speichert die aufgenommenen fotografierten Bilder primär in der Form von RGB-Daten.
  • Die Fotografiertbild-Vergrößerungs-/Verkleinerungseinheit 15 liest die Größe des Fotografiertbild-Anzeigebereichs 122 aus der Anzeigebereich-Steuereinheit 12, liest das fotografierte Bild aus der Fotografiertbild-Speichereinheit 14 und erzeugt RGB-Daten des fotografierten Bilds, das vergrößert oder verkleinert wird, um der Größe des Fotografiertbild-Anzeigebereichs 122 zu entsprechen. Wenn zum Beispiel das fotografierte Bild eine Größe von W [Bildpunkten] in der horizontalen Richtung und H [Bildpunkten] in der vertikalen Richtung aufweist und der Fotografiertbild-Anzeigebereich 122 eine Größe von w [Bildpunkten] in der horizontalen Richtung und h1 [Bildpunkten] in der vertikalen Richtung aufweist, wird das fotografierte Bild auf das (w/W)-Fache in der horizontalen Richtung und das (h1/H)-Fache in der vertikalen Richtung vergrößert.
  • Der Positionssensor 21 ist eine Sensoreinrichtung, die kontinuierlich Breiten-/Längendaten mit vorbestimmten, regelmäßigen Zeitintervallen unter Verwendung von GPS misst und die Positionsinformationen (x, y) der Kamera 13 über eine serielle Verbindung oder ähnliches nach außen kommuniziert. Der Richtungssensor 22 ist eine Sensoreinrichtung, die kontinuierlich einen Azimutwinkel auf der Basis des Nordens mit vorbestimmten, regelmäßigen Zeitintervallen unter Verwendung eines elektronischen Kompasses misst und den Azimutwinkel φ in der Abbildungsrichtung der optischen Achse durch die Mitte der Linse der Kamera 13 über eine serielle Verbindung oder ähnliches nach außen kommuniziert. 4 ist ein Diagramm, das den Azimutwinkel φ in der Abbildungsrichtung der Kamera 13 an dem Bildanzeigegerät 100 in der Ausführungsform der vorliegenden Erfindung zeigt, wobei der Winkel zwischen der Abbildungsrichtung 112 der Kamera 13 und der wahren Nordrichtung (N) 133 der Azimutwinkel φ ist.
  • Die Kartendaten-Speichereinheit 23 ist eine Speichereinrichtung wie etwa ein Flash-Speicher zum Speichern von Kartendaten, die für das Zeichnen einer Karte benötigt werden. Die Kartenzeichnungseinheit 24 liest die Positionsinformationen (x, y) der Kamera 13 und den Azimutwinkel φ der Kamera 13 jeweils aus dem Positionssensor 21 und dem Richtungssensor 22 über eine serielle Verbindung und liest den in der Sichtwinkel-Steuereinheit 11 gespeicherten Sichtwinkel θ. Außerdem liest die Kartenzeichnungseinheit 24 die Kartendaten um den Abbildungsbereich der Kamera 13 herum aus der Kartendaten-Speichereinheit 23 gemäß den Positionsinformationen (x, y) der Kamera 13, dem Azimutwinkel φ und dem Sichtwinkel θ und verarbeitet und zeichnet das Kartenbild derart, dass der Sichtwinkel θ und der Azimutwinkel φ dem Sichtwinkel θ und dem Azimutwinkel φ des durch die Kamera 13 aufgenommenen fotografierten Bild entsprechen. Die Kartenbild-Speichereinheit 25, die eine Speichereinrichtung wie etwa ein DRAM zum Speichern von Kartenbildern ist, speichert die gezeichneten Kartenbilder primär in der Form von RGB-Daten.
  • 5 ist ein Diagramm, das eine Abbildungsbereich-Nachbarschaftskarte 145 der Kamera 13 und einen Kartenbild-Speicherbereich 146 des Bildanzeigegeräts 100 in der Ausführungsform der vorliegenden Erfindung zeigt. In 5 ist die Kamera 13 derart positioniert, dass die Abbildungsrichtung 112 der Kamera 13 direkt über der Karte liegt, wobei die Position der Kamera 13 auf der Karte aus den Breiten-/Längendaten, die den Positionsinformationen (x, y) der Kamera 13 entsprechen, als die Kameraposition O berechnet wird. 5 zeigt: einen Abbildungsbereich 113 auf der Karte für den Fall eines Sichtwinkels θ; eine wahre Nordrichtung 133 auf der Karte für den Fall eines Azimutwinkels φ; die Bildbereich-Nachbarschaftskarte 145 die eine um den Azimutwinkel φ um die Kameraposition O gedrehte Karte ist; und den Kartenbild-Speicherbereich 146, der ein rechteckiger Bereich mit der Kameraposition O auf seiner Seite ist, wobei ein willkürlicher Punkt A an der Grenze des Abbildungsbereichs 113 und ein Punkt B symmetrisch zu dem Punkt A in Bezug auf die Abbildungsrichtung 112 als Scheitel vorgesehen sind. Die Kartenzeichnungseinheit 24 wandelt das Kartenbild in dem Bildspeicherbereich 146 zu RGB-Daten und schreibt die RGB-Daten in die Kartenbild-Speichereinheit 25.
  • Die Kartenbild-Vergrößerungs-/Verkleinerungseinheit 26 liest die Größe des Kartenbild-Anzeigebereichs 123 aus der Anzeigebereich-Steuereinheit 12, liest das Kartenbild aus der Kartenbild-Speichereinheit 25 und erstellt die RGB-Daten des Kartenbilds, das vergrößert oder verkleinert wurde, um der Größe des Kartenbild-Anzeigebereichs 123 zu entsprechen. Wenn zum Beispiel das Kartenbild eine Größe von M [Bildpunkten] in der horizontalen Richtung und N [Bildpunkten] in der vertikalen Richtung aufweist und der Kartenbild-Anzeigebereich 123 eine Größe von w [Bildpunkten] in der horizontalen Richtung und h2 [Bildpunkten] in der vertikalen Richtung aufweist, wird das Kartenbild zu dem (w/M)-Fachen in der horizontalen Richtung und zu dem (h2/N)-Fachen in der vertikalen Richtung vergrößert.
  • Die Bildsyntheseeinheit 31 liest die durch die Fotografiertbild-Vergrößerungs-/Verkleinerungseinheit 15 erzeugten RGB-Daten des fotografierten Bilds und die durch die Kartenbild-Vergrößerungs-/Verkleinerungseinheit 26 erzeugten RGB-Daten des Kartenbilds, erzeugt ein synthetisiertes Bild durch das Verbinden der RGB-Daten an oberen und unteren Positionen und schreibt das synthetisierte Bild in der Form von RGB-Daten in die Synthetisiertbild-Speichereinheit 32. Die Synthetisiertbild-Speichereinheit 32, die eine Speichereinrichtung wie etwa ein DRAM zum Speichern von synthetisierten Bildern ist, speichert das erzeugte synthetisierte Bild primär in der Form von RGB-Daten. Die Bildanzeigeeinheit 33, die eine Anzeige wie etwa eine Flüssigkristallanzeige zum Anzeigen eines Bilds ist, liest die in der Synthetisiertbild-Speichdereinheit 32 gespeicherten RGB-Daten des synthetisierten Bilds mit regelmäßigen Zeitintervallen und zeigt dieselben an.
  • 6 ist ein Diagramm, das das synthetisierte Bild des fotografierten Bilds und des Kartenbilds auf dem Bildanzeigegerät 100 in der Ausführungsform der vorliegenden Erfindung zeigt. In 6 wird der vollständige Anzeigebereich 121 erzeugt, indem der Fotografiertbild-Anzeigebereich 122 und der Kartenbild-Anzeigebereich 123 an den oberen und unteren Positionen verbunden werden. In dem Kartenbild-Anzeigebereich 123 werden ein Kamerabild 13a zum Wiedergeben der Kameraposition auf der Karte, ein Turm 165, der in der Kameraabbildungsrichtung 112 innerhalb des Kameraabbildungsbereichs 113 angeordnet ist, ein Gebäude 166, das in einer anderen Richtung als der Abbildungsrichtung 112 angeordnet ist, und eine Hilfslinie 164 zum Wiedergeben der Richtung des Gebäudes 166 angezeigt.
  • Wenn dabei Endpunkte A und B der Grenzlinie zwischen dem fotografierten Bild und dem Kartenbild und ein Schnittpunkt C zwischen der Hilfslinie 164 und der Grenzlinie AB angenommen werden, entspricht der Sichtwinkel θ des fotografierten Bilds dem Sichtwinkel θ des Kartenbilds an den Endpunkten A und B, sodass der falsche Azimutwinkel des fotografierten Bilds dem falschen Azimutwinkel des Kartenbilds auch an dem Punkt C an der Grenzlinie AB entspricht. Dementsprechend wird in dem Fotografiertbild-Anzeigebereich 122 ein Turm 167 auf dem fotografierten Bild in Entsprechung zu dem Turm 165 auf der Karte auf der verlängerten Linie in dem Abbildungsbereich 112 angezeigt. Weiterhin wird ein Gebäude 168 auf dem fotografierten Bild in Entsprechung zu dem Gebäude 166 auf der Karte an einer Position über dem Schnittpunkt C angezeigt.
  • Im Folgenden wird der Verarbeitungsbetrieb des Bildanzeigegeräts mit der vorstehend erläuterten Konfiguration beschrieben. 7 ist ein Flussdiagramm zu der Verarbeitung des Bildanzeigegeräts 100 in der Ausführungsform der vorliegenden Erfindung. Zuerst lesen in Schritt S101 die Kamera 13 und die Kartenzeichnungseinheit 24 den Sichtwinkel θ aus der Sichtwinkel-Steuereinheit 11. Weiterhin liest die Kartenzeichnungseinheit 24 die Breiten-/Längendaten als Positionsinformationen (x, y) der Kamera aus dem Positionssensor 21 und den Azimutwinkel φ aus dem Richtungssensor 22.
  • Dann schreibt in Schritt S102 die Kamera 13 das mit dem Sichtwinkel θ durch die Kamera 13 aufgenommene fotografierte Bild in die Fotografiertbild-Speichereinheit 14. Danach liest in Schritt S103 die Fotografiertbild-Vergrößerungs-/Verkleinerungseinheit 15 die Anzahl von Bildpunkten w in der horizontalen Richtung und die Anzahl von Bildpunkten h1 in der vertikalen Richtung als die Größe des Fotografiertbild-Anzeigebereichs 122 aus der Anzeigebereich-Steuereinheit 12. Weiterhin liest in Schritt S104 die Fotografiertbild-Vergrößerungs-/Verkleinerungseinheit 15 das fotografierte Bild aus der Fotografiertbild-Speichereinheit 14 und vergrößert oder verkleinert das fotografierte Bild, um eine Entsprechung der Anzahl von Bildpunkten in der horizontalen Richtung mit w und der Anzahl von Bildpunkten in der vertikalen Richtung mit h1 zu erzielen.
  • Weiterhin liest in Schritt S105 die Kartenzeichnungseinheit 24 die Kartendaten aus der Kartendaten-Speichereinheit 23, verarbeitet und zeichnet die Abbildungsbereich-Nachbarschaftskarte 145 derart, dass die verarbeitete Karte dem Sichtwinkel θ, der Abbildungsrichtung 112 und dem Abbildungsbereich 113 der Kamera entspricht, und schreibt das Kartenbild in dem Bildspeicherbereich 146 in die Kartenbild-Speichereinheit 25. Danach liest in Schritt S106 die Kartenbild-Vergrößerungs-/Verkleinerungseinheit 26 die Anzahl von Bildpunkten w in der horizontalen Richtung und die Anzahl von Bildpunkten h2 in der vertikalen Richtung als die Größe des Kartenbild-Anzeigebereichs 123 aus der Anzeigebereich-Steuereinheit 12. Weiterhin liest in Schritt S107 die Kartenbild-Vergrößerungs-/Verkleinerungseinheit 26 das Kartenbild aus der Kartenbild-Speichereinheit 25 und vergrößert oder verkleinert das Kartenbild, um eine Entsprechung der Anzahl von Bildpunkten in der horizontalen Richtung mit w und der Anzahl von Bildpunkten in der vertikalen Richtung mit h2 zu erzielen.
  • In Schritt S108 liest die Bildsyntheseeinheit 31 das in Schritt S104 erzeugte fotografierte Bild in den Fotografiertbild-Anzeigebereich 122 und das in Schritt S107 erzeugte Kartenbild in den Kartenbild-Anzeigebereich 123, erzeugt ein synthetisiertes Bild in dem gesamten Anzeigebereich und schreibt das synthetisierte Bild in die Synthetisiertbild-Speichereinheit 32. Dann liest in Schritt S109 die Bildanzeigeeinheit 33 das synthetisierte Bild aus der Synthetisiertbild-Speichereinheit 32 und aktualisiert den Inhalt auf der Anzeige. Dann wird in Schritt S110 der Abschluss bestätigt. Wenn die Operation abgeschlossen ist, kehrt die Steuerung zu Schritt S101 zurück.
  • Wie zuvor beschrieben, werden gemäß der Ausführungsform ein dreidimensionales fotografiertes Bild und ein zweidimensionales Kartenbild derart verarbeitet und als ein Bild mit einer Kontinuität angezeigt, dass der Sichtwinkel des dreidimensionalen fotografierten Bilds dem Sichtwinkel des zweidimensionalen Kartenbilds entspricht. Deshalb kann ein Benutzer mit einem Blick die gesamte Entsprechungsbeziehung zwischen dem fotografierten Bild und dem Kartenbild verstehen, ohne ein willkürliches Strukturobjekt zu spezifizieren. In der vorstehenden Ausführungsform verarbeitet die Kartenzeichnungseinheit 24 das Kartenbild derart, dass der Sichtwinkel des Kartenbilds dem Sichtwinkel des fotografierten Bilds entspricht, wobei diese Verarbeitung alternativ hierzu aber auch durch die Kartenbild-Vergrößerungs-/Verkleinerungseinheit 26 durchgeführt werden kann.
  • Die für die Beschreibung der vorstehenden Ausführungsform verwendeten Funktionsblöcke können als eine durch einen integrierten Schaltkreis gebildete LSI implementiert werden. Dabei können die Funktionsblöcke jeweils einzelne Chips sein oder teilweise oder auch vollständig zu einem einzelnen Chip integriert sein. Die LSI kann je nach dem verwendeten Integrationsgrad ein einfacher IC, eine System-LSI, eine Super-LSI oder eine Ultra-LSI sein. Das Verfahren zum Implementieren des integrierten Schaltkreises ist nicht auf eine LSI beschränkt, wobei auch eine beliebige andere Implementierung mit einem dedizierten Schaltkreis oder ein Universalprozessor verwendet werden kann. Außerdem können eine feldprogrammierbare Gatteranordnung (FPGA) oder ein rekonfigurierbarer Prozessor, bei dem die Verbindungen und Einstellungen der Schaltungszellen in einer LSI rekonfiguriert werden können, verwendet werden. Und wenn eine neue Technologie zum Implementieren eines integrierten Schaltkreises anstelle der LSI im Zusammenhang mit der Entwicklung der Halbleitertechnik oder einer anderen damit in Zusammenhang stehenden Technik verfügbar wird, können die Funktionsblöcke natürlich unter Verwendung dieser Technologie integriert werden. Zum Beispiel kann die Biotechnologie angewendet werden.
  • Industrielle Anwendbarkeit
  • Das Bildanzeigegerät der vorliegenden Erfindung weist den vorteilhaften Effekt auf, dass ein Benutzer mit einem Blick die gesamte Entsprechungsbeziehung zwischen einem dreidimensionalen fotografierten Bild und einem zweidimensionalen Kartenbild an einer Position, wo das fotografierte Bild aufgenommen wurde, verstehen kann, wenn das fotografierte Bild und das Kartenbild separat auf einem Bildschirm angezeigt werden, und ist von Nutzen für den Entwurf und die Herstellung eines in einem Fahrzeug integrierten Navigationsgeräts, eines Fußgänger-Navigationsgeräts, eines in einem Fahrzeug integrierten Informationsbereitstellungsgeräts und eines tragbaren Informationsbereitstellungsgeräts.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2007-127437 [0003]

Claims (2)

  1. Bildanzeigegerät, das separat mittels einer Teilung ein durch eine Abbildungseinheit aufgenommenes fotografiertes Bild und ein Kartenbild auf einem Bildschirm anzeigt, wobei das Bildanzeigegerät umfasst: eine Einheit, die einen Sichtwinkel, eine Abbildungsposition und eine Abbildungsrichtung der Abbildungseinheit erfasst, und eine Einheit, die das Kartenbild derart verarbeitet, dass die Richtung des Kartenbilds der Nachbarschaft um die erfasste Abbildungsposition herum der erfassten Abbildungsrichtung entspricht und dass der Sichtwinkel des Kartenbilds dem erfassten Sichtwinkel der Abbildungseinheit entspricht.
  2. Bildanzeigegerät nach Anspruch 1, wobei: der Bildschirm in einen oberen und einen unteren Bereich unterteilt ist, um das fotografierte Bild in dem oberen Teilbereich anzuzeigen und das verarbeitete Kartenbild in dem unteren Teilbereich anzuzeigen, und der Sichtwinkel der Abbildungseinheit zusammen mit dem verarbeiteten Kartenbild in dem unteren Teilbereich angezeigt wird.
DE201211001464 2011-03-28 2012-03-08 Bildanzeigegerät Pending DE112012001464T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-2011-070231 2011-03-28
JP2011070231 2011-03-28
PCT/JP2012/001585 WO2012132257A1 (ja) 2011-03-28 2012-03-08 画像表示装置

Publications (1)

Publication Number Publication Date
DE112012001464T5 true DE112012001464T5 (de) 2013-12-24

Family

ID=46930052

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201211001464 Pending DE112012001464T5 (de) 2011-03-28 2012-03-08 Bildanzeigegerät

Country Status (5)

Country Link
US (1) US9066018B2 (de)
JP (1) JP6089337B2 (de)
CN (1) CN103443839B (de)
DE (1) DE112012001464T5 (de)
WO (1) WO2012132257A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6171705B2 (ja) * 2013-08-07 2017-08-02 富士通株式会社 地図情報取得プログラム、地図情報取得方法及び地図情報取得装置
CN104748738B (zh) * 2013-12-31 2018-06-15 深圳先进技术研究院 室内定位导航方法和系统
JP6391507B2 (ja) * 2015-03-18 2018-09-19 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーションプログラム、及びナビゲーション方法
CN107590877A (zh) * 2016-07-08 2018-01-16 昆山研达电脑科技有限公司 行车记录仪拍摄角度的自动检测系统及方法
CN106303230B (zh) * 2016-08-05 2020-04-03 浙江大华技术股份有限公司 一种视频处理方法及装置
EP4160150A1 (de) * 2016-08-26 2023-04-05 Panasonic Intellectual Property Corporation of America Verfahren zur verarbeitung dreidimensionaler informationen und vorrichtung zur verarbeitung dreidimensionaler informationen
CN110617821B (zh) * 2018-06-19 2021-11-02 北京嘀嘀无限科技发展有限公司 定位方法、装置及存储介质
CN113115000B (zh) * 2021-04-12 2022-06-17 浙江商汤科技开发有限公司 地图生成方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007127437A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 情報表示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184375A (ja) * 1997-12-25 1999-07-09 Toyota Motor Corp デジタル地図データ処理装置及びデジタル地図データ処理方法
JP2002341755A (ja) * 2001-05-16 2002-11-29 Mitsubishi Electric Corp 映像表示装置
JP2002369189A (ja) * 2001-06-06 2002-12-20 Ffc:Kk カメラ映像表示装置およびカメラ映像表示方法
CA2526105C (en) * 2003-06-20 2010-08-10 Mitsubishi Denki Kabushiki Kaisha Image display method and image display apparatus
JP4363642B2 (ja) * 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
JP4038529B1 (ja) * 2006-12-05 2008-01-30 株式会社ナビタイムジャパン ナビゲーションシステム、携帯端末装置および周辺画像表示方法
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
US8264584B2 (en) * 2007-05-31 2012-09-11 Panasonic Corporation Image capturing apparatus, additional information providing server, and additional information filtering system
JP4462331B2 (ja) * 2007-11-05 2010-05-12 ソニー株式会社 撮像装置、制御方法、プログラム
CN101435706A (zh) * 2007-11-14 2009-05-20 环隆电气股份有限公司 道路影像辨识导航装置与导航方法
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
CN101487711B (zh) * 2008-01-18 2011-10-05 华晶科技股份有限公司 具有影像轨迹记录显示、浏览及导航功能的装置及其方法
CN101588482A (zh) * 2009-06-02 2009-11-25 石黎 一种车载虚拟全景电子系统
CN101625772B (zh) * 2009-08-06 2011-09-07 安霸半导体技术(上海)有限公司 车载导航与视频记录一体化系统及方法
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007127437A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 情報表示装置

Also Published As

Publication number Publication date
WO2012132257A1 (ja) 2012-10-04
US9066018B2 (en) 2015-06-23
JP6089337B2 (ja) 2017-03-08
CN103443839B (zh) 2016-04-13
US20130321688A1 (en) 2013-12-05
CN103443839A (zh) 2013-12-11
JPWO2012132257A1 (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
DE112012001464T5 (de) Bildanzeigegerät
DE112012003383B4 (de) Vorrichtung und Verfahren zum Erzeugen von Bilddaten
DE60310145T2 (de) Rundum-Beobachtungssystem und -verfahren
DE112011105371T5 (de) Vorrichtung zum Synthetisieren von dreidimensionalen Bildern zum Visualisieren der Fahrzeugumgebung und zugehöriges Verfahren
DE102007044605B4 (de) Vermessungsgerät
DE102013220669A1 (de) Dynamische Rückspiegelanzeigemerkmale
DE112016006583T5 (de) Vorrichtung und Verfahren zur Dimensionierung unter Verwendung von digitalen Bildern und Tiefendaten
DE202010018459U1 (de) System zur Darstellung von Übergängen zwischen Strassenansichten
DE102017002626A1 (de) Automatischer Umfeldsichthomographiematrixabgleich und System und Verfahren zur Kalibrierung desselben
DE112013000762T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
DE112010005661T5 (de) Fahrzeugumgebungs-Überwachungsvorrichtung
DE102010038939A1 (de) Bildkorrekturvorrichtung und -verfahren und Verfahren zur Herstellung einer Transformationskarte hierfür
DE102008046398A1 (de) Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt
DE202014010969U1 (de) Kamerafähiges Mobilgerät
DE102012210521A1 (de) Unbeschnittene Zeit- und Linsen-Begrenzungen für verbesserte Probentest- Effizienz bei Bild-Rendering
DE112007003553B4 (de) Merkmalsdetektionsvorrichtung und -verfahren zum Messen von Objektabständen
DE112016003546T5 (de) Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu
DE102014114565A1 (de) Vogelperspektiveansichtsbildgenerierungsvorrichtung
DE102012215026A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
EP2223184A1 (de) Projektion mit dynamischer anpassung der bilddaten
DE102016203710A1 (de) Abstands- und Richtungsschätzung eines Zielpunkts von einem Fahrzeug unter Verwendung einer monokularen Videokamera
DE69925696T2 (de) Bildaufnahmevorrichtung, Bildanzeigevorrichtung und Informationsaufzeichnungsmedium mit einem Fischaugenobjektiv
EP2350977B1 (de) Verfahren zur bildfusion von zumindest zwei bildern zu einem panoramabild
DE102015105529A1 (de) Verfahren zum Transformieren eines Bildes einer virtuellen Kamera, Computerprogrammprodukt, Anzeigesystem und Kraftfahrzeug
DE112018000677T5 (de) Vorrichtung zur Positionsbestimmung und Verfahren zur Positionsbestimmung

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

R081 Change of applicant/patentee

Owner name: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT CO., JP

Free format text: FORMER OWNER: PANASONIC CORPORATION, KADOMA-SHI, OSAKA, JP

Effective date: 20150205

R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

Effective date: 20150205

R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: PANASONIC AUTOMOTIVE SYSTEMS CO., LTD., YOKOHA, JP

Free format text: FORMER OWNER: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT CO., LTD., OSAKA, JP