DE112017007923T5 - Anzeigesteuerungsvorrichtung, Anzeigesteuerungsverfahren und Anzeigesystem - Google Patents

Abstract

Die Folgenden sind enthalten: eine externe Informationserfassungseinheit (10), die ein in einer realen Szenerie existierendes reales Objekt detektiert; eine Einheit zur Erfassung eines auszublendenden Bereichs (40), die auf der Grundlage einer Tiefenbeziehung zwischen einer Überlagerungsposition des virtuellen Objekts und des realen Objekts und einer Positionsbeziehung auf einem Bildschirm einer Anzeigevorrichtung (4) zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts einen auszublendenden Bereich erfasst, der ein Bereich in einem virtuellen Objekt ist, in dem das reale Objekt vor der Überlagerungsposition des virtuellen Objekts angeordnet werden soll; eine Erkennbarkeitsbestimmungseinheit (50), die eine Erkennbarkeit berechnet, die verwendet wird, um zu bestimmen, ob Informationen, die durch das virtuelle Objekt angezeigt werden, erkennbar sind oder nicht, wenn der auszublendende Bereich ausgeblendet ist, und um zu bestimmen, ob die Erkennbarkeit gleich oder größer als ein Schwellenwert ist oder nicht; und eine Steuereinheit (30), die, wenn die Erkennbarkeit gleich oder größer als der Schwellenwert ist, ein weiteres virtuelles Objekt erzeugt, das durch Ausblenden des auszublendenden Bereichs des virtuellen Objekts erhalten wird, und die, wenn die Erkennbarkeit kleiner als der Schwellenwert ist, ein weiteres virtuelles Objekt erzeugt, das durch Ändern einer Anzeigeform des virtuellen Objekts erhalten wird.

Description

• TECHNISCHER BEREICH
• Die vorliegende Erfindung betrifft eine Anzeigesteuerungsvorrichtung, ein Anzeigesteuerungsverfahren und ein Anzeigesystem.
• STAND DER TECHNIK
• AR (Augmented Reality) Anzeigesysteme, die in Fahrzeugen o.ä. eingebaut sind und ein virtuelles Objekt wie z.B. einen Navigationspfeil o.ä. zur Überlagerung der realen Szenerie anzeigen, sind weit verbreitet.
• In der Patentliteratur 1 wird ein Fahrzeugnavigationssystem offenbart, bei dem, wenn sich ein vorausfahrendes Fahrzeug als Hindernis und ein Navigationspfeil als Informationskommunikationsteil überlappen, der überlappende Bereich im Informationskommunikationsteil gelöscht wird. Nach einer solchen Konfiguration ist es möglich, sowohl das vordere Fahrzeug als auch den Navigationspfeil visuell zu erkennen, ohne dass das vordere Fahrzeug durch den Navigationspfeil behindert wird.
• ZITIERLISTE
• PATENTLITERATUR
• Patentliteratur 1: Japanische offengelegte Patentanmeldung Nr. 2005-69799 ([0120], 20)
• ZUSAMMENFASSUNG DER ERFINDUNG
• TECHNISCHES PROBLEM
• Wie oben beschrieben, wird im Fahrzeugnavigationssystem, das in Patentliteratur 1 offenbart wurde, in Bezug auf einen Bereich, in dem sich das Fahrzeug und der Navigationspfeil gegenseitig überlappen, die Verarbeitung des Löschens des Überlappungsbereichs aus dem Navigationspfeil (im Folgenden als „Ausblendungsverarbeitung“ bezeichnet) durchgeführt. Bei der Ausblendungsverarbeitung werden jedoch Details des Überlappungsbereichs, wie z.B. der Bereich, die Position o.ä. des Bereichs, in dem ein reales Objekt und ein virtuelles Objekt einander überlappen, nicht berücksichtigt. Dementsprechend gibt es beispielsweise das Problem, dass bei einer großen Fläche des Überlappungsbereichs die Fläche des ausgeblendeten Bereichs groß wird, so dass die durch das virtuelle Objekt angezeigte Information unklar wird.
• Diese Erfindung wurde gemacht, um das Problem wie oben beschrieben zu lösen, und ein Gegenstand davon ist es, eine Anzeigesteuerungsvorrichtung, ein Anzeigesteuerungsverfahren und ein Anzeigesystem zur Verfügung zu stellen, die verhindern, dass die durch ein virtuelles Objekt angezeigte Information unklar wird, selbst wenn die Ausblendungsverarbeitung in einem Bereich durchgeführt wird, in dem das virtuelle Objekt und ein reales Objekt einander überlappen.
• LÖSUNG DES PROBLEMS
• Eine Anzeigesteuerungsvorrichtung nach der vorliegenden Erfindung steuert eine Anzeigevorrichtung, die ein virtuelles Objekt über eine reale Szenerie legt und beinhaltet: eine externe Informationserfassungseinheit, die ein in der realen Szenerie existierendes reales Objekt erfasst; eine Einheit zur Erfassung eines auszublendenden Bereichs, die auf der Grundlage einer Tiefenbeziehung zwischen einer Überlagerungsposition des virtuellen Objekts und des realen Objekts und einer Positionsbeziehung auf einem Bildschirm der Anzeigevorrichtung zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts einen auszublendenden Bereich erfasst, der ein Bereich in dem virtuellen Objekt ist, in dem das reale Objekt vor der Überlagerungsposition des virtuellen Objekts angeordnet werden soll; eine Erkennbarkeitsbestimmungseinheit, die eine Erkennbarkeit berechnet, die verwendet wird, um zu bestimmen, ob die durch das virtuelle Objekt angezeigte Information erkennbar ist oder nicht, wenn der auszublendende Bereich ausgeblendet ist, und um zu bestimmen, ob die Erkennbarkeit gleich oder größer als ein Schwellenwert ist oder nicht; und eine Steuereinheit, die, wenn die Erkennbarkeit gleich oder größer als der Schwellenwert ist, ein anderes virtuelles Objekt erzeugt, das durch Ausblenden des auszublendenden Bereichs des virtuellen Objekts erhalten wird, und die, wenn die Erkennbarkeit kleiner als der Schwellenwert ist, ein anderes virtuelles Objekt erzeugt, das durch Ändern einer Anzeigeform des virtuellen Objekts erhalten wird.
• VORTEILHAFTE AUSWIRKUNGEN DER ERFINDUNG
• Laut der Erfindung ist es möglich, eine Anzeigesteuerungsvorrichtung, ein Anzeigesteuerungsverfahren und ein Anzeigesystem bereitzustellen, die verhindern, dass die durch ein virtuelles Objekt angezeigten Informationen unklar werden, selbst wenn die Ausblendungsverarbeitung in einem Bereich durchgeführt wird, in dem das virtuelle Objekt und ein reales Objekt einander überlappen.
• Figurenliste
• 1 ist ein Blockdiagramm, das eine Konfiguration einer Anzeigesteuerungsvorrichtung gemäß der Ausführungsform 1 zeigt.
• 2 ist ein Diagramm zur Veranschaulichung eines virtuellen Objekts nach der Ausblendungsverarbeitung.
• 3 ist ein Diagramm zur Veranschaulichung von Bildinformationen eines virtuellen Objekts und zur Überlagerung von Positionsinformationen des virtuellen Objekts.
• 4 ist ein weiteres Diagramm zur Veranschaulichung von Bildinformationen eines virtuellen Objekts und zur Überlagerung von Positionsinformationen des virtuellen Objekts.
• 5 ist ein Flussdiagramm zur Veranschaulichung der Funktionsweise der Anzeigesteuerungsvorrichtung gemäß der Ausführungsform 1.
• 6A ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte gemäß der Ausführungsform 1.
• 6B ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte gemäß Ausführungsform 1.
• 7 ist ein Diagramm, das einen Fall zeigt, in dem festgestellt wird, dass es einen auszublendenden Bereich gibt.
• 8 ist ein Diagramm, das ein Beispiel für das virtuelle Objekt nach der Ausblendungsverarbeitung zeigt.
• 9 ist ein Diagramm, das ein Beispiel für ein virtuelles Objekt in einem Fall zeigt, in dem seine Anzeigeform geändert wird.
• 10 ist ein Blockdiagramm, das eine Konfiguration einer Anzeigesteuerungsvorrichtung gemäß der Ausführungsform 2 zeigt.
• 11 ist ein Diagramm, das ein Beispiel für das Einstellen von Wichtigkeitsgraden in einem virtuellen Objekt zeigt.
• 12A ist ein Flussdiagramm zur Veranschaulichung der Erzeugung virtueller Objekte gemäß der Ausführungsform 2.
• 12B ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte gemäß der Ausführungsform 2.
• 13 ist ein Diagramm, das einen Fall zeigt, in dem ein kopfseitiger Bereich in einem Pfeil zu einem auszublendenden Bereich bestimmt wird.
• 14 ist ein Diagramm, das einen Fall zeigt, in dem ein kopfseitiger Bereich in einem Pfeil nicht zu einem auszublendenden Bereich bestimmt wird.
• 15 ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte gemäß der Ausführungsform 3.
• 16 ist ein Diagramm, das einen Fall zeigt, in dem ein Benutzer eine Funktion zur Hervorhebung eines nahegelegenen Fahrzeugs oder eines nahegelegenen Fußgängers verwendet.
• 17 ist ein Diagramm, das einen Bereich eines virtuellen Objekts vor der Ausblendungsverarbeitung zeigt.
• 18 ist ein Diagramm, das einen Bereich des virtuellen Objekts nach der Ausblendungsverarbeitung zeigt.
• 19 ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte gemäß der Ausführungsform 4.
• 20 ist ein Diagramm zur Veranschaulichung eines Bereichs eines wichtigen Bereichs in einem virtuellen Objekt vor der Ausblendungsverarbeitung.
• 21 ist ein Diagramm zur Veranschaulichung eines Bereichs eines wichtigen Bereichs in einem virtuellen Objekt nach der Ausblendungsverarbeitung.
• 22A ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte gemäß der Ausführungsform 5.
• 22B ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte gemäß der Ausführungsform 5.
• 23 ist ein Diagramm zur Veranschaulichung der Wichtigkeitsgrade der jeweiligen Pixel.
• 24 ist ein Diagramm zur Veranschaulichung von Wichtigkeitsgraden in einem auszublendenden Bereich.
• 25 ist ein Diagramm zur Veranschaulichung der Erkennbarkeit eines virtuellen Objekts nach der Ausblendungsverarbeitung.
• 26 ist ein Flussdiagramm zur Veranschaulichung der Erzeugungsverarbeitung virtueller Objekte nach Ausführungsform 6.
• 27 ist ein Diagramm, das ein Beispiel für einen Bereich zeigt, der für die Anzeige virtueller Objekte geeignet ist.
• 28 ist ein Diagramm, das ein weiteres Beispiel für einen Bereich zeigt, der für die Anzeige virtueller Objekte geeignet ist.
• 29 ist ein Diagramm zur Veranschaulichung eines Bereichs (effektiver Bereich), der sich zur Darstellung eines wichtigen Bereichs in einem virtuellen Objekt eignet.
• 30 ist ein Diagramm, das ein Beispiel für die Verschiebung des wichtigen Bereichs in dem virtuellen Objekt in einen effektiven Bereich zeigt.
• 31 ist ein Diagramm, das ein weiteres Beispiel für die Verschiebung des wichtigen Bereichs im virtuellen Objekt in einen effektiven Bereich zeigt.
• 32 ist ein Diagramm, das ein Beispiel für mehrere voreingestellte virtuelle Objekte zeigt.
• 33A und 33B sind Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel für eine Anzeigesteuerungsvorrichtung zeigen.
• BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
• Ausführungsform 1
• Im Folgenden werden zur näheren Veranschaulichung der Erfindung einige Ausführungsformen der Erfindung anhand der beiliegenden Zeichnungen beschrieben.
• 1 ist ein Blockdiagramm, das eine Konfiguration einer Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 1 zeigt.
• Die Anzeigesteuerungsvorrichtung 100 ist konfiguriert, eine externe Informationserfassungseinheit 10, eine Positionsinformationserfassungseinheit 20, eine Steuereinheit 30, eine Einheit zur Erfassung eines auszublendenden Bereichs 40, eine Erkennbarkeitsbestimmungseinheit 50 und ähnliches zu enthalten.
• Die Anzeigesteuerungsvorrichtung 100 ist mit einer Kamera 1, einem Sensor 2, einer Navigationsvorrichtung 3 und einer Anzeigevorrichtung 4 verbunden. Die Anzeigesteuerungsvorrichtung 100 ist beispielsweise eine Vorrichtung, die in einem Fahrzeug eingebaut ist, oder ein mobiles Endgerät, das in ein Fahrzeug gebracht wird, während es von einem Fahrgast mitgeführt wird. Das mobile Endgerät ist z.B. eine tragbare Navigationsvorrichtung, ein Tablet-PC oder ein Smartphone.
• In den obigen Ausführungen wird beschrieben, dass die Anzeigesteuerungsvorrichtung 100 eine Vorrichtung ist, die in einem Fahrzeug eingebaut ist oder in ein Fahrzeug gebracht werden soll; dies ist jedoch nicht einschränkend, und die Anzeigesteuerungsvorrichtung kann in einem anderen Verkehrsmittel verwendet werden, das mit der Kamera 1, dem Sensor 2, der Navigationsvorrichtung 3 und der Anzeigevorrichtung 4 ausgestattet ist. Wenn ein mobiles Endgerät die Anzeigesteuerungsvorrichtung 100, die Kamera 1, den Sensor 2, die Navigationsvorrichtung 3 und die Anzeigevorrichtung 4 enthält, kann die Anzeigesteuerungsvorrichtung während des Gehens verwendet werden, ohne in ein Fahrzeug gebracht zu werden.
• Die Anzeigesteuerungsvorrichtung 100 steuert die Anzeigevorrichtung 4, die ein virtuelles Objekt auf die reale Szenerie überlagert. In der Ausführungsform 1 wird ein Fall beschrieben, in dem ein Head-up-Display als Anzeigevorrichtung 4 verwendet wird.
• 2 ist ein Diagramm zur Veranschaulichung eines virtuellen Objekts nach der Ausblendungsverarbeitung.
• In dem in 2 gezeigten Fall ist das virtuelle Objekt ein Navigationspfeil. 2 zeigt eine Situation, in der ein Fahrzeug, das ein tatsächliches Objekt (im Folgenden als reales Objekt bezeichnet) ist, zwischen einer aktuellen Position eines Benutzers und einer Position in Tiefenrichtung des virtuellen Objekts, die vom Benutzer visuell erkannt wird, platziert wird.
• Die Anzeigesteuerungsvorrichtung 100 erzeugt ein virtuelles Objekt, in dem ein Bereich im virtuellen Objekt, der sich mit dem realen Objekt überlappt (auszublendender Bereich), ausgeblendet wird. In dem in 2 dargestellten Navigationspfeil wird der mit dem Fahrzeug überlappende Bereich der Ausblendungsverarbeitung unterzogen.
• Die Anzeigesteuerungsvorrichtung 100 gemäß Ausführungsform 1 berechnet eine Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung und ändert die Anzeigeform des virtuellen Objekts, wenn die Erkennbarkeit unter einem Schwellenwert liegt.
• Die Erkennbarkeit ist ein Wert, mit dem bestimmt wird, ob die durch das virtuelle Objekt angezeigte Information für den Benutzer erkennbar ist oder nicht. Die Erkennbarkeit variiert z.B. in Abhängigkeit von einer ausgeblendeten Größe des virtuellen Objekts. Je kleiner die ausgeblendete Größe des virtuellen Objekts ist, desto größer ist die Erkennbarkeit, und je größer die ausgeblendete Größe des virtuellen Objekts ist, desto kleiner ist die Erkennbarkeit.
• Die externe Informationserfassungseinheit 10 erzeugt externe Informationen, die eine Position, eine Größe usw. des realen Objekts in einer realen Szenerie anzeigen, und gibt die erzeugten externen Informationen an die Steuereinheit 30 und die Einheit zur Erfassung des auszublendenden Bereichs 40 aus.
• Die externe Informationserfassungseinheit 10 erzeugt die externen Informationen, die eine Position, eine Größe usw. des in der realen Szenerie vorhandenen realen Objekts angeben, indem sie z.B. die von der Kamera 1 erfassten Bilddaten der realen Szenerie analysiert.
• Die externe Informationserfassungseinheit 10 erzeugt die externen Informationen, die eine Position, eine Größe usw. des in der realen Szenerie vorhandenen realen Objekts angeben, indem sie z.B. die vom Sensor 2 erfassten Sensordaten analysiert.
• Es ist zu beachten, dass das Verfahren zur Erzeugung der externen Informationen durch die externe Informationserfassungseinheit 10 nicht auf diese Verfahren beschränkt ist und dass eine andere bekannte Technik verwendet werden kann.
• Die Positionsinformationserfassungseinheit 20 erfasst die Positionsinformationen von der Navigationsvorrichtung 3.
• In den Positionsinformationen sind Informationen über die aktuelle Position des Benutzers enthalten. Wenn eine Navigationsfunktion verwendet wird, sind außerdem Informationen über die Position einer Kreuzung, die ein Navigationsziel ist, Informationen über die Position eines Gebäudes, das ein Navigationsziel ist, oder ähnliches in den Positionsinformationen enthalten. Die Positionsinformationserfassungseinheit 20 gibt die erfassten Positionsinformationen an die Steuereinheit 30 aus.
• Auf der Grundlage der von der externen Informationserfassungseinheit 10 erfassten externen Informationen, der von der Positionsinformationserfassungseinheit 20 erfassten Positionsinformationen, der dem Benutzer zur Verfügung zu stellenden Funktionen (Navigation, Hervorhebung eines realen Objekts usw.) und ähnlichem erzeugt die Steuereinheit 30 Bildinformationen eines virtuellen Objekts und überlagernde Positionsinformationen des virtuellen Objekts. Das virtuelle Obj ekt ist ein Bild o.ä., das von einem PC o.ä. im Voraus vorbereitet wird.
• 3 ist ein Diagramm zur Veranschaulichung der Bildinformation eines virtuellen Objekts und der Überlagerungspositionsinformation des virtuellen Objekts.
• Wenn der Benutzer die Navigationsfunktion benutzt, zeigt die Bildinformation des virtuellen Objekts z.B. einen Navigationspfeil an, wie in 3 dargestellt. In diesem Fall sind die Überlagerungspositionsinformationen des virtuellen Objekts Informationen, die eine Position angeben, an der der Navigationspfeil die reale Szenerie überlagert. In den Informationen, die die Position angeben, sind Informationen über die Position in Bezug auf die vertikale Richtung, die horizontale Richtung und die Tiefenrichtung enthalten.
• Auf der Grundlage einer Beziehung zwischen der aktuellen Position des Benutzers und der Überlagerungsposition des virtuellen Objekts stellt die Steuereinheit 30 die Position, Größe usw. des virtuellen Objekts, das visuell durch einen Bildschirm der Anzeigevorrichtung 4 erkannt wird, so ein, dass das virtuelle Objekt an der Überlagerungsposition des virtuellen Objekts überlagert wird, wenn der Benutzer das virtuelle Objekt zusammen mit der realen Szenerie betrachtet.
• Auf der Grundlage der Informationen über die aktuelle Position des Benutzers und der Informationen über die Position der Kreuzung, die ein Navigationsziel ist, die von der Positionsinformationserfassungseinheit 20 erfasst werden, erfasst die Steuereinheit 30 eine Entfernung von der aktuellen Position des Benutzers bis zur Position der Kreuzung, die ein Navigationsziel ist. Auf der Grundlage der Entfernung stellt die Steuereinheit 30 eine Position, Größe usw. des Navigationspfeils, der visuell durch den Bildschirm der Anzeigevorrichtung 4 erkannt wird, so ein, dass der Navigationspfeil die Kreuzung, die ein Navigationsziel ist, überlagert.
• 4 ist ein weiteres Diagramm zur Veranschaulichung der Bildinformation eines virtuellen Objekts und der Überlagerungspositionsinformation des virtuellen Objekts.
• Wenn der Benutzer die Funktion der Hervorhebung eines nahegelegenen Fahrzeugs oder eines nahegelegenen Fußgängers verwendet, zeigt die Bildinformation des virtuellen Objekts z.B. jede Rahmenform an, wie in 4 dargestellt. In diesem Fall sind die Überlagerungspositionsinformationen des virtuellen Objekts Informationen über die Position, an der die Rahmenform der realen Szenerie überlagert wird. In den Informationen über diese Position sind Informationen über die Position in Bezug auf die vertikale Richtung, die horizontale Richtung und die Tiefenrichtung enthalten.
• Die Steuereinheit 30 gibt die erzeugten Überlagerungspositionsinformationen des virtuellen Objekts an die Einheit zur Erfassung des auszublendenden Bereichs 40 aus.
• Auf der Grundlage der von der externen Informationserfassungseinheit 10 erfassten externen Informationen und der von der Steuereinheit 30 erfassten Überlagerungspositionsinformationen des virtuellen Objekts erfasst die Einheit zur Erfassung des auszublendenden Bereichs 40 eine Positionsbeziehung und eine Tiefenbeziehung zwischen der Überlagerungsposition des virtuellen Objekts und dem realen Objekt.
• Die Positionsbeziehung ist eine Beziehung in der vertikalen und horizontalen Position auf dem Bildschirm der Anzeigevorrichtung 4, wenn der Benutzer die Überlagerungsposition des virtuellen und des realen Objekts zusammen mit der Anzeigevorrichtung 4 betrachtet.
• Die Tiefenbeziehung ist eine Positionsbeziehung in der Tiefenrichtung zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts, wenn der Benutzer die Überlagerungsposition des virtuellen und des realen Objekts zusammen mit Hilfe der Anzeigevorrichtung 4 betrachtet.
• Auf der Grundlage der Positionsbeziehung und der Tiefenbeziehung bestimmt die Einheit zur Erfassung des auszublendenden Bereichs 40, ob es einen Bereich gibt (der einem auszublendenden Bereich entspricht), in dem sich die Überlagerungsposition eines virtuellen und eines realen Objekts bei der Betrachtung durch den Benutzer überlappen und in dem das reale Objekt in der realen Szenerie vor der Überlagerungsposition des virtuellen Objekts angeordnet ist.
• Die Einheit zur Erfassung des auszublendenden Bereichs 40 gibt Informationen über das Ergebnis dieser Bestimmung an die Steuereinheit 30 aus. Zu diesem Zeitpunkt gibt die Einheit zur Erfassung des auszublendenden Bereichs 40 im Falle der Ausgabe von Informationen, die anzeigen, dass es einen auszublendenden Bereich gibt, Informationen, die den auszublendenden Bereich anzeigen (im Folgenden als Informationen über den auszublendenden Bereich bezeichnet), zusammen an die Steuereinheit 30 aus.
• Wenn die Steuereinheit 30 die Informationen, die anzeigen, dass es keinen auszublendenden Bereich gibt, von der Einheit zur Erfassung des auszublendenden Bereichs 40 erfasst, gibt die Steuereinheit 30 die Bildinformationen des virtuellen Objekts und die Überlagerungspositionsinformationen dieses virtuellen Objekts an die Anzeigevorrichtung 4 aus. Dies liegt daran, dass die Ausblendungsverarbeitung unnötig ist.
• Andererseits gibt die Steuereinheit 30 in einem Fall, in dem die Steuereinheit 30 die Informationen, die anzeigen, dass es einen auszublendenden Bereich gibt, von der Einheit zur Erfassung des auszublendenden Bereichs 40 und die Informationen über den auszublendenden Bereich erfasst, die Bildinformationen des virtuellen Objekts und die Informationen über den auszublendenden Bereich an die Erkennbarkeitsbestimmungseinheit 50 aus.
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet auf der Grundlage der Bildinformation des virtuellen Objekts und der von der Steuereinheit 30 erfassten Informationen über den auszublendenden Bereich die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung. Die Ausblendungsverarbeitung erfolgt durch Löschen oder ähnliches eines Bereichs, der durch die auszublendende Bereichsinformation repräsentiert wird, aus einem Bereich, der durch die Bildinformation des virtuellen Objekts repräsentiert wird.
• Die Erkennbarkeitsbestimmungseinheit 50 bestimmt, ob die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als ein vorbestimmter Schwellenwert ist oder nicht. Die Erkennbarkeitsbestimmungseinheit 50 gibt Informationen über das Ergebnis dieser Bestimmung an die Steuereinheit 30 aus.
• Wenn die Steuereinheit 30 von der Erkennbarkeitsbestimmungseinheit 50 die Information erhält, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als der Schwellenwert ist, gibt die Steuereinheit 30 die Bildinformation des virtuellen Objekts nach der Ausblendungsverarbeitung und die Überlagerungspositionsinformation des virtuellen Objekts an die Anzeigevorrichtung 4 aus.
• Andererseits, wenn die Steuereinheit 30 von der Erkennbarkeitsbestimmungseinheit 50 die Information erhält, dass die Erkennbarkeit unter dem Schwellenwert liegt, ändert die Steuereinheit 30 die Anzeigeform des virtuellen Objekts vor der Ausblendungsverarbeitung. Diese Änderung der Anzeigeform wird vorgenommen, um das virtuelle Objekt in einen Zustand zu versetzen, in dem es keinen auszublendenden Bereich hat, oder um die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als der Schwellenwert zu machen.
• 5 ist ein Flussdiagramm zur Veranschaulichung der Operationen der Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 1. Unter Bezugnahme auf 5 werden die Operationen der Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 1 beschrieben.
• Auf der Grundlage der von der Kamera 1 erfassten Bilddaten oder der vom Sensor 2 erfassten Sensordaten erkennt die externe Informationserfassungseinheit 10 ein in der realen Szenerie vorhandenes reales Objekt, um dadurch die externe Information zu erfassen, die eine Position, eine Größe usw. des realen Objekts angibt (Schritt ST1). Die externe Informationserfassungseinheit 10 gibt die externen Informationen an die Steuereinheit 30 und die Einheit zur Erfassung des auszublendenden Bereichs 40 aus.
• Die Positionsinformationserfassungseinheit 20 erfasst die Positionsinformationen der Navigationsvorrichtung 3 (Schritt ST2). Die Positionsinformationserfassungseinheit 20 gibt die Positionsinformationen an die Steuereinheit 30 aus.
• Die Steuereinheit 30 führt die Erzeugungsverarbeitung des virtuellen Objekts durch und gibt die Bildinformation des so erzeugten virtuellen Objekts und die Überlagerungspositionsinformation dieses virtuellen Objekts an die Anzeigevorrichtung 4 aus (Schritt ST3).
• 6A und 6B sind jeweils ein Flussdiagramm zur Veranschaulichung der in Schritt ST3 von 5 gezeigten Erzeugungsverarbeitung virtueller Objekte.
• Auf der Grundlage der von der externen Informationserfassungseinheit 10 erfassten externen Informationen, der von der Positionsinformationserfassungseinheit 20 erfassten Positionsinformationen, der dem Benutzer zur Verfügung zu stellenden Funktionen und ähnlichem erzeugt die Steuereinheit 30 die Bildinformationen des virtuellen Objekts und die Überlagerungspositionsinformationen dieses virtuellen Objekts (Schritt ST11). Die Steuereinheit 30 gibt die Überlagerungspositionsinformationen des virtuellen Objekts an die Einheit zur Erfassung des auszublendenden Bereichs 40 aus.
• Auf der Grundlage der von der externen Informationserfassungseinheit 10 erfassten externen Informationen und der von der Steuereinheit 30 erfassten Überlagerungspositionsinformationen des virtuellen Objekts erfasst die Einheit zur Erfassung des auszublenden Bereichs 40 eine Positionsbeziehung und eine Tiefenbeziehung zwischen der Überlagerungsposition des virtuellen Objekts und dem realen Objekt (Schritt ST12). Auf der Grundlage der Positionsbeziehung und der Tiefenbeziehung bestimmt die Einheit zur Erfassung des auszublendenden Bereichs 40, ob es einen Bereich gibt (der einem auszublendenden Bereich entspricht), in dem sich die Überlagerungsposition des virtuellen und des realen Objekts vom Benutzer aus gesehen überlappen und wo das reale Objekt in der realen Szenerie vor der Überlagerungsposition des virtuellen Objekts zu platzieren ist (Schritt ST13). 7 ist ein Diagramm, das eine Situation zeigt, in der die Einheit zur Erfassung des auszublendenden Bereichs 40 bestimmt, dass es einen auszublendenden Bereich gibt.
• Wenn festgestellt wird, dass es keinen auszublendenden Bereich gibt (Schritt ST13; NEIN), gibt die Einheit zur Erfassung des auszublendenden Bereichs 40 die Information, dass es keinen auszublendenden Bereich gibt, an die Steuereinheit 30 aus (Schritt ST14).
• In einem Fall, in dem die Steuereinheit 30 die Information, dass es keinen auszublendenden Bereich gibt, von der Einheit zur Erfassung des auszublendenden Bereichs 40 erfasst, gibt die Steuereinheit 30 die Bildinformation des virtuellen Objekts und die Überlagerungspositionsinformation dieses virtuellen Objekts an die Anzeigevorrichtung 4 aus (Schritt ST15).
• Wenn in Schritt ST13 festgestellt wird, dass es einen auszublendenden Bereich gibt (Schritt ST13; JA), gibt die Einheit zur Erfassung des auszublendenden Bereichs 40 die Information, die anzeigt, dass es einen auszublendenden Bereich gibt, und die Information über den auszublendenden Bereich an die Steuereinheit 30 aus (Schritt ST16).
• In einem Fall, in dem die Steuereinheit 30 von der Einheit zur Erfassung des auszublendenden Bereichs 40 die Information, die angibt, dass es einen auszublendenden Bereich gibt, und die Information über den auszublendenden Bereich erfasst, gibt die Steuereinheit 30 die Bildinformation des virtuellen Objekts und die Information über den auszublendenden Bereich an die Erkennbarkeitsbestimmungseinheit 50 aus (Schritt ST17).
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet auf der Grundlage der Bildinformation des virtuellen Objekts und der Information über den auszublendenden Bereich die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung (Schritt ST18). 8 ist ein Diagramm, das ein Beispiel des virtuellen Objekts nach der Ausblendungsverarbeitung zeigt.
• Die Erkennbarkeitsbestimmungseinheit 50 bestimmt, ob die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als der vorgegebene Schwellenwert ist oder nicht (Schritt ST19).
• Die Erkennbarkeit kann innerhalb eines beliebigen Intervalls eingestellt werden. In der folgenden Beschreibung wird der maximale Wert der Erkennbarkeit auf 100 und der minimale Wert der Erkennbarkeit auf 0 gesetzt.
• Der Schwellenwert für die Erkennbarkeit kann auf einen beliebigen Wert eingestellt werden, mit dem bestimmt werden kann, ob der Benutzer die durch das virtuelle Objekt angezeigte Information erkennen kann oder nicht. In der folgenden Beschreibung wird davon ausgegangen, dass der Schwellenwert auf einen Wert zwischen 1 und 99 gesetzt wird. Der Schwellenwert für die Erkennbarkeit kann für alle virtuellen Objekte auf einen festen Wert gesetzt werden und kann je nach Typ des virtuellen Objekts auf einen anderen Wert eingestellt werden.
• Wenn der Schwellenwert für die Erkennbarkeit auf 80 gesetzt wird, bestimmt die Erkennbarkeitsbestimmungseinheit 50 in Schritt ST19, ob die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als 80 ist oder nicht.
• Die Erkennbarkeitsbestimmungseinheit 50 gibt, wenn festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als der vorgegebene Schwellenwert ist (Schritt ST19; JA), Informationen, die anzeigen, dass die Erkennbarkeit gleich oder größer als der Schwellenwert ist, an die Steuereinheit 30 (Schritt ST20) aus. In einem Fall, in dem die Steuereinheit 30 von der Erkennbarkeitsbestimmungseinheit 50 die Information erfasst, die angibt, dass die Erkennbarkeit gleich oder größer als der Schwellenwert ist, gibt die Steuereinheit 30 nach der Ausblendungsverarbeitung die Bildinformation des virtuellen Objekts und die Überlagerungspositionsinformation dieses virtuellen Objekts an die Anzeigevorrichtung 4 aus (Schritt ST21).
• Die Erkennbarkeitsbestimmungseinheit 50 gibt, wenn in Schritt ST19 festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung geringer ist als der vorgegebene Schwellenwert (Schritt ST19; NEIN), Informationen aus, die anzeigen, dass die Erkennbarkeit geringer ist als der Schwellenwert, an die Steuereinheit 30 (Schritt ST22).
• In einem Fall, in dem die Steuereinheit 30 von der Erkennbarkeitsbestimmungseinheit 50 die Information erfasst, die angibt, dass die Erkennbarkeit unter dem Schwellenwert liegt, bestimmt die Steuereinheit 30, ob die Anzahl der Änderungen der Anzeigeform des virtuellen Objekts (Anzahl der Änderungen) einen Grenzwert erreicht oder nicht (Schritt ST23). Der Grenzwert kann auf einen beliebigen Wert eingestellt werden.
• Wenn die Steuereinheit 30 feststellt, dass die Anzahl der Änderungen nicht den Grenzwert erreicht (Schritt ST23; NEIN), ändert die Steuereinheit 30 die Anzeigeform des virtuellen Objekts und erzeugt die Überlagerungspositionsinformationen des virtuellen Objekts nach der Änderung der Anzeigeform und gibt dann die Überlagerungspositionsinformationen dieses virtuellen Objekts an die Einheit zur Erfassung des auszublendenden Bereichs 40 aus (Schritt ST24). Wenn die Verarbeitung in Schritt ST24 abgeschlossen ist, kehrt der Fluss wieder zur Verarbeitung in Schritt ST12 zurück.
• 9 ist ein Diagramm, das ein Beispiel für das virtuelle Objekt für den Fall zeigt, dass dessen Anzeigeform durch die Steuereinheit 30 geändert wird.
• Wenn die Steuereinheit 30 in Schritt ST23 feststellt, dass die Anzahl der Änderungen den Grenzwert erreicht hat (Schritt ST23; JA), gibt die Steuereinheit 30 die Informationen mit Hilfe alternativer Mittel aus (Schritt ST25). Beispiele für solche alternativen Mittel sind die Ausgabe von Informationen an eine Anzeigeeinheit (nicht abgebildet) der Navigationsvorrichtung 3, die Ausgabe von Informationen durch Ton/Stimme über einen nicht abgebildeten Lautsprecher und ähnliches.
• Wie oben beschrieben, steuert die Anzeigesteuerungsvorrichtung 100 gemäß Ausführungsform 1 die Anzeigevorrichtung 4, die ein virtuelles Objekt der realen Szenerie überlagert und beinhaltet: die externe Informationserfassungseinheit 10, die ein in der realen Szenerie existierendes reales Objekt erfasst; die Einheit zur Erfassung eines auszublendenden Bereichs 40, die auf der Grundlage einer Tiefenbeziehung zwischen einer Überlagerungsposition des virtuellen Objekts und des realen Objekts und einer Positionsbeziehung auf einem Anzeigebildschirm der Anzeigevorrichtung 4 zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts einen auszublendenden Bereich erfasst, der ein Bereich in dem virtuellen Objekt ist, in dem das reale Objekt vor einer Überlagerungsposition des virtuellen Objekts angeordnet werden soll; die Erkennbarkeitsbestimmungseinheit 50, die eine Erkennbarkeit berechnet, die verwendet wird, um zu bestimmen, ob Informationen, die durch das virtuelle Objekt angezeigt werden, erkennbar sind, wenn der auszublendende Bereich ausgeblendet ist, und um zu bestimmen, ob die Erkennbarkeit gleich oder größer als ein Schwellenwert ist oder nicht; und die Steuereinheit 30 erzeugt, wenn die Erkennbarkeit gleich oder größer als der Schwellenwert ist, ein weiteres virtuelles Objekt, das durch Ausblenden des auszublendenden Bereichs des virtuellen Objekts erhalten wird, und erzeugt, wenn die Erkennbarkeit kleiner als der Schwellenwert ist, ein weiteres virtuelles Objekt, das durch Ändern einer Anzeigeform des virtuellen Objekts erhalten wird. Aufgrund dieser Konfiguration ist es möglich, eine Anzeigesteuerungsvorrichtung bereitzustellen, die verhindert, dass die durch das virtuelle Objekt angezeigte Information unklar ist, selbst wenn die Ausblendungsverarbeitung in einem Bereich durchgeführt wird, in dem sich das reale Objekt und das virtuelle Objekt überlappen.
• Ferner geht gemäß der Ausführungsform 1 die Information des virtuellen Objekts nicht verloren, selbst wenn die Ausblendungsverarbeitung durchgeführt wird, um zu bewirken, dass das virtuelle Objekt so gesehen wird, als ob es hinter dem in der realen Szenerie vorhandenen realen Objekt angezeigt wird. So kann der Benutzer die durch das virtuelle Objekt angezeigten Informationen richtig verstehen. Außerdem kann man verhindern, dass der Benutzer ein Gefühl des Unbehagens empfindet, indem man das virtuelle Objekt o.ä. mit einer großen Fläche, die der Ausblendungsverarbeitung unterzogen wurde, visuell erkennt.
• In der obigen Beschreibung wird der Fall beschrieben, dass der Benutzer die reale Szenerie durch eine durchsichtige Anzeige, wie z.B. eine Head-up-Anzeige oder ähnliches, visuell erkennt. Sie ist jedoch nicht darauf beschränkt, und diese Erfindung kann in einem Fall verwendet werden, in dem der Benutzer ein Bildschirmbild der realen Szenerie auf eine am Kopf montierte Anzeige sieht. Ferner kann die Erfindung in einem Fall verwendet werden, in dem der Benutzer die reale Szenerie auf einer zentralen Anzeige in einem Fahrzeug, auf einem Bildschirm eines Smartphones oder ähnlichem betrachtet.
• Ausführungsform 2
• 10 ist ein Blockdiagramm, das eine Konfiguration einer Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 2 zeigt. Für die Komponenten mit Funktionen, die denen der in der Ausführungsform 1 beschriebenen Komponenten gleich oder gleichwertig sind, wird die Beschreibung dieser Komponenten weggelassen oder vereinfacht.
• Die Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 2 enthält eine Wichtigkeitsgradspeichereinheit 60.
• Im Hinblick auf den Fall, dass ein virtuelles Objekt in mehrere Bereiche unterteilt ist, werden die Wichtigkeitsgrade dieser jeweiligen Bereiche in der Wichtigkeitsgradspeichereinheit 60 gespeichert. Die Wichtigkeitsgrade sind für die jeweiligen Bereiche voreingestellt, und es können beliebige Werte dafür eingestellt werden. Im virtuellen Objekt wird der Wichtigkeitsgrad für einen charakteristischen Bereich hoch und für einen nicht-charakteristischen Bereich niedrig eingestellt. Die Summe der Wichtigkeitsgrade in einem virtuellen Objekt als Ganzes wird so eingestellt, dass sie gleich einem vorgegebenen Maximalwert der Erkennbarkeit ist.
• 11 ist ein Diagramm, das ein Beispiel für die Einstellung der Wichtigkeitsgrade in einem virtuellen Objekt zeigt. Wenn es sich bei dem virtuellen Objekt um einen Navigationspfeil handelt, wird es beispielsweise in zwei Bereiche eines kopfseitigen Bereichs im Pfeil und einen anderen Bereich im Pfeil als den kopfseitigen Bereich unterteilt, und die Wichtigkeitsgrade der jeweiligen Bereiche werden in der Wichtigkeitsgradspeichereinheit 60 gespeichert. Der kopfseitige Bereich im Pfeil gibt die Fahrtrichtung an und entspricht einem charakteristischen Bereich. Daher ist der Wichtigkeitsgrad des kopfseitigen Bereichs im Pfeil höher eingestellt als der des Bereichs im anderen Pfeil als dem kopfseitigen Bereich. In 11 ist der Wichtigkeitsgrad des kopfseitigen Bereichs im Pfeil auf 60 und der Wichtigkeitsgrad des Bereichs im anderen Pfeil als dem kopfseitigen Bereich auf 40 eingestellt.
• Unter Bezugnahme auf die in 12A und 12B gezeigten Flussdiagramme wird die Erzeugungsverarbeitung des virtuellen Objekts durch die Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 2 beschrieben.
• Die Schritte von Schritt ST11 bis Schritt ST16 sind die gleichen wie in 6A, so dass eine doppelte Beschreibung dieser Schritte entfällt.
• In einem Fall, in dem die Steuereinheit 30 von der Einheit zur Erfassung des auszublendenden Bereichs 40 die Information erfasst, die angibt, dass es einen auszublendenden Bereich gibt, und die Information über den auszublendenden Bereich, erfasst die Steuereinheit 30 die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt von der Wichtigkeitsgradspeichereinheit 60 und bestimmt den Bereich mit dem höchsten Wichtigkeitsgrad (wichtiger Bereich) durch Vergleich der Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt miteinander, um dadurch wichtige Bereichsinformationen zu erzeugen, die den wichtigen Bereich angeben (Schritt ST31). Die Steuereinheit 30 gibt die Bildinformation des virtuellen Objekts, die Information über den wichtigen Bereich und die Information über den auszublendenden Bereich, die von der Einheit zur Erfassung des auszublendenden Bereichs 40 erfasst wurde, an die Erkennbarkeitsbestimmungseinheit 50 aus (Schritt ST32).
• Die Erkennbarkeitsbestimmungseinheit 50 bestimmt, ob der wichtige Bereich im virtuellen Objekt zum auszublendenden Bereich wird oder nicht (Schritt ST33). Wenn die Erkennbarkeitsbestimmungseinheit 50 feststellt, dass der wichtige Bereich im virtuellen Objekt nicht zu einem auszublendenden Bereich wird (Schritt ST33: NEIN), setzt sie die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung auf den Maximalwert „100“ und gibt die Information, dass die Erkennbarkeit gleich oder größer als der Schwellenwert ist, an die Steuereinheit 30 aus (Schritt ST34). Schritt ST21 ist der gleiche wie in 6A, so dass eine doppelte Beschreibung davon entfällt.
• Wenn andererseits festgestellt wird, dass der wichtige Bereich im virtuellen Objekt zum auszublendenden Bereich wird (Schritt ST33: JA), setzt die Erkennbarkeitsbestimmungseinheit 50 die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung auf den Mindestwert „0“ und gibt die Information, dass die Erkennbarkeit unter dem Schwellenwert liegt, an die Steuereinheit 30 aus (Schritt ST35). Die Schritte von Schritt ST23 bis Schritt ST25 sind die gleichen wie die in 6B, so dass eine doppelte Beschreibung davon entfällt.
• Wenn das virtuelle Objekt ein Navigationspfeil ist, wie in 11 dargestellt, bestimmt die Erkennbarkeitsbestimmungseinheit 50, ob der kopfseitige Bereich im Pfeil, als wichtiger Bereich, zum auszublendenden Bereich wird oder nicht.
• 13 ist ein Diagramm, das eine Situation zeigt, in der ein kopfseitiger Bereich im Pfeil durch die Erkennbarkeitsbestimmungseinheit 50 zum auszublendenden Bereich bestimmt wird. In dieser Situation setzt die Erkennbarkeitsbestimmungseinheit 50 die Erkennbarkeit auf den Mindestwert „0“ und gibt die Information, dass die Erkennbarkeit unter dem Schwellenwert liegt, an die Steuereinheit 30 aus.
• Andererseits ist 14 ein Diagramm, das eine Situation zeigt, in der die Erkennbarkeitsbestimmungseinheit 50 bestimmt, dass der kopfseitige Bereich im Pfeil nicht der auszublendende Bereich wird. In dieser Situation setzt die Erkennbarkeitsbestimmungseinheit 50 die Erkennbarkeit auf den Maximalwert „100“ und gibt die Information, dass die Erkennbarkeit gleich oder größer als der Schwellenwert ist, an die Steuereinheit 30 aus.
• Wie oben beschrieben, ändert die Steuereinheit 30 gemäß der Ausführungsform 2 auch bei einem auszublendenden Bereich, wenn der wichtige Bereich im virtuellen Objekt nicht zum auszublendenden Bereich wird, nicht die Anzeigeform des virtuellen Objekts. Dadurch kann verhindert werden, dass die Anzeigeform unnötig verändert wird.
• Außerdem kann der Benutzer nach der herkömmlichen Ausblendungsverarbeitung, wie sie in der Patentliteratur 1 offenbart wird, beim Löschen des charakteristischen Bereichs in einem virtuellen Objekt die durch das virtuelle Objekt angezeigte Information nicht genau verstehen. Wenn z.B. das virtuelle Objekt ein Navigationspfeil ist, kann der Benutzer, wenn der kopfseitige Bereich in dem Pfeil gelöscht wird, eine Reiseroute nicht verstehen. Im Gegensatz dazu ändert sich gemäß der Ausführungsform 2 die Anzeigeform des virtuellen Objekts, wenn der wichtige Bereich in einem virtuellen Objekt zum auszublendenden Bereich wird. Dadurch wird verhindert, dass der charakteristische Bereich in dem virtuellen Objekt gelöscht wird.
• Ausführungsform 3
• Die Konfiguration einer Anzeigesteuerungsvorrichtung 100 nach der Ausführungsform 3 entspricht der Konfiguration der Anzeigesteuerungsvorrichtung 100 nach der in 1 gezeigten Ausführungsform 1, so dass deren Darstellung und Beschreibung der jeweiligen Komponenten entfällt.
• In der Ausführungsform 3 berechnet die Erkennbarkeitsbestimmungseinheit 50 die Erkennbarkeit eines virtuellen Objekts auf der Grundlage eines Flächenverhältnisses vor und nach der Ausblendungsverarbeitung des virtuellen Objekts. Die Erkennbarkeitsbestimmungseinheit 50 berechnet die Fläche des virtuellen Objekts und die Fläche des auszublendenden Bereichs auf der Grundlage der Anzahl der Pixel oder ähnlichem auf dem Bildschirm der Anzeigevorrichtung 4.
• Unter Bezugnahme auf das in 15 gezeigte Flussdiagramm wird die von der Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 3 durchzuführende Verarbeitung der Erzeugung des virtuellen Objekts beschrieben.
• Die Schritte von Schritt ST11 bis Schritt ST17 sind die gleichen wie in 6A, so dass eine doppelte Beschreibung dieser Schritte entfällt.
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet, wenn die Bildinformation des virtuellen Objekts und die Information über den auszublendenden Bereich von der Steuereinheit 30 erfasst werden, eine Fläche A des virtuellen Objekts vor der Ausblendungsverarbeitung und eine Fläche B des auszublendenden Bereichs (Schritt ST41). Die Erkennbarkeitsbestimmungseinheit 50 berechnet eine Fläche C des virtuellen Objekts nach der Ausblendungsverarbeitung (Schritt ST42). Die Fläche C des virtuellen Objekts nach der Ausblendungsverarbeitung wird durch Subtraktion der Fläche B von der Fläche A berechnet.
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet ein Verhältnis der Fläche C des virtuellen Objekts nach der Ausblendungsverarbeitung zu der Fläche A des virtuellen Objekts vor der Ausblendungsverarbeitung (Schritt ST43). Die Erkennbarkeitsbestimmungseinheit 50 definiert das Verhältnis der Fläche C zur Fläche A als die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung und bestimmt dann, ob die Erkennbarkeit gleich oder größer als ein vorgegebener Schwellenwert ist oder nicht (Schritt ST44).
• Die Erkennbarkeitsbestimmungseinheit 50 fährt mit der Verarbeitung in Schritt ST20 fort, wenn festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als der vorbestimmte Schwellenwert ist (Schritt ST44; JA). Schritt ST20 und Schritt ST21 sind die gleichen wie in 6A, so dass eine doppelte Beschreibung davon entfällt.
• Wenn andererseits festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung unter dem vorgegebenen Schwellenwert liegt (Schritt ST44; NEIN), fährt die Erkennbarkeitsbestimmungseinheit 50 mit der Verarbeitung in Schritt ST22 fort (6B). Die Schritte von Schritt ST22 bis Schritt ST25 sind die gleichen wie die in 6B, so dass die Darstellung und die doppelte Beschreibung davon entfallen.
• 16 ist ein Diagramm, das eine Situation zeigt, in der der Benutzer eine Funktion zur Hervorhebung eines nahegelegenen Fahrzeugs oder eines nahegelegenen Fußgängers verwendet. Das virtuelle Objekt hat eine Rahmenform.
• 17 ist ein Diagramm, das den Bereich A eines virtuellen Objekts vor der Ausblendungsverarbeitung zeigt. 18 ist ein Diagramm, das den Bereich C des virtuellen Objekts nach der Ausblendungsverarbeitung zeigt. Hier wird angenommen, dass die Fläche A 500 und die Fläche B 100 beträgt. In diesem Fall beträgt die Fläche C 400. Die Erkennbarkeitsbestimmungseinheit 50 berechnet das Verhältnis der Fläche C zur Fläche A, als (400/500) × 100 = 80. Die Erkennbarkeitsbestimmungseinheit 50 definiert die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung als 80 und legt dann fest, ob die Erkennbarkeit gleich oder größer als der vorgegebene Schwellenwert ist oder nicht.
• Wie oben beschrieben, wird die Erkennbarkeit des virtuellen Objekts in der Ausführungsform 3 unter Verwendung des Flächenverhältnisses zwischen der Fläche des virtuellen Objekts vor der Ausblendungsverarbeitung und der Fläche des virtuellen Objekts nach der Ausblendungsverarbeitung berechnet. Mit dieser Konfiguration kann auch dann, wenn das virtuelle Objekt keinen charakteristischen Bereich aufweist und somit die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt einheitlich sind, bestimmt werden, ob die Erkennbarkeit des virtuellen Objekts gleich oder größer als der vorgegebene Schwellenwert ist.
• In der Ausführungsform 2 wird die Konfiguration beschrieben, in der die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt verwendet werden, und in der Ausführungsform 3 wird die Konfiguration beschrieben, in der das Flächenverhältnis des virtuellen Objekts vor und nach der Ausblendungsverarbeitung verwendet wird; es kann jedoch auch eine andere Konfiguration verwendet werden, in der die oben genannten Verfahren umgeschaltet werden können, um durchgeführt zu werden. In diesem Fall wird in Abhängigkeit vom Typ oder ähnlichem des virtuellen Objekts, das dem Benutzer zur Verfügung gestellt werden soll, umgeschaltet, ob die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt oder das Flächenverhältnis des virtuellen Objekts vor und nach der Ausblendungsverarbeitung verwendet werden sollen.
• Ausführungsform 4
• Die Konfiguration einer Anzeigesteuerungsvorrichtung 100 nach der Ausführungsform 4 entspricht der Konfiguration der Anzeigesteuerungsvorrichtung 100 nach der in 10 gezeigten Ausführungsform 2, so dass deren Darstellung und Beschreibung der jeweiligen Komponenten entfällt.
• In der Ausführungsform 4 berechnet die Erkennbarkeitsbestimmungseinheit 50, wenn festgestellt wird, dass der Bereich mit einem hohen Wichtigkeitsgrad (wichtiger Bereich) im virtuellen Objekt, der von der Steuereinheit 30 erfasst wird, der auszublendende Bereich wird, die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung auf der Grundlage einer Fläche D des wichtigen Bereichs im virtuellen Objekt vor der Ausblendungsverarbeitung und einer Fläche F des wichtigen Bereichs im virtuellen Objekt nach der Ausblendungsverarbeitung.
• Unter Bezugnahme auf das in 19 gezeigte Flussdiagramm wird die Verarbeitung zur Erzeugung virtueller Objekte beschrieben, die von der Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 4 durchgeführt wird.
• Es ist zu beachten, dass die Schritte von Schritt ST11 bis Schritt ST16, von Schritt ST31 bis Schritt ST34 und Schritt ST21 die gleichen sind wie in 12A, so dass die Illustration und die doppelte Beschreibung davon entfallen.
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet, wenn festgestellt wird, dass der wichtige Bereich im virtuellen Objekt zum auszublendenden Bereich wird (Schritt ST33; JA), die Fläche D des wichtigen Bereichs im virtuellen Objekt vor der Ausblendungsverarbeitung und eine Fläche E eines Bereichs, der im wichtigen Bereich des virtuellen Objekts enthalten ist und dem auszublendenden Bereich entspricht (Schritt ST51).
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet die Fläche F des wichtigen Bereichs im virtuellen Objekt nach der Ausblendungsverarbeitung (Schritt ST52). Die Fläche F wird durch Subtraktion der Fläche E von der Fläche D berechnet.
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet ein Verhältnis der Fläche F zur Fläche D, wenn die Fläche D auf 100 gesetzt wird (Schritt ST53).
• Die Erkennbarkeitsbestimmungseinheit 50 definiert dieses Verhältnis als die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung und bestimmt dann, ob die Erkennbarkeit gleich oder größer als ein vorgegebener Schwellenwert ist oder nicht (Schritt ST54).
• Die Erkennbarkeitsbestimmungseinheit 50 gibt, wenn festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als der vorbestimmte Schwellenwert ist (Schritt ST54; JA), Informationen, die anzeigen, dass die Erkennbarkeit gleich oder größer als der Schwellenwert ist, an die Steuereinheit 30 aus (Schritt ST55). In einem Fall, in dem die Steuereinheit 30 von der Erkennbarkeitsbestimmungseinheit 50 die Information erfasst, die angibt, dass die Erkennbarkeit gleich oder größer als der Schwellenwert ist, gibt die Steuereinheit 30 die Bildinformation des virtuellen Objekts nach der Ausblendungsverarbeitung und die Überlagerungspositionsinformation dieses virtuellen Objekts an die Anzeigevorrichtung 4 aus (Schritt ST56).
• Die Erkennbarkeitsbestimmungseinheit 50 gibt, wenn in Schritt ST54 festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung geringer ist als der vorgegebene Schwellenwert (Schritt ST54; NEIN), die Information, dass die Erkennbarkeit geringer ist als der Schwellenwert, an die Steuereinheit 30 aus (Schritt ST57). Die Schritte von Schritt ST23 bis Schritt ST25 sind die gleichen wie die in 12B, so dass eine doppelte Beschreibung dieser Schritte entfällt.
• 20 ist ein Diagramm zur Veranschaulichung der Fläche D eines wichtigen Bereichs in einem virtuellen Objekt vor der Ausblendung.
• 21 ist ein Diagramm zur Veranschaulichung der Fläche F eines wichtigen Bereichs in einem virtuellen Objekt nach der Ausblendungsverarbeitung.
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet die in 20 gezeigte Fläche D und die in 21 gezeigte Fläche F, wenn festgestellt wird, dass der kopfseitige Bereich im Pfeil zum auszublendenden Bereich wird. Die Erkennbarkeitsbestimmungseinheit 50 berechnet die Fläche F durch Subtraktion der Fläche E von der Fläche D. Dabei wird angenommen, dass die Fläche D 20 und die Fläche E 15 beträgt. In diesem Fall ist die Fläche F 5. Die Erkennbarkeitsbestimmungseinheit 50 berechnet das Verhältnis der Fläche F zur Fläche D als (5/20) × 100 = 25, um damit die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung als 25 zu definieren, und bestimmt dann, ob die Erkennbarkeit gleich oder größer als der Schwellenwert ist oder nicht.
• Wie oben beschrieben, wird in der Ausführungsform 4 die Erkennbarkeit des virtuellen Objekts anhand des Flächenverhältnisses des wichtigen Bereichs im virtuellen Objekt zwischen vor und nach der Ausblendungsverarbeitung bestimmt. Dementsprechend wird die Anzeigeform des virtuellen Objekts auch dann nicht verändert, wenn ein auszublendender Bereich in den wichtigen Bereich des virtuellen Objekts gelegt wird, wenn das Verhältnis des auszublendenden Bereichs, der den wichtigen Bereich einnimmt, klein ist. Dadurch kann verhindert werden, dass die Anzeigeform unnötig verändert wird.
• Ausführungsform 5
• Die Konfiguration einer Anzeigesteuerungsvorrichtung 100 nach der Ausführungsform 5 entspricht der Konfiguration der Anzeigesteuerungsvorrichtung 100 nach der in 10 gezeigten Ausführungsform 2, so dass deren Darstellung und Beschreibung der jeweiligen Komponenten entfällt.
• In der Ausführungsform 5 berechnet die Steuereinheit 30 auf der Grundlage der Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt und der Anzahl der Pixel (Flächen) in den jeweiligen Bereichen die Wichtigkeitsgrade der jeweiligen Pixel im virtuellen Objekt.
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung auf der Grundlage der Bildinformation des virtuellen Objekts, der Information über den auszublendenden Bereich und der Wichtigkeitsgrade der jeweiligen Pixel im virtuellen Objekt.
• Unter Bezugnahme auf die in 22A und 22B gezeigten Flussdiagramme wird die von der Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 5 durchgeführte Verarbeitung zur Erzeugung des virtuellen Objekts beschrieben.
• Die Schritte von Schritt ST11 bis Schritt ST16 sind die gleichen wie in 12A, so dass eine doppelte Beschreibung dieser Schritte entfällt.
• In einem Fall, in dem die Steuereinheit 30 von der Einheit zur Erfassung des auszublendenden Bereichs 40 die Information, dass es einen auszublendenden Bereich gibt, und die Information über den auszublendenden Bereich erfasst, erfasst die Steuereinheit 30 die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt von der Wichtigkeitsgradspeichereinheit 60 (Schritt ST61).
• Die Steuereinheit 30 berechnet einen Quotienten, indem sie den Wichtigkeitsgrad jeder der Bereiche im virtuellen Objekt durch die Anzahl der Pixel, die jeden der Bereiche bilden, teilt, um dadurch die Wichtigkeitsgrade der jeweiligen Pixel im virtuellen Objekt zu berechnen (Schritt ST62).
• 23 ist ein Diagramm zur Veranschaulichung der Wichtigkeitsgrade der jeweiligen Pixel.
• Wenn es sich bei dem virtuellen Objekt um einen Navigationspfeil handelt, erhält die Steuereinheit 30 von der Wichtigkeitsgradspeichereinheit 60 einen Wichtigkeitsgrad von 60 für den kopfseitigen Bereich im Pfeil und einen Wichtigkeitsgrad von 40 für den Bereich im Pfeil, der nicht dem kopfseitigen Bereich entspricht. Wenn hier die Anzahl der Pixel (Fläche) in dem kopfseitigen Bereich des Pfeils 100 und die Anzahl der Pixel (Fläche) in dem anderen Bereich des Pfeils als dem kopfseitigen Bereich 200 beträgt, beträgt der Wichtigkeitsgrad jedes der Pixel, die den kopfseitigen Bereich des Pfeils bilden, 60/100 = 0,6 und der Wichtigkeitsgrad jedes der Pixel, die den anderen Bereich des Pfeils als den kopfseitigen Bereich bilden, 40/200 = 0,2.
• Die Steuereinheit 30 gibt die Bildinformation des virtuellen Objekts, die Information über den auszublendenden Bereich und die Wichtigkeitsgrade der jeweiligen Pixel im virtuellen Objekt an die Erkennbarkeitsbestimmungseinheit 50 aus (Schritt ST63).
• Die Erkennbarkeitsbestimmungseinheit 50 berechnet den Wichtigkeitsgrad des auszublendenden Bereichs auf der Grundlage der Bildinformation des virtuellen Objekts, der Information über den auszublendenden Bereich und der Wichtigkeitsgrade der entsprechenden Pixel im virtuellen Objekt (Schritt ST64). Die Erkennbarkeitsbestimmungseinheit 50 multipliziert mit der Anzahl der Pixel (Fläche) in dem auszublendenden Bereich den Wichtigkeitsgrad für diese Pixel, um so den Wichtigkeitsgrad des auszublendenden Bereichs zu berechnen. Wenn sich der auszublendende Bereich über mehrere Bereiche im virtuellen Objekt erstreckt, wird bei dieser Berechnung der Wichtigkeitsgrad für den auszublendenden Bereich für jede der mehreren Bereiche berechnet, und die so berechneten Wichtigkeitsgrade für den auszublendenden Bereich werden addiert.
• 24 ist ein Diagramm zur Veranschaulichung der Wichtigkeitsgrade in dem auszublendenden Bereich.
• Wenn ein auszublendender Bereich in dem kopfseitigen Bereich des Pfeils 50 Pixel und ein auszublendender Bereich in dem anderen Bereich des Pfeils 60 Pixel hat, ist der Wichtigkeitsgrad des auszublendenden Bereichs (0,6 × 50) + (0,2 × 60) = 42.
• Die Erkennbarkeitsbestimmungseinheit 50 definiert den Wert, der durch Subtraktion des Wichtigkeitsgrads des auszublendenden Bereichs von einem vorbestimmten Maximalwert der Erkennbarkeit erhalten wird, als Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung, und bestimmt dann, ob die Erkennbarkeit gleich oder größer alsein vorbestimmter Schwellenwert ist oder nicht (Schritt ST65).
• Die Erkennbarkeitsbestimmungseinheit 50 gibt, wenn festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung gleich oder größer als der vorbestimmte Schwellenwert ist (Schritt ST65; JA), Informationen aus, die anzeigen, dass die Erkennbarkeit gleich oder größer als der Schwellenwert ist, an die Steuereinheit 30 (Schritt ST66). Schritt ST21 ist derselbe wie in 12A, so dass eine doppelte Beschreibung davon wegfällt.
• Wenn andererseits festgestellt wird, dass die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung unter dem vorgegebenen Schwellenwert liegt (Schritt ST65; NEIN), gibt die Erkennbarkeitsbestimmungseinheit 50 die Information, dass die Erkennbarkeit unter dem Schwellenwert liegt, an die Steuereinheit 30 aus (Schritt ST67). Die Schritte von Schritt ST23 bis Schritt ST25 sind die gleichen wie die in 12B, so dass eine doppelte Beschreibung dieser Schritte entfällt.
• 25 ist ein Diagramm zur Veranschaulichung der Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung.
• Unter der Annahme, dass die Erkennbarkeit des virtuellen Objekts vor der Ausblendungsverarbeitung 100 beträgt, ist die Erkennbarkeit des virtuellen Objekts nach der Ausblendungsverarbeitung 100 - 42 = 58.
• Wie oben beschrieben, wird in der Ausführungsform 5 die Erkennbarkeit des virtuellen Objekts auf der Grundlage der Werte berechnet, die man erhält, wenn man die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt durch die Flächen der jeweiligen Bereiche und die Fläche des auszublendenden Bereichs dividiert. Da die Erkennbarkeit nicht auf der Grundlage der Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt, sondern auf der Grundlage der Wichtigkeitsgrade der einzelnen Pixel berechnet wird, ist es möglich, die Genauigkeit der Erkennbarkeit weiter zu verbessern. So kann genauer bestimmt werden, ob die Erkennbarkeit des virtuellen Objekts nach der Ausblendung gleich oder größer als der vorgegebene Schwellenwert ist, um so zu verhindern, dass ein für den Benutzer schwer erkennbares virtuelles Objekt angezeigt wird.
• Ausführungsform 6
• Die Konfiguration einer Anzeigesteuerungsvorrichtung 100 nach der Ausführungsform 6 entspricht der Konfiguration der Anzeigesteuerungsvorrichtung 100 nach der in 10 gezeigten Ausführungsform 2, so dass deren Darstellung und Beschreibung der jeweiligen Komponenten entfällt.
• In der Ausführungsform 6 wird bei der Konfiguration der Ausführungsform 1 in einem Fall, in dem die Steuereinheit 30 von der Erkennbarkeitsbestimmungseinheit 50 die Information erhält, dass die Erkennbarkeit kleiner als der Schwellenwert ist, und festgestellt wird, dass die Anzahl der Änderungen der Anzeigeform des virtuellen Objekts einen Grenzwert nicht erreicht, die folgende Verarbeitung durchgeführt.
• Die Steuereinheit 30 bestimmt, ob es einen Bereich gibt, die sich für die Anzeige des virtuellen Objekts eignet. 27 ist ein Diagramm, das ein Beispiel für einen für die Anzeige virtueller Objekte geeigneten Bereich zeigt. Wenn ein Benutzer die Navigationsfunktion verwendet, wird ein solcher Bereich, der sich auf einer vom Benutzer durch den Bildschirm einsehbaren Straße zwischen den mit der Navigationsroute verbundenen Straßen befindet und der nicht durch ein reales Objekt unterbrochen wird, als der für die Anzeige von virtuellen Objekten geeignete Bereich bereitgestellt.
• 28 ist ein weiteres Beispiel für einen Bereich, der sich für die Anzeige von virtuellen Objekten eignet. Wenn ein Benutzer die Funktion der Hervorhebung eines nahegelegenen Fahrzeugs oder eines nahegelegenen Fußgängers verwendet, ist ein solcher Bereich, der sich in einem Bereich um ein hervorzuhebendes Objekt befindet, der für den Benutzer durch den Bildschirm sichtbar ist und der nicht durch ein reales Objekt unterbrochen wird, als der für die Anzeige von virtuellen Objekten geeignete Bereich vorgesehen.
• Die Steuereinheit 30 teilt den für die Anzeige virtueller Objekte geeigneten Bereich in mehrere Bereiche ein. Im Folgenden werden die jeweils so unterteilten Bereiche jeweils als unterteilter Bereich bezeichnet. Die Steuereinheit 30 gibt unter den unterteilten Bereichen einen Bereich an, der sich zur Anzeige eines wichtigen Bereichs im virtuellen Objekt eignet (im Folgenden als effektiver Bereich bezeichnet).
• 29 ist ein Diagramm zur Veranschaulichung eines Bereichs (effektiver Bereich), der sich zur Darstellung eines wichtigen Bereichs in einem virtuellen Objekt eignet. Der effektive Bereich ist ein unterteilter Bereich, in dem der Anzeigebereich des wichtigen Bereichs im virtuellen Objekt (Anzeigebereich des wichtigen Bereichs) unter den unterteilten Bereichen am größten ist.
• Es ist zu beachten, dass die Steuereinheit 30 mehrere effektive Bereiche angeben kann, indem sie diese aus den unterteilten Bereichen auswählt, in denen die Anzeigebereiche des wichtigen Bereichs groß sind, und zwar in absteigender Reihenfolge der Anzeigefläche des wichtigen Bereichs. In diesem Fall speichert die Steuereinheit 30 die mehreren effektiven Bereiche als Daten, die in absteigender Reihenfolge der Anzeigeflächen der wichtigen Bereiche sortiert sind.
• Darüber hinaus kann die Steuereinheit 30 als effektiven Bereich einen unterteilten Bereich angeben, in dem die Anzeigefläche des wichtigen Bereichs am größten ist, unter den unterteilten Bereichen, in denen die Anzeigeflächen des wichtigen Bereichs jeweils eine bestimmte Fläche oder mehr sind.
• Ferner kann die Steuereinheit 30 mehrere effektive Bereiche angeben, indem sie sie aus den unterteilten Bereichen auswählt, in denen die Anzeigeflächen des wichtigen Bereichs jeweils eine bestimmte Fläche oder mehr sind, und zwar in absteigender Reihenfolge der Anzeigeflächen des wichtigen Bereichs.
• Die Steuereinheit 30 erzeugt ein virtuelles Objekt, das durch Verschieben des wichtigen Bereichs im virtuellen Objekt in den effektiven Bereich erhalten wird.
• Es ist zu beachten, dass 29 einen Fall zeigt, in dem die Steuereinheit 30 mehrere effektive Bereiche (einen effektiven Bereich A und einen effektiven Bereich B) spezifiziert und die Anzeigeflächen der wichtigen Bereiche im effektiven Bereich A und im effektiven Bereich B gleich sind. In diesem Fall wählt die Steuereinheit 30 den effektiven Bereich A aus, für den der Verschiebungsbetrag des wichtigen Bereichs im virtuellen Objekt am geringsten ist, und erzeugt ein virtuelles Objekt, das durch Verschiebung des wichtigen Bereichs im virtuellen Objekt in den effektiven Bereich A erhalten wird.
• Unter Bezugnahme auf das in 26 gezeigte Flussdiagramm wird die von der Anzeigesteuerungsvorrichtung 100 gemäß der Ausführungsform 6 durchgeführte Erzeugungsverarbeitung eines virtuellen Objekts beschrieben. Es ist zu beachten, dass die Schritte von Schritt ST11 bis Schritt ST21 die gleichen sind wie in 6A, so dass die Illustration und die doppelte Beschreibung davon entfallen. Außerdem sind die Schritte ST22, ST23 und ST25 die gleichen wie in 6B, so dass ihre doppelte Beschreibung wegfällt.
• Auf der Grundlage der von der externen Informationserfassungseinheit 10 und der von der Positionsinformationserfassungseinheit 20 erfassten externen Informationen bestimmt die Steuereinheit 30, ob ein für die Anzeige virtueller Objekte geeigneter Bereich vorhanden ist oder nicht (Schritt ST71).
• Wenn in Schritt ST71 festgestellt wird, dass es keinen für die Anzeige virtueller Objekte geeigneten Bereich gibt (Schritt ST71; NEIN), geht die von der Steuereinheit 30 durchgeführte Verarbeitung zu Schritt ST25 über.
• Wenn in Schritt ST71 festgestellt wird, dass es einen für die Anzeige von virtuellen Objekten geeigneten Bereich gibt (Schritt ST71; JA), erfasst die Steuereinheit 30 die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt von der Wichtigkeitsgradspeichereinheit 60 und bestimmt den wichtigen Bereich im virtuellen Objekt (Schritt ST72).
• Dann teilt die Steuereinheit 30 den für die Anzeige des virtuellen Objekts geeigneten Bereich in mehrere Bereiche auf und legt unter den mehreren Bereichen (unterteilten Bereichen) einen oder mehrere Bereiche (effektive Bereiche) fest, die für die Anzeige des wichtigen Bereichs im virtuellen Objekt geeignet sind (Schritt ST73) .
• Dann bestimmt die Steuereinheit 30, ob es einen effektiven Bereich gibt, der nicht für die Erzeugung (Schritt ST75, der später beschrieben wird) eines virtuellen Objekts verwendet wird (Schritt ST74).
• Wenn in Schritt ST74 festgestellt wird, dass es einen effektiven Bereich gibt, der nicht für die Erzeugung eines virtuellen Objekts verwendet wird (Schritt ST74; JA), erzeugt die Steuereinheit 30 ein virtuelles Objekt, das durch Verschieben des wichtigen Bereichs im virtuellen Objekt in diesen effektiven Bereich erhalten wird, und gibt die Überlagerungspositionsinformation des so erzeugten virtuellen Objekts an die Einheit zur Erfassung des auszublendenden Bereichs 40 aus (Schritt ST75). Wenn in Schritt ST75 mehrere effektive Bereiche vorhanden sind, die nicht für die Erzeugung eines virtuellen Objekts verwendet werden, verwendet die Steuereinheit 30 den effektiven Bereich gemäß einer Priorität in absteigender Reihenfolge der Anzeigeflächen des wichtigen Bereichs für die Erzeugung eines virtuellen Objekts. Wenn die Verarbeitung in Schritt ST75 abgeschlossen ist, kehrt der Fluss wieder zur Verarbeitung in Schritt ST12 zurück (6A).
• Wenn andererseits in Schritt ST74 festgestellt wird, dass es keinen effektiven Bereich gibt, der nicht für die Erzeugung eines virtuellen Objekts verwendet wird (Schritt ST74; NEIN), fährt die Steuereinheit 30 mit der Verarbeitung in Schritt ST25 fort.
• 30 ist ein Diagramm, das ein Beispiel für die Verschiebung des wichtigen Bereichs im virtuellen Objekt in einen effektiven Bereich zeigt. 31 ist ein weiteres Beispiel für die Verschiebung des wichtigen Bereichs im virtuellen Objekt in einen effektiven Bereich. In 30 und 31 ist das virtuelle Objekt ein Navigationspfeil. Die Steuereinheit 30 verschiebt den kopfseitigen Bereich (wichtiger Bereich) im Pfeil zu einem effektiven Bereich. Die Steuereinheit 30 definiert als ersten Basispunkt einen Teil, der einer Grenze zwischen dem kopfseitigen Bereich im Pfeil und dem nicht kopfseitigen Bereich im Pfeil entspricht; als zweiten Basispunkt den Mittelpunkt des Schnittpunkts; und als dritten Basispunkt eine Position, die einem anderen Ende im Navigationspfeil entspricht, bevor er geändert wird. Die Steuereinheit 30 erzeugt einen Navigationspfeil, so dass der erste Basispunkt, der zweite Basispunkt und der dritte Basispunkt durch den Navigationspfeil verbunden sind.
• Im obigen Beispiel, im Schritt ST75, erzeugt die Steuereinheit 30 ein virtuelles Objekt, das durch Verschieben des wichtigen Bereichs im virtuellen Objekt in einen effektiven Bereich erhalten wird. Die Bedeutung dieses Begriffs „erzeugt ein virtuelles Objekt“ schließt den Fall ein, dass mehrere virtuelle Objekte mit unterschiedlichen Anzeigeformen vorgespeichert werden und dann die Steuereinheit 30 unter ihnen ein für die Anzeige geeignetes virtuelles Objekt auswählt. 32 ist ein Diagramm, das ein Beispiel für die vorgespeicherten mehreren virtuellen Objekte zeigt. In 32 sind mehrere Navigationspfeile dargestellt, bei denen die Längen der anderen Bereiche als die kopfseitigen Bereiche in den Pfeilen unterschiedlich sind.
• Es ist zu beachten, dass, wenn die Wichtigkeitsgrade der jeweiligen Bereiche im virtuellen Objekt bis zur Verarbeitung in Schritt ST71 erworben werden, wie z.B. in einem Fall, in dem die obige Konfiguration gemäß Ausführungsform 6 auf Ausführungsform 2 angewendet wird, die Verarbeitung in Schritt ST72 ausgelassen werden kann.
• Wie oben beschrieben, wird in der Ausführungsform 6, wenn die Erkennbarkeit des virtuellen Objekts unter dem Schwellenwert liegt, ein virtuelles Objekt erzeugt, das durch Verschieben des wichtigen Bereichs im virtuellen Objekt in einen Bereich (effektiver Bereich) erhalten wird, der zu den für die Anzeige von virtuellen Objekten geeigneten Bereichen gehört und in dem die Anzeigefläche des wichtigen Bereichs am größten ist. Entsprechend dieser Verarbeitung wird die Möglichkeit erhöht, dass die Erkennbarkeit des virtuellen Objekts gleich oder größer als der Schwellenwert wird, im Vergleich zu dem Fall, dass die Anzeigeform des virtuellen Objekts ohne eine solche Definition geändert wird, wenn die Erkennbarkeit des virtuellen Objekts kleiner als der Schwellenwert ist. Auf diese Weise kann verhindert werden, dass die Anzeigeform unnötig verändert wird. Außerdem wird bei der Angabe mehrerer effektiver Bereiche ein virtuelles Objekt unter Verwendung des effektiven Bereichs entsprechend einer Priorität in absteigender Reihenfolge der Anzeigeflächen der wichtigen Bereiche erzeugt. Auf diese Weise ist es möglich, das virtuelle Objekt effizient zu erzeugen. Wenn mehrere effektive Bereiche angegeben werden, in denen die Anzeigebereiche der wichtigen Bereiche gleich sind, wird ein virtuelles Objekt unter Verwendung des effektiven Bereichs erzeugt, für den der Verschiebungsbetrag des wichtigen Bereichs am geringsten ist. Auf diese Weise ist es möglich, das virtuelle Objekt effizient zu erzeugen.
• Abschließend werden Beispiele für die Hardware-Konfiguration der Anzeigesteuerungsvorrichtung 100 beschrieben.
• 33A und 33B sind Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel der Anzeigesteuerungsvorrichtung 100 zeigen.
• In der Anzeigesteuerungsvorrichtung 100 werden die jeweiligen Funktionen der externen Informationserfassungseinheit 10, der Positionsinformationserfassungseinheit 20, der Steuereinheit 30, der Einheit zur Erfassung des auszublendenden Bereichs 40 und der Erkennbarkeitsbestimmungseinheit 50 durch eine Verarbeitungsschaltung implementiert. Die Anzeigesteuerungsvorrichtung 100 enthält nämlich die Verarbeitungsschaltung zur Implementierung der jeweiligen vorgenannten Funktionen. Die Verarbeitungsschaltung kann eine Verarbeitungsschaltung 103 als dedizierte Hardware sein, und es kann ein Prozessor 102 sein, der in einem Speicher 101 gespeicherte Programme ausführt.
• Ferner ist der Speicher 101 die Wichtigkeitsgradspeichereinheit 60 in der Anzeigesteuerungsvorrichtung 100. Die Verarbeitungsschaltung 103, der Prozessor 102 und der Speicher 101 sind mit der Kamera 1, dem Sensor 2, der Navigationsvorrichtung 3 und der Anzeigevorrichtung 4 verbunden.
• Wenn die Verarbeitungsschaltung eine dedizierte Hardware ist, wie in 33A gezeigt, entspricht die Verarbeitungsschaltung 103 beispielsweise einer einzelnen Schaltung, einer zusammengesetzten Schaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einem ASIC (Application Specific Integrated Circuit), einem FPGA (Field Programmable Gate Array) oder einer beliebigen Kombination davon. Die Funktionen der externen Informationserfassungseinheit 10, der Positionsinformationserfassungseinheit 20, der Steuereinheit 30, der Einheit zur Erfassung des auszublendenden Bereichs 40 und der Erkennbarkeitsbestimmungseinheit 50 können durch mehrere Verarbeitungsschaltungen 103 implementiert werden, und die Funktionen der jeweiligen Einheiten können gemeinsam durch eine Verarbeitungsschaltung 103 implementiert werden.
• Wenn die Verarbeitungsschaltung der Prozessor 102 ist, wie in 33B gezeigt, werden die Funktionen der externen Informationserfassungseinheit 10, der Positionsinformationserfassungseinheit 20, der Steuereinheit 30, der Einheit zur Erfassung des auszublendenden Bereichs 40 und der Erkennbarkeitsbestimmungseinheit 50 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software und die Firmware werden jeweils als Programm(e) beschrieben und im Speicher 101 abgelegt. Der Prozessor 102 liest die im Speicher 101 gespeicherten Programme aus und führt sie aus, um dadurch die Funktionen der jeweiligen Einheiten zu implementieren. Die Anzeigesteuerungsvorrichtung 100 enthält nämlich den Speicher 101 zur Speicherung der Programme, durch die, wenn sie vom Prozessor 102 ausgeführt werden, die jeweiligen Schritte, die in den Flussdiagrammen von 6A, 6B, 12A, 12B, 15A, 15B, 19A, 19B, 22A, 22B, 26A und 26B gezeigt werden, schließlich ausgeführt werden.
• Weiterhin kann man auch sagen, dass diese Programme einen Computer veranlassen, Schritte oder Prozesse der externen Informationserfassungseinheit 10, der Positionsinformationserfassungseinheit 20, der Steuereinheit 30, der Einheit zur Erfassung des auszublendenden Bereichs 40 und der Einheit zur Bestimmung der Erkennbarkeit 50 auszuführen.
• Der Speicher 101 kann hier ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein EPROM (Erasable Programmable ROM), ein Flash-Speicher oder ähnliches sein; er kann eine Magnetplatte wie eine Festplatte, eine flexible Platte oder ähnliches sein; und er kann eine optische Platte wie eine CD (Compact Disc), eine DVD (Digital Versatile Disc) oder ähnliches sein.
• Der Prozessor 102 repräsentiert eine CPU (Central Processing Unit), eine Verarbeitungsvorrichtung, ein arithmetisches Gerät, einen Mikroprozessor, einen Mikrocomputer oder ähnliches.
• Es wird darauf hingewiesen, dass die jeweiligen Funktionen der externen Informationserfassungseinheit 10, der Positionsinformationserfassungseinheit 20, der Steuereinheit 30, der Einheit zur Erfassung des auszublendenden Bereichs 40 und der Erkennbarkeitsbestimmungseinheit 50 teilweise durch spezielle Hardware und teilweise durch Software oder Firmware implementiert werden können. Auf diese Weise kann die Verarbeitungsschaltung in der Anzeigesteuerungsvorrichtung 100 die oben genannten jeweiligen Funktionen durch Hardware, Software, Firmware oder eine beliebige Kombination davon implementieren.
• Es ist zu beachten, dass die freie Kombination der jeweiligen Ausführungsformen, die Änderung eines beliebigen Konfigurationselements in den Ausführungsformen und das Weglassen eines beliebigen Konfigurationselements in den Ausführungsformen in der vorliegenden Erfindung vorgenommen werden kann, ohne dass der Umfang der Erfindung verlassen wird.
• GEWERBLICHE ANWENDBARKEIT
• Die erfindungsgemäße Anzeigesteuerungsvorrichtung bewirkt, dass die durch das virtuelle Objekt angezeigte Information auch dann genau dargestellt wird, wenn die Ausblendung in einem Bereich erfolgt, in dem sich das virtuelle Objekt und das reale Objekt überlappen, und ist daher gut geeignet, in einem Fahrzeug ausgerüstet oder in ein Fahrzeug gebracht zu werden.
• Bezugszeichenliste

1:

Kamera

1, 2:

Sensor,

3:

Navigationsvorrichtung,

4:

Anzeigevorrichtung,

10:

externe Informationserfassungseinheit,

20:

Positionsinformationserfassungseinheit,

30:

Steuereinheit,

40:

Einheit zur Erfassung des auszublendenden Bereichs,

50:

Erkennbarkeitsbestimmungseinheit,

60:

Wichtigkeitsgradspeichereinheit,

100:

Anzeigesteuerungsvorrichtung.

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 200569799 [0004]

Claims (8)

1. Eine Anzeigesteuerungsvorrichtung, die eine Anzeigevorrichtung steuert, die ein virtuelles Objekt über eine reale Szenerie legt, umfassend: eine externe Informationserfassungseinheit, die ein in der realen Szenerie existierendes reales Objekt erkennt; eine Einheit zur Erfassung eines auszublendenden Bereichs, die auf der Grundlage einer Tiefenbeziehung zwischen einer Überlagerungsposition des virtuellen Objekts und des realen Objekts und einer Positionsbeziehung auf einem Bildschirm der Anzeigevorrichtung zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts einen auszublendenden Bereich erfasst, der ein Bereich in dem virtuellen Objekt ist, in dem das reale Objekt vor der Überlagerungsposition des virtuellen Objekts angeordnet werden soll; eine Erkennbarkeitsbestimmungseinheit, die eine Erkennbarkeit berechnet, die verwendet wird, um zu bestimmen, ob Informationen, die durch das virtuelle Objekt angezeigt werden, erkennbar sind, wenn der auszublendende Bereich ausgeblendet ist, und um zu bestimmen, ob die Erkennbarkeit gleich oder größer als ein Schwellenwert ist oder nicht; und eine Steuereinheit, die, wenn die Erkennbarkeit gleich oder größer als der Schwellenwert ist, ein weiteres virtuelles Objekt erzeugt, das durch Ausblenden des auszublendenden Bereichs des virtuellen Objekts erhalten wird, und die, wenn die Erkennbarkeit kleiner als der Schwellenwert ist, ein weiteres virtuelles Objekt erzeugt, das durch Ändern einer Anzeigeform des virtuellen Objekts erhalten wird.
2. Die Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei das virtuelle Objekt mehrere Bereiche enthält und Wichtigkeitsgrade für die mehreren Bereiche jeweils voreingestellt sind; und wobei die Erkennbarkeitsbestimmungseinheit auf der Grundlage der Wichtigkeitsgrade die Erkennbarkeit des virtuellen Objekts nach der Verarbeitung des Ausblendens berechnet und bestimmt, ob die Erkennbarkeit gleich oder größer als der Schwellenwert ist oder nicht.
3. Die Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei die Erkennbarkeitsbestimmungseinheit auf der Grundlage eines Verhältnisses zwischen einer Fläche des virtuellen Objekts vor der Verarbeitung des Ausblendens und einer Fläche des virtuellen Objekts nach der Verarbeitung des Ausblendens die Erkennbarkeit berechnet und bestimmt, ob die Erkennbarkeit gleich oder größer als der Schwellenwert ist oder nicht.
4. Die Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei das virtuelle Objekt mehrere Bereiche enthält und die Wichtigkeitsgrade für die mehreren Bereiche jeweils voreingestellt sind; und wobei die Erkennbarkeitsbestimmungseinheit einen wichtigen Bereich in dem virtuellen Objekt auf der Grundlage der Wichtigkeitsgrade bestimmt, die Erkennbarkeit auf der Grundlage eines Verhältnisses zwischen einer Fläche des wichtigen Bereichs vor der Verarbeitung des Ausblendens und einer Fläche des wichtigen Bereichs nach der Verarbeitung des Ausblendens berechnet und bestimmt, ob die Erkennbarkeit gleich oder größer als der Schwellenwert ist oder nicht.
5. Die Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei das virtuelle Objekt mehrere Bereiche enthält und die Wichtigkeitsgrade für die mehreren Bereiche jeweils voreingestellt sind; und wobei die Erkennbarkeitsbestimmungseinheit die Erkennbarkeit auf der Grundlage von Werten berechnet, die durch Dividieren des Wichtigkeitsgrads durch die Fläche des Bereichs für jeden der mehreren Bereiche und eine Fläche des auszublendenden Bereichs erhalten werden, und bestimmt, ob die Erkennbarkeit gleich oder größer als der Schwellenwert ist oder nicht.
6. Die Anzeigesteuerungsvorrichtung nach Anspruch 1, wobei das virtuelle Objekt mehrere Bereiche enthält und die Wichtigkeitsgrade jeweils für die mehreren Bereiche voreingestellt sind; und wobei die Steuereinheit, wenn die Erkennbarkeit unter dem Schwellenwert liegt, einen wichtigen Bereich in dem virtuellen Objekt auf der Grundlage der Wichtigkeitsgrade bestimmt und ein virtuelles Objekt erzeugt, das durch Verschieben des wichtigen Bereichs in einen Bereich erhalten wird, der einer der für die Anzeige des virtuellen Objekts geeigneten Bereiche ist und in dem eine Anzeigefläche des wichtigen Bereichs am größten ist.
7. Ein Anzeigesteuerungsverfahren zum Steuern einer Anzeigevorrichtung, die ein virtuelles Objekt einer realen Szenerie überlagert, umfassend: einen Schritt der Erkennung, durch eine externe Informationserfassungseinheit, eines in der realen Szenerie existierenden realen Objekts; einen Schritt des Erfassens, durch eine Einheit zur Erfassung eines auszublendenden Bereichs, eines auszublendenden Bereichs, der ein Bereich in dem virtuellen Objekt ist, in dem das reale Objekt vor einer Überlagerungsposition des virtuellen Objekts angeordnet ist, auf der Grundlage einer Tiefenbeziehung zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts und einer Positionsbeziehung auf einem Anzeigebildschirm der Anzeigevorrichtung zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts; einen Schritt des Berechnens einer Erkennbarkeit, durch eine Erkennbarkeitsbestimmungseinheit, die verwendet wird, um zu bestimmen, ob Informationen, die durch das virtuelle Objekt angezeigt werden, erkennbar sind oder nicht, wenn der auszublendende Bereich ausgeblendet ist, und des Bestimmens durch die Erkennbarkeitsbestimmungseinheit, ob die Erkennbarkeit gleich oder größer als ein Schwellenwert ist oder nicht; und einen Schritt der Erzeugung eines weiteren virtuellen Objekts, durch eine Steuereinheit, das durch Ausblenden des auszublendenden Bereichs des virtuellen Objekts erhalten wird, wenn die Erkennbarkeit gleich oder größer als der Schwellenwert ist, und der Erzeugung eines weiteren virtuellen Objekts durch die Steuereinheit, das durch Ändern der Anzeigeform des virtuellen Objekts erhalten wird, wenn die Erkennbarkeit kleiner als der Schwellenwert ist.
8. Ein Anzeigesystem, umfassend: eine Anzeigevorrichtung zum Überlagern eines virtuellen Objekts über eine reale Szenerie; und eine Anzeigesteuerungsvorrichtung zum Steuern der Anzeigevorrichtung, wobei die Anzeigesteuerungsvorrichtung umfasst: eine externe Informationserfassungseinheit, die ein in der realen Szenerie existierendes reales Objekt erkennt; eine Einheit zur Erfassung eines auszublendenden Bereichs, die auf der Grundlage einer Tiefenbeziehung zwischen einer Überlagerungsposition des virtuellen Objekts und des realen Objekts und einer Positionsbeziehung auf einem Bildschirm der Anzeigevorrichtung zwischen der Überlagerungsposition des virtuellen Objekts und des realen Objekts einen auszublendenden Bereich erfasst, der ein Bereich in dem virtuellen Objekt ist, in dem das reale Objekt vor der Überlagerungsposition des virtuellen Objekts angeordnet werden soll; eine Erkennbarkeitsbestimmungseinheit, die eine Erkennbarkeit berechnet, die verwendet wird, um zu bestimmen, ob Informationen, die durch das virtuelle Objekt angezeigt werden, erkennbar sind, wenn der auszublendende Bereich ausgeblendet ist, und um zu bestimmen, ob die Erkennbarkeit gleich oder größer als ein Schwellenwert ist oder nicht; und eine Steuereinheit, die, wenn die Erkennbarkeit gleich oder größer als der Schwellenwert ist, ein weiteres virtuelles Objekt erzeugt, das durch Ausblenden des auszublendenden Bereichs des virtuellen Objekts erhalten wird, und die, wenn die Erkennbarkeit kleiner als der Schwellenwert ist, ein weiteres virtuelles Objekt erzeugt, das durch Ändern einer Anzeigeform des virtuellen Objekts erhalten wird.

Images