DE112021000344T5

DE112021000344T5 - Rendering-System, Anzeigesystem, Fahrzeug, Rendering-Verfahren und Programm

Info

Publication number: DE112021000344T5
Application number: DE112021000344.5T
Authority: DE
Inventors: Shohei Hayashi; Terumitsu Suenaga
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Automotive Systems Co Ltd
Priority date: 2020-02-12
Filing date: 2021-02-01
Publication date: 2022-10-27
Also published as: CN115088028A; JP7357284B2; US20220383645A1; CN115088028B; WO2021161840A1; JP2021128471A

Abstract

Eine Aufgabe der vorliegenden Offenbarung ist es, eine Verschiebung eines Anzeigeortes, die mit einer eigenen Bewegung eines Erkennungssystems verbunden ist, zu verringern. Ein Rendering-System (1) enthält eine Rendering-Einheit (11) und eine Korrektureinheit (12). Die Rendering-Einheit (11) rendert auf der Grundlage eines Ergebnisses einer Erkennung (D1) durch ein Erkennungssystem (3) eine Markierung entsprechend einem Ort eines Ziels. Das Erkennungssystem (3) ist in einem sich bewegenden Fahrzeug zum Zweck des Erkennens des Ziels eingebaut. Die Korrektureinheit (12) korrigiert auf der Grundlage von Korrekturdaten (D2) den Ort des Ziels in Übereinstimmung mit dem Ergebnis der Erkennung (D1) durch das Erkennungssystem (3) und bestimmt dadurch einen Ort der Markierung, die durch die Rendering-Einheit (11) zu rendern ist. Die Korrekturdaten (D2) werden mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs gewonnen.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich allgemein auf ein Rendering-System, ein Anzeigesystem, ein sich bewegendes Fahrzeug, ein Rendering-Verfahren und ein Programm. Mehr im Einzelnen bezieht sich die vorliegende Offenbarung auf ein Rendering-System, ein Anzeigesystem, ein sich bewegendes Fahrzeug, ein Rendering-Verfahren und ein Programm, die sämtliche konfiguriert oder dafür ausgelegt sind, um ein Bild auf der Grundlage des Ergebnisses einer Erkennung durch ein Erkennungssystem zum Erkennen eines Ziels auszugeben.
Hintergrund
Die Patentschrift 1 offenbart eine Anzeigevorrichtung für herannahende sich bewegende Fahrzeuge zur Anzeige eines Bildes eines herannahenden sich bewegenden Fahrzeugs auf einem Bildschirm in einem Fahrzeug. Die Anzeigevorrichtung für herannahende sich bewegende Fahrzeuge erkennt auf der Grundlage eines Bildes, das beispielsweise von einer an einer Kreuzung installierten Kamera aufgenommen wurde, ein herannahendes sich bewegendes Fahrzeug (sich bewegendes Fahrzeug), das vor der Kamera entlang der Straße fährt, und berechnet auf der Grundlage der Ortsinformationen des so erkannten herannahenden sich bewegenden Fahrzeugs einen virtuellen Anzeigeort des sich bewegenden Fahrzeugs auf dem Bildschirm.
Die Anzeigevorrichtung für herannahende bewegliche Fahrzeuge der Patentschrift 1 hat auch die Korrekturfähigkeit, den virtuellen Anzeigeort des herannahenden sich bewegenden Fahrzeugs auf der Grundlage einer Zeitverzögerung zwischen einem Zeitpunkt, zu dem ein Bild aufgenommen wird, und einem Zeitpunkt, zu dem das Bild auf einer Anzeigeeinheit angezeigt wird, zu korrigieren. Speziell umfasst die Korrekturfähigkeit ein Berechnen des Abstands zwischen der Kamera und dem herannahenden sich bewegenden Fahrzeugs, der Fahrgeschwindigkeit des herannahenden sich bewegenden Fahrzeugs und anderer Parameter auf der Grundlage des aufgenommenen Bildes und ein Korrigieren des virtuellen Anzeigeortes des herannahenden sich bewegenden Fahrzeugs auf der Grundlage des Ergebnisses der Berechnung und der Zeitverzögerung.
Gemäß der Konfiguration der Patentschrift 1 ist die Kamera jedoch im Wesentlichen stationär, beispielsweise an der Kreuzung, installiert. Wenn also das Erkennungssystem (das die Kamera enthält) zum Erkennen des Ziels (wie des herannahenden sich bewegenden Fahrzeugs) beweglich ist, ist die Anzeigevorrichtung der Patentschrift 1 nicht in der Lage, eine Verschiebung des Anzeigeortes zu eliminieren, die mit der eigenen Bewegung des Erkennungssystems verbunden ist.
Literaturliste
Patentliteratur
Patentschrift 1: JP 2008-46744 A
Kurzdarstellung der Erfindung
Eine Aufgabe der vorliegenden Offenbarung ist es, ein Rendering-System, ein Anzeigesystem, ein sich bewegendes Fahrzeug, ein Rendering-Verfahren und ein Programm vorzusehen, die sämtliche eine solche Verschiebung des Anzeigeortes, die mit der eigenen Bewegung des Erkennungssystems verbunden ist, verringern können.
Gemäß einem Aspekt der vorliegenden Offenbarung enthält ein Rendering-System eine Rendering-Einheit und eine Korrektureinheit. Die Rendering-Einheit rendert auf der Grundlage eines Ergebnisses einer Erkennung durch ein Erkennungssystem eine Markierung entsprechend einem Ort des Ziels. Das Erkennungssystem ist in einem sich bewegenden Fahrzeug zum Zweck des Erkennens des Ziels eingebaut. Die Korrektureinheit korrigiert auf der Grundlage von Korrekturdaten den Ort des Ziels in Übereinstimmung mit dem Ergebnis der Erkennung durch das Erkennungssystem und bestimmt dadurch einen Ort der Markierung, die durch die Rendering-Einheit zu rendern ist. Die Korrekturdaten werden mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs gewonnen.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung enthält ein Anzeigesystem das oben beschriebene Rendering-System und eine Anzeigevorrichtung, auf der die von dem Rendering-System gerenderte Markierung angezeigt wird.
Gemäß noch einem weiteren Aspekt der vorliegenden Offenbarung weist ein sich bewegendes Fahrzeug das oben beschriebene Anzeigesystem und eine Karosserie des sich bewegenden Fahrzeugs auf, die mit dem Anzeigesystem auszustatten ist.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung umfasst ein Rendering-Verfahren Rendering-Verarbeitung und Korrekturverarbeitung. Die Rendering-Verarbeitung umfasst ein Rendern einer Markierung entsprechend einem Ort des Ziels auf der Grundlage eines Ergebnisses einer Erkennung durch ein Erkennungssystem. Das Erkennungssystem ist in einem sich bewegenden Fahrzeug zum Zweck des Erkennens des Ziels eingebaut. Die Korrekturverarbeitung umfasst ein Korrigieren des Ortes des Ziels in Übereinstimmung mit dem Ergebnis der Erkennung durch das Erkennungssystem auf der Grundlage von Korrekturdaten und dadurch ein Bestimmen eines Ortes der Markierung, die in der Rendering-Verarbeitung zu rendern ist. Die Korrekturdaten werden mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs gewonnen.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Programm dafür ausgelegt, einen oder mehrere Prozessoren zu veranlassen, das oben beschriebene Rendering-Verfahren durchzuführen.
Figurenliste

1 zeigt in einem schematischen Blockdiagramm eine Konfiguration für ein Rendering-System und ein Anzeigesystem gemäß einer ersten Ausführungsform;
2 veranschaulicht eine Benutzeransicht, um einen beispielhaften Betrieb des Anzeigesystems zu beschreiben;
3 veranschaulicht in einer Vogelperspektive die in 2 gezeigte Situation;
4 veranschaulicht in einer schematischen Darstellung begrifflich, wie durch das Rendering-System einer Verzögerung verursacht wird;
5 veranschaulicht in einem begrifflichen Diagramm eine erste Szene, um einen beispielhaften Betrieb des Anzeigesystems zu beschreiben;
6A veranschaulicht einen Teil der Benutzeransicht, um einen beispielhaften Betrieb des Anzeigesystems in einer Situation zu beschreiben, in der eine Markierung an einem noch zu korrigierenden Ort gerendert wird;
6B veranschaulicht einen Teil der Benutzeransicht, um den beispielhaften Betrieb des Anzeigesystems in einer Situation zu beschreiben, in der eine Markierung an einem korrigierten Ort gerendert wird;
7 zeigt ein begriffliches Diagramm, um einen beispielhaften Betrieb des Rendering-Systems zu beschreiben;
8 veranschaulicht die Benutzeransicht, um einen beispielhaften Betrieb des Anzeigesystems in einer zweiten Szene zu beschreiben;
9 zeigt ein begriffliches Diagramm, das die zweite Szene veranschaulicht, um den beispielhaften Betrieb des Anzeigesystems zu beschreiben;
10 veranschaulicht in einem Flussdiagramm einen Gesamtbetrieb des Rendering-Systems und des Anzeigesystems gemäß der ersten Ausführungsform; und
11 veranschaulicht in einem schematischen Blockdiagramm eine Konfiguration für ein Rendering-System und ein Anzeigesystem gemäß einer zweiten Ausführungsform.

Beschreibung der Ausführungsformen
(Erste Ausführungsform)
(1) Überblick
Als Erstes wird ein Überblick über ein Rendering-System 1 gemäß einer beispielhaften Ausführungsform mit Bezug auf 1-3 beschrieben.
Gemäß dieser Ausführungsform ist ein Rendering-System 1 ein System zum Rendern einer Markierung M1 (siehe 2) auf der Grundlage eines Ergebnisses einer Erkennung D1 durch ein Erkennungssystem 3. Das Erkennungssystem 3 ist ein System zum Erkennen eines Ziels 50 (siehe 2). In dieser Ausführungsform ist das Erkennungssystem 3 in einem sich bewegenden Fahrzeug 6 eingebaut (siehe 2).
In dieser Ausführungsform bilden das Rendering-System 1 und eine Anzeigevorrichtung 2 zusammen ein Anzeigesystem 10. Mit anderen Worten, das Anzeigesystem 10 gemäß dieser Ausführungsform enthält das Rendering-System 1 und die Anzeigevorrichtung 2. Die Anzeigevorrichtung 2 ist eine Vorrichtung, auf der die Markierung M1 angezeigt wird, die von dem Rendering-System 1 gerendert ist.
Wenn beispielsweise ein Fußgänger als das Ziel 50 durch das Erkennungssystem 3 zum Erkennen des Fußgängers vor einem Fahrzeug 6, wie in den 2 und 3 gezeigt, erkannt wird, rendert dieses Rendering-System 1 eine Markierung M1 entsprechend dem Ort des Ziels 50. Ein Anzeigen der von dem Rendering-System 1 gerenderten Markierung M1 auf der Anzeigevorrichtung 2 ermöglicht es dann, die Markierung M1 aus Sicht des Benutzers 62 als eingekreiste Markierung an den Füßen des Ziels 50 (Fußgängers) anzuzeigen, wie es beispielsweise in 2 gezeigt ist.
Das Anzeigesystem 10 gemäß dieser Ausführungsform ist in der Karosserie 61 des sich bewegenden Fahrzeugs (siehe 2) eingebaut und bildet zusammen mit der Karosserie 61 des sich bewegenden Fahrzeugs das sich bewegende Fahrzeug 6 (siehe 2). Mit anderen Worten, das sich bewegende Fahrzeug 6 gemäß dieser Ausführungsform weist das Anzeigesystem 10 und die Karosserie 61 des sich bewegenden Fahrzeugs auf. Die Karosserie 61 des sich bewegenden Fahrzeugs ist mit dem Anzeigesystem 10 ausgestattet.
Unter dieser Prämisse enthält ein Rendering-System 1 gemäß dieser Ausführungsform eine Rendering-Einheit 11 und eine Korrektureinheit 12. Die Rendering-Einheit 11 rendert auf der Grundlage des Ergebnisses einer Erkennung D1 durch das Erkennungssystem 3 eine Markierung M1 entsprechend dem Ort eines Ziels 50. Das Erkennungssystem 3 ist in dem sich bewegenden Fahrzeug 6 zum Zweck des Erkennens des Ziels 50 eingebaut. Die Korrektureinheit 12 korrigiert auf der Grundlage von Korrekturdaten D2 den Ort des Ziels 50 in Übereinstimmung mit dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 und bestimmt dadurch einen Ort der Markierung M1, der durch die Rendering-Einheit 11 zu rendern ist. In diesem Fall werden die Korrekturdaten D2 auf der Grundlage von mindestens Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 gewonnen.
Gemäß dieser Konfiguration rendert die Rendering-Einheit 11 die Markierung M1 an einem Rendering-Ort, der einer Korrektur durch die Korrektureinheit 12 auf der Grundlage der Korrekturdaten D2 unterzogen wurde, und nicht an einem Ort des Ziels 50 auf der Grundlage des Ergebnisses einer Erkennung D1 durch das Erkennungssystem 3. Dies ermöglicht es, selbst wenn beispielsweise durch eine Verarbeitung innerhalb des Erkennungssystems 3 oder eine Übertragung des Ergebnisses einer Erkennung D1 von dem Erkennungssystem 3 an das Rendering-System 1 eine Verzögerung verursacht wird, die Wahrscheinlichkeit, dass der Anzeigeort der schließlich angezeigten Markierung M1 durch diese Verzögerungen verfälscht wird, zu verringern. Im Einzelnen führt die Korrektureinheit 12 die Korrektur auf der Grundlage des Fortbewegungszustands des sich bewegenden Fahrzeugs 6 durch, das mit dem Erkennungssystem 3 ausgestattet ist. Dies ermöglicht es, die Verschiebung des Anzeigeortes aufgrund der eigenen Bewegung des Erkennungssystems 3 während der oben beschriebenen Verzögerungsperiode zu verringern.
Weiter enthält ein Rendering-System 1 gemäß dieser Ausführungsform die Rendering-Einheit 11 und eine Interpolationseinheit 13. Die Rendering-Einheit 11 rendert auf der Grundlage des Ergebnisses einer Erkennung D1 durch das Erkennungssystem 3 mindestens in jedem ersten Zyklus T1 die Markierung M1 entsprechend dem Ort des Ziels 50 (siehe 7). In dieser Ausführungsform erkennt das Erkennungssystem 3 das Ziel 50 und gibt das Ergebnis der Erkennung D1 in jedem ersten Zyklus T1 aus. Die Interpolationseinheit 13 führt immer dann, wenn die Rendering-Einheit 11 die Markierung M1 in jedem zweiten Zyklus T2 aktualisiert (siehe 7), der kürzer als der erste Zyklus T1 ist, eine Interpolation auf der Grundlage von Interpolationsdaten D3 durch, um eine interpolierte Markierung M1 (siehe 7) als die aktualisierte Markierung M1 zu gewinnen.
Gemäß dieser Konfiguration wird in einer Situation, in der der zweite Zyklus T2, in dem die Rendering-Einheit 11 die Markierung M1 aktualisiert, kürzer ist als der erste Zyklus T1, in dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 ausgibt, die aktualisierte Markierung M1 (interpolierte Markierung M1) durch eine Interpolation auf der Grundlage der Interpolationsdaten D3 gewonnen. Dies ermöglicht es, selbst während beispielsweise des ersten Zyklus T1 zwischen einem Zeitpunkt, zu dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 ausgibt, und einem Zeitpunkt, zu dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 das nächste Mal ausgibt, die Markierung M1 jedes Mal, wenn die Markierung M1 aktualisiert wird, zu ändern, so dass sich die Markierung M1 relativ gleichmäßig bewegen kann. Infolgedessen verringert dies die Wahrscheinlichkeit, dass die Markierung M1 ein unnatürliches Verhalten zeigt.
(2) Einzelheiten
Als nächstes werden das Rendering-System 1, das Anzeigesystem 10 und das sich bewegende Fahrzeug 6 gemäß dieser Ausführungsform mit Bezug auf 1-10 mehr im Einzelnen beschrieben.
(2.1) Prämisse
In dem hier verwendeten Sinne umfasst „sich bewegendes Fahrzeug“ das Anzeigesystem 10 und die Karosserie 61 des sich bewegenden Fahrzeugs, wie oben beschrieben. In dieser Ausführungsform soll das sich bewegende Fahrzeug 6 beispielsweise ein Automobil sein, das von einem Menschen gefahren wird (d. h. ein Personenkraftwagen).
In dem hier verwendeten Sinne bezieht sich „Markierung“ auf ein Bild, das von der Anzeigevorrichtung 2 in einer für den Benutzer 62 visuell erkennbaren Form angezeigt wird (siehe 2). Die Markierung M1 kann beispielsweise eine Figur, ein Zeichen, ein Schriftzeichen, eine Zahl, ein Muster, ein Foto oder eine Kombination davon sein. Beispiele für diese Art einer Markierung M1 sind ein Bewegtbild (sich bewegendes Bild) und ein Standbild (stehendes Bild). Das Bewegtbild enthält eine Gruppe von Standbildern, die beispielsweise durch Stop-Motion-Aufnahmen gewonnen wurden. In dieser Ausführungsform soll die von dem Rendering-System 1 gerenderte Markierung M1 ein Bewegtbild sein, das mit einer vorbestimmten Aktualisierungsrate zu aktualisieren (d. h. neu zu schreiben) ist. Außerdem soll in dieser Ausführungsform die von dem Rendering-System 1 gerenderte Markierung M1 beispielsweise ein dreidimensionales Bild sein, das in einem dreidimensionalen Raum angezeigt wird, der durch drei orthogonale Achsen, nämlich die X-, Y- und Z-Achse definiert ist. Das heißt, die von dem Rendering-System 1 gerenderte Markierung M1 ist ein dreidimensionales Bild, das nicht nur Informationen über vertikale und horizontale Orte, sondern auch Informationen über seinen Ort in einer Tiefenrichtung entsprechend dem Abstand von dem Erkennungssystem 3 zu dem Ziel 50 enthält.
In dem hier verwendeten Sinne bezieht sich „Benutzer“ auf eine Person, die auf die von dem Rendering-System 1 gerenderte Markierung M1, d. h. die von dem Anzeigesystem 10 angezeigte Markierung M1, blickt. In dieser Ausführungsform soll der Benutzer 62 der Fahrer eines Automobils sein, das als Beispiel für ein sich bewegendes Fahrzeug 6 dient.
In dem hier verwendeten Sinne bezieht sich „Ziel“ auf ein beliebiges sich bewegendes oder nicht bewegendes Ziel, das durch das Erkennungssystem 3 erkannt werden soll. Beispiele für das Ziel sind Menschen oder andere Lebewesen wie kleine Tiere, andere sich bewegende Fahrzeuge und Strukturen wie Mauern, Leitplanken und Verkehrsampeln. Beispiele für Menschen in dem hier verwendeten Sinne sind ein Fußgänger, ein Läufer, eine Person, die stehen bleibt, um zu warten, eine sitzende Person, eine am Boden liegende Person und eine Person, die Fahrrad fährt. Zu den Beispielen für das Ziel 50 gehören nicht nur diese dreidimensionalen, sich bewegenden oder nicht bewegenden Ziele, sondern auch zweidimensionale, sich bewegende oder nicht bewegende Ziele wie weiße Linien und Symbole, die auf die Straße gezeichnet sind. In dieser Ausführungsform soll das Ziel 50 beispielsweise ein sich bewegendes oder nicht bewegendes Ziel sein, das sich in der Umgebung des sich bewegenden Fahrzeugs 6 befindet (insbesondere ein sich bewegendes oder nicht bewegendes Ziel, das sich in Fortbewegungsrichtung vor dem sich bewegenden Fahrzeug 6 befindet) und das die Aufmerksamkeit des Benutzers 62, der das sich bewegende Fahrzeug 6 fährt, auf sich ziehen soll. Speziell soll es sich in der folgenden Beschreibung bei dem Ziel 50 um einen Fußgänger 51 handeln, der in Fortbewegungsrichtung vor dem sich bewegenden Fahrzeug 6 geht, außer in den in den 8 und 9 veranschaulichten Beispielen, in denen das Ziel 50 die Ampel 55 ist, die sich in Fortbewegungsrichtung vor dem sich bewegenden Fahrzeug 6 befindet.
In dem hier verwendeten Sinne bezieht sich „Fortbewegungszustand“ auf den Zustand eines Bewegungsobjekts, das sich fortbewegt. Der Fortbewegungszustand des Bewegungsobjekts kann durch mindestens einen von unterschiedlichen Parametern dargestellt werden, wie eine Bewegungsgeschwindigkeit, das Maß der Bewegung (einschließlich der zurückgelegten Strecke und des Bewegungswinkels), eine Fortbewegungsrichtung und Beschleunigung, die Dauer der Fortbewegung und die Ausrichtung während der Fortbewegung. Wenn es sich beispielsweise um den Fortbewegungszustand eines sich bewegenden Fahrzeugs 6 handelt, umfasst der Fortbewegungszustand die Fahrgeschwindigkeit, das Maß der Bewegung, die Fahrrichtung oder die Beschleunigung des sich bewegenden Fahrzeugs 6. Ein solcher Fortbewegungszustand kann durch einen der verschiedenen Bordsensoren erkannt werden, die in der Karosserie 61 des sich bewegenden Fahrzeugs eingebaut sind, um beispielsweise einen Fahrzeuggeschwindigkeitsimpuls, die auf die Karosserie 61 des sich bewegenden Fahrzeugs ausgeübte Beschleunigung, den Gaspedalwinkel (der angibt, wie weit das Gaspedal getreten ist), wie weit das Bremspedal getreten ist oder den Lenkwinkel zu erfassen. Alternativ kann der Fortbewegungszustand des sich bewegenden Fahrzeugs 6 auch auf der Grundlage der Ortsinformationen der Karosserie 61 des sich bewegenden Fahrzeugs erkannt werden, die beispielsweise durch das globale Positionsbestimmungssystem (GPS) zu sammeln sind.
Weiter bezieht sich in dem hier verwendeten Sinne „erster Zyklus“ auf einen Zyklus, in dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 ausgibt. Mit anderen Worten, das Erkennungssystem 3 gibt das Ergebnis der Erkennung D1 in jedem ersten Zyklus T1 aus. Inzwischen bezieht sich in dem hier verwendeten Sinne „zweiter Zyklus“ auf einen Zyklus, in dem die Rendering-Einheit 11 die Markierung M1 aktualisiert. Mit anderen Worten, die Rendering-Einheit 11 aktualisiert die Markierung M1 in jedem zweiten Zyklus T2 (d. h. schreibt sie neu). Vergleicht man den ersten Zyklus T1 und den zweiten Zyklus T2 miteinander, so ist der zweite Zyklus T2 kürzer als der erste Zyklus T1 und der erste Zyklus T1 ist länger als der zweite Zyklus T2 (d. h. T1 > T2). Das heißt, der Zyklus, in dem die Rendering-Einheit 11 die Markierung M1 aktualisiert (d. h. der zweite Zyklus T2), ist kürzer als der Zyklus, in dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 ausgibt (d. h. der erste Zyklus T1). Während das Erkennungssystem 3 das Ergebnis der Erkennung D1 einmal ausgibt, aktualisiert die Rendering-Einheit 11 somit die Markierung M1 einmal oder mehrmals. In dieser Ausführungsform beträgt der erste Zyklus T1 beispielsweise 600 ms und der zweite Zyklus T2 100 ms.
(2.2) Gesamtkonfiguration
Als nächstes wird eine Gesamtkonfiguration für das Rendering-System 1, das Anzeigesystem 10 und das sich bewegende Fahrzeug 6 gemäß dieser Ausführungsform beschrieben.
Wie in 1 gezeigt, sind die Anzeigevorrichtung 2 und das Erkennungssystem 3 mit dem Rendering-System 1 verbunden. Die Anzeigevorrichtung 2 und das Erkennungssystem 3 sind zusammen mit dem Rendering-System 1 in der Fahrzeugkarosserie 61 des sich bewegenden Fahrzeugs 6 eingebaut. Mit anderen Worten, das sich bewegende Fahrzeug 6 weist gemäß dieser Ausführungsform nicht nur das Rendering- System 1 und die Karosserie 61 des sich bewegenden Fahrzeugs, sondern auch die Anzeigevorrichtung 2 und das Erkennungssystem 3 auf.
Außerdem ist ferner eine elektronische Steuereinheit (ECU) 4 der Karosserie 61 des sich bewegenden Fahrzeugs mit dem Rendering-System 1 verbunden. In dieser Ausführungsform soll die ECU 4 nicht zu den Bestandteilen des Rendering-Systems 1 gezählt werden. Alternativ kann die ECU 4 zu den Bestandteilen des Rendering-Systems 1 gezählt werden.
Die Anzeigevorrichtung 2 zeigt die von dem Rendering-System 1 gerenderte Markierung M1 an. In dieser Ausführungsform werden Bilddaten D4 von dem Rendering-System 1 an die Anzeigevorrichtung 2 geliefert. Die Bilddaten D4 enthalten die von dem Rendering-System 1 gerenderte Markierung M1. Somit zeigt die Anzeigevorrichtung 2 die von dem Rendering-System 1 gerenderte Markierung M1 an, indem sie die Bilddaten D4 darauf anzeigt.
In dieser Ausführungsform kann die Anzeigevorrichtung 2 zum Beispiel ein Head-up-Display (HUD) sein. Diese Anzeigevorrichtung 2 projiziert die Markierung M1 auf eine Windschutzscheibe 611 (siehe 2) der Karosserie 61 des sich bewegenden Fahrzeugs von unterhalb der Windschutzscheibe 611 her, so dass dadurch der Benutzer 62 (beispielsweise der Fahrer des sich bewegenden Fahrzeugs 6) die Markierung M1, die von der Windschutzscheibe 611 reflektiert wird, visuell erkennen kann.
Eine solche Anzeigevorrichtung 2 bewirkt, dass der Benutzer 62 ein virtuelles Bild wahrnimmt, als ob er das virtuelle Bild, das auf den Raum vor (und außerhalb) des sich bewegenden Fahrzeugs 6 projiziert wird, durch die Windschutzscheibe 611 betrachten würde. In dem hier verwendeten Sinne bezieht sich das „virtuelle Bild“ auf ein Bild, das durch einen Lichtstrahl gebildet wird, der von der Anzeigevorrichtung 2 ausgestrahlt wird und sich von einem Reflektor wie der Windschutzscheibe 611 ausbreitet, als ob tatsächlich ein Objekt im Raum vorhanden wäre. Dies ermöglicht es dem Benutzer 62, der das sich bewegende Fahrzeug 6 fährt, die Markierung M1 als ein virtuelles Bild visuell zu erkennen, das von der Anzeigevorrichtung 2 als ein Bild projiziert wird, das in den realen Raum vor dem sich bewegenden Fahrzeug 6 eingeblendet ist.
Im Einzelnen handelt es sich in dieser Ausführungsform bei der Markierung M1 um ein dreidimensionales Bild mit Ortsinformationen in einer Tiefenrichtung, die den Abstand von dem Erkennungssystem 3 zu dem Ziel 50 darstellt. Dies ermöglicht es der Anzeigevorrichtung 2, die Markierung M1, die visuell erkannt werden soll, mit einer Wahrnehmung für die Tiefe auf eine Straßenoberfläche 54 vor dem sich bewegenden Fahrzeug 6 zu projizieren.
Speziell zeigt die Anzeigevorrichtung 2, wie in 2 gezeigt, die Markierung M1 an einem Ort in der Umgebung des Ziels 50 (in diesem Beispiel beispielsweise eines Fußgängers 51) an, der durch das Erkennungssystem 3 innerhalb der Ansicht des Benutzers 62 (des Fahrers des sich bewegenden Fahrzeugs 6) erkannt wird. Für die Augen des Benutzers 62 wird die Markierung M1 somit als stereoskopisches, eingeblendetes Bild um das Ziel 50 herum angezeigt, so dass dadurch seine Aufmerksamkeit auf das Ziel 50 gelenkt wird. Das heißt, es wird eine Augmented-Reality-Anzeige (AR) realisiert, bei der die von der Anzeigevorrichtung 2 angezeigte Markierung M1 auf der Ansicht des Benutzers 62 des realen Raums vor ihm oder ihr synthetisiert wird.
Außerdem ist die Anzeigevorrichtung 2 mit dem Rendering-System 1 integriert. Das Rendering-System 1 und die Anzeigevorrichtung 2, die das Anzeigesystem 10 bilden, sind in einem einzigen Gehäuse untergebracht. Das Anzeigesystem 10 (zu denen das Rendering-System 1 und die Anzeigevorrichtung 2 gehören) ist in einem Armaturenbrett 612 der Karosserie 61 des sich bewegenden Fahrzeugs eingebaut.
Das Erkennungssystem 3 ist in dem sich bewegenden Fahrzeug 6 (in der Karosserie 61 des Fahrzeug) wie oben beschrieben eingebaut. Als Erkennungssystem 3 kann beispielsweise ein Erkennungssystem wie ein fortschrittliches Fahrerassistenzsystem (ADAS) des sich bewegenden Fahrzeugs 6 oder ein autonomes Fahrsystem verwendet werden. Die ADAS- oder autonome Fahrtechnik ermöglicht es dem Erkennungssystem 3, die Anwesenheit des Ziels 50 in der Umgebung des sich bewegenden Fahrzeugs 6 zu erkennen.
Das Erkennungssystem 3 weist ein Abtastmittel wie eine Kamera 31 (siehe 4), einen Sonarsensor, einen Radar- oder einen Lichtdetektions- und Bereichssensor (LiDAR-Sensor) auf. Das Erkennungssystem 3 erkennt unter Verwendung eines dieser Abtastmittel das Ziel 50 in der Umgebung des sich bewegenden Fahrzeugs 6 (insbesondere vor dem sich bewegenden Fahrzeug 6 in Fortbewegungsrichtung). Das Erkennungssystem 3 gibt das Ergebnis der Erkennung D1 in jedem ersten Zyklus T1 an das Rendering-System 1 aus.
In dieser Ausführungsform weist das Erkennungssystem 3 nicht nur das Abtastmittel wie die Kamera 31, sondern auch eine Verarbeitungseinheit 32 und eine Kommunikationseinheit 33 auf, wie beispielsweise in 4 gezeigt. Die Verarbeitungseinheit 32 führt eine geeignete Signalverarbeitung des Ausgangssignals der Kamera 31 durch, um beispielsweise das Ziel 50 zu erkennen. Die Kommunikationseinheit 33 kommuniziert mit dem Rendering-System 1, um das Ergebnis der Erkennung D1 an das Rendering-System 1 auszugeben (zu übertragen).
Das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 enthält Informationen über die Anwesenheit oder Abwesenheit des Ziels 50 in einem Überwachungsbereich (d. h. einem vorbestimmten Bereich vor dem sich bewegenden Fahrzeug 6 in Fortbewegungsrichtung). Wenn das Ziel 50 dort anwesend ist, enthält das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 ferner Informationen über den relativen Ort des Ziels 50 aus Sicht des Erkennungssystems 3 (d. h. von dem sich bewegenden Fahrzeug 6 aus gesehen) und Informationen über die Attribute des Ziels 50.
In dem hier verwendeten Sinne bezieht sich „relativer Ort“ auf den Ort eines repräsentativen Punktes P2 (siehe 5) des Ziels 50, von einem repräsentativen Punkt P1 (siehe 5) des Erkennungssystems 3 (des Fahrzeugs 6) aus gesehen, unter der Annahme, dass der repräsentative Punkt P1 ein Bezugspunkt ist. Im Einzelnen wird in dieser Ausführungsform der „relative Ort“ durch Koordinaten in einem X-Y-Koordinatensystem dargestellt, dessen Ursprung durch den repräsentativen Punkt P1 in der Draufsicht (d. h. in der Vogelperspektive) definiert ist. In diesem Fall ist die X-Achse eine Achse, die sich in Bezug auf das sich bewegende Fahrzeug 6 seitlich (d. h. in Richtung nach rechts/links) erstreckt, und die Y-Achse ist eine Achse, die sich in Bezug auf das sich bewegende Fahrzeug 6 vertikal (d. h. in Richtung nach vorne/hinten) erstreckt. Die Erkennung eines solchen relativen Ortes ermöglicht beispielsweise ein Bestimmen des Abstands von dem Erkennungssystem 3 (dem Fahrzeug 6) zu dem Ziel 50.
Weiter sind unter „Attribut“ in dem hier verwendeten Sinne zum Beispiel Informationen zu verstehen, die angeben, ob sich das Ziel 50 bewegt oder nicht, und, wenn sich das Ziel 50 bewegt, Informationen, die dessen Fortbewegungszustand angeben (wie dessen Bewegungsgeschwindigkeit, Maß der Bewegung, Fortbewegungsrichtung, Beschleunigung, Dauer der Fortbewegung und Orientierung während der Fortbewegung). Außerdem umfasst das Attribut des Ziels 50 in dieser Ausführungsform ferner die Art des Ziels 50, d. h., unabhängig davon, ob das Ziel 50 ein Mensch ist oder nicht, ob das Ziel 50 ein Bewegungsobjekt (wie eine Person, ein Automobil oder ein Fahrrad) oder ein stationäres Objekt ist, und um welches stationäre Objekt es sich handelt (beispielsweise einen Baum am Straßenrand, eine Ampel oder eine Leitplanke). Das Attribut des Ziels 50 umfasst ferner die Größe, Farbe oder andere Parameter des Ziels 50. Wenn das Ziel 50 darüber hinaus ein Mensch ist, umfasst das Attribut des Ziels 50 beispielsweise auch dessen Geschlecht, Größe, Gestalt oder Altersgruppe.
Die ECU 4 gibt Fahrzeuginformationen D5 an das Rendering-System 1 aus. Die Fahrzeuginformationen D5 sind Informationen, die lokale Bedingungen des sich bewegenden Fahrzeugs 6 darstellen und von Sensoren, die in der Karosserie 61 des sich bewegenden Fahrzeugs eingebaut sind, erfasst werden können. Zu den spezifischen Beispielen für die Fahrzeuginformationen D5 gehören ein Fahrzeuggeschwindigkeitsimpuls (der die Bewegungsgeschwindigkeit der Karosserie 61 des sich bewegenden Fahrzeugs darstellt), die auf die Karosserie 61 des sich bewegenden Fahrzeugs ausgeübte Beschleunigung, der Gaspedalwinkel (der angibt, wie weit das Gaspedal getreten ist), wie weit das Bremspedal getreten ist, und der Lenkwinkel. Das heißt, die Fahrzeuginformationen D5 enthalten Informationen, die es ermöglichen, den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 zu bestimmen.
Darüber hinaus können auch der Puls des Benutzers, der Gesichtsausdruck, der Blick und andere Parameter, die von einem Fahrmonitor erkannt werden sollen, sowie Informationen, die für die Karosserie 61 des sich bewegenden Fahrzeugs speziell sind, wie die Fahrzeugbreite, die Fahrzeughöhe, die Gesamtlänge und der Augenpunkt, in den Fahrzeuginformationen D5 enthalten sein. Optional können die Fahrzeuginformationen D5 ferner Informationen enthalten, die beispielsweise mit einem globalen Positionsbestimmungssystem (GPS) erfasst werden können, wie zum Beispiel Ortsinformationen auf der Grundlage des aktuellen Ortes des sich bewegenden Fahrzeugs 6 (z. B. Informationen über die Straße an dem aktuellen Ort des sich bewegenden Fahrzeugs 6). Spezifische Beispiele für die Ortsinformationen umfassen Informationen über die Anzahl der Fahrspuren der Straße, auf der sich das Fahrzeug des Benutzers gerade befindet, ob sich das Fahrzeug gerade an einer Kreuzung befindet oder nicht, ob sich das Fahrzeug gerade an einer T-Kreuzung befindet oder nicht, ob die Straße eine Einbahnstraße ist oder nicht, die Breite der Fahrbahn, ob ein Bürgersteig vorhanden ist, die Neigung der Straße und die Krümmung der Kurve.
Ein Verbinden der Anzeigevorrichtung 2, des Erkennungssystems 3 und der ECU 4 mit dem Rendering-System 1 ermöglicht es dem Rendering-System 1, eine Markierung M1, wie die in 2 gezeigte, anzuzeigen. Das heißt, dass das Rendering-System 1 auf der Grundlage mindestens des Ergebnisses einer Erkennung D1 durch das Erkennungssystem 3 die Markierung M1 entsprechend dem Ort des Ziels 50 rendert. In dieser Ausführungsform erlangt das Rendering-System 1 das Ergebnis der Erkennung D1 und die Fahrzeuginformationen D5 von dem Erkennungssystem 3 bzw. der ECU 4 und rendert die Markierung M1 auf der Grundlage dieser Informationen. Das Rendering-System 1 erzeugt Bilddaten D4, um die so gerenderte Markierung M1 auf der Anzeigevorrichtung 2 anzuzeigen, und gibt die Bilddaten D4 an die Anzeigevorrichtung 2 aus, so dass dadurch die Anzeigevorrichtung 2 die Markierung M1 darauf anzeigt.
2 veranschaulicht die Ansicht des Benutzers 62, der das sich bewegende Fahrzeug 6 unter den in 3 gezeigten Bedingungen fährt. Zu beachten ist, dass die Bezugszeichen, die Führungslinien und andere Indikatoren in 2 nur zum Zweck der Beschreibung gezeigt sind und durch den Benutzer 62 nicht tatsächlich visuell wahrgenommen werden. In diesem Beispiel befindet sich der Fußgänger 51, der durch das Erkennungssystem 3 als Ziel 50 erkannt werden soll, gerade vor dem sich bewegenden Fahrzeug 6 und überquert soeben einen Zebrastreifen 541, der auf der Fläche 54 der Straße vorgesehen ist, auf der das sich bewegende Fahrzeug 6 fährt, wie in 2 und 3 gezeigt.
In dem in 2 veranschaulichten Beispiel wird eine Markierung M1 entsprechend dem Ort des Fußgängers 51 als Ziel 50 gerendert. Speziell wird an den Füßen des Fußgängers 51 als Ziel 50 eine ringförmige Markierung M1 gerendert, um den Fußgänger 51 zu umgeben. Das heißt, die Markierung M1 wird in der Draufsicht (Vogelperspektive) an einem Ort angezeigt, die dem Fußgänger 51 als Ziel 50 entspricht (in diesem Beispiel beispielsweise an demselben Ort wie der Fußgänger 51 als Ziel 50), um auf die Straßenoberfläche 54 eingeblendet zu werden. Somit sieht das Ziel 50 für die Augen des Benutzers 62 aus, als stände der Fußgänger 51 (Ziel 50) innerhalb der ringförmigen Markierung M1.
In dieser Ausführungsform rendert das Rendering-System 1 die Markierung M1 erst dann, wenn das Ziel 50 durch das Erkennungssystem 3 erkannt wird. Mit anderen Worten, wenn das durch das Erkennungssystem 3 erhaltene Ergebnis der Erkennung D1 angibt, dass keine Ziele vorhanden sind, rendert das Rendering-System 1 keine Markierungen M1. Gibt das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 hingegen an, dass ein Ziel vorhanden ist, so rendert das Rendering-System 1 eine Markierung M1. In einem Zustand, in dem für das Erkennungssystem 3 keine Ziele 50 in dem Überwachungsbereich (d. h. einem vorbestimmten Bereich vor dem sich bewegenden Fahrzeug 6 in Fortbewegungsrichtung) vorhanden sind, rendert das Rendering-System 1 also keine Markierungen M1. Infolgedessen werden keine Markierungen M1 auf der Anzeigevorrichtung 2 angezeigt.
Außerdem rendert das Rendering-System 1, wenn sich das Ziel 50 von dem sich bewegenden Fahrzeug 6 aus gesehen dazu relativ bewegt, die Markierung M1, während es den Rendering-Ort der Markierung M1 ändert, um das Ziel 50 mit der Markierung M1 zu verfolgen. In diesem Fall kann es zu der relative Bewegung des Ziels 50 in Bezug auf das sich bewegende Fahrzeug 6 kommen, wenn sich mindestens eines von beiden, das sich bewegende Fahrzeug 6 oder das Ziel 50, bewegt. Das heißt, selbst in einer Situation, in der sich das sich bewegende Fahrzeug 6 gerade an einem festen Ort befindet, bewegt sich das Ziel 50, wenn es sich bei dem Ziel 50 um ein sich bewegendes Ziel wie den Fußgänger 51 handelt, von dem sich bewegenden Fahrzeug 6 aus gesehen dazu relativ. Desgleichen bewegt sich das Ziel 50 selbst in einer Situation, in der sich das Ziel 50 an einem festen Ort befindet, da sich das sich bewegende Fahrzeug 6 bewegt, von dem sich bewegenden Fahrzeug 6 aus gesehen weiter dazu relativ. In beiden Fällen rendert das Rendering-System 1 die Markierung M1, während es den Rendering-Ort der Markierung M1 ändert, um das Ziel 50 mit der Markierung M1 zu verfolgen, wie in 2 gezeigt.
Zu beachten ist, dass die von dem Rendering-System 1 gerenderte Markierung M1 nicht die in 2 gezeigte Gestalt haben muss. Alternativ kann die Markierung M1 beispielsweise auch als Rahmen gerendert werden, der das Ziel 50 in der Vorderansicht umgibt. Alternativ kann die Markierung M1 beispielsweise auch eine einfache Figur, ein Pfeil oder eine Sprechblase sein, die auf das Ziel 50 zeigen, oder ein Piktogramm (Ikonographie), das das Ziel 50 symbolisiert. Des Weiteren braucht die Markierung M1 nur an einem Ort angezeigt werden, der dem Ziel 50 entspricht. Beispielsweise kann die Markierung M1 vor dem Ziel 50 angezeigt werden, um sich mit dem Ziel 50 zu überschneiden. Alternativ dazu kann die Markierung M1 auch über oder neben dem Ziel 50 angezeigt werden. Optional kann die Markierung M1 auch eine bewegte Markierung M1 (d. h. eine sich verändernde Markierung M1) sein, die beispielsweise flackert, ihre Farbe oder Gestalt ändert oder sich mit der Zeit bewegt (beispielsweise rotiert). In jenem Fall wird die Bewegung der Markierung M1 vorzugsweise mit der Bewegung des Ziels 50 synchronisiert. Beispielsweise kann die Markierung M1 im Gleichschritt mit dem Fußgänger 51 als das Ziel 50 hüpfen.
(2.3) Konfiguration für das Rendering-System
Als nächstes wird eine Konfiguration für das Rendering-System 1 gemäß dieser Ausführungsform mehr im Einzelnen beschrieben.
In dieser Ausführungsform enthält das Rendering-System 1 nicht nur die Rendering-Einheit 11, die Korrektureinheit 12 und die Interpolationseinheit 13, sondern auch eine Korrektureinstelleinheit 121, eine Interpolationseinstelleinheit 131, eine Eingangsinformationsverarbeitungseinheit 14, eine Vorhersageeinheit 15, eine Speichereinheit 16, einen Sensor 17 und ein Filter 18, wie in 1 gezeigt.
In dieser Ausführungsform kann das Rendering-System 1 als ein Hauptbestandteil ein Computersystem (das auch ein Server oder ein Cloud-Computersystem sein kann) mit einem oder mehreren Prozessoren und einem oder mehreren Speichern enthalten. Der Prozessor führt die Funktionen des Rendering-Systems 1 durch, indem er ein Programm ausführt, das in dem Speicher gespeichert ist. Das Programm kann im Voraus in dem Speicher gespeichert werden. Das Programm kann auch verteilt werden, nachdem es auf einem nichtflüchtigen Speichermedium wie einer Speicherkarte gespeichert oder über eine Telekommunikationsleitung heruntergeladen wurde. Mit anderen Worten, das Programm ist dafür ausgelegt, zu veranlassen, dass der eine oder die mehreren Prozessoren als das Rendering-System 1 dienen. Unter den Bestandteilen des Rendering-Systems 1 können die Funktionen mindestens der Rendering-Einheit 11, der Korrektureinheit 12, der Interpolationseinheit 13, der Korrektureinstelleinheit 121, der Interpolationseinstelleinheit 131, der Eingangsinformationsverarbeitungseinheit 14 und der Vorhersageeinheit 15 durch das Computersystem durchgeführt werden.
Die Rendering-Einheit 11 rendert auf der Grundlage des Ergebnisses einer Erkennung D1 durch das Erkennungssystem 3 die Markierung M1 entsprechend dem Ort des Ziels 50. In dieser Ausführungsform rendert die Rendering-Einheit 11 auf der Grundlage des Ergebnisses der Erkennung D1 durch das Erkennungssystem 3 die Markierung M1 entsprechend dem Ort des Ziels 50 mindestens in jedem ersten Zyklus T1. Wie oben beschrieben, ist der erste Zyklus T1 ein Zyklus, in dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 ausgibt. Des Weiteren aktualisiert die Rendering-Einheit 11 die Markierung M1 in jedem zweiten Zyklus T2, der kürzer ist als der erste Zyklus T1. Das heißt, die Rendering-Einheit 11 rendert auf der Grundlage des Ergebnisses der Erkennung D1 durch das Erkennungssystem 3 die Markierung M1 mindestens in jedem ersten Zyklus T1 und aktualisiert die Markierung M1 in jedem zweiten Zyklus T2, der kürzer ist als der erste Zyklus T1.
Die Rendering-Einheit 11 kann beispielsweise als eine Grafikverarbeitungseinheit (GPU) implementiert werden und kann eine Rendering-Verarbeitung durchführen, die beispielsweise mit dem Open Graphics Library (OpenGL)-Standard konform ist. Die Rendering-Einheit 11 speichert die in dieser Weise gerenderte Markierung M1 in einem Bildspeicher. In dem hier verwendeten Sinne bezieht sich „Bildspeicher“ auf einen Speicher (Bildpuffer) zum Speichern der Anzeigedaten, die einem Bild entsprechen, das auf der Anzeigevorrichtung 2 anzuzeigen ist. Der Bildspeicher kann je nach Eignung entweder ein spezieller Speicher oder ein Bereich sein, der Teil des Speichers eines Computersystems ist.
Die Korrektureinheit 12 korrigiert auf der Grundlage von Korrekturdaten D2 den Ort des Ziels 50 in Übereinstimmung mit dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 und bestimmt dadurch einen Ort der Markierung M1, der durch die Rendering-Einheit 11 zu rendern ist. In diesem Fall werden die Korrekturdaten D2 mindestens auf der Grundlage von Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 gewonnen. Das heißt, die Korrektureinheit 12 korrigiert auf der Grundlage der Korrekturdaten D2, die mindestens den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 widerspiegeln, den Ort der Markierung M1, die durch die Rendering-Einheit 11 zu rendern ist. Somit bestimmt die Rendering-Einheit 11 den Rendering-Ort der Markierung M1 nicht unmittelbar auf der Grundlage des Ortes des Ziels 50 in Übereinstimmung mit dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3, sondern mittelbar auf der Grundlage des Ortes, der dadurch gewonnen wird, dass die Korrektureinheit 12 zu einer Korrektur des früheren Ortes veranlasst wird.
In der folgenden Beschreibung wird der Rendering-Ort der Markierung M1, der noch nicht der Korrektur durch die Korrektureinheit 12 unterzogen wurde, im Folgenden als „noch zu korrigierender Ort“ bezeichnet und der Rendering-Ort der Markierung M1, der der Korrektur unterzogen wurde, wird im Folgenden als „korrigierter Ort“ bezeichnet. Gemäß dieser Nomenklatur ist der noch zu korrigierende Ort ein Ort, der in Übereinstimmung mit dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 bestimmt wird, und der korrigierte Ort ist ein Ort, der bestimmt wird, indem der noch zu korrigierende Ort auf der Grundlage der Korrekturdaten D2 einer Korrektur unterzogen wird. Die Markierung M1 wird durch die Rendering-Einheit 11 an dem korrigierten Ort gerendert, nicht an dem noch zu korrigierenden Ort.
In dieser Ausführungsform erlangt die Korrektureinheit 12 den Ort des Ziels 50 in Übereinstimmung mit dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 als den noch zu korrigierenden Ort von der Eingangsinformationsverarbeitungseinheit 14 und erlangt von der Vorhersageeinheit 15 auch die Korrekturdaten D2. Die Korrektureinheit 12 korrigiert den Rendering-Ort auf der Grundlage dieser Informationen (nämlich des noch zu korrigierenden Ortes und der Korrekturdaten D2) und gibt den korrigierten Ort an die Rendering-Einheit 11 aus.
Zusätzlich bestimmt die Korrektureinheit 12 auch den Inhalt der Markierung M1 auf der Grundlage der Korrekturdaten D2. Das heißt, in dieser Ausführungsform korrigiert die Korrektureinheit 12 auf der Grundlage den Korrekturdaten D2 nicht nur den Ort der Markierung M1, der durch die Rendering-Einheit 11 zu rendern ist, sondern auch den Inhalt der Markierung M1, der durch die Rendering-Einheit 11 zu rendern ist. In dem hier verwendeten Sinne bezieht sich der „Inhalt der Markierung M1“ auf den Inhalt einer Figur, eines Zeichens, eines Schriftzeichens, einer Zahl, eines Musters oder einer Fotografie oder einer Kombination davon als die Markierung M1. Wenn die Markierung M1 beispielsweise ein Schriftzeichen enthält, ändert sich das in der Markierung M1 enthaltene Schriftzeichen, wenn die Korrektureinheit 12 den Inhalt der Markierung M1 korrigiert. Der Inhalt der Markierung M1 kann ferner die spezifische Implementierung der Markierung M1 enthalten (die beispielsweise ein Ring, ein Rahmen, eine Figur, ein Pfeil, eine Sprechblase oder ein Piktogramm sein kann).
Der Betrieb der Korrektureinheit 12 wird später in dem Abschnitt „(2.4.1) Korrekturoperation“ im Einzelnen beschrieben.
Die Interpolationseinheit 13 führt immer dann, wenn die Rendering-Einheit 11 die Markierung M1 in jedem zweiten Zyklus T2 aktualisiert, eine Interpolation auf der Grundlage von Interpolationsdaten D3 durch, um eine interpolierte Markierung M11 als die aktualisierte Markierung M1 zu gewinnen. Das heißt, die Interpolationseinheit 13 gewinnt auf der Grundlage mindestens der Interpolationsdaten D3 eine Markierung M1, die durch die Rendering-Einheit 11 aktualisiert wurde (d. h. die interpolierte Markierung M11). In dieser Ausführungsform handelt es sich bei den Interpolationsdaten D3 um Daten, die mindestens auf der Grundlage von Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 zu gewinnen sind. Dies ermöglicht es der Rendering-Einheit 11 selbst während des ersten Zyklus T1 zwischen einem Zeitpunkt, zu dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 einmal ausgibt, und einem Zeitpunkt, zu dem das Erkennungssystem 3 das Ergebnis der Erkennung D1 das nächste Mal ausgibt, in jedem zweiten Zyklus T2 eine neue Markierung M1 (interpolierte Markierung M11) auszugeben.
In der folgenden Beschreibung wird der Rendering-Ort der Markierung M1, der noch nicht der Interpolation durch die Interpolationseinheit 13 unterzogen wurde, im Folgenden als „Referenzort“ bezeichnet, und der Rendering-Ort der Markierung M1, die der Interpolation unterzogen wurde (interpolierte Markierung M11), wird im Folgenden als „interpolierter Ort“ bezeichnet. Gemäß dieser Nomenklatur ist der Referenzort ein Ort, der in Übereinstimmung mit dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 bestimmt wird, und der interpolierte Ort ist ein Ort, der bestimmt wird, indem der Referenzort einer Interpolation auf der Grundlage der Interpolationsdaten D3 unterzogen wird. Die interpolierte Markierung M11 wird durch die Rendering-Einheit 11 an dem interpolierten Ort und nicht an dem Referenzort gerendert. Da die Korrektureinheit 12 in dieser Ausführungsform vorgesehen ist, um der Rendering-Einheit 11 voranzugehen, ist der Referenzort nichtsdestoweniger nicht der noch zu korrigierende Ort, sondern der korrigierte Ort, der der Korrektur durch die Korrektureinheit 12 unterzogen wurde.
In dieser Ausführungsform erlangt die Interpolationseinheit 13 den korrigierten Ort als Referenzort von der Korrektureinheit 12 und erlangt die Interpolationsdaten D3 von der Vorhersageeinheit 15. Die Interpolationseinheit 13 bestimmt den interpolierten Ort auf der Grundlage dieser Informationen (nämlich des Referenzortes und der Interpolationsdaten D3) und gibt den interpolierten Ort an die Rendering-Einheit 11 aus. Dies ermöglicht es der Rendering-Einheit 11, die Markierung M1 (interpolierte Markierung M11) an dem interpolierten Ort auszugeben und ermöglicht es der Interpolationseinheit 13, die interpolierte Markierung M11 zu gewinnen. Das heißt, dass gemäß dieser Ausführungsform dadurch, dass die Interpolationseinheit 13 dazu veranlasst wird, die interpolierte Markierung M11 durch eine Interpolation zu gewinnen, wird der Rendering-Ort der Markierung M1 (interpolierten Markierung M11) von dem Referenzort zu dem interpolierten Ort geändert. Somit bestimmt die Interpolationseinheit 13 gemäß dieser Ausführungsform den Rendering-Ort der interpolierten Markierung M11 auf der Grundlage der Interpolationsdaten D3.
Außerdem bestimmt die Interpolationseinheit 13 auch den Inhalt der interpolierten Markierung M11 auf der Grundlage der Interpolationsdaten D3. Das heißt, in dieser Ausführungsform gewinnt die Interpolationseinheit 13 durch eine Interpolation auf der Grundlage der Interpolationsdaten D3 nicht nur den Ort der interpolierten Markierung M11, die durch die Rendering-Einheit 11 zu rendern ist, sondern zusätzlich auch den Inhalt der interpolierten Markierung M11, die durch die Rendering-Einheit 11 zu rendern ist. In dem hier verwendeten Sinne bezieht sich der „Inhalt der interpolierten Markierung M11“ auf den Inhalt einer Figur, eines Zeichens, eines Schriftzeichens, einer Zahl, eines Musters oder einer Fotografie oder einer Kombination davon als interpolierte Markierung M11. Wenn die interpolierte Markierung M11 beispielsweise ein Schriftzeichen enthält, ändert sich das in der interpolierten Markierung M11 enthaltene Schriftzeichen, wenn die Interpolationseinheit 13 den Inhalt der interpolierten Markierung M11 modifiziert. Der Inhalt der interpolierten Markierung M11 kann ferner die spezifische Implementierung der interpolierten Markierung M11 umfassen (die beispielsweise ein Ring, ein Rahmen, eine Figur, ein Pfeil, eine Sprechblase oder ein Piktogramm sein kann).
Der Betrieb der Interpolationseinheit 13 wird später in dem Abschnitt „(2.4.2) Interpolationsvorgang“ im Einzelnen beschrieben.
Die Korrektureinstelleinheit 121 stellt die Stärke der von der Korrektureinheit 12 durchzuführenden Korrektur ein. In dem hier verwendeten Sinne bezieht sich „Stärke der Korrektur“ auf den Grad, in dem die von der Korrektureinheit 12 durchgeführte Korrektur wirksam ist, d. h. auf den Grad der Wirksamkeit der Korrektur. Je höher die Stärke ist, desto wirksamer ist die von der Korrektureinheit 12 durchgeführte Korrektur. Wenn beispielsweise die Stärke der Korrektur zunimmt, steigt der obere Grenzwert für die Größe der Verschiebung von dem noch zu korrigierenden Ort zu dem korrigierten Ort. Weiter ist die Korrekturfunktion der Korrektureinheit 12 in einer Situation, in der die Stärke der Korrektur zwischen null und eins einstellbar ist, deaktiviert, wenn die Stärke der Korrektur null ist. Ist die Stärke der Korrektur hingegen gleich eins, ist die Korrekturfunktion der Korrektureinheit 12 aktiviert. Die Korrektureinstelleinheit 121 kann je nach Eignung eine von mehreren Stufen der Stärke auswählen oder die Stärke kontinuierlich ändern.
Die Interpolationseinstelleinheit 131 stellt die Stärke der von der Interpolationseinheit 13 durchzuführenden Interpolation ein. In dem hier verwendeten Sinne bezieht sich „Stärke der Interpolation“ auf den Grad, in dem die von der Interpolationseinheit 13 durchgeführte Interpolation wirksam ist, d. h. auf den Grad der Wirksamkeit der Interpolation. Je höher die Stärke ist, desto wirksamer ist die von der Interpolationseinheit 13 durchgeführte Interpolation. Wenn beispielsweise die Stärke der Interpolation zunimmt, steigt der obere Grenzwert der Größe der Verschiebung von dem Referenzort zu dem interpolierten Ort. Weiter wird die Interpolationsfunktion der Interpolationseinheit 13 in einer Situation, in der die Stärke der Interpolation zwischen Null und Eins einstellbar ist, deaktiviert, wenn die Stärke der Interpolation Null ist. Ist die Interpolationsstärke hingegen gleich eins, ist die Interpolationsfunktion der Interpolationseinheit 13 aktiviert. Die Interpolationseinstelleinheit 131 kann je nach Eignung eine von mehreren Stufen der Stärke auswählen oder die Stärke kontinuierlich ändern.
Die Eingangsinformationsverarbeitungseinheit 14 ist eine Eingabeschnittstelle, über die das Ergebnis der Erkennung D1 und die Fahrzeuginformationen D5 eingegeben werden. Die Eingangsinformationsverarbeitungseinheit 14 erlangt das Ergebnis der Erkennung D1 von dem Erkennungssystem 3 in jedem ersten Zyklus T1. Die Eingangsinformationsverarbeitungseinheit 14 erlangt die Fahrzeuginformationen D5 von der ECU 4 nach Bedarf. In dieser Ausführungsform soll der Zyklus, in dem die Eingangsinformationsverarbeitungseinheit 14 die Fahrzeuginformationen D5 erlangt, ausreichend kürzer sein als der erste Zyklus T1. Die Kommunikation zwischen der Eingangsinformationsverarbeitungseinheit 14 und dem Erkennungssystems 3 (dessen Kommunikationseinheit 33) oder der ECU 4 kann in Übereinstimmung mit einem Kommunikationsprotokoll hergestellt werden, das beispielsweise dem Ethernet®- oder Controller Area Network (CAN)-Standard entspricht. Die Eingangsinformationsverarbeitungseinheit 14 gibt das Ergebnis der Erkennung D1 und die Fahrzeuginformationen D5 sowohl an die Korrektureinheit 12 als auch an die Vorhersageeinheit 15 und die Speichereinheit 16 aus.
Die Vorhersageeinheit 15 erzeugt die Korrekturdaten D2 und die Interpolationsdaten D3. Wie oben beschrieben, werden die Korrekturdaten D2 mindestens auf der Grundlage von Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 gewonnen. Desgleichen werden die Interpolationsdaten D3 mindestens auf der Grundlage von Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 gewonnen. In diesem Fall werden die Fortbewegungsinformationen mindestens anhand des bisherigen Verhaltens des sich bewegenden Fahrzeugs 6 vorhergesagt. In dem hier verwendeten Sinne umfassen Beispiele für „Verhalten“ die Orientierung, die Bewegungsgeschwindigkeit, das Maß der Bewegung (einschließlich der zurückgelegten Strecke und des Bewegungswinkels), die Fortbewegungsrichtung, die Beschleunigung, die Dauer der Fortbewegung, die Orientierung während der Fortbewegung und die Trajektorie. Das heißt, die Vorhersageeinheit 15 sagt auf der Grundlage des bisherigen Verhaltens des sich bewegenden Fahrzeugs 6 Fortbewegungsinformationen über den aktuellen Fortbewegungszustand des sich bewegenden Fahrzeugs 6 vorher und gewinnt auf der Grundlage dieser Fortbewegungsinformationen die Korrekturdaten D2 und die Interpolationsdaten D3.
Weiter werden in dieser Ausführungsform die Korrekturdaten D2 nicht nur auf der Grundlage der Fortbewegungsinformationen, sondern auch auf der Grundlage von Zielinformationen über den Fortbewegungszustand des Ziels 50 gewonnen. Desgleichen werden die Interpolationsdaten D3 mindestens auf der Grundlage von Zielinformationen über den Fortbewegungszustand des Ziels 50 gewonnen. Das heißt, in dieser Ausführungsform sind sowohl die Korrekturdaten D2 als auch die Interpolationsdaten D3 Daten, die auf der Grundlage sowohl der Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 als auch der Zielinformationen über den Fortbewegungszustand des Ziels 50 gewonnen werden. In diesem Fall werden die Zielinformationen mindestens anhand des bisherigen Verhaltens des Ziels 50 vorhergesagt. Das heißt, die Vorhersageeinheit 15 sagt auf der Grundlage des bisherigen Verhaltens des Ziels 50 Zielinformationen über den aktuellen Fortbewegungszustand des Ziels 50 vorher und gewinnt auf der Grundlage dieser Zielinformationen die Korrekturdaten D2 und die Interpolationsdaten D3.
Der Betrieb der Vorhersageeinheit 15 wird später in dem Abschnitt „(2.4.1) Korrekturvorgang“ oder in dem Abschnitt „(2.4.2) Interpolationsvorgang“ im Einzelnen beschrieben.
Die Speichereinheit 16 enthält einen programmierbaren nichtflüchtigen Speicher, wie einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM). Die Speichereinheit 16 speichert mindestens das bisherige Verhalten des sich bewegenden Fahrzeugs 6 und das bisherige Verhalten des Ziels 50. Somit liest die Vorhersageeinheit 15 das bisherige Verhalten des sich bewegenden Fahrzeugs 6 und das bisherige Verhalten des Ziels 50 aus der Speichereinheit 16 aus und verwendet das so gelesene Verhalten zum Vorhersagen der Fortbewegungsinformationen und der Zielinformationen.
Der Sensor 17 ist in der Karosserie des sich bewegenden Fahrzeugs 61 eingebaut und wird verwendet, um den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 zu erkennen. In dieser Ausführungsform kann der Sensor 17 beispielsweise ein Gyrosensor (Winkelgeschwindigkeitssensor) zum Erkennen einer Winkelgeschwindigkeit sein. In diesem Fall verwendet der Sensor 17 als jeweilige Erkennungsachsen eine X-Achse (entsprechend der Richtung nach rechts/links in Bezug auf das sich bewegende Fahrzeug 6), eine Y-Achse (entsprechend der Richtung nach vorne/hinten in Bezug auf das sich bewegende Fahrzeug 6) und eine Z-Achse (vertikale Richtung), die senkrecht zueinander stehen, und erkennt die Winkelgeschwindigkeit um jede dieser Erkennungsachsen. Das heißt, der Sensor 17 kann die Winkelgeschwindigkeit sowohl in der Nickrichtung als auch in der Rollrichtung und der Gierrichtung, die in Bezug auf das sich bewegende Fahrzeug 6 definiert sind, erkennen.
Das Filter 18 ist vorgesehen, um dem Sensor 17 zu folgen und unterzieht das Ausgangssignal des Sensors 17 einer geeigneten Filterungsverarbeitung. Das durch das Filter 18 gefilterte Ausgangssignal des Sensors 17 wird der Vorhersageeinheit 15 zugeführt.
(2.4) Betrieb
Als nächstes wird, der Betrieb des Rendering-Systems 1 gemäß dieser Ausführungsform beschrieben. Das heißt, es wird ein Rendering-Verfahren gemäß dieser Ausführungsform beschrieben.
In der folgenden Beschreibung wird der Betrieb des Rendering-Systems 1 beispielsweise in einer „ersten Szene“, in der das Erkennungssystem 3 einen Fußgänger 51 als Ziel 50 erkennt, und in einer „zweiten Szene“, in der das Erkennungssystem 3 eine Ampel 55 als Ziel 50 erkennt, beschrieben. Die folgende Beschreibung konzentriert sich im Wesentlichen auf den Betrieb des Rendering-Systems 1 in der ersten Szene. Der Betrieb des Rendering-Systems 1 in der zweiten Szene wird später in dem Abschnitt „(2.4.3) Zweite Szene“ beschrieben.
In der ersten Szene soll sich ein Fußgänger 51, der einen auf der Straßenoberfläche 54 vorgesehenen Zebrastreifen 541 überquert, vor dem sich bewegenden Fahrzeug 6 befinden, das sich bewegt (fortbewegt), wie in 2 und 3 gezeigt. In der ersten Szene befinden sich vor dem sich bewegenden Fahrzeug 6 nicht nur der Fußgänger 51, sondern auch sich bewegende oder nicht bewegende Ziele wie andere Fahrzeuge 52, 53, die gerade halten, und eine Ampel 55. Nichtsdestoweniger soll in der ersten Szene nur der Fußgänger 51 als Ziel 50 durch das Erkennungssystem 3 erkannt werden.
In der zweiten Szene hingegen sollen sich vor dem sich bewegenden Fahrzeug 6, das sich bewegt (fortbewegt), keine Fußgänger befinden, wie in 8 und 9 gezeigt. In der zweiten Szene befinden sich vor dem sich bewegenden Fahrzeug 6 sich bewegende oder nicht bewegende Ziele wie andere Fahrzeuge 52, 53, die gerade halten, und eine Ampel 55. In der zweiten Szene soll nur die Ampel 55 als Ziel 50 durch das Erkennungssystem 3 erkannt werden.
(2.4.1) Korrekturvorgang
Als Erstes wird mit Bezug auf 4-6B der Korrekturvorgang beschrieben, der hauptsächlich von der Korrektureinheit 12 durchzuführen ist. 6A und 6B zeigen jeweils einen Teil der Ansicht des Benutzers 62 zu der die von dem Anzeigesystem 10 angezeigte Markierung M1 gehört. In 6A soll die Markierung M1 an dem noch zu korrigierenden Ort gerendert werden (d. h. an dem Rendering-Ort der Markierung M1, der noch nicht von der Korrektureinheit 12 korrigiert wurde). In 6B soll die Markierung M1 an dem korrigierten Ort gerendert werden (d. h. an dem Rendering-Ort der Markierung M1, die der Korrektur durch die Korrektureinheit 12 unterzogen wurde). Zu beachten ist, dass die Bezugszeichen, die Führungslinien und andere Indikatoren in 6A und 6B nur zum Zweck der Beschreibung gezeigt sind und durch den Benutzer 62 nicht tatsächlich visuell wahrgenommen werden.
4 veranschaulicht begrifflich, wie zwischen einem Zeitpunkt, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird, und einem Zeitpunkt, zu dem die Markierung M1 durch die Rendering-Einheit 11 gerendert wird, eine Verzögerung verursacht wird. Das heißt, es kann, wie in 4 gezeigt, in dem Intervall zwischen einem Zeitpunkt, zu dem ein Ereignis eingetreten ist, das das Auftreten des Ziels 50 (Fußgängers 51) ist, und einem Zeitpunkt, zu dem die Rendering-Einheit 11 die Markierung M1 auf der Grundlage des Ergebnisses der Erkennung D1 durch das Erkennungssystem 3 rendert, aufgrund verschiedener Faktoren zu einer Verzögerung kommen. Beispielsweise könnte es in dem Erkennungssystem 3 zu einer Verzögerung (Erfassungsverzögerung) in der Größenordnung von einigen zehn Millisekunden kommen zwischen einem Zeitpunkt, zu dem die Aufnahme (Belichtung) durch die Kamera 31 erfolgt, und einem Zeitpunkt, zu dem die Kamera 31 das so aufgenommene Bild ausgibt. Außerdem könnte es zu einer weiteren Verzögerung (Übertragungsverzögerung) in der Größenordnung von einigen zehn bis mehreren hundert ms kommen, wenn das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 von dem Erkennungssystem 3 an das Rendering-System 1 übertragen wird. Darüber hinaus könnte auch eine Interframe-Verzögerung verursacht werden, zum Beispiel durch die Bildrate der Kamera 31.
Aufgrund dieser Verzögerungen gibt es eine Verzögerungsperiode Td1 zwischen einem Zeitpunkt, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird, und einem Zeitpunkt, zu dem die Markierung M1 durch die Rendering-Einheit 11 im Rendering-System 1 gerendert wird. In dieser Ausführungsform soll der Startpunkt der Verzögerungsperiode Td1 der Zeitpunkt sein, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird, und der Endpunkt der Verzögerungsperiode Td1 soll der Zeitpunkt sein, zu dem die Markierung M1 durch die Rendering-Einheit 11 gerendert wird. In dieser Ausführungsform soll die Verzögerungsperiode Td1 beispielsweise eine Dauer von 500 ms haben.
In 4 bezeichnet V1 die Ansicht des Benutzers 62 an dem Startpunkt der Verzögerungsperiode Td1 und V2 die Ansicht des Benutzers 62 an dem Endpunkt der Verzögerungsperiode Td1. Das heißt, selbst während der Verzögerungsperiode Td1 sind sowohl das sich bewegende Fahrzeug 6 als auch das Ziel 50 beweglich. Somit ist der Ort des Ziels 50 (Fußgänger 51) innerhalb der Sicht des Benutzers 62 (der der Fahrer des sich bewegenden Fahrzeugs 6 ist) während der Verzögerungsperiode Td1 veränderlich.
Das heißt, die Beziehung zwischen dem Ort eines repräsentativen Punktes P1 des Erkennungssystems 3 (des Fahrzeugs 6) und der Ort eines repräsentativen Punktes P2 des Ziels 50 ist während der Verzögerungsperiode Td1 veränderlich, wie in 5 gezeigt. In 5 sind unter der Annahme, dass der Zeitpunkt, zu dem die Markierung M1 durch die Rendering-Einheit 11 gerendert wird (d. h. der Endpunkt der Verzögerungsperiode Td1), die aktuelle Zeit ist, nicht nur die repräsentativen Punkte P1, P2 zu dem aktuellen Zeitpunkt, sondern auch die repräsentativen Punkte P1, P2 zu dem Zeitpunkt, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird (d. h. der Startpunkt der Verzögerungsperiode Td1), ebenfalls gezeigt. In 5 sind die repräsentativen Punkte P1, P2 zur aktuellen Zeit mit P1(t) bzw. P2(t) bezeichnet, und die repräsentativen Punkte P1, P2 zu dem Zeitpunkt, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird (d. h. der Startpunkt der Verzögerungsperiode Td1), sind mit P1(t - Td1) bzw. P2(t - Td1) bezeichnet.
Das heißt, in dem in 5 veranschaulichten Beispiel wird der relative Ort des Ziels 50 zur aktuellen Zeit (t) aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) durch die Koordinaten dargestellt, die durch die folgende Gleichung (1) ausgedrückt werden. Andererseits wird in dem in 5 veranschaulichten Beispiel der relative Ort des Ziels 50 zu dem Zeitpunkt, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird (d. h. der Startpunkt der Verzögerungsperiode Td1), aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) durch die Koordinaten dargestellt, die durch die folgende Gleichung (2) ausgedrückt werden: $(X, Y) = (X (t), Y (t))$
$(X, Y) = (X (t - Td1), Y (t - Td1))$
Wie zu sehen ist, verschiebt sich der noch zu korrigierende Ort der Markierung M1 gegenüber dem Ziel 50 (Fußgänger 51), wie in 6A gezeigt, da sich der relative Ort des Ziels 50 aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) während der Verzögerungsperiode Td1 ändert. Das heißt, obwohl sich das Ziel 50 an dem durch Gleichung (1) ausgedrückten relativen Ort zu dem Zeitpunkt befindet, an dem die Markierung M1 durch die Rendering-Einheit 11 gerendert wird (d. h. am Endpunkt der Verzögerungsperiode Td1), gibt das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 den durch Gleichung (2) ausgedrückten relativen Ort an. Wenn also der Rendering-Ort der Markierung M1, der noch nicht der Korrektur durch die Korrektureinheit 12 unterzogen wurde (d. h. der noch zu korrigierende Ort), nicht korrigiert wird, verschiebt sich die angezeigte Markierung M1 von dem Ort, der dem tatsächlichen Ort des Ziels 50 (Fußgänger 51) entspricht, wie in 6A gezeigt.
Das Rendering-System 1 gemäß dieser Ausführungsform veranlasst die Korrektureinheit 12 eine solche Verschiebung der Markierung M1 zu kompensieren, so dass dadurch die Anzeige der Markierung M1 an dem Ort ermöglicht wird, die dem Ziel 50 (Fußgänger 51) entspricht, wie in 6B gezeigt. Das heißt, die Korrektureinheit 12 korrigiert auf der Grundlage der Korrekturdaten D2, die mindestens die Fortbewegungsinformationen (d. h. Informationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6) widerspiegeln, den Ort der Markierung M1, die durch die Rendering-Einheit 11 zu rendern ist. Außerdem handelt es sich bei den Korrekturdaten D2 gemäß dieser Ausführungsform um Daten, die nicht nur auf der Grundlage der Fortbewegungsinformationen, sondern auch auf der Grundlage von Zielinformationen über den Fortbewegungszustand des Ziels 50 gewonnen werden. Das heißt, die von der Korrektureinheit 12 durchgeführte Korrektur spiegelt den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 und den Fortbewegungszustand des Ziels 50 wider. Infolgedessen wird die Markierung M1 an dem Ort gerendert, der dem Ort des Fußgängers 51 entspricht, der das Ziel 50 ist, wie in 6B gezeigt. Speziell wird die Markierung M1 an den Füßen des Fußgängers 51 als Ziel 50 als eine eingekreiste Markierung angezeigt, um den Fußgänger 51 zu umgeben.
Im Einzelnen sind die Fortbewegungsinformationen, die in den Korrekturdaten D2 widergespiegelt werden, gemäß dieser Ausführungsform Informationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 in der Verzögerungsperiode Td1, die mindestens den Zeitraum von dem Zeitpunkt enthalten, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird, bis zu dem Zeitpunkt, zu dem die Markierung M1 durch die Rendering-Einheit 11 gerendert wird. Dies ermöglicht es, die jeweiligen Fortbewegungszustände des sich bewegenden Fahrzeugs 6 und des Ziels 50 während der Verzögerungsperiode Td1 in der von der Korrektureinheit 12 durchzuführenden Korrektur widerzuspiegeln, so dass es dadurch einfacher wird, die Verschiebung des Anzeigeortes der Markierung M1 aufgrund des Vorhandenseins der Verzögerungsperiode Td1 zu verringern.
Genauer gesagt korrigiert die Korrektureinheit 12 auf der Grundlage den von der Vorhersageeinheit 15 erzeugten Korrekturdaten D2 den Ort der Markierung M1, die durch die Rendering-Einheit 11 zu rendern ist. In diesem Fall sagt die Vorhersageeinheit 15 auf der Grundlage mindestens des bisherigen Verhaltens des sich bewegenden Fahrzeugs 6 den Fortbewegungszustand (Fortbewegungsinformationen) des sich bewegenden Fahrzeugs 6 in der Verzögerungsperiode Td1 vorher. Speziell kann die Vorhersageeinheit 15 den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 während der Verzögerungsperiode Td1 vorhersagen, indem sie ein Ausgangssignal des Sensors 17 verwendet, das während der Verzögerungsperiode Td1 erlangt wird. Das heißt, da das Ausgangssignal des Sensors 17 den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 in Echtzeit widerspiegelt, kann die Vorhersageeinheit 15 auf der Grundlage des Ausgangssignals des Sensors 17 den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 während der Verzögerungsperiode Td1 vorhersagen.
Außerdem sagt die Vorhersageeinheit 15 auf der Grundlage mindestens des bisherigen Verhaltens des Ziels 50 den Fortbewegungszustand des Ziels 50 (Zielinformationen) während der Verzögerungsperiode Td1 vorher. Speziell kann die Vorhersageeinheit 15 den Fortbewegungszustand des Ziels 50 während der Verzögerungsperiode Td1 vorhersagen, indem sie mindestens das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 verwendet, das unmittelbar vor der Verzögerungsperiode Td1 erlangt wurde. Das heißt, dass das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 als die Attribute des Ziels 50 Informationen enthält, die seinen Fortbewegungszustand darstellen (wie eine Bewegungsgeschwindigkeit, das Maß der Bewegung, eine Fortbewegungsrichtung und Beschleunigung, die Dauer der Fortbewegung und die Ausrichtung während der Fortbewegung), wenn sich das Ziel 50 bewegt. Dies ermöglicht es der Vorhersageeinheit 15, mindestens auf der Grundlage des Fortbewegungszustands des Ziels 50 unmittelbar vor der Verzögerungsperiode Td1 den Fortbewegungszustand des Ziels 50 während der Verzögerungsperiode Td1 vorherzusagen. In diesem Fall kann die Vorhersageeinheit 15 beispielsweise auch den Typ des Ziels 50, der als ein Attribut des Ziels 50 in dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 enthalten ist, zum Vorhersagen des Fortbewegungszustands des Ziels 50 während der Verzögerungsperiode Td1 verwenden.
Dann berechnet die Vorhersageeinheit 15 auf der Grundlage der Fortbewegungsinformationen und der Zielinformationen die Größe der Abweichung ?X1, ?Y1 an dem relativen Ort des Ziels 50 während der Verzögerungsperiode Td1 aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6), zum Beispiel durch die folgenden Gleichungen (3):
$\begin{array}{l} Δ X 1 = \int_{t - T d 1}^{t} {a_{X} (t - T d 1) \cdot x + V_{X} (t - T d 1)} d x, \\ Δ Y 1 = \int_{t - T d 1}^{t} {a_{Y} (t - T d 1) \cdot y + V_{Y} (t - T d 1)} d y \end{array}$
wobei äX(t - Td1) die relative Beschleunigung in Richtung der X-Achse zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu einer Zeit (t - Td1) ist, äY(t - Td1) die relative Beschleunigung in Richtung der Y-Achse zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu der Zeit (t - Td1) ist, VX(t - Td1) die relative Geschwindigkeit in der X-Achsenrichtung zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu der Zeit (t - Td1) ist und VY(t - Td1) die relative Geschwindigkeit in der Y-Achsenrichtung zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu der Zeit (t - Td1) ist.
Die Vorhersageeinheit 15 gibt die Korrekturdaten D2, zu denen die so berechneten Größen der Abweichungen ?X1, ?Y1 gehören, an die Korrektureinheit 12 aus. Dies ermöglicht es der Korrektureinheit 12 auf der Grundlage dieser Größen der Abweichungen ?X1, ?Y1 den Ort der Markierung M1 zu korrigieren, der durch die Rendering-Einheit 11 zu rendern ist.
(2.4.2) Interpolationsvorgang
Als nächstes wird der Interpolationsvorgang, der hauptsächlich von der Interpolationseinheit 13 durchgeführt wird, mit Bezug auf 5 und 7 beschrieben. 7 veranschaulicht begrifflich den Betrieb des Erkennungssystems 3 und des Rendering-Systems 1. In 7 ist die Ordinatenachse eine Zeitachse, die einen Zeitpunkt angibt, zu dem das Rendering-System 1 das Ergebnis der Erkennung D1 von dem Erkennungssystem 3 erlangt, und einen Zeitpunkt, zu dem das Rendering-System 1 die Markierung M1 rendert oder aktualisiert. 7 veranschaulicht auch schematisch die Ansichten V1-V7 des Benutzers 62, wenn das Rendering-System 1 die Markierung M1 rendert oder aktualisiert. Jede dieser Ansichten V1-V7 ist ein Teil der Ansicht des Benutzers 62, zu der die Markierung M1 gehört, die von dem Anzeigesystem 10 angezeigt wird. Zu beachten ist, dass die Bezugszeichen, die Führungslinien und andere Indikatoren in 7 nur zum Zweck der Beschreibung gezeigt sind und durch den Benutzer 62 nicht tatsächlich visuell wahrgenommen werden.
Wie in 7 gezeigt, erlangt das Rendering-System 1 das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 in jedem ersten Zyklus T1. Zusätzlich rendert die Rendering-Einheit 11 auf der Grundlage des Ergebnisses einer Erkennung D1 durch das Erkennungssystem 3 mindestens in jedem ersten Zyklus T1 eine Markierung M1 entsprechend dem Ort des Ziels 50. In diesem Fall wird in dem in 7 veranschaulichten Beispiel angenommen, dass die in dem Abschnitt „(2.4.1) Korrekturvorgang“ beschriebene Korrektur des Rendering-Ortes der Markierung M1 bereits durchgeführt wurde. Somit kann die Markierung M1 zu dem Zeitpunkt, zu dem die Rendering-Einheit 11 auf der Grundlage des Ergebnisses der Erkennung D1 durch das Erkennungssystem 3 die Markierung M1 in jedem ersten Zyklus T1 rendert, an dem Ort angezeigt werden, der dem Ziel 50 (Fußgänger 51) entspricht. Somit wird in jeder der in 7 mit V1 und V7 bezeichneten Ansichten des Benutzers 62 die Markierung M1 an dem Ort gerendert, die dem Ziel 50 (Fußgänger 51) entspricht.
Des Weiteren aktualisiert die Rendering-Einheit 11 die Markierung M1 in jedem zweiten Zyklus T2, der kürzer ist als der erste Zyklus T1. Das heißt, während jedes ersten Zyklus T1 von einem Zeitpunkt, zu dem das Rendering-System 1 das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 erlangt, bis zu einem Zeitpunkt, zu dem das Rendering-System 1 das Ergebnis der Erkennung D1 das nächste Mal erlangt, aktualisiert die Rendering-Einheit 11 die Markierung M1 jedes Mal, wenn ein zweiter Zyklus T2 abläuft. Außerdem sind selbst während jedes zweiten Zyklus T2 sowohl das sich bewegende Fahrzeug 6 als auch das Ziel 50 beweglich und somit ist der Ort des Ziels 50 (Fußgängers 51) innerhalb der Ansicht des Benutzers 62 veränderlich.
Das heißt, die Beziehung zwischen dem Ort eines repräsentativen Punktes P1 des Erkennungssystems 3 (des Fahrzeugs 6) und dem Ort eines repräsentativen Punktes P2 des Ziels 50 ist während jedes zweiten Zyklus T2 veränderlich, wie in 5 gezeigt. In 5 sind unter der Annahme, dass der Zeitpunkt, zu dem die Markierung M1 auf der Grundlage des Ergebnisses der Erkennung D1 durch das Erkennungssystem 3 gerendert wird, die aktuelle Zeit ist, nicht nur die repräsentativen Punkte P1, P2 zur aktuellen Zeit, sondern auch die repräsentativen Punkte P1, P2 zu dem Zeitpunkt, zu dem ein zweiter Zyklus T2 seit der aktuellen Zeit verstrichen ist (d. h. ein Zeitpunkt, zu dem die Markierung M1 aktualisiert wird), ebenfalls gezeigt. In 5 sind die repräsentativen Punkte P1, P2 zu dem aktuellen Zeitpunkt mit P1(t) bzw. P2(t) bezeichnet, und die repräsentativen Punkte P1, P2 zu dem Zeitpunkt, zu dem ein zweiter Zyklus T2 seit dem aktuellen Zeitpunkt verstrichen ist (d. h. ein Zeitpunkt, zu dem die Markierung M1 aktualisiert wird), sind mit P1(t + T2) bzw. P2(t + T2) bezeichnet.
Das heißt, in dem in 5 veranschaulichten Beispiel wird der relative Ort des Ziels 50 zu dem aktuellen Zeitpunkt (t) aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) durch die Koordinaten dargestellt, die durch die oben beschriebene Gleichung (1) ausgedrückt werden. Andererseits wird in dem in 5 veranschaulichten Beispiel der relative Ort des Ziels 50 zu dem Zeitpunkt, zu dem ein zweiter Zyklus T2 seit dem aktuellen Zeitpunkt aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) verstrichen ist, durch die Koordinaten dargestellt, die durch die folgende Gleichung (4) ausgedrückt werden: $(X, Y) = (X (t + T2), Y (t + T2))$
Wie zu sehen ist, verschiebt sich der Ort des Ziels 50 (Fußgängers 51) gegenüber dem Referenzort der Markierung M1 zu einem Zeitpunkt, zu dem die Markierung M1 durch die Rendering-Einheit 11 aktualisiert wird, da sich der relative Ort des Ziels 50 aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) während jedes zweiten Zyklus T2 ändert. Das heißt, obwohl sich das Ziel 50 zu dem Zeitpunkt, zu dem die Markierung M1 durch die Rendering-Einheit 11 aktualisiert wird, an dem durch Gleichung (4) ausgedrückten relativen Ort befindet, gibt das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 den durch Gleichung (1) ausgedrückten relativen Ort an. Daher wird sich die angezeigte Markierung M1 von dem Ort, der dem tatsächlichen Ort des Ziels 50 (Fußgängers 51) entspricht, verschieben, wenn der Rendering-Ort (Referenzort) der Markierung M1, der auf dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 basiert, nicht einer Interpolation unterzogen wird.
Das Rendering-System 1 gemäß dieser Ausführungsform lässt die Interpolationseinheit 13 eine Interpolation durchführen, so dass dadurch die Anzeige einer interpolierten Markierung M11 an einem Ort ermöglicht wird, der dem Ziel 50 (Fußgänger 51) entspricht, selbst wenn die Rendering-Einheit 11 die Markierung M1 in jedem zweiten Zyklus T2 aktualisiert. Das heißt, die Interpolationseinheit 13 bestimmt auf der Grundlage von Interpolationsdaten D3, die mindestens die Fortbewegungsinformationen (d. h. Informationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6) widerspiegeln, den Rendering-Ort der interpolierten Markierung M11. Außerdem sind die Interpolationsdaten D3 gemäß dieser Ausführungsform Daten, die nicht nur auf der Grundlage der Fortbewegungsinformationen, sondern auch der Zielinformationen über den Fortbewegungszustand des Ziels 50 gewonnen werden. Das heißt, die interpolierte Markierung M11, die von der Interpolationseinheit 13 durch eine Interpolation gewonnen wird, spiegelt den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 und den Fortbewegungszustand des Ziels 50 wider. Infolgedessen wird in jeder der mit V2 bis V6 bezeichneten Benutzeransichten die interpolierte Markierung M11 auch an dem Ort gerendert, der dem Ort des Fußgängers 51 entspricht, der das Ziel 50 ist, wie in 7 gezeigt. Speziell wird die interpolierte Markierung M11 an den Füßen des Fußgängers 51 als Ziel 50 als eine eingekreiste Markierung gerendert, um den Fußgänger 51 zu umgeben.
Genauer gesagt gewinnt die Interpolationseinheit 13 auf der Grundlage der von der Vorhersageeinheit 15 erzeugten Interpolationsdaten D3 die interpolierte Markierung M11 als die Markierung M1, die durch die Rendering-Einheit 11 aktualisiert wurde. In diesem Fall sagt die Vorhersageeinheit 15 auf der Grundlage mindestens des bisherigen Verhaltens des sich bewegenden Fahrzeugs 6 den Fortbewegungszustand (Fortbewegungsinformationen) des sich bewegenden Fahrzeugs 6 in jedem zweiten Zyklus T2 vorher. Speziell kann die Vorhersageeinheit 15 den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 während des zweiten Zyklus T2 vorhersagen, indem sie ein Ausgangssignal des Sensors 17 verwendet, das während des zweiten Zyklus T2 erlangt wird. Das heißt, da das Ausgangssignal des Sensors 17 den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 in Echtzeit widerspiegelt, kann die Vorhersageeinheit 15 auf der Grundlage des Ausgangssignals des Sensors 17 den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 während des zweiten Zyklus T2 vorhersagen.
Außerdem sagt die Vorhersageeinheit 15 mindestens auf der Grundlage des bisherigen Verhaltens des Ziels 50 den Fortbewegungszustand des Ziels 50 (Zielinformationen) während jedes zweiten Zyklus T2 vorher. Speziell kann die Vorhersageeinheit 15 den Fortbewegungszustand des Ziels 50 während des zweiten Zyklus T2 vorhersagen, indem sie mindestens das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 verwendet, das unmittelbar vor dem zweiten Zyklus T2 erlangt wurde. Das heißt, dass das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 als die Attribute des Ziels 50 Informationen enthält, die seinen Fortbewegungszustand darstellen (wie eine Bewegungsgeschwindigkeit, das Maß der Bewegung, eine Fortbewegungsrichtung und Beschleunigung, die Dauer der Fortbewegung und die Ausrichtung während der Fortbewegung), wenn sich das Ziel 50 bewegt. Dies ermöglicht es der Vorhersageeinheit 15, mindestens auf der Grundlage des Fortbewegungszustands des Ziels 50 unmittelbar vor dem zweiten Zyklus T2, den Fortbewegungszustand des Ziels 50 während des zweiten Zyklus T2 vorherzusagen. In diesem Fall kann die Vorhersageeinheit 15 beispielsweise auch den Typ des Ziels 50, der als ein Attribut des Ziels 50 in dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 enthalten ist, zum Vorhersagen des Fortbewegungszustands des Ziels 50 während des zweiten Zyklus T2 verwenden.
Dann berechnet die Vorhersageeinheit 15 auf der Grundlage der Fortbewegungsinformationen und der Zielinformationen die Größe der Abweichung ?X2, ?Y2 an dem relativen Ort des Ziels 50 zu einem Zeitpunkt, wenn der zweite Zyklus T2 verstrichen ist (d. h. zu einem Zeitpunkt für die Aktualisierung) aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) zum Beispiel durch die folgenden Gleichungen (5):
$\begin{array}{l} Δ X 2 = \int_{t}^{t + T 2} [a_{X} (t) \cdot x + V_{X} (t)] d x, \\ Δ Y 2 = \int_{t}^{t + T 2} [a_{Y} (t) \cdot y + V_{Y} (t)] d y \end{array}$
wobei äX(t) die relative Beschleunigung in der X-Achsenrichtung zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu einem aktuellen Zeitpunkt (t) ist, äY(t) die relative Beschleunigung in der Y-Achsenrichtung zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu dem aktuellen Zeitpunkt (t) ist, VX(t) die Relativgeschwindigkeit in X-Achsenrichtung zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu dem aktuellen Zeitpunkt (t) ist und VY(t) die Relativgeschwindigkeit in Y-Achsenrichtung zwischen dem sich bewegenden Fahrzeug 6 und dem Ziel 50 zu dem aktuellen Zeitpunkt (t) ist.
Die Vorhersageeinheit 15 gibt die Interpolationsdaten D3, zu denen die so berechneten Größen von Abweichungen ?X2, ?Y2 gehören, an die Interpolationseinheit 13 aus. Dies ermöglicht es der Interpolationseinheit 13, auf der Grundlage dieser Größen der Abweichungen ?X2, ?Y2 den Rendering-Ort der interpolierten Markierung M11 zu bestimmen.
Das Rendering-System 1 lässt die Interpolationseinheit 13 eine solche Interpolation jedes Mal durchführen, wenn die Rendering-Einheit 11 die Markierung M1 aktualisiert. Das heißt, die Interpolation wird von der Interpolationseinheit 13 in jedem zweiten Zyklus T2 durchgeführt. Somit wird in jeder der Ansichten V2-V6 die interpolierte Markierung M11, die dem Ort des Fußgängers 51 als Ziel 50 entspricht, für das Auge des Benutzers 62 gerendert, wie in 7 gezeigt.
(2.4.3) Zweite Szene
Als nächstes wird mit Bezug auf 8 und 9 der Betrieb des Rendering-Systems 1 in einer zweiten Szene beschrieben, in der eine Ampel 55 als Ziel 50 durch das Erkennungssystem 3 erkannt wird.
8 zeigt eine Ansicht des Benutzers 62, der das sich bewegende Fahrzeug 6 fährt. Zu beachten ist, dass die Bezugszeichen, die Führungslinien und andere Indikatoren in 8 nur zum Zweck der Beschreibung gezeigt sind und durch den Benutzer 62 nicht tatsächlich visuell wahrgenommen werden. In diesem Beispiel ist die Ampel 55, die durch das Erkennungssystem 3 als Ziel 50 erkannt wurde, vor dem sich bewegenden Fahrzeug 6 errichtet, wie in 8 gezeigt.
In dem in 8 veranschaulichten Beispiel wird eine Markierung M1 an einem Ort gerendert, die dem Ort der Ampel 55 als Ziel 50 entspricht. Speziell wird eine Markierung M1 als Sprechblase gerendert, die auf das Ziel 50 unter der Ampel 55 als Ziel 50 zeigt. Das heißt, die Markierung M1 wird in der Draufsicht (Vogelperspektive) an einem Ort angezeigt, die der Ampel 55 als Ziel 50 entspricht (beispielsweise in diesem Beispiel an demselben Ort wie die Ampel 55 als Ziel 50). In dem in 8 veranschaulichten Beispiel enthält die angezeigte Markierung M1 außerdem die Zeichenkette „STOP“, die den Benutzer 62 in der Sprechblase auffordert, das sich bewegende Fahrzeug 6 anzuhalten, da die Ampel 55 als Ziel 50 jetzt rot ist. Für die Augen des Benutzers 62 sieht die Ampel 55 also aus, als ob die Sprechblase (Markierung M1) von der Ampel 55 ausgehend (als Ziel 50) verlängert wäre.
Wie zu sehen ist, bewegt sich das Ziel 50, selbst wenn das Ziel 50 ein stationäres Objekt ist, von dem sich bewegenden Fahrzeug 6 aus gesehen relativ, während sich das sich bewegende Fahrzeug 6 bewegt. Das heißt, solange sich das sich bewegende Fahrzeug 6 bewegt, ist die Beziehung zwischen dem Ort eines repräsentativen Punktes P1 des Erkennungssystems 3 (des Fahrzeugs 6) und dem Ort eines repräsentativen Punktes P2 des Ziels 50 während der Verzögerungsperiode Td1 und des zweiten Zyklus T2 veränderlich, wie in 9 gezeigt. 9 zeigt nicht nur die repräsentativen Punkte P1, P2 zu dem aktuellen Zeitpunkt, sondern auch die repräsentativen Punkte P1, P2 zu dem Zeitpunkt, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird, und die repräsentativen Punkte P1, P2 zu dem Zeitpunkt, zu dem der zweite Zyklus T2 seit dem aktuellen Zeitpunkt verstrichen ist. In 9 sind die repräsentativen Punkte P1, P2 zu dem aktuellen Zeitpunkt mit P1(t) bzw. P2(t) bezeichnet, der repräsentative Punkt P1 zu dem Zeitpunkt, zu dem das Ziel 50 durch das Erkennungssystem 3 erkannt wird, ist mit P1(t - Td1) bezeichnet, und der repräsentative Punkt P1 zu dem Zeitpunkt, zu dem der zweite Zyklus T2 seit dem aktuellen Zeitpunkt verstrichen ist, ist mit P1(t + T2) bezeichnet.
Kurz gesagt, selbst wenn das Ziel 50 ein stationäres Objekt ist, ist der relative Ort des Ziels 50 aus Sicht des Erkennungssystems 3 (sich bewegenden Fahrzeugs 6) immer noch veränderlich. Daher sind die in dem Abschnitt „(2.4.1) Korrekturvorgang“ und in dem Abschnitt „(2.4.2) Interpolationsvorgang“ beschriebenen Betriebe des Rendering-Systems 1 auch auf die zweite Szene erfolgreich anwendbar.
(2.4.4) Flussdiagramm
10 zeigt in einem Flussdiagramm einen beispielhaften Gesamtbetrieb des Rendering-Systems 1, d. h. einen Gesamtverarbeitungsfluss des Rendering-Verfahrens.
Als Erstes veranlasst das Rendering-System 1, dass die Eingangsinformationsverarbeitungseinheit 14 das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 von dem Erkennungssystem 3 erlangt (in S 1). In diesem Verarbeitungsschritt prüft das Rendering-System 1 Informationen, die in dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 enthalten sind und die anzeigen, ob irgendein Ziel 50 vorhanden ist oder nicht (in S2).
Wenn ein Ziel 50 vorhanden ist (wenn die Antwort in Schritt S2 JA ist), dann veranlasst das Rendering-System 1 die Vorhersageeinheit 15, Korrekturdaten D2 zu erzeugen, die mindestens auf Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 basieren (in S3). Dann veranlasst das Rendering-System 1 die Korrektureinheit 12, die Korrekturverarbeitung durchzuführen, um auf der Grundlage der so erzeugten Korrekturdaten D2 den Rendering-Ort der Markierung M1 zu korrigieren (in S4). Darüber hinaus veranlasst das Rendering-System 1 die Rendering-Einheit 11, die Rendering-Verarbeitung des Renderns der Markierung M1 an dem korrigierten Rendering-Ort (d. h. dem korrigierten Ort) durchzuführen (in S5).
Danach bestimmt das Rendering-System 1, ob ein zweiter Zyklus T2 verstrichen ist oder nicht (in S6). Wenn ein zweiter Zyklus T2 noch nicht verstrichen ist (wenn die Antwort in Schritt S6 NEIN lautet), wartet das Rendering-System 1. Wenn ein zweiter Zyklus T2 verstrichen ist (wenn die Antwort in Schritt S6 JA lautet), veranlasst das Rendering-System 1 die Vorhersageeinheit 15, Interpolationsdaten D3 zu erzeugen, die mindestens auf Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 basieren (in S7). Dann veranlasst das Rendering-System 1 die Interpolationseinheit 13, die Interpolationsverarbeitung durchzuführen, um durch eine Interpolation auf der Grundlage der so erzeugten Interpolationsdaten D3 eine interpolierte Markierung M11 zu gewinnen (in S8). Die interpolierte Markierung M11, die durch die Interpolationsverarbeitung gewonnen wurde, wird gerendert, wenn eine Aktualisierung durch die Rendering-Einheit 11 durchgeführt ist.
Danach bestimmt das Rendering-System 1, ob ein erster Zyklus T1 bereits verstrichen ist (in S9). Wenn ein erster Zyklus T1 noch nicht verstrichen ist (wenn die Antwort in Schritt S9 NEIN ist), geht das Rendering-System 1 zurück zu dem Verarbeitungsschritt S6. Wenn ein erster Zyklus T1 verstrichen ist (wenn die Antwort in Schritt S9 JA ist), geht das Rendering-System 1 zurück zu dem Verarbeitungsschritt S1.
Wenn in der Zwischenzeit in dem Verarbeitungsschritt S2 entschieden wird, dass keine Ziele 50 vorhanden sind (wenn die Antwort in Schritt S2 NEIN ist), dann bestimmt das Rendering-System 1, ob ein erster Zyklus T1 bereits verstrichen ist (in S10). Wenn ein erster Zyklus T1 noch nicht verstrichen ist (wenn die Antwort in Schritt S10 NEIN lautet), wartet das Rendering-System 1. Wenn ein erster Zyklus T1 verstrichen ist (wenn die Antwort in Schritt S10 JA ist), geht das Rendering-System 1 zurück zu dem Verarbeitungsschritt S1.
Das Rendering-System 1 führt diese Reihe von Verarbeitungsschritten S1-S10 immer wieder durch. Zu beachten ist, dass das in 10 gezeigte Flussdiagramm nur ein beispielhaftes Verfahren für den Betrieb des Rendering-Systems 1 zeigt und nicht als einschränkend verstanden werden sollte. Vielmehr kann jeder dieser Verarbeitungsschritte weggelassen werden, ein zusätzlicher Verarbeitungsschritt kann nach Bedarf durchgeführt werden, und/oder diese Verarbeitungsschritte können gegebenenfalls in einer anderen Reihenfolge durchgeführt werden.
(3) Abänderungen
Zu beachten ist, dass die oben beschriebene erste Ausführungsform nur ein Beispiel für verschiedene Ausführungsformen der vorliegenden Offenbarung ist und nicht als einschränkend verstanden werden sollte. Vielmehr kann die erste beispielhafte Ausführungsform ohne weiteres auf verschiedene Weise modifiziert werden, je nach der Wahl des Entwurfs oder eines anderen Faktors, ohne dass der Schutzumfang der vorliegenden Offenbarung verlassen wird. Die Zeichnungen, auf die bei der Beschreibung der Ausführungsformen Bezug genommen wird, sind allesamt schematische Darstellungen. Daher spiegelt das Verhältnis der Abmessungen (zu denen Dicken gehören) der in den Zeichnungen veranschaulichten Bestandteile nicht immer deren tatsächliches Abmessungsverhältnis wider. Weiter können die Funktionen des Rendering-Systems 1 gemäß der ersten Ausführungsform zum Beispiel auch als ein Rendering-Verfahren, als ein Programm oder als ein nichtflüchtiges Speichermedium, auf dem das Programm gespeichert ist, implementiert werden.
Gemäß einem Aspekt umfasst ein Rendering-Verfahren eine Rendering-Verarbeitung (entsprechend S5 in 10) und eine Korrekturverarbeitung (entsprechend S4 in 10). Die Rendering-Verarbeitung umfasst ein Rendern einer Markierung M1 entsprechend einem Ort des Ziels 50 auf der Grundlage eines Ergebnisses einer Erkennung D1 durch ein Erkennungssystem 3. Das Erkennungssystem 3 ist in einem sich bewegenden Fahrzeug 6 zum Zweck des Erkennens des Ziels 50 eingebaut. Die Korrekturverarbeitung umfasst ein Korrigieren des Ortes des Ziels 50 in Übereinstimmung mit dem Ergebnis der Erkennung D1 durch das Erkennungssystem 3 auf der Grundlage von Korrekturdaten D2 und dadurch ein Bestimmen eines Ortes der Markierung M1, die in der Rendering-Verarbeitung zu rendern ist. Die Korrekturdaten D2 werden mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs 6 gewonnen. Gemäß einem anderen Aspekt ist ein Programm dafür ausgelegt, einen oder mehrere Prozessoren zu veranlassen, dieses Rendering-Verfahren durchzuführen.
Gemäß einem anderen Aspekt umfasst ein Rendering-Verfahren eine Rendering-Verarbeitung (entsprechend S5 in 10) und eine Interpolationsverarbeitung (entsprechend S8 in 10). Die Rendering-Verarbeitung umfasst ein Rendern einer Markierung M1 entsprechend einem Ort eines Ziels 50 mindestens in jedem ersten Zyklus T1 auf der Grundlage eines Ergebnisses einer Erkennung D1 durch ein Erkennungssystem 3. Das Erkennungssystem 3 erkennt das Ziel 50 und gibt das Ergebnis der Erkennung D1 in jedem ersten Zyklus T1 aus. Die Interpolationsverarbeitung umfasst bei jeder Aktualisierung der Markierung M1 in jedem zweiten Zyklus, der kürzer als der erste Zyklus T1 ist, eine Interpolation auf der Grundlage von Interpolationsdaten D3, um eine interpolierte Markierung M11 als die aktualisierte Markierung M1 zu gewinnen. Gemäß einem anderen Aspekt ist ein Programm dafür ausgelegt, einen oder mehrere Prozessoren zu veranlassen, dieses Rendering-Verfahren durchzuführen.
Als nächstes werden Abänderungen der ersten beispielhaften Ausführungsform nacheinander aufgezählt. Zu beachten ist, dass die unten beschriebenen Abänderungen gegebenenfalls in Kombination eingesetzt werden können.
Gemäß der vorliegenden Offenbarung enthält das Rendering-System 1 ein Computersystem. Das Computersystem kann als Haupthardwarekomponenten einen Prozessor und einen Speicher enthalten. Gemäß der vorliegenden Offenbarung können die Funktionen des Rendering-Systems 1 ausgeführt werden, indem der Prozessor ein Programm ausführt, das in dem Speicher des Computersystems gespeichert ist. Das Programm kann in dem Speicher des Computersystems im Voraus gespeichert werden. Alternativ kann das Programm auch über eine Telekommunikationsleitung heruntergeladen oder, nachdem es auf einem nichtflüchtigen Speichermedium, wie einer Speicherkarte, einer optischen Platte oder einem Festplattenlaufwerk, aufgezeichnet wurde, verteilt sein, wobei jedes Medium für das Computersystem auslesbar ist. Der Prozessor des Computersystems kann aus einem einzigen oder mehreren elektronischen Schaltkreisen bestehen, zu denen ein integrierter Halbleiterschaltkreis (IC) oder ein groß angelegter integrierter Schaltkreises (LSI) gehören. In dem hier verwendeten Sinne wird „integrierte Schaltung“ wie eine IC oder LSI je nach dem Grad der Integration unterschiedlich bezeichnet. Beispiele für integrierte Schaltungen sind eine System-LSI, eine sehr große integrierte Schaltung (VLSI) und eine ultragroße integrierte Schaltung (ULSI). Als Prozessor kann auch ein feldprogrammierbares Gate-Array (FPGA), das nach der Herstellung einer LSI zu programmieren ist, oder ein rekonfigurierbares Logikbauteil verwendet werden, das es ermöglicht die Verbindungen oder Schaltkreisabschnitte innerhalb einer LSI neu zu konfigurieren. Diese elektronischen Schaltkreise können je nach Eignung entweder auf einem einzigen Chip integriert oder auf mehrere Chips verteilt sein. Diese mehreren Chips können in einer einzigen Vorrichtung zusammengefasst oder ohne Einschränkung auf mehrere Vorrichtungen verteilt sein. In dem hier verwendeten Sinne enthält das „Computersystem“ einen Mikrocontroller mit einem oder mehreren Prozessoren und einem oder mehreren Speichern. Somit kann der Mikrocontroller auch als eine einzige oder mehrere elektronische Schaltungen, zu denen eine integrierte Halbleiterschaltung oder eine groß angelegte integrierte Schaltung gehören, implementiert sein.
Weiter sind in der oben beschriebenen Ausführungsform mindestens einige Funktionen des Rendering-Systems 1 in einem einzigen Gehäuse integriert. Dies ist jedoch keine unbedingt notwendige Konfiguration für das Rendering- System 1. Alternativ können die Bestandteile des Rendering-Systems 1 auch auf mehrere verschiedene Gehäuse verteilt sein. So kann beispielsweise die Korrektureinheit 12 oder die Interpolationseinheit 13 des Rendering-Systems 1 in einem anderen Gehäuse untergebracht sein als die Rendering-Einheit 11. Alternativ dazu können mindestens einige Funktionen des Rendering-Systems 1 auch als Cloud-Computing-System implementiert werden.
Umgekehrt können mindestens einige der mehreren Funktionen, die in der ersten Ausführungsform auf mehrere Vorrichtungen verteilt sind, in einem einzigen Gehäuse zusammengeführt werden. Zum Beispiel können die Funktionen, die in dem Rendering-System 1 und dem Erkennungssystem 3 verteilt sind, in einem einzigen Gehäuse zusammengefasst werden.
Des Weiteren muss die Anzeigevorrichtung 2 nicht in das Rendering-System 1 integriert sein. Alternativ können das Rendering-System 1 und die Anzeigevorrichtung 2, die das Anzeigesystem 10 bilden, in zwei verschiedenen Gehäusen untergebracht sein.
Des Weiteren muss das mit dem Anzeigesystem 10 auszustattende Fahrzeug 6 nicht zwingend ein Automobil (Personenkraftwagen) sein, sondern kann auch ein Großfahrzeug wie beispielsweise ein Lastwagen oder ein Bus, ein Zweirad, ein Eisenbahnzug, ein motorisierter Wagen, eine Baumaschine, ein Flugzeug oder ein Wasserfahrzeug sein.
Des Weiteren muss das Rendering-System 1 die Markierung M1 nur entsprechend dem Ort des Ziels 50 rendern. Beispielsweise kann das Rendering-System 1 auch verschiedene Arten von Fahrerassistenzinformationen wie Fahrzeuggeschwindigkeitsinformationen, Navigationsinformationen, Informationen über vorausfahrende Fahrzeuge, Spurabweichungsinformationen und Fahrzeugzustandsinformationen als die Markierung M1 rendern.
Des Weiteren muss die Anzeigevorrichtung 2 nicht konfiguriert sein, um ein virtuelles Bild anzuzeigen, wie dies bei einem Head-up-Display der Fall ist. Alternativ kann die Anzeigevorrichtung 2 beispielsweise auch eine Flüssigkristallanzeige, eine organische Elektrolumineszenzanzeige (EL) oder ein Projektor sein. Alternativ kann die Anzeigevorrichtung 2 auch das Display eines Kraftfahrzeugsnavigationssystems, eines elektronischen Spiegelsystems oder einer Multiinformationsanzeigevorrichtung sein, die sämtliche in der Karosserie 61 des sich bewegenden Fahrzeugs eingebaut sein können.
Des Weiteren sind die Dauer des ersten Zyklus T1 und des zweiten Zyklus T2, die in der ersten Ausführungsform angenommen wurden, nur Beispiele. Das heißt, die Dauer des ersten Zyklus T1 muss nicht 600 ms und die Dauer des zweiten Zyklus T2 muss auch nicht 100 ms betragen. Beispielsweise kann der erste Zyklus T1 eine Dauer von 100 ms und der zweite Zyklus T2 eine Dauer von 16,7 ms haben. Alternativ dazu kann der erste Zyklus T1 eine Dauer von 100 ms und der zweite Zyklus T2 eine Dauer von 20 ms haben. Eine weitere Alternative ist, dass der erste Zyklus T1 eine Dauer von 80 ms und der zweite Zyklus T2 eine Dauer von 50 ms haben kann.
Des Weiteren ist die Länge der Verzögerungsperiode Td1, die in der oben beschriebenen ersten Ausführungsform angenommen wurde, nur ein Beispiel. Das heißt, die Länge der Verzögerungsperiode Td1 muss nicht 500 ms betragen. Die Länge der Verzögerungsperiode Td1 kann in Abhängigkeit von der Systemkonfiguration oder einem anderen Faktor, beispielsweise innerhalb des Bereichs von 10 ms bis 1 s, angemessen festgelegt werden. Beispielsweise kann die Länge der Verzögerungsperiode Td1 je nach Eignung 50 ms, 150 ms oder 300 ms betragen.
Des Weiteren muss der Sensor 17 keine Winkelgeschwindigkeiten um die drei Achsen erfassen. Alternativ kann der Sensor 17 auch eine Winkelgeschwindigkeit um eine Achse oder auch Winkelgeschwindigkeiten um zwei Achsen oder sogar vier oder mehr Achsen erfassen. Des Weiteren muss der Sensor 17 kein Gyrosensor zum Erfassen einer Winkelgeschwindigkeit sein. Alternativ kann der Sensor 17 beispielsweise auch ein Sensor zum Erfassen der Beschleunigung, der Winkelbeschleunigung oder der Geschwindigkeit, entweder zusätzlich zur Winkelgeschwindigkeit oder anstelle derselben, sein.
Darüber hinaus muss die Vorhersageeinheit 15 nicht in dem Rendering-System 1 enthalten sein. Alternativ kann die Funktion der Vorhersageeinheit 15 auch in das Erkennungssystem 3 oder die ECU 4 integriert werden. In jenem Fall erlangt das Rendering-System 1 die Korrekturdaten D2 und die Interpolationsdaten D3, die von der Vorhersageeinheit 15 des Erkennungssystems 3 oder der ECU 4 gewonnen wurden, entweder von dem Erkennungssystem 3 oder von der ECU 4.
Optional kann die Vorhersageeinheit 15 unter Verwendung eines maschinell erlernten Klassifikators beispielsweise die Fortbewegungsinformationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs 6 und die Zielinformationen über den Fortbewegungszustand des Ziels 50 vorhersagen. Der Klassifikator kann während der Verwendung des Rendering-Systems 1 ein erneutes Lernen durchführen. Beispiele für den Klassifikator sind nicht nur ein linearer Klassifikator wie eine Support-Vektor-Maschine (SVM), sondern auch ein Klassifikator, der ein neuronales Netzwerk verwendet, oder ein durch Deep Learning erzeugter Klassifikator, der ein mehrschichtiges neuronales Netzwerk verwendet. Wenn der Klassifikator ein Klassifikator ist, der ein gelerntes neuronales Netz verwendet, dann sind Beispiele für das gelernte neuronale Netz ein Faltungsneuronales Netz (CNN) und ein Bayessches Neuronales Netz (BNN). In jenem Fall kann die Vorhersageeinheit 15 beispielsweise durch den Einbau eines gelernten neuronalen Netzes in eine integrierte Schaltung wie einen anwendungsspezifischen integrierten Schaltkreis (ASIC) oder in ein feldprogrammierbares Gate-Array (FPGA) implementiert werden.
(Zweite Ausführungsform)
Gemäß einer zweiten Ausführungsform enthält ein Rendering-System 1A, wie in 11 gezeigt, weder die Interpolationseinheit 13 (siehe 1) noch die Interpolationseinstelleinheit 131 (siehe 1), was ein wesentlicher Unterschied zu der oben beschriebenen ersten Ausführungsform ist. In der folgenden Beschreibung wird jeder Bestandteil dieser zweiten Ausführungsform, der die gleiche Funktion wie ein Gegenstück der oben beschriebenen ersten Ausführungsform hat, mit dem gleichen Bezugszeichen wie das Gegenstück bezeichnet, und die Beschreibung davon wird hier gegebenenfalls weggelassen.
In dieser Ausführungsform wird die Interpolationseinheit 13 weggelassen, und daher erzeugt die Vorhersageeinheit 15 auch keine Interpolationsdaten D3 (siehe 1). Die Korrektureinheit 12 arbeitet hingegen auf die gleiche Weise wie das Gegenstück der ersten Ausführungsform. Die Korrektureinheit 12 korrigiert ebenfalls auf der Grundlage der Korrekturdaten D2 den Ort der Markierung M1, die durch die Rendering-Einheit 11 zu rendern ist.
Nichtsdestoweniger soll in dieser Ausführungsform ein zweiter Zyklus T2, in dem die Rendering-Einheit 11 die Markierung M1 aktualisiert, entweder so lang wie oder länger als ein erster Zyklus T1 sein, in dem das Rendering-System 1A das Ergebnis der Erkennung D1 durch das Erkennungssystem 3 erlangt. Somit ermöglicht das Rendering-System 1A gemäß dieser Ausführungsform auf der Grundlage des Ergebnisses einer Erkennung D1 durch das Erkennungssystem 3 ein Rendern der Markierung M1 in jedem zweiten Zyklus T2, so dass dadurch auf eine Interpolation durch die Interpolationseinheit 13 verzichtet werden kann.
Zu beachten ist, dass die verschiedenen Konfigurationen, die für die zweite Ausführungsform beschrieben sind, gegebenenfalls in Kombination mit den verschiedenen Konfigurationen (zu denen ihre Abänderungen gehören), die für die erste Ausführungsform beschrieben sind, verwendet werden können.
(Rekapitulation)
Wie aus der vorangehenden Beschreibung ersichtlich ist, enthält ein Rendering-System (1, 1A) gemäß einem ersten Aspekt eine Rendering-Einheit (11) und eine Korrektureinheit (12). Die Rendering-Einheit (11) rendert auf der Grundlage eines Ergebnisses einer Erkennung (D1) durch ein Erkennungssystem (3), eine Markierung (M1) entsprechend einem Ort eines Ziels (50). Das Erkennungssystem (3) ist in einem sich bewegenden Fahrzeug (6) zum Zweck des Erkennens des Ziels (50) eingebaut. Die Korrektureinheit (12) korrigiert auf der Grundlage von Korrekturdaten (D2) den Ort des Ziels (50) in Übereinstimmung mit dem Ergebnis der Erkennung (D1) durch das Erkennungssystem (3) und bestimmt dadurch einen Ort der Markierung (M1), die durch die Rendering-Einheit (11) zu rendern ist. Die Korrekturdaten (D2) werden mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs (6) gewonnen.
Gemäß diesem Aspekt wird die Markierung (M1) an einem Rendering-Ort gerendert, der einer Korrektur auf der Grundlage der Korrekturdaten (D2) unterzogen wurde, und nicht an einem Ort des Ziels (50) auf der Grundlage des Ergebnisses einer Erkennung (D1) durch das Erkennungssystem (3). Dies ermöglicht es, selbst wenn eine Verzögerung, beispielsweise durch die Verarbeitung innerhalb des Erkennungssystems (3), verursacht wird, die Wahrscheinlichkeit zu verringern, dass der Anzeigeort der schließlich angezeigten Markierung (M1) durch die Verzögerung verfälscht wird. Im Einzelnen wird die Korrektur auf der Grundlage des Fortbewegungszustands des sich bewegenden Fahrzeugs (6), das mit dem Erkennungssystem (3) ausgestattet ist, durchgeführt. Dies ermöglicht es, die Verschiebung des Anzeigeortes aufgrund der eigenen Bewegung des Erkennungssystems (3) während der oben beschriebenen Verzögerungsperiode (Td1) zu verringern.
Gemäß einem zweiten Aspekt, der in Verbindung mit dem ersten Aspekt implementiert werden kann, sind in einem Rendering-System (1, 1A) die Fortbewegungsinformationen mindestens anhand des bisherigen Verhaltens des sich bewegenden Fahrzeugs (6) vorhersagbar.
Dieser Aspekt ermöglicht ein relativ genaues Vorhersagen des Fortbewegungszustands des sich bewegenden Fahrzeugs (6) zur Verwendung für die Korrektur des Rendering-Ortes der Markierung (M1).
Gemäß einem dritten Aspekt, der in Verbindung mit dem ersten oder zweiten Aspekt implementiert werden kann, werden in einem Rendering-System (1, 1A) die Korrekturdaten (D2) nicht nur auf der Grundlage der Fortbewegungsinformationen, sondern auch der Zielinformationen über einen Fortbewegungszustand des Ziels (50) gewonnen.
Dieser Aspekt ermöglicht ein relativ genaues Korrigieren des Rendering-Ortes der Markierung (M1), selbst wenn sich das Ziel (50) bewegt.
Gemäß einem vierten Aspekt, der in Verbindung mit dem dritten Aspekt implementiert werden kann, sind in einem Rendering-System (1, 1A) die Zielinformationen mindestens anhand des bisherigen Verhaltens des Ziels (50) vorhersagbar.
Dieser Aspekt ermöglicht ein relativ genaues Vorhersagen des Fortbewegungszustands des Ziels (50) zur Verwendung für die Korrektur des Rendering-Ortes der Markierung (M1).
Gemäß einem fünften Aspekt, der in Verbindung mit einem von dem ersten bis vierten Aspekt implementiert werden kann, ist die Markierung (M1) in einem Rendering-System (1, 1A) ein dreidimensionales Bild, das Ortsinformationen in einer Tiefenrichtung enthält und einen Abstand von dem Erkennungssystem (3) zu dem Ziel (50) darstellt.
Dieser Aspekt ermöglicht es, dass die angezeigte Markierung (M1) auch den Abstand von dem Erkennungssystem (3) zu dem Ziel (50) widerspiegelt.
Gemäß einem sechsten Aspekt, der in Verbindung mit einem von dem ersten bis fünften Aspekt implementiert werden kann, enthält ein Rendering-System (1, 1A) ferner eine Interpolationseinheit (13). Das Erkennungssystem (3) gibt das Ergebnis der Erkennung (D1) in jedem ersten Zyklus (T1) aus. Die Rendering-Einheit (11) rendert auf der Grundlage des Ergebnisses der Erkennung (D1) durch das Erkennungssystem (3) die Markierung (M1) mindestens in jedem ersten Zyklus (T1) und aktualisiert die Markierung (M1) in jedem zweiten Zyklus (T2). Der zweite Zyklus (T2) ist kürzer als der erste Zyklus (T1). Die Interpolationseinheit (13) veranlasst immer dann, wenn die Rendering-Einheit (11) die Markierung (M1) in jedem zweiten Zyklus (T2) aktualisiert, eine Interpolation auf der Grundlage von Interpolationsdaten (D3), um eine interpolierte Markierung (M11) als die aktualisierte Markierung (M1) zu gewinnen.
Gemäß diesem Aspekt wird in einer Situation, in der der zweite Zyklus (T2), in dem die Markierung (M1) aktualisiert wird, kürzer ist als der erste Zyklus (T1), in dem das Erkennungssystem (3) das Ergebnis der Erkennung (D1) ausgibt, die aktualisierte Markierung (M1) durch eine Interpolation auf der Grundlage der Interpolationsdaten (D3) gewonnen. Dies ermöglicht es, selbst während des ersten Zyklus (T1) die Markierung (M1) jedes Mal zu ändern, wenn die Markierung (M1) aktualisiert wird, so dass sich die Markierung (M1) relativ gleichmäßig bewegen kann. Infolgedessen wird die Wahrscheinlichkeit verringert, dass die Markierung (M1) ein unnatürliches Verhalten zeigt.
Gemäß einem siebten Aspekt, der in Verbindung mit einem von dem ersten bis sechsten Aspekt implementiert werden kann, bestimmt die Korrektureinheit (12) in einem Rendering-System (1, 1A) den Inhalt der Markierung (M1) in Übereinstimmung mit den Korrekturdaten (D2).
Dieser Aspekt ermöglicht ein angemessenes Korrigieren des Inhalts der Markierung (M1).
Gemäß einem achten Aspekt, der in Verbindung mit einem von dem ersten bis siebten Aspekt implementiert werden kann, enthält ein Rendering-System (1, 1A) ferner eine Korrektureinstelleinheit (121), die die Stärke der Korrektur einstellt, die von der Korrektureinheit (12) durchzuführen ist.
Dieser Aspekt ermöglicht es, die durch die Korrektur verursachte Verarbeitungslast zu verringern, indem zum Beispiel die Stärke der von der Korrektureinheit (12) durchzuführenden Korrektur verringert wird.
Gemäß einem neunten Aspekt, der in Verbindung mit einem von dem ersten bis achten Aspekt implementiert werden kann, sind die Fortbewegungsinformationen in einem Rendering-System (1, 1A) Informationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs (6) in einer Verzögerungsperiode (Td1). Die Verzögerungsperiode (Td1) umfasst mindestens einen Zeitraum von einem Zeitpunkt, zu dem das Erkennungssystem (3) das Ziel (50) erkennt, bis zu einem Zeitpunkt, zu dem die Rendering-Einheit (11) das Ziel (50) rendert.
Dieser Aspekt erleichtert ein Verringern der Verschiebung des Anzeigeortes der Markierung (M1) aufgrund des Vorhandenseins der Verzögerungsperiode (Td1).
Gemäß einem zehnten Aspekt enthält das Rendering-System (1, 1A) gemäß einem von dem ersten bis neunten Aspekt ein Anzeigesystem (10) und eine Anzeigevorrichtung (2), die darauf die von dem Rendering-System (1, 1A) gerenderte Markierung (M1) anzeigt.
Gemäß diesem Aspekt wird die Markierung (M1) an einem Rendering-Ort gerendert, der einer Korrektur auf der Grundlage der Korrekturdaten (D2) unterzogen wurde, und nicht an einem Ort des Ziels (50) auf der Grundlage des Ergebnisses einer Erkennung (D1) durch das Erkennungssystem (3). Dies ermöglicht es, selbst wenn eine Verzögerung, beispielsweise durch die Verarbeitung innerhalb des Erkennungssystems (3), verursacht wird, die Wahrscheinlichkeit zu verringern, dass der Anzeigeort der schließlich angezeigten Markierung (M1) durch die Verzögerung verfälscht wird. Im Einzelnen wird die Korrektur auf der Grundlage des Fortbewegungszustands des sich bewegenden Fahrzeugs (6), das mit dem Erkennungssystem (3) ausgestattet ist, durchgeführt. Dies ermöglicht es, die Verschiebung des Anzeigeortes aufgrund der eigenen Bewegung des Erkennungssystems (3) während der oben beschriebenen Verzögerungsperiode (Td1) zu verringern.
Gemäß einem elften Aspekt weist das Anzeigesystem (10) gemäß dem zehnten Aspekt ein sich bewegendes Fahrzeug (6) und eine Fahrzeugkarosserie (61) des sich bewegenden Fahrzeugs auf, die mit dem Anzeigesystem (10) ausgestattet ist.
Gemäß diesem Aspekt wird die Markierung (M1) an einem Rendering-Ort gerendert, der einer Korrektur auf der Grundlage der Korrekturdaten (D2) unterzogen wurde, und nicht an einem Ort des Ziels (50) auf der Grundlage des Ergebnisses einer Erkennung (D1) durch das Erkennungssystem (3). Dies ermöglicht es, selbst wenn eine Verzögerung, beispielsweise durch die Verarbeitung innerhalb des Erkennungssystems (3), verursacht wird, die Wahrscheinlichkeit zu verringern, dass der Anzeigeort der schließlich angezeigten Markierung (M1) durch die Verzögerung verfälscht wird. Im Einzelnen wird die Korrektur auf der Grundlage des Fortbewegungszustands des sich bewegenden Fahrzeugs (6), das mit dem Erkennungssystem (3) ausgestattet ist, durchgeführt. Dies ermöglicht es, die Verschiebung des Anzeigeortes aufgrund der eigenen Bewegung des Erkennungssystems (3) während der oben beschriebenen Verzögerungsperiode (Td1) zu verringern.
Gemäß einem zwölften Aspekt umfasst ein Rendering-Verfahren Rendering-Verarbeitung und Korrekturverarbeitung. Die Rendering-Verarbeitung umfasst ein Rendern einer Markierung (M1) entsprechend einem Ort des Ziels 50 auf der Grundlage eines Ergebnisses einer Erkennung (D1) durch ein Erkennungssystem (3). Das Erkennungssystem (3) ist in einem sich bewegenden Fahrzeug (6) zum Zweck des Erkennens des Ziels (50) eingebaut. Die Korrekturverarbeitung umfasst auf der Grundlage von Korrekturdaten (D2) ein Korrigieren des Ortes des Ziels (50) in Übereinstimmung mit dem Ergebnis der Erkennung (D1) durch das Erkennungssystem (3) und dadurch das Bestimmen eines Ortes der Markierung (M1), die in der Rendering-Verarbeitung zu rendern ist. Die Korrekturdaten (D2) werden mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs (6) gewonnen.
Gemäß diesem Aspekt wird die Markierung (M1) an einem Rendering-Ort gerendert, der einer Korrektur auf der Grundlage der Korrekturdaten (D2) unterzogen wurde, und nicht an einem Ort des Ziels (50) auf der Grundlage des Ergebnisses einer Erkennung (D1) durch das Erkennungssystem (3). Dies ermöglicht es, selbst wenn eine Verzögerung, beispielsweise durch die Verarbeitung innerhalb des Erkennungssystems (3), verursacht wird, die Wahrscheinlichkeit zu verringern, dass der Anzeigeort der schließlich angezeigten Markierung (M1) durch die Verzögerung verfälscht wird. Im Einzelnen wird die Korrektur auf der Grundlage des Fortbewegungszustands des sich bewegenden Fahrzeugs (6), das mit dem Erkennungssystem (3) ausgestattet ist, durchgeführt. Dies ermöglicht es, die Verschiebung des Anzeigeortes aufgrund der eigenen Bewegung des Erkennungssystems (3) während der oben beschriebenen Verzögerungsperiode (Td1) zu verringern.
Gemäß einem dreizehnten Aspekt ist ein Programm dafür ausgelegt, einen oder mehrere Prozessoren zu veranlassen, das Rendering-Verfahren gemäß dem zwölften Aspekt durchzuführen.
Gemäß diesem Aspekt wird die Markierung (M1) an einem Rendering-Ort gerendert, der einer Korrektur auf der Grundlage der Korrekturdaten (D2) unterzogen wurde, und nicht an einem Ort des Ziels (50) auf der Grundlage des Ergebnisses einer Erkennung (D1) durch das Erkennungssystem (3). Dies ermöglicht es, selbst wenn eine Verzögerung, beispielsweise durch die Verarbeitung innerhalb des Erkennungssystems (3), verursacht wird, die Wahrscheinlichkeit zu verringern, dass der Anzeigeort der schließlich angezeigten Markierung (M1) durch die Verzögerung verfälscht wird. Im Einzelnen wird die Korrektur auf der Grundlage des Fortbewegungszustands des sich bewegenden Fahrzeugs (6), das mit dem Erkennungssystem (3) ausgestattet ist, durchgeführt. Dies ermöglicht es, die Verschiebung des Anzeigeortes aufgrund der eigenen Bewegung des Erkennungssystems (3) während der oben beschriebenen Verzögerungsperiode (Td1) zu verringern.
Zu beachten ist, dass dies nicht die einzigen Aspekte der vorliegenden Offenbarung sind, sondern dass verschiedene Konfigurationen des Rendering-Systems (1, 1A) (zu denen ihre Abänderungen gehören) gemäß den oben beschriebenen ersten und zweiten Ausführungsformen auch beispielsweise als Rendering-Verfahren oder als Programm implementiert werden können.
Zu beachten ist, dass die Bestandteile gemäß den zweiten bis neunten Aspekten keine unbedingt notwendigen Bestandteile für das Rendering-System (1, 1A) sind, sondern gegebenenfalls weggelassen werden können.
Bezugszeichenliste

1, 1A: Rendering-System
2: Anzeigevorrichtung
3: Erkennungssystem
6: Sich bewegendes Fahrzeug
10: Anzeigesystem
11: Rendering-Einheit
12: Korrektureinheit
13: Interpolationseinheit
61: Karosserie eines sich bewegenden Fahrzeugs
121: Korrektureinstelleinheit
D1: Ergebnis einer Erkennung
D2: Korrekturdaten
D3: Interpolationsdaten
M1: Markierung
T1: Erster Zyklus
T2: Zweiter Zyklus
Td1: Verzögerungsperiode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2008046744 A [0005]

Claims

Rendering-System, Folgendes aufweisend: eine Rendering-Einheit, die konfiguriert ist, um auf der Grundlage eines Ergebnisses einer Erkennung durch ein Erkennungssystem, das in einem sich bewegenden Fahrzeug zum Zweck des Erkennens eines Ziels eingebaut ist, eine Markierung entsprechend einem Ort des Ziels zu rendern; und eine Korrektureinheit, die konfiguriert ist, um auf der Grundlage von Korrekturdaten den Ort des Ziels in Übereinstimmung mit dem Ergebnis der Erkennung durch das Erkennungssystem zu korrigieren und dadurch einen Ort der Markierung zu bestimmen, die durch die Rendering-Einheit zu rendern ist, wobei die Korrekturdaten mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs gewonnen werden.
Rendering-System nach Anspruch 1, wobei die Fortbewegungsinformationen mindestens anhand des bisherigen Verhaltens des sich bewegenden Fahrzeugs vorhersagbar sind.
Rendering-System nach Anspruch 1 oder 2, wobei die Korrekturdaten nicht nur auf der Grundlage der Fortbewegungsinformationen, sondern auch der Zielinformationen über einen Fortbewegungszustand des Ziels gewonnen werden.
Rendering-System nach Anspruch 3, wobei die Zielinformationen mindestens anhand des bisherigen Verhaltens des Ziels vorhersagbar sind.
Rendering-System nach einem der Ansprüche 1 bis 4, wobei die Markierung ein dreidimensionales Bild ist, das Ortsinformationen in einer Tiefenrichtung enthält und einen Abstand von dem Erkennungssystem zu dem Ziel darstellt.
Rendering-System nach einem der Ansprüche 1 bis 5, ferner eine Interpolationseinheit enthaltend, wobei das Erkennungssystem konfiguriert ist, um das Ergebnis einer Erkennung in jedem ersten Zyklus auszugeben, die Rendering-Einheit konfiguriert ist, um auf der Grundlage des Ergebnisses der Erkennung durch das Erkennungssystem die Markierung mindestens in jedem ersten Zyklus auszugeben und die Markierung in jedem zweiten Zyklus zu aktualisieren, wobei der zweite Zyklus kürzer als der erste Zyklus ist, und die Interpolationseinheit konfiguriert ist, um immer dann, wenn die Rendering-Einheit die Markierung in jedem zweiten Zyklus aktualisiert, eine Interpolation auf der Grundlage von Interpolationsdaten durchzuführen, um eine interpolierte Markierung als die Markierung zu gewinnen, die aktualisiert wurde.
Rendering-System nach einem der Ansprüche 1 bis 6, wobei die Korrektureinheit konfiguriert ist, um den Inhalt der Markierung in Übereinstimmung mit den Korrekturdaten zu bestimmen.
Rendering-System nach einem der Ansprüche 1 bis 7, ferner eine Korrektureinstelleinheit aufweisend, die konfiguriert ist, um die Stärke der Korrektur einzustellen, die von der Korrektureinheit durchzuführen ist.
Rendering-System nach einem der Ansprüche 1 bis 8, wobei die Fortbewegungsinformationen Informationen über den Fortbewegungszustand des sich bewegenden Fahrzeugs in einer Verzögerungsperiode sind, wobei die Verzögerungsperiode mindestens eine Periode von einem Zeitpunkt, zu dem das Erkennungssystem das Ziel erkennt, bis zu einem Zeitpunkt, zu dem die Rendering-Einheit das Ziel rendert, umfasst.
Anzeigesystem, Folgendes aufweisend: das Rendering-System nach einem der Ansprüche 1 bis 9; und eine Anzeigevorrichtung, die konfiguriert ist, um die von dem Rendering-System gerenderte Markierung anzuzeigen.
Sich bewegendes Fahrzeug, aufweisend: das Anzeigesystem nach Anspruch 10; und eine Karosserie des sich bewegenden Fahrzeugs, die mit dem Anzeigesystem auszustatten ist.
Rendering-Verfahren, umfassend: Rendering-Verarbeitung, ein Rendern einer Markierung entsprechend einem Ort des Ziels auf der Grundlage eines Ergebnisses einer Erkennung durch ein Erkennungssystem, das in einem sich bewegenden Fahrzeug zum Zweck des Erkennens eines Ziels eingebaut ist, umfassend, und Korrekturverarbeitung, ein Korrigieren des Ortes des Ziels in Übereinstimmung mit dem Ergebnis der Erkennung durch das Erkennungssystem auf der Grundlage von Korrekturdaten und dadurch ein Bestimmen eines Ortes der Markierung, die in der Rendering-Verarbeitung zu rendern ist, umfassend, wobei die Korrekturdaten mindestens auf der Grundlage von Fortbewegungsinformationen über einen Fortbewegungszustand des sich bewegenden Fahrzeugs gewonnen werden.
Programm, das dafür ausgelegt ist, einen oder mehrere Prozessoren zu veranlassen, das Rendering-Verfahren nach Anspruch 12 durchzuführen.