-
Die Erfindung betrifft ein Verfahren zum Anzeigen eines augmentierten Bildes gemäß dem Oberbegriff von Patentanspruch 1.
-
Ein solches Verfahren zum Anzeigen eines augmentierten Bilds auf einer insbesondere elektronischen Fahrzeuganzeige eines Kraftfahrzeugs ist beispielsweise bereits der
DE 10 2011 115 739 A1 als bekannt zu entnehmen. Bei dem Verfahren wird mindestens ein virtuelles Objekt in ein mittels mindestens einer Kamera aufgenommenes digitales Kamerabild einer Fahrzeugumgebung integriert, was auch als Einbetten bezeichnet wird. Hierdurch wird das augmentierte Bild gebildet, welches auf oder mittels der Fahrzeuganzeige angezeigt wird.
-
Um das augmentierte Bild als besonders natürlich Bild erzeugen und anzeigen zu können, ist es wünschenswert, das virtuelle Objekte insbesondere bezüglich seiner Position, Rotation, Skalierung und Beleuchtung sowie im Hinblick auf eine Über- oder Verdeckung des virtuellen Objekts durch andere Objekte des digitalen Bilds vorteilhaft in das aufgenommene Kamerabild zu integrieren. Üblicherweise ist hierzu der Rechenaufwand außerordentlich hoch.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art derart weiterzuentwickeln, dass das virtuelle Objekt besonders vorteilhaft in das Kamerabild integriert werden kann.
-
Diese Aufgabe wird durch den Gegenstand des unabhängigen Patentanspruchs gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Zeichnung beschrieben.
-
Durch die Erfindung ist ein Verfahren zum Anzeigen eines augmentierten Bilds mit einem darin eingebetteten Objekt auf einer insbesondere elektronischen Fahrzeuganzeigeeinrichtung eines Kraftfahrzeugs bereitgestellt. Eine solche, auch als Fahrzeuganzeige bezeichnete und vorzugsweise elektronische Fahrzeuganzeigeeinrichtung eines Kraftfahrzeugs ist beispielsweise an oder in einer Mittelkonsole oder an einer Instrumententafel des Kraftfahrzeugs angeordnet. Auf dieser Fahrzeuganzeige, insbesondere der Mittelkonsole, werden beispielsweise Daten eines Infotainmentsystems oder eines Navigationssystems angezeigt. Insbesondere bei heutigen Navigationssystemen ist es üblich, neben einem reinen Streckenverlauf auch Informationen wie beispielsweise aktuelle Verkehrsschilder, insbesondere Geschwindigkeitsbegrenzungen, oder Fahranweisungen wie beispielsweise einen Richtungswechsel anzuzeigen.
-
Bei dem Verfahren wird mindestens ein virtuelles Objekt in ein mittels mindestens einer Kamera des Kraftfahrzeugs aufgenommenes digitales Kamerabild einer Fahrzeugumgebung integriert, das heißt eingebettet. Hierdurch wird das augmentierte Bild gebildet, welches auf oder mittels der Fahrzeuganzeige angezeigt wird. Unter dem Kamerabild der Fahrzeugumgebung ist zu verstehen, dass die Kamera zumindest einen Teilbereich einer Umgebung des Kraftfahrzeugs, insbesondere während einer Fahrt des Kraftfahrzeugs, erfasst, wobei das Kamerabild ein digitales Bild zumindest des erfassten Teilbereiches ist. Bei dem virtuellen Objekt kann es sich um ein Pfeil und/oder um eine Linie und/oder um ein anderes Objekt handeln, welches beispielsweise zu Routenführung, das heißt dazu genutzt wird, den Fahrer des Kraftfahrzeugs bei einem Be- oder Abfahren einer geplanten Route zu unterstützen, das heißt um den Fahrer entlang der Route zu führen. Beispielsweise wird das virtuelle Objekt mittels einer elektronischen Recheneinrichtung, insbesondere des Kraftfahrzeugs, in das Kamerabild integriert.
-
Um nun das virtuelle Objekt besonders vorteilhaft, das heißt beispielsweise mit einem nur geringen Rechenaufwand und/oder derart in das Kamerabild integrieren zu können, dass das augmentierte Bild für eine die Fahrzeuganzeige und somit das augmentiere Bild betrachtende Person ein besonders natürlich erscheinendes Bild ist, ist es erfindungsgemäß vorgesehen, dass mittels eines Generators eines neuronalen Netzwerks der elektronischen Recheneinrichtung, insbesondere der Fahrzeuganzeige, das augmentierte Bild in Abhängigkeit von dem digitalen Kamerabild erzeugt wird, wobei der Generator mittels eines Diskriminators des als erzeugendes gegnerisches Netzwerk ausgebildeten neuronalen Netzwerks angelernt ist. Zum Anlernen wird ein von dem Generator erzeugtes Bild mit einem erzeugten eingebetteten Objekt mit einem vom Diskriminator vorgegebenen Bild mit einem vorgegebenen eingebetteten Objekt verglichen. Mit anderen Worten wird zum Anlernen ein von dem Generator erzeugtes und ein eingebettetes Objekt aufweisendes Bild mit einem vom Diskriminator vorgegebenen und ein vorgegebenes eingebettetes Objekt aufweisenden Bild verglichen. In Abhängigkeit von dem Vergleich werden oder sind Trainingsdaten für den Generator von dem Diskriminator bereitgestellt.
-
Statt des Einsatzes einer herkömmlichen Recheneinrichtung ist erfindungsgemäß vorgesehen, ein neuronales Netz einzusetzen. Zum Einsatz kommt insbesondere ein mit dem englischen Begriff bezeichnetes Generative Adversarial Network (GAN), umfassend zwei neuronale Netze, den Generator und den Diskriminator. Eine Funktionsweise und Vorteile eines solchen GAN werden im Folgenden kurz beschrieben.
-
Ein GAN ist darauf ausgelegt, die gewünschte Fähigkeit, in diesem Fall ein realitätsnahes beziehungsweise natürliches Einbetten eines virtuellen Objekts in ein aufgenommenes Kamerabild, zu erlernen. In diesem Zusammenhang spricht man auch davon, dass das GAN trainiert werden muss. Wie ein solches Training in diesem spezifischen Fall erfolgt, wird nunmehr erläutert. Ein besonderes Augenmerk gilt dabei dem Generator und dem Diskriminator. Ziel ist es, das GAN so zu trainieren, dass basierend auf einem eingespeisten aufgenommenen Kamerabild und einem virtuellen Objekt ein augmentiertes Bild produziert wird, bei dem das virtuelle Objekt realitätsnah in das aufgenommene Kamerabild integriert wurde. Um nun das GAN beziehungsweise den Generator dahingehend trainieren zu können, ein solches augmentiertes Bild zu erstellen, generiert der Generator augmentierte Bilder, die anschließend vom Diskriminator überprüft werden, und auf Echtheit geprüft werden.
-
Für ein solches Training eines GAN ist es notwendig, dass im Vorfeld ausreichend viel Trainingsmaterial zur Verfügung steht. In diesem Fall ist unter Trainingsmaterial zu erstehen, dass solche augmentierte Bilder in ausreichender Anzahl zur Verfügung stehen, bei denen virtuelle Objekte besonders realitätsnah in ein aufgenommenes Kamerabild integriert sind. Wie diese augmentierten Bilder, bei denen das virtuelle Objekt realitätsnah in das aufgenommene Kamerabild integriert wurde, entstanden sind, ist hierbei irrelevant. Der Vollständigkeit halber sei genannt, dass solche augmentierten Bilder beispielsweise mittels herkömmlicher Recheneinrichtungen oder Simulationen hergestellt sein können. Um im weiteren Verlauf den Generator zu trainieren, werden dem Generator ein aufgenommenes Kamerabild sowie ein darin einzubettendes virtuelles Objekt eingespeist. Anhand dieser eingespeisten Daten soll der Generator nun versuchen, das zur Verfügung gestellte und einzubettende virtuelle Objekt möglichst realitätsnah in das aufgenommene Kamerabild zu integrieren. Dem gegenüber steht ein so genanntes Trainingsbild, bei dem das virtuelle Objekt bereits besonders realitätsnah in das aufgenommene Kamerabild integriert wurde. Aufgabe des Diskriminators ist es demzufolge, das vom Generator erstellte augmentiert Bild mit dem entsprechenden Trainingsbild zu vergleichen und anschließend zu bewerten, Originalbild das vom Generator erstellte augmentierte Bild täuschend echt ist. Täuschend echt heißt hierbei, dass der Diskriminator nicht entscheiden kann, welches Bild das vom Generator produzierte augmentierte Bild ist und welches das als Testbild bereitgestellte Bild ist.
-
Im Laufe des Trainings wird der Diskriminator immer wieder eine Rückmeldung an den Generator liefern, um dem Generator mitzuteilen, Originalbild das von ihm generierte augmentierte Bild durch den Diskriminator als Täuschung erkannt wurde oder nicht. Der Generator wird also durch die laufende Rückmeldung vom Diskriminator soweit trainiert, bis dem Diskriminator eine Unterscheidung zwischen dem vom Generator produzierten augmentierten Bild und dem als Testbild bereitgestellten Bild nicht mehr unterschieden werden kann.
-
Sobald der Diskriminator also ein vom Generator produziertes augmentiertes Bild nicht mehr zuverlässig von einem Testbild unterscheiden kann, gilt der Generator als ausreichend trainiert und somit einsatzbereit. Für den Einsatz in einem Kraftfahrzeug ist nicht das gesamte GAN notwendig, sondern lediglich der Generator, da der Generator bereits eigenständig die notwendige Einbettung eines virtuellen Objekts in ein aufgenommenes Kamerabild durchführen kann. In der Praxis ist also ein solcher Generator mit der bereits existierenden Recheneinrichtung des Kraftfahrzeugs verbunden, sodass der Generator die notwendigen Informationen zum Erstellen eines augmentierten Bilds von der Recheneinrichtung erhalten kann. Der Generator wird also einerseits von den im Kraftfahrzeug installierten Kameras mit einem Kamerabild versorgt und andererseits beispielsweise von der Recheneinrichtung mit den einzubettenden virtuellen Objekten versorgt. Erhält der Generator nun also von der Recheneinrichtung ein einzubettendes virtuelles Objekt, beispielsweise einen Pfeil zur Anzeige eines Richtungswechsels, so wird der Generator dieses virtuelle Objekt in das aufgenommene Kamerabild integrieren. Eine solche Integration des virtuellen Objekts in das aufgenommene Kamerabild erfolgt mittels dem Generator auf besonders einfache Weise, weil der Generator im Trainingsverlauf eine solche Aufgabe eine Vielzahl von Malen durchgeführt hat. Im Ergebnis wird dem Fahrer jedes augmentierte Bild auf der Fahrzeuganzeigeeinrichtung seines Kraftfahrzeugs angezeigt. Das virtuelle Objekt wurde hierbei mittels dem Generator auf eine besonders realitätsnahe Art und Weise integriert, sodass sich für den Benutzer des Kraftfahrzeugs die Integration des virtuellen Objekts in das aufgenommene Kamerabild als besonders wenig störend darstellt. Insbesondere berücksichtigt wurden hierbei die Position, die Rotation, die Skalierung, die Überdeckung, die Beleuchtung und weitere Parameter des virtuellen Objekts. Beispielsweise ist es hierbei denkbar, dass ein virtuelles Objekt im Laufe der Anzeige des aufgenommenen Kamerabilds zumindest teilweise verdeckt wird. solche Berechnungen sind mittels einer herkömmlichen Recheneinrichtung nahezu unmöglich, da die Berechnungen bei einer Videofrequenz naturgemäß nahezu in Echtzeit durchgeführt werden müssen und der Rechenaufwand hierfür extrem hoch ist, sodass sich für eine herkömmliche Recheneinrichtung ein solcher Einsatz als äußerst schwierig gestaltet. Im Gegensatz dazu ist ein GAN für eine solche Aufgabe bestens ausgebildet, da im Trainingsverlauf eine Vielzahl solcher augmentierten Bilder erstellt wurde und das GAN somit bestens auf die Aufgabe vorbereitet ist.
-
In einer besonders vorteilhaften Ausführung kann eine auch als Output bezeichnete Ausgabe oder Ausgabegröße des Generators anschließend zusätzlich gerendert wird. Hierbei ist es Aufgabe der Render-Komponente, die Objekte in dem auch als in diesem Fall als Rohbild bezeichneten Bild einzubetten.
-
Der Erfindung liegen insbesondere die folgenden Erkenntnisse zugrunde: Mittels Augmented Reality (AR) sollen dem Fahrer eines beziehungsweise des Kraftfahrzeugs Informationen in einem Echtzeit-Videostream eingeblendet werden. Unter AR ist insbesondere die zuvor beschriebene Einbettung des virtuellen, in Realität nicht körperlich vorhandenen Objekts in das Kamerabild zu verstehen, welches reale Objekte, das heißt in der Realität tatsächlich existierende, körperliche Objekte umfasst. Der Videostream ist gebildet durch bewegte Bilder, also durch eine Folge von Bildern der Umgebung, wobei die Bilder in kurzer Zeit auf der Fahrzeuganzeige angezeigt werden, dass für den Betrachter eine Bewegung beispielsweise von Objekten, insbesondere realen Objekten, der Bilder entsteht. Das Kamerabild ist dabei eines der bewegten Bilder. Es ist wünschenswert, virtuelle Objekte wie beispielsweise Pfeile für eine Navigation oder Routenführung mit möglichst geringem Rechenaufwand Kamerabilder zu integrieren, das heißt einzubetten. Eine Herausforderung besteht insbesondere darin, das virtuelle Objekt, insbesondere in dreidimensionaler Form oder Erscheinung, und somit eine Information, welche durch das virtuelle Objekt kommuniziert werden soll, möglichst natürlich in das beispielsweise als 2D-Bild ausgebildete Kamerabild zu integrieren. Für eine realistische beziehungsweise natürliche Integration kommen Merkmale wie Rotation, Verzerrung, Skalierung, Verdeckung, Schatten, Transparenz und/oder Luminanz des Objekts zum Einsatz. Außerdem spielen Wechselwirkungen zwischen virtuellem Objekt und der realen Welt bzw. realen Objekten des Kamerabilds eine wichtige Rolle. Unter den realen Objekten des Kamerabilds sind Bildteile des Bildes zu verstehen, wobei diese Bildteile Bilder von realen, tatsächlich existierenden, körperlichen Objekten zu verstehen, die in oder auf dem Kamerabild zu sehen sind und dementsprechend mittels der Kamera erfasst wurden.
-
Um eine Position, Rotation und Skalierung eines virtuellen Objekts in einem Kamerabild zu berechnen, genügen bereits Tiefeninformationen, welche beispielsweise mittels einer Stereokamera des Kraftfahrzeugs ermittelt werden können. Um eine mögliche Verdeckung des virtuellen Objekts zu berechnen, ist eine weitaus komplexere Technik nötig. So müssen reale Objekte um das Kraftfahrzeug herum in einem, insbesondere virtuellen, 3D-Raum genau geortet werden. Um Positionen sämtlicher Objekte im 3D-Raum zu ermitteln, ist eine aufwendige Messtechnike und/oder eine rechenintensive Bildverarbeitung notwendig. Sind alle realen Objekte in dem 3D-Raum beziehungsweise in der 3D-Welt erfasst, kann das virtuelle Objekt im 3D-Raum platziert werden und anschließend auf das zweidimensionale Kamerabild projiziert werden. Bei Hinzufügung realistischer oder realitätsnaher Beleuchtung, Schatten und Luminanz des virtuellen Objekts müssten nicht nur die realen Objekte in dem 3D-Raum beziehungsweise in einer 3D-Repräsentation erfasst werden. Zusätzlich müssten aufwändige Beleuchtungsmodelle berechnet werden.
-
Das erfindungsgemäß Verfahren ermöglicht es nun, alle oben genannte Eigenschaft oder Merkmale in oder mit nur einem Iterationsschritt zu ermitteln. Dazu werden das Kamerabild und das oder mehrere, virtuelle und in das Kamerabild einzubettende Objekte und dazugehörige Information und/oder Aktion an das neuronale Netz übergeben. Das neuronale Netz lernt, diese Zusatzinformationen so im Kamerabild anzuzeigen beziehungsweise so in das Kamerabild einzubetten, dass sich die Informationen, das heißt insbesondere das virtuelle Objekt besonders natürlich beziehungsweise realistisch oder realitätsnah einbetten. Eine auch als Output bezeichnete Ausgabe ist ein auch als Inputbild bezeichnetes Eingangsbild, in welchem das virtuelle Objekt natürlich beziehungsweise realistisch oder realitätsnah eingebettet wurden. Beispielsweise wird das Inputbild auf der Fahrzeuganzeige angezeigt, sodass das Inputbild beispielsweise das augmentierte Bild ist.
-
Zusammengefasst ist es vorgesehen, dass das einfach auch als Fahrzeug bezeichnete Kraftfahrzeug mittels der insbesondere als Frontkamera ausgebildeten Kamera ein Kamerabild der Umgebung aufnimmt und dieses Kamerabild an das auch als AR-Net bezeichnete, neuronale Netzwerk sowie beispielsweise an eine Head Unit, insbesondere der Fahrzeuganzeige weitergibt. Die Head-Unit umfasst beispielsweise die elektronische Recheneinrichtung der Fahrzeuganzeige. Die Head Unit, insbesondere die elektronische Recheneinrichtung, übergibt das zuletzt mittels der Kamera aufgenommene Kamerabild, das zuletzt generierte Bild, sowie ein einzubettendes Objekt, insbesondere eine einzubettende Aktion an das AR-Net. Das AR-Net berechnet eine Positionierung der Aktion beziehungsweise des auch als Element oder AR-Element bezeichneten, virtuellen Objekts und übergibt diese als eigene Bild-Ebene zurück an die Head Unit. Die Head Unit kombiniert das originale Kamerabild der Frontkamera mit dem Ergebnis des AR-Nets.
-
Durch die Erfindung können insbesondere die folgenden Vorteile realisiert werden: Herkömmlich müssten die Position, Rotation, Belichtung usw. des virtuellen Objekts mittels geometrischen Berechnung und zusätzlichen Sensoren ermittelt werden. Das bedarf zum einen einer langen Applikationsphase im Entwicklungsprozess und zum anderen sehr rechenintensiver Berechnungen während des Fahrbetriebs, um das auch als Overlay bezeichnete, virtuelle Objekt richtig in das Kamerabild zu integrieren. Die Erfindung vereinfacht diesen Prozess und liefert aufgrund der rekursiven Architektur zeitlich stimmigere Ergebnisse.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigt:
- 1 eine schematische Darstellung einer Struktur eines angepassten Generative Adversarial Networks, welches bei dem erfindungsgemäßen Verfahren zum Einsatz kommen kann;
- 2 eine schematische Darstellung einer Struktur eines Generators gemäß einer ersten Ausführungsform;
- 3 eine schematische Darstellung einer Struktur des Generators gemäß einer zweiten Ausführungsform;
- 4 eine schematische Darstellung einer Struktur des Generators gemäß einer dritten Ausführungsform; und
- 5 ein Flussdiagramm zum Veranschaulichen des erfindungsgemäßen Verfahrens 1.
-
1 veranschaulicht eine Struktur eines angepassten Generative Adversarial Networks (GAN), wie sie zum Trainieren eines Generators G genutzt werden kann. Der Begriff kommt aus dem Englischen und bedeutet etwa „erzeugende gegnerische Netzwerke“. Im Allgemeinen umfassen Generative Adversarial Networks zwei künstliche neuronale Netzwerke. Hierbei stehen die beteiligten Netzwerke in Konkurrenz zueinander. Während der Generator G auf der einen Seite versucht, Daten zu generieren, mit denen er den Diskriminator D täuschen kann, versucht der Diskriminator D entsprechend das Gegenteil, nämlich die Täuschung des Generators G zu enttarnen. Wie dies im Detail funktioniert und wie dies für das vorgestellte Verfahren angewendet werden kann, wird im Folgenden beschrieben.
-
Damit der Generator G für ein Verfahren gemäß dem Patentanspruch 1 genutzt werden kann, muss dieser im Vorfeld trainiert werden. Prinzipiell umfasst ein Aufbau für dieses Training den Generator G und einen Diskriminator D. Ziel ist es, den Generator G soweit zu trainieren, dass dieser virtuelle Objekte 10 in ein mittels mindestens einer Kamera aufgenommenes Bild 20 möglichst realitätsnah einbetten kann. Realitätsnah heißt hierbei, dass die virtuellen Objekte 10 insbesondere bezüglich ihrer Position, Skalierung, Verdeckung und Beleuchtung besonders passend in das aufgenommene Kamerabild 20 eingebettet sind. Virtuelle Objekte 10 umfassen beispielsweise Anweisungen eines Navigationssystems, wie zum Beispiel Pfeile oder Wörter für eine Richtungsangabe. Als Ergebnis erhält man ein generiertes Bild 12, bei dem also virtuelle Objekte 10 relativitätsnah in ein aufgenommenes Kamerabild 20 integriert wurden. Alternativ wird ein generiertes Bild 12 auch als augmentiertes Bild 12 bezeichnet.
-
Im Laufe des Trainings ist der Generator G rekursiv mit dem Diskriminator D verbunden. Dem Generator wird das aufgenommene Kamerabild 20 bereitgestellt und in dieses soll der Generator G dann die ebenfalls bereitgestellten virtuellen Objekte 10 einbetten. Um die Arbeit, also das möglichst realitätsnahe Einbetten von virtuellen Objekten 10 in ein aufgenommenes Kamerabild 20, bewerten zu können, steht dem Diskriminator D auch mindestens ein echtes Bild 14 zur Verfügung. Bei dem echtem Bild 14 wurde mindestens ein virtuelles Objekt 10 in ein aufgenommenes Kamerabild 20 besonders realitätsnah integriert. Dieses echte Bild 14 kann beispielsweise mittels einer herkömmlichen Recheneinrichtung oder durch einen Experten erstellt worden sein. Auf welche Art und Weise das echte Bild 14 entstanden ist bzw. erschaffen wurde, ist für dessen Verwendung irrelevant. Wichtig ist lediglich, dass die Integration der virtuellen Objekte 10 besonders realitätsnah erfolgt ist. Schließlich dient das echte Bild 14 als Vergleichsbild zu dem vom Generator generierten Bild 12. Mit anderen Worten erhält der Generator während des Trainings solche virtuellen Objekte 10, die er in das aufgenommene Kamerabild 20 derart integrieren kann bzw. soll, sodass im Idealfall ein generiertes Bild 12 entsteht, das dem als Vergleichsbild verwendeten echten Bild 14 täuschend ähnlichsieht. In diesem Zusammenhang gilt das generierte Bild 12 als täuschend ähnlich, wenn der Diskriminator D in einem Vergleich zwischen generiertem Bild 12 und dem als Vergleichsbild verwendeten echten Bild 14 nicht mehr feststellen kann, welches Bild das echte Bild 14 bzw. das vom Generator G generierte Bild 12 ist. Im Laufe des Trainingsprozesses wird es jedoch immer wieder dazu kommen, dass der Diskriminator D das vom Generator G generierte Bild 12 als Täuschung detektiert. In diesem Fall erkennt der Diskriminator D das generierte Bild 12 also noch nicht als ausreichend gute Alternative zu dem echten Bild 14 an. Mit anderen Worten wurden bei einem solchen generierten Bild 12, das der Diskriminator D als Täuschung erkennt, die virtuellen Objekte 10 noch nicht ausreichend realitätsnah in das aufgenommene Kamerabild 20 integriert. Dies kann sich beispielsweise durch schiefe Pfeile äußern, wie sie in 1 auf dem generierten Bild 12 dargestellt sind.
-
Jedes Mal, wenn der Diskriminator D ein vom Generator G generiertes Bild 12 als Täuschung erkennt, gibt der Diskriminator D dem Generator G darüber eine Rückmeldung und der Generator G muss erneut eine generiertes Bild 12 erschaffen. Mit anderen Worten werden sämtliche generierten Bilder 12 vom Diskriminator D wieder zurück an den Generator G verweisen, damit dieser mit denselben virtuellen Objekten 10 und demselben aufgenommenen Kamerabild 20 in einem weiteren Versuch ein generiertes Bild 12 erstellt. Dieser Prozess läuft so lange, bis der Diskriminator D das Ergebnis, also das generierte Bild 12 nicht mehr von dem echten Bild 14 unterscheiden kann. Da dieser Prozess bis zu dem Zeitpunkt der erfolgreichen Täuschung des Diskriminator D durch den Generator G weiterläuft, spricht man, wie bereits oben erwähnt, von einem rekursiven Aufbau des Trainingsmoduls.
-
Im Laufe des Trainingsprozesses entsteht nicht nur ein Generator G, der immer besser werdende generierte Bilder 12 erstellt, sondern auch ein Diskriminator D, der immer besser generierte Bilder 12 als Täuschung erkennen kann. Als Folge werden also beide beteiligten Trainingspartner immer besser, was dazu führt, dass die für das beschriebene Verfahren benötigten generierten Bilder 12 immer besser werden. Mit anderen Worten werden beide Trainingspartner Generator G und Diskriminator D gleichermaßen mit steigender Trainingszeit immer besser.
-
2 zeigt eine Struktur eines Generators gemäß einer ersten Variante. Der Input umfasst hierbei vier Größen, nämlich das aufgenommene Kamerabild 20, das zuletzt aufgenommene Kamerabild 18, die einzubettenden Objekte 10 sowie das zuletzt generierte Bild 16. Mit anderen Worten liegt der Betrachtungszeitpunkt im Jetzt und bei dem zuletzt aufgenommenen Kamerabild 18 bzw. dem zuletzt generierten Bild 16 handelt es sich um Zeitpunkte, die vor dem Betrachtungszeitpunkt liegen. Wieder mit anderen Worten liegen jene Zeitpunkte folglich in der Vergangenheit.
-
In einem ersten Schritt wird mittels einem FlowNet F aus dem aufgenommenen Kamerabild 20 und dem zuletzt aufgenommenen Kamerabild 18 der optische Fluss 22 zwischen diesen beiden Frames ausgegeben. Dieser optische Fluss 22 wird wiederum dazu genutzt, das zuletzt generierte Bild 16 zu verzerren. Dies wird im Warp W umgesetzt. Daraufhin wird das zuletzt generierte und verzerrte Bild zusammen mit dem aktuell aufgenommenen Kamerabild 20 und den einzubettenden virtuellen Objekten 10 an den eigentlichen Generator G übermittelt. Der Generator erstellt aus diesen Daten ein generiertes Bild. Besonders vorteilhaft bei diesem Aufbau ist, dass der Generator G zeitliche Abhängigkeiten lernen kann.
-
3 zeigt eine Struktur eines Generators gemäß einer zweiten Variante. Bei dieser Variante lernt der Generator G einen Vektor, der Informationen der virtuellen Objekte 10 wie Position, Verzerrung, Belichtung usw. umfasst. Dieser Vektor wird anschließend an die Render-Komponente R übergeben. Erst in dieser Render-Komponente wird die finale Platzierung der virtuellen Objekte 10 durchgeführt, was durch einen Vektor 24, der die einzubettenden Objekte 10 umfasst, realisiert wird. Außerdem werden der Render-Komponente R die originalen Objekte 26 des aufgenommenen Kamerabilds 20 übergeben. Mit anderen Worten sind die originalen Objekte 26 alle Objekte, die in dem aufgenommenen Kamerabild 20 als solche definiert werden können.
-
4 zeigt eine Struktur eines Generators gemäß einer dritten Variante. Bei dieser Variante lernt der Generator lediglich eine Vektorrepräsentation 28 des Raumes. Die einzubettende Aktion bzw. die einzubettenden virtuellen Objekte 10 wird bzw. werden an die Render-Komponente R übergeben. Zusammen mit dem Raumvektor 28 können die virtuellen Objekte 10 folglich auf das aktuell aufgenommene Kamerabild 20 projiziert werden.
-
5 zeigt einen schematischen Ablauf des Verfahrens gemäß dem Patentanspruch 1. Das Verfahren kann im Wesentlich durch vier Verfahrensschritte beschrieben werden. Ein Fahrzeug nimmt in einem ersten Schritt mittels mindestens einer Kamera ein Kamerabild 20 der Umgebung des Fahrzeugs auf. Dieses aufgenommene Kamerabild 20 wird einerseits an das Augmented Reality Net und andererseits an eine Head Unit H übergeben. Das Augmented Reality Net kann beispielsweise als bereits eingangs beschriebene GAN ausgebildet sein. Die Head Unit H kann beispielsweise durch einen Bordcomputer ausgebildet sein. Solche Bordcomputer sind im heutigen Fahrzeugbau bereits üblich.
-
In einem zweiten Schritt übergibt die Head Unit H das zuletzt aufgenommene Kamerabild 18, das zuletzt generierte Bild 16 sowie die einzubettenden virtuellen Objekte 10 an das Augmented Reality Net.
-
Anschließend wird in einem dritten Schritt von dem Augmented Reality Net die Positionierung der virtuellen Objekte 10 berechnet und an die Head Unit H als eigene Bildebene weitergegeben.
-
In einem letzten vierten Schritt wird von der Head Unit H das aufgenommene Kamerabild 20 mit dem Ergebnis des Augmented Reality Nets kombiniert, sodass ein generiertes Bild 12 entsteht. Auf welche Art und Weise dieser Schritt erfolgt, wurde in den 2, 3, 4 dargestellt.
-
Das Ergebnis ist ein Verfahren, bei dem mit besonders einfachen Mitteln ein generiertes Bild 12 generiert werden kann, bei dem die virtuellen Objekte 10 möglichst realitätsnah integriert werden konnten.
-
Bezugszeichenliste
-
- D
- Diskriminator
- G
- Generator
- H
- Head Unit
- I
- Input
- F
- FlowNet
- R
- Render-Komponente
- 10
- Virtuelle Objekte
- 12
- Generiertes Bild
- 14
- Echtes Bild
- 16
- Zuletzt generiertes Bild
- 18
- Zuletzt aufgenommenes Bild
- 20
- Aufgenommenes Kamerabild
- 22
- Optischer Fluss
- 24
- Vektor mit einzubettenden Objekten
- 26
- Originalobjekte
- 28
- Vektor des Raums
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011115739 A1 [0002]
