DE102020206940A1 - Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene - Google Patents

Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene Download PDF

Info

Publication number
DE102020206940A1
DE102020206940A1 DE102020206940.9A DE102020206940A DE102020206940A1 DE 102020206940 A1 DE102020206940 A1 DE 102020206940A1 DE 102020206940 A DE102020206940 A DE 102020206940A DE 102020206940 A1 DE102020206940 A1 DE 102020206940A1
Authority
DE
Germany
Prior art keywords
view
image
resolution
rendering
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020206940.9A
Other languages
English (en)
Inventor
Jose Domingo Esparza Garcia
Raphael Cano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020206940.9A priority Critical patent/DE102020206940A1/de
Publication of DE102020206940A1 publication Critical patent/DE102020206940A1/de
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

Es wird ein Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene vorgeschlagen, die eine Umgebung einer mobilen Plattform repräsentiert, mit den Schritten:
Bereitstellen einer Bildersequenz der Umgebung der mobilen Plattform, wobei ein jeweiliges Bild der Bildersequenz eine erste Bild-Auflösung aufweist;
Rendern einer ersten Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit einer hohen Ansicht-Auflösung mittels zumindest eines ersten Bildes der Bildersequenz mit der ersten Bild-Auflösung;
Bestimmen einer ersten Latenzzeit für das Rendern der ersten Ansicht, wobei eine Latenzzeit eine Dauer vom bereitgestellten Bild bis zu einer fertiggestellten gerenderten Ansicht der dreidimensionalen Szene angibt;
Rendern einer zweiten Ansicht der Ansichten-Sequenz der dreidimensionalen Szene mittels eines zweiten Bildes der Bildersequenz mit der ersten Bild-Auflösung, wobei die zweite Ansicht mit einer reduzierten Ansicht-Auflösung gerendert wird, sofern die erste Latenzzeit für das Rendern der ersten Ansicht eine festgelegte Dauer überschreitet.

Description

  • Stand der Technik
  • Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung.
  • Aktuell moderne Surround-Ansichtsfunktionen, die insbesondere auf Videobildern des Umfelds basieren, rendern eine Ansicht einer 3D-Szene, die mit Echtzeit-Videodaten abgebildet wird.
  • Das Ziel der aktuellen 3D-Surround-Sichtsysteme ist es, den Fahrer bei Manövern zu unterstützen, damit er im Gefahrenfall schnell reagieren kann. Heutzutage werden die Ansichten der Surround-View-Systeme mit einer GPU gerendert, um viele verschiedene Ansichten und moderne Animationen und Szenenübergänge erzeugen zu können. Diese GPUs sind typischerweise eingebettete Systeme mit begrenzten Ressourcen.
  • Offenbarung der Erfindung
  • Eine Latenzzeit für die Erstellung von Ansichten aus beispielsweise Videobildern ist daher ein wichtiger Aspekt, nicht nur um einen reibungslosen Videostrom zu generieren, sondern auch um die Bilder mit geringer Latenz zeigen zu können. Da Kunden noch detailliertere 3D-Modelle und komplexere Szenen in Kombination mit größeren Displays wünschen, kann dies zu einer Beschränkung bei der GPU-Verarbeitung von Ansichten einer Szene führen, was zu einer zeitlichen Begrenzung für das Rendern der Ansichten aufgrund der hohen Anzahl der Pixel und der resultierenden Anzahl von Fragmentoperationen pro Pixel, die auf dem Bildschirm gerendert werden, führt (GPU fragment bound genannt). Denn mit der Größe der Darstellung einer Ansicht auf einen Bildschirm erhöht sich auch die Anzahl von Pixeln und eine Berechnung der Ansichten erfordert eine sehr umfangreiche Berechnung von Werten für jedes Pixel bzw. jedes Fragment der Ansicht pro Zeiteinheit.
  • Gemäß Aspekten der Erfindung wird ein Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene, ein Verfahren zum Bereitstellen eines Steuersignals, eine Render-Vorrichtung, eine Verwendung des Verfahrens, ein Computerprogramm und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
  • In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
  • Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene vorgeschlagen, die eine Umgebung einer mobilen Plattform repräsentiert und die folgenden Schritte aufweist: In einem Schritt wird eine Bildersequenz der Umgebung der mobilen Plattform bereitgestellt, wobei ein jeweiliges Bild der Bildersequenz eine erste Bild-Auflösung aufweist. In einem weiteren Schritt wird eine erste Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit einer hohen Ansicht-Auflösung mittels zumindest eines ersten Bildes der Bildersequenz mit der ersten Bild-Auflösung gerendert. In einem weiteren Schritt wird eine erste Latenzzeit für das Rendern der ersten Ansicht bestimmt, wobei eine Latenzzeit eine Dauer vom bereitgestellten Bild bis zu einer fertiggestellten gerenderten Ansicht der dreidimensionalen Szene angibt. In einem weiteren Schritt wird eine zweite Ansicht der Ansichten-Sequenz der dreidimensionalen Szene mittels eines zweiten Bildes der Bildersequenz mit der ersten Bild-Auflösung gerendert, wobei die zweite Ansicht mit einer reduzierten Ansicht-Auflösung gerendert wird, sofern die erste Latenzzeit für das Rendern der ersten Ansicht eine festgelegte Dauer überschreitet.
  • Dabei bezeichnet das Rendern in der Computergrafik die Erzeugung bzw. eine Bildsynthese eines Bildes aus Rohdaten. Rohdaten können geometrische Beschreibungen im 2D oder 3D Raum, die auch Szene genannt wird, wie HTML, SVG etc. sein.
    Eine Szene ist ein virtuelles räumliches Modell, das Objekte und deren Materialeigenschaften, Lichtquellen, sowie die Position und Blickrichtung eines Betrachters definiert.
  • Beim Rendern müssen üblicherweise folgende Aufgaben gelöst werden:
    • • die Ermittlung der vom virtuellen Betrachter aus sichtbaren Objekte (Verdeckungsberechnung)
    • • die Simulation des Aussehens von Oberflächen, beeinflusst durch deren Materialeigenschaften (Shading)
    • • die Berechnung der Lichtverteilung innerhalb der Szene, die sich unter anderem durch die indirekte Beleuchtung zwischen Körpern äußert.
  • Das Merkmal, Bilder einer Bildersequenz der Umgebung der mobilen Plattform bereitzustellen, ist breit zu verstehen und umfasst eine Bereitstellung von optischen Kamerabildern, Videoaufnahmen oder anderen Darstellungen mittels anderer Abbildungsverfahren, die Strukturen des Umfelds charakterisieren, wie beispielsweise Aufnahmen mit einem RADAR-System und/oder einem LIDAR und/oder einem Ultraschall-System.
  • Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
  • Mit diesem Verfahren kann eine dynamische Verbesserung eines Surround View Systems (SVS) während der Laufzeit erreicht werden, da die Ansichten mit einer der jeweiligen Ansicht adaptierten unterschiedlichen Auflösung innerhalb einer Latenzzeit gerendert werden können, wobei die Latenzzeit unterhalb einer festgelegten Dauer liegt.
    Insbesondere kann mit diesem Verfahren die Latenzzeit für das Erstellen der Ansichten verbessert werden, wenn eine bestimmte Ansicht viele Berechnungsschritte für das Rendern der Ansicht erfordert, indem die Ansicht-Auflösung reduziert wird. Das Verfahren kann mit der hohen Ansicht-Auflösung weitere Ansichten rendern, sobald die Latenzzeit wieder unter der festgelegten Dauer bestimmt wird.
  • Mit anderen Worten rendert das Verfahren unterschiedlich komplexe Ansichten, die gegebenenfalls eine zu große Latenzzeit zur Folge hätten mit einer kleineren Auflösung, wobei in einem anschließenden Schritt des Verfahrens beispielsweise mittels eines Hardware Beschleunigers, z.B. als Bildprozessor- oder FPGA-Implementierung, eine Hochskalierung durchgeführt werden kann. Dabei bleibt eine Auflösung einer wenig komplexen zu rendernden Ansichten unverändert hoch, also ohne eine Verschlechterung der Bildqualität.
  • Alternativ kann die Hochskalierung auch mittels einer GPU (Graphical Processor Unit) durchgeführt werden, die auch für das Rendern verwendet wird.
  • Die jeweils aktuelle (Frame-) Latenzzeit wird jeweils während des Renderns, beispielsweise von einem Rendering-Thread kontinuierlich überwacht.
  • Wenn diese aktuelle (Frame-) Latenzzeit einen bestimmten Schwellenwert, also die festgelegte Dauer, überschreitet, wird ein Feedback zur Berechnung von verschiedenen virtuellen Kameras bzw. Videos ausgegeben, die die aktuelle komplexe Szene zusammensetzen, wobei diese die entsprechende (Ziel-) Auflösung um ein festgelegtes Verhältnis reduzieren.
  • Dieses festgelegte Verhältnis kann abhängig von der aktuell aktivierten bzw. gewählten Ansicht konfiguriert werden. Bestimmte Ansichten mit geringerer Komplexität können auf 10% reduziert werden, andere z.B. auf 25%.
  • Dieses Verhältnis kann dann an einen „Upscaler“ weitergeleitet werden, der die entsprechende Hochskalierung vornimmt, um das endgültige Bild mit der festgelegten Ausgangs-Größe für die Ansicht zu erzeugen.
  • Für das Hochskalieren kann der Upscaler entsprechend aktiviert werden, wobei ein Upscaling-Faktor, der ein Ausmaß der Hochskalierung vorgibt, über eine entsprechende Schnittstelle an den Upscaler übergeben werden kann.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die Ansicht der dreidimensionalen Szene eine Surround-Darstellung ist und/oder die Ansicht mittels einer Vielzahl von Bildern der Bildersequenz gerendert wird und/oder die Bilder der Bildersequenz mittels einer Mehrzahl von bildgebenden Systemen generiert werden.
    Durch eine Verwendung einer Mehrzahl von bildgebenden Systemen, wie beispielsweise Kamera-Systemen und/oder Video-Systemen und/oder Radar-System und/oder Lidar-Systemen und/oder Ultraschallsystemen, jeweils mit einer Vielzahl von Bildern können komplexe Ansichten einer dreidimensionalen Szene einer Umgebung der mobilen Plattform generiert werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene die weiteren Schritte aufweist:
    • In einem weiteren Schritt wird eine dritte Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines dritten Bildes der Bildersequenz mit der ersten Bild-Auflösung gerendert, wenn nach dem ersten Überschreiten der festgelegten Dauer für die erste Latenzzeit ein festgelegtes Zeitintervall verstrichen ist.
    • Das Zurückkehren zu der hohen Ansicht-Auflösung führt vorteilhafterweise dazu, dass die verringerte Ansicht-Auflösung nur so lange wie notwendig aufrechterhalten wird. Sobald, durch ein Zurückkehren des Renderns der Ansicht mit der hohen Ansicht-Auflösung nach dem festgelegten Zeitintervall, die entsprechende resultierende Latenzzeit bestimmt werden kann, kann bestimmt werden, ob das Rendern einer aktuellen Ansicht mit der hohen Ansicht-Auflösung fortgesetzt werden kann.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene die weiteren Schritte aufweist:
    • In einem weiteren Schritt wird eine vierte Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines vierten Bildes der Bildersequenz mit der ersten Bild-Auflösung gerendert, wenn die vierte Ansicht eine von der zweiten Ansicht verschiedene Perspektive auf die dreidimensionale Szene der Umgebung der mobilen Plattform rendert. Vorteilhafterweise können durch die Rückkehr zum Rendern der Ansicht mit der hohen Ansicht-Auflösung beim Wechsel der Perspektive schon vorzeitig, d. h. ohne dass festgelegte Zeitintervall abzuwarten, Ansichten mit der hohen Ansicht-Auflösung gerendert werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene die weiteren Schritte aufweist:
    • In einem weiteren Schritt wird eine fünfte Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines fünften Bildes der Bildersequenz mit der ersten Bild-Auflösung gerendert, wenn die fünfte Ansicht eine definierte Ansicht-Perspektive einer Mehrzahl von definierten Ansicht-Perspektiven der dreidimensionalen Szene der Umgebung der mobilen Plattform rendert.
    • Vorteilhafterweise können, durch die Rückkehr zum Rendern der Ansicht mit der hohen Ansicht-Auflösung beim Wechsel in definierte Ansicht-Perspektiven, schon vorzeitig Ansichten mit der hohen Ansicht-Auflösung gerendert werden, da von einigen definierten Ansicht-Perspektiven bekannt ist, dass der Berechnungsaufwand für das Rendern nicht besonders hoch ist, wodurch die Latenzzeit voraussichtlich unterhalb der festgelegten Dauer liegt.
  • Mit anderen Worten kann das Verfahren, das den Upscaler für eine bestimmte Ansicht einer Szene der Umgebung der mobilen Plattform aktiviert hat, diesen Upscaling-Modus unter folgender Bedingung wieder zurücksetzen:
    • Der Upscaling-Modus und das Rendern mit geringerer Auflösung bleibt für ein festgelegtes Zeitintervall, das konfigurierbar ist, aktiv. Nach Ablauf dieses festgelegten Zeitintervalls oder einer vordefinierten Anzahl von Bildern, wird der normale Modus wieder aktiviert, das Verfahren wird also mit der hohen Ansicht-Auflösung fortgesetzt, wobei die Latenzzeit bestimmt wird, um zu prüfen ob sie unterhalb der festgelegten Dauer liegt. Sofern die Latenzzeit unterhalb der festgelegten Dauer liegt, kann die Stufe mit dem Upscaler, zum Hochskalieren der jeweiligen Ansicht, umgangen werden. Im anderen Fall wird die nächste Ansicht mit der reduzierten Ansicht-Auflösung gerendert und die Ansicht entsprechend hochskaliert. Insbesondere kann die Verminderung der Ansicht-Auflösung beim Wechsel zu bestimmten Ansichten deaktiviert werden, wenn bekannt ist, dass dabei typischerweise die Latenzzeit unterhalb der festgelegten Dauer liegt.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene die weiteren Schritte aufweist:
    • Verfahren (200) gemäß Anspruch 1, mit den weiteren Schritten:
      • In einem weiteren Schritt wird zumindest ein synthetischer Bildbereich mit der hohen Ansicht-Auflösung gerendert und in einem weiteren Schritt wird eine sechste Ansicht aus der gerenderten Ansicht mit reduzierter Ansicht-Auflösung und dem zumindest einen synthetischen Bildbereich mit der hohen Ansicht-Auflösung gebildet.
  • Dabei kann der zumindest eine synthetische Bildbereich Ansichten und/oder Aufsichten und/oder Zusatzinformationen der Umgebung der mobilen Plattform aufweisen. Beispielsweise kann in diesem synthetischen Bildbereich eine Aufsicht auf das Fahrzeug wiedergegeben werden und die Umgebung des Fahrzeugs in Bezug auf vorhandene Hindernisse farblich markiert werden.
  • Vorteilhafterweise kann entsprechend diesem Aspekt des Verfahrens ein synthetischer Bildbereich in einer Ansicht mit reduzierter Auflösung so wiedergegeben werden, dass die Qualität des synthetischen Bildbereichs in der finalen Ansicht eine ausreichende Qualität aufweist, auch wenn der synthetische Bildbereich in der finalen Ansicht nur einen kleinen Flächenbereich einnimmt.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene die weiteren Schritte aufweist:
    • In einem weiteren Schritt wird eine Bandbreite eines Kommunikationssystems der mobilen Plattform bestimmt. In einem weiteren Schritt wird eine sechste Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines sechsten Bildes der Bildersequenz mit der ersten Auflösung gerendert, wenn die bestimmte Bandbreite des Kommunikationssystems eine minimale Bandbreite überschreitet.
    • Da die Latenzzeit in einem Gesamtsystem zum Rendern von Ansichten auch von der Bandbreite des Kommunikationssystems abhängen kann, können für diesen Fall, dass die vorher limitierte Bandbreite wieder ausreichend für das Rendern ist, vorzeitig wieder Ansichten mit der hohen Ansicht-Auflösung gerendert werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die bereitgestellte Bildersequenz der Umgebung der mobilen Plattform mit jeweiligen Bildern bereitgestellt wird, die eine zweite Bild-Auflösung aufweisen, solange die erste Latenzzeit die festgelegte Dauer überschreitet, wobei die zweite Bild-Auflösung kleiner ist als die erste Bild-Auflösung.
  • Um die Bilder mit der zweiten Bild-Auflösung, die kleiner ist als die erste Bild-Auflösung bereitzustellen, kann an die technischen bildgebenden Systeme, wie beispielsweise Kamera- oder Videosysteme, die die Bilder der Bildersequenz generieren, ein Signal gesendet werden, das die technischen bildgebenden Systeme veranlasst, die Bilder mit einer geringeren Auflösung zu generieren bzw. mit einer geringeren Auflösung dem Verfahren bereitzustellen.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die gerenderte Ansicht mit reduzierter Auflösung hochskaliert wird, um die Ansicht mit reduzierter Ansicht-Auflösung in einer Bildschirm-Größe wiederzugeben, die einer Bildschirm-Größe einer Ansicht mit hoher Ansicht-Auflösung entspricht.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Hochskalieren der gerenderten Ansicht mit reduzierter Ansicht-Auflösung mittels eines Interpolationsverfahrens durchgeführt wird.
    Mit einem Interpolationsverfahren kann das Hochskalieren der gerenderten Ansicht mit reduzierter Ansicht-Auflösung besonders einfach und schnell durchgeführt werden.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das Hochskalieren der gerenderten Ansicht mittels eines Hardware-Beschleunigers durchgeführt wird.
    Ein solcher Hardware-Beschleuniger kann beispielsweise ein externes IP-Design-System on Chip, ein Bildprozessor- oder eine FPGA-Implementierung sein.
  • Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einer, entsprechend einem der oben beschriebenen Verfahren, gerenderten Ansicht, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird und/oder basierend auf der gerenderten Ansicht ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
  • Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einer gerenderten Ansicht, bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass die gerenderte Ansicht für eine jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals.
  • Gemäß einem Aspekt wird eine Render-Vorrichtung vorgeschlagen, die eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen. Mit einer solchen Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.
  • Es wird eine Verwendung eines der oben beschriebenen Verfahren zum Rendern von Ansichten dreidimensionaler Szenen einer Umgebung einer mobilen Plattform innerhalb einer Latenzzeit vorgeschlagen, wobei die Latenzzeit unterhalb einer festgelegten Dauer liegt.
  • Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
  • Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.
  • Figurenliste
  • Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 2 dargestellt und im Folgenden näher erläutert. Es zeigen:
    • 1 ein Diagramm zur Änderung der Latenzzeit beim Wechsel von Ansichten; und
    • 2 ein Datenfluss-Diagramm einer Rendering-Pipeline.
  • In der 1 ist ein Diagramm 100 skizziert, das mit der Kurve 110 eine Frame-Latenz-Zeit T über einer Darstellungs-Zeit t darstellt. Dabei ist zu erkennen, dass die in diesem Fall typische Frame-Latenz-Zeit von ca. 60ms bei gewissen Ansichten, wie beispielsweise der Ansicht 120, deutlich länger ist und dann auch stark variiert.
  • Die 2 skizziert mit einem Datenfluss-Diagramm 200 eine Rendering-Pipeline zur Beschreibung des Verfahrens zum Rendern einer Ansicht einer dreidimensionalen Szene, die eine Umgebung einer mobilen Plattform repräsentiert.
  • Es werden Bilder einer Bildersequenz der Umgebung der mobilen Plattform bereitgestellt S1, wobei ein jeweiliges Bild der Bildersequenz eine erste Bild-Auflösung aufweist.
  • In einem weiteren Schritt S2 wird eine erste Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit einer hohen Ansicht-Auflösung 212 mittels zumindest eines ersten Bildes der Bildersequenz mit der ersten Bild-Auflösung gerendert, um die Ansicht mit hoher Ansicht-Auflösung 212 in einer Bildschirm-Größe wiederzugeben S6. In einem weiteren Schritt S3 wird eine erste Latenzzeit für das Rendern der ersten Ansicht bestimmt, wobei eine Latenzzeit eine Dauer vom bereitgestellten Bild bis zu einer fertiggestellten gerenderten Ansicht der dreidimensionalen Szene angibt. In einem weiteren Schritt S4 wird eine zweite Ansicht der Ansichten-Sequenz der dreidimensionalen Szene mittels eines zweiten Bildes der Bildersequenz mit der ersten Bild-Auflösung gerendert, wobei die zweite Ansicht 214 mit einer reduzierten Ansicht-Auflösung gerendert wird, sofern die erste Latenzzeit für das Rendern der ersten Ansicht eine festgelegte Dauer überschreitet. Insbesondere wenn eine zweite bestimmte Latenzzeit eine zweite festgelegte Dauer überschreitet, kann eine weiter reduzierte Ansicht 216 gerendert werden, die eine weiter reduzierte Ansicht-Auflösung aufweist, wobei die zweite festgelegte Dauer länger ist als die festgelegte Dauer.
  • In einem weiteren Schritt S5 wird die gerenderte Ansicht mit reduzierter Auflösung 214, oder mit weiter reduzierter Auflösung 216 hochskaliert, um die Ansicht mit reduzierter Auflösung in einer Bildschirm-Größe wiederzugeben S6, die einer Bildschirm-Größe einer Ansicht mit hoher Auflösung entspricht.

Claims (15)

  1. Verfahren (200) zum Rendern einer Ansicht einer dreidimensionalen Szene, die eine Umgebung einer mobilen Plattform repräsentiert, mit den Schritten: Bereitstellen einer Bildersequenz (S1) der Umgebung der mobilen Plattform, wobei ein jeweiliges Bild der Bildersequenz eine erste Bild-Auflösung aufweist; Rendern einer ersten Ansicht einer Ansichten-Sequenz (S2) der dreidimensionalen Szene mit einer hohen Ansicht-Auflösung (212) mittels zumindest eines ersten Bildes der Bildersequenz mit der ersten Bild-Auflösung; Bestimmen einer ersten Latenzzeit (S3) für das Rendern der ersten Ansicht, wobei eine Latenzzeit eine Dauer vom bereitgestellten Bild bis zu einer fertiggestellten gerenderten Ansicht der dreidimensionalen Szene angibt; Rendern einer zweiten Ansicht der Ansichten-Sequenz (S4) der dreidimensionalen Szene mittels eines zweiten Bildes der Bildersequenz mit der ersten Bild-Auflösung, wobei die zweite Ansicht mit einer reduzierten Ansicht-Auflösung (214, 216) gerendert wird, sofern die erste Latenzzeit für das Rendern der ersten Ansicht eine festgelegte Dauer überschreitet.
  2. Verfahren (200) gemäß Anspruch 1, wobei die Ansicht der dreidimensionalen Szene eine Surround-Darstellung ist und/oder die Ansicht mittels einer Vielzahl von Bildern der Bildersequenz gerendert wird und/oder die Bilder der Bildersequenz mittels einer Mehrzahl von bildgebenden Systemen generiert werden.
  3. Verfahren (200) gemäß Anspruch 1 oder 2, mit den weiteren Schritten: Rendern einer dritten Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines dritten Bildes der Bildersequenz mit der ersten Bild-Auflösung, wenn nach dem ersten Überschreiten der festgelegten Dauer für die erste Latenzzeit ein festgelegtes Zeitintervall verstrichen ist.
  4. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, mit den weiteren Schritten: Rendern einer vierten Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines vierten Bildes der Bildersequenz mit der ersten Bild-Auflösung, wenn die vierte Ansicht eine von der zweiten Ansicht verschiedene Perspektive auf die dreidimensionale Szene der Umgebung der mobilen Plattform rendert.
  5. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, mit den weiteren Schritten: Rendern einer fünften Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines fünften Bildes der Bildersequenz mit der ersten Bild-Auflösung, wenn die fünfte Ansicht eine definierte Ansicht-Perspektive einer Mehrzahl von definierten Ansicht-Perspektiven der dreidimensionalen Szene der Umgebung der mobilen Plattform rendert.
  6. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, mit den weiteren Schritten: Rendern zumindest eines synthetischen Bildbereichs mit der hohen Ansicht-Auflösung; und Bilden einer sechsten Ansicht aus der gerenderten Ansicht mit reduzierter Ansicht-Auflösung und dem zumindest einen synthetischen Bildbereich mit der hohen Ansicht-Auflösung.
  7. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, mit den weiteren Schritten: Bestimmen einer Bandbreite eines Kommunikationssystems der mobilen Plattform; Rendern einer sechsten Ansicht einer Ansichten-Sequenz der dreidimensionalen Szene mit der hohen Ansicht-Auflösung mittels zumindest eines sechsten Bildes der Bildersequenz mit der ersten Auflösung, wenn die bestimmte Bandbreite des Kommunikationssystems eine minimale Bandbreite überschreitet.
  8. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei die bereitgestellte Bildersequenz der Umgebung der mobilen Plattform mit jeweiligen Bildern bereitgestellt wird, die eine zweite Bild-Auflösung aufweisen solange die erste Latenzzeit die festgelegte Dauer überschreitet, wobei die zweite Bild-Auflösung kleiner ist als die erste Bild-Auflösung.
  9. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei die gerenderte Ansicht mit reduzierter Auflösung hochskaliert wird (S5), um die Ansicht mit reduzierter Ansicht-Auflösung (214, 216) in einer Bildschirm-Größe wiederzugeben, die einer Bildschirm-Größe einer Ansicht mit hoher Ansicht-Auflösung (212) entspricht.
  10. Verfahren (200) gemäß Anspruch 9, wobei das Hochskalieren (S5) der gerenderten Ansicht mit reduzierter Ansicht-Auflösung (214, 216) mittels eines Interpolationsverfahrens durchgeführt wird.
  11. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, wobei, basierend auf der gerenderten Ansicht, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf der gerenderten Ansicht ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
  12. Render-Vorrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
  13. Verwendung eines Verfahrens gemäß einem der Ansprüche 1 bis 11 zum Rendern von Ansichten dreidimensionaler Szenen einer Umgebung einer mobilen Plattform innerhalb einer Latenzzeit, die unterhalb einer festgelegten Dauer liegt.
  14. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
  15. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.
DE102020206940.9A 2020-06-03 2020-06-03 Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene Pending DE102020206940A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020206940.9A DE102020206940A1 (de) 2020-06-03 2020-06-03 Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020206940.9A DE102020206940A1 (de) 2020-06-03 2020-06-03 Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene

Publications (1)

Publication Number Publication Date
DE102020206940A1 true DE102020206940A1 (de) 2021-12-09

Family

ID=78605071

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020206940.9A Pending DE102020206940A1 (de) 2020-06-03 2020-06-03 Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene

Country Status (1)

Country Link
DE (1) DE102020206940A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853678A (zh) * 2024-03-08 2024-04-09 陕西天润科技股份有限公司 基于多源遥感进行地理空间数据三维实体化改造的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190051026A1 (en) 2017-08-11 2019-02-14 Microsoft Technology Licensing, Llc Techniques for providing dynamic multi-layer rendering in graphics processing
US20200058152A1 (en) 2017-04-28 2020-02-20 Apple Inc. Video pipeline
US20200132822A1 (en) 2018-10-29 2020-04-30 Dji Technology, Inc. User interface for displaying point clouds generated by a lidar device on a uav

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200058152A1 (en) 2017-04-28 2020-02-20 Apple Inc. Video pipeline
US20190051026A1 (en) 2017-08-11 2019-02-14 Microsoft Technology Licensing, Llc Techniques for providing dynamic multi-layer rendering in graphics processing
US20200132822A1 (en) 2018-10-29 2020-04-30 Dji Technology, Inc. User interface for displaying point clouds generated by a lidar device on a uav

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853678A (zh) * 2024-03-08 2024-04-09 陕西天润科技股份有限公司 基于多源遥感进行地理空间数据三维实体化改造的方法
CN117853678B (zh) * 2024-03-08 2024-05-17 陕西天润科技股份有限公司 基于多源遥感进行地理空间数据三维实体化改造的方法

Similar Documents

Publication Publication Date Title
EP2406769B1 (de) Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder
DE102014222617A1 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE112004002391B4 (de) Räumlich-zeitliche Erzeugung von Bewegungsunschärfe
DE102021131176A1 (de) Transformieren von Sensordaten zum Trainieren von Modellen, die mit verschiedenen Sensorkonfigurationen verwendet werden
DE102016124978A1 (de) Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
EP3803679A1 (de) Betriebsassistenzverfahren, steuereinheit, betriebsassistenzsystem und arbeitsvorrichtung
DE102019208338B4 (de) Rundumsicht-überwachungssystem und verfahren zum betrieb davon
DE102014114221A1 (de) Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102020206940A1 (de) Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene
DE112017004391T5 (de) Bilderzeugungsvorrichtung, Bilderzeugungsverfahren, Aufzeichungsmedium und Bildanzeigesystem
DE102019116834A1 (de) Augmentierte Fotoaufnahme
EP2951787A1 (de) Verfahren und vorrichtung zum verarbeiten von 3d-bilddaten
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
EP3427224A1 (de) Verfahren, head-up-display und ausgabesystem zum perspektivischen transformieren und ausgeben eines bildinhalts sowie fahrzeug
DE112014007163T5 (de) Anzeigensteuergerät und Informationsanzeigegerät
WO2019072466A1 (de) Verfahren zur darstellung von bildern eines kamerasystems eines fahrzeugs
EP3685352B1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung
DE102017104957A1 (de) Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102005002636A1 (de) Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems
DE102019106297A1 (de) Fahrzeugumgebungsanzeigesystem und Anzeigesteuervorrichtung
DE102019207415A1 (de) Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
DE102017114611A1 (de) Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
DE102017218405A1 (de) Verfahren zum Verarbeiten von Bildern
DE102010044112A1 (de) Fluchtpunktbestimmungsvorrichtung und Fluchtpunktbestimmungsprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed