DE112020003788T5 - Peripheres-Video-Erzeugungsvorrichtung, Verfahren zur Erzeugung peripherer Videos, und Programm - Google Patents

Peripheres-Video-Erzeugungsvorrichtung, Verfahren zur Erzeugung peripherer Videos, und Programm Download PDF

Info

Publication number
DE112020003788T5
DE112020003788T5 DE112020003788.6T DE112020003788T DE112020003788T5 DE 112020003788 T5 DE112020003788 T5 DE 112020003788T5 DE 112020003788 T DE112020003788 T DE 112020003788T DE 112020003788 T5 DE112020003788 T5 DE 112020003788T5
Authority
DE
Germany
Prior art keywords
video
peripheral
shielded area
unit
dimensional shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020003788.6T
Other languages
English (en)
Inventor
Takahiro Koguchi
Yousuke Hattori
Yusuke SEKIKAWA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE112020003788T5 publication Critical patent/DE112020003788T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Peripheres-Video-Erzeugungsvorrichtung (1) beinhaltet: eine Videoeingabeeinheit (10), die periphere Videodaten eingibt, die von einer Mehrzahl von Kameras (20) aufgenommen werden; eine Videozusammensetzungseinheit (12), welche die peripheren Videodaten zusammensetzt, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet wird; eine Dreidimensionale-Form-Schätzeinheit (13), die eine dreidimensionale Form eines peripheren Objekts basierend auf den peripheren Videodaten schätzt; einer Abschirmbereich-Schätzeinheit (14), die ein Schätzergebnis der dreidimensionalen Form verwendet, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar ist; eine Inferenzeinheit (15), die ein Video des abgeschirmten Bereichs durch Verwendung von Deep-Learning herleitet; und eine Videoüberlagerungseinheit (16), die das von der Inferenzeinheit hergeleitete Video dem abgeschirmten Bereich in dem zusammengesetzten Video überlagert.

Description

  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft eine Peripheres-Video-Erzeugungsvorrichtung, ein Verfahren zur Erzeugung peripherer Videos, und ein Programm.
  • Verweis zu in Beziehung stehender Anmeldung
  • Diese Anmeldung basiert auf der früherer eingereichten japanischen Patentanmeldung Nr. 2019-147985 , die am 9. August 2019 in Japan eingereicht wurde, und beansprucht deren Priorität; auf den dortigen gesamten Inhalt wird hier vollinhaltlich Bezug genommen.
  • Stand der Technik
  • Es gibt konventionelle bekannte Vorrichtungen, die einem Fahrer ein von einer in einem Fahrzeug montierten Kamera aufgenommenes Video bereitstellen, um es ihm/ihr zu ermöglichen, die Bedingungen um die Peripherie bzw. Umgebung des Fahrzeugs herum zu erkennen. Zum Beispiel offenbart PTL 1 eine Erfindung einer Peripheres-Video-Erzeugungsvorrichtung, die Videos, die von Kameras aufgenommen werden, die an den vorderen, hinteren, linken und rechten Teil eines Fahrzeugs installiert sind, in eine Draufsichtform korrigiert und das Draufsichtvideo für den Fahrer bereitstellt.
  • Patentliteratur
  • [PTL 1] JP 2012-514558 A
  • Zusammenfassung der Erfindung
  • Wenn ein Versuch unternommen wird, mehrere Meter oder mehr von Bereichen in einem Draufsichtvideo wie zuvor beschrieben zusammenzusetzen, sieht ein Bereich, der durch ein Objekt abgeschirmt ist, das um die Peripherie des Fahrzeugs herum vorhanden ist, verzerrt aus, so dass es mit zunehmender Nähe zu den Enden des Bildschirms schwieriger wird, die Bedingungen in dem abgeschirmten Bereich intuitiv aus dem Video zu erfassen.
  • Im Hinblick auf die zuvor beschriebenen Umfänge ist es eine Aufgabe der vorliegenden Offenbarung, eine Peripheres-Video-Erzeugungsvorrichtung bereitzustellen, die in der Lage ist, ein peripheres Video zu erzeugen, das unabhängig von der Anwesenheit oder Abwesenheit eines Objekts natürlicher erscheint.
  • Um das vorstehende Problem zu lösen, übernimmt die vorliegende Offenbarung die nachfolgend beschriebenen technischen Einheiten. Die in den Ansprüchen beschriebenen eingeklammerten Bezugszeichen zeigen beispielhaft Entsprechungen mit spezifischen Einheiten, die später in Bezug auf ein Ausführungsbeispiel als ein Modus der vorliegenden Offenbarung beschrieben werden, und sollen den technischen Umfang der vorliegenden Offenbarung nicht einschränken.
  • Eine Peripheres-Video-Erzeugungsvorrichtung gemäß der vorliegenden Offenbarung beinhaltet: eine Videoeingabeeinheit, die periphere Videodaten eingibt, die von einer Mehrzahl von Kameras aufgenommen werden; eine Videozusammensetzungseinheit, welche die peripheren Videodaten zusammensetzt, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet wird; eine Dreidimensionale-Form-Schätzeinheit, die eine dreidimensionale Form eines peripheren Objekts basierend auf den peripheren Videodaten schätzt; eine Abschirmbereich-Schätzeinheit, die ein Schätzergebnis der dreidimensionalen Form verwendet, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar; eine Inferenzeinheit, die ein Video des abgeschirmten Bereichs durch Verwendung von Deep-Learning herleitet; und eine Videoüberlagerungseinheit, die das von der Inferenzeinheit hergeleitete Video dem abgeschirmten Bereich in dem zusammengesetzten Video überlagert. Die Dreidimensionale-Form-Schätzeinheit kann die dreidimensionale Form basierend auf Erfassungsdaten schätzen, die durch einen Abstandssensor erfasst werden.
  • Vorteilhafte Effekte der Erfindung
  • Gemäß der vorliegenden Offenbarung ist es möglich, sogar ein Video eines Bereichs anzuzeigen, der durch ein peripheres Objekt abgeschirmt ist, ohne ein unnatürliches Erscheinungsbild zu erzeugen.
  • Figurenliste
    • 1 ist ein Diagramm, das eine Konfiguration einer Peripheres-Video-Erzeugungsvorrichtung in einem ersten Ausführungsbeispiel darstellt.
    • 2 ist ein Diagramm, das eine Konfiguration eines Generative Adversarial Network (GAN) darstellt.
    • 3 ist ein Diagramm, das Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung in dem ersten Ausführungsbeispiel darstellt.
    • 4 ist ein Diagramm, das eine Konfiguration einer Peripheres-Video-Erzeugungsvorrichtung in einem zweiten Ausführungsbeispiel darstellt.
    • 5 ist ein Diagramm, das Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung in dem zweiten Ausführungsbeispiel darstellt.
    • 6 ist ein Diagramm, das eine Konfiguration einer Peripheres-Video-Erzeugungsvorrichtung in einem dritten Ausführungsbeispiel darstellt.
    • 7 ist ein Diagramm, das Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung in dem dritten Ausführungsbeispiel darstellt.
  • Beschreibung der Ausführungsbeispiele
  • Im Folgenden werden Peripheres-Video-Erzeugungsvorrichtung en in Ausführungsbeispielen der vorliegenden Offenbarung in Bezug auf die Zeichnungen beschrieben. Die Peripheres-Video-Erzeugungsvorrichtungen in den nachstehend beschriebenen Ausführungsbeispielen sind jeweils in einem Fahrzeug montiert und werden verwendet, um ein Draufsichtvideo der Peripherie des Fahrzeugs zu erzeugen und anzuzeigen. Die Ausführungsbeispiele werden in Bezug auf eine Szene als ein Beispiel beschrieben, in der ein peripheres Video auf einem Parkplatz erzeugt wird. Die Verwendungsanwendungen der Peripheres-Video-Erzeugungsvorrichtungen in der vorliegenden Offenbarung sind jedoch nicht auf Fahrzeuge beschränkt, sondern können auch andere sein.
  • Erstes Ausführungsbeispiel
  • 1 ist ein Diagramm, das eine Konfiguration einer Peripheres-Video-Erzeugungsvorrichtung 1 in einem ersten Ausführungsbeispiel darstellt. Die Peripheres-Video-Erzeugungsvorrichtung 1 ist mit vier Kameras 20 und einer in einem Fahrzeug montierten Anzeige 21 verbunden. Die vier Kameras 20 sind Kameras 20, die jeweilige Videos der vorderen, hinteren, linken und rechten Seite des Fahrzeugs aufnehmen. Die Anzeige 21 kann auch als Anzeige 21 einer Navigationsvorrichtung fungieren und die von den Kameras 20 aufgenommenen Videos anzeigen.
  • Die Peripheres-Video-Erzeugungsvorrichtung 1 weist auf: eine Videoeingabeeinheit 10, die periphere Videodaten eingibt, die von den vier Kameras 20 aufgenommen werden; eine Videoverarbeitungseinheit 11, welche die peripheren Videodaten verarbeitet, die in die Videoeingabeeinheit 10 eingegeben werden, um ein Draufsichtvideo zu erzeugen; eine Videoausgabeeinheit 17, die das Draufsichtvideo ausgibt; einen Speicher 18; und eine Leistungsquelleneinheit 19. Die Videoausgabeeinheit 17 überträgt die Videodaten an die Anzeige 21.
  • Die Videoverarbeitungseinheit 11 weist auf: eine Videozusammensetzungseinheit 12, welche die peripheren Videodaten zusammensetzt, um ein Draufsichtvideo zu erzeugen, wie es von oberhalb des Fahrzeugs aus betrachtet wird; eine Dreidimensionale-Form-Schätzeinheit 13, die eine dreidimensionale Form eines peripheren Objekts basierend auf den peripheren Videodaten schätzt; eine Abschirmbereich-Schätzeinheit 14, die ein Schätzergebnis der dreidimensionalen Form verwendet, um einen abgeschirmten Bereich zu schätzen, der von einem vorgegebenen Blickpunkt in dem Draufsichtvideo nicht sichtbar ist; eine Inferenzeinheit 15, die ein Video des abgeschirmten Bereichs durch Verwendung von Deep-Learning herleitet; und eine Videoüberlagerungseinheit 16, die das von der Inferenzeinheit hergeleitete Video dem abgeschirmten Bereich in dem zusammengesetzten Video überlagert.
  • Die Videozusammensetzungseinheit 12 setzt die von den vier Kameras 20 in die Videoeingabeeinheit 10 eingegebenen Videodaten zusammen, um das Draufsichtvideo zu erzeugen. Eine offiziell bekannte Technik, wie beispielsweise in PTL 1 beschrieben, kann für die Videozusammensetzungseinheit 12 verwendet werden.
  • Die Dreidimensionale-Form-Schätzeinheit 13 verwendet eine Structure-from-Motion(SfM)-Technik an den Videodaten, die von den Kameras 20 in die Videoeingabeeinheit 10 eingegeben werden, um die dreidimensionale Form eines in dem Video gesehenen Objekts zu schätzen. Die SfM-Technik wird zum Beispiel von Kazuo Oda in „Commentary on Structure from Motion (SfM), First Discussion: Overview of SfM and Bundle Adjustment“, Photogrammetry and Remote Sensing, Vol. 3, No. 55, Nr. 3, beschrieben. Die Dreidimensionale-Form-Schätzeinheit 13 überlagert die Schätzergebnisse basierend auf den Videodaten von den Kameras 20, um die dreidimensionale Form eines Objekts zu schätzen, das um die Peripherie des Fahrzeugs herum vorhanden ist.
  • Die Abschirmbereich-Schätzeinheit 14 verwendet Informationen über die geschätzte dreidimensionale Form des Objekts, um einen abgeschirmten Bereich zu schätzen, der durch das Objekt in dem Draufsichtvideo abgeschirmt und unsichtbar gemacht wird, und maskiert den abgeschirmten Bereich.
  • Die Inferenzeinheit 15 leitet ein Video des abgeschirmten Bereichs durch Verwendung eines Generators her, der durch Deep Learning erstellt wird. In dem vorliegenden Ausführungsbeispiel wird ein Generative Adversarial Network (GAN; erzeugendes gegnerisches Netzwerk) für Deep Learning verwendet.
  • 2 ist ein Diagramm, das ein GAN beschreibt. Das GAN enthält einen Generator (im Folgenden auch „G“ genannt) und einen Diskriminator (im Folgenden auch „D“ genannt). Der Generator G ist ein neuronales Netzwerkmodell, das ein Bild mit der Absicht erzeugt, den Diskriminator D zu täuschen. Der Diskriminator D ist ein neuronales Netzwerkmodell, das zwischen dem durch den Generator G erzeugten Bild (falsche Daten) und einem korrekten Bild (wahre Daten) unterscheidet. In dem GAN werden der Generator G und der Diskriminator D abwechselnd einem Lernprozess unterzogen. Zuerst wird das Lernen des Generators G beschrieben. Ein Vektor Z wird abgetastet und dem Generator G zugeführt, um ein Bild (falsche Daten) auszugeben. Das Bild wird dem Diskriminator D zugeführt, um zu bestimmen, ob das Bild wahr oder falsch ist. Der Generator G wird einem Lernprozess unterzogen, wobei die Parameter des Generators G aktualisiert werden, so dass der Diskriminator D das Bild als wahr erkennt. Dadurch kann der Generator G ein Bild zum Täuschen des Diskriminators D erzeugen.
  • Dann werden die Parameter des Generators G festgelegt und der Diskriminator D wird einem Lernprozess unterzogen. Die Parameter des Diskriminators D werden so aktualisiert, dass ein großer Unterschied in der Ausgabe besteht, wenn dem Diskriminator D Trainingsdaten (wahre Daten) zugeführt werden und wenn dem Diskriminator D ein von dem Generator G erzeugtes Bild zugeführt wird (falsche Daten). Dadurch kann der Diskriminator D das von dem Generator G erzeugte Bild (falsche Daten) unterscheiden
  • Das abwechselnde Wiederholen des Lernens des Generators G und des Lernens des Diskriminators D ermöglicht es dem Generator G, ein Bild zu erzeugen, das einem Wahren nahekommt.
  • Die Inferenzeinheit 15 hat einen Generator, der im Voraus durch das GAN erzeugt wird. Das Generatorlernen durch das GAN kann durch Verwendung eines Videos eines echten Parkplatzes durchgeführt werden oder kann durch Erstellen eines CG-Bildes eines Parkplatzes und durch Verwendung von Trainingsdaten mit automatischer Kennzeichnung auf einem abgeschirmten Bereich in dem CG-Bild durchgeführt werden. Gemäß dem Verfahren zum Erzeugen eines CG-Bildes eines Parkplatzes ist es einfach, eine große Menge an Trainingsdaten vorzubereiten.
  • Unter der Annahme, dass der durch die Abschirmbereich-Schätzeinheit 14 maskierte abgeschirmte Bereich ein fehlender Bereich in einem Lückenfüllerproblem ist, leitet die Inferenzeinheit 15 ein Video des abgeschirmten Bereichs durch Verwendung des Generators her.
  • Die Videoüberlagerungseinheit 16 überlagert das Video des abgeschirmten Bereichs, das von der Inferenzeinheit 15 hergeleitet wurde, mit dem Draufsichtvideo. Die Videoüberlagerungseinheit 16 überlagert das Video des abgeschirmten Bereichs, das durch die Inferenzeinheit 15 hergeleitet wird, in einem Anzeigemodus, der sich von dem des Draufsichtvideos unterscheidet, so dass ersichtlich ist, dass der abgeschirmte Bereich ein unsichtbarer Bereich ist.
  • Wie zuvor wurde die Konfiguration der Peripheres-Video-Erzeugungsvorrichtung 1 in dem vorliegenden Ausführungsbeispiel beschrieben. Ein Beispiel für Hardware der zuvor beschriebenen Peripheres-Video-Erzeugungsvorrichtung 1 ist eine ECU, die eine CPU, einen RAM, einen ROM, eine Festplatte, eine Kommunikationsschnittstelle und dergleichen enthält. Programme mit Modulen zum Durchführen der zuvor beschriebenen Funktionen sind in dem RAM oder dem ROM gespeichert, und die CPU führt die Programme aus, um die zuvor beschriebene Peripheres-Video-Erzeugungsvorrichtung 1 zu implementieren. Diese Programme sind in dem Umfang der vorliegenden Offenbarung enthalten. Ähnlich können die anderen nachfolgend beschriebenen Ausführungsbeispiele durch Programme implementiert werden.
  • 3 ist ein Diagramm, das Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung 1 in dem ersten Ausführungsbeispiel darstellt. Wenn Videodaten von den vier Kameras 20 eingegeben werden (S10), setzt die Peripheres-Video-Erzeugungsvorrichtung 1 die Videodaten von den vier Kameras 20 zusammen, um ein Draufsichtvideo zu erzeugen (S11). Parallel dazu verwendet die Peripheres-Video-Erzeugungsvorrichtung 1 die SfM-Technik an den Videodaten, um die dreidimensionale Form eines in dem Video zu sehenden Objekts zu schätzen (S12).
  • Die Peripheres-Video-Erzeugungsvorrichtung 1 verwendet dann die Informationen über die dreidimensionale Form des Objekts, um einen unsichtbaren abgeschirmten Bereich in dem Draufsichtvideo zu schätzen (S13). Anschließend leitet die Peripheres-Video-Erzeugungsvorrichtung 1 ein Video des abgeschirmten Bereichs durch Verwendung des GAN her (S14) und überlagert das hergeleitete Video dem Draufsichtvideo (S15).
  • Wie zuvor wurden die Konfiguration und Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung 1 in dem ersten Ausführungsbeispiel beschrieben.
  • Die Peripheres-Video-Erzeugungsvorrichtung 1 in dem ersten Ausführungsbeispiel kann das Video des durch ein Objekt abgeschirmten und unsichtbar gemachten Bereichs herleiten und das hergeleitete Video mit dem Draufsichtvideo überlagern, wodurch das Draufsichtvideo angezeigt wird, das natürlicher erscheint, das heißt, das Draufsichtvideo, ohne ein unnatürliches Erscheinungsbild zu erzeugen. Zusätzlich ermöglicht das Überlagern des hergeleiteten Videos in einem anderen Anzeigemodus als dem des Draufsichtvideos dem Fahrer, den abgeschirmten Bereich als einen eigentlichen unsichtbaren Bereich zu erkennen. Dies vermeidet das Risiko, dass der Fahrer Fahrvorgänge in dem Glauben ausführt, dass das hergeleitete Video echt ist. Darüber hinaus hat dies den Effekt, die Aufmerksamkeit des Fahrers auf den abgeschirmten Bereich zu lenken, aus dem Menschen oder Motorräder auftauchen können.
  • In dem vorliegenden Ausführungsbeispiel wird das GAN zum Beispiel als Mittel zum Herleiten des Videos des abgeschirmten Bereichs verwendet. Alternativ kann das Video durch andere Mittel als das GAN hergeleitet werden. Zum Beispiel kann das Video des abgeschirmten Bereichs durch Verwendung eines Variational Auto-Encoder (VAE) oder eines autoregressiven Modells hergeleitet werden.
  • Eine bevorzugte Szene, in der die Peripheres-Video-Erzeugungsvorrichtung 1 in dem vorliegenden Ausführungsbeispiel angewendet wird, ist ein automatisiertes Parkservicesystem, das beschrieben wird. Da der Fahrer in dieser Szene das Fahrzeug nicht fahren wird, kann das hergeleitete Video eines abgeschirmten Bereichs problemlos überlagert werden. Somit kann ein Insasse des Fahrzeugs ein Video sehen, das weniger unnatürlich erscheint.
  • (Zweites Ausführungsbeispiel)
  • 4 ist ein Diagramm, das eine Konfiguration einer Peripheres-Video-Erzeugungsvorrichtung 2 in einem zweiten Ausführungsbeispiel darstellt. Die Peripheres-Video-Erzeugungsvorrichtung 2 in dem zweiten Ausführungsbeispiel enthält zusätzlich zu den Komponenten des zuvor beschriebenen ersten Ausführungsbeispiels eine Erfassungsdaten-Bezugseinheit 23, die Erfassungsdaten von einem LIDAR 22 bezieht. In dem zweiten Ausführungsbeispiel verwendet die Dreidimensionale-Form-Schätzeinheit 13 die von dem LIDAR 22 bezogenen Erfassungsdaten, um die dreidimensionale Form eines Objekts zu schätzen, das in der Peripherie des Fahrzeugs vorhanden ist.
  • 5 ist ein Diagramm, das Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung 2 in dem zweiten Ausführungsbeispiel darstellt. Wenn die Videodaten von den vier Kameras 20 eingegeben werden (S20), setzt die Peripheres-Video-Erzeugungsvorrichtung 2 die Videodaten von den vier Kameras 20 zusammen, um ein Draufsichtvideo zu erzeugen (S21). Parallel dazu bezieht die Peripheres-Video-Erzeugungsvorrichtung 2 Daten von dem LIDAR 22 (S22), und schätzt die dreidimensionale Form eines Objekts, das in der Peripherie des Fahrzeugs vorhanden ist, basierend auf den bezogenen Daten (S23).
  • Die Peripheres-Video-Erzeugungsvorrichtung 2 verwendet dann die Informationen über die dreidimensionale Form des Objekts, um einen unsichtbaren abgeschirmten Bereich in dem Draufsichtvideo zu schätzen (S24). Anschließend leitet die Peripheres-Video-Erzeugungsvorrichtung 2 ein Video des abgeschirmten Bereichs durch Verwendung des GAN her (S25) und überlagert das hergeleitete Video auf dem Draufsichtvideo (S26).
  • Wie zuvor werden die Konfiguration und Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung 2 in dem zweiten Ausführungsbeispiel beschrieben. Wie in dem ersten Ausführungsbeispiel kann die Peripheres-Video-Erzeugungsvorrichtung 2 in dem zweiten Ausführungsbeispiel ein Draufsichtvideo anzeigen, das natürlicher erscheint. Zusätzlich ist es in dem zweiten Ausführungsbeispiel möglich, die dreidimensionale Form eines Objekts durch Verwendung der von dem LIDAR 22 bezogenen Daten mit Präzision zu schätzen.
  • In dem vorliegenden Ausführungsbeispiel werden die Daten von dem LIDAR 22 verwendet, um die dreidimensionale Form eines Objekts als ein Beispiel zu schätzen. Alternativ kann ein anderer Abstandssensor als das LIDAR 22 verwendet werden, wie beispielsweise ein Radar, ein Ultraschallsonar oder ein Millimeterwellenradar.
  • (Drittes Ausführungsbeispiel)
  • 6 ist ein Diagramm, das eine Konfiguration einer Peripheres-Video-Erzeugungsvorrichtung 3 in einem dritten Ausführungsbeispiel darstellt. Die Peripheres-Video-Erzeugungsvorrichtung 3 in dem dritten Ausführungsbeispiel unterscheidet sich von den anderen Ausführungsbeispielen darin, dass ein Video eines abgeschirmten Bereichs nicht durch Verwendung von Deep-Learning geschätzt wird, sondern durch Verwendung von Bildern einer Umgebung, in der sich das Fahrzeug befindet, erzeugt wird.
  • Die Peripheres-Video-Erzeugungsvorrichtung 3 in dem dritten Ausführungsbeispiel hat eine Kommunikationseinheit 24 zum Kommunizieren mit einer Parkplatzverwaltungsvorrichtung 30, die einen Parkplatz verwaltet. Die Parkplatzverwaltungsvorrichtung 30 enthält eine Speichereinheit, die Bilder des verwalteten Parkplatzes speichert. Die Parkplatzverwaltungsvorrichtung 30 überträgt die Bilder an die Peripheres-Video-Erzeugungsvorrichtung 3 als Reaktion auf die Anfrage, Bilder des Parkplatzes durch die in dem Fahrzeug montierte Peripheres-Video-Erzeugungsvorrichtung 3 zu übertragen.
  • Eine Videoverarbeitungseinheit 11 der Peripheres-Video-Erzeugungsvorrichtung 3 in dem dritten Ausführungsbeispiel enthält eine Abschirmbereich-Videoerzeugungseinheit 25 anstelle der Inferenzeinheit 15, die in der Peripheres-Video-Erzeugungsvorrichtung 1 in dem ersten Ausführungsbeispiel enthalten ist. Die Abschirmbereich-Videoerzeugungseinheit 25 verarbeitet die von der Parkplatzverwaltungsvorrichtung 30 empfangenen Bilder des Parkplatzes, um ein Video des abgeschirmten Bereichs zu erzeugen. Die Abschirmbereich-Videoerzeugungseinheit 25 kann den abgeschirmten Bereich aus den Bildern des Parkplatzes herausschneiden oder kann den abgeschirmten Bereich aus den Bildern des Parkplatzes herausschneiden, der gefiltert und unscharf gemacht wurde.
  • 7 ist ein Diagramm, das Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung 3 in dem dritten Ausführungsbeispiel darstellt. Wenn die Videodaten von vier Kameras 20 eingegeben werden (S30), setzt die Peripheres-Video-Erzeugungsvorrichtung 3 die Videodaten von den vier Kameras 20 zusammen, um ein Draufsichtvideo zu erzeugen (S31). Parallel dazu verwendet die Peripheres-Video-Erzeugungsvorrichtung 3 die SfM-Technik an den Videodaten, um die dreidimensionale Form eines in dem Video zu sehenden Objekts zu schätzen (S32).
  • Die Peripheres-Video-Erzeugungsvorrichtung 3 verwendet dann die Informationen über die dreidimensionale Form des Objekts, um einen unsichtbaren abgeschirmten Bereich in dem Draufsichtvideo zu schätzen (S33). Anschließend bezieht die Peripheres-Video-Erzeugungsvorrichtung 3 die Bilder des Parkplatzes von der Parkplatzverwaltungsvorrichtung 30 (S34), erzeugt ein Video des abgeschirmten Bereichs durch Verwendung der bezogenen Bilder (S35) und überlagert das erzeugte Video auf dem Draufsichtvideo (S36).
    Wie zuvor wurden die Konfiguration und Betriebsabläufe der Peripheres-Video-Erzeugungsvorrichtung 3 in dem dritten Ausführungsbeispiel beschrieben.
  • Die Peripheres-Video-Erzeugungsvorrichtung 3 in dem dritten Ausführungsbeispiel kann das Draufsichtvideo anzeigen, das natürlicher erscheint als in den zuvor beschriebenen Ausführungsbeispielen. In dem dritten Ausführungsbeispiel wird außerdem durch die Verwendung der Bilder des Parkplatzes die Erzeugung des Videos des abgeschirmten Bereichs erleichtert. Da der abgeschirmte Bereich ein Bereich ist, von dem Videodaten nicht durch die Kameras 20 bezogen werden können, reduziert das Informieren, dass die Videodaten aufgrund der Unfähigkeit zum Beziehen der Videodaten nicht verfügbar sind, das Risiko von Problemen, die sich aus dem abgeschirmten Bereich ergeben.
  • In dem vorliegenden Ausführungsbeispiel werden als die Bilder der Umgebung, in der das Fahrzeug platziert ist, die Bilder des Parkplatzes, auf dem das Fahrzeug tatsächlich existiert, als ein Beispiel bezogen. Alternativ kann das Video des abgeschirmten Bereichs erzeugt werden, indem nicht die Bilder des Parkplatzes selbst verwendet werden, wo das Fahrzeug tatsächlich platziert ist, sondern indem Bilder einer Art Umgebung mit dem Parkplatz verwendet werden, wo das Fahrzeug platziert ist.
  • Industrielle Anwendbarkeit
  • Die vorliegende Offenbarung ist als eine Vorrichtung zum Erzeugen eines peripheren Videos nützlich und kann zum Beispiel verwendet werden, um ein peripheres Video eines Fahrzeugs zu erzeugen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2019147985 [0002]
    • JP 2012514558 A [0004]

Claims (9)

  1. Peripheres-Video-Erzeugungsvorrichtung (1) mit: einer Videoeingabeeinheit (10), die periphere Videodaten eingibt, die von einer Mehrzahl von Kameras (20) aufgenommen werden; einer Videozusammensetzungseinheit (12), welche die peripheren Videodaten zusammensetzt, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet wird; einer Dreidimensionale-Form-Schätzeinheit (13), die eine dreidimensionale Form eines peripheren Objekts basierend auf den peripheren Videodaten schätzt; einer Abschirmbereich-Schätzeinheit (14), die ein Schätzergebnis der dreidimensionalen Form verwendet, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar ist; einer Inferenzeinheit (15), die ein Video des abgeschirmten Bereichs durch Verwendung von Deep-Learning herleitet; und einer Videoüberlagerungseinheit (16), die das von der Inferenzeinheit hergeleitete Video dem abgeschirmten Bereich in dem zusammengesetzten Video überlagert.
  2. Peripheres-Video-Erzeugungsvorrichtung mit: einer Videoeingabeeinheit, die periphere Videodaten eingibt, die von einer Mehrzahl Kameras aufgenommen werden; einer Videozusammensetzungseinheit, welche die peripheren Videodaten zusammensetzt, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet wird; einer Erfassungsdaten-Bezugseinheit (23), die Erfassungsdaten bezieht, die von einem Abstandssensor (22) erfasst werden; einer Dreidimensionale-Form-Schätzeinheit, die eine dreidimensionale Form eines peripheren Objekts basierend auf den Erfassungsdaten schätzt; einer Abschirmbereich-Schätzeinheit, die ein Schätzergebnis der dreidimensionalen Form verwendet, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar ist; eine Inferenzeinheit, die ein Video des abgeschirmten Bereichs durch Verwendung von Deep-Learning herleitet; und einer Videoüberlagerungseinheit, die das von der Inferenzeinheit hergeleitete Video dem abgeschirmten Bereich in dem zusammengesetzten Video überlagert.
  3. Peripheres-Video-Erzeugungsvorrichtung nach Anspruch 1 oder 2, wobei die Mehrzahl von Kameras in einem Fahrzeug montiert ist, und die Videozusammensetzungseinheit ein Draufsichtvideo zusammensetzt, wie es von oberhalb des Fahrzeugs aus betrachtet wird.
  4. Peripheres-Video-Erzeugungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Videoüberlagerungseinheit das von der Inferenzeinheit hergeleitete Video dem abgeschirmten Bereich in einem Anzeigemodus überlagert, der sich von einem Anzeigemodus des zusammengesetzten Videos unterscheidet.
  5. Peripheres-Video-Erzeugungsvorrichtung mit: einer Videoeingabeeinheit, die periphere Videodaten eingibt, die von einer Mehrzahl von Kameras, die in einem Fahrzeug montiert sind, aufgenommen werden; einer Videozusammensetzungseinheit, welche die peripheren Videodaten zusammensetzt, um ein Draufsichtvideo zu erzeugen, wie es von oberhalb des Fahrzeugs aus betrachtet wird; einer Dreidimensionale-Form-Schätzeinheit, die eine dreidimensionale Form eines peripheren Objekts basierend auf den peripheren Videodaten oder Erfassungsdaten von einem Abstandssensor schätzt; einer Abschirmbereich-Schätzeinheit, die ein Schätzergebnis der dreidimensionalen Form verwendet, um einen abgeschirmten Bereich zu schätzen, der von oberhalb des Fahrzeugs in dem Draufsichtvideo nicht sichtbar ist; einer Abschirmbereich-Videoerzeugungseinheit, die ein Bild einer Umgebung, in der das Fahrzeug platziert ist, von einer Speichervorrichtung bezieht, die das Bild der Umgebung speichert, und ein Video des abgeschirmten Bereichs basierend auf dem Bild der Umgebung erzeugt; und einer Videoüberlagerungseinheit, die das von der Abschirmbereich-Videoerzeugungseinheit erzeugte Video dem abgeschirmten Bereich in dem Draufsichtvideo in einem Anzeigemodus überlagert, der sich von einem Anzeigemodus des Draufsichtvideos unterscheidet.
  6. Verfahren zur Erzeugung peripherer Videos mit den Schritten: Eingeben von peripheren Videodaten, die von einer Mehrzahl von Kameras aufgenommen werden; Zusammensetzen der peripheren Videodaten, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet wird; Schätzen einer dreidimensionalen Form eines peripheren Objekts basierend auf den peripheren Videodaten; Verwenden eines Schätzergebnisses der dreidimensionalen Form, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar ist; Herleiten eines Videos des abgeschirmten Bereichs durch Verwendung von Deep-Learning; und Überlagern des hergeleiteten Videos auf dem abgeschirmten Bereich in dem zusammengesetzten Video.
  7. Verfahren zur Erzeugung peripherer Videos mit den Schritten: Eingeben von peripheren Videodaten, die von einer Mehrzahl von Kameras aufgenommen werden; Zusammensetzen der peripheren Videodaten, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet; Beziehen von Erfassungsdaten, die von einem Abstandssensor erfasst werden; Schätzen einer dreidimensionalen Form eines peripheren Objekts basierend auf den Erfassungsdaten; Verwenden eines Schätzergebnisses der dreidimensionalen Form, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar ist; Herleiten eines Videos des abgeschirmten Bereichs durch Verwendung von Deep-Learning; und Überlagern des hergeleiteten Videos auf dem abgeschirmten Bereich in dem zusammengesetzten Video.
  8. Programm zum Erzeugen eines peripheren Videos und zum Bewirken, dass ein Computer die folgenden Schritte ausführt: Eingeben von peripheren Videodaten, die von einer Mehrzahl von Kameras aufgenommen werden; Zusammensetzen der peripheren Videodaten, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet; Schätzen einer dreidimensionalen Form eines peripheren Objekts basierend auf den peripheren Videodaten; Verwenden eines Schätzergebnisses der dreidimensionalen Form, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar ist; Herleiten eines Videos des abgeschirmten Bereichs durch Verwendung von Deep-Learning; und Überlagern des hergeleiteten Videos auf dem abgeschirmten Bereich in dem zusammengesetzten Video.
  9. Programm zum Erzeugen eines peripheren Videos und zum Bewirken, dass ein Computer die folgenden Schritte ausführt: Eingeben von peripheren Videodaten, die von einer Mehrzahl von Kameras aufgenommen werden; Zusammensetzen der peripheren Videodaten, um ein zusammengesetztes Video zu erzeugen, wie es von einem vorgegebenen Blickpunkt aus betrachtet; Beziehen von Erfassungsdaten, die von einem Abstandssensor erfasst werden; Schätzen einer dreidimensionalen Form eines peripheren Objekts basierend auf den Erfassungsdaten; Verwenden eines Schätzergebnisses der dreidimensionalen Form, um einen abgeschirmten Bereich zu schätzen, der von dem vorgegebenen Blickpunkt in dem zusammengesetzten Video nicht sichtbar ist; Herleiten eines Videos des abgeschirmten Bereichs durch Verwendung von Deep-Learning; und Überlagern des hergeleiteten Videos auf dem abgeschirmten Bereich in dem zusammengesetzten Video.
DE112020003788.6T 2019-08-09 2020-07-22 Peripheres-Video-Erzeugungsvorrichtung, Verfahren zur Erzeugung peripherer Videos, und Programm Pending DE112020003788T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019147985A JP7251401B2 (ja) 2019-08-09 2019-08-09 周辺映像生成装置、周辺映像生成方法、およびプログラム
JP2019-147985 2019-08-09
PCT/JP2020/028542 WO2021029203A1 (ja) 2019-08-09 2020-07-22 周辺映像生成装置、周辺映像生成方法、およびプログラム

Publications (1)

Publication Number Publication Date
DE112020003788T5 true DE112020003788T5 (de) 2022-06-30

Family

ID=74569578

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020003788.6T Pending DE112020003788T5 (de) 2019-08-09 2020-07-22 Peripheres-Video-Erzeugungsvorrichtung, Verfahren zur Erzeugung peripherer Videos, und Programm

Country Status (5)

Country Link
US (1) US20220156985A1 (de)
JP (1) JP7251401B2 (de)
CN (1) CN114206674A (de)
DE (1) DE112020003788T5 (de)
WO (1) WO2021029203A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020101637A1 (de) * 2020-01-24 2021-07-29 Bayerische Motoren Werke Aktiengesellschaft Erzeugen einer Draufsicht auf ein Kraftfahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012514558A (ja) 2009-01-06 2012-06-28 イメージネクスト シーオー エルティディ 周辺映像生成方法および装置
JP2019147985A (ja) 2018-02-27 2019-09-05 トヨタ自動車株式会社 金属積層造形方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034898A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 探査不能領域推定装置及び運転支援システム
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP2010072836A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
CN105667518B (zh) * 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置
US20180178840A1 (en) * 2016-12-28 2018-06-28 Automotive Research & Testing Center Automatic vehicle parking assistance correcting system with instant environmental detection and correcting method thereof
JP6669090B2 (ja) * 2017-01-30 2020-03-18 株式会社デンソー 車両制御装置
GB2559760B (en) * 2017-02-16 2019-08-28 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP6913602B2 (ja) * 2017-02-27 2021-08-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置およびプログラム
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012514558A (ja) 2009-01-06 2012-06-28 イメージネクスト シーオー エルティディ 周辺映像生成方法および装置
JP2019147985A (ja) 2018-02-27 2019-09-05 トヨタ自動車株式会社 金属積層造形方法

Also Published As

Publication number Publication date
CN114206674A (zh) 2022-03-18
US20220156985A1 (en) 2022-05-19
WO2021029203A1 (ja) 2021-02-18
JP7251401B2 (ja) 2023-04-04
JP2021029037A (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
DE102013223039B4 (de) Vorrichtung und Verfahren zum Bereitstellen eines AVM-Bildes
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102015121387B4 (de) Hinderniserkennungseinrichtung und Hinderniserkennungsverfahren
DE102009003110A1 (de) Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
DE102014209137A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
DE102013226476B4 (de) Bildverarbeitungsverfahren und -system eines rundumsicht-überwachungssystems
DE112013005231T5 (de) Bordeigener Bildgenerator
DE102021103151A1 (de) Systeme und verfahren zur bildunschärfeentfernung in einem fahrzeug
DE112016003546T5 (de) Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102020127000A1 (de) Erzeugung von zusammengesetzten bildern unter verwendung von zwischenbildflächen
DE102019002269A1 (de) Verfahren zum Ermitteln einer Orientierung eines Fahrzeugs relativ zu einem Kraftfahrzeug
DE112020005730T5 (de) Gemeinsame Rolling-Shutter-Korrektur und Bildscharfzeichnung
DE112020003788T5 (de) Peripheres-Video-Erzeugungsvorrichtung, Verfahren zur Erzeugung peripherer Videos, und Programm
DE112021002598T5 (de) Bildverarbeitungsvorrichtung
WO2014009406A1 (de) VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS
EP2996327A2 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE112015005753B4 (de) Bildverarbeitungssystem und Vorrichtung davon
DE102022214330A1 (de) Verfahren zur Erzeugung mindestens einer Ground Truth aus der Vogelperspektive
DE102018130229B4 (de) Verfahren und Vorrichtung zur Objektextraktion aus eine dreidimensionale Szene darstellenden Szenenbilddaten
DE112017005211T5 (de) Anzeigesteuerungsvorrichtung
DE112021003430T5 (de) Bildverarbeitungsvorrichtung
DE102021110824A1 (de) Verfahren und Vorrichtung zur Vorhersage von Objektdaten zu einem Objekt
DE102020126954A1 (de) System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed