DE112021003088T5

DE112021003088T5 - Bilderkennungs-simulatorvorrichtung

Info

Publication number: DE112021003088T5
Application number: DE112021003088.4T
Authority: DE
Inventors: Akira UTAGAWA; Takayuki Sato; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-09-07
Filing date: 2021-07-27
Publication date: 2023-04-27
Also published as: JP7373079B2; WO2022049926A1; JPWO2022049926A1

Abstract

Es wird eine Bilderkennungs-Simulatorvorrichtung 1 geschaffen, die Folgendes enthält: eine Abstandsberechnungseinheit 11, die durch Stereoabgleich auf der Grundlage eines Leuchtdichtebildes, das durch eine Stereokamera aufgenommen wird, einen Abstand berechnet und ein Abstandsbild ausgibt, eine Bereichsaufteilungs-Berechnungseinheit 12, die eine Bereichsaufteilung auf dem Leuchtdichtebild durchführt, eine Abstandsbild-Fehlerausschlusseinheit 13, die auf der Grundlage eines Ergebnisses, das durch die Aufteilung durch die Bereichsaufteilungs-Berechnungseinheit 12 erhalten wird, einen Fehler aus dem Abstandsbild ausschließt, eine Einheit 14 zur Erzeugung eines dreidimensionalen Raumes, die auf der Grundlage des Abstandsbildes, das durch den Ausschluss durch die Abstandsbild-Fehlerausschlusseinheit 13 erhalten wird, einen dreidimensionalen Raum erzeugt, eine Einheit 15 zur Installation eines virtuellen Gegenstands, die einen virtuellen Gegenstand an einer frei ausgewählten Position und zu einer frei ausgewählten Zeit installiert, eine Einheit 16 zur Synthese eines virtuellen Gegenstands, die den virtuellen Gegenstand, der durch die Einheit 15 zur Installation eines virtuellen Gegenstands installiert wird, mit dem dreidimensionalen Raum, der durch die Einheit 14 zur Erzeugung eines dreidimensionalen Raumes erzeugt wird, synthetisiert, und eine Bilderzeugungseinheit 17, die auf der Grundlage eines Ergebnisses, das durch die Synthese durch die Einheit 16 zur Synthese eines virtuellen Gegenstands erhalten wird, das Leuchtdichtebild der Stereokamera erzeugt.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bilderkennungs-Sim ulatorvorrichtung.
Die vorliegende Anmeldung beansprucht die Priorität auf der Grundlage der Japanischen Patentanmeldung Nr. 2020-149907 , eingereicht am 7. September 2020, deren Inhalt hier durch Bezugnahme vollständig mit aufgenommen ist.
Hintergrundgebiet
In letzter Zeit wurde ein vorbeugendes Sicherheitssystem aktiv erprobt, in dem diverse Sensoren auf einem Kraftfahrzeug angebracht sind, um Gefahr zu detektieren oder zu vermeiden. Da das Risiko eines Unfalls besteht, wenn das vorbeugende Sicherheitssystem nicht wie vorgesehen startet, wenn es erforderlich ist, ist es notwendig, unter der Annahme vieler Fälle zu erproben. Jedoch weist eine Erprobung, ob das System in einem gefährlichen Szenario gestartet wird oder nicht, durch tatsächliches Fahren eines Fahrzeugs eine Einschränkung hinsichtlich Sicherheit oder dergleichen auf. Aus diesem Grund besteht ein Bedarf an einem Verfahren zum Durchführen einer Erprobung unter Verwendung einer Fahrumgebung und eines Fahrzeugs, die auf eine symbolische Weise durch Computergrafik (CG) oder dergleichen erzeugt werden.
Als ein Beispiel schlägt PTL 1 ein Verfahren zum Durchführen einer Erprobung durch Überlagern eines Bildes, das eine Wetterstörung angibt, oder dergleichen auf Live-Vorgangsbilddaten, um auf eine symbolische Weise mehrere Fahrszenariomuster zu erzeugen, vor.
Entgegenhaltungsliste
Patentliteratur
PTL 1: JP 2010-33321 A
Zusammenfassung der Erfindung
Technisches Problem
Jedoch überlagert das in PTL 1 beschriebene Verfahren lediglich ein weiteres Bild auf den Live-Vorgangsbilddaten, was ein Problem einer mangelhaften Realitätswirkung bewirkt. Zum Beispiel ist in einem Fall, bei dem ein Fußgängerbild, das durch CG erzeugt wird, einfach auf einem Live-Vorgangsbild überlagert wird, die Perspektive gestört, derart, dass ein Bild mit einem Empfinden von Unbehagen erzeugt wird.
Die vorliegende Erfindung wurde gemacht, um ein derartiges technisches Problem zu lösen, und eine Aufgabe davon ist, eine Bilderkennungs-Simulatorvorrichtung, die ein synthetisches Bild mit Realitätswirkung erzeugen kann, zu schaffen.
Lösung des Problems
Eine Bilderkennungs-Simulatorvorrichtung gemäß der vorliegenden Erfindung enthält Folgendes: eine Abstandsberechnungseinheit, die konfiguriert ist, durch Stereoabgleich auf der Grundlage von Leuchtdichtebildern, die durch mindestens zwei Kameras aufgenommen werden, einen Abstand zu berechnen und ein Abstandsbild auszugeben, das ein Berechnungsergebnis als ein Bild ausgibt; eine Bereichsaufteilungs-Berechnungseinheit, die konfiguriert ist, durch das Durchführen einer Bereichsaufteilung auf den Leuchtdichtebildern ein in Bereiche aufgeteiltes Bild zu erhalten; eine Abstandsbild-Fehlerausschlusseinheit, die konfiguriert ist, auf der Grundlage eines Ergebnisses, das durch die Bereichsaufteilung durch die Bereichsaufteilungs-Berechnungseinheit erhalten wird, einen Stereoabgleichfehler aus dem Abstandsbild auszuschließen; eine Einheit zur Erzeugung eines dreidimensionalen Raumes, die konfiguriert ist, auf der Grundlage des Abstandsbildes, das durch den Ausschluss durch die Abstandsbild-Fehlerausschlusseinheit erhalten wird, einen dreidimensionalen Raum zu erzeugen; eine Einheit zur Installation eines virtuellen Gegenstands, die konfiguriert ist, einen virtuellen Gegenstand, der als ein Objekt einer Anwendung einer Fahrzeugbordkamera erkannt wird, an einer frei ausgewählten Position und zu einer frei ausgewählten Zeit zu installieren; eine Einheit zur Synthese eines virtuellen Gegenstands, die konfiguriert ist, den virtuellen Gegenstand, der durch die Einheit zur Installation eines virtuellen Gegenstands installiert wird, mit dem dreidimensionalen Raum, der durch die Einheit zur Erzeugung eines dreidimensionalen Raumes erzeugt wird, zu synthetisieren; und eine Bilderzeugungseinheit, die konfiguriert ist, auf der Grundlage eines Ergebnisses, das durch die Synthese durch die Einheit zur Synthese eines virtuellen Gegenstands erhalten wird, die Leuchtdichtebilder der zwei Kameras zu erzeugen.
Da in der Bilderkennungs-Simulatorvorrichtung gemäß der vorliegenden Erfindung die Abstandsbild-Fehlerausschlusseinheit auf der Grundlage des Ergebnisses, das durch die Bereichsaufteilung durch die Bereichsaufteilungs-Berechnungseinheit erhalten wird, den Stereoabgleichfehler aus dem Abstandsbild ausschließt, ist es möglich, den virtuellen Gegenstand mit dem Leuchtdichtebild zu synthetisieren, ohne durch den Stereoabgleichfehler beeinflusst zu werden. Daher ist es möglich, ein synthetisches Bild mit Realitätswirkung zu erzeugen.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist es möglich, ein synthetisches Bild mit Realitätswirkung zu erzeugen.
Figurenliste

1 ist ein schematisches Konfigurationsdiagramm, das eine Bilderkennungs-Simulatorvorrichtung gemäß einer Ausführungsform veranschaulicht.
2 ist ein schematisches Konfigurationsdiagramm, das eine Einheit zur Synthese eines natürlichen CG-Bildes der Bilderkennungs-Simulatorvorrichtung veranschaulicht.
3 ist ein schematisches Diagramm zum Beschreiben eines Vorgangs der Einheit zur Synthese eines natürlichen CG-Bildes.
4 ist ein schematisches Diagramm zum Beschreiben eines Vorgangs der Einheit zur Synthese eines natürlichen CG-Bildes.
5 ist ein schematisches Diagramm zum Beschreiben eines Vorgangs der Einheit zur Synthese eines natürlichen CG-Bildes.
6 ist ein schematisches Diagramm zum Beschreiben eines Vorgangs der Einheit zur Synthese eines natürlichen CG-Bildes.

Beschreibung der Ausführungsformen
Im Folgenden wird eine Ausführungsform einer Bilderkennungs-Simulatorvorrichtung gemäß der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
1 ist ein schematisches Konfigurationsdiagramm, das eine Bilderkennungs-Simulatorvorrichtung gemäß einer Ausführungsform veranschaulicht. Eine Bilderkennungs-Simulatorvorrichtung 1 der vorliegenden Ausführungsform ist eine Vorrichtung zum Simulieren einer Erkennungsanwendung unter Verwendung eines natürlichen Bildes, einer zu synthetisierenden CG und eines Verhaltens davon auf der Grundlage von mehreren Zeitreihenbildern, die durch eine Fahrzeugbord-Bilderfassungsvorrichtung erfasst werden, und eines Steuersignals, das mit den Zeitreihenbildern synchronisiert ist. Obwohl nicht veranschaulicht, enthält die Fahrzeugbord-Bilderfassungsvorrichtung eine Bilderfassungseinheit, die mindestens zwei Kameras (hier Stereokameras) aufweist.
Die Stereokamera ist mit anderen Worten eine Fahrzeugbordkamera und enthält z. B. ein Paar einer linken und einer rechten Kamera, die mit einem vorgegebenen Abstand der optischen Achsen (der Grundlinienlänge) angeordnet sind, derart, dass ihre optischen Achsen zueinander parallel sind, und nimmt ein Bild einer Situation um ein Trägerfahrzeug auf. Jede des Paares der linken und der rechten Kamera enthält einen Bildsensor wie etwa einen CMOS, eine optische Linse oder dergleichen. Ferner ist das Bild, das durch die Stereokamera aufgenommen wird, das oben beschriebene, natürliche Bild.
Wie in 1 veranschaulicht ist, enthält die Bilderkennungs-Simulatorvorrichtung 1 eine Einheit 10 zur Synthese eines natürlichen CG-Bildes und eine Bilderkennungseinheit 20.
2 ist ein schematisches Konfigurationsdiagramm, das eine Einheit zur Synthese eines natürlichen CG-Bildes der Bilderkennungs-Simulatorvorrichtung veranschaulicht. Wie in 2 veranschaulicht ist, enthält die Einheit 10 zur Synthese eines natürlichen CG-Bildes eine Abstandsberechnungseinheit 11, eine Bereichsaufteilungs-Berechnungseinheit 12, eine Abstandsbild-Fehlerausschlusseinheit 13, eine Einheit 14 zur Erzeugung eines dreidimensionalen Raumes, eine Einheit 15 zur Installation eines virtuellen Gegenstands, eine Einheit 16 zur Synthese eines virtuellen Gegenstands und eine Bilderzeugungseinheit 17.
Die Abstandsberechnungseinheit 11 berechnet durch Stereoabgleich auf der Grundlage des Leuchtdichtebildes, das durch die Stereokamera aufgenommen wird, einen Abstand und gibt ein Abstandsbild aus, das das Berechnungsergebnis als ein Bild darstellt. Genauer berechnet die Abstandsberechnungseinheit 11 zuerst den Abstand unter Verwendung des Stereoabgleichs auf der Grundlage von zwei Leuchtdichtebildern, die durch die Stereokameras aufgenommen werden. Hier berechnet die Abstandsberechnungseinheit 11 den Abstand durch Erfassen einer Parallaxe für jedes Pixel z. B. durch ein Prinzip der Triangulation. Die erfasste Parallaxe kann aus einer Spezifikation der verwendeten Stereokamera in den Abstand umgesetzt werden. Wenn z. B. eine Grundlinienlänge der Stereokamera L ist, eine CMOS-Größe µ ist, eine Brennweite einer optischen Linse V ist und die Parallaxe d ist, kann der Abstand durch VL/dµ berechnet werden: Daraufhin gibt die Abstandsberechnungseinheit 11 ein Abstandsbild, in dem das Berechnungsergebnis, wie oben beschrieben, als ein Bild dargestellt ist, an die Abstandsbild-Fehlerausschlusseinheit 13 aus.
Beispiele für den Stereoabgleich enthalten ein Verfahren des Ausführens des Stereoabgleichs auf der Grundlage von lokalen Bildinformationen. Bei diesem Verfahren wird in der Umgebung eines Bildes von Interesse ein Fenster eingestellt und durch Berechnen einer Ähnlichkeit zwischen dem linken und dem rechten Bild wird ein Merkmal im Fenster erhalten. Hier wird erwogen, das das Fenster eine Breite W und eine Höhe H aufweist und in einer Mitte ein Pixel von Interesse eingestellt wird. Beispiele für die Berechnung der Ähnlichkeit enthalten eine Summe der absoluten Differenz (SAD).
Wenn ferner die Koordinaten und die Leuchtdichte des rechten Kamerabildes durch p^R = (x,y)^T und I(p_R) dargestellt werden, die Koordinaten und die Leuchtdichte des linken Kamerabildes durch p_L = (x,y)^T und I(p_L) dargestellt werden, die Parallaxe durch D = [d,0]^T dargestellt wird und ein Bewegungsbetrag im Fenster durch s = [w,h]^T dargestellt wird, kann eine Ähnlichkeit R(D) zum Erhalten der Parallaxe D = [d,O]^T durch die folgende Formel (1) erhalten werden.
[Mathematische Formel 1] $R (D) = \sum_{w = - H/ 2}^{H/ 2} \sum_{h = - H/ 2}^{H/ 2} | I (p_{R} + s) - I (p_{L} + s + D) |$
Da außerdem die Parallaxe, die für jedes Pixel erhalten wird, durch das Fenster und die Auswertungsfunktion, die oben eingestellt werden, bestimmt wird, sei erwähnt, dass die Parallaxe kein wahrer Wert ist. Ein Fall, bei dem eine Parallaxe erhalten wird, die von der ursprünglichen Parallaxe verschieden ist (als eine Fehlabstimmung bezeichnet), wird als ein Fall bezeichnet, bei dem ein Abstandsfehler vorliegt.
Die Bereichsaufteilungs-Berechnungseinheit 12 erhält durch das Durchführen einer Bereichsaufteilung auf dem Leuchtdichtebild, das durch die Stereokamera aufgenommen wird, ein in Bereiche aufgeteiltes Bild. Die Bereichsaufteilung bedeutet, dass ein Bild für jeden Bereich, der ähnliche Eigenschaften wie etwa Kanten und Leuchtdichte aufweist, aufgeteilt wird und für jeden aufgeteilten Bereich eine Kennzeichnung durchgeführt wird. Hier wird z. B. ein Algorithmus verwendet, auf den ein neurales Faltungsnetz (CNN) angewendet wird. Es sei erwähnt, dass das Kennzeichen hier z. B. eine Straße, ein Kraftfahrzeug, ein Fußgänger, Gras oder dergleichen ist und vorzugsweise für jedes Kennzeichen eine ID eingestellt wird.
Hier wird bevorzugt, dass die Bereichsaufteilungs-Berechnungseinheit 12 das oben beschriebene Leuchtdichtebild auf einer nahen Seite in feinere Bereiche als auf einer fernen Seite aufteilt. Dies ist so, weil die nahe Seite in Bezug auf das Bild näher als die ferne Seite am Trägerfahrzeug liegt, derart, dass der Fehler oder dergleichen durch das feine Aufteilen des Bildes verringert werden kann und die Sicherheit verbessert werden kann.
Die Abstandsbild-Fehlerausschlusseinheit 13 schließt auf der Grundlage des Ergebnisses, das durch die Bereichsaufteilung durch die Bereichsaufteilungs-Berechnungseinheit 12 erhalten wird, den Stereoabgleichfehler aus dem Abstandsbild, das durch die Abstandsberechnungseinheit 11 ausgegeben wird, aus. Wie oben beschrieben ist, enthält das Abstandsbild einen Fehler. Daher schließt die Abstandsbild-Fehlerausschlusseinheit 13 den Stereoabgleichfehler aus dem Abstandsbild und dem in Bereiche aufgeteilten Bild aus und gibt das Abstandsbild, aus dem der Fehler ausgeschlossen worden ist, an die Einheit 14 zur Erzeugung eines dreidimensionalen Raumes aus.
Insbesondere enthält die Abstandsbild-Fehlerausschlusseinheit 13 eine Bildaufteilungseinheit 131, die ein Bild auf der Grundlage des in Bereiche aufgeteilten Bildes, das durch die Bereichsaufteilungs-Berechnungseinheit 12 in Bereiche aufgeteilt worden ist, aufteilt, und eine Abstandserfassungseinheit 132, die für jedes Bild, das durch die Bildaufteilungseinheit 131 aufgeteilt worden ist, einen Abstand erfasst und den Stereoabgleichfehler ausschließt. Die Bildaufteilungseinheit 131 teilt das Bild auf der Grundlage des in Bereiche aufgeteilten Bildes auf und stellt ferner die ID, die in dem in Bereiche aufgeteilten Bild bezeichnet ist, im aufgeteilten Bild ein.
Die Abstandserfassungseinheit 132 erfasst auf der Grundlage der ID, die in dem in Bereiche aufgeteilten Bild eingestellt ist, eine Abstandsverteilung und erfasst ferner einen vorgegebenen Abstand, um den Stereoabgleichfehler auszuschließen. Das heißt, die Abstandserfassungseinheit 132 erfasst einen Abstand, der für jede ID des Bildes beschrieben ist, und entfernt einen im Vergleich zum beschriebenen Abstand unnatürlichen Abstand als einen Fehler.
Insbesondere weist die Abstandserfassungseinheit 132 einen Mechanismus des Änderns des zu erfassenden Abstands abhängig vom Vorhandensein oder Nichtvorhandensein einer Tiefe auf. Es ist denkbar, dass die ID des Bildes als eine Ganzzahl zugewiesen ist und die Ganzzahl und eine Art einander intern zugeordnet sind und z. B. eine Entsprechungsbeziehung, wie in Tabelle 1 gezeigt, aufweisen. Die Abstandserfassungseinheit 132 weist ein Verfahren des Erfassens eines Abstands, der jeder ID entspricht, auf. [Tabelle 1]

ID Art

0 Hintergrund

1 Straße

2 Fahrzeug

3 Fußgänger

4 Zweirädriges Fahrzeug

5 Grasunebenheit
Da z. B. in einem Fall von ID = 1 die Art eine Straße ist, führt die Abstandserfassungseinheit 132 ein Verfahren zum Erfassen eines Abstands aus, das zur Erfassung auf der Straße geeignet ist. Die Bilderfassung beruht auf einer Voraussetzung, dass das Fahrzeug auf der Straße fährt und der Abstand der Straße in Richtung eines Fluchtpunkts mit der Position des Trägerfahrzeugs als 0 m allmählich größer wird und an einem Unendlichkeitspunkt maximal wird. Die Abstandserfassungseinheit 132 korrigiert den Abstand, der für jedes Pixel eingestellt ist, unter dieser Voraussetzung. Da der Abstand in einer X-Achsenrichtung ähnlich ist und sich in einer Y-Achsenrichtung weiter abschwächt, kann eine näherungsweise Kurve gezeichnet werden. Indem der Abstand auf diese Weise korrigiert wird, wird der Fehler des Stereoabgleichfehlers ausgeschlossen.
Außerdem sind in einem Fall von ID = 2, 3 und 4 die Arten ein Kraftfahrzeug (z. B. ein vorausfahrendes Fahrzeug und ein entgegenkommendes Fahrzeug) bzw. ein Fußgänger bzw. ein zweirädriges Fahrzeug. Da sich das Kraftfahrzeug, der Fußgänger und das zweirädrige Fahrzeug jeweils eigenständig bewegen, ist es anders als bei der Straße, wenn ID = 1. Da außerdem die Größe und die Orientierung verschiedene sind, kann erwartet werden, dass der Abstand des in Bereiche aufgeteilten Bildes ebenfalls verschiedene Werte enthält. Da hier der Zweck der Abstandserfassungseinheit 132 darin besteht, einen Abstand zu erfassen, der für eine Synthese geeignet ist, ist es nicht immer notwendig, einen richtigen Abstand zu erfassen. Ferner erfasst die Abstandserfassungseinheit 132 zeitliche Änderungen des Abstandsbildes und des in Bereiche aufgeteilten Bildes, wodurch zeitliche und räumliche Abstandsverteilungen erfasst und Abstandsschwankungen vereinheitlicht werden. Indem die Abstandsschwankungen auf dieses Weise vereinheitlicht werden, wird der Stereoabgleichfehler ausgeschlossen. Es sei erwähnt, dass die zeitlichen oder räumlichen Abstandsverteilungen sogar in einem Bereich des gesamten Bildes auf die X-Achse oder die Y-Achse projiziert werden können oder mit einer zeitlichen Gewichtung berechnet werden können.
In einem Fall von ID = 5 ist die Art Gras. Das Gras und die Grünfläche weisen unregelmäßige Muster auf und ein lokaler Stereoabgleich unter Verwendung des Fensters, der in der vorliegenden Ausführungsform erwogen wird, ist in diesem Fall nicht gut. Daher wird angenommen, dass die Anzahl der Fehlabstimmungen relativ groß ist oder der Abstand nicht häufig erhalten wird. In einem derartigen Fall kann anstelle des Grases selbst ein Abstand einer Straße, für die relativ einfach ein richtiger Abstand geschätzt wird, geschätzt und als der Abstand des Grases verwendet werden. Auf diese Weise wird der Stereoabgleichfehler ausgeschlossen. Es sei erwähnt, dass es hier, wenn ein Bild, das durch Bereichsaufteilung erhalten wird, gemäß der Änderung des Abstands auf einer Straßenoberfläche aufgeteilt wird, einfach ist, die Synthese einer CG auszuführen, die später beschrieben wird.
In der vorliegenden Ausführungsform erfasst die Abstandserfassungseinheit 132 den Abstand entsprechend jeder ID, die jeweils in dem in Bereiche aufgeteilten Bild eingestellt ist, und schließt den Stereoabgleichfehler auf der Grundlage des erfassten Abstands aus, derart, dass die Genauigkeit des Ausschließens des Stereoabgleichfehlers verbessert werden kann.
Die Einheit 14 zur Erzeugung eines dreidimensionalen Raumes erzeugt auf der Grundlage des Abstandsbildes, das durch den Ausschluss durch die Abstandsbild-Fehlerausschlusseinheit 13 erhalten wird, einen dreidimensionalen Raum. Genauer erzeugt die Einheit 14 zur Erzeugung eines dreidimensionalen Raumes einen dreidimensionalen Raum aus dem Abstandsbild, das durch den Ausschluss durch die Abstandsbild-Fehlerausschlusseinheit 13 erhalten wird, und dem Leuchtdichtebild, das durch die Stereokamera aufgenommen wird Da angenommen wird, dass das Leuchtdichtebild durch orthogonale Projektion erhalten wird, können die Koordinaten des dreidimensionalen Raumes erhalten werden, indem auf der Grundlage der Verwendung der Stereokamera das Leuchtdichtebild mit dem Abstandsbild kombiniert wird.
Die Einheit 15 zur Installation eines virtuellen Gegenstands installiert einen virtuellen Gegenstand, der als ein Objekt einer Anwendung der Fahrzeugbordkamera erkannt wird, an einer frei ausgewählten Position und zu einer frei ausgewählten Zeit. Genauer bestimmt die Einheit 15 zur Installation eines virtuellen Gegenstands die Art der CG des zu synthetisierenden virtuellen Gegenstands und bestimmt die Zeit und die Position, zu bzw. an der der virtuelle Gegenstand installiert wird. Hier bestimmt die Einheit 15 zur Installation eines virtuellen Gegenstands vorzugsweise die Installationsposition und die Installationszeit des virtuellen Gegenstands auf der Grundlage von Informationen darüber, wie der virtuelle Gegenstand bewegt werden soll, und eines Bewegungsabstands des Trägerfahrzeugs, der aus dem Steuersignal des Trägerfahrzeugs erhalten wird, Auf diese Weise ist es möglich, ein synthetisches Bild zu erhalten, das näher an einem realen Bild liegt, und eine Wirkung des Verbesserns der Zuverlässigkeit der Simulation wird erhalten. Außerdem installiert die Einheit 15 zur Installation eines virtuellen Gegenstands den virtuellen Gegenstand auf der Grundlage des Ergebnisses der Bestimmung.
Es sei erwähnt, dass der virtuelle Gegenstand ein Gegenstand ist, der als ein Objekt der Anwendung der Fahrzeugbordkamera erkannt wird. und Beispiele dafür enthalten ein Kraftfahrzeug, einen Fußgänger, ein zweirädriges Fahrzeug oder dergleichen. Da ferner der virtuelle Gegenstand auf eine symbolische Weise erzeugt werden kann, können die Geschwindigkeit und die Größe des virtuellen Gegenstands frei eingestellt werden.
Die Einheit 16 zur Synthese eines virtuellen Gegenstands synthetisiert den virtuellen Gegenstand, der durch die Einheit 15 zur Installation eines virtuellen Gegenstands installiert worden ist, mit dem dreidimensionalen Raum, der durch die Einheit 14 zur Erzeugung eines dreidimensionalen Raumes erzeugt worden ist. Hier synthetisiert die Einheit 16 zur Synthese eines virtuellen Gegenstands den virtuellen Gegenstand, der durch die Einheit 15 zur Installation eines virtuellen Gegenstands installiert worden ist, an einer vorgegebenen Position im dreidimensionalen Raum.
Die Bilderzeugungseinheit 17 erzeugt auf der Grundlage des Ergebnisses , das durch die Synthese, durch die Einheit 16 zur Synthese eines virtuellen Gegenstands erhalten wird, ein Leuchtdichtebild. Hier erzeugt die Bilderzeugungseinheit 17 aus dem dreidimensionalen Raum, in dem der virtuelle Gegenstand synthetisiert ist, Leuchtdichtebilder der linken und der rechten Kamera, die durch die Stereokameras erhalten werden.
Andererseits erkennt die Bilderkennungseinheit 20 die Leuchtdichtebilder der linken und der rechten Kamera, die durch die Bilderzeugungseinheit 17 erzeugt worden sind.
Im Folgenden wird ein Betrieb der Einheit 10 zur Synthese eines natürlichen CG-Bildes unter Bezugnahme auf 3 bis 6 beschrieben.
Zuerst berechnet die Abstandsberechnungseinheit 11 einen Abstand durch Stereoabgleich auf der Grundlage des Leuchtdichtebildes, das durch die Stereokamera aufgenommen wird (siehe 3). In 3 ist ein linkes Diagramm eine schematische Darstellung des Leuchtdichtebildes, das durch die Stereokamera erfasst wird, und ein rechtes Diagramm ist eine Darstellung des Abstandsbildes, das durch die Berechnung der Abstandsberechnungseinheit 11 mit einer Farbschattierung erhalten wird. Die Schattierung der Farbe, die im rechten Diagramm veranschaulicht ist, wird für jeden Gegenstand auf der Grundlage der Perspektive des Abstands eingestellt.
Außerdem sind mehrere abweichende Punkte in dem Abstandsbild vorhanden, das im rechten Diagramm veranschaulicht ist. Diese abweichenden Punkte stellen Abstandsfehler dar, die durch den Stereoabgleichfehler bewirkt werden. Wenn derartige Abstandsfehler im Abstandsbild enthalten sind, ändert sich eine Antero-posterior-Beziehung mit dem Gegenstand, wenn die CG synthetisiert wird, und ein Bild mit einem Empfinden von Unbehagen wird erhalten. Das heißt, wenn der virtuelle Gegenstand mit dem Abstandsbild synthetisiert wird, das diese Abstandsfehler enthält, tritt z. B. ein Problem auf, derart, dass ein Abschnitt der Grünfläche, der sich ursprünglich hinter dem virtuellen Gegenstand befinden sollte, derart erscheint, als befände er sich im Vordergrund, und der virtuelle Gegenstand teilweise abgeschirmt ist, derart, dass ein unnatürliches Bild erhalten wird.
Anschließend führt die Bereichsaufteilungs-Berechnungseinheit 12 auf dem Leuchtdichtebild, das durch die Stereokamera aufgenommen wird, eine Bereichsaufteilung durch (siehe 4). Wie in 4 veranschaulicht ist, wird als ein Ergebnis des Durchführens der Bereichsaufteilung auf dem Leuchtdichtebild, das durch die Stereokamera erfasst wird, z. B. eine Kennzeichnung wie etwa „Kraftfahrzeug“, „Straße“, „Grünfläche“, und „andere“ durchgeführt.
Anschließend schließt die Abstandsbild-Fehlerausschlusseinheit 13 auf der Grundlage des Ergebnisses der Bereichsaufteilung durch die Bereichsaufteilungs-Berechnungseinheit 12 den Stereoabgleichfehler aus dem Abstandsbild aus (siehe 5). Insbesondere berechnet die Abstandserfassungseinheit 132 der Abstandsbild-Fehlerausschlusseinheit 13 auf der Grundlage der Kennzeichnung, die durch die oben beschriebene Bereichsaufteilung erhalten wird, den Abstand für jedes Kennzeichen neu und entfernt den Abstandsfehler (das heißt, die abweichenden Punkte im rechten Diagramm aus 3). Durch das Neuberechnen des Abstands aus dem Ergebnis, das durch die Kennzeichnung durch die Bereichsaufteilung erhalten wird, auf diese Weise ist es möglich, den Fehler, der durch den Stereoabgleich bewirkt wird, wirksam auszuschließen und die Synthese des unnatürlichen Bildes zu unterbinden.
Anschließend erzeugt die Einheit 14 zur Erzeugung eines dreidimensionalen Raumes auf der Grundlage des Abstandsbildes, aus dem der Abstandsfehler entfernt worden ist, einen dreidimensionalen Raum und die Einheit 15 zur Installation eines virtuellen Gegenstands installiert einen virtuellen Gegenstand (hier einen Fußgänger) an einer frei ausgewählten Position und zu einer frei ausgewählten Zeit.
Anschließend ordnet die Einheit 16 zur Synthese eines virtuellen Gegenstands den Fußgänger als den virtuellen Gegenstand in dem dreidimensionalen Raum an, der durch die Einheit 14 zur Erzeugung eines dreidimensionalen Raumes erzeugt worden ist, und synthetisiert die CG (siehe das linke Diagramm in 6). Die Bilderzeugungseinheit 17 erzeugt auf der Grundlage der CG, die durch die Einheit 16 zur Synthese eines virtuellen Gegenstands synthetisiert wird, ein Leuchtdichtebild der Stereokamera (siehe das rechte Diagramm in 6).
Da in der Bilderkennungs-Simulatorvorrichtung 1 gemäß der vorliegenden Ausführungsform die Abstandsbild-Fehlerausschlusseinheit 13 auf der Grundlage des Ergebnisses, das durch die Bereichsaufteilung durch die Bereichsaufteilungs-Berechnungseinheit 12 erhalten wird, den Stereoabgleichfehler aus dem Abstandsbild ausschließt, ist es möglich, den virtuellen Gegenstand mit dem Leuchtdichtebild zu synthetisieren, ohne durch den Stereoabgleichfehler beeinflusst zu werden. Daher ist es möglich, ein synthetisches Bild mit Realitätswirkung zu erzeugen.
Da ferner das natürliche Bild verwendet wird, das durch die Stereokamera aufgenommen wird, kann die Realitätswirkung im Vergleich zu einem Fall, bei dem alle Bilder durch CG erzeugt werden, weiter verbessert werden und die Zuverlässigkeit der Simulation kann verbessert werden. Da ferner ein CG-Bild (das heißt, der virtuelle Gegenstand) des Kraftfahrzeugs, des Fußgängers, des zweirädrigen Fahrzeugs oder dergleichen mit dem natürlichen Bild synthetisiert wird, können Variationen des Bildes auf einfache Weise gesteigert werden.
Obwohl die Ausführungsform der vorliegenden Erfindung oben im Einzelnen beschrieben worden ist, ist die vorliegende Erfindung nicht auf die oben beschriebene Ausführungsform eingeschränkt und diverse Entwurfsänderungen können vorgenommen werden, ohne vom Erfindungsgeist der vorliegenden Erfindung, die in den Ansprüchen beschrieben ist, abzuweichen.
Bezugszeichenliste

1: Bilderkennungs-Simulatorvorrichtung
10: Einheit zur Synthese eines natürlichen CG-Bildes
11: Abstandsberechnungseinheit
12: Bereichsaufteilungs-Berechnungseinheit
13: Abstandsbild-Fehlerausschlusseinheit
14: Einheit zur Erzeugung eines dreidimensionalen Raumes
15: Einheit zur Installation eines virtuellen Gegenstands
16: Einheit zur Synthese eines virtuellen Gegenstands
17: Bilderzeugungseinheit
20: Bilderkennungseinheit
131: Bildaufteilungseinheit
132: Abstandserfassungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2020149907 [0002]
JP 2010033321 A [0005]

Claims

Bilderkennungs-Simulatorvorrichtung, die Folgendes umfasst: eine Abstandsberechnungseinheit, die konfiguriert ist, durch Stereoabgleich auf der Grundlage von Leuchtdichtebildern, die durch mindestens zwei Kameras aufgenommen werden, einen Abstand zu berechnen und ein Abstandsbild auszugeben, das ein Berechnungsergebnis als ein Bild darstellt; eine Bereichsaufteilungs-Berechnungseinheit, die konfiguriert ist, durch das Durchführen einer Bereichsaufteilung auf den Leuchtdichtebildern ein in Bereiche aufgeteiltes Bild zu erhalten; eine Abstandsbild-Fehlerausschlusseinheit, die konfiguriert ist, auf der Grundlage eines Ergebnisses, das durch die Bereichsaufteilung durch die Bereichsaufteilungs-Berechnungseinheit erhalten wird, einen Stereoabgleichfehler aus dem Abstandsbild auszuschließen; eine Einheit zur Erzeugung eines dreidimensionalen Raumes, die konfiguriert ist, auf der Grundlage des Abstandsbildes, das durch den Ausschluss durch die Abstandsbild-Fehlerausschlusseinheit erhalten wird, einen dreidimensionalen Raum zu erzeugen; eine Einheit zur Installation eines virtuellen Gegenstands, die konfiguriert ist, einen virtuellen Gegenstand, der als ein Objekt einer Anwendung einer Fahrzeugbordkamera erkannt wird, an einer frei ausgewählten Position und zu einer frei ausgewählten Zeit zu installieren; eine Einheit zur Synthese eines virtuellen Gegenstands, die konfiguriert ist, den virtuellen Gegenstand, der durch die Einheit zur Installation eines virtuellen Gegenstands installiert wird, mit dem dreidimensionalen Raum, der durch die Einheit zur Erzeugung eines dreidimensionalen Raumes erzeugt wird, zu synthetisieren; und eine Bilderzeugungseinheit, die konfiguriert ist, auf der Grundlage eines Ergebnisses, das durch die Synthese durch die Einheit zur Synthese eines virtuellen Gegenstands erhalten wird, die Leuchtdichtebilder der zwei Kameras zu erzeugen.
Bilderkennungs-Simulatorvorrichtung nach Anspruch 1, wobei die Bereichsaufteilungs-Berechnungseinheit jedes der Leuchtdichtebilder auf einer nahen Seite in feinere Bereiche als auf einer fernen Seite aufteilt.
Bilderkennungs-Simulatorvorrichtung nach Anspruch 1 oder 2, wobei die Abstandsbild-Fehlerausschlusseinheit eine Bildaufteilungseinheit, die ein Bild auf der Grundlage des in Bereiche aufgeteilten Bildes, das durch die Bereichsaufteilung durch die Bereichsaufteilungs-Berechnungseinheit erhalten wird, aufteilt, und eine Abstandserfassungseinheit, die für jedes Bild, das durch die Aufteilung durch die Bildaufteilungseinheit erhalten wird, einen Abstand erfasst und den Stereoabgleichfehler ausschließt, enthält.
Bilderkennungs-Simulatorvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Einheit zur Installation eines virtuellen Gegenstands auf der Grundlage von Bewegungsinformationen des virtuellen Gegenstands und eines Bewegungsabstands eines Fahrzeugs eine Installationsposition und eine Installationszeit des virtuellen Gegenstands bestimmt und den virtuellen Gegenstand auf der Grundlage eines Ergebnisses der Bestimmung installiert.