DE112019007342T5

DE112019007342T5 - Lerndaten-erzeugungsvorrichtung, lerndaten-erzeugungsverfahren, lerndatenerzeugungsprogramm, lernvorrichtung, lernverfahren, lernprogramm, inferenzvorrichtung, inferenzverfahren, inferenzprogramm, lernsystem und inferenzsystem

Info

Publication number: DE112019007342T5
Application number: DE112019007342.7T
Authority: DE
Inventors: Mamoru Doi; Yumiko Katayama; Kenya SUGIHARA; Mitsuru Ashizawa
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-06-20
Filing date: 2019-06-20
Publication date: 2022-02-24
Anticipated expiration: 2039-06-21
Also published as: US20220075059A1; JPWO2020255326A1; CA3139105C; CA3139105A1; DE112019007342B4; JP6775697B1; WO2020255326A1

Abstract

Eine Lerndaten-Erzeugungsvorrichtung (100, 100a, 100b) weist auf: eine Zielobjektbild-Erzeugungseinheit (120, 120b) zum Simulieren einer Radarbestrahlung eines Zielobjekts unter Verwendung eines 3D-Modells des Zielobjekts, um ein simuliertes Zielobjektradarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist; eine Hintergrundbild-Erfassungseinheit (140) zum Erfassen eines Hintergrundbildes unter Verwendung von Radarbildinformationen, die von der Radarvorrichtung erzeugt werden, die eine Radarabstrahlung durchführt; eine Bildkombiniereinheit (180, 180a, 180b) zum Erzeugen eines kombinierten Pseudoradarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit (120, 120b) erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit (140) erfasste Hintergrundbild; und eine Lerndaten-Erzeugungseinheit (190) zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit (180, 180a, 180b) erzeugte kombinierte Pseudoradarbild angeben, mit Klasseninformationen, die eine Art des Zielobjekts angeben, assoziieren.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Lerndaten-Erzeugungsvorrichtung, ein Lerndaten-Erzeugungsverfahren, ein Lerndaten-Erzeugungsprogramm, eine Lernvorrichtung, ein Lernverfahren, ein Lernprogramm, eine Inferenzvorrichtung, ein Inferenzverfahren, ein Inferenzprogramm, ein Lernsystem und ein Inferenzsystem.
STAND DER TECHNIK
Ein Objekt, das in der Luft, am Boden oder dergleichen vorhanden ist, wird unter Verwendung eines Radarbildes, das durch Durchführen einer Radarabstrahlung in die Luft, auf den Boden oder dergleichen erzeugt wird, detektiert oder identifiziert.
Zum Beispiel offenbart Patentdokument 1 ein Zielkörper-Identifizierungssystem, das ein Standbild eines abgebildeten Zielkörpers eingibt, durch eine Informationsextraktionseinheit zumindest eine Mehrzahl unterschiedlicher Arten von Informationen in Bezug auf den Zielkörper extrahiert, durch eine Zielkandidaten-Sucheinheit einen Zielkandidaten aus einer Zielinformationsdatenbank heraussucht und den Zielkörper in einem Bild, in dem der Zielkörper abgebildet ist, automatisch identifiziert, durch Einschränken einer Auswahl der Zielkandidaten bei Anwendung einer vorgegebenen Regel durch eine Zielkandidaten-Auswahleinschränkungseinheit, um den Zielkörper zu identifizieren.
Um ein Objekt, das in der Luft, am Boden oder dergleichen vorhanden ist, unter Verwendung eines Radarbildes zu detektieren oder zu identifizieren, ist es beispielsweise notwendig, vorab eine Datenbank zu erstellen, die mit einem Merkmal in einem Radarbild eines Objekts, das in dem Radarbild erscheint, verglichen werden kann, wie etwa die Zielinformationsdatenbank, die im Patentdokument 1 beschrieben ist. Die Datenbank wird beispielsweise durch Aufnehmen eines Radarbildes, das ein zu detektierendes oder zu identifizierendes Objekt (im Folgenden als „Zielobjekt“ bezeichnet) enthält, und Extrahieren eines Merkmals eines Zielobjekts in dem aufgenommenen Radarbild erzeugt. Außerdem ist es auch möglich, eine Inferenzvorrichtung oder dergleichen zu konstruieren, die durch Vorab-Aufnehmen eines Radarbildes, das ein Zielobjekt enthält, unter Verwendung des aufgenommenen Radarbildes als Lerndaten ein maschinelles Lernen durchführt und auf Basis eines Lernergebnisses des maschinellen Lernens das in dem Radarbild erscheinende Zielobjekt detektiert oder identifiziert.
Um ein Zielobjekt, das in einem Radarbild erscheint, mit großer Genauigkeit detektieren oder identifizieren zu können, ist in jedem Fall eine große Zahl von Radarbildern notwendig, in denen das Zielobjekt unter verschiedenen Bedingungen fotografiert ist, etwa in einem Fall, in dem eine Datenbank verwendet wird, oder einem Fall, in dem eine Inferenz auf Basis eines Lernergebnisses des maschinellen Lernens durchgeführt wird.
LISTE DER ENTGEGENHALTUNGEN
PATENTLITERATUR
Patentliteratur 1: JP 2007-207180A
ABRISS DER ERFINDUNG
TECHNISCHES PROBLEM
Wenn eine Radarbestrahlung des Zielobjekts unter verschiedenen Winkeln durchgeführt wird, zeigen die Merkmale des Bildes des Zielobjekts in dem Radarbild unterschiedliche Merkmale. Da das Zielobjekt eine nicht-lineare Form aufweist, zeigen außerdem auch die Merkmale in dem Radarbild des Zielobjekts abhängig von dem Unterschied in der Richtung des Zielobjekts in Bezug auf die Abstrahlrichtung des Radars, mit dem das Zielobjekt bestrahlt wird, unterschiedliche Merkmale. Um eine große Zahl von Radarbildern zu erfassen, in denen ein Zielobjekt unter verschiedenen Bedingungen fotografiert ist, ist es daher notwendig, Laserbilder aufzunehmen, während die Richtung des Zielobjekts, die Abstrahlrichtung des Radars oder dergleichen geändert wird.
Jedoch erfordert es beispielsweise in einem Fall, in dem ein Radarbild durch Durchführen einer Radarabstrahlung aus einem Flugzeug, einem künstlichen Satelliten oder dergleichen, wie etwa einem Synthetic Aperture Radar, erzeugt wird, viel Zeit und Mühe, eine große Anzahl von Radarbildern aufzunehmen, in denen ein Zielobjekt unter verschiedenen Bedingungen fotografiert ist.
Die vorliegende Erfindung soll die oben genannten Probleme lösen und hat die Bereitstellung einer Lerndaten-Erzeugungsvorrichtung zum Ziel, die in der Lage ist, auf einfache Weise Lerndaten zu erzeugen, die für ein maschinelles Lernen zur Detektierung oder Identifizierung eines Zielobjekts, das in einem Radarbild erscheint, verwendet werden.
LÖSUNG DES PROBLEMS
Eine Lerndaten-Erzeugungsvorrichtung gemäß der vorliegenden Erfindung weist auf: eine 3D-Modell-Erfassungseinheit zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben; eine Zielobjektbild-Erzeugungseinheit zum Erzeugen eines simulierten Zielobjektradarbildes, wobei es sich um ein simuliertes Radarbild des Zielobjekts handelt, durch Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen; eine Radarbild-Erfassungseinheit zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von einer Radarvorrichtung erzeugt wird, die eine Radarbestrahlung bzw. -abstrahlung durchführt; eine Hintergrundbild-Erfassungseinheit zum Erfassen eines Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen; eine Bildkombiniereinheit zur Erzeugung eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild; eine Lerndaten-Erzeugungseinheit zur Erzeugung von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die eine Art des Zielobjekts angeben, assoziieren; und eine Lerndaten-Ausgabeeinheit zum Ausgeben der von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Erfindung ist es möglich, auf einfache Weise Lerndaten zu erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Figurenliste

1 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils eines Radarsystems darstellt, auf das eine Lerndaten-Erzeugungsvorrichtung gemäß einer ersten Ausführungsform angewendet wird.
2 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung gemäß der ersten Ausführungsform darstellt.
3 ist eine Darstellung, die ein Beispiel für ein 3D-Modell eines Zielobjekts darstellt, das durch Visualisierung von 3D-Zielobjektmodellinformationen durch Computergrafik erhalten wird.
4 ist eine Darstellung, die ein Beispiel für ein simuliertes Zielobjektradarbild darstellt.
5 ist eine Darstellung, die ein Beispiel für ein Hintergrundbild darstellt.
6 ist eine Darstellung, die ein Beispiel für ein Radarbild darstellt.
7 ist eine Darstellung, die ein Beispiel für ein kombiniertes Pseudo-Radarbild darstellt.
8A und 8B sind Darstellungn, die ein Beispiel für eine Hardware-Konfiguration eines Hauptteils einer Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform darstellen.
9 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Lerndaten-Erzeugungsvorrichtung gemäß der ersten Ausführungsform darstellt.
10 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung einer Bildkombiniereinheit gemäß der ersten Ausführungsform darstellt.
11A ist ein Teil eines Flussdiagramms, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit gemäß der ersten Ausführungsform darstellt.
11B ist ein übriger Teil eines Flussdiagramms, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit gemäß der ersten Ausführungsform darstellt.
12 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils einer Lernvorrichtung gemäß einer Modifikation der ersten Ausführungsform darstellt.
13 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung einer Lernvorrichtung gemäß der Modifikation der ersten Ausführungsform darstellt.
14 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils einer Inferenzvorrichtung gemäß einer anderen Modifikation der ersten Ausführungsform darstellt.
15 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung einer Inferenzvorrichtung gemäß einer anderen Modifikation der ersten Ausführungsform darstellt.
16 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils eines Radarsystems darstellt, auf das eine Lerndaten-Erzeugungsvorrichtung gemäß einer zweiten Ausführungsform angewendet wird.
17 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung gemäß der zweiten Ausführungsform darstellt.
18 ist eine Darstellung, die ein Beispiel für ein Pseudo-Radarschattenbild darstellt.
19 ist eine Darstellung, die ein Beispiel für ein kombiniertes Pseudo-Radarbild darstellt.
20 ist eine Darstellung, die ein Beispiel für ein Rauschbild darstellt.
21 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Lerndaten-Erzeugungsvorrichtung gemäß der zweiten Ausführungsform darstellt.
22A ist ein Teil eines Flussdiagramms, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit gemäß der zweiten Ausführungsform darstellt.
22B ist ein übriger Teil eines Flussdiagramms, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit gemäß der zweiten Ausführungsform darstellt.
23A ist ein Teil eines Flussdiagramms, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit gemäß der zweiten Ausführungsform darstellt.
23B ist ein übriger Teil eines Flussdiagramms, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit gemäß der zweiten Ausführungsform darstellt.
24 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils eines Radarsystems darstellt, auf das eine Lerndaten-Erzeugungsvorrichtung gemäß einer dritten Ausführungsform angewendet wird.
25 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung gemäß der dritten Ausführungsform darstellt.
26 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Lerndaten-Erzeugungsvorrichtung gemäß der dritten Ausführungsform darstellt.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
Erste Ausführungsform.
Eine Lerndaten-Erzeugungsvorrichtung 100 gemäß einer ersten Ausführungsform wird nun unter Bezugnahme auf 1 bis 11 beschrieben.
1 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils eines Radarsystems 1 darstellt, auf das die Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform angewendet wird.
Das Radarsystem 1 weist eine Lerndaten-Erzeugungsvorrichtung 100, eine Radarvorrichtung 10, eine Lernvorrichtung 20, eine Inferenzvorrichtung 30, eine Speichervorrichtung 40, eine Eingabevorrichtung 50 und eine Ausgabevorrichtung 60 auf.
Es sei bemerkt, dass die Konfiguration, welche die Lerndaten-Erzeugungsvorrichtung 100, die Lernvorrichtung 20 und die Speichervorrichtung 40 aufweist, als ein Lernsystem 2 arbeitet.
Außerdem arbeitet eine Konfiguration, welche die Lerndaten-Erzeugungsvorrichtung 100, die Lernvorrichtung 20, die Inferenzvorrichtung 30 und die Speichervorrichtung 40 aufweist, als Inferenzsystem 3.
Die Speichervorrichtung 40 ist eine Vorrichtung zum Speichern elektronischer Informationen, die ein Speichermedium, wie etwa ein Halbleiterlaufwerk bzw. Solid State Drive (SSD) oder ein Festplattenlaufwerk (HDD), aufweist. Die Speichervorrichtung 40 ist mit der Lerndaten-Erzeugungsvorrichtung 100, der Radarvorrichtung 10, der Lernvorrichtung 20, der Inferenzvorrichtung 30 oder dergleichen über eine kabelgebundene Kommunikationseinheit oder eine drahtlose Kommunikationseinheit verbunden.
Die Radarvorrichtung 10 emittiert ein Radarsignal, empfängt ein reflektiertes Signal des emittierten Radarsignals als reflektiertes Radarsignal, erzeugt ein Radarbild, das dem empfangenen reflektierten Radarsignal entspricht, und gibt Radarbildinformationen aus, die das erzeugte Radarbild angeben.
Genauer gibt die Radarvorrichtung 10 die Radarbildinformationen an die Lerndaten-Erzeugungsvorrichtung 100 oder die Speichervorrichtung 40 und die Inferenzvorrichtung 30 aus.
Die Radarvorrichtung 10 kann die Radarbildinformationen nicht nur an die Lerndaten-Erzeugungsvorrichtung 100 oder die Speichervorrichtung 40 und die Inferenzvorrichtung 30, sondern auch an die Lernvorrichtung 20 ausgeben.
In den Radarbildinformationen, die von der Radarvorrichtung 10 ausgegeben werden, gibt beispielsweise jeder Pixelwert des Radarbildes, das von den Radarbildinformationen angegeben wird, die Intensität des reflektierten Radarsignals an. Die Radarbildinformationen können Phaseninformationen einschließen.
Ferner kann beispielsweise in den Radarbildinformationen, die von der Radarvorrichtung 10 ausgegeben werden, die Intensität des reflektierten Radarsignals in jedem Pixelwert des Radarbildes, das von den Radarbildinformationen angegeben wird, in eine logarithmische Skala umgewandelt werden, und ferner kann die Intensität des reflektierten Radarsignals nach der Umwandlung in die logarithmische Skala normalisiert werden, so dass der maximale Werte 1 ist und der minimale Wert 0 ist. Das auf solche Weise normalisierte, von den Radarbildinformationen angegebene Radarbild kann visuell als Graustufenbild erkannt werden, in dem der maximale Wert 1 ist und der minimale Wert 0 ist.
Im Folgenden wird eine Beschreibung unter der Annahme geliefert, dass jeder Pixelwert des Radarbildes, das von den Radarbildinformationen angegeben wird, die Intensität des reflektierten Radarsignals in den von der Radarvorrichtung 10 ausgegebenen Radarbildinformationen angibt.
Die Lerndaten-Erzeugungsvorrichtung 100 erzeugt Lerndaten, die verwendet werden, wenn maschinelles Lernen durchgeführt wird, um ein Zielobjekt, das in einem Radarbild erscheint, zu detektieren und zu identifizieren, und gibt die erzeugten Lerndaten an die Lernvorrichtung 20 oder die Speichervorrichtung 40 aus. Einzelheiten der Lerndaten-Erzeugungsvorrichtung 100 werden weiter unten beschrieben.
Die Lernvorrichtung 20 erfasst Lerndaten und führt ein maschinelles Lernen durch, um unter Verwendung der erfassten Lerndaten ein Zielobjekt zu detektieren oder zu identifizieren, das in einem Radarbild erscheint, das von aus der Radarvorrichtung 10 ausgegebenen Radarbildinformationen angegeben wird. Die Lernvorrichtung 20 erfasst die von der Lerndaten-Erzeugungsvorrichtung 100 ausgegebenen Lerndaten, die verwendet werden, um maschinelles Lernen durchzuführen, aus der Lerndaten-Erzeugungsvorrichtung 100 oder der Speichervorrichtung 40. Zusätzlich zu der Erfassung der Lerndaten, die verwendet werden, um maschinelles Lernen durchzuführen, aus der Lerndaten-Erzeugungsvorrichtung 100 oder der Speichervorrichtung 40 kann die Lernvorrichtung 20 die von der Radarvorrichtung 10 ausgegebenen Radarbildinformationen als die Lerndaten aus der Radarvorrichtung 10 oder der Speichervorrichtung 40 erfassen. Die Lernvorrichtung 20 gibt an die Inferenzvorrichtung 30 oder die Speichervorrichtung 40 Informationen über ein gelerntes Modell aus, die ein gelerntes Modell angeben, das einem Lernergebnis des maschinellen Lernens entspricht, um ein Zielobjekt, das in einem Radarbild erscheint, zu detektieren oder zu identifizieren. Das gelernte Modell, das von den Informationen über ein gelerntes Modell, die von der Lernvorrichtung 20 ausgegeben werden, angegeben wird, ist ein neuronales Netz oder dergleichen mit einer Eingabeschicht, einer Zwischenschicht, einer Ausgabeschicht und dergleichen.
Die Inferenzvorrichtung 30 erfasst die von der Radarvorrichtung 10 ausgegebenen Radarbildinformationen aus der Radarvorrichtung 10 oder der Speichervorrichtung 40 und erfasst die von der Lernvorrichtung 20 ausgegebenen Informationen über ein gelerntes Modell aus der Lernvorrichtung 20 oder der Speichervorrichtung 40. Die Inferenzvorrichtung 30 detektiert oder identifiziert das Zielobjekt, das in dem von den erfassten Radarbildinformationen angegebenen Radarbild erscheint, unter Verwendung des gelernten Modells, das von den Informationen über ein gelerntes Modell angegeben wird. Die Inferenzvorrichtung 30 gibt Ergebnisinformationen, die das Detektierungsergebnis der Zielobjekterfassung, das identifizierte Identifizierungsergebnis oder dergleichen angeben, an die Ausgabevorrichtung 60 aus.
Die Eingabevorrichtung 50 ist beispielsweise eine Betätigungseingabevorrichtung, wie etwa eine Tastatur oder eine Maus. Die Eingabevorrichtung 50 empfängt eine Betätigung von dem Anwender und gibt ein Betätigungssignal, das der Betätigung des Anwenders entspricht, über eine kabelgebundene Kommunikationseinheit oder eine kabellose Kommunikationseinheit an die Lerndaten-Erzeugungsvorrichtung 100 aus.
Die Ausgabevorrichtung 60 ist beispielsweise eine Anzeigeausgabevorrichtung, wie etwa eine Anzeige. Die Ausgabevorrichtung 60 ist nicht auf die Anzeigeausgabevorrichtung beschränkt und kann eine Leuchtvorrichtung, wie eine Lampe, eine Audio-Ausgabeeinheit, wie ein Lautsprecher, oder dergleichen sein. Die Ausgabevorrichtung 60 erfasst die von der Inferenzvorrichtung 30 ausgegebenen Ergebnisinformationen und gibt die erfassten Ergebnisinformationen durch Licht, Sprache oder dergleichen in einem Zustand aus, in dem sie von einem Anwender erkannt werden können.
Eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform wird nun unter Bezugnahme auf 2 beschrieben.
2 ist ein Blockschema, das ein Beispiel für eine Konfiguration des Hauptteils der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform darstellt.
Die Lerndaten-Erzeugungsvorrichtung 100 weist eine Aktionsempfangseinheit 101, eine 3D-Modell-Erfassungseinheit 110, eine Zielobjektbild-Erzeugungseinheit 120, eine Radarbild-Erfassungseinheit 130, eine Hintergrundbild-Erfassungseinheit 140, eine Bildkombiniereinheit 180, eine Lerndaten-Erzeugungseinheit 190 und eine Lerndaten-Ausgabeeinheit 199 auf.
Zusätzlich zu der oben beschriebenen Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100 eine Positionsbestimmungseinheit 160, eine Größenbestimmungseinheit 170 und eine eingebettete Koordinatenerfassungseinheit 181 aufweisen.
Als Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform wird eine beschrieben, welche die Positionsbestimmungseinheit 160 und die Größenbestimmungseinheit 170 aufweist, wie in 2 dargestellt.
Die Aktionsempfangseinheit 101 empfängt ein Aktionssignal, das von der Eingabevorrichtung 50 ausgegeben wird, wandelt das empfangene Aktionssignal in Aktionsinformationen um, die dem Aktionssignal entsprechen, und gibt die umgewandelten Aktionsinformationen an die 3D-Modell-Erfassungseinheit 110, die Zielobjektbild-Erzeugungseinheit 120, die Hintergrundbild-Erfassungseinheit 140, die Bildkombiniereinheit 180 oder dergleichen aus.
Die 3D-Modell-Erfassungseinheit 110 erfasst 3D-Zielobjektmodellinformationen, die das 3D-Modell des Zielobjekts angeben. Die 3D-Modell-Erfassungseinheit 110 erfasst die 3D-Zielobjektmodellinformationen beispielsweise durch Lesen der 3D-Zielobjektmodellinformationen aus der Speichervorrichtung 40. Die 3D-Modell-Erfassungseinheit 110 kann die 3D-Zielobjektmodellinformationen bereits enthalten. Ferner kann die 3D-Modell-Erfassungseinheit 110 die 3D-Zielobjektmodellinformationen beispielsweise auf der Basis der von der Aktionsempfangseinheit 101 ausgegebenen Aktionsinformationen erfassen. Genauer gibt der Anwender beispielsweise die 3D-Zielobjektmodellinformationen durch Bedienen der Eingabevorrichtung 50 ein. Die Aktionsempfangseinheit 101 empfängt ein Aktionssignal, das die 3D-Zielobjektmodellinformationen angibt, wandelt das Aktionssignal in Aktionsinformationen um, die dem Aktionssignal entsprechen, und gibt die geänderten Aktionsinformationen an die 3D-Modell-Erfassungseinheit 110 aus. Die 3D-Modell-Erfassungseinheit 110 erfasst die 3D-Zielobjektmodellinformationen durch Erfassen der Aktionsinformationen aus der Aktionsempfangseinheit 101.
Die von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen sind strukturelle Informationen, von denen die Struktur des Zielobjekts, wie etwa eine Form oder Größe des Zielobjekts, angegeben wird. Die 3D-Zielobjektmodellinformationen können zusätzlich zu den strukturellen Informationen Zusammensetzungsinformationen oder dergleichen einschließen, die ein Material eines Bauteils des Zielobjekt oder eine Zusammensetzung des Zielobjekts angeben, wie etwa eine Oberflächenrauigkeit.
3 ist eine Darstellung, die ein Beispiel für ein 3D-Modell eines Zielobjekts darstellt, das durch computergrafische Visualisierung von durch die 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen erhalten wird.
Wie in 3 dargestellt, ist das Zielobjekt ein Flugzeug. Das Zielobjekt ist nicht auf ein Flugzeug beschränkt und kann ein Objekt wie etwa ein Automobil oder ein Schiff sein.
Die Zielobjektbild-Erzeugungseinheit 120 simuliert eine Radarbestrahlung eines Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen und erzeugt ein simuliertes Radarbild des Zielobjekts (im Folgenden als „simuliertes Zielobjektradarbild“ bezeichnet).
Genauer erfasst die Zielobjektbild-Erzeugungseinheit 120 beispielsweise Parameter wie die Abstrahlrichtung des Radars in Bezug auf das Zielobjekt oder die Richtung des Zielobjekts in Bezug auf die Abstrahlrichtung des Radars, den Abstand zwischen der Emissionsposition der Radarbestrahlung des Zielobjekts und dem Zielobjekt oder die Streuungsrate des Radars zwischen der Emissionsposition der Radarbestrahlung des Zielobjekts und dem Zielobjekt, wenn die Radarbestrahlung des Zielobjekts durchgeführt wird.
Zum Beispiel erfasst die Zielobjektbild-Erzeugungseinheit 120 den Parameter auf der Basis der von der Aktionsempfangseinheit 101 ausgegebenen Aktionsinformationen. Genauer gibt der Anwender beispielsweise den Parameter durch Bedienen der Eingabevorrichtung 50 ein. Die Aktionsempfangseinheit 101 empfängt das Aktionssignal, das den Parameter angibt, wandelt das Aktionssignal in Aktionsinformationen um, die dem Aktionssignal entsprechen, und gibt die geänderten Aktionsinformationen an die Zielobjektbild-Erzeugungseinheit 120 aus. Die Zielobjektbild-Erzeugungseinheit 120 erfasst den Parameter durch Erfassen der Aktionsinformationen aus der Aktionsempfangseinheit 101. Die Zielobjektbild-Erzeugungseinheit 120 kann den Parameter bereits enthalten oder kann den Parameter durch Auslesen aus der Speichervorrichtung 40 erfassen.
Die Zielobjektbild-Erzeugungseinheit 120 simuliert eine Radarbestrahlung des Zielobjekts und erzeugt ein simuliertes Zielobjektradarbild auf der Basis des erfassten Parameters und der von der 3D-Modellerfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen.
4 ist eine Darstellung, die ein Beispiel für ein simuliertes Zielobjektradarbild darstellt, das von der Zielobjektbild-Erzeugungseinheit 120 durch Simulieren einer Radarbestrahlung eines Zielobjekts unter Verwendung der 3D-Zielobjektmodellinformationen, die das in 3 dargestellte 3D-Modell des Zielobjekts angeben, erzeugt worden ist. Es sei bemerkt, dass 4 durch Umwandeln der Intensität des reflektierten Radarsignals der simulierten Radarbestrahlung in eine logarithmische Skala in jedem Pixelwert des simulierten Zielobjektradarbildes und ferner durch Normalisieren der in die logarithmische Skala umgewandelten Intensität des reflektierten Radarsignals auf solche Weise, dass es einen Wert zwischen 0 und 1 aufweist, das simulierte Zielobjektradarbild als Graustufenbild visualisiert.
Die Radarbild-Erfassungseinheit 130 erfasst Radarbildinformationen, die ein Radarbild angeben, das von der eine Radarabstrahlung durchführenden Radarvorrichtung 10 erzeugt wird. Genauer erfasst die Radarbild-Erfassungseinheit 130 die von der Radarvorrichtung 10 ausgegebenen Radarbildinformationen aus der Radarvorrichtung 10 oder der Speichervorrichtung 40.
Die Hintergrundbild-Erfassungseinheit 140 erfasst ein Hintergrundbild unter Verwendung der von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen.
Genauer erfasst die Hintergrundbild-Erfassungseinheit 140 als Hintergrundbild beispielsweise ein Laserbild, in dem kein Objekt, wie etwa ein Zielobjekt, enthalten ist, in einem Radarbild, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird.
5 ist eine Darstellung, die ein Beispiel für ein Hintergrundbild darstellt, das von der Hintergrundbild-Erfassungseinheit 140 erfasst wird. Es sei bemerkt, dass in 5 in jedem Pixelwert des Hintergrundbildes die Intensität des reflektierten Radarsignals in eine logarithmische Skala umgewandelt ist, die in die logarithmische Skala umgewandelte Intensität des reflektierten Radarsignals so normalisiert ist, dass sie einen Wert zwischen 0 und 1 aufweist, und dadurch das Hintergrundbild als Graustufenbild visualisiert ist.
Außerdem kann die Radarbild-Erfassungseinheit 130 beispielsweise Radarbildinformationen erfassen, die ein Radarbild angeben, in dem ein weiter Bereich fotografiert ist, und die Hintergrundbild-Erfassungseinheit 140 kann eine Bild-Teilregion des Radarbildes, in dem ein weiter Bereich fotografiert ist, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, ausschneiden und die ausgeschnittene Bildregion als Hintergrundbild erfassen. Genauer schneidet die Hintergrundbild-Erfassungseinheit 140 beispielsweise eine Bildregion, in der kein Objekt, wie etwa ein Zielobjekt, enthalten ist, aus einem Radarbild aus, in dem ein weiter Bereich fotografiert ist, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, und erfasst die ausgeschnittene Bildregion als Hintergrundbild.
Zum Beispiel bestimmt die Hintergrundbild-Erfassungseinheit 140 eine Bildregion, die aus einem Radarbild ausgeschnitten werden soll, in dem ein weiter Bereich fotografiert ist, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, auf der Basis der von der Aktionsempfangseinheit 101 ausgegebenen Aktionsinformationen. Genauer gibt der Anwender beispielsweise eine Bildregion, die ausgeschnitten werden soll, durch Bedienen der Eingabevorrichtung 50 ein. Die Aktionsempfangseinheit 101 empfängt ein Aktionssignal, das eine Bildregion angibt, die ausgeschnitten werden soll, wandelt das Aktionssignal in Aktionsinformationen um, die dem Aktionssignal entsprechen, und gibt die geänderten Aktionsinformationen an die Hintergrundbild-Erfassungseinheit 140 aus. Die Hintergrundbild-Erfassungseinheit 140 erfasst die Aktionsinformationen aus der Aktionsempfangseinheit 101, um eine Bildregion zu bestimmen, die ausgeschnitten werden soll.
6 ist eine Darstellung, die ein Beispiel für ein Radarbild darstellt, in dem ein weiter Bereich fotografiert ist, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird. Es sei bemerkt, dass in 6 in jedem Pixelwert des Radarbildes die Intensität des reflektierten Radarsignals in eine logarithmische Skala umgewandelt ist, die in die logarithmische Skala umgewandelte Intensität des reflektierten Radarsignals so normalisiert ist, dass sie einen Wert zwischen 0 und 1 aufweist, und dadurch das Radarbild als Graustufenbild visualisiert ist.
Die Hintergrundbild-Erfassungseinheit 140 schneidet in dem Radarbild, in dem ein weiter Bereich fotografiert ist, wie in 6 gezeigt, eine Bildregion aus, in der kein Objekt, wie etwa ein Zielobjekt wie in 5 gezeigt, enthalten ist, und erfasst die ausgeschnittene Bildregion als Hintergrundbild.
Die Bildkombiniereinheit 180 fügt das von der Zielobjektbild-Erzeugungseinheit 120 erzeugte simulierte Zielobjektradarbild an einer vorgegeben Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild ein, um ein kombiniertes Pseudo-Radarbild zu erzeugen, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird.
7 ist eine Darstellung, die ein Beispiel für ein kombiniertes Pseudo-Radarbild darstellt, das von der Bildkombiniereinheit 180 erzeugt wird. Es sei bemerkt, dass 7 durch Umwandeln der Intensität des reflektierten Radarsignals und der Intensität des reflektierten Radarsignals der simulierten Radarabstrahlung in eine logarithmische Skala in jedem Pixelwert des kombinierten Pseudo-Radarbildes und ferner durch Normalisieren der in die logarithmische Skala umgewandelten Intensität des reflektierten Radarsignals und der in die logarithmische Skala umgewandelten Intensität des reflektierten Radarsignals in der simulierten Radarabstrahlung auf solche Weise, dass es Werte zwischen 0 und 1 aufweist, das kombinierte Pseudo-Radarbild als Graustufenbild visualisiert.
Zum Beispiel erfasst die Bildkombiniereinheit 180 eine Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild eingefügt wird, auf der Basis der von der Aktionsempfangseinheit 101 ausgegebenen Aktionsinformationen. Genauer gibt der Anwender beispielsweise die Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild eingefügt wird, durch Bedienen der Eingabevorrichtung 50 ein. Die Aktionsempfangseinheit 101 empfängt ein Aktionssignal, das eine Position in dem Hintergrundbild angibt, in die das simulierte Zielobjektradarbild eingefügt wird, wandelt das Aktionssignal in Aktionsinformationen um, die dem Aktionssignal entsprechen, und gibt die geänderten Aktionsinformationen an die Bildkombiniereinheit 180 aus. Die Bildkombiniereinheit 180 erfasst die Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild eingefügt wird, durch Erfassen der Aktionsinformationen aus der Aktionsempfangseinheit 101.
Ferner kann beispielsweise in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100 die Positionsbestimmungseinheit 160 aufweist, die Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild eingefügt wird, von der Positionsbestimmungseinheit 160 bestimmt werden.
Die Positionsbestimmungseinheit 160 bestimmt eine Position, in die das von der Zielobjektbild-Erzeugungseinheit 120 erzeugte simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird, auf Basis des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und der Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert.
Außerdem kann die Bildkombiniereinheit 180 die Größe des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes in eine vorgegebene Größe ändern und das simulierte Zielobjektradarbild nach der Größenänderung an einer vorgegeben Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild einfügen, um ein kombiniertes Pseudo-Radarbild zu erzeugen, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird.
Zum Beispiel wird in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100 die Größenbestimmungseinheit 170 aufweist, die geänderte Größe des simulierten Zielobjektradarbildes von der Positionsbestimmungseinheit 170 bestimmt.
Die Größenbestimmungseinheit 170 bestimmt die Größe der Einfügung des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes in das Hintergrundbild auf Basis des Verhältnisses zwischen dem Abstand zwischen dem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und der Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert, und dem Abstand zwischen dem angenommenen Zielobjekt und der Emissionsposition der Radarabstrahlung in der Radarvorrichtung 10, wenn die Radarvorrichtung 10 eine tatsächliche Radarabstrahlung durchführt.
Die Lerndaten-Erzeugungseinheit 190 erzeugt Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180 erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die den Typ des Zielobjekts angeben, assoziieren. Die Lerndaten-Erzeugungseinheit 190 kann Lerndaten erzeugen, in denen die Position, in die die Bildkombiniereinheit 180 das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt hat, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, assoziiert ist.
Genauer kann die Lerndaten-Erzeugungseinheit 190 beispielsweise in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100 die eingebettete Koordinatenerfassungseinheit 181 aufweist, durch die eingebettete Koordinatenerfassungseinheit 181 Informationen erfassen, die Koordinaten eines Pixels in einem Hintergrundbild angeben, in dem die Bildkombiniereinheit 180 einen Pixelwert des Hintergrundbildes durch einen Pixelwert des simulierten Zielobjektradarbildes ersetzt hat, und durch Assoziieren der erfassten Informationen, die das Bild angeben, mit den Klasseninformationen, die einen Typ des Zielobjekts angeben, Lerndaten erzeugen.
Die eingebettete Koordinatenerfassungseinheit 181 erfasst aus der Bildkombiniereinheit 180 Informationen, die Koordinaten von Pixeln in dem Hintergrundbild, in denen die Bildkombiniereinheit 180 den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat, angeben. Die eingebettete Koordinatenerfassungseinheit 181 gibt die erfassten Informationen an die Lerndaten-Erzeugungseinheit 190 aus.
Die Lerndatenausgabeeinheit 199 gibt die von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten aus.
Eine Hardware-Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform wird nun unter Bezugnahme auf 8A und 8B beschrieben.
8A und 8B sind Darstellungn, die ein Beispiel für eine Hardware-Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform darstellen.
Wie in 8A dargestellt ist, weist die Lerndaten-Erzeugungsvorrichtung 100 einen Computer auf, und der Computer weist einen Prozessor 201 und einen Speicher 202 auf. Der Speicher 202 speichert Programme, um den Computer zu veranlassen, als die Aktionsempfangseinheit 101, die 3D-Modell-Erfassungseinheit 110, die Zielobjektbild-Erzeugungseinheit 120, eine Radarbild-Erfassungseinheit 130, die Hintergrundbild-Erfassungseinheit 140, die Positionsbestimmungseinheit 160, die Größenbestimmungseinheit 170, die Bildkombiniereinheit 180, die eingebettete Koordinatenerfassungseinheit 181, die Lerndaten-Erzeugungseinheit 190 und die Lerndatenausgabeeinheit 199 zu fungieren. Der Prozessor 201 liest und führt das in dem Speicher 202 gespeicherte Programm aus, um die Aktionsempfangseinheit 101, die 3D-Modell-Erfassungseinheit 110, die Zielobjektbild-Erzeugungseinheit 120, die Radarbild-Erfassungseinheit 130, die Hintergrundbild-Erfassungseinheit 140, die Positionsbestimmungseinheit 160, die Größenbestimmungseinheit 170, die Bildkombiniereinheit 180, die eingebettete Koordinatenerfassungseinheit 181, die Lerndaten-Erzeugungseinheit 190 und die Lerndatenausgabeeinheit 199 zu implementieren.
Wie in 8B dargestellt ist, kann die Lerndaten-Erzeugungsvorrichtung 100 außerdem eine Verarbeitungsschaltung 203 aufweisen. In diesem Fall können die Funktionen der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Positionsbestimmungseinheit 160, der Größenbestimmungseinheit 170, der Bildkombiniereinheit 180, der eingebetteten Koordinatenerfassungseinheit 181, der Lerndaten-Erzeugungseinheit 190 und der Lerndatenausgabeeinheit 199 von der Verarbeitungsschaltung 203 implementiert werden.
Ferner kann die Lerndaten-Erzeugungsvorrichtung 100 den Prozessor 201, den Speicher 202 und die Verarbeitungsschaltung 203 (nicht dargestellt) aufweisen. In diesem Fall können manche der Funktionen der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Positionsbestimmungseinheit 160, der Grö-ßenbestimmungseinheit 170, der Bildkombiniereinheit 180, der eingebetteten Koordinatenerfassungseinheit 181, der Lerndaten-Erzeugungseinheit 190 und der Lerndatenausgabeeinheit 199 von dem Prozessor 201 und dem Speicher 202 implementiert werden, und die übrigen Funktionen können von der Verarbeitungsschaltung 203 implementiert werden.
Der Prozessor 201 verwendet beispielsweise eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Mikroprozessor, einen Mikrocontroller und/oder eine Digitalsignalprozessor (DSP).
Der Speicher 202 verwendet beispielsweise einen Halbleiterspeicher oder eine Magnetplatte. Genauer verwendet der Speicher 202 einen Random-Access-Speicher (RAM), einen Read-only-Speicher (ROM), einen Flash-Speicher, einen löschbaren programmierbaren Read-only-Speicher (EPROM), einen elektrisch löschbaren programmierbaren Read-only-Speicher (EEPROM), ein SSD, ein HDD oder dergleichen.
Die Verarbeitungsschaltung 203 verwendet beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC), eine programmierbare Logikeinrichtung (PLD), ein feldprogrammierbares Gate-Array (FPGA), ein System-on-a-Chip (SoC) oder ein hochintegriertes System (LSI).
Der Betrieb der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform wird unter Bezugnahme auf 9 beschrieben.
9 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform darstellt.
Zum Beispiel führt die Lerndaten-Erzeugungsvorrichtung 100 wiederholt die Verarbeitung des Flussdiagramms aus.
Zuerst erfasst die 3D-Modell-Erfassungseinheit 110 in Schritt ST901 3D-Zielobjektmodellinformationen.
Dann erzeugt die Zielobjektbild-Erzeugungseinheit 120 in Schritt ST902 ein simuliertes Zielobjektradarbild.
Dann erfasst die Radarbild-Erfassungseinheit 130 in Schritt ST903 Radarbildinformationen.
Dann erfasst die Hintergrundbild-Erfassungseinheit 140 in Schritt ST904 ein Hintergrundbild.
Dann bestimmt die Positionsbestimmungseinheit 160 in Schritt ST905 eine Position, in die das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird.
Dann bestimmt die Größenbestimmungseinheit 170 in Schritt ST906 die Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild.
Dann erzeugt die Bildkombiniereinheit 180 in Schritt ST907 ein kombiniertes Pseudo-Radarbild.
Dann erfasst die eingebettete Koordinatenerfassungseinheit 181 in Schritt ST908 Informationen, die Koordinaten eines Pixels in dem Hintergrundbild angeben, in dem die Bildkombiniereinheit 180 den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat.
Dann erzeugt die Lerndaten-Erzeugungseinheit 190 in Schritt ST909 Lerndaten.
Dann gibt die Lerndatenausgabeeinheit 199 in Schritt ST910 die Lerndaten aus.
Nach der Ausführung der Verarbeitung von Schritt ST910 beendet die Lerndaten-Erzeugungsvorrichtung 100 die Verarbeitung des Flussdiagramms, bringt die Verarbeitung zurück zu Schritt ST901 und führt die Verarbeitung des Flussdiagramms wiederholt aus.
Es sei bemerkt, dass bei der Verarbeitung des Flussdiagramms in einem Fall, in dem die Verarbeitung von Schritt ST901 der Verarbeitung von Schritt ST902 vorangeht, die Verarbeitung von Schritt ST903 der Verarbeitung von Schritt ST904 vorangeht und die Verarbeitung von Schritt ST901 bis ST904 dem Schritt ST905 vorangeht, die Reihenfolge der Verarbeitung von Schritt ST901 bis Schritt ST904 beliebig ist.
Ferner kann in einem Fall, in dem es nicht notwendig ist, die 3D-Zielobjektmodellinformationen zu ändern, bei der wiederholten Ausführung der Verarbeitung des Flussdiagramms die Verarbeitung von Schritt ST901 weggelassen werden.
Ferner kann in einem Fall, in dem es nicht notwendig ist, die Radarbildinformationen zu ändern, bei der wiederholten Ausführung der Verarbeitung des Flussdiagramms die Verarbeitung von Schritt ST903 weggelassen werden.
Es wird ein Verfahren beschrieben, in dem die Bildkombiniereinheit 180 durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes ein kombiniertes Pseudo-Radarbild erzeugt.
Es wird ein erstes Verfahren beschrieben, in dem die Bildkombiniereinheit 180 ein kombiniertes Pseudo-Radarbild erzeugt.
Es wird ein Verfahren zum Erzeugen eines kombinierten Pseudo-Radarbildes durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes in der Bildkombiniereinheit 180 beschrieben.
Zum Beispiel erzeugt die Bildkombiniereinheit 180 ein kombiniertes Pseudo-Radarbild durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes durch Addieren jedes Pixelwerts des simulierten Zielobjektradarbildes und eines Pixelwerts an einer Position eines Pixels, die einer Position des jeweiligen Pixels des simulierten Zielobjektradarbildes in dem Hintergrundbild entspricht, um das simulierte Zielobjektradarbild zu kombinieren.
Es wird ein zweites Verfahren beschrieben, in dem die Bildkombiniereinheit 180 ein kombiniertes Pseudo-Radarbild erzeugt.
In einem Fall, in dem die Zielobjektbild-Erzeugungseinheit 120 das simulierte Zielobjektradarbild als das Graustufenbild erzeugt, das so normalisiert ist, dass jeder Pixelwert des simulierten Zielobjektradarbildes einen Wert zwischen 0 und 1 oder dergleichen aufweist, und die Hintergrundbild-Erfassungseinheit 140 das Hintergrundbild als das Graustufenbild erfasst, das so normalisiert ist, dass jeder Pixelwert des Hintergrundbildes einen Wert zwischen 0 und 1 oder dergleichen aufweist, kann die Bildkombiniereinheit 180 das kombinierte Pseudo-Radarbild beispielsweise durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes wie nachstehend beschrieben erzeugen.
In diesem Fall vergleicht die Bildkombiniereinheit 180 beispielsweise jeden Pixelwert des simulierten Zielobjektradarbildes mit einem Pixelwert an einer Position eines Pixels, die einer Position eines jeweiligen Pixels des simulierten Zielobjektradarbildes in dem Hintergrundbild entspricht, zum Kombinieren des simulierten Zielobjektradarbildes und ersetzt für ein Pixel, bei dem der Pixelwert des simulierten Zielobjektradarbildes größer ist als der Pixelwert des Hintergrundbildes, den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes, wodurch das Hintergrundbild und das simulierte Zielobjektradarbild kombiniert werden, um ein kombiniertes Pseudo-Radarbild zu erzeugen.
Das erste und das zweite Verfahren, in denen die Bildkombiniereinheit 180 das kombinierte Pseudo-Radarbild erzeugt, sind nur Beispiele, und das Verfahren, in dem die Bildkombiniereinheit 180 das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erzeugt, ist nicht auf das oben beschriebene erste und zweite Verfahren beschränkt.
Die Aktion der Bildkombiniereinheit 180 gemäß der ersten Ausführungsform wird nun unter Bezugnahme auf 10 und 11 beschrieben.
10 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit 180 gemäß der ersten Ausführungsform darstellt. Das heißt, 10 ist ein Flussdiagramm einer Verarbeitung von Schritt ST907, der in 9 dargestellt ist. Das in 10 dargestellte Flussdiagramm stellt die Aktion der Bildkombiniereinheit 180 im ersten Verfahren dar, in dem die Bildkombiniereinheit 180 ein kombiniertes Pseudo-Radarbild erzeugt.
Zuerst erfasst die Bildkombiniereinheit 180 in Schritt ST1001 ein simuliertes Zielobjektradarbild.
Dann erfasst die Bildkombiniereinheit 180 in Schritt ST1002 ein Hintergrundbild.
Dann erfasst die Bildkombiniereinheit 180 in Schritt ST1003 eine Position, wo das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird.
Dann bestimmt die Bildkombiniereinheit 180 in Schritt ST1004 die Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild.
Dann ändert die Bildkombiniereinheit 180 in Schritt ST1005 die Größe des simulierten Zielobjektradarbildes auf der Basis der Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild.
Dann wählt die Bildkombiniereinheit 180 in Schritt ST1006 ein Pixel in dem simulierten Zielobjektradarbild und ein dem Pixel entsprechendes Pixel in dem Hintergrundbild aus.
Dann addiert die Bildkombiniereinheit 180 in Schritt ST1007 den Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild zu dem Pixelwert des ausgewählten Pixels in dem Hintergrundbild.
Dann bestimmt die Bildkombiniereinheit 180 in Schritt ST1008, ob oder ob nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden.
Wenn die Bildkombiniereinheit 180 in Schritt ST1008 bestimmt, dass nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden, kehrt die Bildkombiniereinheit 180 zu der Verarbeitung von Schritt ST1006 zurück und führt die Verarbeitung von Schritt ST1006 bis Schritt ST1008 wiederholt aus, bis die Bildkombiniereinheit 180 bestimmt, dass alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden.
Wenn die Bildkombiniereinheit 180 in Schritt ST1008 bestimmt, dass alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden, beendet die Bildkombiniereinheit 180 die Verarbeitung des Flussdiagramms.
Es sei bemerkt, dass bei der Verarbeitung des Flussdiagramms die Reihenfolge der Verarbeitung von Schritt ST1001 bis Schritt ST1004 beliebig ist.
Wenn das kombinierte Pseudo-Radarbild erzeugt wird, kann die Lerndaten-Erzeugungsvorrichtung 100 darüber hinaus das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes durch Alpha Blending oder dergleichen mit einer Transparenz des simulierten Zielobjektradarbildes in einem vorgegebenen Verhältnis erzeugen. Genauer gesagt kann die Bildkombiniereinheit 180 beispielsweise in einem Fall, in dem die Bildkombiniereinheit 180 bei der Verarbeitung von Schritt ST1007 den Pixelwert des Pixels in dem simulierten Zielobjektradarbild zu dem Pixelwert des Pixels in dem Hintergrundbild addiert, den Pixelwert des Pixels in dem simulierten Zielobjektradarbild zum Beispiel mit einem beliebigen Wert zwischen 0 und 1 multiplizieren und den multiplizierten Pixelwert zu dem Pixelwert des Pixels in dem Hintergrundbild addieren.
In dem auf diese Weise erzeugten kombinierten Pseudo-Radarbild wird die Region, wo das simulierte Zielobjektradarbild in das kombinierte Pseudo-Radarbild eingefügt wird, unklar, und die Lerndaten-Erzeugungsvorrichtung 100 kann Lerndaten mit einem kombinierten Pseudo-Radarbild erzeugen, das einem tatsächlichen Radarbild ähnelt, das von der Radarvorrichtung 10 erzeugt wird, die eine Radarabstrahlung durchführt.
11 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit 180 gemäß der ersten Ausführungsform darstellt. Das heißt, 11 ist ein Flussdiagramm einer Verarbeitung von Schritt ST907, der in 9 dargestellt ist. Das in 11 dargestellte Flussdiagramm stellt die Aktion der Bildkombiniereinheit 180 im zweiten Verfahren dar, in dem die Bildkombiniereinheit 180 ein kombiniertes Pseudo-Radarbild erzeugt. Es sei bemerkt, dass 11A einen Teil des Verarbeitungsablaufs der Bildkombiniereinheit 180 gemäß der ersten Ausführungsform darstellt und dass 11B den restlichen Verarbeitungsablauf der Bildkombiniereinheit 180 gemäß der ersten Ausführungsform darstellt.
Zuerst erfasst die Bildkombiniereinheit 180 in Schritt ST1101 das simulierte Zielobjektradarbild.
Dann erfasst die Bildkombiniereinheit 180 in Schritt ST1102 das Hintergrundbild.
Dann erfasst die Bildkombiniereinheit 180 in Schritt ST1103 eine Position, in die das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird.
Dann bestimmt die Bildkombiniereinheit 180 in Schritt ST1104 die Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild.
Dann ändert die Bildkombiniereinheit 180 in Schritt ST1105 die Größe des simulierten Zielobjektradarbildes auf der Basis der Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild.
Dann wählt die Bildkombiniereinheit 180 in Schritt ST1106 ein Pixel in dem simulierten Zielobjektradarbild und ein dem Pixel entsprechendes Pixel in dem Hintergrundbild aus.
Dann bestimmt die Bildkombiniereinheit 180 in Schritt ST1107, ob oder ob nicht der Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild größer ist als der Pixelwert des ausgewählten Pixels in dem Hintergrundbild.
Wenn die Bildkombiniereinheit 180 in Schritt ST1107 bestimmt, dass der Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild größer ist als der Pixelwert des ausgewählten Pixels in dem Hintergrundbild, ersetzt die Bildkombiniereinheit 180 in Schritt ST1108 den Pixelwert des ausgewählten Pixels in dem Hintergrundbild durch den Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild.
Nach Schritt ST1108 bestimmt die Bildkombiniereinheit 180 in Schritt ST1109, ob oder ob nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden.
Wenn die Bildkombiniereinheit 180 in Schritt ST1107 bestimmt, dass der Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild nicht größer ist als der Pixelwert des ausgewählten Pixels in dem Hintergrundbild, führt die Bildkombiniereinheit 180 die Verarbeitung von Schritt ST1109 aus.
Wenn die Bildkombiniereinheit 180 in Schritt ST1109 bestimmt, dass nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden, kehrt die Bildkombiniereinheit 180 zu der Verarbeitung von Schritt ST1106 zurück und führt die Verarbeitung von Schritt ST1106 bis Schritt ST1109 wiederholt aus, bis die Bildkombiniereinheit 180 bestimmt, dass alle Pixel des simulierten Zielobjektradarbildes ausgewählt wurden.
Wenn die Bildkombiniereinheit 180 in Schritt ST1109 bestimmt, dass alle Pixel des simulierten Zielobjektradarbildes ausgewählt wurden, beendet die Bildkombiniereinheit 180 die Verarbeitung des Flussdiagramms.
Es sei bemerkt, dass bei der Verarbeitung des Flussdiagramms die Reihenfolge der Verarbeitung von Schritt ST1101 bis Schritt ST1104 beliebig ist.
Wenn das kombinierte Pseudo-Radarbild erzeugt wird, kann die Lerndaten-Erzeugungsvorrichtung 100 darüber hinaus das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes durch Alpha Blending oder dergleichen mit einer Transparenz des simulierten Zielobjektradarbildes in einem vorgegebenen Verhältnis erzeugen. Genauer gesagt kann die Bildkombiniereinheit 180 beispielsweise in einem Fall, in dem die Bildkombiniereinheit 180 bei der Verarbeitung von Schritt ST1108 den Pixelwert des Pixels in dem Hintergrundbild durch den Pixelwert des Pixels in dem simulierten Zielobjektradarbild ersetzt, den Pixelwert des Pixels in dem simulierten Zielobjektradarbild mit einem beliebigen Wert zwischen 0 und 1 multiplizieren und den Pixelwert des Pixels in dem Hintergrundbild durch den multiplizierten Pixelwert ersetzen.
In dem auf diese Weise erzeugten kombinierten Pseudo-Radarbild wird die Region, in die das simulierte Zielobjektradarbild in das kombinierte Pseudo-Radarbild eingefügt wird, unklar, und die Lerndaten-Erzeugungsvorrichtung 100 kann Lerndaten mit einem kombinierten Pseudo-Radarbild erzeugen, das einem tatsächlichen Radarbild ähnelt, das von der Radarvorrichtung 10 erzeugt wird, die eine Radarabstrahlung durchführt.
Wie oben beschrieben, weist die Lerndaten-Erzeugungsvorrichtung 100 auf: die 3D-Modell-Erfassungseinheit 110 zum Erfassen von 3D-Zielobjektmodellinformationen, die das 3D-Modell eines Zielobjekts angeben, die Zielobjektbild-Erzeugungseinheit 120 zum Simulieren der Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen, um ein simulierten Zielobjektradarbildes zu erzeugen, bei dem es sich um das simulierte Radarbild des Zielobjekts handelt, die Radarbild-Erfassungseinheit 130 zum Erfassen der Radarbildinformationen, die das Radarbild angeben, das von der Radarvorrichtung 10 erzeugt wird, die eine Radarbestrahlung durchführt, die Hintergrundbild-Erfassungseinheit 140 zum Erfassen des Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen, die Bildkombiniereinheit 180 zur Erzeugung eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes durch Einfügen des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild erhalten wird, die Lerndaten-Erzeugungseinheit 190 zur Erzeugung von Lerndaten, in denen die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180 erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die eine Art des Zielobjekts angeben, assoziiert sind; und die Lerndaten-Ausgabeeinheit 199 zum Ausgeben der von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100 auf einfache Weise Lerndaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Ferner erzeugt die Lerndaten-Erzeugungsvorrichtung 100 mit einer solchen Konfiguration das Hintergrundbild unter Verwendung des Radarbildes, das von der eine Radarabstrahlung durchführenden Radarvorrichtung 10 erzeugt wird, und somit ist es nicht notwendig, ein 3D-Modell des Hintergrunds des Zielobjekts zu erstellen.
Da es nicht notwendig ist, das Hintergrundbild aus dem 3D-Modell oder dergleichen des Hintergrundbildes des Zielobjekts durch numerische Berechnung zu erzeugen, können die Lerndaten in kurzer Zeit erzeugt werden.
Ferner ist in der Lerndaten-Erzeugungsvorrichtung 100 in der oben beschriebenen Konfiguration die Lerndaten-Erzeugungseinheit 190 dafür ausgelegt, die Lerndaten zu erzeugen, in denen die Position, in die die Bildkombiniereinheit 180 das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt hat, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, assoziiert ist.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100 auf einfache Weise Lerndaten mit Lehrerdaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100 zusätzlich zu der oben beschriebenen Konfiguration die eingebettete Koordinatenerfassungseinheit 181 auf, um die Informationen zu erfassen, von denen die Koordinaten des Pixels in dem Hintergrundbild, in dem die Bildkombiniereinheit 180 den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat, angegeben werden, und die Lerndaten-Erzeugungseinheit 190 ist dafür ausgelegt, durch Assoziieren der Informationen, von denen die von der eingebetteten Koordinatenerfassungseinheit 181 erfassten Koordinaten des Pixels in dem Hintergrundbild angegeben werden, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, die Lerndaten zu erzeugen.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100 auf einfache Weise Lerndaten mit Lehrerdaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Ferner weist die Lerndaten-Erzeugungsvorrichtung 100 zusätzlich zu der oben beschriebenen Konfiguration die Positionsbestimmungseinheit 160 auf zum Bestimmen einer Position, an der das von der Zielobjektbild-Erzeugungseinheit 120 erzeugte simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird, auf Basis des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und einer Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100 dem Anwender ersparen, die Position einzugeben, an der das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100 zusätzlich zu der oben beschriebenen Konfiguration die Größenbestimmungseinheit 170 auf zum Bestimmen einer Größe der Einfügung der von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes in das Hintergrundbild auf Basis des Verhältnisses zwischen dem Abstand zwischen dem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und einer Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert, und einem Abstand zwischen einem angenommenen Zielobjekt und einer Emissionsposition einer Radarabstrahlung in der Radarvorrichtung 10, wenn die Radarvorrichtung 10 eine tatsächliche Radarabstrahlung durchführt.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100 dem Anwender ersparen, die Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild einzugeben.
Ferner erfasst in der Lerndaten-Erzeugungsvorrichtung 100 in der oben beschriebenen Konfiguration die Radarbild-Erfassungseinheit 130 die Radarbildinformationen, die das Radarbild angeben, in dem ein weiter Bereich fotografiert ist, und die Hintergrundbild-Erfassungseinheit 140 schneidet eine Bild-Teilregion des Radarbildes, in dem ein weiter Bereich fotografiert ist, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, aus und erfasst die ausgeschnittene Bildregion als Hintergrundbild.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100 auf einfache Weise das Hintergrundbild erfassen.
Es sei bemerkt, dass in der obigen Beschreibung in Bezug auf die von der Radarvorrichtung 10 ausgegebenen Radarbildinformationen beschrieben wurde, dass jeder Pixelwert des Radarbilds, das von den Radarbildinformationen angegeben wird, die Intensität des reflektierten Radarsignals angibt und die Radarbild-Erfassungseinheit 130 die Radarbildinformationen erfasst, in denen jeder Pixelwert des Radarbildes, das von den von der Radarvorrichtung 10 erzeugten Radarbildinformationen angegeben wird, die Intensität des reflektierten Radarsignals angibt. Jedoch kann das Radarbild, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, erhalten werden durch Umwandeln der Intensität des reflektierten Radarsignals in jedem Pixelwert des Radarbildes, das von den Radarbildinformationen angegeben wird, in eine logarithmische Skala und ferner durch Normalisieren der Intensität des reflektierten Radarsignals nach der Umwandlung in die logarithmische Skala auf solche Weise, dass es einen Wert zwischen 0 und 1 oder dergleichen aufweist, wodurch Graustufen des Radarbildes erstellt werden.
Wenn das Radarbild, das von den Radarbildinformationen angegeben wird, die von der Radarbild-Erfassungseinheit 130 erfasst werden, in Graustufen umgewandelt wird, erzeugt die Zielobjektbild-Erzeugungseinheit 120 das simulierte Zielobjektradarbild als das Graustufenbild, das so normalisiert ist, dass jeder Pixelwert des simulierten Zielobjektradarbildes einen Wert zwischen 0 und 1 oder dergleichen aufweist. Ferner führt die Bildkombiniereinheit 180 die Verarbeitung des in 11 dargestellten Flussdiagramms durch.
Modifikation der ersten Ausführungsform.
Eine Lernvorrichtung 20a gemäß einer Modifikation der ersten Ausführungsform wird nun unter Bezugnahme auf 12 und 13 beschrieben.
12 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform darstellt.
Die Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform weist eine Funktion auf, mit der Lerndaten erzeugt werden, die in der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform enthalten sind, und führt ein maschinelles Lernen zum Erfassen oder Identifizieren eines Zielobjekts, das in einem Radarbild erscheint, unter Verwendung der erzeugten Lerndaten durch.
Wie in 12 dargestellt ist, weist die Lernvorrichtung 20a eine Aktionsempfangseinheit 101, eine 3D-Modell-Erfassungseinheit 110, eine Zielobjektbild-Erzeugungseinheit 120, eine Radarbild-Erfassungseinheit 130, eine Hintergrundbild-Erfassungseinheit 140, eine Bildkombiniereinheit 180, eine Lerndaten-Erzeugungseinheit 190, eine Lerneinheit 21, eine Einheit 22 zum Erzeugen eines gelernten Modells und eine Einheit 23 zum Ausgeben eines gelernten Modells auf.
Die Lernvorrichtung 20a kann zusätzlich zu der oben beschriebenen Konfiguration eine Positionsbestimmungseinheit 160, eine Größenbestimmungseinheit 170 und eine eingebettete Koordinatenerfassungseinheit 181 aufweisen.
12 stellt eine Lernvorrichtung 20a dar, die zusätzlich zu der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Bildkombiniereinheit 180, der Lerndaten-Erzeugungseinheit 190, der Lerneinheit 21, der Einheit 22 zum Erzeugen eines gelernten Modells und der Einheit 23 zum Ausgeben eines gelernten Modells eine Positionsbestimmungseinheit 160 und eine Größenbestimmungseinheit 170 aufweist.
In der Konfiguration der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform werden Konfigurationen, die denen der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform gleich sind, gleiche Bezugszahlen gegeben, und auf eine doppelte Beschreibung wird verzichtet. Das heißt, die Beschreibung der Konfiguration von 12, welche die gleichen Bezugszahlen aufweist wie in 2 gezeigt, wird weggelassen.
Die Lerneinheit 21 führt ein maschinelles Lernen unter Verwendung der von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten durch. Genauer führt die Lerneinheit 21 beispielsweise ein überwachtes Lernen, wie etwa Deep Learning, zum Erfassen oder Identifizieren eines Zielobjekts, das in einem Radarbild erscheint, unter Verwendung der von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten durch. Überwachtes Lernen zum Erfassen oder Identifizieren eines Zielobjekts durch Bilderkennung ist bekannt, und somit wird auf seine Beschreibung verzichtet.
Die Einheit 22 zum Erzeugen eines gelernten Modells erzeugt Informationen über ein gelerntes Modell, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lerneinheit 21 durchgeführten maschinellen Lernens entspricht. Das gelernte Modell, das von den Informationen über ein gelerntes Modell, die von der Lernvorrichtung 22 ausgegeben werden, angegeben wird, ist ein neuronales Netz oder dergleichen mit einer Eingabeschicht, einer Zwischenschicht, einer Ausgabeschicht und dergleichen. Es sei bemerkt, dass in einem Fall, in dem die Informationen über ein gelerntes Modell bereits erzeugt wurden, die Einheit 22 zum Erzeugen eines gelernten Modells das gelernte Modell, das von den Informationen über ein gelerntes Modell angegeben wird, durch maschinelles Lernen, das von der Lerneinheit 21 durchgeführt wird, aktualisieren kann, um die Informationen über ein gelerntes Modell zu erzeugen, die das gelernte Modell angeben, das dem Lernergebnis entspricht.
Die Einheit 23 zum Ausgeben eines gelernten Modells gibt die Informationen über ein gelerntes Modell aus, die von der Einheit 22 zum Erzeugen eines gelernten Modells erzeugt werden. Genauer gibt beispielsweise die Einheit 23 zum Ausgeben eines gelernten Modells die Informationen über ein gelerntes Modell, die von der Einheit 22 zum Erzeugen eines gelernten Modells erzeugt werden, an die Inferenzvorrichtung 30 oder die Speichervorrichtung 40 aus, die in 1 dargestellt sind.
Es sei bemerkt, dass die Funktionen der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Positionsbestimmungseinheit 160, der Größenbestimmungseinheit 170, der Bildkombiniereinheit 180, der eingebetteten Koordinatenerfassungseinheit 181, der Lerndaten-Erzeugungseinheit 190, der Lerneinheit 21, der Einheit 22 zum Erzeugen eines gelernten Modells und der Einheit 23 zum Ausgeben eines gelernten Modells in der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform jeweils von dem Prozessor 201 und dem Speicher 202 in der Hardware-Konfiguration, die als Beispiel in 8A und 8B in der ersten Ausführungsform dargestellt ist, implementiert werden können oder von der Verarbeitungsschaltung 203 implementiert werden können.
Die Aktion der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform wird nun unter Bezugnahme auf 13 beschrieben.
13 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung einer Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform darstellt.
Zum Beispiel führt die Lernvorrichtung 20a wiederholt die Verarbeitung des Flussdiagramms aus.
Es sei bemerkt, dass bei der Aktion der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform die Aktion, die der Aktion der Lerndaten-Erzeugungsvorrichtung 100 gemäß der in 9 dargestellten ersten Ausführungsform ähnlich ist, mit der gleichen Bezugszahl bezeichnet ist und dass auf eine doppelte Beschreibung verzichtet wird. Das heißt, die Beschreibung der Verarbeitung von 13, welche die gleichen Bezugszahlen aufweist wie in 9 gezeigt, wird weggelassen.
Zuerst führt die Lernvorrichtung 20a eine Verarbeitung von Schritt ST901 bis Schritt ST909 aus.
Nach Schritt ST909 führt die Lerneinheit 21 in Schritt ST1301 maschinelles Lernen durch.
Dann erzeugt die Einheit 22 zum Erzeugen eines gelernten Modells in Schritt ST1302 Informationen über ein gelerntes Modell.
Dann gibt die Einheit 23 zum Ausgeben eines gelernten Modells in Schritt ST1303 die Informationen über ein gelerntes Modell aus.
Nach der Ausführung der Verarbeitung von Schritt ST1303 beendet die Lernvorrichtung 20a die Verarbeitung des Flussdiagramms, kehrt zu der Verarbeitung von Schritt ST901 zurück und führt die Verarbeitung des Flussdiagramms wiederholt aus.
Es sei bemerkt, dass die Lernvorrichtung 20a die Verarbeitung von Schritt ST901 bis Schritt ST909 wiederholt ausführen kann, bevor sie die Verarbeitung von Schritt ST1301 ausführt.
Wie oben beschrieben, weist die Lernvorrichtung 20a auf: die 3D-Modell-Erfassungseinheit 110 zum Erfassen der 3D-Zielobjektmodellinformationen, die das 3D-Modell des Zielobjekts angeben, die Zielobjektbild-Erzeugungseinheit 120 zum Simulieren der Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjektradarbild zu erzeugen, bei dem es sich um das simulierte Radarbild des Zielobjekts handelt, die Radarbild-Erfassungseinheit 130 zum Erfassen der Radarbildinformationen, die das Radarbild angeben, das von der eine Radarbestrahlung durchführenden Radarvorrichtung 10 erzeugt wird, die Hintergrundbild-Erfassungseinheit 140 zum Erfassen des Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen, die Bildkombiniereinheit 180 zur Erzeugung eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes durch Einfügen des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild erhalten wird, die Lerndaten-Erzeugungseinheit 190 zur Erzeugung von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180 erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die eine Art des Zielobjekts angeben, assoziieren; die Lerneinheit 21 zur Durchführung eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten, die Einheit 22 zum Erzeugen eines gelernten Modells zur Erzeugung von Informationen über ein gelerntes Modell, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lerneinheit 21 durchgeführten maschinellen Lernens entspricht, und die Einheit 23 zum Ausgeben eines gelernten Modells zum Ausgeben der Informationen über ein gelerntes Modell, die von der Einheit 22 zum Erzeugen eines gelernten Modells erzeugt werden.
Mit einer solchen Konfiguration kann die Lernvorrichtung 20a auf einfache Weise die Lerndaten für das maschinelle Lernen zum Detektieren oder Identifizieren des in dem Radarbild erscheinenden Zielobjekts erzeugen und kann somit das gelernte Modell erzeugen, das in der Lage ist, das in dem Radarbild erscheinende Zielobjekt mit hoher Genauigkeit zu erzeugen.
Andere Modifikation der ersten Ausführungsform.
Eine andere Modifikation der ersten Ausführungsform, die von der Modifikation der ersten Ausführungsform verschieden ist, wird nun unter Bezugnahme auf 14 und 15 beschrieben.
14 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils einer Inferenzvorrichtung 30a gemäß einer anderen Modifikation der ersten Ausführungsform darstellt.
Die Inferenzvorrichtung 30a gemäß der anderen Modifikation der ersten Ausführungsform weist eine Funktion auf zum Erzeugen von Lerndaten und Informationen über ein gelerntes Modell, die in der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform enthalten sind, und detektiert oder identifiziert ein in einem Radarbild erscheinendes Zielobjekt unter Verwendung der erzeugten Informationen über ein gelerntes Modell.
Wie in 14 dargestellt ist, weist die Inferenzvorrichtung 30a eine Aktionsempfangseinheit 101, eine 3D-Modell-Erfassungseinheit 110, eine Zielobjektbild-Erzeugungseinheit 120, eine Radarbild-Erfassungseinheit 130, eine Hintergrundbild-Erfassungseinheit 140, eine Bildkombiniereinheit 180, eine Lerndaten-Erzeugungseinheit 190, eine Lerneinheit 21, eine Einheit 22 zum Erzeugen eines gelernten Modells, eine Inferenzziel-Radarbilderfassungseinheit 31, eine Inferenzeinheit 32 und eine Inferenzergebnis-Ausgabeeinheit 33 auf.
Die Inferenzvorrichtung 30a kann zusätzlich zu der oben beschriebenen Konfiguration eine Positionsbestimmungseinheit 160, eine Größenbestimmungseinheit 170 und eine eingebettete Koordinatenerfassungseinheit 181 aufweisen.
14 stellt die Inferenzvorrichtung 30a dar, die zusätzlich zu der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Bildkombiniereinheit 180, der Lerndaten-Erzeugungseinheit 190, der Lerneinheit 21, der Einheit 22 zum Erzeugen eines gelernten Modells, der Inferenzziel-Radarbilderfassungseinheit 31, der Inferenzeinheit 32 und der Inferenzergebnis-Ausgabeeinheit 33 die Positionsbestimmungseinheit 160 und die Größenbestimmungseinheit 170 aufweist.
In der Konfiguration der Inferenzvorrichtung 30a gemäß einer anderen Modifikation der ersten Ausführungsform werden Komponenten, die denen der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform gleich sind, mit den gleichen Bezugszahlen bezeichnet, und auf eine wiederholte Beschreibung wird verzichtet. Das heißt, die Beschreibung der Konfiguration von 14 mit gleichen Bezugszahlen wie in 12 wird weggelassen.
Die Inferenzziel-Radarbilderfassungseinheit 31 erfasst Inferenzziel-Radarbildinformationen, die ein Radarbild angeben, das ein Inferenzziel ist, das von der eine Radarabstrahlung durchführenden Radarvorrichtung 10 erzeugt wird.
Die Inferenzeinheit 32 verwendet das gelernte Modell, das von den Informationen über ein gelerntes Modell, die von der Einheit 22 zum Erzeugen eines gelernten Modells erzeugt werden, angegeben wird, um zu inferieren, ob in dem Radarbild, das von den von der Inferenzziel-Radarbilderfassungseinheit 31 erfassten Inferenzziel-Radarbildinformationen angegeben wird, ein Bild eines Zielobjekts vorhanden ist.
Die Inferenzergebnis-Ausgabeeinheit 33 gibt Inferenzergebnisinformationen aus, die das von der Inferenzeinheit 32 inferierte Inferenzergebnis angeben. Genauer gibt die Inferenzergebnis-Ausgabeeinheit 33 beispielsweise die wissenschaftlichen Inferenzergebnisinformationen an die in 1 dargestellte Ausgabevorrichtung 60 aus.
Es sei bemerkt, dass die Funktionen der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Positionsbestimmungseinheit 160, der Größenbestimmungseinheit 170, der Bildkombiniereinheit 180, der eingebetteten Koordinatenerfassungseinheit 181, der Lerndaten-Erzeugungseinheit 190, der Lerneinheit 21, der Einheit 22 zum Erzeugen eines gelernten Modells, der Inferenzziel-Radarbilderfassungseinheit 31, der Inferenzeinheit 32 und der Inferenzergebnis-Ausgabeeinheit 33 in der Inferenzvorrichtung 30a gemäß einer anderen Modifikation der ersten Ausführungsform von dem Prozessor 201 und dem Speicher 202 in der als Beispiel in 8A und 8B in der ersten Ausführungsform dargestellten Hardware-Konfiguration implementiert werden können oder von der Verarbeitungsschaltung 203 implementiert werden können.
Die Aktion der Inferenzvorrichtung 30a gemäß einer anderen Modifikation der ersten Ausführungsform wird nun unter Bezugnahme auf 15 beschrieben.
15 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Inferenzvorrichtung 30a gemäß einer anderen Modifikation der ersten Ausführungsform darstellt.
Es sei bemerkt, dass in der Konfiguration der Inferenzvorrichtung 30a gemäß einer anderen Modifikation der ersten Ausführungsform Aktionen, die der Aktion der Lernvorrichtung 20a gemäß der Modifikation der ersten Ausführungsform, die in 13 dargestellt sind, gleich sind, mit den gleichen Bezugszahlen bezeichnet werden und dass auf eine wiederholte Beschreibung verzichtet wird. Das heißt, die Beschreibung der Verarbeitung von 15 mit gleichen Bezugszahlen wie in 13 wird weggelassen.
Zuerst führt die Inferenzvorrichtung 30a eine Verarbeitung von Schritt ST901 bis Schritt ST909 aus.
Nach dem Schritt ST909 führt die Inferenzvorrichtung 30a eine Verarbeitung von Schritt ST1301 bis Schritt ST1302 aus.
Nach dem Schritt ST1302 erfasst die Inferenzziel-Radarbilderfassungseinheit 31 in Schritt ST1501 Inferenzziel-Radarbildinformationen.
Dann inferiert die Inferenzeinheit 32 in Schritt ST1502, ob ein Bild eines Zielobjekts in dem von den Inferenzziel-Radarbildinformationen angegebenen Radarbild vorhanden ist.
Dann gibt die Inferenzergebnis-Ausgabeeinheit 33 in Schritt ST1503 Inferenzergebnisinformationen aus.
Nach der Ausführung der Verarbeitung von Schritt ST1503 beendet die Inferenzvorrichtung 30a die Verarbeitung des Flussdiagramms.
Es sei bemerkt, dass die Inferenzvorrichtung 30a die Verarbeitung von Schritt ST901 bis Schritt ST909 wiederholt ausführen kann, bevor sie die Verarbeitung von Schritt ST1301 ausführt. Ferner kann die Inferenzvorrichtung 30a die Verarbeitung von Schritt ST1301 bis Schritt ST1302 wiederholt ausführen, bevor sie die Verarbeitung von Schritt ST1501 ausführt.
Wie oben beschrieben, weist die Inferenzvorrichtung 30a auf: die 3D-Modell-Erfassungseinheit 110 zum Erfassen der 3D-Zielobjektmodellinformationen, die das 3D-Modell des Zielobjekts angeben, die Zielobjektbild-Erzeugungseinheit 120 zum Simulieren der Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjektradarbild zu erzeugen, bei dem es sich um das simulierte Radarbild des Zielobjekts handelt, die Radarbild-Erfassungseinheit 130 zum Erfassen der Radarbildinformationen, die das Radarbild angeben, das von der eine Radarbestrahlung durchführenden Radarvorrichtung 10 erzeugt wird, die Hintergrundbild-Erfassungseinheit 140 zum Erfassen des Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen, die Bildkombiniereinheit 180 zur Erzeugung eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen der von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild, die Lerndaten-Erzeugungseinheit 190 zur Erzeugung von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180 erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die eine Art des Zielobjekts angeben, assoziieren, die Lerneinheit 21 zur Durchführung eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten, die Einheit 22 zum Erzeugen eines gelernten Modells zur Erzeugung von Informationen über ein gelerntes Modell, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lerneinheit 21 durchgeführten maschinellen Lernens entspricht, die Inferenzziel-Radarbilderfassungseinheit 31 zum Erfassen von Inferenzziel-Radarbildinformationen, die ein Radarbild angeben, das ein Inferenzziel ist, das von der eine Radarbestrahlung durchführenden Radarvorrichtung 10 erzeugt wird, die Inferenzeinheit 32 zum Inferieren, ob ein Bild eines Zielobjekts in einem Radarbild vorhanden ist, das von den Inferenzziel-Radarbildinformationen, die von der Inferenzziel-Radarbilderfassungseinheit 31 erfasst werden, angegeben wird, unter Verwendung des gelernten Modells, das von den von der Einheit 22 zum Erzeugen eines gelernten Modells erzeugten Informationen über ein gelerntes Modell angegeben wird, und die Inferenzergebnis-Ausgabeeinheit 33 zum Ausgeben von Inferenzergebnisinformationen, die ein von der Inferenzeinheit 32 inferiertes Inferenzergebnis angeben.
Mit einer solchen Konfiguration kann die Inferenzvorrichtung 30a auf einfache Weise Lerndaten erzeugen, die zum maschinellen Lernen verwendet werden, um ein Zielobjekt, das in einem Radarbild erscheint, zu detektieren oder zu identifizieren, und kann ein gelerntes Modell zum Detektieren oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts mit hoher Genauigkeit unter Verwendung der erzeugten Lerndaten erzeugen, so dass ein Zielobjekt, das in einem Radarbild erscheint, mit hoher Genauigkeit detektiert oder identifiziert werden kann.
Zweite Ausführungsform.
Eine Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform wird nun unter Bezugnahme auf 16 bis 23 beschrieben.
16 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils eines Radarsystems 1a darstellt, auf das die Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform angewendet wird.
Das Radarsystem 1a weist eine Lerndaten-Erzeugungsvorrichtung 100a, eine Radarvorrichtung 10, eine Lernvorrichtung 20, eine Inferenzvorrichtung 30, eine Speichervorrichtung 40, eine Eingabevorrichtung 50 und eine Ausgabevorrichtung 60 auf.
Das Radarsystem 1a wird durch Ändern der Lerndaten-Erzeugungsvorrichtung 100 in dem Radarsystem 1 gemäß der ersten Ausführungsform in eine Lerndaten-Erzeugungsvorrichtung 100a erhalten.
Es sei bemerkt, dass die Konfiguration, welche die Lerndaten-Erzeugungsvorrichtung 100a, die Lernvorrichtung 20 und die Speichervorrichtung 40 aufweist, als ein Lernsystem 2a arbeitet.
Außerdem arbeitet die Konfiguration, welche die Lerndaten-Erzeugungsvorrichtung 100a, die Lernvorrichtung 20, die Inferenzvorrichtung 30 und die Speichervorrichtung 40 aufweist, als Inferenzsystem 3a.
In der Konfiguration des Radarsystems 1a gemäß der zweiten Ausführungsform werden Konfigurationen, die denen des Radarsystems 1 gemäß der ersten Ausführungsform gleich sind, gleiche Bezugszahlen gegeben und auf eine doppelte Beschreibung wird verzichtet. Das heißt, die Beschreibung der Konfiguration von 16 mit gleichen Bezugszahlen wie in 1 wird weggelassen.
Eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform wird nun unter Bezugnahme auf 17 beschrieben.
17 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform darstellt.
Die Lerndaten-Erzeugungsvorrichtung 100a weist eine Aktionsempfangseinheit 101, eine 3D-Modell-Erfassungseinheit 110, eine Zielobjektbild-Erzeugungseinheit 120, eine Radarbild-Erfassungseinheit 130, eine Hintergrundbild-Erfassungseinheit 140, eine Schattenbild-Erzeugungseinheit 150, eine Bildkombiniereinheit 180a, eine Lerndaten-Erzeugungseinheit 190 und eine Lerndaten-Ausgabeeinheit 199 auf.
Die Lerndaten-Erzeugungsvorrichtung 100a kann zusätzlich zu der oben beschriebenen Konfiguration eine Rauschbild-Erfassungseinheit 151, eine Positionsbestimmungseinheit 160a, eine Größenbestimmungseinheit 170a und eine eingebettete Koordinatenerfassungseinheit 181a aufweisen.
Wie in 17 dargestellt ist, wird als Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform eine beschrieben, welche die Rauschbild-Erfassungseinheit 151, die Positionsbestimmungseinheit 160a und die Größenbestimmungseinheit 170a aufweist.
Die in 17 dargestellte Lerndaten-Erzeugungsvorrichtung 100a wird durch Hinzufügen der Schattenbild-Erzeugungseinheit 150 und der Rauschbild-Erfassungseinheit 151 zu der Konfiguration der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform, die in 2 dargestellt ist, und ferner durch Ändern der Bildkombiniereinheit 180, der Positionsbestimmungseinheit 160 und der Größenbestimmungseinheit 170 in der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform in die Bildkombiniereinheit 180a, die Positionsbestimmungseinheit 160a und die Größenbestimmungseinheit 170a erhalten.
In der Konfiguration der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform erhalten Konfigurationen, die denen der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform gleich sind, gleiche Bezugszahlen, und auf eine doppelte Beschreibung wird verzichtet. Das heißt, die Beschreibung der Konfiguration von 17 mit gleichen Bezugszahlen wie in 2 wird weggelassen.
Die Schattenbild-Erzeugungseinheit 150 simuliert eine Radarbestrahlung eines Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen und berechnet eine Region, die ein Radarschatten sein wird, auf der Basis eines von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und einer Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, um ein Pseudo-Radarbild zu erzeugen (im Folgenden als „Pseudo-Radarschattenbild“ bezeichnet), das angibt, dass die berechnete Region ein Radarschatten sein wird.
Genauer berechnet die Schattenbild-Erzeugungseinheit 150 beispielsweise eine Region, die ein Radarschatten in dem Pseudo-Radarschattenbild sein wird, auf der Basis der folgenden Gleichungen (1) und (2), $X_{0} = X + Z \times tan θ$
$Y_{0} = Y$
worin (X₀, Y₀) eine beliebige Koordinate ist, die ein Radarschatten in dem Pseudo-Radarschattenbild sein wird. Ferner ist (X, Y, Z) eine Position auf der 3D-Modelloberfläche des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegeben wird, in dem XYZ-Koordinatensystem mit der Position, an der das Radarsignal in der simulierten Radarabstrahlung ausgegeben wird, als Ursprung. Ferner ist θ ein Winkel, der von der Z-Achse und einer Richtung von dem Ursprung in dem XYZ-Koordinatensystem zu der Position auf der 3D-Modelloberfläche des Zielobjekts, die durch (X, Y, Z) angegeben wird, gebildet wird. Das heißt, θ ist der Abstrahlwinkel des Radarsignals in der simulierten Radarabstrahlung an der Position auf der 3D-Modelloberfläche des Zielobjekts, die durch (X, Y, Z) angegeben wird.
Zum Beispiel erzeugt die Schattenbild-Erzeugungseinheit 150 das Pseudo-Radarschattenbild als rechteckiges Bild, in dem ein Wert einer beliebigen Koordinate, die der Radarschatten in dem Pseudo-Radarschattenbild ist, die durch (X₀, Y₀) angegeben wird, das heißt ein Pixelwert eines Pixels, das der Radarschatten in dem Pseudo-Radarschattenbild ist, auf einen vorgegebenen Wert, wie etwa 1, eingestellt ist und ein Wert jeder Koordinate außer (X₀, Y₀), das heißt ein Pixelwert eines Pixels, das nicht der Radarschatten in dem Pseudo-Radarschattenbild ist, auf einen Wert eingestellt ist, der größer ist als der oben beschriebene vorgegebene Wert.
18 ist eine Darstellung, die ein Beispiel für ein Pseudo-Radarschattenbild darstellt, das von der Schattenbild-Erzeugungseinheit 150 durch Simulieren einer Radarbestrahlung eines Zielobjekts unter Verwendung der 3D-Zielobjektmodellinformationen, die das in 3 dargestellte 3D-Modell des Zielobjekts angeben, erzeugt wird. Es sei bemerkt, dass das Pseudo-Radarschattenbild, das in 18 dargestellt ist, als binäres monochromes Bild visualisiert wird, das durch Normalisieren eines Pixelwerts eines Pixels, das ein Radarschatten in dem Pseudo-Radarschattenbild ist, auf 0 und eines Pixelwerts eines Pixels, das kein Pseudo-Radarschattenbild ist, auf 1, erhalten wird.
Die Bildkombiniereinheit 180a erzeugt ein kombiniertes Pseudo-Radarbild, das durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes und des von der Schattenbild-Erzeugungseinheit 150 erzeugten simulierten Radarschattenbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild.
19 ist eine Darstellung, die ein Beispiel für das kombinierte Pseudo-Radarbild darstellt, das von der Bildkombiniereinheit 180a erzeugt wird. Es sei bemerkt, dass 19 das kombinierte Pseudo-Radarbild durch Normalisieren jedes Pixelwerts des kombinierten Pseudo-Radarbildes auf solche Weise, das es einen Wert zwischen 0 und 1 aufweist, als Graustufenbild visualisiert.
Die Rauschbild-Erfassungseinheit 151 erfasst ein Rauschbild zum Addieren von Rauschen zu dem von der Schattenbild-Erzeugungseinheit 150 erzeugten Pseudo-Radarschattenbild.
Die Rauschbild-Erfassungseinheit 151 erfasst beispielsweise Rauschbildinformationen, die ein Rauschbild angeben, durch Lesen der Rauschbildinformationen aus der Speichervorrichtung 40. Ferner kann die Rauschbild-Erfassungseinheit 151 beispielsweise dadurch, dass die Rauschbild-Erfassungseinheit 151, die eine arithmetische Verarbeitung auf der Basis des Radarbildes durchführt, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, oder des Hintergrundbildes, das von der Hintergrundbild-Erfassungseinheit 140 unter Verwendung der von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen erfasst wird, ein Rauschbild erzeugen und erfassen, das ein Rauschen, wie etwa ein Gauß‘sches Rauschen oder ein Rayleigh-Rauschen angibt. Ferner kann beispielsweise die Rauschbild-Erfassungseinheit 151 dadurch, dass die Rauschbild-Erfassungseinheit 151 eine arithmetische Verarbeitung durchführt, ein Rauschbild erzeugen und erfassen, das ein Rauschen angibt, wie etwa ein Zufallsrauschen.
20 ist eine Darstellung, die ein Beispiel für das Rauschbild darstellt, das von der Rauschbild-Erfassungseinheit 151 erfasst wird. Es sei bemerkt, dass 20 durch Visualisieren des Rauschbildes durch Normalisieren jedes Pixelwerts des Rauschbildes auf solche Weise, das es einen Wert zwischen 0 und 1 aufweist, als Graustufenbild erhalten wird.
Zum Beispiel addiert in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a die Rauschbild-Erfassungseinheit 151 aufweist, die Bildkombiniereinheit 180a ein Rauschen, das von dem von der Rauschbild-Erfassungseinheit 151 erfassten Rauschbild angegeben wird, zu einer Region, an der die Bildkombiniereinheit 180a das von der Schattenbild-Erzeugungseinheit 150 erzeugte simulierte Radarschattenbild in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild eingefügt hat, und fügt ferner das simulierte Zielobjektradarbild ein, wodurch ein kombiniertes Pseudo-Radarbild erzeugt wird. Genauer addiert die Bildkombiniereinheit 180a zum Beispiel den Pixelwert des Pixels des Rauschbildes, das den jeweiligen Pixeln der Region, an der das simulierte Radarschattenbild in das Hintergrundbild eingefügt wurde, zu den Pixelwerten der einzelnen Pixel der Region und addiert das von dem Rauschbild angegebene Rauschen zu der Region, an der das simulierte Radarschattenbild in das Hintergrundbild eingefügt wurde.
Zum Beispiel erfasst die Bildkombiniereinheit 180a eine Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild und das simulierte Radarschattenbild eingefügt werden, auf der Basis der von der Aktionsempfangseinheit 101 ausgegebenen Aktionsinformationen. Genauer gibt der Anwender beispielsweise eine Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild und das simulierte Radarschattenbild eingefügt werden, durch Bedienen der Eingabevorrichtung 50 ein. Die Aktionsempfangseinheit 101 empfängt ein Aktionssignal, das eine Position in dem Hintergrundbild angibt, in die das simulierte Zielobjektradarbild und das simulierte Radarschattenbild eingefügt werden, wandelt das Aktionssignal in Aktionsinformationen um, die dem Aktionssignal entsprechen, und gibt die geänderten Aktionsinformationen an die Bildkombiniereinheit 180a aus. Die Bildkombiniereinheit 180a erfasst die Aktionsinformationen aus der Steuerbefehls-Empfangseinheit 101, um dadurch die Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild und das simulierte Radarschattenbild eingefügt werden, zu erfassen.
Ferner kann beispielsweise in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a die Positionsbestimmungseinheit 160a aufweist, die Position, in die das simulierte Zielobjektradarbild und das simulierte Radarschattenbild eingefügt werden, von der Positionsbestimmungseinheit 160a bestimmt werden.
Die Positionsbestimmungseinheit 160a bestimmt eine Position, in die das von der Zielobjektbild-Erzeugungseinheit 120 erzeugte simulierte Zielobjektradarbild und das von der Schattenbild-Erzeugungseinheit 150 erzeugte simulierte Radarschattenbild in das Hintergrundbild eingefügt werden, auf Basis des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und der Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert.
Außerdem kann die Bildkombiniereinheit 180a die jeweilige Größe des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes und des von der Schattenbild-Erzeugungseinheit 150 erzeugten simulierten Radarschattenbildes in eine jeweils vorgegebene Größe ändern, das simulierte Zielobjektradarbild und das simulierte Radarschattenbild nach der Größenänderung an einer vorgegeben Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild einfügen und ein kombiniertes Pseudo-Radarbild erzeugen, das durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes erhalten wird.
Zum Beispiel wird in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a die Größenbestimmungseinheit 170a aufweist, die jeweilige geänderte Größe des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes durch die Größenbestimmungseinheit 170a bestimmt.
Die Größenbestimmungseinheit 170a bestimmt die Größe der Einfügung des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes und des von der Schattenbild-Erzeugungseinheit 150 erzeugten simulierten Radarschattenbildes in das Hintergrundbild auf Basis des Verhältnisses zwischen dem Abstand zwischen dem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegeben wird, und der Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert, und dem Abstand zwischen dem angenommenen Zielobjekt und der Emissionsposition der Radarabstrahlung in der Radarvorrichtung 10, wenn die Radarvorrichtung 10 eine tatsächliche Radarabstrahlung durchführt.
Die Lerndaten-Erzeugungseinheit 190 erzeugt Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180a erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die den Typ des Zielobjekts angeben, assoziieren. Die Lerndaten-Erzeugungseinheit 190 kann die Lerndaten erzeugen, in denen die Position, in die die Bildkombiniereinheit 180a das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt hat, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, assoziiert ist.
Die eingebettete Koordinatenerfassungseinheit 181a erfasst aus der Bildkombiniereinheit 180a Informationen, die Koordinaten von Pixeln in dem Hintergrundbild angeben, in denen die Bildkombiniereinheit 180a den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat. Die eingebettete Koordinatenerfassungseinheit 181a gibt die erfassten Informationen an die Lerndaten-Erzeugungseinheit 190 aus. Zum Beispiel kann in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a die eingebettete Koordinatenerfassungseinheit 181a aufweist, die Lerndaten-Erzeugungseinheit 190 die Lerndaten durch Assoziieren der Koordinaten des Pixels in dem Hintergrundbild, in dem die Bildkombiniereinheit 180a den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat, mit den Klasseninformationen, die einen Typ des Zielobjekts angeben, erzeugen.
Es sei bemerkt, dass die Funktionen der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Schattenbild-Erzeugungseinheit 150, der Rauschbild-Erfassungseinheit 151, der Positionsbestimmungseinheit 160a, der Größenbestimmungseinheit 170a, der Bildkombiniereinheit 180a, der eingebetteten Koordinatenerfassungseinheit 181a, der Lerndaten-Erzeugungseinheit 190 und der Lerndaten-Ausgabeeinheit 199 in der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform von dem Prozessor 201 und dem Speicher 202 in der Hardware-Konfiguration implementiert werden können, die als Beispiel in 8A und 8B in der ersten Ausführungsform dargestellt ist, oder von der Verarbeitungsschaltung 203 implementiert werden können.
Die Aktion der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform wird unter Bezugnahme auf 21 beschrieben.
21 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform darstellt.
Zum Beispiel führt die Lerndaten-Erzeugungsvorrichtung 100a wiederholt die Verarbeitung des Flussdiagramms aus.
Es sei bemerkt, dass für die Aktion der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform Aktionen, die den Aktionen der Lerndaten-Erzeugungsvorrichtung 100 gemäß der in 9 dargestellten ersten Ausführungsform gleich sind, gleiche Bezugszahlen erhalten haben und dass auf eine wiederholte Beschreibung verzichtet wird. Das heißt, die Beschreibung der Verarbeitung von 21 mit gleichen Bezugszahlen wie in 9 wird weggelassen.
Zuerst führt die Lerndaten-Erzeugungsvorrichtung 100a eine Verarbeitung von Schritt ST901 bis Schritt ST904 aus.
Nach dem Schritt ST904 erzeugt die Schattenbild-Erzeugungseinheit 150 in Schritt ST2101 ein Pseudo-Radarschattenbild.
Dann erfasst die Rauschbild-Erfassungseinheit 151 in Schritt ST2102 ein Rauschbild.
Dann bestimmt die Positionsbestimmungseinheit 160a in Schritt ST2103 eine Position, in die das simulierte Zielobjektradarbild und das Pseudo-Radarschattenbild in das Hintergrundbild eingefügt werden.
Dann bestimmt die Größenbestimmungseinheit 170a in Schritt ST2104 die Größe der Einfügung des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes in das Hintergrundbild.
Dann erzeugt die Bildkombiniereinheit 180a in Schritt ST2105 ein kombiniertes Pseudo-Radarbild.
Dann erfasst die eingebettete Koordinatenerfassungseinheit 181a in Schritt ST2106 Informationen, die Koordinaten eines Pixels in dem Hintergrundbild angeben, in dem die Bildkombiniereinheit 180a den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat.
Dann erzeugt die Lerndaten-Erzeugungseinheit 190 in Schritt ST2107 Lerndaten.
Dann gibt die Lerndatenausgabeeinheit 199 in Schritt ST2108 die Lerndaten aus.
Nach der Ausführung der Verarbeitung von Schritt ST2108 beendet die Lerndaten-Erzeugungsvorrichtung 100a die Verarbeitung des Flussdiagramms, bringt die Verarbeitung zurück zu Schritt ST901 und führt die Verarbeitung des Flussdiagramms wiederholt aus.
Es sei bemerkt, dass bei der Verarbeitung des Flussdiagramms die Reihenfolge der Verarbeitung von Schritt ST2102 beliebig ist, wenn die Verarbeitung von Schritt ST2102 der Verarbeitung von Schritt ST2107 vorangeht.
Ferner bei der Verarbeitung des Flussdiagramms, wenn die Verarbeitung von Schritt ST901 der Verarbeitung der Schritte ST902 und ST2101 vorangeht, die Verarbeitung des Schritts ST903 der Verarbeitung des Schritts ST904 vorangeht, und die Verarbeitung der Schritte ST901 bis ST904 und die Verarbeitung des Schritts ST2101 dem Schritt ST2103 vorangeht, ist die Reihenfolge der Verarbeitung der Schritte ST901 bis ST904 und die Verarbeitung des Schritts ST2101 beliebig.
Es wird ein Verfahren beschrieben, in dem die Bildkombiniereinheit 180a durch Kombinieren eines Hintergrundbildes, eines simulierten Zielobjektradarbildes und eines Pseudo-Radarschattenbildes ein kombiniertes Pseudo-Radarbild erzeugt.
Es wird ein erstes Verfahren beschrieben, in dem die Bildkombiniereinheit 180a ein kombiniertes Pseudo-Radarbild erzeugt.
Zum Beispiel fügt die Bildkombiniereinheit 180a durch Ersetzen eines Pixelwerts eines Pixels von den Pixeln des Hintergrundbildes in einer Region, die der Radarschatten in der von der Schattenbild-Erzeugungseinheit 150 erzeugten simulierte Radarschattenbild sein wird, das heißt eines Pixels, das einem Pixel entspricht, dessen Pixelwert in dem simulierten Radarschattenbild ein vorgegebener Wert, wie etwa 1 ist, durch einen Pixelwert des simulierten Radarschattenbildes das simulierte Radarschattenbild in das Hintergrundbild ein.
In einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a die Rauschbild-Erfassungseinheit 151 aufweist, addiert beispielsweise die Bildkombiniereinheit 180a zu einem Pixelwert jedes Pixels, in dem der Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Radarschattenbildes ersetzt wird, in der Region, in die das simulierte Radarschattenbild in das Hintergrundbild eingefügt wird, den Pixelwert des Pixels des Rauschbildes, der dem Pixel entspricht, und addiert das von dem Rauschbild angegebene Rauschen zu der Region, in die das simulierte Radarschattenbild in das Hintergrundbild eingefügt wird.
Nach dem Einfügen des simulierten Radarschattenbildes in das Hintergrundbild oder nach dem Addieren von Rauschen zu dem eingefügten simulierten Radarschattenbild addiert die Bildkombiniereinheit 180a beispielsweise jeden Pixelwert des simulierten Zielobjektradarbildes zu einem Pixelwert eines Pixels, das einer Position der einzelnen Pixel des simulierten Zielobjektradarbildes des Hintergrundbildes entspricht, wodurch das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird, nachdem das simulierte Radarschattenbild eingefügt worden ist, und das Hintergrundbild, das simulierte Zielobjektradarbild und das simulierte Radarschattenbild kombiniert werden, um ein kombiniertes Pseudo-Radarbild zu erzeugen.
Es wird ein zweites Verfahren beschrieben, in dem die Bildkombiniereinheit 180a ein kombiniertes Pseudo-Radarbild erzeugt.
In einem Fall, in dem die Zielobjektbild-Erzeugungseinheit 120 ein simuliertes Zielobjektradarbild als Graustufenbild erzeugt, das so normalisiert ist, dass es einen Wert zwischen 0 und 1 oder dergleichen in jedem Pixelwert des simulierten Zielobjektradarbildes aufweist, die Schattenbild-Erzeugungseinheit 150 ein simuliertes Radarschattenbild als binäres monochromes Bild erzeugt, in dem in jedem Pixelwert des simulierten Radarschattenbildes ein Pixelwert eines Pixels, das ein Radarschatten ist, auf 0 eingestellt ist und ein Pixelwert eines Bildes, das kein Radarschatten ist, auf 1 eingestellt ist, und die Hintergrundbild-Erfassungseinheit 140 ein Hintergrundbild als Graustufenbild erfasst, das so normalisiert ist, dass es einen Wert zwischen 0 und 1 oder dergleichen in jedem Pixelwert des Hintergrundbildes aufweist, kann die Bildkombiniereinheit 180a ein kombiniertes Pseudo-Radarbild erzeugen wie beispielsweise nachstehend beschrieben.
In diesem Fall berechnet die Bildkombiniereinheit 180a beispielsweise jeden Pixelwert nach dem Einfügen des simulierten Radarschattenbildes in das Hintergrundbild in der Region, in die das simulierte Radarschattenbild in das Hintergrundbild eingefügt wird, unter Verwendung der folgenden Gleichung (3), ersetzt den Pixelwert des entsprechenden Hintergrundbildes durch den errechneten Pixelwert, um das Hintergrundbild nach Einfügung des simulierten Radarschattenbildes zu erzeugen. $\begin{array}{l} [Pixelwert zum Ersetzen eines Pixelwerts des Hintergrundbildes] = [Pixelwert \\ des Hintergrundbildes] \times [Pixelwert des simulierten Radarschattenbildes] \end{array}$
Durch Berechnen des Pixelwerts zum Ersetzen des Pixelwerts des Hintergrundbildes unter Verwendung von Gleichung (3) kann der Pixelwert des Pixels, das der Radarschatten ist, auf 0 eingestellt werden und der Pixelwert des Pixels, das nicht der Radarschatten ist, kann in den einzelnen Pixelwerten des Hintergrundbildes nach der Einfügung des simulierten Radarschattenbildes auf den Pixelwert des von der Hintergrundbild-Erfassungseinheit 140 erfassten Hintergrundbildes eingestellt werden.
In einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a die Rauschbild-Erfassungseinheit 151 aufweist, berechnet die Bildkombiniereinheit 180a jeden Pixelwert, zu dem ein Rauschen addiert wird, nach dem Einfügen des simulierten Radarschattenbildes in das Hintergrundbild in der Region, in die das simulierte Radarschattenbild in das Hintergrundbild eingefügt wird, unter Verwendung der folgenden Gleichung (4), ersetzt den Pixelwert des entsprechenden Hintergrundbildes durch den errechneten Pixelwert und erzeugt das Hintergrundbild, zu dem ein Rauschen addiert ist, nach Einfügung des simulierten Radarschattenbildes. $\begin{array}{l} [Pixelwert zum Ersetzen eines Pixelwerts des Hintergrundbildes] = [Pixelwert \\ des Hintergrundbildes] \times [Pixelwert des simulierten Radarschattenbildes] + \\ [Pixelwert des Rauschbildes] \times (1 - [Pixelwert des simulierten Radarschattenbil - \\ des]) \end{array}$
Durch Berechnen des Pixelwerts zum Ersetzen des Pixelwerts des Hintergrundbildes unter Verwendung von Gleichung (4) ist es möglich, Rauschen nur zu einer Region, die ein Radarschatten sein wird, in der Region, in der das simulierte Radarschattenbild in das Hintergrundbild eingefügt wurde, zu addieren.
Es sei bemerkt, dass in der obigen Beschreibung beschrieben wurde, dass die Schattenbild-Erzeugungseinheit 150 das simulierte Radarschattenbild als das binäre monochrome Bild erzeugt. Jedoch kann in einem Fall, in dem das simulierte Radarschattenbild vergrößert oder verkleinert wird, der Pixelwert an der Grenze zwischen der Region, die der Radarschatten ist, und der Region, die nicht der Radarschatten ist, einen Wert zwischen 0 und 1 aufweisen, wenn das simulierte Radarschattenbild in das Hintergrundbild eingefügt wird. Auch in diesem Fall kann Gleichung (3) oder Gleichung (4) angewendet werden.
Nach dem Einfügen des simulierten Radarschattenbildes in das Hintergrundbild oder nach dem Addieren von Rauschen zu dem eingefügten simulierten Radarschattenbild vergleicht die Bildkombiniereinheit 180a beispielsweise jeden Pixelwert des simulierten Zielobjektradarbildes mit einem Pixelwert an einer Position eines Pixels, die einer Position des jeweiligen Pixels des simulierten Zielobjektradarbildes entspricht, in dem Hintergrundbild, nachdem das simulierte Radarschattenbild in das Hintergrundbild eingefügt wurde oder Rauschen zu dem eingefügten simulierten Radarschattenbild addiert wurde, und erzeugt ein kombiniertes Pseudo-Radarbild durch Ersetzen des Pixelwerts des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes für ein Pixel, in dem der Pixelwert des simulierten Zielobjektradarbildes größer ist als der Pixelwert des Hintergrundbildes.
Das erste und das zweite Verfahren, in denen die Bildkombiniereinheit 180a das kombinierte Pseudo-Radarbild erzeugt, sind nur Beispiele, und das Verfahren, in dem die Bildkombiniereinheit 180a das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes erzeugt, ist nicht auf das oben beschriebene erste und zweite Verfahren beschränkt.
Die Aktion der Bildkombiniereinheit 180a gemäß der zweiten Ausführungsform wird nun unter Bezugnahme auf 22 und 23 beschrieben.
22 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung einer Bildkombiniereinheit 180a gemäß der zweiten Ausführungsform darstellt. Das heißt, 22 ist ein Flussdiagramm einer Verarbeitung von Schritt ST2105, der in 21 dargestellt ist. Das in 22 dargestellte Flussdiagramm stellt die Aktion der Bildkombiniereinheit 180a im ersten Verfahren dar, in dem die Bildkombiniereinheit 180a ein kombiniertes Pseudo-Radarbild erzeugt. Es sei bemerkt, dass 22A einen Teil des Verarbeitungsablaufs der Bildkombiniereinheit 180a gemäß der zweiten Ausführungsform darstellt und dass 22B den restlichen Verarbeitungsablauf der Bildkombiniereinheit 180a gemäß der zweiten Ausführungsform darstellt.
Zuerst erfasst die Bildkombiniereinheit 180a in Schritt ST2201 ein simuliertes Zielobjektradarbild.
Dann erzeugt die Bildkombiniereinheit 180a in Schritt ST2202 ein Pseudo-Radarschattenbild.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2203 ein Rauschbild.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2204 ein Hintergrundbild.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2205 eine Position, in die das simulierte Zielobjektradarbild und das Pseudo-Radarschattenbild in das Hintergrundbild eingefügt werden.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2206 die Größe der Einfügung des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes in das Hintergrundbild.
Dann ändert die Bildkombiniereinheit 180a in Schritt ST2207 die jeweilige Größe des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes auf der Basis der jeweiligen Größe der Einfügung des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes in das Hintergrundbild.
Dann wählt die Bildkombiniereinheit 180a in Schritt ST2211 ein Pixel in einer Region, die ein Radarschatten sein wird, in dem simulierten Radarschattenbild und ein Pixel in dem Hintergrundbild, das dem Pixel entspricht, aus.
Dann ersetzt die Bildkombiniereinheit 180a in Schritt ST2212 den Pixelwert des ausgewählten Pixels in dem Hintergrundbild durch den Pixelwert des ausgewählten Pixels in dem simulierten Radarschattenbild.
Dann wählt die Bildkombiniereinheit 180a in Schritt ST2213 ein Pixel in dem Rauschbild aus, das dem ausgewählten Pixel in dem Hintergrundbild entspricht.
Dann addiert die Bildkombiniereinheit 180a in Schritt ST2214 den Pixelwert des ausgewählten Pixels in dem Rauschbild zu dem Pixelwert des ausgewählten Pixels in dem Hintergrundbild.
Dann bestimmt die Bildkombiniereinheit 180a in Schritt ST2215, ob oder ob nicht alle Pixel in der Region, die der Radarschatten in dem simulierten Radarschattenbild sein wird, ausgewählt wurden.
Falls die Bildkombiniereinheit 180a in Schritt ST2215 bestimmt, dass nicht alle Pixel in der Region, die der Radarschatten in dem simulierten Radarschattenbild sein wird, ausgewählt wurden, kehrt die Bildkombiniereinheit 180a zu der Verarbeitung von Schritt ST2211 zurück und führt die Verarbeitung der Schritte ST2211 bis Schritt ST2215 wiederholt aus, bis die Bildkombiniereinheit 180a bestimmt, dass alle Pixel in der Region, die der Radarschatten in dem simulierten Radarschattenbild sein wird, ausgewählt wurden.
Im Schritt ST2215 wählt die Bildkombiniereinheit 180a in Schritt ST2221 ein Pixel in dem simulierten Zielobjektradarbild und ein Pixel in dem Hintergrundbild, das dem Pixel entspricht aus, falls die Bildkombiniereinheit 180a bestimmt, dass alle Pixel in der Region, die der Radarschatten in dem Schatten-Pseudo-Radarbild sein wird, ausgewählt wurden.
Dann addiert die Bildkombiniereinheit 180a in Schritt ST2222 den Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild zu dem Pixelwert des ausgewählten Pixels in dem Hintergrundbild.
Dann bestimmt die Bildkombiniereinheit 180a in Schritt ST2223, ob oder ob nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden.
Wenn die Bildkombiniereinheit 180a in Schritt ST2223 bestimmt, dass nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden, kehrt die Bildkombiniereinheit 180a zu der Verarbeitung von Schritt ST2221 zurück und führt die Verarbeitung von Schritt ST2221 bis Schritt ST2223 wiederholt aus, bis die Bildkombiniereinheit 180a bestimmt, dass alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden.
Wenn die Bildkombiniereinheit 180a in Schritt ST2223 bestimmt, dass alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden, beendet die Bildkombiniereinheit 180a die Verarbeitung des Flussdiagramms.
Es sei bemerkt, dass bei der Verarbeitung des Flussdiagramms die Reihenfolge der Verarbeitung von Schritt ST2201 bis Schritt ST2206 beliebig ist.
Ferner wird bei der Verarbeitung des Flussdiagramms in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a die Rauschbild-Erfassungseinheit 151 nicht aufweist, die Verarbeitung der Schritte ST2213 und ST2214 weggelassen.
Wenn das kombinierte Pseudo-Radarbild erzeugt wird, kann die Lerndaten-Erzeugungsvorrichtung 100a außerdem das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes durch Alpha Blending oder dergleichen mit einer Transparenz der Region, die der Radarschatten in dem Schatten-Pseudo-Radarbild sein wird, in einem vorgegebenen Verhältnis erzeugen. Genauer gesagt kann die Bildkombiniereinheit 180a beispielsweise nach dem Ersetzen des Pixelwerts des Pixels in dem Hintergrundbild durch den Pixelwert des Pixels in dem simulierten Radarschattenbild in der Verarbeitung von Schritt ST2212 durch die Bildkombiniereinheit 180a den Pixelwert des Pixels in dem Hintergrundbild zum Beispiel mit einem beliebigen Wert zwischen 0 und 1 multiplizieren und den multiplizierten Pixelwert zu dem ersetzten Pixelwert des Pixels in dem Hintergrundbild addieren.
In dem Hintergrundbild, in das die Region eingefügt wurde, die der Radarschatten sein wird, in dem auf diese Weise erzeugten simulierten Radarschattenbild wird die Region, die der Radarschatten in dem simulierten Radarschattenbild sein wird, unklar, und die Lerndaten-Erzeugungsvorrichtung 100a kann die Lerndaten erzeugen, die das kombinierte Pseudo-Radarbild aufweisen, das der Region ähnelt, die der Radarschatten in dem tatsächlichen Radarbild sein wird, das von der Radarvorrichtung 10 erzeugt wird, die die Radarabstrahlung durchführt.
Wenn das kombinierte Pseudo-Radarbild erzeugt wird, kann die Lerndaten-Erzeugungsvorrichtung 100a darüber hinaus das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes durch Alpha Blending oder dergleichen mit einer Transparenz des simulierten Zielobjektradarbildes in einem vorgegebenen Verhältnis erzeugen. Genauer gesagt kann die Bildkombiniereinheit 180a beispielsweise in einem Fall, in dem die Bildkombiniereinheit 180a bei der Verarbeitung von Schritt ST2222 den Pixelwert des Pixels in dem simulierten Zielobjektradarbild zu dem Pixelwert des Pixels in dem Hintergrundbild addiert, den Pixelwert des Pixels in dem simulierten Zielobjektradarbild zum Beispiel mit einem beliebigen Wert zwischen 0 und 1 multiplizieren und den multiplizierten Pixelwert zu dem Pixelwert des Pixels in dem Hintergrundbild addieren.
In dem auf diese Weise erzeugten kombinierten Pseudo-Radarbild wird die Region, in die das simulierte Zielobjektradarbild in das kombinierte Pseudo-Radarbild eingefügt worden ist, unklar, und die Lerndaten-Erzeugungsvorrichtung 100a kann Lerndaten mit einem kombinierten Pseudo-Radarbild erzeugen, das dem tatsächlichen Radarbild ähnelt, das von der die Radarabstrahlung durchführenden Radarvorrichtung 10 erzeugt wird.
23 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Bildkombiniereinheit 180a gemäß der zweiten Ausführungsform darstellt. Das heißt, 23 ist ein Flussdiagramm einer Verarbeitung von Schritt ST2105, der in 21 dargestellt ist. Das in 23 dargestellte Flussdiagramm stellt die Aktion der Bildkombiniereinheit 180a im zweiten Verfahren dar, in dem die Bildkombiniereinheit 180a ein kombiniertes Pseudo-Radarbild erzeugt. Es sei bemerkt, dass 23A einen Teil des Verarbeitungsablaufs der Bildkombiniereinheit 180a gemäß der zweiten Ausführungsform darstellt und dass 23B den restlichen Verarbeitungsablauf der Bildkombiniereinheit 180a gemäß der zweiten Ausführungsform darstellt.
Zuerst erfasst die Bildkombiniereinheit 180a in Schritt ST2301 ein simuliertes Zielobjektradarbild.
Dann erzeugt die Bildkombiniereinheit 180a in Schritt ST2302 ein Pseudo-Radarschattenbild.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2303 ein Rauschbild.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2304 ein Hintergrundbild.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2305 eine Position, in die das simulierte Zielobjektradarbild und das Pseudo-Radarschattenbild in das Hintergrundbild eingefügt werden.
Dann erfasst die Bildkombiniereinheit 180a in Schritt ST2306 die Größe der Einfügung des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes in das Hintergrundbild.
Dann ändert die Bildkombiniereinheit 180a in Schritt ST2307 die jeweilige Größe des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes auf der Basis der Größe der Einfügung des simulierten Zielobjektradarbildes und des Pseudo-Radarschattenbildes in das Hintergrundbild.
Dann wählt die Bildkombiniereinheit 180a in Schritt ST2311 ein Pixel in dem simulierten Radarschattenbild, ein Pixel in dem Rauschbild, das dem Pixel entspricht, und ein Pixel in dem Hintergrundbild, das dem Pixel entspricht, aus.
Dann berechnet die Bildkombiniereinheit 180a in Schritt ST2312 einen Pixelwert zum Ersetzen des ausgewählten Pixelwerts des Hintergrundbildes unter Verwendung von Gleichung (4).
Dann ersetzt die Bildkombiniereinheit 180a in Schritt ST2313 den Pixelwert des ausgewählten Pixels in dem Hintergrundbild durch den errechneten Pixelwert.
Dann bestimmt die Bildkombiniereinheit 180a in Schritt ST2314, ob oder ob nicht alle Pixel in dem simulierten Radarschattenbild ausgewählt wurden.
Falls die Bildkombiniereinheit 180a in Schritt ST2314 bestimmt, dass nicht alle Pixel in dem simulierten Radarschattenbild ausgewählt wurden, kehrt die Bildkombiniereinheit 180a zu der Verarbeitung von Schritt ST2311 zurück und führt die Verarbeitung von Schritt ST2311 bis Schritt ST2314 wiederholt aus, bis die Bildkombiniereinheit 180a bestimmt, dass alle Pixel in dem simulierten Radarschattenbild ausgewählt wurden.
Falls die Bildkombiniereinheit 180a in Schritt ST2314 bestimmt, dass alle Pixel in dem simulierten Radarschattenbild ausgewählt wurden, führt die Bildkombiniereinheit 180a die Verarbeitung von Schritt ST2321 aus.
Im Schritt ST2321 wählt die Bildkombiniereinheit 180a ein Pixel in dem simulierten Zielobjektradarbild und ein dem Pixel entsprechendes Pixel in dem Hintergrundbild, nachdem das simulierte Radarschattenbild eingefügt wurde, oder in dem Hintergrundbild, nachdem nach dem Einfügen ein Rauschen zu dem Hintergrundbild addiert wurde, aus.
Dann bestimmt die Bildkombiniereinheit 180a in Schritt ST2322, ob oder ob nicht der Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild größer ist als der Pixelwert des dem Pixel entsprechenden ausgewählten Pixels in dem Hintergrundbild, nachdem das simulierte Radarschattenbild eingefügt wurde, oder in dem Hintergrundbild, nachdem nach dem Einfügen Rauschen zu dem Hintergrundbild addiert wurde.
Falls im Schritt ST2322 die Bildkombiniereinheit 180a bestimmt, dass der Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild größer ist als der Pixelwert des ausgewählten Pixels in dem Hintergrundbild, nachdem das simulierte Radarschattenbild eingefügt wurde oder in dem Hintergrundbild, nachdem nach der Einfügung ein Rauschen zu dem Hintergrundbild addiert wurde, ersetzt die Bildkombiniereinheit 180a in Schritt ST2323 den Pixelwert des dem Pixel entsprechenden ausgewählten Pixels in dem Hintergrundbild nach der Einfügung des simulierten Radarschattenbildes oder in dem Hintergrundbild, nachdem nach der Einfügung das Rauschen zu dem Hintergrundbild addiert wurde, durch den Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild.
Nach Schritt ST2323 bestimmt die Bildkombiniereinheit 180a in Schritt ST2324, ob oder ob nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden.
Falls in ST2322 die Bildkombiniereinheit 180a bestimmt, dass der Pixelwert des ausgewählten Pixels in dem simulierten Zielobjektradarbild nicht größer ist als der Pixelwert des dem Pixel entsprechenden ausgewählten Pixels in dem Hintergrundbild, nachdem das simulierte Radarschattenbild eingefügt wurde, oder in dem Hintergrundbild, nachdem nach dem Einfügen Rauschen zu dem Hintergrundbild addiert wurde, führt die Bildkombiniereinheit 180a die Verarbeitung von Schritt ST2324 aus.
Wenn die Bildkombiniereinheit 180a in Schritt ST2324 bestimmt, dass nicht alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden, kehrt die Bildkombiniereinheit 180a zu der Verarbeitung von Schritt ST2321 zurück und führt die Verarbeitung von Schritt ST2321 bis Schritt ST2324 wiederholt aus, bis die Bildkombiniereinheit 180a bestimmt, dass alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden.
Wenn die Bildkombiniereinheit 180a in Schritt ST2324 bestimmt, dass alle Pixel in dem simulierten Zielobjektradarbild ausgewählt wurden, beendet die Bildkombiniereinheit 180a die Verarbeitung des Flussdiagramms.
Es sei bemerkt, dass bei der Verarbeitung des Flussdiagramms die Reihenfolge der Verarbeitung von Schritt ST2301 bis Schritt ST2306 beliebig ist.
Ferner berechnet in der Verarbeitung des Flussdiagramms in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100a nicht die Rauschbild-Erfassungseinheit 151 aufweist, die Verarbeitung von Schritt ST2312 den Pixelwert zum Ersetzen des ausgewählten Pixelwerts des Hintergrundbildes unter Verwendung von Gleichung (3).
Wenn das kombinierte Pseudo-Radarbild erzeugt wird, kann die Lerndaten-Erzeugungsvorrichtung 100a außerdem das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes durch Alpha Blending oder dergleichen mit einer Transparenz der Region, die der Radarschatten in dem Schatten-Pseudo-Radarbild sein wird, in einem vorgegebenen Verhältnis erzeugen. Genauer kann die Bildkombiniereinheit 180a beispielsweise nach der Verarbeitung von Schritt ST2312 den Pixelwert des Pixels in dem Hintergrundbild vor der Ersetzung durch den unter Verwendung von Gleichung (4) berechneten Pixelwert beispielsweise mit einem beliebigen Wert zwischen 0 und 1 multiplizieren und den multiplizierten Pixelwert zu dem Pixelwert des Pixels in dem Hintergrundbild, nachdem er durch den unter Verwendung von Gleichung (4) berechneten Pixelwert ersetzt wurde, in dem Pixel der Region des Hintergrundbildes, in das die Region, der Radarschatten in dem Schatten-Pseudo-Radarbild sein wird, eingefügt wurde, addieren.
In dem Hintergrundbild, in das die Region eingefügt wurde, die der Radarschatten sein wird, in dem auf diese Weise erzeugten simulierten Radarschattenbild wird die Region, die der Radarschatten in dem simulierten Radarschattenbild sein wird, unklar, und die Lerndaten-Erzeugungsvorrichtung 100a kann die Lerndaten erzeugen, die das kombinierte Pseudo-Radarbild aufweisen, das der Region ähnelt, die der Radarschatten in dem tatsächlichen Radarbild sein wird, das von der Radarvorrichtung 10 erzeugt wird, die die Radarabstrahlung durchführt.
Wenn das kombinierte Pseudo-Radarbild erzeugt wird, kann die Lerndaten-Erzeugungsvorrichtung 100a darüber hinaus das kombinierte Pseudo-Radarbild durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes durch Alpha Blending oder dergleichen mit einer Transparenz des simulierten Zielobjektradarbildes in einem vorgegebenen Verhältnis erzeugen. Genauer gesagt kann die Bildkombiniereinheit 180a beispielsweise in einem Fall, in dem die Bildkombiniereinheit 180a bei der Verarbeitung von Schritt ST2323 den Pixelwert des Pixels in dem Hintergrundbild durch den Pixelwert des Pixels in dem simulierten Zielobjektradarbild ersetzt, den Pixelwert des Pixels in dem simulierten Zielobjektradarbild mit einem beliebigen Wert zwischen 0 und 1 multiplizieren und den Pixelwert des Pixels in dem Hintergrundbild durch den multiplizierten Pixelwert ersetzen.
In dem auf diese Weise erzeugten kombinierten Pseudo-Radarbild wird die Region, in die das simulierte Zielobjektradarbild in das kombinierte Pseudo-Radarbild eingefügt worden ist, unklar, und die Lerndaten-Erzeugungsvorrichtung 100a kann Lerndaten mit einem kombinierten Pseudo-Radarbild erzeugen, das dem tatsächlichen Radarbild ähnelt, das von der die Radarabstrahlung durchführenden Radarvorrichtung 10 erzeugt wird.
Wie oben beschrieben, weist die Lerndaten-Erzeugungsvorrichtung 100a auf: die 3D-Modell-Erfassungseinheit 110 zum Erfassen der 3D-Zielobjektmodellinformationen, die das 3D-Modell des Zielobjekts angeben, die Zielobjektbild-Erzeugungseinheit 120 zum Simulieren der Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen, um das simulierte Zielobjektradarbild zu erzeugen, bei dem es sich um das simulierte Radarbild des Zielobjekts handelt, die Radarbild-Erfassungseinheit 130 zum Erfassen der Radarbildinformationen, die das Radarbild angeben, das von der eine Radarbestrahlung durchführenden Radarvorrichtung 10 erzeugt wird, die Hintergrundbild-Erfassungseinheit 140 zum Erfassen des Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen, die Bildkombiniereinheit 180a zur Erzeugung eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes durch Einfügen des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild erhalten wird, die Lerndaten-Erzeugungseinheit 190 zur Erzeugung von Lerndaten, in denen die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180a erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die eine Art des Zielobjekts angeben, assoziiert sind, die Lerndaten-Ausgabeeinheit 199 zum Ausgeben der von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten; und die Schattenbild-Erzeugungseinheit 150 zum Simulieren einer Radarbestrahlung eines Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen, zum Berechnen einer Region, die ein Radarschatten sein wird, auf der Basis eines 3D-Modells des von den 3D-Zielobjektmodellinformationen angegebenen Zielobjekts und einer Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts und zum Erzeugen eines Pseudo-Radarschattenbildes, das die berechnete Region angibt, die der Radarschatten sein wird, und die Bildkombiniereinheit 180a ist dafür ausgelegt, das von der Zielobjektbild-Erzeugungseinheit 120 erzeugte simulierte Zielobjektradarbild und das von der Schattenbild-Erzeugungseinheit 150 erzeugte simulierte Radarschattenbild an einer vorgegebenen Position in dem von der Hintergrundbild-Erfassungseinheit 140 erfassten Hintergrundbild einzufügen, um ein kombiniertes Pseudo-Radarbild zu erzeugen, das durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes erhalten wird.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100a auf einfache Weise Lerndaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Ferner kann die Lerndaten-Erzeugungsvorrichtung 100a mit einer solchen Konfiguration Lerndaten erzeugen, die ein kombiniertes Pseudo-Radarbild aufweisen, das einen tatsächlichen Radarbild ähnelt, das von der Radarvorrichtung 10 erzeugt wird, die eine Radarabstrahlung durchführt.
Ferner erzeugt die Lerndaten-Erzeugungsvorrichtung 100a mit einer solchen Konfiguration das Hintergrundbild unter Verwendung des Radarbildes, das von der eine Radarabstrahlung durchführenden Radarvorrichtung 10 erzeugt wird, und somit ist es nicht notwendig, ein 3D-Modell des Hintergrunds des Zielobjekts zu erstellen.
Da es nicht notwendig ist, das Hintergrundbild aus dem 3D-Modell oder dergleichen des Hintergrundbildes des Zielobjekts durch numerische Berechnung zu erzeugen, können die Lerndaten in kurzer Zeit erzeugt werden.
Außerdem ist in der Lerndaten-Erzeugungsvorrichtung 100a in der oben beschriebenen Konfiguration die Lerndaten-Erzeugungseinheit 190 dafür ausgelegt, die Lerndaten zu erzeugen, in denen die Position, in die die Bildkombiniereinheit 180a das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt hat, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, assoziiert ist.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100a auf einfache Weise Lerndaten mit Lehrerdaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Außerdem weist in der Lerndaten-Erzeugungsvorrichtung 100a die Bildkombiniereinheit 180a zusätzlich zu der oben beschriebenen Konfiguration die eingebettete Koordinatenerfassungseinheit 181a auf, um Informationen zu erfassen, von denen die Koordinaten des Pixels in dem Hintergrundbild, in dem der Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt wird, angegeben werden, und die Lerndaten-Erzeugungseinheit 190 ist dafür ausgelegt, die Lerndaten durch Assoziieren der Informationen, von denen die von der eingebetteten Koordinatenerfassungseinheit 181a erfassten Koordinaten des Pixels in dem Hintergrundbild angegeben werden, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, zu erzeugen.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100a auf einfache Weise Lerndaten mit Lehrerdaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Ferner weist die Lerndaten-Erzeugungsvorrichtung 100a zusätzlich zu der oben beschriebenen Konfiguration die Rauschbild-Erfassungseinheit 151 zum Erfassen eines Rauschbildes zum Addieren von Rauschen zu dem von der Schattenbild-Erzeugungseinheit 150 erzeugten Pseudo-Radarschattenbild auf, und die Bildkombiniereinheit 180a ist dafür ausgelegt, durch Addieren von Rauschen, das von dem von der Rauschbild-Erfassungseinheit 151 erfassten Rauschbild angegeben wird, zu einer Region, in die das von der Schattenbild-Erzeugungseinheit 150 erzeugte simulierte Radarschattenbild in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild eingefügt wird, und ferner durch Einfügen des simulierten Zielobjektradarbildes ein kombiniertes Pseudo-Radarbild zu erzeugen.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100a auf einfache Weise Lerndaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Ferner kann die Lerndaten-Erzeugungsvorrichtung 100a mit einer solchen Konfiguration Lerndaten erzeugen, die ein kombiniertes Pseudo-Radarbild aufweisen, das einen tatsächlichen Radarbild ähnelt, das von der Radarvorrichtung 10 erzeugt wird, die eine Radarabstrahlung durchführt.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100a zusätzlich zu der oben beschriebenen Konfiguration die Positionsbestimmungseinheit 160a auf zum Bestimmen einer Position, in die das von der Zielobjektbild-Erzeugungseinheit 120 erzeugte simulierte Zielobjektradarbild und das von der Schattenbild-Erzeugungseinheit 150 erzeugte simulierte Radarschattenbild in das Hintergrundbild eingefügt werden, auf Basis des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und der Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100a dem Anwender ersparen, die Position einzugeben, an der das simulierte Zielobjektradarbild und das Pseudo-Radarschattenbild in das Hintergrundbild eingefügt werden.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100a zusätzlich zu der oben beschriebenen Konfiguration die Größenbestimmungseinheit 170a auf zum Bestimmen einer Größe der Einfügung des von der Zielobjektbild-Erzeugungseinheit 120 erzeugten simulierten Zielobjektradarbildes und des von der Schattenbild-Erzeugungseinheit 150 erzeugten simulierten Radarschattenbildes in das Hintergrundbild auf Basis des Verhältnisses zwischen dem Abstand zwischen dem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und einer Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120 die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert, und einem Abstand zwischen einem angenommenen Zielobjekt und einer Emissionsposition einer Radarabstrahlung in der Radarvorrichtung 10, wenn die Radarvorrichtung 10 eine tatsächliche Radarabstrahlung durchführt.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100a dem Anwender ersparen, die Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild einzugeben.
Außerdem erfasst in der Lerndaten-Erzeugungsvorrichtung 100a in der oben beschriebenen Konfiguration die Radarbild-Erfassungseinheit 130 Radarbildinformationen, die ein Radarbild angeben, in dem ein weiter Bereich fotografiert ist, und die Hintergrundbild-Erfassungseinheit 140 schneidet eine Bild-Teilregion eines Radarbildes, in dem ein weiter Bereich fotografiert ist, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, aus und erfasst die ausgeschnittene Bildregion als Hintergrundbild.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100a auf einfache Weise das Hintergrundbild erfassen.
Es sei bemerkt, dass in der obigen Beschreibung in Bezug auf die von der Radarvorrichtung 10 ausgegebenen Radarbildinformationen beschrieben wurde, dass jeder Pixelwert des Radarbilds, das von den Radarbildinformationen angegeben wird, die Intensität des reflektierten Radarsignals angibt und die Radarbild-Erfassungseinheit 130 die Radarbildinformationen erfasst, in denen jeder Pixelwert des Radarbildes, das von den von der Radarvorrichtung 10 erzeugten Radarbildinformationen angegeben wird, die Intensität des reflektierten Radarsignals angibt. Jedoch kann das Radarbild, das von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegeben wird, erhalten werden durch Umwandeln der Intensität des reflektierten Radarsignals in jedem Pixelwert des Radarbildes, das von den Radarbildinformationen angegeben wird, in eine logarithmische Skala und ferner durch Normalisieren der Intensität des reflektierten Radarsignals nach der Umwandlung in die logarithmische Skala auf solche Weise, dass es einen Wert zwischen 0 und 1 oder dergleichen aufweist, wodurch Graustufen des Radarbildes erstellt werden.
In einem Fall, in dem das Radarbild, das von den Radarbildinformationen angegeben wird, die von der Radarbild-Erfassungseinheit 130 erfasst werden, in Graustufen umgewandelt wird, erzeugt die Zielobjektbild-Erzeugungseinheit 120 beispielsweise das simulierte Zielobjektradarbild als Graustufenbild, das so normalisiert ist, dass jeder Pixelwert des simulierten Zielobjektradarbildes ein Wert zwischen 0 und 1 ist. Außerdem erzeugt die Schattenbild-Erzeugungseinheit 150 das simulierte Radarschattenbild als binäres monochromes Bild oder dergleichen, in dem in jedem Pixelwert des simulierten Radarschattenbildes der Pixelwert des Pixels, das der Radarschatten ist, auf 0 eingestellt ist und der Pixelwert des Bildes, der nicht der Radarschatten ist, auf 1 eingestellt ist. Ferner erfasst die Rauschbild-Erfassungseinheit 151 das Rauschbild als Graustufenbild, das so normalisiert ist, dass jeder Pixelwert des Rauschbildes einen Wert zwischen 0 und 1 oder dergleichen aufweist. Ferner führt die Bildkombiniereinheit 180a die Verarbeitung durch, die in dem Flussdiagramm von 23 dargestellt ist.
Dritte Ausführungsform.
Eine Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform wird nun unter Bezugnahme auf 24 bis 26 beschrieben.
Die Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform fügt das erzeugte simulierte Zielobjektradarbild und das erzeugte Pseudo-Radarschattenbild in das erfasste Hintergrundbild ein, um ein kombiniertes Pseudo-Radarbild zu erzeugen, das durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes erhalten wird.
Dagegen erzeugt die Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform ein simuliertes Zielobjektradarbild, welches das erzeugte Pseudo-Radarschattenbild einschließt, und erzeugt ein kombiniertes Pseudo-Radarbild, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, erhalten wird, durch Einfügen des erzeugten simulierten Zielobjektradarbild in das erfasste Hintergrundbild.
24 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils eines Radarsystems 1b darstellt, auf das die Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform angewendet wird.
Das Radarsystem 1b weist eine Lerndaten-Erzeugungsvorrichtung 100b, eine Radarvorrichtung 10, eine Lernvorrichtung 20, eine Inferenzvorrichtung 30, eine Speichervorrichtung 40, eine Eingabevorrichtung 50 und eine Ausgabevorrichtung 60 auf.
Das Radarsystem 1b wird durch Ersetzen der Lerndaten-Erzeugungsvorrichtung 100 in dem Radarsystem 1 gemäß der ersten Ausführungsform durch die Lerndaten-Erzeugungsvorrichtung 100b erhalten.
Es sei bemerkt, dass die Konfiguration, welche die Lerndaten-Erzeugungsvorrichtung 100b, die Lernvorrichtung 20 und die Speichervorrichtung 40 aufweist, als ein Lernsystem 2b arbeitet.
Außerdem arbeitet die Konfiguration, welche die Lerndaten-Erzeugungsvorrichtung 100b, die Lernvorrichtung 20, die Inferenzvorrichtung 30 und die Speichervorrichtung 40 aufweist, als Inferenzsystem 3b.
In der Konfiguration des Radarsystems 1b gemäß der dritten Ausführungsform werden Konfigurationen, die denen des Radarsystems 1 gemäß der ersten Ausführungsform gleich sind, gleiche Bezugszahlen gegeben, und auf eine doppelte Beschreibung wird verzichtet. Das heißt, die Beschreibung der Konfiguration von 24 mit gleichen Bezugszahlen wie in 1 wird weggelassen.
Eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform wird nun unter Bezugnahme auf 25 beschrieben.
25 ist ein Blockschema, das ein Beispiel für eine Konfiguration eines Hauptteils der Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform darstellt.
Die Lerndaten-Erzeugungsvorrichtung 100b weist eine Aktionsempfangseinheit 101, eine 3D-Modell-Erfassungseinheit 110, eine Zielobjektbild-Erzeugungseinheit 120b, eine Radarbild-Erfassungseinheit 130, eine Hintergrundbild-Erfassungseinheit 140, eine Bildkombiniereinheit 180b, eine Lerndaten-Erzeugungseinheit 190 und eine Lerndaten-Ausgabeeinheit 199 auf.
Die Lerndaten-Erzeugungsvorrichtung 100b kann zusätzlich zu der oben beschriebenen Konfiguration eine Rauschbild-Erfassungseinheit 151b, eine Positionsbestimmungseinheit 160b, eine Größenbestimmungseinheit 170b und eine eingebettete Koordinatenerfassungseinheit 181b aufweisen.
Wie in 25 dargestellt ist, wird als Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform eine beschrieben, welche die Rauschbild-Erfassungseinheit 151b, die Positionsbestimmungseinheit 160b und die Größenbestimmungseinheit 170b aufweist.
In der in 25 dargestellten Lerndaten-Erzeugungsvorrichtung 100b ist die Rauschbild-Erfassungseinheit 151b zu der Konfiguration der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform, die in 2 dargestellt ist, hinzugefügt, und ferner sind die Bildkombiniereinheit 180, die Positionsbestimmungseinheit 160 und die Größenbestimmungseinheit 170 in der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform durch die Bildkombiniereinheit 180b, die Positionsbestimmungseinheit 160b und die Größenbestimmungseinheit 170b ersetzt.
In der Konfiguration der Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform erhalten Konfigurationen, die denen der Lerndaten-Erzeugungsvorrichtung 100 gemäß der ersten Ausführungsform gleich sind, gleiche Bezugszahlen, und auf eine doppelte Beschreibung wird verzichtet. Das heißt, die Beschreibung der Konfiguration von 25 mit gleichen Bezugszahlen wie in 2 wird weggelassen.
Die Zielobjektbild-Erzeugungseinheit 120b simuliert eine Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjektradarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist. Wenn das simulierte Zielobjektradarbild erzeugt wird, berechnet die Zielobjektbild-Erzeugungseinheit 120b eine Region, die ein Radarschatten sein wird, auf der Basis des 3D-Modells des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und der Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, erzeugt ein Pseudo-Radarschattenbild, das die errechnete Region angibt, die der Radarschatten sein wird, und erzeugt das simulierte Zielobjektradarbild durch Aufnehmen des erzeugten Pseudo-Radarschattenbildes in das simulierte Zielobjektradarbild.
Genauer erzeugt die Zielobjektbild-Erzeugungseinheit 120b beispielsweise das Pseudo-Radarschattenbild anhand eines Verfahrens, das dem Verfahren ähnlich ist, in dem die Schattenbild-Erzeugungseinheit 150 in der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform das Pseudo-Radarschattenbild erzeugt. Daher wird die Beschreibung eines Verfahrens, in dem die Zielobjektbild-Erzeugungseinheit 120b das Pseudo-Radarschattenbild erzeugt, weggelassen.
Außerdem kombiniert die Zielobjektbild-Erzeugungseinheit 120b beispielsweise das erzeugte Pseudo-Radarschattenbild und das simulierte Zielobjektradarbild, das durch Simulieren der Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen erzeugt wird, durch Einfügen des erzeugten Pseudo-Radarschattenbildes in das simulierte Zielobjektradarbild, um das simulierte Zielobjektradarbild nach der Einfügung des Pseudo-Radarschattenbildes zu erzeugen.
Die Bildkombiniereinheit 180b fügt das von der Zielobjektbild-Erzeugungseinheit 120b erzeugte simulierte Zielobjektradarbild, welches das Pseudo-Radarschattenbild einschließt, an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild ein, um ein kombiniertes Pseudo-Radarbild zu erzeugen, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, erhalten wird. Genauer ersetzt die Bildkombiniereinheit 180b beispielsweise den Pixelwert an der Position des Pixels, das der Position der einzelnen Pixel des simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, des Hintergrundbildes unter Verwendung jedes Pixelwerts des simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, wodurch das Hintergrundbild und das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, kombiniert werden, um ein kombiniertes Pseudo-Radarbild zu erzeugen.
Die Rauschbild-Erfassungseinheit 151b erfasst ein Rauschbild zum Addieren von Rauschen zu einer Region, die ein Radarschatten sein wird, in dem simulierten Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, das von der Zielobjektbild-Erzeugungseinheit 120b erzeugt wird. Die Rauschbild-Erfassungseinheit 151b hat eine Funktion, die derjenigen der Rauschbild-Erfassungseinheit 151 in der Lerndaten-Erzeugungsvorrichtung 100a gemäß der zweiten Ausführungsform ähnlich ist. Auf die Beschreibung eines Verfahrens, in dem die Rauschbild-Erfassungseinheit 151b ein Rauschbild erfasst, wird verzichtet.
Zum Beispiel fügt in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100b die Rauschbild-Erfassungseinheit 151b aufweist, die Bildkombiniereinheit 180b das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, das von der Zielobjektbild-Erzeugungseinheit 120b erzeugt wird, in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild ein, addiert ein Rauschen zu der Region des Pseudo-Radarschattenbildes in der Region, in der das simulierte Zielobjektradarbild eingefügt wird, um das kombinierte Pseudo-Radarbild zu erzeugen. Genauer addiert beispielsweise die Bildkombiniereinheit 180b in diesem Fall durch Addieren des Pixelwerts des Pixels des Rauschbildes, das den jeweiligen Pixeln der Region entspricht, zu dem Pixelwert jedes Pixels der Region des Pseudo-Radarschattenbildes in der Region, in der das simulierte Zielobjektradarbild eingefügt wurde, ein Rauschen zu dem Hintergrundbild.
Die Bildkombiniereinheit 180b erfasst eine Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, eingefügt wird, beispielsweise auf der Basis der von der Aktionsempfangseinheit 101 ausgegebenen Aktionsinformationen. Genauer gibt der Anwender beispielsweise eine Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, eingefügt wird, durch Bedienen der Eingabevorrichtung 50 ein. Die Aktionsempfangseinheit 101 empfängt ein Aktionssignal, das eine Position in dem Hintergrundbild angibt, in die das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, eingefügt wird, wandelt das Aktionssignal in Aktionsinformationen um, die dem Aktionssignal entsprechen, und gibt die geänderten Aktionsinformationen an die Bildkombiniereinheit 180b aus. Die Bildkombiniereinheit 180b erfasst die Aktionsinformationen aus der Steuerbefehls-Empfangseinheit 101, um die Position in dem Hintergrundbild, in die das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, eingefügt wird, zu erfassen.
Ferner kann beispielsweise in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100b die Positionsbestimmungseinheit 160b aufweist, die Position, in die das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, eingefügt wird, von der Positionsbestimmungseinheit 160b bestimmt werden.
Die Positionsbestimmungseinheit 160b bestimmt die Position, in die das von der Zielobjektbild-Erzeugungseinheit 120b erzeugte simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild eingefügt wird, auf Basis des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und der Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120b die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert.
Außerdem kann die Bildkombiniereinheit 180b die Größe des von der Zielobjektbild-Erzeugungseinheit 120b erzeugten simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, in eine vorgegebene Größe ändern, das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, nach der Größenänderung an einer vorgegeben Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild einfügen, um ein kombiniertes Pseudo-Radarbild zu erzeugen, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, erhalten wird.
Zum Beispiel wird in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100b die Größenbestimmungseinheit 170b aufweist, die geänderte Größe des simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, durch die Größenbestimmungseinheit 170b bestimmt.
Die Größenbestimmungseinheit 170b bestimmt die Größe der Einfügung des von der Zielobjektbild-Erzeugungseinheit 120b erzeugten simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild auf Basis des Verhältnisses zwischen dem Abstand zwischen dem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und der Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120b die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert, und dem Abstand zwischen dem angenommenen Zielobjekt und der Emissionsposition der Radarabstrahlung in der Radarvorrichtung 10, wenn die Radarvorrichtung 10 eine tatsächliche Radarabstrahlung durchführt.
Die Lerndaten-Erzeugungseinheit 190 erzeugt Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180b erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die den Typ des Zielobjekts angeben, assoziieren. Die Lerndaten-Erzeugungseinheit 190 kann die Lerndaten erzeugen, in denen die Position, in die die Bildkombiniereinheit 180b das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt hat, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, assoziiert ist.
Die eingebettete Koordinatenerfassungseinheit 181b erfasst aus der Bildkombiniereinheit 180b Informationen, die Koordinaten von Pixeln in dem Hintergrundbild angeben, in denen die Bildkombiniereinheit 180b den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat. Die eingebettete Koordinatenerfassungseinheit 181b gibt die erfassten Informationen an die Lerndaten-Erzeugungseinheit 190 aus. Zum Beispiel kann in einem Fall, in dem die Lerndaten-Erzeugungsvorrichtung 100b die eingebettete Koordinatenerfassungseinheit 181b aufweist, die Lerndaten-Erzeugungseinheit 190 die Lerndaten durch Assoziieren der Koordinaten des Pixels in dem Hintergrundbild, in dem die Bildkombiniereinheit 180b den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat, mit den Klasseninformationen, die einen Typ des Zielobjekts angeben, erzeugen.
Es sei bemerkt, dass die Funktionen der Aktionsempfangseinheit 101, der 3D-Modell-Erfassungseinheit 110, der Zielobjektbild-Erzeugungseinheit 120b, der Radarbild-Erfassungseinheit 130, der Hintergrundbild-Erfassungseinheit 140, der Rauschbild-Erfassungseinheit 151b, der Positionsbestimmungseinheit 160b, der Größenbestimmungseinheit 170b, der Bildkombiniereinheit 180b, der eingebetteten Koordinatenerfassungseinheit 181b, der Lerndaten-Erzeugungseinheit 190 und der Lerndaten-Ausgabeeinheit 199 in der Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform von dem Prozessor 201 und dem Speicher 202 in der Hardware-Konfiguration implementiert werden können, die als Beispiel in 8A und 8B in der ersten Ausführungsform dargestellt ist, oder von der Verarbeitungsschaltung 203 implementiert werden können.
Die Aktion der Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform wird unter Bezugnahme auf 26 beschrieben.
26 ist ein Flussdiagramm, das ein Beispiel für eine Verarbeitung der Lerndaten-Erzeugungsvorrichtung 100b gemäß der dritten Ausführungsform darstellt.
Zum Beispiel führt die Lerndaten-Erzeugungsvorrichtung 100b wiederholt die Verarbeitung des Flussdiagramms aus.
Zuerst erfasst die 3D-Modell-Erfassungseinheit 110 in Schritt ST2601 3D-Zielobjektmodellinformationen.
Dann erzeugt die Zielobjektbild-Erzeugungseinheit 120b in Schritt ST2602 ein simuliertes Zielobjektradarbild, das ein simuliertes Radarschattenbild einschließt.
Dann erfasst die Radarbild-Erfassungseinheit 130 in Schritt ST2603 Radarbildinformationen.
Dann erfasst die Hintergrundbild-Erfassungseinheit 140 in Schritt ST2604 ein Hintergrundbild.
Dann bestimmt die Positionsbestimmungseinheit 160b in Schritt ST2605 eine Position, an der das Zielobjektradarsimulationsbild, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild eingefügt wird.
Dann bestimmt die Größenbestimmungseinheit 170b in Schritt ST2606 die Größe der Einfügung des simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild.
Dann erfasst die Rauschbild-Erfassungseinheit 151b in Schritt ST2607 ein Rauschbild.
Dann erzeugt die Bildkombiniereinheit 180b in Schritt ST2608 ein kombiniertes Pseudo-Radarbild.
Dann erfasst die eingebettete Koordinatenerfassungseinheit 181b in Schritt ST2609 Informationen, die Koordinaten eines Pixels in dem Hintergrundbild angeben, in dem die Bildkombiniereinheit 180b den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat.
Dann erzeugt die Lerndaten-Erzeugungseinheit 190 in Schritt ST2610 Lerndaten.
Dann gibt die Lerndatenausgabeeinheit 199 in Schritt ST2611 die Lerndaten aus.
Nach der Ausführung der Verarbeitung von Schritt ST2611 beendet die Lerndaten-Erzeugungsvorrichtung 100b die Verarbeitung des Flussdiagramms, bringt die Verarbeitung zurück zu Schritt ST2601 und führt die Verarbeitung des Flussdiagramms wiederholt aus.
Es sei bemerkt, dass bei der Verarbeitung des Flussdiagramms in dem Fall, in dem die Verarbeitung von Schritt ST2601 der Verarbeitung von Schritt ST2602 vorangeht, die Verarbeitung von Schritt ST2603 der Verarbeitung von Schritt ST2604 vorangeht, und die Verarbeitung von Schritt ST2601 bis ST2604 dem Schritt ST2605 vorangeht, die Reihenfolge der Verarbeitung von Schritt ST2601 bis Schritt ST2604 beliebig ist.
Ferner reicht es bei der Verarbeitung des Flussdiagramms aus, wenn die Verarbeitung von Schritt ST2607 der Verarbeitung von Schritt ST2608 vorangeht.
Ferner kann in einem Fall, in dem es nicht notwendig ist, die 3D-Zielobjektmodellinformationen zu ändern, bei einer wiederholten Ausführung der Verarbeitung des Flussdiagramms die Verarbeitung von Schritt ST2601 weggelassen werden.
Ferner kann in einem Fall, in dem es nicht notwendig ist, die Radarbildinformationen zu ändern, bei einer wiederholten Ausführung der Verarbeitung des Flussdiagramms die Verarbeitung von Schritt ST2603 weggelassen werden.
Ferner kann in einem Fall, in dem es nicht notwendig ist, das Rauschbild zu ändern, bei einer wiederholten Ausführung der Verarbeitung des Flussdiagramms die Verarbeitung von Schritt ST2607 weggelassen werden.
Wie oben beschrieben, weist die Lerndaten-Erzeugungsvorrichtung 100b auf: die 3D-Modell-Erfassungseinheit 110 zum Erfassen der 3D-Zielobjektmodellinformationen, die das 3D-Modell des Zielobjekts angeben, die Zielobjektbild-Erzeugungseinheit 120b zum Simulieren der Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen, um das simulierte Zielobjektradarbild zu erzeugen, bei dem es sich um das simulierte Radarbild des Zielobjekts handelt, die Radarbild-Erfassungseinheit 130 zum Erfassen der Radarbildinformationen, die das Radarbild angeben, das von der eine Radarbestrahlung durchführenden Radarvorrichtung 10 erzeugt wird, die Hintergrundbild-Erfassungseinheit 140 zum Erfassen des Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen, die Bildkombiniereinheit 180b zur Erzeugung eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit 120b erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit 140 erfasste Hintergrundbild, die Lerndaten-Erzeugungseinheit 190 zur Erzeugung von Lerndaten, in denen die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit 180b erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die eine Art des Zielobjekts angeben, assoziiert sind, und die Lerndaten-Ausgabeeinheit 199 zum Ausgeben der von der Lerndaten-Erzeugungseinheit 190 erzeugten Lerndaten, und die Zielobjektbild-Erzeugungseinheit 120b ist dafür ausgelegt, auf der Basis eines 3D-Modells des von den 3D-Zielobjektmodellinformationen angegebenen Zielobjekts und einer Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts ein Pseudo-Radarschattenbild zu erzeugen, das die berechnete Region angibt, die der Radarschatten sein wird, und durch Aufnehmen des erzeugen Pseudo-Radarschattenbildes in das simulierte Zielobjektradarbild ein simuliertes Zielobjektradarbild zu erzeugen.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100b auf einfache Weise Lerndaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Ferner kann die Lerndaten-Erzeugungsvorrichtung 100b mit einer solchen Konfiguration Lerndaten erzeugen, die ein kombiniertes Pseudo-Radarbild aufweisen, das einen tatsächlichen Radarbild ähnelt, das von der Radarvorrichtung 10 erzeugt wird, die eine Radarabstrahlung durchführt.
Ferner erzeugt die Lerndaten-Erzeugungsvorrichtung 100b mit einer solchen Konfiguration das Hintergrundbild unter Verwendung des Radarbildes, das von der eine Radarabstrahlung durchführenden Radarvorrichtung 10 erzeugt wird, und somit ist es nicht notwendig, ein 3D-Modell des Hintergrunds des Zielobjekts zu erstellen.
Da es nicht notwendig ist, das Hintergrundbild aus dem 3D-Modell oder dergleichen des Hintergrundbildes des Zielobjekts durch numerische Berechnung zu erzeugen, können die Lerndaten in kurzer Zeit erzeugt werden.
Ferner ist in der Lerndaten-Erzeugungsvorrichtung 100b in der oben beschriebenen Konfiguration die Lerndaten-Erzeugungseinheit 190 dafür ausgelegt, die Lerndaten zu erzeugen, in denen die Position, in die die Bildkombiniereinheit 180b das simulierte Zielobjektradarbild in das Hintergrundbild eingefügt hat, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, assoziiert ist.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100b auf einfache Weise Lerndaten mit Lehrerdaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100b zusätzlich zu der oben beschriebenen Konfiguration die eingebettete Koordinatenerfassungseinheit 181b auf, um die Informationen zu erfassen, von denen die Koordinaten des Pixels in dem Hintergrundbild, in dem die Bildkombiniereinheit 180b den Pixelwert des Hintergrundbildes durch den Pixelwert des simulierten Zielobjektradarbildes ersetzt hat, angegeben werden, und die Lerndaten-Erzeugungseinheit 190 ist dafür ausgelegt, die Lerndaten durch Assoziieren der Informationen, von denen die von der eingebetteten Koordinatenerfassungseinheit 181b erfassten Koordinaten des Pixels in dem Hintergrundbild angegeben werden, mit den Klasseninformationen, die den Typ des Zielobjekts angeben, zu erzeugen.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100b auf einfache Weise Lerndaten mit Lehrerdaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100b zusätzlich zu der oben beschriebenen Konfiguration die Rauschbild-Erfassungseinheit 151b zum Erfassen eines Rauschbildes zum Addieren von Rauschen zu einer Region eines Pseudo-Radarschattenbildes in dem von der Zielobjektbild-Erzeugungseinheit 120b erzeugten simulierten Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, auf, und die Bildkombiniereinheit 180b ist dafür ausgelegt, das von der Zielobjektbild-Erzeugungseinheit 120b erzeugte simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild einzufügen und durch Addieren von Rauschen, das von dem von der Rauschbild-Erfassungseinheit 151b erzeugten Rauschbild angegeben wird, zu der Region des Pseudo-Radarschattenbildes in der Region, in die das simulierte Zielobjektradarbild eingefügt wird, das kombinierte Pseudo-Radarbild zu erzeugen.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100b auf einfache Weise Lerndaten erzeugen, die für ein maschinelles Lernen zum Erfassen oder Identifizieren eines in einem Radarbild erscheinenden Zielobjekts verwendet werden.
Ferner kann die Lerndaten-Erzeugungsvorrichtung 100b mit einer solchen Konfiguration Lerndaten erzeugen, die ein kombiniertes Pseudo-Radarbild aufweisen, das einen tatsächlichen Radarbild ähnelt, das von der Radarvorrichtung 10 erzeugt wird, die eine Radarabstrahlung durchführt.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100b zusätzlich zu der oben beschriebenen Konfiguration die Positionsbestimmungseinheit 160b auf zum Bestimmen einer Position, an der das von der Zielobjektbild-Erzeugungseinheit 120b erzeugte simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild eingefügt wird, auf Basis des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und einer Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120b die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100b dem Anwender ersparen, die Position einzugeben, an der das simulierte Zielobjektradarbild und das Pseudo-Radarschattenbild in das Hintergrundbild eingefügt werden.
Außerdem weist die Lerndaten-Erzeugungsvorrichtung 100b zusätzlich zu der oben beschriebenen Konfiguration die Größenbestimmungseinheit 170b auf zur Bestimmung der Größe der Einfügung des von der Zielobjektbild-Erzeugungseinheit 120b erzeugten simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild auf Basis des Verhältnisses zwischen dem Abstand zwischen dem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und der Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit 120b die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit 110 erfassten 3D-Zielobjektmodellinformationen simuliert, und dem Abstand zwischen dem angenommenen Zielobjekt und der Emissionsposition der Radarabstrahlung in der Radarvorrichtung 10, wenn die Radarvorrichtung 10 eine tatsächliche Radarabstrahlung durchführt.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100b dem Anwender ersparen, die Größe der Einfügung des simulierten Zielobjektradarbildes in das Hintergrundbild einzugeben.
Außerdem erfasst in der Lerndaten-Erzeugungsvorrichtung 100b in der oben beschriebenen Konfiguration die Radarbild-Erfassungseinheit 130 Radarbildinformationen, die ein Radarbild angeben, in dem ein weiter Bereich fotografiert ist, und die Hintergrundbild-Erfassungseinheit 140 schneidet eine Bild-Teilregion eines von den von der Radarbild-Erfassungseinheit 130 erfassten Radarbildinformationen angegebenen Radarbildes, in dem ein weiter Bereich fotografiert ist, aus und erfasst die ausgeschnittene Bildregion als Hintergrundbild.
Mit dieser Konfiguration kann die Lerndaten-Erzeugungsvorrichtung 100b auf einfache Weise das Hintergrundbild erfassen.
Es sei bemerkt, dass die vorliegende Erfindung innerhalb des Bereichs der Erfindung die Ausführungsformen frei kombinieren kann, beliebige Bestandteile der einzelnen Ausführungsformen modifizieren kann oder beliebige Bestandteile in jeder Ausführungsform weglassen kann.
INDUSTRIELLE ANWENDBARKEIT
Die Lerndaten-Erzeugungsvorrichtung gemäß der vorliegenden Erfindung kann auf ein Radarsystem, ein Lernsystem, ein Inferenzsystem oder dergleichen angewendet werden.
Bezugszeichenliste

1, 1a, 1b: Radarsystem,
2, 2a, 2b: Lernsystem,
3, 3a, 3b: Inferenzsystem,
10: Radarvorrichtung,
20, 20a: Lernvorrichtung,
21: Lerneinheit,
22: Einheit zum Erzeugen eines erlernten Modells,
23: Einheit zum Ausgeben eines erlernten Modells,
30, 30a: Inferenzvorrichtung,
31: Inferenzziel-Radarbilderfassungseinheit,
32: Inferenzeinheit,
33: Inferenzergebnis-Ausgabeeinheit,
40: Speichervorrichtung,
50: Eingabevorrichtung,
60: Ausgabevorrichtung,
100, 100a, 100b: Lerndaten-Erzeugungsvorrichtung,
101: Aktionsempfangseinheit,
110: 3D-Modell-Erfassungseinheit,
120, 120b: Zielobjektbild-Erzeugungseinheit,
130: Radarbild-Erfassungseinheit,
140: Hintergrundbild-Erfassungseinheit,
150: Schattenbild-Erzeugungseinheit,
151, 151b: Rauschbild-Erfassungseinheit,
160, 160a, 160b: Positionsbestimmungseinheit,
170, 170a, 170b: Größenbestimmungseinheit,
180, 180a, 180b: Bildkombiniereinheit,
181, 181a, 18b: eingebettete Koordinatenabrufeinheit,
190: Lerndaten-Erzeugungseinheit,
199: Lerndaten-Ausgabeeinheit,
201: Prozessor,
202: Speicher,
203: Verarbeitungsschaltung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007207180 A [0006]

Claims

Lerndaten-Erzeugungsvorrichtung, umfassend: eine 3D-Modell-Erfassungseinheit zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben; eine Zielobjektbild-Erzeugungseinheit zum Erzeugen eines simulierten Zielobjektradarbilds, das ein simuliertes Radarbild des Zielobjekts ist, durch Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen; eine Radarbild-Erfassungseinheit zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Hintergrundbild-Erfassungseinheit zum Erfassen eines Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen; eine Bildkombiniereinheit zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild; eine Lerndaten-Erzeugungseinheit zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren; und eine Lerndaten-Ausgabeeinheit zum Ausgeben der von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 1, wobei die Lerndaten-Erzeugungseinheit die Lerndaten erzeugt, in denen eine Position in dem Hintergrundbild, an der die Bildkombiniereinheit das von der Zielobjektbild-Erzeugungseinheit erzeugte simulierte Zielobjektradarbild in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild eingefügt hat, mit den Klasseninformationen, die eine Art des Zielobjekts angeben, assoziiert ist.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 1, ferner umfassend: eine eingebettete Koordinatenerfassungseinheit zum Erfassen von Informationen, die Koordinaten eines Pixels in dem Hintergrundbild angeben, in dem die Bildkombiniereinheit einen Pixelwert des Hintergrundbildes durch einen Pixelwert des simulierten Zielobjektradarbildes ersetzt hat, wobei die Lerndaten-Erzeugungseinheit die Lerndaten durch Assoziieren der Informationen, die von der eingebetteten Koordinatenerfassungseinheit erfasste Koordinaten eines Pixels in dem Hintergrundbild angeben, mit den Klasseninformationen, die eine Art des Zielobjekts angeben, erzeugt.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 1, ferner umfassend: eine Positionsbestimmungseinheit zum Bestimmen einer Position, wo das von der Zielobjektbild-Erzeugungseinheit erzeugte simulierte Zielobjektradarbild in das Hintergrundbild eingefügt wird, auf Basis eines von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und einer Strahlrichtung einer simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen simuliert.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 1, ferner umfassend: eine Größenbestimmungseinheit zum Bestimmen einer Größe einer Einfügung des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes in das Hintergrundbild auf Basis eines Verhältnisses zwischen einem Abstand zwischen einem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und einer Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen simuliert, und einem Abstand zwischen einem angenommenen Zielobjekt und einer Emissionsposition einer Radarabstrahlung in der Radarvorrichtung, wenn die Radarvorrichtung eine tatsächliche Radarabstrahlung durchführt.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 1, ferner umfassend: eine Schattenbild-Erzeugungseinheit zum Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen, zum Berechnen einer Region, die ein Radarschatten sein wird, auf Basis eines von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und einer Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts und zum Erzeugen eines simulierten Radarschattenbildes, das die errechnete Region angibt, die der Radarschatten sein wird, wobei die Bildkombiniereinheit das kombinierte Pseudo-Radarbild, das durch Kombinieren des Hintergrundbildes, des simulierten Zielobjektradarbildes und des simulierten Radarschattenbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes und des von der Schattenbild-Erzeugungseinheit erzeugten simulierten Radarschattenbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild erzeugt.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 6, ferner umfassend: eine Rauschbild-Erfassungseinheit zum Erfassen eines Rauschbildes zum Addieren von Rauschen zu dem von der Schattenbild-Erzeugungseinheit erzeugten simulierten Radarschattenbild, wobei die Bildkombiniereinheit das kombinierte Pseudo-Radarbild durch Addieren von Rauschen, das von dem von der Rauschbild-Erfassungseinheit erfassten Rauschbild angegeben wird, und ferner durch Einfügen des simulierten Zielobjektradarbildes in eine Region, in der das von der Schattenbild-Erzeugungseinheit erzeugte simulierte Radarschattenbild in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild eingefügt wird, erzeugt.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 6, ferner umfassend: eine Positionsbestimmungseinheit zum Bestimmen einer Position, in die das von der Zielobjektbild-Erzeugungseinheit erzeugte simulierte Zielobjektradarbild und das von der Schattenbild-Erzeugungseinheit erzeugte simulierte Radarschattenbild in das Hintergrundbild eingefügt werden, auf Basis eines von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und der Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit die Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen simuliert.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 6, ferner umfassend: eine Größenbestimmungseinheit zum Bestimmen einer Größe einer Einfügung des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes und des von der Schattenbild-Erzeugungseinheit erzeugten simulierten Radarschattenbildes in das Hintergrundbild auf Basis eines Verhältnisses zwischen einem Abstand zwischen einem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und einer Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit eine Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen simuliert, und einem Abstand zwischen einem angenommenen Zielobjekt und einer Emissionsposition einer Radarabstrahlung in der Radarvorrichtung, wenn die Radarvorrichtung eine tatsächliche Radarabstrahlung durchführt.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 1, wobei die Zielobjektbild-Erzeugungseinheit bei der Erzeugung des simulierten Zielobjektradarbildes eine Region, die ein Radarschatten sein wird, auf Basis eines 3D-Modells des von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und einer Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts berechnet, ein simuliertes Radarschattenbild, das die errechnete Region angibt, die der Radarschatten sein wird, erzeugt und das simulierte Zielobjektradarbild durch Aufnehmen des erzeugten simulierten Radarschattenbildes in das simulierte Zielobjektradarbild erzeugt.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 10, ferner umfassend: eine Rauschbild-Erfassungseinheit zum Erfassen eines Rauschbildes zum Addieren von Rauschen zu einer Region des simulierten Radarschattenbildes in dem simulierten Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, das von der Zielobjektbild-Erzeugungseinheit erzeugt wird, wobei die Bildkombiniereinheit das simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, das von der Zielobjektbild-Erzeugungseinheit erzeugt wird, in das Hintergrundbild einfügt und ein Rauschen, das von dem von der Rauschbild-Erfassungseinheit erfassten Rauschbild angegeben wird, zu einer Region des simulierten Radarschattenbildes in einer Region, in die das simulierte Zielobjektradarbild eingefügt worden ist, addiert, um das kombinierte Pseudoradarbild zu erzeugen.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 10, ferner umfassend: eine Positionsbestimmungseinheit zum Bestimmen einer Position, in die das von der Zielobjektbild-Erzeugungseinheit erzeugte simulierte Zielobjektradarbild, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild eingefügt wird, auf Basis eines von den 3D-Zielobjektmodellinformationen angegebenen 3D-Modells des Zielobjekts und der Strahlrichtung der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit eine Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen simuliert.
Lerndaten-Erzeugungsvorrichtung nach Anspruch 10, ferner umfassend: eine Größenbestimmungseinheit zum Bestimmen einer Größe einer Einfügung des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes, welches das simulierte Radarschattenbild einschließt, in das Hintergrundbild auf Basis eines Verhältnisses zwischen einem Abstand zwischen einem 3D-Modell des Zielobjekts, das von den 3D-Zielobjektmodellinformationen angegebenen wird, und einer Emissionsposition der simulierten Radarbestrahlung des Zielobjekts, wenn die Zielobjektbild-Erzeugungseinheit eine Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen simuliert, und einem Abstand zwischen einem angenommenen Zielobjekt und einer Emissionsposition einer Radarabstrahlung in der Radarvorrichtung, wenn die Radarvorrichtung eine tatsächliche Radarabstrahlung durchführt.
Lerndaten-Erzeugungsvorrichtung nach einem der Ansprüche 1 bis 13, wobei die Radarbild-Erfassungseinheit die Radarbildinformationen erfasst, die das Radarbild angeben, in dem ein weiter Bereich fotografiert ist, und die Hintergrundbild-Erfassungseinheit eine Bild-Teilregion des Radarbildes, in dem ein weiter Bereich fotografiert ist, das von den von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen angegeben wird, ausschneidet und die ausgeschnittene Bildregion als Hintergrundbild erfasst.
Lernsystem, umfassend: die Lerndaten-Erzeugungsvorrichtung nach einem der Ansprüche 1 bis 14; und eine Lernvorrichtung zum Durchführen eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungsvorrichtung ausgegebenen Lerndaten.
Inferenzsystem, umfassend: die Lerndaten-Erzeugungsvorrichtung nach einem der Ansprüche 1 bis 14; eine Lernvorrichtung zum Durchführen eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungsvorrichtung ausgegebenen Lerndaten; und eine Inferenzvorrichtung zum Inferieren, ob ein Bild des Zielobjekts in dem Radarbild vorhanden ist, das von der Radarvorrichtung erzeugt wird, die eine Radarabstrahlung unter Verwendung eines erlernten Modells durchführt, das einem Lernergebnis des maschinellen Lernens, das von der Lernvorrichtung durchgeführt wird, entspricht.
Lerndaten-Erzeugungsverfahren, umfassend: einen 3D-Modell-Erfassungsschritt zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben, durch eine 3D-Modell-Erfassungseinheit; einen Zielobjektbild-Erzeugungsschritt zum Simulieren einer Radarbestrahlung des Zielobjekts durch eine Zielobjektbild-Erzeugungseinheit unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjekt-Radarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist; einen Radarbild-Erfassungsschritt zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird, durch eine Radarbild-Erfassungseinheit; einen Hintergrundbild-Erfassungsschritt zum Erfassen eines Hintergrundbildes durch eine Hintergrundbild-Erfassungseinheit unter Verwendung der von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen; einen Bildkombinierschritt zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild durch eine Bildkombiniereinheit; einen Lerndaten-Erzeugungsschritt zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren, durch eine Lerndaten-Erzeugungseinheit; und einen Lerndaten-Ausgabeschritt zum Ausgeben der von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten durch eine Lerndaten-Ausgabeeinheit.
Lerndaten-Erzeugungsprogramm, das einen Computer veranlasst, zu implementieren: eine 3D-Modell-Erfassungsfunktion zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben; eine Zielobjektbild-Erzeugungsfunktion zum Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungsfunktion erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjektradarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist; eine Radarbild-Erfassungsfunktion zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von einer eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Hintergrundbild-Erfassungsfunktion zum Erfassen eines Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungsfunktion erfassten Radarbildinformationen; eine Bildkombinierfunktion zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungsfunktion erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungsfunktion erfasste Hintergrundbild; eine Lerndaten-Erzeugungsfunktion zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombinierfunktion erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren; und eine Lerndaten-Ausgabefunktion zum Ausgeben der von der Lerndaten-Erzeugungsfunktion erzeugten Lerndaten.
Lernvorrichtung, umfassend: eine 3D-Modell-Erfassungseinheit zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben; eine Zielobjektbild-Erzeugungseinheit zum Erzeugen eines simulierten Zielobjektradarbilds, das ein simuliertes Radarbild des Zielobjekts ist, durch Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen; eine Radarbild-Erfassungseinheit zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Hintergrundbild-Erfassungseinheit zum Erfassen eines Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen; eine Bildkombiniereinheit zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild; eine Lerndaten-Erzeugungseinheit zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren; eine Lerneinheit zum Durchführen eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten; eine Einheit zum Erzeugen eines gelernten Modells, die Informationen über ein gelerntes Modell erzeugt, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lerneinheit durchgeführten maschinellen Lernens entspricht; und eine Einheit zum Ausgeben eines gelernten Modells, die die Informationen über ein gelerntes Modell, die von der Einheit zum Erzeugen eines gelernten Modells erzeugt werden, ausgibt.
Lernverfahren, umfassend: einen 3D-Modell-Erfassungsschritt zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben, durch eine 3D-Modell-Erfassungseinheit; einen Zielobjektbild-Erzeugungsschritt zum Simulieren einer Radarbestrahlung des Zielobjekts durch eine Zielobjektbild-Erzeugungseinheit unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjekt-Radarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist; einen Radarbild-Erfassungsschritt zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird, durch eine Radarbild-Erfassungseinheit; einen Hintergrundbild-Erfassungsschritt zum Erfassen eines Hintergrundbildes durch eine Hintergrundbild-Erfassungseinheit unter Verwendung der von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen; einen Bildkombinierschritt zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild durch eine Bildkombiniereinheit; einen Lerndaten-Erzeugungsschritt zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren, durch eine Lerndaten-Erzeugungseinheit; einen Lernschritt zum Durchführen eines maschinellen Lernens durch eine Lerneinheit unter Verwendung der von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten; einen Schritt zum Erzeugen eines gelernten Modells, in dem durch eine Einheit zum Erzeugen eines gelernten Modells Informationen über ein gelerntes Modell ausgegeben werden, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lerneinheit durchgeführten maschinellen Lernens entspricht; und einen Schritt zum Ausgeben eines gelernten Modells, in dem die von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten durch eine Lerndaten-Ausgabeeinheit ausgegeben werden.
Lernprogramm, das einen Computer veranlasst, zu implementieren: eine 3D-Modell-Erfassungsfunktion zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben; eine Zielobjektbild-Erzeugungsfunktion zum Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungsfunktion erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjektradarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist; eine Radarbild-Erfassungsfunktion zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von einer eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Hintergrundbild-Erfassungsfunktion zum Erfassen eines Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungsfunktion erfassten Radarbildinformationen; eine Bildkombinierfunktion zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungsfunktion erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungsfunktion erfasste Hintergrundbild; eine Lerndaten-Erzeugungsfunktion zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombinierfunktion erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren; eine Lernfunktion zum Durchführen eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungsfunktion erzeugten Lerndaten; eine Funktion zum Erzeugen eines gelernten Modells, von der Informationen über ein gelerntes Modell erzeugt werden, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lernfunktion durchgeführten maschinellen Lernens entspricht; und eine Funktion zum Ausgeben eines gelernten Modells, von der Informationen über ein gelerntes Modell ausgegeben werden, die von der Funktion zum Erzeugen eines gelernten Modells erzeugt werden.
Inferenzvorrichtung, umfassend: eine 3D-Modell-Erfassungseinheit zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben; eine Zielobjektbild-Erzeugungseinheit zum Erzeugen eines simulierten Zielobjektradarbilds, das ein simuliertes Radarbild des Zielobjekts ist, durch Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen; eine Radarbild-Erfassungseinheit zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Hintergrundbild-Erfassungseinheit zum Erfassen eines Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen; eine Bildkombiniereinheit zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild; eine Lerndaten-Erzeugungseinheit zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren; eine Lerneinheit zum Durchführen eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten; eine Einheit zum Erzeugen eines gelernten Modells, die Informationen über ein gelerntes Modell erzeugt, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lerneinheit durchgeführten maschinellen Lernens entspricht; eine Inferenzziel-Radarbilderfassungseinheit zum Erfassen von Inferenzziel-Radarbildinformationen, die das Radarbild angeben, das ein Inferenzziel ist, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Inferenzeinheit zum Inferieren, ob ein Bild des Zielobjekts in dem Radarbild vorhanden ist, das von den von der Inferenzzielradarbild-Erfassungseinheit erfassten Inferenzziel-Radarbildinformationen angegeben wird, unter Verwendung des erlernten Modells, das von den von der Einheit zum Erzeugen eines erlernten Modells erzeugten Informationen über ein erlerntes Modell angegeben wird; und eine Inferenzergebnis-Ausgabeeinheit zum Ausgeben von Inferenzergebnisinformationen, die ein von der Inferenzeinheit inferiertes Inferenzergebnis angeben.
Inferenzverfahren, umfassend: einen 3D-Modell-Erfassungsschritt zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben, durch eine 3D-Modell-Erfassungseinheit; einen Zielobjektbild-Erzeugungsschritt zum Simulieren einer Radarbestrahlung des Zielobjekts durch eine Zielobjektbild-Erzeugungseinheit unter Verwendung der von der 3D-Modell-Erfassungseinheit erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjekt-Radarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist; einen Radarbild-Erfassungsschritt zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird, durch eine Radarbild-Erfassungseinheit; einen Hintergrundbild-Erfassungsschritt zum Erfassen eines Hintergrundbildes durch eine Hintergrundbild-Erfassungseinheit unter Verwendung der von der Radarbild-Erfassungseinheit erfassten Radarbildinformationen; einen Bildkombinierschritt zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungseinheit erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungseinheit erfasste Hintergrundbild durch eine Bildkombiniereinheit; einen Lerndaten-Erzeugungsschritt zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombiniereinheit erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren, durch eine Lerndaten-Erzeugungseinheit; einen Lernschritt zum Durchführen eines maschinellen Lernens durch eine Lerneinheit unter Verwendung der von der Lerndaten-Erzeugungseinheit erzeugten Lerndaten; einen Schritt zum Erzeugen eines gelernten Modells, in dem durch eine Einheit zum Erzeugen eines gelernten Modells Informationen über ein gelerntes Modell ausgegeben werden, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lerneinheit durchgeführten maschinellen Lernens entspricht; einen Inferenzziel-Radarbilderfassungsschritt zum Erfassen von Inferenzziel-Radarbildinformationen, die das Radarbild angeben, das ein Inferenzziel ist, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird, durch eine Inferenzzielradarbild-Erfassungseinheit; einen Inferenzschritt zum Inferieren, ob ein Bild des Zielobjekts in dem Radarbild vorhanden ist, das von den von der Inferenzzielradarbild-Erfassungseinheit erfassten Inferenzziel-Radarbildinformationen angegeben wird, durch eine Inferenzeinheit unter Verwendung des erlernten Modells, das von den von der Einheit zum Erzeugen eines erlernten Modells erzeugten Informationen über ein erlerntes Modell angegeben wird; und einen Inferenzergebnis-Ausgabeschritt zum Ausgeben von Inferenzergebnisinformationen, die ein von der Inferenzeinheit inferiertes Inferenzergebnis angeben, durch eine Inferenzergebnis-Ausgabeeinheit.
Inferenzprogramm, das einen Computer veranlasst, zu implementieren: eine 3D-Modell-Erfassungsfunktion zum Erfassen von 3D-Zielobjektmodellinformationen, die ein 3D-Modell eines Zielobjekts angeben; eine Zielobjektbild-Erzeugungsfunktion zum Simulieren einer Radarbestrahlung des Zielobjekts unter Verwendung der von der 3D-Modell-Erfassungsfunktion erfassten 3D-Zielobjektmodellinformationen, um ein simuliertes Zielobjektradarbild zu erzeugen, das ein simuliertes Radarbild des Zielobjekts ist; eine Radarbild-Erfassungsfunktion zum Erfassen von Radarbildinformationen, die ein Radarbild angeben, das von einer eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Hintergrundbild-Erfassungsfunktion zum Erfassen eines Hintergrundbildes unter Verwendung der von der Radarbild-Erfassungsfunktion erfassten Radarbildinformationen; eine Bildkombinierfunktion zum Erzeugen eines kombinierten Pseudo-Radarbildes, das durch Kombinieren des Hintergrundbildes und des simulierten Zielobjektradarbildes erhalten wird, durch Einfügen des von der Zielobjektbild-Erzeugungsfunktion erzeugten simulierten Zielobjektradarbildes an einer vorgegebenen Position in das von der Hintergrundbild-Erfassungsfunktion erfasste Hintergrundbild; eine Lerndaten-Erzeugungsfunktion zum Erzeugen von Lerndaten, die Informationen über ein kombiniertes simuliertes Radarbild, die das von der Bildkombinierfunktion erzeugte kombinierte Pseudo-Radarbild angeben, mit Klasseninformationen, die einen Typ des Zielobjekts angeben, assoziieren; eine Lernfunktion zum Durchführen eines maschinellen Lernens unter Verwendung der von der Lerndaten-Erzeugungsfunktion erzeugten Lerndaten; eine Funktion zum Erzeugen eines gelernten Modells, von der Informationen über ein gelerntes Modell erzeugt werden, die ein gelerntes Modell angeben, das einem Lernergebnis des von der Lernfunktion durchgeführten maschinellen Lernens entspricht; eine Inferenzziel-Radarbilderfassungsfunktion zum Erfassen von Inferenzziel-Radarbildinformationen, die das Radarbild angeben, das ein Inferenzziel ist, das von der eine Radarabstrahlung durchführenden Radarvorrichtung erzeugt wird; eine Inferenzfunktion zum Inferieren, ob ein Bild des Zielobjekts in dem Radarbild vorhanden ist, das von den von der Inferenzzielradarbild-Erfassungsfunktion erfassten Inferenzziel-Radarbildinformationen angegeben wird, unter Verwendung des erlernten Modells, das von den von der Funktion zum Erzeugen eines erlernten Modells erzeugten Informationen über ein erlerntes Modell angegeben wird; und eine Inferenzergebnis-Ausgabefunktion zum Ausgeben von Inferenzergebnisinformationen, die ein von der Inferenzfunktion inferiertes Inferenzergebnis angeben.