DE112017003558T5

DE112017003558T5 - Intelligenter trainer für taktische einsätze

Info

Publication number: DE112017003558T5
Application number: DE112017003558.9T
Authority: DE
Inventors: Chuan Huat Tan; Chee Kwang Quah; Tik Bin Oon; Wui Siong Koh
Original assignee: ST Electronics Training and Simulation Systems Pte Ltd
Current assignee: ST Engineering Training and Simulation Systems Pte Ltd
Priority date: 2016-07-12
Filing date: 2017-01-05
Publication date: 2019-05-09
Also published as: WO2018013051A1; AU2017295574A1; US20190244536A1

Abstract

Es ist ein simulationsbasiertes Computer-Generated-Force-(CGF)-System für taktisches Training in einem Trainingsfeld vorgesehen, das einen Empfänger zum Empfangen von Informationen auf dem Trainingsfeld, eine Datenbank zum Speichern einer Bibliothek von CGF-Verhalten für einen oder mehrere Roboter in dem Trainingsfeld, ein CGF-Modul, das mit dem Empfänger und der Datenbank verbunden ist, zum Verarbeiten der Informationen auf dem Trainingsfeld und Auswählen eines Verhaltens für jeden des einen oder der mehreren Roboter in dem Trainingsfeld aus der Bibliothek von CGF-Verhalten, die in der Datenbank gespeichert sind, eine Steuerung, die mit dem CGF-Modul gekoppelt ist, zum Senden von Befehlen basierend auf den ausgewählten Verhalten an den einen oder die mehreren Roboter in dem Trainingsfeld aufweist. Die Informationen auf dem Trainingsfeld weisen den Ort eines oder mehrerer Übungsteilnehmer auf, und die Befehle weisen Schießen auf den einen oder die mehreren Übungsteilnehmer auf.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft das Gebiet autonomer Roboter. Insbesondere betrifft sie einen intelligenten Trainer für taktische Einsätze.
HINTERGRUND
Kampftruppen untergehen Training, bei dem menschliche Spieler gegen Trainer oder einen Gegenspieler (OPFOR) antreten, um eine gewünschte taktische Reaktion (zum Beispiel In-Deckung-Gehen und Zurückfeuern) zu üben. Bei den taktischen und Schießübungen könnte ein Trainer oder OPFOR von einem autonomen Roboter ersetzt werden. Der Roboter hat den Vorteil, dass er nicht ermüdet und emotionale Faktoren keinen Einfluss haben; er muss jedoch intelligente Bewegung und Reaktionen, wie Zurückfeuern in einer unkontrollierten Umgebung, aufweisen, das heißt, er könnte ein Roboter-Trainer sein, der als ein intelligentes Ziel agiert, das auf die Übungsteilnehmer reagiert.
Normalerweise weisen Systeme menschlich aussehende Ziele auf, die auf festen Schienen montiert sind und sich darauf bewegen, was zu einem fixen Bewegungseffekt führt. Bei anderen Beispielen agieren mobile Roboter als Ziele, die in einer Scharfschießsituation eingesetzt werden. Jedoch sind in solchen Systemen keine Zurückfeuerfähigkeiten definiert. Bei einem weiteren Beispiel ist ein einfaches Zurückfeuersystem vorgesehen. Dem System fehlen jedoch Mobilität, Intelligenz, und es zeigt kein menschliches Verhalten in seiner Reaktion. Normalerweise wird eine Trommelfeueranordnung verwendet, die nicht zielt.
KURZFASSUNG DER ERFINDUNG
Gemäß einem ersten Aspekt einer Ausführungsform ist ein simulationsbasiertes Computer-Generated-Force(CGF)-System für taktisches Training in einem Trainingsfeld vorgesehen, das einen Empfänger zum Empfangen von Informationen auf dem Trainingsfeld, eine Datenbank zum Speichern einer Bibliothek von CGF-Verhalten für einen oder mehrere Roboter in dem Trainingsfeld, ein CGF-Modul, das mit dem Empfänger und der Datenbank verbunden ist, zum Verarbeiten der Informationen auf dem Trainingsfeld und Auswählen eines Verhaltens für jeden des einen oder der mehreren Roboter in dem Trainingsfeld aus der Bibliothek von CGF-Verhalten, die in der Datenbank gespeichert sind, eine Steuerung, die mit dem CGF-Modul gekoppelt ist, zum Senden von Befehlen basierend auf den ausgewählten Verhalten an den einen oder die mehreren Roboter in dem Trainingsfeld aufweist. Die Informationen auf dem Trainingsfeld weisen den Ort eines oder mehrerer Übungsteilnehmer auf, und die Befehle weisen Schießen auf den einen oder die mehreren Übungsteilnehmer auf.
Gemäß einem zweiten Aspekt einer Ausführungsform ist ein Verfahren zum Durchführen taktischen Trainings in einem Trainingsfeld vorgesehen, das Empfangen von Informationen auf dem Trainingsfeld, Verarbeiten der Informationen auf dem Trainingsfeld, Auswählen eines Verhaltens für jeden des einen oder der mehreren Roboter in dem Trainingsfeld aus einer Bibliothek von CGF-Verhalten, die in einer Datenbank gespeichert sind, und Senden von Befehlen basierend auf den ausgewählten Verhalten an den einen oder die mehreren Roboter in dem Trainingsfeld aufweist. Die Informationen auf dem Trainingsfeld weisen den Ort eines oder mehrerer Übungsteilnehmer auf, und die Befehle weisen Schießen auf den einen oder die mehreren Übungsteilnehmer auf.
Figurenliste
Die beigefügten Figuren dienen zur Veranschaulichung verschiedener Ausführungsformen und Ausführungsformen und zur Erläuterung verschiedener Prinzipien und Vorteile gemäß einer vorliegenden Ausführungsform.

1 stellt ein beispielhaftes System der vorliegenden Ausführungsform dar.
2 stellt eine beispielhafte Zurückfeuerarchitektur eines Roboters der vorliegenden Ausführungsform dar.
3 stellt eine Übersicht eines Roboterzurückfeuer-CGF-Systems der vorliegenden Ausführungsform dar.
4 stellt ein beispielhaftes Zielbekämpfungsszenario der vorliegenden Ausführungsform dar.
5 stellt einen beispielhaften Funktionsaktivitätsfluss eines automatischen Zielbekämpfungssystems aus Sicht des Schießers gemäß der vorliegenden Ausführungsform dar.
6 stellt ein beispielhaftes Verfahren zur Fokuseinstellung zum Verfolgen des Begrenzungsrahmens des menschlichen Ziels gemäß der vorliegenden Ausführungsform dar.
7 stellt ein beispielhaftes Systemroboterzurückfeuern gemäß der vorliegenden Ausführungsform dar.
8 stellt ein Flussdiagramm eines Verfahrens zum Durchführen taktischen Trainings in einem Trainingsfeld gemäß der vorliegenden Ausführungsform dar.
9 stellt ein Flussdiagramm der Bekämpfung eines Ziels unter Verwendung von Computervision gemäß der vorliegenden Ausführungsform dar.

Für Fachleute ist ersichtlich, dass die Elemente in den Figuren zur Vereinfachung und Klarheit dargestellt sind und nicht notwendigerweise maßstabsgetreu dargestellt sind. Zum Beispiel können die Abmessungen einiger Elemente in den Blockdiagrammen oder Flussdiagrammen hinsichtlich anderer Elemente übertrieben sein, um das Verständnis der vorliegenden Ausführungsformen zu erleichtern.
DETAILLIERTE BESCHREIBUNG
Gemäß einer Ausführungsform ist eine Roboterlösung vorgesehen, die als ein Trainer/OPFOR agieren würde, mit dem die Spieler taktische Manöver und Zielbekämpfungen üben können.
Gemäß einer Ausführungsform ist ein Simulationssystem-Backend vorgesehen, das das Szenario und die Verhalten für die Roboterplattform und die Nutzdaten bereitstellt. Die Roboterplattform trägt ein Computervision-basiertes Zurückfeuersystem für taktische Einsätze und Zielbekämpfung unter Verwendung einer Laseranvisierung (zum Beispiel MILES2000).
Diese Ausführungsformen ermöglichen mindestens Folgendes:

(i) Lösen der Probleme bezüglich des Einsatzes in einer unkontrollierten Umgebung, wobei die Struktur des Szenarios nicht immer im Voraus bekannt ist, und
(ii) Bereitstellen einer besseren repräsentativen Zielbekämpfungserfahrung für die Übungsteilnehmer mit unterschiedlichen Kompetenzlevels, das heißt das Zurückfeuersystem kann für unterschiedliche Reaktionslevels (zum Beispiel von Anfänger- bis Experten-Level) programmiert werden.

Diese Lösungen sind derart flexibel, dass sie einfach für unterschiedliche Roboterbasen, wie Räder, Beine oder fliegend, neu konfiguriert werden können. Insbesondere ist eine gemeinsame Realisierung der folgenden Eigenschaften vorteilhafterweise vorgesehen:

(1) Simulationsbasierte Computer-Generated-Force(CGF)-Verhalten und Aktionen als eine Steuerung für die Roboterzurückfeuerplattform.
(2) Ein Computervision-basiertes intelligentes Laseranvisierungs-Zurückfeuersystem.
(3) Ein Sprachverfahrenverarbeitungs- und Übersetzungssystem für wechselseitige Sprachinteraktion zwischen Ausbilder/Übungsteilnehmer und der Roboterzurückfeuerplattform.

Robotersystem (autonome Plattform)
1 zeigt eine Übersicht des Systems der vorliegenden Ausführungsform. Das System 100 weist eine entfernte Station und eine oder mehrere autonome Plattformen 104 auf. Auf der anderen Seite zeigt 2 eine beispielhafte Architektur des Systems 200 der vorliegenden Ausführungsform. Das System 200 weist eine Roboterbenutzerschnittstelle 202, einen Einsatzleitungsabschnitt 104, einen Zielerfassungs- und einen Zurückfeuerabschnitt 206, einen Robotersteuerabschnitt 208 und ein Kommunikations-, Netzwerk- und Motorsystem 210 auf. Das System 200 weist einen Satz Hardwarevorrichtungen auf, die ihre jeweiligen Algorithmen ausführen und die Systemdaten hosten.
Der Zielerfassungs- und Zurückfeuerabschnitt 206 in jeder der einen oder mehreren autonomen Plattformen 104 weist optischbasierte elektromagnetische Sender und Empfänger, eine Kamera/Kameras im Infrarot- bis Farbspektrumbereich, Sensoren für Entfernungen, Abbildungstiefensensoren und Schalldetektoren auf. Der optisch basierte elektromagnetische Sender und Empfänger kann als ein Laseranvisiersender und Detektor funktionieren, was ferner mit Bezug auf 4 besprochen wird. Die Kamera mit Infrarot- bis Farbspektrumbereich, der Sensor für Entfernungen und der Abbildungstiefensensor können eine Tagkamera, IR-Kamera oder Wärmebildkameras, LIDAR oder RADAR aufweisen. Diese Kameras und Sensoren können als die Computervision-Eingaben fungieren. Der Zielerfassungs- und Zurückfeuerabschnitt 206 weist ferner ein Mikrofon zum Detektieren von Schall auf. Zusätzlich zu hörbarem Ton können auch Ultraschall oder Schall mit einem anderen Frequenzbereich von dem Mikrofon detektiert werden. Um die Position der Vorrichtung zu stabilisieren, können motorisierte Kardan- und/oder Schwenk-Neige-Plattformen in dem Zielerfassungs- und Zurückfeuerabschnitt 206 vorgesehen sein.
Die eine oder die mehreren autonomen Plattformen 104 weisen ferner Rechenprozessoren, die mit dem optisch basierten elektromagnetischen Sender und Empfänger gekoppelt sind, Kameras und Sensoren zum Ausführen ihrer jeweiligen Algorithmen und Hosten der Systemdaten auf. Bei den Prozessoren kann es sich um eingebettete Prozessoren, CPUs, GPUs usw. handeln.
Die eine oder die mehreren autonomen Plattformen 104 weisen ferner Kommunikations- und Netzwerkvorrichtungen 210 auf, wie zum Beispiel WiFi, 4G/LTE, HF-Radios usw. Diese Kommunikations- und Netzwerkvorrichtungen 210 sind derart angeordnet, mit den Rechenprozessoren zu arbeiten.
Die eine oder die mehreren autonomen Plattformen 104 können Beine aufweisen, Rollen aufweisen, Unterwasser-, Überwasserfahrzeuge oder eine beliebige Transportfahrzeugart aufweisen, derart, dass sich die eine oder die mehreren autonomen Plattformen 104 unabhängig von den Bodenbedingungen bewegen können.
Das Aussehen der einen oder mehreren autonomen Plattformen 104 kann als ein Oppositions-Gegenspieler (OPFOR) oder als ein Nicht-Teilnehmer (zum Beispiel eine Zivilperson) konfiguriert sein. Abhängig von dem Szenario, das verwendet werden soll, sind die eine oder die mehreren autonomen Plattformen 104 dazu flexibel ausgelegt, sich jedem Szenario anzupassen.
Der Zielerfassungs- und Zurückfeuerabschnitt 206 kann einen Paint-Ball, Platzpatronen oder Laser-Pointer aufweisen, um die Effektivität des Trainings zu erhöhen. Der Zielerfassungs- und Zurückfeuerabschnitt 206 kann auch bei Militär- und Polizeitrainings sowie für Sport und Unterhaltung angewendet werden.
Bei einer Ausführungsform kann ein Bildmaschinenlernabschnitt in einer entfernten Station mit dem sichtbasierten Zielanvisiersystem 206 in der autonomen Plattform 104 arbeiten, um die Zielanvisierfunktion, wie bei 106 in 1 gezeigt, zu verbessern.
Simulationssystem
Ein Simulationssystem 102 aus 1 stellt durch seine Computer-Generated-Force (CGF) dem System 100 die Intelligenz, um zu ermöglichen, dass das Training gemäß geplanten Szenarios ausgeführt werden kann, und intelligente Verhalten der Robotereinheiten (Zurückfeuerroboterplattform) 104 bereit.
Die Module eines rational/kognitiven CGF-Standardmodells können nicht direkt einen Roboter mit Erfassen und Steuerfeedback von dem Roboter steuern, da sich diese hochentwickelten Verhaltensmodelle nicht notwendigerweise in Roboteraktionen/- Bewegungen übertragen lassen und umgekehrt. Normalerweise ist diese indirekte Beziehung ein Haupthindernisfaktor, der die direkte Integration von Modulen schwierig gestaltet. Deshalb war es langwierig, die Trainingsszenarios für die autonomen Aktionen eines Roboters als Teil des Trainingsszenarios in einem herkömmlichen System zu entwickeln.
Gemäß der vorliegenden Ausführungsform wird der im Voraus aufgezeichnete Pfad des tatsächlichen Roboters unter Fernbedienung verwendet, um ein Trainingsszenario einzustellen. Des Weiteren wird der Computer im Gegensatz zu den langwierigen Einstellungsproblemen, die oben aufgezeigt sind, über eine 3D-Spiel-Engine verwendet, um ein intuitiveres Verfahren zum Designen der Roboterbewegungen bereitzustellen.
Gemäß einer Ausführungsform ist eine CGF-Middleware (M-CGF), die in ein Standard-CGF-Verhaltensmodell integriert ist, wie bei 204 in 2 gezeigt, vorgesehen. Die CGF wird als das intelligente Modul für diesen taktischen Bekämpfungsroboter verwendet. 3 zeigt eine Übersicht des Roboter-CGF-Systems. Mittels der M-CFG verarbeitet es die multi-variablen und multi-modalen Eingaben eines hochentwickelten Verhaltens und Roboteraktionen in ein aussagekräftiges Echtzeit-Signal, um den Zurückfeuerroboter anzuweisen.
Die Funktionalitäten und Komponenten dieses Simulationssystems weisen CGF-Middleware auf. Die CGF-Middleware 308 gibt 3D-Aktionsparameter von Robotern, geplante Einsatzparameter, CFG-Verhalten und roboterspezifische dynamische Parameter, wie zum Beispiel Maximalgeschwindigkeit, Beschleunigung, Nutzlast usw., ein.
Die CGF-Middleware 308 verarbeitet die multi-variablen und multi-modalen Eingaben (sowohl diskrete als auch kontinuierliche Daten in der raumzeitlichen Domäne) in ein aussagekräftiges Echtzeit-Signal, um den Roboter anzuweisen. Winzige Echtzeit-Signale veranlassen den Roboteremulator zu Visualisierung in der Grafikmaschine.
In der CGF-Middleware 308 wird ein Roboter für virtuelle Synthese des Zurückfeuerroboters für Visualisierung verwendet. Die CGF-Middleware 308 könnte auch die Form einer Softwareanwendung oder einer dedizierten Hardware, wie zum Beispiel FPGA, aufweisen.
Das Simulationssystem weist ferner kognitive Computer-Generated-Force(CGF)-Komponenten auf. In den kognitiven CGF-Komponenten sind die Roboterverhalten wie CGF-Verhalten gestaltet und können sich in dem Roboter, in dem entfernten Server oder in beiden befinden.
Die CGF-Verhalten, die auf der Roboterplattform abgebildet sind, können die Roboteraktionen direkt ansteuern und somit zu gewünschten autonomen Verhalten führen, um zu ermöglichen, dass die Trainingsergebnisse wie geplant sind.
In den kognitiven CGF-Komponenten wird Maschinenlernen verwendet, um die Verhalten anzupassen und auszufeilen. Die kognitiven CGF-Komponenten verwenden auch Informationen über Simulationseinheiten und Waffenmodelle, um die CGF-Verhalten auszufeilen.
Des Weiteren ermöglichen es die kognitiven CGF-Komponenten dem Roboter (der autonomen Plattform), mit anderen Robotern für kollaborative Verhalten, wie zum Beispiel das Training für Militäroperationen, zu interagieren.
Die kognitiven CGF-Komponenten ermöglichen es dem Roboter auch, mit Menschen, wie zum Beispiel Trainern und Übungsteilnehmern, zu interagieren. Die Komponenten erzeugen aktionsbasierte Sprachvorgänge und verhaltensbasierte Sprachvorgänge, bevorzugt in mehreren Sprachen, damit den Übungsteilnehmern Anweisungen gegeben werden können. Die Komponenten weisen auch Spracherkennungskomponenten auf, derart, dass der Roboter Anweisungen von den Trainern empfängt und verarbeitet.
Das Simulationssystem weist ferner eine Geländedatenbank 304 auf. Die Daten, die von der Geländedatenbank 304 erhalten werden, gestatten 3D-Visualisierung des Feldes, was autonomes Verhalten ausfeilt.
Basierend auf Computervisionsalgorithmen erstellt das Simulationssystem Datensätze virtueller Bilddaten für Maschinenlernen. Die Datensätze virtueller Bilddaten werden durch Maschinenlernen ausgefeilt.
Das System weist ferner eine Bibliothek an CGF-Verhalten auf. Ein oder mehrere CGF-Verhalten werden in der Bibliothek von CGF-Verhalten basierend auf Trainingszielen ausgewählt.
In dem Simulationssystem wählt eine Lernmaschine automatisch Verhalten und Schwierigkeitsgrade basierend auf Aktionen der Übungsteilnehmer, die von der Computervision detektiert werden, aus. Zum Beispiel detektieren die Roboterziele, falls die Übungsteilnehmer nicht in der Lage sind, die Roboterziele gut zu bekämpfen, die schwache Trainingsleistung. In Reaktion darauf bestimmen die Roboterziele, den Schwierigkeitsgrad von „Experte“ auf „Anfänger“ herabzusetzen. Alternativ dazu können die Roboterziele Verhalten ändern, wie zum Beispiel Bewegungen zu verlangsamen, um das Training wirksamer zu gestalten.
Gesten von Menschen werden mit Feedbacksteuerung, wie zum Beispiel haptischem Feedback oder taktilem Feedback, auf die Befehle abgebildet. In dem Simulationssystem werden die Gesten von Menschen darauf trainiert, die Genauigkeit zu verbessern. Gestensteuerung für einzelne oder mehrere Robotereinheiten wird in dem Simulationssystem ausgeführt. Wenn die Gestensteuerung in dem Simulationssystem erfolgreich ist, wird sie auf der Einsatzsteuerung des Roboters wiedergegeben.
Einsatzsteuerung
Die Einsatzsteuerung 204 in dem Zurückfeuerroboter kann computer-implementierte Verfahren ausführen, die alle Funktionalitäten in dem Zurückfeuerroboter leiten und eine Schnittstelle mit dem entfernten System bilden. Zum Beispiel kann die Einsatzsteuerung 204 Szenariopläne von dem entfernten System empfangen. Die Einsatzsteuerung 204 kann auch Verhaltensmodelle verarbeiten.
Die Einsatzsteuerung 204 verteilt ferner Aufgaben an andere Module und überwacht die verteilten Aufgaben.
Des Weiteren verarbeitet die Einsatzsteuerung 204 Koordinierung zwischen den Zurückfeuerrobotern für kollaborative Verhalten, wie zum Beispiel Training für Militäroperationen.
Während des Trainings werden verschiedene Daten, wie zum Beispiel Roboterverhalten, Aktionen und Navigation aufgezeichnet und gemäß einem entsprechenden Format komprimiert.
Zielerfassung und -Bekämpfung
Bei einem Roboterzurückfeuersystem muss ein Roboter ein Ziel (einen Übungsteilnehmer) in der Visierlinie einer Waffe erfassen und verfolgen, bevor das Ziel (der Übungsteilnehmer) den Roboter trifft. Nachdem ein Roboter auf ein Ziel schießt, muss dieser wissen, wie genau er das Ziel trifft. Ebenfalls müssen in jedem System das Zielerfassungs- und Schießmodul ausgerichtet sein.
4 zeigt eine Übersicht eines beispielhaften Computervision-basierten Zielbekämpfungssystems 400. Das System gestattet es einem Schießer (wie zum Beispiel einer Roboterplattform) 402, ein entferntes Ziel (wie zum Beispiel einen Übungsteilnehmer) 404 zu bekämpfen.
Der Schießer 402 weist eine Zielbekämpfungsplattform, einen Prozessor und einen Lasertransmitter auf. Die Zielbekämpfungsplattform erfasst ein Ziel 404 mittels einer Kamera mit Computervisions-Funktionen und verfolgt das Ziel 404. Die Zielbekämpfungsplattform ist mit dem Prozessor gekoppelt, der ein computer-implementiertes Verfahren zum Empfangen von Informationen von der Zielbekämpfungsplattform ausführt. Der Prozessor ist ferner mit dem Lasertransmitter gekoppelt, vorzugsweise zusammen mit einem Ausrichtungssystem. Der Prozessor führt ferner ein computer-implementiertes Verfahren zum Senden von Anweisungen an den Lasertransmitter, einen Laserstrahl 406 mit einer bestimmten Leistungsausgabe in eine bestimmte Richtung, aus.
Das Ziel 404 weist einen Laserdetektor 408 und einen Zielgenauigkeitsindikator 410 auf. Der Laserdetektor 408 empfängt den Laserstrahl 406 und identifiziert den Ort, an dem der Laserstrahl auf das Ziel 404 auftrifft. Der Abstand zwischen einem Punkt, den der Laserstrahl 406 erreichen soll, und dem Punkt, den der Laserstrahl 406 tatsächlich erreicht, wird von dem Zielgenauigkeitsindikator 410 gemessen. Der Zielgenauigkeitsindikator 410 sendet eine Zielgenauigkeitsrückmeldung 412, die den gemessenen Abstand aufweist, an den Prozessor in dem Schießer 402. Bei einer Ausführungsform stellt der Zielgenauigkeitsindikator 410 sofort Treffgenauigkeitsrückmeldung 412 in Form von codierten HF-Signalen an den Schießer bereit. Der Zielgenauigkeitsindikator 410 kann Treffgenauigkeitsrückmeldung 412 in Form von Sichtindikatoren bereitstellen. Der Prozessor in dem Schießer 402 kann Befehle von der CGF in Reaktion auf die Treffgenauigkeitsrückmeldung 412 empfangen.
5 zeigt einen Funktionsaktivitätsfluss 500 des automatischen Zielbekämpfungssystems. Der Funktionsaktivitätsfluss 500 in verschiedenen Phasen weist die verschiedenen Aktionen und Events, zum Beispiel Rotation der Plattform 510, wann Feuern eines Lasers 512 gestartet und gestoppt werden soll, wann Zielerfassung gestartet werden soll, und mit anderen gleichzeitigen Funktionen auf.
Auf Schießerseite ist mindestens eine Kamera und ein Laserstrahltransmitter auf der rotierenden Zielbekämpfungsplattform angebracht. Die Kamera und der Transmitter können auch unabhängig gedreht werden. Wenn das Ziel bei 502 erfasst wird, geht der Funktionsaktivitätsfluss zu Zielverfolgung 506 über. Die Zielerfassung und -Verfolgung werden von den Computervision-basierten Verfahren, die auf dem Prozessor gehostet sind, ausgeführt.
Bei 508 wird der Positionsunterschied zwischen dem Begrenzungsrahmen des verfolgten Ziels und dem Fadenkreuz zum Drehen der Plattform 510, bis die Begrenzungsrahmenmitte und das Fadenkreuz ausgerichtet sind, verwendet. Sobald die Verfolgung als stabil gilt, wird der Laser bei 512 ausgelöst.
Auf der Zielseite erzeugt das Ziel bei Erfassung eines Laserstrahls/-Kegels ein Treffgenauigkeitsrückmeldungssignal mittels (i) eines visuellen Mittels (Blinklicht) oder (ii) eines codierten und modulierten Signals oder HF-Mediums, auf das der „Schießer“ eingestellt ist.
Der Schießer wartet auf die Treffgenauigkeitsrückmeldung von der Zielseite bei 504. Bei Empfang der Treffgenauigkeitsrückmeldung entscheidet das System, ob mit demselben Ziel fortgefahren werden soll.
6 veranschaulicht Verfolgen des Ziels und das Laserfeuerkriterium 600. Die Bildmitte 608 ist möglicherweise nicht genau mit dem Fadenkreuz 606 ausgerichtet und der Pixelpositionsversatz zwischen dem Fadenkreuz 606 und dem schwarzen Punkt 608 kompensiert die Differenz zwischen Position und Ausrichtung bei Befestigung auf der Plattform (siehe 4). Die Berechnung dieses Pixelversatzes wird von einer ähnlichen Anordnung wie in 4 durchgeführt.
Bei 602 ist das Ziel nicht mit dem Fadenkreuz 606 ausgerichtet. Somit wird die Plattform gedreht, bis sich das Fadenkreuz 606 in der Mitte eines Verfolgerbegrenzungsrahmens befindet, bevor der Laser, wie bei 604 gezeigt, gefeuert wird.
Bei einem Beispiel ist ein System für automatische Computervision-basierte Erfassung und Verfolgung von Zielen (Menschen, Fahrzeuge usw.) vorgesehen. Unter Verwendung eines adaptiven Kegels von Laserstrahlschießen basierend auf Bildverfolgung richtet das System speziell Visieren des Laser-Zurückfeuertransmitters aus, um die Genauigkeit der Verfolgung der Ziele zu verbessern.
Die Verwendung von Computervision löst das Problem unbekannter oder nicht vorhandener Zielortsgenauigkeit und Zielverdeckung in unkontrollierten Szenarien. Ohne die Computervision ist Erfassen und Verfolgen des Ziels möglicherweise nicht erfolgreich.
Bei einem Beispiel wird der Computervision-Algorithmus von einem Algorithmus mit Informationen von Geo-Position und Geo-Datenbank unterstützt. Die Computervision kann auch einzelne oder mehrere Kameras, oder mehrere Sichten oder eine 360-Sicht aufweisen.
Das System weist einen bzw. mehrere Zielbekämpfungslaser/-Transmitter und Detektoren auf. Das System weist ferner Entfernungs- und Tiefenerfassung, wie zum Beispiel LIDAR, RADAR, Ultraschall usw., auf.
Die Zielbekämpfungslaser weisen Selbstkorrektur bei Fehlausrichtung mittels Computervision-Verfahren auf. Zum Beispiel dient die Selbstkorrekturfunktion für Feineinstellung bis grob physische Befestigung. Des Weiteren könnte auch ein adaptiver Kegel von Feuerlaserschießen für Ausrichtung und Fokussierung verwendet werden.
Als ein Betriebsmodus werden Livebilddaten gesammelt und an ihre eigene Bilddatenbank für zukünftiges Training eines Erfassungs- und Verfolgungsalgorithmus angehängt.
Bei einem Beispiel teilen Roboter gemeinsam Informationen, wie zum Beispiel Bild- und Zieldaten, die zur kollektiven Intelligenz der Roboter beitragen können.
Audio- und Sprachsystem
Bei einem Beispiel kann ein Kampf-Sprachvorgang automatisch während Zielbekämpfung erstellt werden. Die Zielbekämpfung wird für lokale Kommunikation und Modulationsübertragung in Audio übersetzt.
Des Weiteren empfängt das Audio- und Sprachsystem demodulierte Funksignale von menschlichen Mitspielern und interpretiert diese, so dass diese Interaktion mit menschlichen Mitspielern ermöglichen. Zusätzlich kann das System auf zusammenarbeitende Menschen und/oder Roboter mit hörbarer Sprachausgabe durch ein Lautsprechersystem oder durch das Funkkommunikationssystem reagieren. Das System gibt auch die hörbaren Effekte entsprechender Waffen aus.
Weiter: Robotersteuerung, Planer, Kommunikation, Netzwerk- und Motorsystem
Zusätzlich zu den oben besprochenen Merkmalen kann das System gegnerische einsatzbasierte Abbildung, Lokalisierung und Navigation mit Echtzeit-Teilung und - Aktualisierung von Abbildungsdaten zwischen zusammenarbeitenden Robotern aufweisen. Des Weiteren können verteilte Planungsfunktionalitäten in dem System vorgesehen sein.
Es können auch Energieversorgungssysteme in dem System vorgesehen sein. Das System kann von Batteriesystemen oder anderen Arten von Energieversorgungssystemen des Stands der Technik, wie zum Beispiel Hybrid-, Solarsystemen usw., versorgt werden. Das System weist einen Heim-Rückkehr-Modus auf, wenn das Energieversorgungslevel (bezüglich der Heimladestation) niedrig wird.
7 zeigt beispielhafte Profile verschiedener Roboterplattformen 700. Ein beispielhaftes Zielkörperprofil 702 weist Beispielprofil 1, Beispielprofil 2 und Beispielprofil 3 auf. Beispielprofil 1 weist Grundkomponenten für den Zielkörper auf, während Beispielprofil 2 und Beispielprofil 3 Lasererfassungssätze zum Verbessern der Erfassung von Lasern aufweisen. Außerdem weist das Beispielprofil 3 eine modellpuppenförmige Figur auf, um die Trainingserfahrung zu verbessern. Durch Verwendung des modellpuppenförmigen Ziels, das eine ähnliche Größe wie ein Mensch aufweist, kann sich ein Übungsteilnehmer so fühlen, als wäre er/sie in einer realen Situation.
Eine beispielhafte Zurückfeuer-Nutzlast wird als 704 gezeigt. Die Zurückfeuer-Nutzlast weist eine Kamera und einen Schwenk-Neige-Aktuator und einen Laseremitter auf. Daten, die von der Kamera erfasst werden, steuern den Schwenk-Neige-Aktuator an, den Laseremitter derart auszurichten, dass der Laserstrahl, der von dem Laseremitter emittiert wird, genau das Ziel trifft.
Beispielhafte Antriebsbasen sind als 706 gezeigt. Die beispielhaften Antriebsbasen weisen Zweiradbasen und Vierradbasen auf. Sowohl die Zweiradbasen und die Vierradbasen weisen LIDAR und weitere Sensoren auf. Außerdem sind bordeigen Sensoren eingebettet.
8 stellt ein Flussdiagramm 800 eines Verfahrens zum Durchführen taktischen Trainings in einem Trainingsfeld gemäß der vorliegenden Ausführungsform dar. Das Verfahren weist Schritte des Empfangens von Informationen auf dem Trainingsfeld (802), des Verarbeitens der empfangenen Informationen (804), des Auswählens von Verhalten für Roboter aus einer Bibliothek (806) und des Sendens von Befehlen basierend auf dem ausgewählten Verhalten (808) auf.
Informationen, die auf dem Trainingsfeld in Schritt 802 erhalten werden, weisen Ortsinformationen eines oder mehrerer Roboter in dem Trainingsfeld auf. Die Informationen auf dem Trainingsfeld weisen auch Geländeinformationen des Trainingsfelds auf, sodass sich ein oder mehrere Roboter ohne Probleme fortbewegen können. Die Informationen weisen ferner Ortsinformationen von Übungsteilnehmern auf, sodass das Verhalten jedes der einen oder mehreren Roboter hinsichtlich der Ortsinformationen der Übungsteilnehmer bestimmt wird.
In Schritt 804 werden die empfangenen Informationen derart verarbeitet, dass das Verhalten für jeden des einen oder der mehreren Roboter basierend auf den Ergebnissen der Verarbeitung ausgewählt wird.
In Schritt 806 wird das Verhalten für jeden des einen oder der mehreren Roboter in dem Trainingsfeld aus einer Bibliothek von CGF-Verhalten, die in einer Datenbank gespeichert sind, ausgewählt. Die Auswahl des Verhaltens kann die Auswahl von kollaborativem Verhalten mit anderen Robotern und/oder mit einem oder mehreren Übungsteilnehmern aufweisen, sodass der eine oder die mehreren Roboter organisiertes Verhalten zeigen können. Die Auswahl des Verhaltens kann auch Kommunizieren mit hörbarer Sprachausgabe über ein Lautsprechersystem oder über ein Funkkommunikationssystem aufweisen.
Die Auswahl des Verhaltens kann ferner nicht nur Ausgaben von Sprache über den Lautsprecher, sondern auch Eingeben von Sprache über ein Mikrofon für die Kommunikation aufweisen.
9 stellt ein Flussdiagramm 900 des Bekämpfens eines Ziels unter Verwendung von Computervision gemäß der vorliegenden Ausführungsform dar. Das Verfahren weist Schritte des Erfassens eines Ziels (902), des Verfolgens des erfassten Ziels (904), Berechnen einer Positionsdifferenz zwischen dem Ziel und einer Ausrichtung des Laserstrahltransmitters (906), des Einstellens der Ausrichtung, um dem verfolgten Ziel zu entsprechen (908), und des Emittierens eines Laserstrahls zu dem Ziel (910) auf.
Gemäß einer Ausführungsform weist das Verfahren 900 ferner Empfangen einer Rückmeldung hinsichtlich der Genauigkeit der Laserstrahlemission von dem Laserstrahltransmitter auf.
In Schritt 902 weist das Erfassen Entfernungs- und Tiefenerfassung auf, darunter beliebig LIDAR und RADAR, für genaue Lokalisierung des Ziels.
In Schritt 906 weist das Berechnen Berechnen einer Positionsdifferenz von Geo-Positionsinformationen in einer Geo-Datenbank auf.
In Schritt 908 weist das Einstellen der Ausrichtung Drehen einer Plattform des Laserstrahltransmitters auf.
Zusammenfassend stellt die vorliegende Erfindung eine Roboterlösung bereit, die als ein Trainer/OPFOR agieren würde, mit dem die Spieler taktische Manöver und Zielbekämpfungen üben können.
Im Gegensatz zu herkömmlichen Systemen, denen es an Mobilität, Intelligenz und menschlichem Verhalten fehlt, stellt die vorliegende Erfindung simulationsbasierte Computer-Generated-Force-(CGF-)Verhalten und -Aktionen als Steuerung für die Roboterzurückfeuerplattform bereit.
Insbesondere stellt die vorliegende Erfindung ein Computervision-basiertes intelligentes Laseranvisierungs-Zurückfeuersystem bereit, das eine robustere repräsentative Zielbekämpfungserfahrung für die Übungsteilnehmer mit unterschiedlichen Kompetenzlevels ermöglicht.
Fachleuten werden viele Modifizierungen und weitere Ausführungsformen der Erfindung, die hier vorgestellt wird, offensichtlich, auf die die Erfindung Anspruch über die Lehren, die in der vorhergehenden Beschreibung und den zugehörigen Zeichnungen dargestellt werden, erhebt. Deshalb gilt zu verstehen, dass die Erfindung nicht auf die spezifischen offenbarten Ausführungsformen beschränkt ist, und dass Modifizierungen und weitere Ausführungsformen in dem Schutzumfang der angefügten Ansprüche inbegriffen sein sollen. Auch wenn hierin spezifische Begriffe verwendet werden, sind diese in einem rein generischen und beschreibenden Sinn verwendet und dienen nicht der Beschränkung.

Claims

Simulationsbasiertes Computer-Generated-Force-(CGF)-System für taktisches Training in einem Trainingsfeld, das Folgendes aufweist: einen Empfänger zum Empfangen von Informationen auf dem Trainingsfeld; eine Datenbank zum Speichern einer Bibliothek von CGF-Verhalten für einen oder mehrere Roboter in dem Trainingsfeld; ein CGF-Modul, das mit dem Empfänger und der Datenbank verbunden ist, zum Verarbeiten der Informationen auf dem Trainingsfeld und Auswählen eines Verhaltens für jeden des einen oder der mehreren Roboter in dem Trainingsfeld aus der Bibliothek von CGF-Verhalten, die in der Datenbank gespeichert sind; eine Steuerung, die mit dem CGF-Modul gekoppelt ist, zum Senden von Befehlen basierend auf den ausgewählten Verhalten an den einen oder die mehreren Roboter in dem Trainingsfeld; wobei die Informationen auf dem Trainingsfeld den Ort eines oder mehrerer Übungsteilnehmer aufweisen, und die Befehle Schießen auf den einen oder die mehreren Übungsteilnehmer aufweisen.
Simulationsbasiertes CGF-System nach Anspruch 1, wobei das Verhalten für jeden des einen oder der mehreren Roboter in dem Trainingsfeld kollaboratives Verhalten mit anderen Robotern aufweist, sodass der eine oder die mehreren Roboter organisierte Verhalten zeigen können.
Simulationsbasiertes CGF-System nach Anspruch 1 oder Anspruch 2, wobei das Verhalten für jeden des einen oder der mehreren Roboter in dem Trainingsfeld kollaboratives Verhalten mit dem einen oder den mehreren Übungsteilnehmern aufweist, sodass der eine oder die mehreren Roboter organisiertes Verhalten mit dem einen oder den mehreren Übungsteilnehmern zeigen können.
Simulationsbasiertes CGF-System nach Anspruch 3, wobei die kollaborativen Verhalten Kommunikation durch hörbare Sprachausgabe über ein Lautsprechersystem oder über ein Funkkommunikationssystem aufweisen.
Simulationsbasiertes CGF-System nach einem der vorstehenden Ansprüche, wobei die Informationen, die von dem Empfänger empfangen werden eine oder mehrere der folgenden Eingaben aufweisen: (i) 3D-Aktionsparameter von Robotern, (ii) geplante Einsatzparameter, (iii) CGF-Verhalten und (iv) roboterspezifische dynamische Parameter, die Maximalgeschwindigkeit, Beschleunigung und Nutzlast aufweisen.
Simulationsbasiertes CGF-System nach einem der vorstehenden Ansprüche, wobei die Datenbank in einem oder mehreren Robotern enthalten ist.
Simulationsbasiertes CGF-System nach einem der vorstehenden Ansprüche, wobei die Datenbank in einem entfernten Server enthalten ist.
Simulationsbasiertes CGF-System nach einem der vorhergehenden Ansprüche, das ferner Erstellen von Datensätzen von virtuellen Bilddaten für Maschinenlernen basierend auf einem Computervision-Algorithmus aufweist, um Verhalten anzupassen und auszufeilen.
Simulationsbasiertes CGF-System nach einem der vorstehenden Ansprüche, wobei die Bibliothek von CGF-Verhalten, die in der Datenbank gespeichert ist, Simulationseinheiten und Waffenmodelle aufweist.
Simulationsbasiertes CGF-System nach einem der vorhergehenden Ansprüche, das ferner eine Lernmaschine zum Auswählen von Verhalten und einem Schwierigkeitsgrad basierend auf Computervision-Erfassung von Aktionen eines oder mehrerer Übungsteilnehmer aufweist.
Simulationsbasiertes CGF-System nach einem der vorhergehenden Ansprüche, das ferner ein Computervision-basiertes Zielbekämpfungssystem aufweist, wobei das Computervision-basierte Zielbekämpfungssystem Folgendes aufweist: eine Kamera zum Erfassen und Verfolgen eines Ziels; einen Laserstrahltransmitter zum Emittieren eines Laserstrahls auf das Ziel; und einen Prozessor, der mit der Kamera und dem Laserstrahltransmitter gekoppelt ist, zum Berechnen einer Positionsdifferenz zwischen dem verfolgten Ziel und einer Ausrichtung des Laserstrahltransmitters und zum Anweisen des Laserstrahltransmitters, die Ausrichtung anzupassen, um dem verfolgten Ziel zu entsprechen.
Simulationsbasiertes CGF-System nach Anspruch 11, wobei das Computervision-basierte Zielbekämpfungssystem ferner einen Empfänger aufweist, der mit dem Prozessor gekoppelt ist, um eine Rückmeldung hinsichtlich der Genauigkeit der Laserstrahlemission von dem Laserstrahltransmitter zu empfangen und dem Prozessor Rückmeldung bereitzustellen.
Simulationsbasiertes CGF-System nach Anspruch 11 oder 12, wobei die Ausrichtung des Laserstrahltransmitters durch Drehen einer Plattform des Laserstrahlemitters angepasst wird.
Simulationsbasiertes CGF-System nach einem der Ansprüche 11 bis 13, wobei die Kamera eine oder mehrere der folgenden Kameras aufweist: Einzelkamera, Multi-Kamera, Vielsicht-Kamera und 360-Sicht-Kamera.
Verfahren zum Ausführen taktischen Trainings in einem Trainingsfeld, das Folgendes aufweist: Empfangen von Informationen auf dem Trainingsfeld; Verarbeiten der Informationen auf dem Trainingsfeld; Auswählen eines Verhaltens für jeden des einen oder der mehreren Roboter in dem Trainingsfeld aus einer Bibliothek von CGF-Verhalten, die in einer Datenbank gespeichert sind; und Senden von Befehlen basierend auf den ausgewählten Verhalten an den einen oder die mehreren Roboter in dem Trainingsfeld; wobei die Informationen auf dem Trainingsfeld den Ort eines oder mehrerer Übungsteilnehmer aufweisen, und die Befehle Schießen auf den einen oder die mehreren Übungsteilnehmer aufweisen.
Verhalten nach Anspruch 15, wobei Auswählen des Verhaltens Auswählen von kollaborativem Verhalten mit anderen Robotern aufweist, sodass der eine oder die mehreren Roboter organisiertes Verhalten zeigen können.
Verfahren nach Anspruch 15 oder 16, wobei Auswählen des Verhaltens Auswählen von kollaborativem Verhalten mit einem oder mehreren Übungsteilnehmern aufweist, sodass der eine oder die mehreren Roboter organisiertes Verhalten mit dem einen oder den mehreren Übungsteilnehmern zeigen können.
Verfahren nach Anspruch 15, wobei Auswählen des kollaborativen Verhaltens Kommunikation durch hörbare Sprachausgabe über ein Lautsprechersystem oder über ein Funkkommunikationssystem aufweist.
Verfahren nach einem der Ansprüche 15 bis 18, das ferner Zielbekämpfung unter Verwendung von Computervision aufweist, wobei das Bekämpfen Folgendes aufweist: Erfassen eines Ziels; Verfolgen des erfassten Ziels; Berechnen einer Positionsdifferenz zwischen dem verfolgten Ziel und einer Ausrichtung eines Laserstrahltransmitters; Anpassen der Ausrichtung, um dem verfolgten Ziel zu entsprechen; und Emittieren eines Laserstrahls von dem Laserstrahltransmitter zu dem Ziel.
Verfahren nach Anspruch 19, das ferner Empfangen einer Rückmeldung hinsichtlich der Genauigkeit der Laserstrahlemission von dem Laserstrahltransmitter aufweist.
Verfahren nach Anspruch 19 oder 20, wobei die Anpassung der Ausrichtung Drehen einer Plattform des Laserstrahltransmitters aufweist.
Verfahren nach einem der Ansprüche 19 bis 21, wobei das Berechnen Berechnen einer Positionsdifferenz von Geo-Positionsinformationen in einer Geo-Datenbank aufweist.
Verfahren nach einem der Ansprüche 19 bis 22, wobei das Erfassen Entfernungs- und Tiefenerfassung, darunter beliebig LIDAR und RADAR, aufweist.