DE102020106680A1

DE102020106680A1 - System und verfahren zum steuern des betriebs einer vorrichtung mit einem lenkbaren optischen sensor und einer lenkbaren radareinheit

Info

Publication number: DE102020106680A1
Application number: DE102020106680.5A
Authority: DE
Inventors: Tzvi Philipp; Shahar Villeval; Igal Bilik; Jeremy A. Salinger; Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-04-18
Filing date: 2020-03-11
Publication date: 2020-10-22
Also published as: CN111830497B; US11035945B2; CN111830497A; US20200333454A1

Abstract

System und Verfahren zum Steuern des Betriebs eines Geräts in Echtzeit. Das System umfasst einen optischen Sensor mit einem lenkbaren optischen Sichtfeld zur Gewinnung von Bilddaten und eine Radareinheit mit einem lenkbaren Radarsichtfeld zur Gewinnung von Radardaten. Eine Steuerung kann so eingerichtet werden, dass sie einen ersten der optischen Sensoren und die Radareinheit in einen ersten interessierenden Bereich und einen zweiten der optischen Sensoren und der Radareinheit in den zweiten interessierenden Bereich steuert. Die Steuerung kann so eingerichtet werden, dass sie sowohl den optischen Sensor als auch die Radareinheit in den ersten interessierenden Bereich lenkt. Die Radardaten und die Bilddaten werden verschmolzen, um einen Zielort und eine Zielgeschwindigkeit zu erhalten. Die Steuerung ist so eingerichtet, dass sie den Betrieb des Geräts teilweise auf der Grundlage von mindestens einem der beiden Parameter Zielort und Zielgeschwindigkeit steuert.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich auf ein System und Verfahren zum Steuern des Betriebs eines Geräts in Echtzeit mit einem lenkbaren optischen Sensor und einer lenkbaren Radareinheit. Mobile Plattformen, wie z.B. Kraftfahrzeuge, treffen auf ihrer Reise durch Raum und Zeit auf andere bewegliche und unbewegliche Objekte. Viele mobile Plattformen enthalten verschiedene Arten von Bildsensoren, um diese beweglichen und unbeweglichen Objekte zu verfolgen. Es ist zwar vorteilhaft, über ein breites Sichtfeld zu fotografieren, aber es bedeutet im Allgemeinen, dass die Auflösung für die Größe des Sichtfeldes geopfert werden muss. Mit anderen Worten, es besteht ein Kompromiss zwischen der Größe des Sichtfeldes und der Winkelauflösung.
BESCHREIBUNG
Hierin wird ein System und ein Verfahren zum Steuern des Betriebs eines Geräts in Echtzeit offengelegt. Das System umfasst einen optischen Sensor und eine Radareinheit, die operativ mit dem Gerät verbunden und so eingerichtet sind, dass sie Bilddaten bzw. Radardaten erhalten. Der optische Sensor verfügt über ein steuerbares optisches Sichtfeld, das so gesteuert werden kann, dass die jeweiligen Teile eines vollständigen optischen Sichtfeldes abgetastet werden. Die Radareinheit verfügt über ein steuerbares Radarsichtfeld, das so gesteuert werden kann, dass es die jeweiligen Teile eines vollständigen Radarsichtfeldes abtastet. Das volle Sichtfeld des Radars überlappt sich zumindest teilweise mit dem vollen optischen Sichtfeld. Das System verwendet den lenkbaren optischen Sensor und die lenkbare Radareinheit, um eine relativ hohe Winkelauflösung bei einem breiten Sichtfeld zu erreichen.
Eine Steuerung steht mit der Radareinheit und dem optischen Sensor in Verbindung, wobei die Steuerung einen Prozessor und einen greifbaren, nicht vorübergehenden Speicher enthält, auf dem Anweisungen für ein Verfahren zur Erkennung eines Ziels aufgezeichnet werden. Die Ausführung der Befehle durch den Prozessor veranlasst die Steuerung, einen ersten des optischen Sensors und der Radareinheit in einen ersten interessierenden Bereich zu steuern. Der erste des optischen Sensors und der Radareinheit ist so eingerichtet, dass sie das Ziel im ersten interessierenden Bereich erfasst und einen zweiten interessierenden Bereich um das Ziel herum identifiziert, wobei der zweite interessierende Bereich sich zumindest teilweise mit dem ersten interessierenden Bereich überlappt.
Die Steuerung ist so eingerichtet, dass sie einen zweiten optischen Sensor und die Radareinheit in den zweiten interessierenden Bereich lenkt. Die Radardaten der zweiten Region von Interesse und die Bilddaten der zweiten Region von Interesse werden verschmolzen. Aus den fusionierten Daten werden ein Zielort und eine Zielgeschwindigkeit ermittelt. Die Steuerung ist so eingerichtet, dass sie den Betrieb des Geräts teilweise auf der Grundlage von mindestens einem der beiden Parameter Zielort und Zielgeschwindigkeit steuert. Die Steuerung kann so eingerichtet werden, dass sie in Erwiderung auf den Empfang eines Triggersignals den ersten der beiden optischen Sensoren und die Radareinheit steuert. Das Triggersignal kann z.B. bei Empfang eines Signals durch den Steuerung von einem entfernten Server eines unregelmäßigen Fahrzeugs in der Umgebung erzeugt werden. Das Triggersignal kann automatisch in einem vordefinierten Zeitintervall erzeugt werden, z.B. zehnmal pro Sekunde. Das Triggersignal kann jedes Mal erzeugt werden, wenn das Gerät ein bestimmtes Manöver, z.B. eine Kurve, durchführt.
Der Radarsensor kann einen Sender umfassen, der elektromagnetische Wellen in mindestens einem der Bereiche Funk und Mikrowellen erzeugt, sowie eine oder mehrere Sendeantennen, die für die Übertragung elektromagnetischer Wellen eingerichtet sind. Entsprechende Phasenschieber können operativ mit den Sendeantennen verbunden und so eingerichtet werden, dass sie eine Phase der elektromagnetischen Wellen verschieben, um einen Phased-Array-Strahl zu erzeugen. Der Radarsensor kann eine oder mehrere Empfängerantennen enthalten, die so eingerichtet sind, dass sie die elektromagnetischen Wellen empfangen und über entsprechende Strahlmodifikatoren an ein Empfängermodul leiten. Die Steuerung kann mindestens ein Kalman- oder ein Partikelfiltermodul zur Durchführung der Fusion der Bilddaten und der Radardaten enthalten. Die Fusion der Bilddaten und der Radardaten kann die Gewinnung mindestens eines Begrenzungsbereichs um das Ziel in den Bilddaten und die Anpassung des mindestens einen Begrenzungsbereichs in den Bilddaten an den Zielort in den Radardaten über ein Zuordnungsmodul in der Steuerung umfassen.
Das Steuern des Betriebs des Geräts kann das Erhalten einer Kontaktzeit für das Gerät und das Ziel umfassen, die zumindest teilweise auf dem durch (X, Y, Z) bezeichneten Zielort und der durch (v_x, v_y, v_z) bezeichneten Zielgeschwindigkeit basiert. Die Zeit bis zur Kontaktaufnahme (t) kann wie folgt bestimmt werden: $t = \sqrt{{(X / v_{x})}^{2} + {(Y / v_{y})}^{2} + {(Z / v_{z})}^{2}}$
Ein Signal kann an einen Benutzer des Geräts gesendet werden, wenn die Zeit bis zum Kontakt kleiner als ein erster vordefinierter Schwellenwert, aber größer als ein zweiter vordefinierter Schwellenwert ist, wobei der erste vordefinierte Schwellenwert größer als der zweite vordefinierte Schwellenwert ist. Das Gerät kann ein automatisches Bremsmodul enthalten, das so eingerichtet ist, dass es das Gerät abbremst. Das Steuern des Betriebs des Geräts kann die Aktivierung des automatischen Bremsmoduls einschließen, wenn die Zeit bis zur Berührung weniger als der zweite vordefinierte Schwellenwert beträgt.
Die Steuerung kann eine automatische Gerätesteuerungseinheit, eine Radarverarbeitungseinheit und eine Bildverarbeitungseinheit umfassen. Die Radarverarbeitungseinheit und die Bildverarbeitungseinheit können so eingerichtet werden, dass sie aus den Radardaten und den Bilddaten jeweils eine verarbeitete Ausgabe erzeugen. In einem Beispiel wird das jeweils verarbeitete Ausgangssignal des ersten des optischen Sensors und der Radareinheit an den zweiten des optischen Sensors und der Radareinheit übertragen. Das jeweils verarbeitete Ausgangssignal des zweiten optischen Sensors und der Radareinheit wird dann mit dem jeweils verarbeiteten Ausgangssignal des ersten optischen Sensors und der Radareinheit verschmolzen und anschließend an die automatisierte Gerätesteuerungseinheit übertragen. In einem anderen Beispiel werden die jeweiligen verarbeiteten Ausgangssignale der Radarverarbeitungseinheit und der Bildverarbeitungseinheit unabhängig voneinander an die automatisierte Gerätesteuereinheit übertragen.
Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der vorliegenden Offenbarung sind aus der folgenden detaillierten Beschreibung der besten Modi zur Durchführung der Offenbarung leicht ersichtlich, wenn sie in Verbindung mit den beigefügten Figuren aufgenommen wird.
Figurenliste

1 ist eine schematische perspektivische Ansicht eines Beispielgerätes mit einer Steuerung, einer Radareinheit und einem optischen Sensor;
2 ist ein schematisches Flussdiagramm für eine erstes Verfahren, das durch die Steuerung von 1 ausgeführt werden kann;
3 ist ein schematisches Flussdiagramm für eine zweites Verfahren, das von der Steuerung von 1 ausgeführt werden kann;
4 ist eine Beispiel-Kontrollstruktur für die Implementierung des ersten Verfahrens, das in 2 gezeigt wird; und
5 ist eine Beispiel-Kontrollstruktur für die Implementierung des ersten Verfahrens aus 2 oder des zweiten Verfahrens aus 3.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die Figuren, in denen sich gleiche Bezugsziffern auf gleiche Komponenten beziehen, wird in 1 ein System 10 zum Steuern des Betriebs eines Geräts 12 in Echtzeit schematisch dargestellt. Bei dem Gerät 12 kann es sich um eine mobile Plattform handeln, wie z.B. ein PKW, ein Sport Utility Car, ein leichter LKW, ein Schwerlast-LKW, ein Geländewagen, ein Minivan, ein Bus, ein Transitfahrzeug, ein Fahrrad, ein Roboter, ein landwirtschaftliches Gerät (z.B. ein Traktor), ein Sportgerät (z.B. ein Golfwagen), ein Boot, ein Flugzeug und ein Zug. Das Gerät 12 kann viele verschiedene Formen annehmen und mehrere und/oder alternative Komponenten und Einrichtungen umfassen.
Gemäß 1 sind der optische Sensor 16 und die Radareinheit 18 operativ mit dem Gerät 12 verbunden und so eingerichtet, dass sie Bilddaten bzw. Radardaten erhalten. Es ist zu schätzen, dass die Lage des optischen Sensors 16 und der Radareinheit 18 relativ zum Gerät 12, wie z.B. vorne, hinten oder seitlich, je nach Anwendung variiert werden kann. Bezüglich 1 ist eine Steuerung C operativ mit dem Gerät 12 verbunden und umfasst mindestens einen Prozessor P und mindestens einen Speicher M (oder ein nicht vorübergehendes, greifbares, computerlesbares Speichermedium), auf dem Anweisungen zur Ausführung des Verfahrens 100 und/oder des Verfahrens 200 (detailliert beschrieben in 2 bzw. 3) zur Erkennung eines Ziels 20 aufgezeichnet sind. Der Speicher M kann steuerungsausführbare Befehlssätze speichern, und der Prozessor P kann die im Speicher M gespeicherten steuerungsausführbaren Befehlssätze ausführen.
Bezogen auf 1 hat der optische Sensor 16 ein steuerbares optisches Sichtfeld 22, das so gesteuert werden kann, dass ein entsprechender Teil (z.B. die Teile 24A, 24B, 24C) eines vollen optischen Sichtfeldes 24 abgetastet wird. Die Bilddaten können eine Sequenz von visuellen Bildern der Zielperson 20 zu verschiedenen Zeiten enthalten. Die Bilddaten können ein einzelnes visuelles Bild des Zieles 20 enthalten. Gemäß 1 kann der optische Sensor 16 einen Strahlteiler 26, einen Spiegel 28, mindestens eine Linse 30 zur Fokussierung des einfallenden Strahls und mehrere Detektoren 32 enthalten. Der Strahlteiler 26 kann aus Silber oder einer dielektrisch beschichteten Glasplatte bestehen und kann ein polarisierender Strahlteiler sein. Die Mehrzahl der Detektoren 32 kann so eingerichtet werden, dass sie ein elektrisches Signal auf der Grundlage der jeweiligen Bestrahlungsstärken auf ihren jeweiligen aktiven Flächen liefern. Der optische Sensor 16 kann weitere Komponenten (nicht abgebildet) enthalten, die für den Fachmann erhältlich sind, wie z.B. einen Photomultiplier, Dispersionsvorrichtungen, Blenden und Modulatoren.
Gemäß 1 kann das steuerbare optische Sichtfeld 22 (z.B. Abtastmuster oder Verweildauer auf den Abschnitten 24A, 24B, 24C) durch eine optische Kontrolleinheit 34 gesteuert werden.
Gemäß 1 hat die Radareinheit 18 ein lenkbares Radarsichtfeld 36, das so gesteuert werden kann, dass es einen entsprechenden Teil 38 eines vollständigen Radarsichtfeldes 39 abtastet. Der optische Sensor 16 und die Radareinheit 18 sind so montiert oder positioniert, dass das volle Radarsichtfeld 39 zumindest teilweise mit dem vollen optischen Sichtfeld 24 überlappt. Das volle Radarsichtfeld 39 kann sich mit dem vollen optischen Sichtfeld 24 wesentlich überlappen. Die Radareinheit 18 kann ein Sendemodul 42, das elektromagnetische Wellen in mindestens einen Funk- oder Mikrowellenbereich richtet, und eine oder mehrere Sendeantennen 40 enthalten, die für die Übertragung der elektromagnetischen Wellen eingerichtet sind.
Entsprechende Phasenschieber 44 können operativ mit den Sendeantennen 40 verbunden und so eingerichtet werden, dass sie eine Phase der elektromagnetischen Wellen verschieben, um einen Phased-Array-Strahl zu erzeugen. Die elektromagnetischen Wellen werden vom Ziel 20 reflektiert und kehren zur Radareinheit 18 zurück, wo sie Informationen über die Position und Geschwindigkeit des Ziels 20 liefern. Die Radardaten können einen radialen Abstand (r) des Ziels 20 vom Gerät 12, einen Azimuthwinkel (nicht dargestellt), einen Höhenwinkel (nicht dargestellt) und eine Entfernungsrate (dr/dt) umfassen.
Unter Bezugnahme auf 1 kann die Radareinheit 18 eine oder mehrere Empfängerantennen 46 enthalten, die so eingerichtet sind, dass sie die reflektierten elektromagnetischen Wellen empfangen und sie über entsprechende Strahlmodifikatoren 50 an ein Empfängermodul 48 leiten. Die Radareinheit 18 kann sowohl auf der Sende- als auch auf der Empfangsseite eine Strahlformung einsetzen, um eine räumliche Selektivität zu erreichen. Zum Beispiel kann ein Muster von konstruktiver und destruktiver Interferenz in der Wellenfront erzeugt werden, indem die Phase und die relative Amplitude des Signals an den Sendeantennen 40 kontrolliert werden. Gemäß 1 kann das steuerbare Radarsichtfeld 36 (z.B. Abtastmuster oder Verweildauer auf dem jeweiligen Teil 38) durch ein Radarsteuergerät 52 gesteuert werden. Andere Arten von Radarsystemen oder Implementierungen, die den Fachleuten zur Verfügung stehen, können eingesetzt werden.
Unter Bezugnahme auf 1 kann das Gerät 12 ein automatisches Bremsmodul 54 enthalten, das andernfalls so eingerichtet ist, dass es die Bewegung reduziert oder das Gerät 12 abbremst, sowie ein Spurwechselassistenzmodul 56, das so eingerichtet ist, dass es das Gerät 12 beim Spurwechsel unterstützt. Das automatische Bremsmodul 54 und das Spurwechselassistenzmodul 56 können in das Steuergerät C eingebettet werden oder mit dem Steuergerät C kommunizieren, ohne in das Steuergerät C eingebettet zu sein. Die Kommunikation und Steuerung zwischen den verschiedenen in 1 dargestellten Komponenten kann mit Kabel oder drahtlos erfolgen.
Gemäß 1 kann die Steuerung C so eingerichtet werden, dass sie über ein drahtloses Netzwerk 64 mit einem Remote-Server 60 und/oder einer Cloud-Einheit 62 kommuniziert. Der Fernserver 60 kann eine öffentliche oder kommerzielle Informationsquelle sein, die den Fachleuten zur Verfügung steht. Das Gerät 12 kann so eingerichtet werden, dass es über eine mobile Anwendung 66 drahtlose Kommunikation empfängt und an den entfernten Server 60 sendet (siehe ). Die mobile Anwendung 66 kann in ein Infotainment-System des Geräts 12 eingebaut und auf diesem ausgeführt werden. Die Schaltungen und Komponenten eines Remote-Server 60 und einer mobilen Anwendung 66 („Apps“), die den Fachleuten zur Verfügung stehen, können verwendet werden. Die mobile Anwendung 66 kann mit der Steuerung C integriert, verbunden (z.B. verkabelt) oder anderweitig in Kommunikation mit diesem stehen, so dass sie Zugriff auf die Daten in der Steuerung C hat.
Unter Bezugnahme auf 2 wird nun ein Flussdiagramm der Verfahren 100 gezeigt, die auf der Steuerung C von 1 gespeichert und von diesem ausführbar ist. Das Verfahren 100 muss nicht in der hier angegebenen Reihenfolge angewendet werden. Darüber hinaus ist zu verstehen, dass einige Schritte entfallen können. Der Beginn und das Ende des Verfahrens 100 werden durch „S“ bzw. „E“ gekennzeichnet. Pro Block 102 wird die Steuerung C programmiert, um festzustellen, ob ein Triggersignal empfangen wurde. Wenn dies der Fall ist, geht das Verfahren 100 zum Block 104 über. Wenn nicht, wird das Verfahren 100 beendet.
Pro Block 104 ist die Steuerung C so programmiert, dass sie einen ersten der optischen Sensoren 16 und die Radareinheit 18 in einen ersten interessierenden Bereich 70 steuert (siehe 1). Der erste interessierende Bereich 70 ist für den optischen Sensor 16 und die Radareinheit 18 zugänglich, d.h. der erste interessierende Bereich 70 liegt innerhalb des vollen optischen Sichtfeldes 24 und des vollen Radarsichtfeldes 39. In einem Beispiel kann das Auslösesignal erzeugt werden, wenn die Steuerung C ein Signal vom Fernserver 60 eines unregelmäßigen Fahrzeugs (z. B. mit überhöhter Geschwindigkeit oder falscher Richtung) in der Umgebung des Geräts 12 empfängt. Der erste des optischen Sensors 16 und der Radareinheit 18 ist so eingerichtet, dass sie das Ziel 20 im ersten interessierenden Bereich 70 erfasst (oder lokalisiert) und einen zweiten interessierenden Bereich 72 um das Ziel 20 herum identifiziert. In einem anderen Beispiel kann das Triggersignal automatisch in einem vordefinierten Zeitintervall erzeugt werden, z.B. zehnmal pro Sekunde. In einem anderen Beispiel kann das Triggersignal jedes Mal erzeugt werden, wenn das Gerät 14 ein bestimmtes Manöver, z.B. eine Kurve, durchführt.
Die Form und Größe der ersten Region von Interesse 70 und der zweiten Region von Interesse 72 können auf der Grundlage des vorliegenden Antrags ausgewählt werden. Es ist zu verstehen, dass die erste Region von Interesse 70 und die zweite Region von Interesse 72, die in 1 dargestellt sind, nicht maßstabsgetreu gezeichnet sind. Zum Beispiel kann der zweite interessierende Bereich 72 als Kreis oder Ellipse definiert werden, der auf die geschätzte Position des Ziels 20 mit einem vordefinierten Radius zentriert ist. Der zweite Bereich von Interesse kann eine rechteckige Region sein, die den geschätzten Standort des Ziels 20 einkapselt und eine vordefinierte Höhe und Breite hat. Der zweite Bereich von Interesse 72 überschneidet sich zumindest teilweise mit dem ersten Bereich von Interesse 70. Das Verfahren 100 geht bis zum Block 106, wo die Steuerung C so eingerichtet ist, dass sie einen zweiten (d.h. den anderen) des optischen Sensors 16 und die Radareinheit 18 in den zweiten interessierenden Bereich 72 steuert.
Pro Block 108 werden die Radardaten und die Bilddaten verschmolzen. Aus den fusionierten Daten werden ein Zielort und eine Zielgeschwindigkeit ermittelt. Die Kombination der Radardaten und der Bilddaten verbessert die Auflösung und erhöht die Robustheit der gewonnenen Informationen. Die Steuerung C kann ein Kombimodul („K“ in 1) enthalten, das denjenigen zur Verfügung steht, die sich mit der Verschmelzung von Bild- und Radardaten auskennen. In einem Beispiel ist das Kombinationsmodul K ein Kalman-Filter-Modul, das rekursiv arbeitet und in Echtzeit läuft, wobei der aktuelle Zustand, der zuvor berechnete Zustand und seine Unsicherheitsmatrix verwendet werden. Das Kalman-Filter-Modul kann in einem zweistufigen Prozess arbeiten. Zum Beispiel erzeugt das Kalman-Filter-Modul in einem ersten Schritt Schätzungen der aktuellen Zustandsvariablen zusammen mit ihren Unsicherheiten. Sobald das Ergebnis der nächsten Messung (mit einem diskreten Fehlerbetrag wie z.B. Zufallsrauschen) beobachtet wird, werden diese Schätzungen unter Verwendung eines gewichteten Durchschnitts aktualisiert, wobei Schätzungen mit höherer Sicherheit mehr Gewicht erhalten. In einem anderen Beispiel ist das Kombinationsmodul K ein Partikelfiltermodul. Das Partikelfiltermodul kann so eingerichtet werden, dass es Proben aus einer Verteilung durch einen Satz von Partikeln darstellt, wobei jedem Partikel ein Wahrscheinlichkeitsgewicht zugewiesen wird, das die Wahrscheinlichkeit darstellt, dass dieses Partikel aus der Wahrscheinlichkeitsdichtefunktion entnommen wird. Es können auch andere Verfahren zur Kombination von Daten verwendet werden, die den Fachleuten zur Verfügung stehen.
Gemäß 1 kann die Fusion der Bilddaten und der Radardaten die Gewinnung von mindestens einer Begrenzungsregion 74 um das Ziel 20 in den Bilddaten und den Abgleich der Begrenzungsregion 74 mit dem Zielort in den Radardaten umfassen. Die Begrenzungsregion 74 kann ein Rechteck, ein Quadrat oder eine andere Form sein. Jede Begrenzungsregion 74 kann als minimale oder kleinste Begrenzungs- oder Umschließungsregion für eine Reihe von Punkten (die das Ziel 20 definieren) in drei Dimensionen definiert werden. Die Begrenzungsregion kann z.B. ein Rechteck mit dem kleinsten Volumen sein, in dem jeder der Punkte, die das Ziel 20 definieren, liegt. In Bezug auf 1 kann die Steuerung C ein tiefes Lernmodul („D“ in 1) enthalten, das denjenigen zur Verfügung steht, die in der Lage sind, jede Begrenzungsregion zu erkennen und zu lokalisieren. Die Steuerung C kann ein Assoziationsmodul („A“ in 1) enthalten, das so eingerichtet ist, dass es die jeweiligen Begrenzungsbereiche in den Bilddaten mit den Radardaten abgleicht, die einen radialen Abstand (r) des Ziels 20 vom Gerät 12, den Azimuthwinkel und eine Entfernungsrate (dr/dt) haben. Die Steuerung C kann eine Graphikverarbeitungseinheit (nicht abgebildet) enthalten, die denjenigen zur Verfügung steht, die diese Aufgabe in Echtzeit ausführen können.
Die Auswahl des ersten und des zweiten kann auf der Grundlage des vorliegenden Antrags getroffen werden. Wird als erstes die Radareinheit 18 gewählt, wird zunächst die Radareinheit 18 eingesetzt, um eine genaue Messung von Entfernung, Geschwindigkeit und eine grobe Abschätzung des Azimutwinkels zum Ziel 20 zu erhalten. Der optische Sensor 16 wird dann auf den zweiten interessierenden Bereich 72 (der den Zielort umgibt und von der Radareinheit 18 identifiziert wird) gelenkt, um den Azimuthwinkel zum Ziel 20 genau zu messen. Die fusionierten Zielinformationen der Radareinheit 18 und des optischen Sensors 16 können dann zur Begrenzung der Position und/oder zur Klassifizierung des Ziels 20 verwendet werden.
Wenn der erste als optischer Sensor 16 ausgewählt wird, tastet der optische Sensor 16 zunächst das Ziel 20 ab, und die Radareinheit 18 wird dann in den zweiten interessierenden Bereich 72 (der den Zielort umgibt und vom optischen Sensor 16 identifiziert wird) gelenkt, um Geschwindigkeit und Reichweite genau zu messen. Die fusionierten Zielinformationen der Radareinheit 18 und des optischen Sensors 16 können dann zur Begrenzung der Position und/oder zur Klassifizierung des Ziels 20 verwendet werden.
Unter Bezugnahme auf 2 geht das Verfahren 100 von Block 108 zu Block 110 über. Pro Block 110 ist die Steuerung C so eingerichtet, dass sie den Betrieb des Geräts teilweise auf der Grundlage von mindestens einem der beiden Parameter Zielort und Zielgeschwindigkeit steuert. Die Steuerung des Betriebs der Vorrichtung 12 kann die Ermittlung einer Kontaktzeit für die Vorrichtung 12 und das Ziel 20 auf der Grundlage des durch (X, Y, Z) bezeichneten Zielortes und der durch (v_x, v_y, v_z) bezeichneten Zielgeschwindigkeit umfassen. Die Zeit bis zur Kontaktaufnahme (bezeichnet mit t) kann bestimmt werden als: $t = \sqrt{{(X / v_{x})}^{2} + {(Y / v_{y})}^{2} + {(Z / v_{z})}^{2}}$
Ein Signal kann an einen Benutzer der Vorrichtung 12 gesendet werden, wenn die Zeit bis zum Kontakt kleiner als ein erster vordefinierter Schwellenwert, aber größer als ein zweiter vordefinierter Schwellenwert ist, wobei der erste vordefinierte Schwellenwert größer als der zweite vordefinierte Schwellenwert ist. Wenn die Zeit bis zur Berührung kleiner als der zweite vordefinierte Schwellenwert ist, kann die Steuerung C so eingerichtet werden, dass sie das automatische Bremsmodul 54 oder den Spurwechselassistenten Modul 56 aktiviert. Der Zielort und die Zielgeschwindigkeit werden dreidimensional angegeben, wodurch die Genauigkeit der Zeit bis zum Kontakt zwischen dem Gerät 12 und dem Ziel 20 verbessert wird.
Unter Bezugnahme auf 3 wird nun ein Flussdiagramm des Verfahrens 200 gezeigt, das auf der Steuerung C von 1 gespeichert und von dieser ausführbar ist. Das Verfahren 200 muss nicht in der hier angegebenen Reihenfolge angewendet werden. Darüber hinaus ist zu verstehen, dass einige Schritte entfallen können. Der Beginn und das Ende des Verfahrens 100 werden durch „S“ bzw. „E“ gekennzeichnet. Pro Block 202 wird die Steuerung C programmiert, um festzustellen, ob ein Triggersignal empfangen wurde. Wenn dies der Fall ist, geht das Verfahren 200 zu Block 204 über. Wenn nicht, wird das Verfahren 200 beendet. Das Auslösesignal kann z.B. erzeugt werden, wenn die Steuerung C eine Nachricht von der Wolkeneinheit 62 eines unregelmäßigen Fahrzeugs in der Umgebung des Geräts 12 empfängt.
Pro Block 204 ist die Steuerung C so programmiert, dass sie sowohl den optischen Sensor 16 als auch die Radareinheit 18 in einen interessierenden Bereich (single) steuert, z.B. den ersten interessierenden Bereich 70. Das Verfahren 200 führt zum Block 206. Pro Block 206 ist die Steuerung C so eingerichtet, dass sie die Radardaten und die Bilddaten aus dem ersten interessierenden Bereich 70 zu einem gemeinsamen Datenbestand zusammenführt. Es können die oben in Bezug auf 2 beschriebenen Verfahren angewendet werden (unter Verwendung des Kalman-Filters K, des Assoziationsmoduls A und des Tiefenlernmoduls D von 1). Andere Verfahren zur Kombination von Daten, die den Fachleuten zur Verfügung stehen, können verwendet werden. Das Verfahren 200 führt zu Block 208. Pro Block 208 werden die zusammengefügten Daten verwendet, um das Ziel 20 zu erkennen und die Zielposition und die Zielgeschwindigkeit zu ermitteln. Ähnlich wie bei dem Verfahren 100 und wie oben in 2 beschrieben, wird die Steuerung C so programmiert, dass sie den Betrieb der Vorrichtung 12 im Block 210 steuert, teilweise basierend auf mindestens einer der beiden Zielpositionen (x, y, z) und der Zielgeschwindigkeit (v_x, v_y, v_z), z.B. indem sie eine Kontaktzeit für die Vorrichtung 12 und das Ziel 20 erhält.
Unter Bezugnahme auf 4 wird nun ein Beispiel für eine Kontrollstruktur 150 zur Umsetzung des Verfahrens 100 aus 2 gezeigt. Die Kontrollstruktur 150 umfasst eine automatische Gerätesteuereinheit 152, eine Radar-Kontrolleinheit 154, eine optische Kontrolleinheit 156, eine Radar-Verarbeitungseinheit 158 und eine Bildverarbeitungseinheit 160. In der Kontrollstruktur 150 ist der erste der Radareinheit 18 und der optische Sensor 16 der Radareinheit 18 und der zweite der optische Sensor 16. Die durchgezogenen Pfeile zeigen die Richtung der Steuerung und/oder des Datenflusses an, während die gestrichelten Pfeile die Richtung des Datenflusses anzeigen. Wie durch die durchgezogenen Pfeile angezeigt wird, steuert die automatische Gerätesteuereinheit 152 die Radarsteuereinheit 154, die wiederum die optische Steuereinheit 156 steuert.
Gemäß 4 übermitteln das Radar-Steuergerät 154 und das optische Steuergerät 156 die Rohdaten an die Radarverarbeitungseinheit 158 bzw. die Bildverarbeitungseinheit 160, die jeweils eine verarbeitete Ausgabe erzeugen. Hier wird das verarbeitete Ausgangssignal des ersten des optischen Sensors 16 und der Radareinheit 18 an den zweiten des optischen Sensors 16 und der Radareinheit 18 übertragen. Wie die gestrichelten Pfeile in 4 zeigen, überträgt die Bildverarbeitungseinheit 160 die jeweilige verarbeitete Ausgabe an die Radarverarbeitungseinheit 158. Die jeweilige verarbeitete Ausgabe der Bildverarbeitungseinheit 160 (in diesem Beispiel „die zweite“) wird mit der jeweiligen verarbeiteten Ausgabe der Radarverarbeitungseinheit 158 verschmolzen und anschließend an die automatisierte Gerätesteuerungseinheit 152 übertragen. Wie in 4 dargestellt, kann das entsprechende verarbeitete Ausgangssignal der Radarverarbeitungseinheit 158 zur weiteren Optimierung an die Radarzentrale 154 übertragen werden. Der technische Vorteil besteht darin, dass die Steuerung der Radareinheit 18 und des optischen Sensors 16 in einem einzigen Verarbeitungszyklus zur Verfügung steht.
Unter Bezugnahme auf 5 wird nun eine Beispiel-Kontrollstruktur 250 für die Umsetzung des Verfahrens 100 aus 2 oder des Verfahrens 200 aus 3 gezeigt. Die Kontrollstruktur 250 umfasst eine automatisierte Gerätesteuereinheit 252, eine Radar-Kontrolleinheit 254, eine optische Kontrolleinheit 256, eine Radar-Verarbeitungseinheit 258 und eine Bildverarbeitungseinheit 260. Die durchgezogenen Pfeile zeigen die Richtung der Steuerung und/oder des Datenflusses an, während die gestrichelten Pfeile die Richtung des Datenflusses anzeigen. Wie durch die durchgezogenen Pfeile angezeigt wird, steuert die automatische Gerätesteuereinheit 252 unabhängig voneinander die Radar-Steuereinheit 254 und die optische Steuereinheit 256 an. Die Radar-Kontrolleinheit 254 und die optische Kontrolleinheit 256 übermitteln die Rohdaten an die Radarverarbeitungseinheit 258 bzw. die Bildverarbeitungseinheit 260, die jeweils eine verarbeitete Ausgabe erzeugen. Bezogen auf 5 werden die jeweiligen verarbeiteten Ausgänge der Radarverarbeitungseinheit 258 und der Bildverarbeitungseinheit 260 unabhängig und getrennt (siehe gestrichelte Pfeile) an die automatisierte Gerätesteuereinheit 252 übertragen und anschließend zu einem gesicherten verarbeiteten Ausgang verschmolzen. Die Steuerung der Radareinheit 18 und des optischen Sensors 16 ist zwischen den Verarbeitungszyklen erlaubt. Der technische Vorteil liegt hier in der geringeren Latenzzeit.
Das System 10 (und die Ausführung der Verfahren 100 und/oder der Verfahren 200) verbessert die Funktion der Vorrichtung 12 durch den Einsatz einer radaroptischen Architektur zur Nutzung der Vorteile jeder Erfassungsmodalität und zur Bereitstellung einer verbesserten Winkelauflösung. Die Steuerung C von 1 kann ein integraler Bestandteil oder ein separates Modul sein, das mit anderen Reglern des Geräts 12 operativ verbunden ist.
Die Steuerung C umfasst ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet), einschließlich eines nicht vorübergehenden (z. B. materiellen) Mediums, das an der Bereitstellung von Daten (z. B. Anweisungen) beteiligt ist, die von einem Computer (z. B. von einem Prozessor eines Computers) gelesen werden können. Ein solches Medium kann viele Formen annehmen, einschließlich, aber nicht beschränkt auf nicht-flüchtige und flüchtige Medien. Nichtflüchtige Medien können z.B. optische oder magnetische Platten und andere persistente Speicher umfassen. Zu den flüchtigen Medien kann beispielsweise der dynamische Direktzugriffsspeicher (DRAM) gehören, der einen Hauptspeicher darstellen kann. Solche Befehle können über ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Koaxialkabel, Kupferdraht und Glasfaseroptik, einschließlich der Drähte, die einen Systembus umfassen, der an einen Prozessor eines Computers gekoppelt ist. Einige Formen von computerlesbaren Medien sind z.B. eine Diskette, eine flexible Platte, eine Festplatte, ein Magnetband, andere magnetische Medien, eine CD-ROM, eine DVD, andere optische Medien, Lochkarten, ein Papierband, andere physische Medien mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, andere Speicherchips oder -kassetten oder andere Medien, von denen ein Computer lesen kann.
Nachschlagetabellen, Datenbanken, Datenspeicher oder andere hier beschriebene Datenspeicher können verschiedene Arten von Mechanismen zum Speichern, Zugreifen und Abrufen verschiedener Arten von Daten enthalten, darunter eine hierarchische Datenbank, eine Reihe von Dateien in einem Dateisystem, eine Anwendungsdatenbank in einem proprietären Format, ein relationales Datenbankmanagementsystem (RDBMS) usw. Jeder dieser Datenspeicher kann in einem Computergerät mit einem Computerbetriebssystem wie einem der oben genannten enthalten sein und kann über ein Netzwerk auf eine oder mehrere der verschiedenen Arten zugänglich sein. Auf ein Dateisystem kann von einem Computer-Betriebssystem aus zugegriffen werden, und es kann Dateien in verschiedenen Formaten enthalten. Ein RDBMS kann zusätzlich zu einer Sprache zum Erstellen, Speichern, Bearbeiten und Ausführen von gespeicherten Prozeduren die Structured Query Language (SQL) verwenden, wie z.B. die oben erwähnte PL/SQL-Sprache.
Die detaillierte Beschreibung und die Figuren oder FIGS. sind unterstützend und beschreibend für die Offenbarung, aber der Umfang der Offenbarung wird ausschließlich durch die Ansprüche definiert. Während einige der bevorzugten Ausführungsformen und andere Ausführungsformen für die Durchführung der beanspruchten Offenbarung ausführlich beschrieben wurden, gibt es verschiedene alternative Muster und Ausführungsformen für die Durchführung der in den beigefügten Ansprüchen definierten Offenbarung. Darüber hinaus sind die in den Figuren gezeigten Ausführungsformen oder die Merkmale verschiedener Ausführungsformen, die in der vorliegenden Beschreibung erwähnt werden, nicht unbedingt als voneinander unabhängige Ausführungsformen zu verstehen. Vielmehr ist es möglich, dass jedes der in einem der Ausführungsbeispiele beschriebenen Merkmale mit einem oder mehreren anderen gewünschten Merkmalen aus anderen Ausführungsformen kombiniert werden kann, was zu anderen Ausführungsformen führt, die nicht in Worten oder durch Bezugnahme auf die Figuren beschrieben werden. Dementsprechend fallen solche anderen Ausführungsformen in den Rahmen der beigefügten Ansprüche.

Claims

Ein System zum Steuern des Betriebs eines Geräts in Echtzeit, wobei das System Folgendes umfasst einen optischen Sensor und eine Radareinheit, die operativ mit dem Gerät verbunden und eingerichtet sind, Bilddaten bzw. Radardaten zu erhalten; einer Steuerung, die mit der Radareinheit und dem optischen Sensor in Verbindung steht, wobei die Steuerung einen Prozessor und einen greifbaren, nicht vorübergehenden Speicher enthält, auf dem Anweisungen für ein Verfahren zur Erkennung eines Ziels aufgezeichnet werden; wobei der optische Sensor ein lenkbares optisches Sichtfeld aufweist, das steuerbar ist, um jeweilige Teile eines vollen optischen Sichtfeldes abzutasten, und die Radareinheit ein lenkbares Radarsichtfeld aufweist, das steuerbar ist, um die jeweiligen Teile eines vollen Radarsichtfeldes abzutasten, wobei das volle Radarsichtfeld sich zumindest teilweise mit dem vollen optischen Sichtfeld überlappt; wobei die Ausführung der Befehle durch den Prozessor die Steuerung veranlasst, einen ersten des optischen Sensors und der Radareinheit in einen ersten interessierenden Bereich zu lenken; wobei der erste von dem optischen Sensor und der Radareinheit eingerichtet ist, dass sie das Ziel in dem ersten Bereich von Interesse zu erfassen und einen zweiten Bereich von Interesse um das Ziel herum zu identifizieren, wobei der zweite Bereich von Interesse sich zumindest teilweise mit dem ersten Bereich von Interesse überlappt; wobei die Steuerung so eingerichtet ist: einen zweiten des optischen Sensors und der Radareinheit in den zweiten interessierenden Bereich zu steuern; die Radardaten und die Bilddaten zu verschmelzen und einen Zielort und eine Zielgeschwindigkeit zu erhalten; und den Betrieb des Geräts teilweise auf der Grundlage von mindestens einem der beiden Parameter Zielort und Zielgeschwindigkeit zu steuern.
Das System von Anspruch 1, wobei: die Steuerung eingerichtet ist, dass sie in Erwiderung auf das Empfangen eines Triggersignals einen ersten der beiden optischen Sensoren und die Radareinheit zu steuern.
Das System nach Anspruch 1, wobei die Radareinheit umfasst: einen Sender, der elektromagnetische Wellen in mindestens einem der Bereiche Radio und Mikrowellen erzeugt; eine oder mehrere Sendeantennen, die für die Übertragung elektromagnetischer Wellen eingerichtet sind; jeweilige Phasenschieber, die operativ mit einer oder mehreren Sendeantennen verbunden und so eingerichtet sind, dass sie eine jeweilige Phase der elektromagnetischen Wellen verschieben, um einen Phased-Array-Strahl zu erzeugen; und eine oder mehrere Empfängerantennen, ein Empfängermodul und entsprechende Strahlmodifikatoren, wobei die eine oder mehreren Empfängerantennen eingerichtet sind, die elektromagnetischen Wellen zu empfangen und über die entsprechenden Strahlmodifikatoren zum Empfängermodul zu leiten.
Das System nach Anspruch 1, wobei das Verschmelzen der Bilddaten und der Radardaten umfasst: Erhalten mindestens einer Begrenzungsregion um das Ziel in den Bilddaten; und Abgleichen des mindestens einen Begrenzungsbereichs in den Bilddaten mit dem Zielort in den Radardaten über ein Assoziationsmodul in der Steuerung.
Das System nach Anspruch 1, wobei: Steuern des Betriebs des Geräts umfassend das Ermitteln einer Kontaktzeit für das Gerät und das Ziel auf der Grundlage des durch (X, Y, Z) bezeichneten Zielorts und der durch (v_x, v_y, v_z) bezeichneten Zielgeschwindigkeit; und die Zeit bis zum Kontakt (t) wird bestimmt als: $t = \sqrt{{(X / v_{x})}^{2} + {(Y / v_{y})}^{2} + {(Z / v_{z})}^{2}} .$
Das System nach Anspruch 5, wobei: die Vorrichtung ein automatisches Bremsmodul enthält, das so eingerichtet ist, dass es die Vorrichtung abbremst; und ausgeführt ist zum: Steuern des Betriebs der Vorrichtung, das das Senden eines Signals an einen Benutzer der Vorrichtung umfasst, wenn die Zeit bis zum Kontakt kleiner als ein erster vordefinierter Schwellenwert, aber größer als ein zweiter vordefinierter Schwellenwert ist, wobei der erste vordefinierte Schwellenwert größer als der zweite vordefinierte Schwellenwert ist; und Steuern des Betriebs des Geräts, das die Aktivierung des automatischen Bremsmoduls, wenn die Zeit bis zur Berührung unter dem zweiten vordefinierten Schwellenwert liegt, umfasst.
Das System nach Anspruch 1, wobei: die Steuerung eine automatisierte Gerätesteuerungseinheit, eine Radarverarbeitungseinheit und eine Bildverarbeitungseinheit umfasst; die Radarverarbeitungseinheit und die Bildverarbeitungseinheit so eingerichtet sind, dass sie aus den Radardaten und den Bilddaten jeweils eine verarbeitete Ausgabe erzeugen; die jeweilige verarbeitete Ausgabe des ersten des optischen Sensors und der Radareinheit an den zweiten des optischen Sensors und der Radareinheit übertragen wird; und das jeweilige verarbeitete Ausgangssignal des zweiten optischen Sensors und der Radareinheit mit dem jeweiligen verarbeiteten Ausgangssignal des ersten optischen Sensors und der Radareinheit verschmolzen und anschließend an die automatisierte Gerätesteuereinheit übertragen wird.
Das System nach Anspruch 1, wobei: die Steuerung eine automatisierte Gerätesteuerungseinheit umfasst, eine Radarverarbeitungseinheit und eine Bildverarbeitungseinheit; die Radarverarbeitungseinheit und die Bildverarbeitungseinheit eingerichtet sind, aus den Radardaten und den Bilddaten jeweils eine verarbeitete Ausgabe zu erzeugen; die jeweilige verarbeitete Ausgabe von der Radarverarbeitungseinheit und der Bildverarbeitungseinheit unabhängig voneinander an die automatisierte Gerätesteuerungseinheit übertragen werden.
Ein Verfahren zum Steuern des Betriebs einer Vorrichtung in Echtzeit, wobei die Vorrichtung einen optischen Sensor, eine Radareinheit und eine Steuerung mit einem Prozessor und einem fühlbaren, nicht vorübergehenden Speicher aufweist, wobei das Verfahren umfasst: Konfigurieren des optischen Sensors mit einem steuerbaren optischen Sichtfeld, das so gesteuert werden kann, dass die jeweiligen Teile eines vollständigen optischen Sichtfeldes abgetastet werden, und die Gewinnung von Bilddaten über den optischen Sensor; Konfigurieren der Radareinheit mit einem steuerbaren Radarsichtfeld, das so gesteuert werden kann, dass es die jeweiligen Teile eines vollständigen Radarsichtfelds abtastet, und Erhalten von Radardaten über die Radareinheit, wobei sich das vollständige Radarsichtfeld zumindest teilweise mit dem vollständigen optischen Sichtfeld überlappt; Konfigurieren der Steuerung, um einen ersten des optischen Sensors und der Radareinheit in einen ersten interessierenden Bereich zu steuern; Erkennen eines Ziels im ersten interessierenden Bereich über den ersten des optischen Sensors und der Radareinheit; Identifizieren einer zweiten interessierenden Bereichs, der das Ziel umgibt, wobei sich der interessierende Bereich zumindest teilweise mit dem ersten interessierenden Bereich überschneidet; Steuern eines zweiten optischen Sensors und der Radareinheit über die Steuerung in den zweiten interessierenden Bereich; Verschmelzen der Radardaten und der Bilddaten, um einen Zielort und eine Zielgeschwindigkeit zu erhalten; und den Betrieb des Geräts zumindest teilweise auf der Grundlage des Zielortes und/oder der Zielgeschwindigkeit zu steuern.
Ein System zum Steuern des Betriebs eines Geräts in Echtzeit, wobei das System Folgendes umfasst: einen optischen Sensor und eine Radareinheit, die operativ mit dem Gerät verbunden und eingerichtet sind, Bilddaten bzw. Radardaten zu erhalten; einer Steuerung, der mit der Radareinheit und dem optischen Sensor in Verbindung steht, wobei die Steuerung einen Prozessor und einen greifbaren, nicht vorübergehenden Speicher enthält, auf dem Anweisungen für ein Verfahren zur Erkennung eines Ziels aufgezeichnet werden; wobei der optische Sensor ein lenkbares optisches Sichtfeld aufweist, das steuerbar ist, um jeweilige Teile eines vollen optischen Sichtfeldes abzutasten, und die Radareinheit ein lenkbares Radarsichtfeld aufweist, das steuerbar ist, um die jeweiligen Teile eines vollen Radarsichtfeldes abzutasten, wobei das volle Radarsichtfeld sich zumindest teilweise mit dem vollen optischen Sichtfeld überlappt; wobei die Ausführung der Befehle durch den Prozessor die Steuerung veranlasst, sowohl den optischen Sensor als auch die Radareinheit in einen interessierenden Bereich zu steuern; wobei die Steuerung eingerichtet ist zum: Kombinieren der Radardaten und der Bilddaten aus dem interessierenden Bereich, um ein gemeinsames Datenmaterial zu erhalten; Erkennen des Ziels in den zusammengefügten Daten und einen Zielort und Erhalten einer Zielgeschwindigkeit ; und den Betrieb des Geräts teilweise auf der Grundlage von mindestens einem der beiden Parameter Zielort und Zielgeschwindigkeit zu steuern.