-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft eine Vorrichtung, die zum Klassifizieren von Daten ausgestaltet ist, ein System zum Bestimmen von Fahrwarninformationen, ein Verfahren zum Klassifizieren von Daten sowie ein Computerprogrammelement.
-
HINTERGRUND DER ERFINDUNG
-
Der allgemeine Hintergrund dieser Erfindung ist das Gebiet der Fahrwarnsysteme. Derzeitige Lösungen im Bereich höher entwickelter Fahrerassistenzsysteme (advanced driver assistance systems - ADAS) verwenden zunehmend Lösungen eines lebenslangen Lernens, wobei Systeme dazu trainiert werden, Erkennungs- und Klassifizierungsfunktionalitäten zu verbessern. Innerhalb eines solchen Rahmens lebenslangen Lernens ist im Allgemeinen eine ausgewogene Dateneingabe erforderlich, was zu einer unzulänglichen Erkennung und Klassifizierung führen kann.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Es wäre vorteilhaft, über eine verbesserte Vorrichtung zum Klassifizieren von Daten zu verfügen.
-
Die Aufgabe der vorliegenden Erfindung wird mit dem Gegenstand der unabhängigen Ansprüche gelöst, wobei weitere Ausführungsformen in die abhängigen Ansprüche integriert sind. Man beachte, dass die folgenden beschriebenen Aspekte und Beispiele der Erfindung auch für die Vorrichtung, die zum Klassifizieren von Daten ausgestaltet ist, das System zum Bestimmen von Fahrwarninformationen, das Verfahren zum Klassifizieren von Daten und für das Computerprogrammelement gelten.
-
In einem ersten Aspekt wird eine Vorrichtung bereitgestellt, die zum Klassifizieren von Daten ausgestaltet ist, umfassend:
- - eine Eingabeeinheit; und
- - eine Verarbeitungseinheit.
-
Die Eingabeeinheit ist dazu ausgestaltet, die Verarbeitungseinheit mit einer Mehrzahl von Datenproben zu versorgen. Die Mehrzahl von Datenproben umfasst wenigstens eine Testprobe und umfasst eine Mehrzahl positiver Proben und umfasst eine Mehrzahl negativer Proben. Bezüglich jeder der positiven Proben wurde bestimmt, dass sie Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen, und bezüglich jeder der negativen Proben wurde bestimmt, dass sie keine Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen. Die Verarbeitungseinheit ist dazu ausgestaltet, eine erste Mehrzahl von Gruppen zu erzeugen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen mit einer anderen wenigstens einen der Mehrzahl negativer Proben zu besiedeln. Wenigstens eine der Gruppe der ersten Mehrzahl von Gruppen enthält wenigstens zwei negative Proben. Die Verarbeitungseinheit ist auch dazu ausgestaltet, auf der Grundlage der Mehrzahl der positiven Proben und der ersten Mehrzahl von Gruppen zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
Auf diese Weise wird die normale Situation angegangen, in der viel mehr negative Proben als positive Proben vorhanden sind - durch einen Effekt, der die Betonung der negativen Proben reduziert, indem eine Anzahl von Gruppen mit den negativen Proben besiedelt wird, wobei die Anzahl an Gruppen kleiner ist als die Anzahl negativer Proben, und eine Testprobe auf der Grundlage der positiven Proben und der Gruppen statt auf der Grundlage aller positiven Proben und aller negativen Proben, als ein Objekt aufweisend oder nicht klassifiziert wird. Mit anderen Worten: Die effektiven positiven und negativen Proben werden ausbalanciert, indem die negativen Proben (die im Allgemeinen die positiven Proben zahlenmäßig weit übertreffen) in Gruppen angeordnet werden.
-
Die Bestimmung, dass die positiven Proben Daten enthalten, die ein zu erkennendes Objekt betreffen, und die Bestimmung, dass die negativen Proben keine Daten enthalten, die ein Objekt betreffen, können als - beispielsweise durch eine menschliche Bedienperson validierte - Eingangsdaten bereitgestellt werden, können aber auch durch die Vorrichtung selbst bereitgestellt werden, indem die Vorrichtung in der Tat einen Selbstlernalgorithmus nutzt.
-
In einem Beispiel wird wenigstens einigen der ersten Mehrzahl von Gruppen ein Gewichtungsfaktor zugewiesen.
-
Anders ausgedrückt wird jedem/r „Subcluster“ oder „Gruppe“ (ein) Bedeutungsgewicht(e) zugewiesen. In einem Beispiel werden die Subcluster für jede Gruppe basierend auf einem Abstandsmaß erzeugt. Dies kann beispielsweise manuell erfolgen. *Jedem* Subcluster werden dann automatisch Bedeutungsgewichte zugewiesen. Diese Gewichte können neu eingestellt werden, um kritischen Subklassen während des Trainings eine höhere Bedeutung zu geben. Eine solche Neueinstellung kann manuell erfolgen. Durch Zuweisen bedeutsamer Gewichte können große Anzahlen an Subclustern auf diese Weise gehandhabt werden - statt kleine Anzahlen von Subclustern, wie es im Stand der Technik üblich ist, die zwangsläufig handgestaltet sind.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Probendatenähnlichkeitsmerkmals für jede Gruppe zu besiedeln.
-
Mit anderen Worten: Negative Proben mit einem Grad an Ähnlichkeit bezüglich eines bestimmten Merkmals werden in eine spezifische Gruppe gruppiert, wobei andere negative Proben, die einen Grad an Ähnlichkeit bezüglich eines anderen bestimmten Merkmals gemeinsam haben, in eine andere spezifische Gruppe gruppiert werden. Auf diese Weise wird eine Redundanz von Informationen innerhalb der negativen Proben berücksichtigt, was für ein verbessertes Ausbalancieren der positiven und negativen Proben sorgt.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, eine erste Mehrzahl repräsentativer Proben für die erste Mehrzahl von Gruppen zu bestimmen, wobei jeder Gruppe der ersten Mehrzahl von Gruppen eine andere repräsentative Probe zugeordnet wird; und wobei die Verarbeitungseinheit dazu ausgestaltet ist, auf der Grundlage der Mehrzahl positiver Proben und der ersten Mehrzahl repräsentativer Proben zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
Auf diese Weise kann ein ausgewogener Datensatz bereitgestellt werden, der die positiven Proben und die Repräsentanten jeder Gruppe der negativen Proben umfasst, was unterstützt, dass eine Klassifizierung Daten besser ausbalanciert, so dass nicht zu viel Betonung auf negative Proben und/oder spezifische negative Proben mit hoher Redundanz in einer Gruppe gelegt wird.
-
Mit anderen Worten: Es ist ein feinkörniges Ausbalancieren für eine *große* Anzahl an Subklassen vorgesehen (und nicht nur eine Positiv-gegen-negativ- oder klassenbasierte Subclusterbildung).
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, eine zweite Mehrzahl von Gruppen zu erzeugen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der zweiten Mehrzahl von Gruppen mit einer anderen wenigstens einen der Mehrzahl positiver Proben zu besiedeln, wobei wenigstens eine der Gruppe der zweiten Mehrzahl von Gruppen wenigstens zwei positive Proben enthält. Die Verarbeitungseinheit ist auch dazu ausgestaltet, auf der Grundlage der zweiten Mehrzahl von Gruppen und der ersten Mehrzahl von Gruppen zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
Auf diese Weise wird eine besser ausgewogene Klassifizierung bereitgestellt, bei der nicht zu viel Betonung auf entweder die positiven oder die negativen Proben gelegt wird.
-
In einem Beispiel wird wenigstens einigen der zweiten Mehrzahl von Gruppen ein Gewichtungsfaktor zugewiesen.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, jede Gruppe der zweiten Mehrzahl von Gruppen auf der Grundlage eines anderen Probendatenähnlichkeitsmerkmals für jede Gruppe zu besiedeln.
-
Auf diese Weise wird eine Redundanz von Informationen innerhalb der positiven Proben berücksichtigt, was für ein verbessertes Ausbalancieren der positiven und negativen Proben sorgt.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, eine zweite Mehrzahl repräsentativer Proben für die zweite Mehrzahl von Gruppen zu bestimmen, wobei jeder Gruppe der zweiten Mehrzahl von Gruppen eine andere repräsentative Probe zugeordnet wird. Die Verarbeitungseinheit ist auch dazu ausgestaltet, auf der Grundlage der zweiten Mehrzahl repräsentativer Proben und der ersten Mehrzahl repräsentativer Proben zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
Auf diese Weise kann ein ausgewogener Datensatz bereitgestellt werden, der die Repräsentanten jeder Gruppe der positiven Proben und die Repräsentanten jeder Gruppe der negativen Proben umfasst, was unterstützt, dass eine Klassifizierung Daten besser ausbalanciert, so dass nicht zu viel Betonung auf positive Proben und/oder spezifische positive Proben gelegt wird und nicht auf negative Proben und/oder spezifische negative Proben gelegt wird.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, die Mehrzahl negativer Proben dahingehend zu verarbeiten, eine Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Negativproben-Datenähnlichkeitsmerkmals für jede Gruppe zu besiedeln. Die Verarbeitungseinheit ist auch dazu ausgestaltet, die Mehrzahl positiver Proben dahingehend zu verarbeiten, eine Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, die wenigstens eine Testprobe dahingehend zu verarbeiten, wenigstens ein repräsentatives Merkmal zu bestimmen. Die Bestimmung, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen, umfasst einen Vergleich des wenigstens einen repräsentativen Merkmals mit der Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen und der Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, die Mehrzahl negativer Proben dahingehend zu verarbeiten, eine Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Negativproben-Datenähnlichkeitsmerkmals für jede Gruppe zu besiedeln. Die Verarbeitungseinheit ist auch dazu ausgestaltet, die Mehrzahl positiver Proben dahingehend zu verarbeiten, eine Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, eine Testprobe der wenigstens einen Testprobe dahingehend zu verarbeiten, ein für den Test repräsentatives Merkmal zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, die Testprobe der Mehrzahl positiver Proben hinzuzufügen oder die Testprobe der Mehrzahl negativer Proben hinzuzufügen. Die selektive Hinzufügung umfasst einen Vergleich des für den Test repräsentativen Merkmals mit der Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen und der Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen.
-
Die Bestimmung, dass die negativen Proben keine Daten enthalten, die ein Objekt betreffen, kann durch die Vorrichtung selbst bereitgestellt werden, indem die Vorrichtung in der Tat einen Selbstlernalgorithmus nutzt.
-
In einem Beispiel ist, wenn die Verarbeitungseinheit bestimmt, dass die Testprobe der Mehrzahl negativer Proben hinzuzufügen ist, die Verarbeitungseinheit dazu ausgestaltet, basierend darauf, dass ein Ähnlichkeitsmaß eine Schwellenwertbedingung erfüllt, die Testprobe einer Gruppe der ersten Mehrzahl von Gruppen hinzuzufügen.
-
In einem Beispiel ist, wenn die Verarbeitungseinheit bestimmt, dass die Testprobe der Mehrzahl negativer Proben hinzuzufügen ist, die Verarbeitungseinheit dazu ausgestaltet, basierend darauf, dass ein Ähnlichkeitsmaß eine Schwellenwertbedingung nicht erfüllt, eine neue Gruppe der ersten Mehrzahl von Gruppen zu erzeugen und die Testprobe der neuen Gruppe hinzuzufügen.
-
In einem zweiten Aspekt wird ein System zum Bestimmen von Fahrwarninformationen bereitgestellt, wobei das System umfasst:
- - wenigstens eine Datenerfassungseinheit; und
- - eine zum Klassifizieren von Daten ausgestaltete Vorrichtung gemäß dem ersten Aspekt; und
- - eine Ausgabeeinheit.
-
Die wenigstens eine Datenerfassungseinheit ist dazu ausgestaltet, die wenigstens eine Testprobe zu erfassen. Die Verarbeitungseinheit ist dazu ausgestaltet, auf der Grundlage der Bestimmung, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen, Fahrerwarninformationen zu bestimmen. Die Ausgabeeinheit ist dazu ausgestaltet, Informationen auszugeben, welche die Fahrerwarninformationen angeben.
-
In einem dritten Aspekt wird ein Verfahren zum Klassifizieren von Daten bereitgestellt, umfassend:
- a) Bereitstellen einer Mehrzahl von Datenproben, wobei die Mehrzahl von Datenproben wenigstens eine Testprobe umfasst und eine Mehrzahl positiver Proben umfasst und eine Mehrzahl negativer Proben umfasst und wobei bezüglich jeder der positiven Proben bestimmt wurde, dass sie Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen, und wobei bezüglich jeder der negativen Proben bestimmt wurde, dass sie keine Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen;
- e) Erzeugen einer ersten Mehrzahl von Gruppen;
- g) Besiedeln jeder Gruppe der ersten Mehrzahl von Gruppen mit einer anderen wenigstens einen der Mehrzahl negativer Proben, wobei wenigstens eine der Gruppe der ersten Mehrzahl von Gruppen wenigstens zwei negative Proben enthält; und
- m) Bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen, auf der Grundlage der Mehrzahl der positiven Proben und der ersten Mehrzahl von Gruppen.
-
Gemäß einem anderen Aspekt wird ein Computerprogrammelement bereitgestellt, das eine Vorrichtung, wie zuvor beschrieben, steuert, das, wenn das Computerprogrammelement durch eine Verarbeitungseinheit ausgeführt wird, dazu ausgelegt ist, die Verfahrensschritte, wie zuvor beschrieben, durchzuführen.
-
Es wird auch ein computerlesbares Medium bereitgestellt, auf dem das Computerelement, wie zuvor beschrieben, gespeichert ist.
-
Vorteilhafterweise gelten die positiven Wirkungen, die durch einen der obenstehenden Aspekte bereitgestellt werden, gleichermaßen für alle anderen Aspekte und umgekehrt.
-
Die obenstehenden Aspekte und Beispiele erschließen sich aus den nachstehend beschriebenen Ausführungsformen und werden unter Bezugnahme auf diese erläutert.
-
Figurenliste
-
Nachfolgend werden Ausführungsbeispiele beschrieben - unter Bezugnahme auf die folgenden Zeichnungen:
- 1 zeigt einen schematischen Aufbau eines Beispiels einer Vorrichtung, die zum Klassifizieren von Daten ausgestaltet ist;
- 2 zeigt einen schematischen Aufbau eines Beispiels eines Systems zum Bestimmen von Fahrwarninformationen;
- 3 zeigt ein Verfahren zum Klassifizieren von Daten;
- 4 zeigt das Bilden von Clustern aus Proben;
- 5 zeigt ein Bilden von Clustern basierend auf einer hierarchischen Baumstruktur; und
- 6 zeigt ein Clustern in n Subcluster.
-
AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
1 zeigt ein Beispiel einer Vorrichtung 10, die zum Klassifizieren von Daten ausgestaltet ist. Die Vorrichtung umfasst eine Eingabeeinheit 20 und eine Verarbeitungseinheit 30. Die Eingabeeinheit 20 ist dazu ausgestaltet, die Verarbeitungseinheit 30 mit einer Mehrzahl von Datenproben zu versorgen. Die Mehrzahl von Datenproben umfasst wenigstens eine Testprobe und umfasst eine Mehrzahl positiver Proben und umfasst eine Mehrzahl negativer Proben. Bezüglich jeder der positiven Proben wurde bestimmt, dass sie Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen, und wobei bezüglich jeder der negativen Proben bestimmt wurde, dass sie keine Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen. Die Verarbeitungseinheit ist dazu ausgestaltet, eine erste Mehrzahl von Gruppen zu erzeugen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen mit einer anderen wenigstens einen der Mehrzahl negativer Proben zu besiedeln, wobei wenigstens eine der Gruppe der ersten Mehrzahl von Gruppen wenigstens zwei negative Proben enthält. Die Verarbeitungseinheit ist auch dazu ausgestaltet, auf der Grundlage der Mehrzahl der positiven Proben und der ersten Mehrzahl von Gruppen zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
In einem Beispiel umfasst die Bestimmung, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen, dass die Verarbeitungseinheit ein künstliches neuronales Netz implementiert. In einem Beispiel umfasst das künstliche neuronale Netz ein faltendes neuronales Netz.
-
In einem Beispiel umfasst die Besiedlung jeder Gruppe der ersten Mehrzahl von Gruppen, dass die Verarbeitungseinheit das künstliche neuronale Netz, wie etwa das faltende neuronale Netz, implementiert.
-
In einem Beispiel umfasst die Erzeugung der ersten Mehrzahl von Gruppen, dass die Verarbeitungseinheit das künstliche neuronale Netz implementiert.
-
In einem Beispiel umfasst das künstliche neuronale Netz einen Lernalgorithmus. Auf diese Weise ist das künstliche neuronale Netz dadurch, dass es einen Lernalgorithmus aufweist, selbstkonfigurierbar.
-
Gemäß einem Beispiel wird wenigstens einigen der ersten Mehrzahl von Gruppen ein Gewichtungsfaktor zugewiesen.
-
In Beispielen können die Bedeutungsgewichte für jeden Subcluster (oder jede Gruppe) festgelegt werden: manuell, z. B. werden hoch kritischen Subclustern manuell hohe Bedeutungsgewichte gegeben (während des Trainings können Proben dieser Subcluster mit größerer Wahrscheinlichkeit gezogen werden); automatisch unter Verwendung eines statistischen Kriteriums, z. B. der Anzahl an Proben in einem Subcluster; automatisch unter Verwendung eines Relevanzkriteriums, z. B. basierend auf dem Klassifizierungs-Score der Scores in dem Subcluster oder auf der Fehlklassifizierungsrate der Proben in einem Subcluster.
-
In einem Beispiel kann jeder Gruppe der ersten Mehrzahl von Gruppen ein anderer Gewichtungsfaktor zugewiesen werden.
-
In einem Beispiel kann der Gewichtungsfaktor für eine Gruppe die Anzahl an Proben in dieser Gruppe sein.
-
In einem Beispiel kann der Gewichtungsfaktor für eine Gruppe die Anzahl sein, die dieser Gruppe manuell zugewiesen wurde.
-
In einem Beispiel wird den Proben der Mehrzahl negativer Proben jeweils ein Gewichtungsfaktor zugewiesen, der für jede Probe anders sein kann. Beispielsweise kann negativen Proben, die sich von anderen negativen Proben unterscheiden, ein individueller Gewichtungsfaktor gegeben werden. Mit anderen Worten: Eine solche negative Probe bildet eine Gruppe von eins aus, für die ein Gewichtungsfaktor (für die Probe) vorhanden ist, ohne dass eine Gruppe als solche erzeugt werden muss. Auf diese Weise kann, wenn viel mehr negative Proben als positive Proben vorhanden sind, dieses Ungleichgewicht angegangen werden und Unterschiede zwischen den negativen Proben erklären.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 30 dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Probendatenähnlichkeitsmerkmals für jede Gruppe zu besiedeln.
-
In einem Beispiel wird die verbesserte Ausgewogenheit durch Gewichten der Proben erreicht, z. B. weisen in kontinuierlich gesammelten Bilddaten einige hoch ähnliche Proben bis zu 100 Vorkommen oder mehr auf und andere weisen nur etwa 5-10 Vorkommen auf. Auch wenn diese Proben wahrscheinlich in der Umgebung mit der gleichen Wahrscheinlichkeit beobachtet werden, weisen sie eine andere Anzahl an Proben auf, weil z. B. in einem Fall das Auto langsam (mehr Vorkommen) und im andere Fall schneller (weniger Vorkommen) ist. Die vorliegende Vorrichtung geht diese Unausgewogenheit über das Gewichten von Proben an.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, die negativen Proben dahingehend zu verarbeiten, eine Anzahl unterschiedlicher Probenähnlichkeitsmerkmale zu bestimmen, um unterschiedliche Gruppen mit negativen Beispielen zu besiedeln, die dieses oder ein ähnliches Merkmal gemeinsam haben oder im Wesentlichen gemeinsam haben.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 30 dazu ausgestaltet, eine erste Mehrzahl repräsentativer Proben für die erste Mehrzahl von Gruppen zu bestimmen, wobei jeder Gruppe der ersten Mehrzahl von Gruppen eine andere repräsentative Probe zugeordnet wird. Die Verarbeitungseinheit ist auch dazu ausgestaltet, auf der Grundlage der Mehrzahl positiver Proben und der ersten Mehrzahl repräsentativer Proben zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
In einem Beispiel wird während des Trainings ein feinkörniger Ausbalancierungsmechanismus angewendet. Die Subcluster werden basierend auf den Bedeutungsgewichten nach dem Zufallsprinzip gezogen. Subcluster mit höheren Bedeutungsgewichten werden mit größerer Wahrscheinlichkeit gezogen als Subcluster mit niedrigeren Bedeutungsgewichten. Alle Subcluster können gleiche Bedeutungsgewichte aufweisen. In diesem Fall gleicht das Bilden von Subclustern aus, dass einige ähnliche Proben häufiger in dem gesammelten Trainingssatz vorhanden sind als andere ähnliche Proben (z. B. Proben, die von einem langsam oder schnell fahrenden Auto gesammelt wurden). Wenn ein Subcluster gezogen wird, wird eine Probe aus diesem Subcluster nach dem Zufallsprinzip gezogen. Es erfolgt kein zusätzliches Ausbalancieren für die Proben innerhalb jedes Subclusters. Im Vergleich mit dem Stand der Technik schlägt diese Lösung ein feinkörniges Ausbalancieren für hunderte von Subklassen vor. Lösungen nach dem Stand der Technik sehen nur ein Ausbalancieren für eine kleine Anzahl an Klassen vor.
-
In einem Beispiel umfasst die Bestimmung der ersten Mehrzahl repräsentativer Proben, dass die Verarbeitungseinheit das künstliche neuronale Netz implementiert.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 30 dazu ausgestaltet, eine zweite Mehrzahl von Gruppen zu erzeugen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der zweiten Mehrzahl von Gruppen mit einer anderen wenigstens einen der Mehrzahl positiver Proben zu besiedeln, wobei wenigstens eine der Gruppe der zweiten Mehrzahl von Gruppen wenigstens zwei positive Proben enthält. Die Verarbeitungseinheit ist auch dazu ausgestaltet, auf der Grundlage der zweiten Mehrzahl von Gruppen und der ersten Mehrzahl von Gruppen zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
In einem Beispiel umfasst die Erzeugung der zweiten Mehrzahl von Gruppen, dass die Verarbeitungseinheit das künstliche neuronale Netz implementiert.
-
In einem Beispiel umfasst die Besiedlung jeder Gruppe der zweiten Mehrzahl von Gruppen, dass die Verarbeitungseinheit das künstliche neuronale Netz, wie etwa das faltende neuronale Netz, implementiert.
-
Gemäß einem Beispiel wird wenigstens einigen der zweiten Mehrzahl von Gruppen ein Gewichtungsfaktor zugewiesen.
-
In einem Beispiel kann jeder Gruppe der ersten Mehrzahl von Gruppen ein anderer Gewichtungsfaktor zugewiesen werden.
-
In einem Beispiel wird den Proben der Mehrzahl positiver Proben jeweils ein Gewichtungsfaktor zugewiesen, der für jede Probe anders sein kann. Beispielsweise kann positiven Proben, die sich von anderen positiven Proben unterscheiden, ein individueller Gewichtungsfaktor gegeben werden. Mit anderen Worten: Eine solche positive Probe bildet eine Gruppe von eins aus, für die ein Gewichtungsfaktor (für die Probe) vorhanden ist, ohne dass eine Gruppe als solche erzeugt werden muss. Auf diese Weise kann jedwede Unausgewogenheit angegangen werden und Unterschiede zwischen den positiven Proben erklären.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 30 dazu ausgestaltet, jede Gruppe der zweiten Mehrzahl von Gruppen auf der Grundlage eines anderen Probendatenähnlichkeitsmerkmals für jede Gruppe zu besiedeln.
-
In einem Beispiel ist die Verarbeitungseinheit dazu ausgestaltet, die positiven Proben dahingehend zu verarbeiten, eine Anzahl unterschiedlicher Probenähnlichkeitsmerkmale zu bestimmen, um unterschiedliche Gruppen mit positiven Proben zu besiedeln, die dieses oder ein ähnliches Merkmal gemeinsam haben oder im Wesentlichen gemeinsam haben.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 30 dazu ausgestaltet, eine zweite Mehrzahl repräsentativer Proben für die zweite Mehrzahl von Gruppen zu bestimmen, wobei jeder Gruppe der zweiten Mehrzahl von Gruppen eine andere repräsentative Probe zugeordnet wird. Die Verarbeitungseinheit ist auch dazu ausgestaltet, auf der Grundlage der zweiten Mehrzahl repräsentativer Proben und der ersten Mehrzahl repräsentativer Proben zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
In einem Beispiel umfasst die Bestimmung der zweiten Mehrzahl repräsentativer Proben, dass die Verarbeitungseinheit das künstliche neuronale Netz implementiert.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 30 dazu ausgestaltet, die Mehrzahl negativer Proben dahingehend zu verarbeiten, eine Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Negativproben-Datenähnlichkeitsmerkmals für jede Gruppe zu besiedeln; und wobei die Verarbeitungseinheit dazu ausgestaltet ist, die Mehrzahl positiver Proben dahingehend zu verarbeiten, eine Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, die wenigstens eine Testprobe dahingehend zu verarbeiten, wenigstens ein repräsentatives Merkmal zu bestimmen. Die Bestimmung, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen, umfasst einen Vergleich des wenigstens einen repräsentativen Merkmals mit der Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen und der Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen.
-
In einem Beispiel umfasst das Verarbeiten der Mehrzahl negativer Proben dahingehend, eine Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen zu bestimmen, dass die Verarbeitungseinheit das künstliche neuronale Netz implementiert.
-
In einem Beispiel umfasst das Verarbeiten der wenigstens einen Testprobe dahingehend, das wenigstens eine repräsentative Merkmal zu bestimmen, dass die Verarbeitungseinheit das künstliche neuronale Netz implementiert.
-
Gemäß einem Beispiel ist die Verarbeitungseinheit 30 dazu ausgestaltet, die Mehrzahl negativer Proben dahingehend zu verarbeiten, eine Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, jede Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Negativproben-Datenähnlichkeitsmerkmals für jede Gruppe zu besiedeln; und wobei die Verarbeitungseinheit dazu ausgestaltet ist, die Mehrzahl positiver Proben dahingehend zu verarbeiten, eine Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, eine Testprobe der wenigstens einen Testprobe dahingehend zu verarbeiten, ein für den Test repräsentatives Merkmal zu bestimmen. Die Verarbeitungseinheit ist auch dazu ausgestaltet, die Testprobe der Mehrzahl positiver Proben hinzuzufügen oder die Testprobe der Mehrzahl negativer Proben hinzuzufügen. Die selektive Hinzufügung umfasst einen Vergleich des für den Test repräsentativen Merkmals mit der Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen und der Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen.
-
Die Bestimmung, dass die negativen Proben keine Daten enthalten, die ein Objekt betreffen, kann durch die Vorrichtung selbst bereitgestellt werden, indem die Vorrichtung in der Tat einen Selbstlernalgorithmus nutzt.
-
In einem Beispiel umfasst das Hinzufügen der Testprobe zu der Mehrzahl positiver oder negativer Proben, dass die Verarbeitungseinheit das künstliche neuronale Netz implementiert.
-
Gemäß einem Beispiel ist, wenn die Verarbeitungseinheit 30 bestimmt, dass die Testprobe der Mehrzahl negativer Proben hinzuzufügen ist, die Verarbeitungseinheit dazu ausgestaltet, basierend darauf, dass ein Ähnlichkeitsmaß eine Schwellenwertbedingung erfüllt, die Testprobe einer Gruppe der ersten Mehrzahl von Gruppen hinzuzufügen.
-
Gemäß einem Beispiel ist, wenn die Verarbeitungseinheit 30 bestimmt, dass die Testprobe der Mehrzahl negativer Proben hinzuzufügen ist, die Verarbeitungseinheit dazu ausgestaltet, basierend darauf, dass ein Ähnlichkeitsmaß eine Schwellenwertbedingung nicht erfüllt, eine neue Gruppe der ersten Mehrzahl von Gruppen zu erzeugen und die Testprobe der neuen Gruppe hinzuzufügen.
-
In einem Beispiel ist, wenn die Verarbeitungseinheit bestimmt, dass die Testprobe der Mehrzahl positiver Proben hinzuzufügen ist, die Verarbeitungseinheit dazu ausgestaltet, basierend darauf, dass das Ähnlichkeitsmaß eine Schwellenwertbedingung erfüllt, die Testprobe einer Gruppe der zweiten Mehrzahl von Gruppen hinzuzufügen.
-
Die Bestimmung, dass die positiven Proben Daten enthalten, die ein zu erkennendes Objekt betreffen, kann durch die Vorrichtung selbst bereitgestellt werden, indem die Vorrichtung in der Tat einen Selbstlernalgorithmus nutzt.
-
In einem Beispiel ist, wenn die Verarbeitungseinheit bestimmt, dass die Testprobe der Mehrzahl positiver Proben hinzuzufügen ist, die Verarbeitungseinheit dazu ausgestaltet, basierend darauf, dass ein Ähnlichkeitsmaß eine Schwellenwertbedingung nicht erfüllt, eine neue Gruppe der zweiten Mehrzahl von Gruppen zu erzeugen und die Testprobe der neuen Gruppe hinzuzufügen.
-
In einem Beispiel werden für ein „lebenslanges Lernen“ kontinuierlich neue Daten gesammelt und der Klassifikator wird entweder online (am Auto) oder offline neu trainiert. Hierzu ist ferner zu erläutern, dass es für dieses Neutraining bedeutsam ist, die Relevanz der Probe zu kennen. Diese Relevanz kann durch Berechnen ihrer Ähnlichkeit mit den Zentren der Subcluster abgeschätzt werden. Wenn die Ähnlichkeit unter einem Schwellenwert liegt, wird ein neuer Subcluster definiert und ein Bedeutungsgewicht für diesen Subcluster berechnet.
-
Das Folgende stellt eine Kurzdarstellung bereit: Für ein kontinuierliches und lebenslanges Lernen einer Funktion an einer Sensorvorrichtung wird der Klassifikator mit neu gesammelten Daten neu trainiert. Der kritische Punkt ist die Beurteilung der Bedeutung neu gesammelter Daten auf effiziente Weise bezüglich Laufzeit- und Speicherbeschränkungen. Die vorgeschlagene Lösung bildet aus den Trainingsdaten Cluster. Die Bedeutung neu gesammelter Proben wird anhand des Abstands zwischen den neu gesammelten Proben und den zuvor gesammelten Clustern berechnet. Dies reduziert stark die Menge an Daten, die auf der Vorrichtung gespeichert ist, und die Berechnungszeit für die Abstandsberechnung, da der gesamte Datensatz, gegen den zu vergleichen ist, auf den Satz von Clustern reduziert wird. Außerdem weisen die Cluster semantische Namen auf und gestatten eine bessere Interpretation.
-
In einem Beispiel kann außerdem eine Untergruppe alter Daten für das Neutraining wiederverwendet werden, um die Leistung auf dem ursprünglichen Trainingsdatensatz zu gewährleisten. Ein Speichern aller Trainingsproben erfordert zu viel Speicher. Ein automatisches Reduzieren auf einen kleineren Satz von Datenproben, hier die Zentren der Subcluster, ist hoch relevant und wird durch die Vorrichtung und die Algorithmen, die sie implementiert, angegangen.
-
In einem Beispiel umfasst die Mehrzahl von Datenproben eines oder mehrere der Folgenden: Bilddaten, Radardaten; akustische Daten; und Lidar-Daten.
-
In einem Beispiel werden die Bilddaten durch eine Kamera erfasst. In einem Beispiel werden die Radardaten durch ein Radarsystem erfasst. In einem Beispiel werden die akustischen Daten durch einen akustischen Sensor erfasst. In einem Beispiel werden die Lidar-Daten durch ein Lasererfassungssystem erfasst.
-
In einem Beispiel umfasst die Mehrzahl von Datenproben Magnetresonanzdaten. In einem Beispiel umfasst die Mehrzahl von Datenproben Röntgenbilddaten. In einem Beispiel umfasst die Mehrzahl von Datenproben Röntgen-Computertomographiedaten. Somit können in Beispielen Bilddaten durch eines oder mehrere der Folgenden erfasst werden: einen MRT-Scanner; CT-Scanner; Ultraschallsensor.
-
2 zeigt ein Beispiel eines Systems 100 zum Bestimmen von Fahrwarninformationen. Das System 100 umfasst wenigstens eine Datenerfassungseinheit 110 und eine Vorrichtung 10, die zum Klassifizieren von Daten ausgestaltet ist, wie mit Bezug auf 1 beschrieben, und eine Ausgabeeinheit 120. Die wenigstens eine Datenerfassungseinheit 110 ist dazu ausgestaltet, die wenigstens eine Testprobe zu erfassen. Die Verarbeitungseinheit 30 ist dazu ausgestaltet, auf der Grundlage der Bestimmung, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen, Fahrerwarninformationen zu bestimmen. Die Ausgabeeinheit 120 ist dazu ausgestaltet, Informationen auszugeben, welche die Fahrerwarninformationen angeben.
-
In einem Beispiel umfasst die Eingabeeinheit die wenigstens eine Datenerfassungseinhei t.
-
In einem Beispiel umfasst die wenigstens eine Datenerfassungseinheit eine Kamera.
-
In einem Beispiel umfasst die wenigstens eine Datenerfassungseinheit eine Radareinhei t.
-
In einem Beispiel umfasst die wenigstens eine Datenerfassungseinheit einen akustischen Sensor.
-
In einem Beispiel umfasst die wenigstens eine Datenerfassungseinheit einen laserbasierten Lidar-Sensor.
-
In einem Beispiel befindet sich das System in oder an einem Fahrzeug, wobei es beispielsweise einen Teil eines höher entwickelten Fahrassistenzsystems (advanced driving assistance system - ADAS) bildet.
-
3 zeigt ein Verfahren 200 zum Klassifizieren von Daten in seinen grundlegenden Schritten. Das Verfahren 200 umfasst:
- in einem Bereitstellungsschritt 210, auch als Schritt a) bezeichnet, Bereitstellen einer Mehrzahl von Datenproben, wobei die Mehrzahl von Datenproben wenigstens eine Testprobe umfasst und eine Mehrzahl positiver Proben umfasst und eine Mehrzahl negativer Proben umfasst und wobei bezüglich jeder der positiven Proben bestimmt wurde, dass sie Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen, und wobei bezüglich jeder der negativen Proben bestimmt wurde, dass sie keine Daten enthält, die wenigstens ein zu erkennendes Objekt betreffen;
- in einem Erzeugungsschritt 220, auch als Schritt e) bezeichnet, Erzeugen einer ersten Mehrzahl von Gruppen;
- in einem Besiedlungsschritt 230, auch als Schritt g) bezeichnet, Besiedeln jeder Gruppe der ersten Mehrzahl von Gruppen mit einer anderen wenigstens einen der Mehrzahl negativer Proben, wobei wenigstens eine der Gruppe der ersten Mehrzahl von Gruppen wenigstens zwei negative Proben enthält; und
- in einem Bestimmungsschritt 240, auch als Schritt m) bezeichnet, Bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen, auf der Grundlage der Mehrzahl der positiven Proben und der ersten Mehrzahl von Gruppen.
-
In einem Beispiel umfasst Schritt g) ein Besiedeln jeder Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Probendatenähnlichkeitsmerkmals für jede Gruppe.
-
In einem Beispiel umfasst das Verfahren Schritt f): Bestimmen 250 einer ersten Mehrzahl repräsentativer Proben für die erste Mehrzahl von Gruppen, wobei jeder Gruppe der ersten Mehrzahl von Gruppen eine andere repräsentative Probe zugeordnet wird; und wobei Schritt m) umfasst, auf der Grundlage der Mehrzahl positiver Proben und der ersten Mehrzahl repräsentativer Proben zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
In einem Beispiel umfasst das Verfahren Schritt h): Erzeugen 260 einer zweiten Mehrzahl von Gruppen; und Schritt i): Besiedeln 270 jeder Gruppe der zweiten Mehrzahl von Gruppen mit einer anderen wenigstens einen der Mehrzahl positiver Proben, wobei wenigstens eine der Gruppe der zweiten Mehrzahl von Gruppen wenigstens zwei positive Proben enthält; und wobei Schritt m) umfasst, auf der Grundlage der zweiten Mehrzahl von Gruppen und der ersten Mehrzahl von Gruppen zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
In einem Beispiel umfasst Schritt i) ein Besiedeln jeder Gruppe der zweiten Mehrzahl von Gruppen auf der Grundlage eines anderen Probendatenähnlichkeitsmerkmals für jede Gruppe.
-
In einem Beispiel umfasst das Verfahren Schritt j): Bestimmen 280 einer zweiten Mehrzahl repräsentativer Proben für die zweite Mehrzahl von Gruppen, wobei jeder Gruppe der zweiten Mehrzahl von Gruppen eine andere repräsentative Probe zugeordnet wird; und wobei Schritt m) umfasst, auf der Grundlage der zweiten Mehrzahl repräsentativer Proben und der ersten Mehrzahl repräsentativer Proben zu bestimmen, ob die wenigstens eine Testprobe Daten enthält, die das wenigstens eine Objekt betreffen.
-
In einem Beispiel umfasst das Verfahren Schritt b): Verarbeiten 290 der Mehrzahl negativer Proben dahingehend, eine Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen zu bestimmen; und wobei Schritt g) ein Besiedeln jeder Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Negativproben-Datenähnlichkeitsmerkmals für jede Gruppe umfasst; und wobei das Verfahren Schritt c) umfasst: Verarbeiten 300 der Mehrzahl positiver Proben dahingehend, eine Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen zu bestimmen, und das Verfahren Schritt d) umfasst: Verarbeiten 310 der wenigstens einen Testprobe dahingehend, wenigstens ein repräsentatives Merkmal zu bestimmen; und wobei Schritt m) einen Vergleich des wenigstens einen repräsentativen Merkmals mit der Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen und der Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen umfasst.
-
In einem Beispiel umfasst das Verfahren Schritt b): Verarbeiten 290 der Mehrzahl negativer Proben dahingehend, eine Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen zu bestimmen; und wobei Schritt g) ein Besiedeln jeder Gruppe der ersten Mehrzahl von Gruppen auf der Grundlage eines anderen Negativproben-Datenähnlichkeitsmerkmals für jede Gruppe umfasst; und wobei das Verfahren Schritt c) umfasst: Verarbeiten 300 der Mehrzahl positiver Proben dahingehend, eine Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen zu bestimmen, und wobei das Verfahren Schritt k) umfasst: Verarbeiten 320 einer Testprobe der wenigstens einen Testprobe dahingehend, ein für den Test repräsentatives Merkmal zu bestimmen; und wobei das Verfahren Schritt 1) umfasst: Hinzufügen 330 in Teilschritt 11) 340 der Testprobe zu der Mehrzahl positiver Proben oder Hinzufügen in Teilschritt 12) 350 der Testprobe zu der Mehrzahl negativer Proben, wobei die selektive Hinzufügung einen Vergleich des für den Test repräsentativen Merkmals mit der Mehrzahl von Negativdaten-Probenähnlichkeitsmerkmalen und der Mehrzahl von Positivdaten-Probenähnlichkeitsmerkmalen umfasst.
-
In einem Beispiel umfasst Schritt 12) 350 ein Hinzufügen 352 der Testprobe zu einer Gruppe der ersten Mehrzahl von Gruppen basierend darauf, dass ein Ähnlichkeitsmaß eine Schwellenwertbedingung erfüllt.
-
In einem Beispiel umfasst Schritt 12) 350 ein Erzeugen 354 einer neuen Gruppe der ersten Mehrzahl von Gruppen und Hinzufügen der Testprobe zu der neuen Gruppe basierend darauf, dass ein Ähnlichkeitsmaß eine Schwellenwertbedingung nicht erfüllt.
-
In einem Beispiel umfasst die Mehrzahl von Datenproben eines oder mehrere der Folgenden: Bilddaten, Radardaten; akustische Daten; und Lidar-Daten.
-
4-6 zeigen Beispiele eines Bildens von Clustern aus Proben, wie innerhalb der Vorrichtung, des Systems und des Verfahrens, wie oben in Bezug auf 1-3 beschrieben, genutzt.
-
Lösungen für ein lebenslanges Lernen, die beispielsweise im Bereich höher entwickelter Fahrerassistenzsysteme angewendet werden, gewinnen zunehmend an Bedeutung. Solche Techniken lebenslangen Lernens müssen jedoch trainiert und neu trainiert werden. Dies kann ein kontinuierliches Training auf der Vorrichtung im Online-Modus umfassen. Dies erfordert, dass Trainingsdaten auf der Vorrichtung gespeichert werden und durch Daten, die durch die Vorrichtung während ihrer Lebensdauer kontinuierlich gesammelt werden, erweitert werden. Faltende neuronale Netze (convolutional neural networks - CNN) und andere Lösungen des Maschinenlernens können auf diese Weise genutzt werden. Diese Lösungen oder Techniken erfordern einen Datensatz aus positiven und negativen Proben zum Bestimmen der Parameter/Gewichte der internen Netto- und Lohnstruktur. Ein Bestimmen solcher Parameter basierend auf solchen Daten wird als Training bezeichnet. Die positiven Proben umfassen zu erkennende Objekte, wie Fußgänger, Autos, Fahrzeuge, Lkws oder Fahrräder u. a. Die negativen Proben umfassen Hintergrund oder Hintergrund, der fälschlicherweise als ein(e) gültige(s) Erkennung/Objekt klassifiziert wurde. Lösungen des Maschinenlernens, wie etwa unter Nutzung von CNNs, erfordern ausgewogene Trainingsdatensätze, die eine ausgewogene (gleiche) Anzahl positiver und negativer Proben enthalten. Trainingsdatensätze, gewesen beispielsweise Automobilbereich, erhalten entweder aus Offline-Daten oder online gesammelten Daten, was die Vorrichtung, sind jedoch nicht ausgewogen. Üblicherweise ist die Anzahl positiver Proben im Vergleich mit der möglichen Anzahl negativer Proben, anhand der die Vorrichtung trainiert werden kann, klein. Dies hat CNNs mit trainierten Netto-Topologien und Gewichten zur Folge, welche die Bedeutung positiver oder aber negativer Proben überbetont, was zu einer allgemein unzulänglichen Klassifizierungsleistung und/oder zu einem Leistungsabfall der Vorrichtung während ihrer Lebensdauer, da diese über eine Lösung des lebenslangen Lernens selbst lernt, führt. Dieses Problem ist nicht nur im Automobilbereich anzutreffen, sondern auch in anderen Bereichen, welche die Klassifizierung von Daten, wie oben beschrieben, erfordern.
-
Die Vorrichtung, das System und das Verfahren, die oben in Bezug auf 1-3 beschrieben werden, gehen diese Probleme an, wie mit Bezug auf 4-6 ausführlicher beschrieben.
-
Als Teil des Angehens dieser Probleme wird eine Clusterbildungslösung bereitgestellt, welche die Daten vor dem Online- und/oder Offline-Training der Lösung des Maschinenlernens auf einer Vorrichtung, die beispielsweise einen Kamerasensor nutzt, ausbalanciert und für die Fähigkeit sorgt, während des Online-Betriebs der Vorrichtung kontinuierlich ein lebenslanges Training bereitzustellen. Daten oder Proben können in Form von Kamerabildmaterial, verarbeitetem Kamerabildmaterial, Radardaten, verarbeiteten Radardaten und anderen Fahrzeugsensorinformationen vorliegen. Auf diese Weise wird Folgendes bereitgestellt:
- 1. besseres Ausbalancieren der Anzahl positiver und negativer Proben in einem Trainingsdatensatz, wobei das Training offline oder online erfolgen kann;
- 2. die explizite Berücksichtigung der Redundanz von Proben in einem Probenpool, um das Training einer Lösung des Maschinenlernens besser zu verallgemeinern; und
- 3. bessere Berücksichtigung der Subklassen innerhalb einer Probengruppe.
-
Die Clusterbildungslösung
-
Die Clusterbildungslösung verarbeitet die Proben/bildet Cluster aus den Proben, um innerhalb einer Gruppe Gruppen von Proben mit hoher Ähnlichkeit auszubilden. Dann können innerhalb des Positiv-/Negativprobenpools Repräsentanten jeder Gruppe ausgewählt werden, um einen ausgewogenen Datensatz zum Trainieren einer Vorrichtung auszubilden. Somit unterstützt dieses Bilden von Clustern, dass eine Klassifizierung die Daten (z. B. erfasste Proben in Echtzeit) besser ausbalanciert, so dass nicht zu viel Betonung auf die positive oder aber die negative Trainingsgruppe oder spezifische Proben mit hoher Redundanz in einer Gruppe gelegt wird.
-
Außerdem hilft diese Clusterbildungslösung, die (wenigen oder sehr wenigen) Daten einer Subklasse innerhalb der Probengruppen aus einem ausgewogeneren Training anderer Klassen innerhalb einer Probengruppe besser zu berücksichtigen. Solche Proben können kritische falsch positive und kritische falsch negative umfassen, und wobei ein Sammeln großer Probensätze häufig unpraktikabel ist.
-
Der Klassifikator wird in Bezug auf eine Sensorvorrichtung und deren kontinuierliches und lebenslanges Lernen mit neu gesammelten Daten neu trainiert. Neu gesammelte Daten werden hinsichtlich ihrer Bedeutung auf effiziente Weise mit Bezug auf Verarbeitungslaufzeit- und Speicherbeschränkungen beurteilt. Aus den Trainingsdaten werden Cluster gebildet und die Bedeutung neu gesammelter Proben (Daten) wird über die Bestimmung des Abstands zwischen den neu gesammelten Daten auf den zuvor gesammelten Clustern berechnet. Dies reduziert stark die Menge an Daten, die auf der Vorrichtung gespeichert werden muss, und eine Berechnungszeit-Abstandsberechnung. Dies ist deshalb so, weil der für einen Vergleich verwendete Datensatz statt aller Proben auf den Satz von Clustern reduziert ist. Außerdem weisen die Cluster semantische Namen auf und gestatten eine bessere Interpretation.
-
4 zeigt ein Beispiel dafür, wie aus Proben Cluster gebildet werden, um das Datum des Trainings besser auszubalancieren. Die Clusterbildungslösung verarbeitet Proben/bildet Cluster aus Proben, um innerhalb einer Gruppe Gruppen von Proben mit hoher Ähnlichkeit auszubilden, so dass Repräsentanten jeder Gruppe innerhalb des Positiv-/Negativprobenpools ausgewählt werden können, um für Trainingszwecke einen ausgewogenen Datensatz auszubilden. Diese Lösung ermöglicht es auch, Proben, die während des Betriebs der Vorrichtung in Echtzeit erfasst werden, als Teil eines lebenslangen Lernprozesses für die Vorrichtung in geeigneter Weise in Gruppen zu platzieren.
-
Weiterhin auf 4 Bezug nehmend, ist links eine Sammlung von Proben im Merkmalsraum gezeigt (für Veranschaulichungszwecke ist ein zweidimensionaler Merkmalsraum gezeigt). Diese Sammlung kann in Klassen unterteilt werden, z. B. eine positive und eine negative Klasse. Ferner können die Proben jeder Klasse weiter in Subklassen unterteilt werden, was in der Mitte gezeigt ist. Jede Subklasse kann eine andere Anzahl an Proben aufweisen - mit einem Minimum von 1 Probe pro Subklasse. Außerdem kann jede Subklasse einen Bedeutungswert aufweisen. Im Training, das rechts gezeigt ist, können Proben häufiger aus Subklassen mit hohen Bedeutungswerten gezogen werden. Folglich können kritische Proben durch Subklassen mit hohen Bedeutungswerten repräsentiert werden. Daher basiert diese Form des Ausbalancierens nicht auf einem manuellen Vorauswählen von Teil-Datensätzen, die während des Trainingsprozederes mehr oder weniger gewichtet werden, sondern die Subklassen werden automatisch erzeugt und Bedeutungswerte können entweder automatisch erzeugt oder für kritische Proben manuell festgelegt werden.
-
Ein detaillierter Arbeitsablauf bezüglich dessen, wie das Bilden von Clustern erfolgt, wird nun beschrieben:
- 1. Bilden von Clustern aus dem Probenpool (z. B. dem Positiv- oder Negativprobenpool)
- o Berechnung einer Merkmalsrepräsentation aus der Rohprobe, wie etwa einem Eingangsbild. Es kann auch ein semantischer Hash der Merkmalsrepräsentation berechnet werden, was Geschwindigkeitsvorteile bereitstellen kann;
- o Definition eines Ähnlichkeitsmaßes für eine vektorbasierte Merkmalsrepräsentation. Dieser Abstand kann basierend auf einem Hamming-Abstand für semantische Hashs oder einem euklidischen Abstand u. a. berechnet werden,
- o Definition eines Schwellenwerts für das Ähnlichkeitsmaß;
- o Die Proben werden jetzt entweder durch eine Von-unten-nach-oben- oder eine Von-oben-nach-unten-Clusterbildungslösung oder eine Kombination aus einer Von-unten-nach-oben- und einer Von-oben-nach-unten-Clusterbildungslösung geclustert;
- o Bezüglich eines Bildens von Clustern in einer Von-unten-nach-oben-Lösung:
- ■ Vergleichen des semantischen Hashs des Merkmals mit den Hashs der Clusterzentren basierend auf dem Ähnlichkeitsmaß:
- • Wenn die Ähnlichkeit in Bezug auf eines der Clusterzentren ausreichend groß ist, wird die Probe diesem Cluster zugewiesen und das Clusterzentrum wird neu berechnet, beispielsweise:
- o Für euklidische Abstände wird das Clusterzentrum durch iteratives Aktualisieren des Mittelwerts neu definiert;
- o Für Hamming-Abstände wird die Probe gefunden, die allen anderen Proben in dem Cluster am nächsten ist, und der Hash dieser Probe wird als das neue Clusterzentrum verwendet;
- • Wenn die Ähnlichkeit unter dem Schwellenwert liegt, Erzeugen eines neuen Clusters mit der Merkmalsrepräsentation oder dem Hash der Probe als dem Clusterzentrum;
- o Die Clusteranalyse kann zusätzlich für eine visuelle Inspektion der Daten verwendet werden, insbesondere, um falsch positive und falsch negative zu gruppieren.
- 2. Definieren von Wahrscheinlichkeiten aller Cluster bezüglich dessen, mit welcher Wahrscheinlichkeit Proben aus solchen Clustern gezogen werden:
- o In einem Standard-Setup folgt die Wahrscheinlichkeitsverteilung aller Cluster einer einheitlichen Verteilung;
- o Bedeutungsbasiert kann einigen Clustern eine höhere Wahrscheinlichkeit zugewiesen werden, weil sie als relevanter erachtet werden, beispielsweise kritischen negativen oder kritischen positiven Proben.
- 3. Integration des Probenauswahlschemas in den Trainingsalgorithmus:
- o Zuerst werden basierend auf den definierten Clusterwahrscheinlichkeiten Cluster nach dem Zufallsprinzip aus dem Satz von Clustern gezogen;
- o Zweitens werden aus jedem im ersten Schritt ausgewählten Cluster zufällige Proben gezogen.
-
In Ergänzung des obenstehenden Arbeitsablaufs kann jeder Cluster durch Proben erweitert werden. Solche zum Erweitern von Clustern verwendete Proben können synthetisch erzeugt, aus anderen Datensätzen entliehen, im Rahmen zusätzlicher Datenaufzeichnungen gesammelt werden. Dies ermöglicht ein gemeinsames Nutzen unterschiedlicher Informationen, die durch unterschiedliche Vorrichtungen/Sensoren online gesammelt werden. Außerdem vereinfacht es ein Verketten von durch unterschiedliche Vorrichtungen/Sensoren gesammelten Informationen basierend auf Clusterbildungslösungen. Die/der oben beschriebene Clusterbildungslösung und Arbeitsablauf können dann in einer Lösung des lebenslangen Lernens verwendet werden, bei der Online-Daten, die beispielsweise durch eine Vorrichtung erfasst werden, einen Teil des Trainingsdatensatzes für eine Verbesserung der Vorrichtung bilden. Ferner ermöglicht es die Art und Weise, wie Daten zur Integration in bestimmte Gruppen oder Cluster oder Subcluster klassifiziert werden, erfasste Daten, beispielsweise von einer Kamera, die einen Teil eines ADAS-Systems bildet, hinsichtlich des Inhalts innerhalb des Bildes zu analysieren und zu klassifizieren. Mit anderen Worten: Die Vorrichtung kann bestimmen, ob ein Bild Merkmale, wie etwa Fußgänger, andere Autos, Verkehrszeichen et cetera, enthält oder ob das Bild solche Daten tatsächlich nicht enthält.
-
5 zeigt eine andere Clusterbildungslösung als die oben erörterte und in 4 gezeigte, die auf einem hierarchischen Clusterbildungsbaum basiert. Zusammengefasst sind die Schritte folgende:
- 1. Vertrauen auf die Proben jeder Probengruppe und Aufbauen eines hierarchischen Clusterbaums;
- 2. Visualisieren der Clusterzentren; und
- 3. Zuweisen von Gewichten zu den Clusterzentren, die für das Training verwendet werden.
-
Weiterhin auf 5 Bezug nehmend und ausführlicher wird die Ausgabe eines Probenclusterbildungsmechanismus dargestellt, der auf einem hierarchischen Baum basiert. Die Schritte zum automatischen Erzeugen der Subcluster sind folgende: 1) automatisches Bauen eines hierarchischen Clusterbaums unter Verwendung von Abstandsmaßen zwischen den Proben, 2) optional: Visualisieren der Clusterzentren. Dies unterstützt eine manuelle Untersuchung der Trainingsdaten, z. B. eine Suche nach fehlgekennzeichneten Daten oder eine manuelle Suche nach kritischen Proben. Außerdem stellt es eine kompakte Repräsentation der Trainingsdaten bereit, worauf der Algorithmus basiert, und 3) Zuweisen von Bedeutungsgewichten zu den Clusterzentren, um die Lernklassifikatoren zu steuern. Wiederum kann ein solcher Clusterbildungsmechanismus im Offline- und Online-Training und für den Echtzeitbetrieb der Vorrichtung, beispielsweise in einem ADAS, verwendet werden.
-
Das Signieren von Gewichten zu den Subclustern (Gruppen), das lösungsübergreifend gilt, ist in 6 gezeigt. Diese Figur stellt die Bedeutungsgewichte der Subcluster dar. Wenn n Subcluster vorhanden sind, weist jeder Subcluster ein Bedeutungsgewicht auf. Bedeutungsgewichte werden jedem Subcluster automatisch zugewiesen. Außerdem können Bedeutungsgewichte basierend auf Kriterien wie etwa Priorität oder kritischen falsch positiven Proben manuell eingestellt werden. Diese Bedeutungsgewichte basieren nicht zwangsläufig auf der Häufigkeit der Proben in der Untergruppe. Die Bedeutungsgewichte bestimmen, mit welcher Wahrscheinlichkeit Proben eines Subclusters während des Trainings gezogen werden. Proben aus Subclustern mit hohen Bedeutungsgewichten werden häufiger gezogen als Proben aus Clustern mit niedrigen Bedeutungsgewichten.
-
Probennahmestrategie
-
Während des Trainings wird ein feinkörniger Ausbalancierungsmechanismus angewendet. Die Subcluster werden basierend auf den Bedeutungsgewichten nach dem Zufallsprinzip gezogen. Subcluster mit höheren Bedeutungsgewichten werden mit größerer Wahrscheinlichkeit gezogen als Subcluster mit niedrigeren Bedeutungsgewichten. Alle Subcluster können gleiche Bedeutungsgewichte aufweisen. In diesem Fall gleicht das Bilden von Subclustern aus, dass einige ähnliche Proben häufiger in dem gesammelten Trainingssatz vorhanden sind als andere ähnliche Proben (z. B. Proben, die von einem langsam oder schnell fahrenden Auto gesammelt wurden). Wenn ein Subcluster gezogen wird, wird eine Probe aus diesem Subcluster nach dem Zufallsprinzip gezogen. Es erfolgt kein zusätzliches Ausbalancieren für die Proben innerhalb jedes Subclusters.
-
Im Vergleich mit dem Stand der Technik schlägt diese Lösung ein feinkörniges Ausbalancieren für hunderte von Subklassen vor. Lösungen nach dem Stand der Technik sehen nur ein Ausbalancieren für eine kleine Anzahl an Klassen vor.
-
Die/das oben beschriebene Vorrichtung, System und Verfahren, die eines oder ein anderes der oben beschriebenen Clusterbildungslösungen verwenden, geht das Problem einer Unausgewogenheit in den Daten an, die der Vorrichtung für Trainings- und lebenslange Lernprozesse bereitgestellt werden. Dies versorgt die Vorrichtung, das System und das Verfahren auch mit einer effizienten Art und Weise des Verarbeitens von Echtzeitdaten dahingehend zu bestimmen, ob Bildmaterial Merkmale von Bedeutung enthält, wie etwa, ob Fußgänger vorhanden sind oder nicht. Dies wird über die Berücksichtigung redundanter und mehrfach erscheinender Proben erreicht, aus denen dann unter Berücksichtigung von Proben, die in einem Probenpool häufiger auftreten können, und anderem Cluster gebildet werden. Dies geht auch den spezifischen Fall innerhalb des Fahrzeugbereichs an, bei dem eine sehr große Anzahl redundanter negativer Proben, die aus durch ein sich langsam bewegendes Fahrzeug aufgezeichneten Bildern extrahiert werden, erhalten werden kann - im Gegensatz zu sehr wenigen, nicht redundanten Proben, die durch ein schnell fahrendes Fahrzeug aufgezeichnet werden. Beispielsweise können einige negative Proben hunderte von Wiederholungen in einem Datensatz aufweisen, wohingegen andere weniger häufig beobachtet werden. Die/das aktuell beschriebene Vorrichtung, System und Verfahren gehen dieses an und gewährleisten so, dass häufigeren Proben keine größere Betonung beigemessen wird, was für eine allgemeine Verbesserung der Klassifizierungsleistung sorgt. Mit anderen Worten: Die Vorrichtung, das System und das Verfahren stellen eine Lösung für lebenslanges Lernen, Online-Training und ein Verarbeiten von Echtzeitdaten bereit, die:
- 1. positive und negative Proben ausbalanciert;
- 2. durch Gruppieren der Proben mit hoher Ähnlichkeit eine Redundanz von Proben innerhalb eines Probenpools berücksichtigt;
- 3. explizit die Berücksichtigung von Subklassen mit sehr wenigen Proben innerhalb eines Pools gestattet; und
- 4. eine effiziente Art und Weise zum Berechnen der Gewichte neu gesammelter Proben (online und in Echtzeit) zum Neutraining als Teil eines lebenslangen Lernens und einer Echtzeitnutzung der Vorrichtung bereitstellt, indem die reduzierte Anzahl an Clustern verwendet wird, statt auf gesamte Datensätze zurückgreifen zu müssen.
-
Die Vorrichtung, das System und das Verfahren sind mit Bezug auf die Automobilbranche und die Bereitstellung von Warninformationen beschrieben. Die Vorrichtung, das System und das Verfahren sind jedoch für jedwedes andere Gebiet anwendbar, auf dem Daten klassifiziert und innerhalb einer Maschinenlernumgebung genutzt werden müssen. Dies umfasst die biomedizinische Bildverarbeitung, wie etwa innerhalb der Bereiche Magnetresonanz, Computertomographie oder Ultraschall, sowie das Verarbeiten von Luftaufnahmen und das Verarbeiten von per Radar mit synthetischer Apertur gewonnenen Bildern. Insbesondere können die Vorrichtung, das System und das Verfahren Folgendes:
- 1. Optimieren des Datenmanagements für Lernklassifikatoren, z. B. wenn die Auswahl von Proben negative Proben umfasst, die sich von dem gesammelten Negativprobenpool unterscheiden und folglich für das Training hoch relevant sind;
- 2. Visualisieren der unterschiedlichen Probenarten innerhalb des Probenpools. Dies kann zweckdienlich sein, um ein besseres Verständnis bezüglich der Verteilung von Daten/Proben innerhalb eines Datensatzes zu gewinnen;
- 3. Das Ausbalancieren neu gesammelter negativer oder positiver Proben und Unterscheiden zwischen hoch relevanten und redundanten Daten, verglichen mit zuvor gesammelten Daten;
- 4. Anwendung für Lösungen eines kontinuierlichen Lernens, die beständig Daten sammeln, um ihr(e) Wissen/Daten der verwendeten Maschinenlernlösung über ihre Lebensdauer zu erweitern;
- 5. Die Stärkung einiger Cluster durch Einführen eines „Vergessfaktors“ für andere, weniger bedeutende Cluster im Fall eines kontinuierlichen Lernens;
- 6. Durch die Auswahl repräsentativer Proben für Gruppen (oder Untergruppen oder Cluster oder Subcluster), die einen gewissen Grad an Ähnlichkeit aufweisen, wird eine kompakte Darstellung von Daten, die für das Training verwendet werden und für eine Analyse in Echtzeit verwendet werden, bereitgestellt, was das Erfordernis abmildert, große Datensätze zu speichern, und/oder die Daten minimiert, die analysiert werden müssen.
- 7. Es wird ein Betrieb auf einem eingebetteten System ermöglicht, was finanzielle Vorteile bereitstellt, da weniger Speicher erforderlich ist, wenn neue(s) Wissen/Daten dem Gesamtsystem während des kontinuierlichen/Lern-Lernens, beispielsweise während des Echtzeitbetriebs vor Ort, hinzugefügt werden.
-
In einem anderen Ausführungsbeispiel wird ein Computerprogramm oder Computerprogrammelement bereitgestellt, das dadurch gekennzeichnet ist, dass es dazu ausgestaltet ist, die Verfahrensschritte des Verfahrens gemäß einer der vorangehenden Ausführungsformen auf einem geeigneten System auszuführen.
-
Das Computerprogrammelement könnte daher auf einer Computereinheit gespeichert sein, die auch Teil einer Ausführungsform sein könnte. Diese Recheneinheit kann dazu ausgestaltet sein, die Schritte des oben beschriebenen Verfahrens durchzuführen oder deren Durchführung zu bewirken. Darüber hinaus kann sie dazu ausgestaltet sein, die Komponenten der/des oben beschriebenen Vorrichtung und/oder Systems zu betätigen. Die Recheneinheit kann dazu ausgestaltet sein, automatisch zu arbeiten und/oder die Befehle eines Benutzers auszuführen. Ein Computerprogramm kann in einen Arbeitsspeicher eines Datenprozessors geladen werden. Der Datenprozessor kann somit dazu ausgestattet sein, das Verfahren gemäß einer der vorangehenden Ausführungsformen auszuführen.
-
Gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung wird ein computerlesbares Medium, wie etwa eine CD-ROM, vorgestellt, wobei auf dem computerlesbaren Medium ein Computerprogrammelement gespeichert ist, wobei das Computerprogrammelement durch den vorangehenden Abschnitt beschrieben wird.
-
Man beachte, dass Ausführungsformen der Erfindung unter Bezugnahme auf unterschiedliche Gegenstände beschrieben sind. Insbesondere sind einige Ausführungsformen unter Bezugnahme auf Verfahrensansprüche beschrieben, wohingegen andere Ausführungsformen unter Bezugnahme auf Vorrichtungsansprüche beschrieben sind. Der Fachmann wird jedoch der obigen und der folgenden Beschreibung entnehmen, dass, sofern nicht anderweitig vermerkt, zusätzlich zu jedweder Kombination von Merkmalen, die zu einer Art von Gegenstand gehört, auch jedwede Kombination zwischen Merkmalen, die unterschiedliche Gegenstände betreffen, als mit dieser Anmeldung offenbart erachtet wird. Es können jedoch alle Merkmale kombiniert werden, was Synergieeffekte bereitstellt, die mehr als die einfache Summierung der Merkmale sind.
-
Auch wenn die Erfindung in den Zeichnungen und der vorstehenden Beschreibung detailliert dargestellt und beschrieben wurde, sind diese Darstellung und Beschreibung als veranschaulichend oder beispielhaft und nicht als einschränkend anzusehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Abwandlungen der offenbarten Ausführungsformen können durch den Fachmann im Rahmen des Praktizierens einer beanspruchten Erfindung den Zeichnungen, der Offenbarung und den abhängigen Ansprüchen entnommen und realisiert werden.
-
In den Ansprüchen schließt das Wort „umfassend“ andere Elemente oder Schritte nicht aus und der unbestimmte Artikel „ein“ oder „eine“ schließt eine Mehrzahl nicht aus. Ein(e) einzige(r) Prozessor oder andere Einheit kann die Funktionen mehrerer in den Ansprüchen genannter Gegenstände erfüllen. Die bloße Tatsache, dass bestimmte Maßnahmen in voneinander verschiedenen abhängigen Ansprüchen genannt sind, zeigt nicht an, dass eine Kombination dieser Maßnahmen nicht vorteilhaft verwendet werden kann. Jedwede Bezugszeichen in den Ansprüchen sollten nicht als den Umfang einschränkend ausgelegt werden.
