DE102017219673A1 - Verfahren, Vorrichtung und Computerprogram zur Detektion eines Objektes - Google Patents

Verfahren, Vorrichtung und Computerprogram zur Detektion eines Objektes Download PDF

Info

Publication number
DE102017219673A1
DE102017219673A1 DE102017219673.4A DE102017219673A DE102017219673A1 DE 102017219673 A1 DE102017219673 A1 DE 102017219673A1 DE 102017219673 A DE102017219673 A DE 102017219673A DE 102017219673 A1 DE102017219673 A1 DE 102017219673A1
Authority
DE
Germany
Prior art keywords
module
output
filter
modules
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017219673.4A
Other languages
English (en)
Inventor
Volker Fischer
Michael Herman
Jörg Wagner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017219673.4A priority Critical patent/DE102017219673A1/de
Priority to US16/168,217 priority patent/US10824879B2/en
Priority to CN201811307042.4A priority patent/CN109747641A/zh
Publication of DE102017219673A1 publication Critical patent/DE102017219673A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (60) zur Detektion eines Objektes mittels eines Systems (13), wobei das System (13) eine Mehrzahl von hintereinander in Reihe verbundenen Module (210,211,212,213) umfasst, wobei wenigstens eine Verbindung zwischen einem vorgebbaren Modul (210) und dessen unmittelbar nachfolgenden Modul (211) jeweils mittels eines in Reihe verbundenen Filter- und Speichermoduls (22,23) erfolgt, wobei das erste Modul (210) der in Reihe verbundenen Module (210,211,212,213) mit einer Erfassungseinheit (12) und das letzte Modul (213) der in Reihe verbundenen Module (210,211,212,213) mit einem Detektionsmodul (14) verbunden ist. Die Erfindung betrifft ferner ein Computerprogramm, eine Vorrichtung zum Ausführen des erfindungsgemäßen Verfahrens und ein maschinenlesbares Speicherelement, auf dem das Computerprogramm gespeichert ist.

Description

  • Technisches Gebiet
  • Die Erfindung betrifft ein Verfahren zur Detektion eines Objektes mittels eines Systems. Das System umfasst eine Mehrzahl von hintereinander in Reihe verbundenen Module, wobei wenigstens eine Verbindung zwischen einem vorgebbaren Modul und dessen unmittelbar nachfolgenden Modul jeweils durch ein in Reihe verbundenes Filter- und Speichermodul erfolgt. Ebenfalls betrifft die Erfindung eine Vorrichtung und ein Computerprogramm, die eingerichtet sind, das Verfahren auszuführen.
  • Stand der Technik
  • Aus der US 544 848 A ist ein Verfahren zum Erkennen der Anwesenheit eines Fahrzeugs in einer Verkehrsszene mit einem neuronalen Netz bekannt. Das neuronale Netz umfasst Eingangseinheiten, versteckte Einheiten und Ausgabeeinheiten, wobei eine Ausgabe von jeder der genannten Eingangseinheiten mit einem Eingang von jeder der versteckten Einheiten verbunden ist. Ein Ausgang ist von jeder der versteckten Einheiten mit einem Eingang von jeder der Ausgabeeinheiten verbunden. Das neuronale Netz erzeugt ein Ausgangssignal an jeder der Ausgabeeinheiten und gibt an, ob in einer Detektionszone ein Fahrzeug detektiert wurde.
  • Vorteile der Erfindung
  • Das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 hat demgegenüber den Vorteil, dass durch ein Filterkonzept eine zeitliche Filterung der Eingangsgrößen durchgeführt wird, wodurch eine Robustheit gegenüber ungenauen Umgebungsaufnahmen, insbesondere von Verkehrszenen, erzielt wird. Damit kann das Verfahren selbst unter schlechten Umgebungsbedingungen zur Detektion von Objekten eingesetzt werden. Schlechte Umgebungsbedingungen können zu einer ungenauen Umgebungsaufnahme führen und eine Detektion eines Objektes negativ beeinflussen. Mittels der zeitlichen Filterung kann eine Ungenauigkeit und/oder eine Uneindeutigkeit in der Umgebungsaufnahme, welche beispielhaft durch die schlechten Umgebungsbedingungen entstehen, aufgelöst werden. Dadurch kann das Verfahren zuverlässig ein Objekt zum Beispiel auch nachts, bei Regen/Schnee, bei schnellen Umgebungshelligkeitsveränderungen wie bei Tunnelfahrten oder wenn ein Teil des Objektes zeitweise verdeckt ist, detektieren. Des Weiteren ist durch die spezielle Struktur des Filterkonzepts eine Wiederverwendung der berechneten Größen innerhalb des Systems möglich, wodurch ein parametereffizientes und folglich auch ein recheneffizientes System erzielt wird. Ebenso wird durch die spezielle Struktur des Filterkonzepts eine Entkopplung der berechneten Größen der einzelnen Module des Systems erreicht, da die berechneten Größen nicht mehr abhängig von den Ausgangsgrößen der jeweils vorhergehenden Module des Systems sind, sondern alle Ausgangsgrößen aller vorhergehenden Module des Systems wieder verwendet werden können. Ein weiterer Vorteil des Verfahrens ist, dass es durch die zeitliche Filterung möglich ist, das Model auch mit nicht komplett gelabelten Trainingsdaten zu trainieren. Durch die zeitliche Filterung ist es möglich, viele Trainingsdaten, die spärlich gelabelt sind, zum Anlernen des Systems zu verwenden.
  • Offenbarung der Erfindung
  • In einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Detektion eines Objektes mittels eines Systems. Das System umfasst eine Mehrzahl von hintereinander in Reihe verbundenen Module. Wenigstens eine Verbindung zwischen einem vorgebbaren Modul und dessen unmittelbar nachfolgenden Modul erfolgt jeweils mittels eines in Reihe verbundenen Filter- und Speichermoduls. Das erste Modul der in Reihe verbundenen Module ist mit einer Erfassungseinheit und das letzte Modul der in Reihe verbundenen Module ist mit einem Detektionsmodul verbunden. Das Verfahren umfasst folgende Schritte:
    • - Bereitstellen einer Eingangsgröße für das erste Modul der in Reihe verbundenen Module mittels der Erfassungseinheit.
    • - Sukzessives Ermitteln entlang der in Reihe verbundenen Module beginnend mit dem ersten Modul der in Reihe verbunden Module jeweils einer Ausgangsgröße eines jeden Moduls abhängig von einer Eingangsgröße des jeweiligen Moduls und einer Parametrisierung des jeweiligen Moduls. Die Ausgangsgröße des vorgebbaren Moduls wird mittels des Filtermoduls gefiltert, dabei ermittelt das Filtermodul eine Ausgangsgröße abhängig von der Ausgangsgröße des vorgebbaren Moduls und einer zeitlich vorhergehenden Zwischengröße. Das Filtermodul ermittelt eine zeitlich aktuelle Zwischengröße abhängig von der zeitlich vorhergehenden Ausgangsgröße des vorgebbaren Moduls und einer zeitlich vorhergehenden Zwischengröße. Die zeitlich vorhergehende Zwischengröße wurde abhängig von einer zeitlich vorhergehenden Ausgangsgröße des vorgebbaren Moduls mittels des Filtermoduls ermittelt. Die Ausgangsgröße des Filtermoduls und wenigstens eine Eingangsgröße eines der vorhergehenden Module des vorgebbaren Moduls werden zu einer Speichergröße mittels des Speichermoduls zusammengefasst und als Eingangsgröße für das unmittelbar nachfolgende Modul bereitgestellt.
  • Unter einem sukzessiven Ermitteln kann verstanden werden, dass beginnend mit dem ersten Modul dessen Ausgangsgröße ermittelt wird und dann, wenn die Ausgangsgröße des vorhergehenden Moduls ermittelt wurde, dessen unmittelbar nachfolgendes Modul abhängig von der Ausgangsgröße seines unmittelbar vorhergehenden Moduls eine Ausgangsgröße ermittelt, und zwar schrittweise so lange, bis das letzte Modul seine Ausgangsgröße ermittelt hat.
  • Unter der zeitlich vorhergehenden Zwischengröße kann diejenige Zwischengröße aus der zeitlichen Abfolge von Zwischengrößen verstanden werden, die einem vorgebbaren vorhergehenden, insbesondere unmittelbar vorhergehenden, Zeitpunkt zugeordnet ist. Unter der zeitlich aktuellen Zwischengröße kann diejenige Zwischengröße aus der zeitlichen Abfolge von Zwischengrößen verstanden werden, die einem vorgebbaren aktuellen Zeitpunkt zugeordnet ist. Unter der zeitlich vorhergehenden Ausgangsgröße des vorgebbaren Moduls kann diejenige Ausgangsgröße aus der zeitlichen Abfolge von Ausgangsgrößen verstanden werden, die einem vorgebbaren vorhergehenden, insbesondere unmittelbar vorhergehenden, Zeitpunkt zugeordnet ist.
  • In einer besonders vorteilhaften Ausführungsform des ersten Aspektes der Erfindung filtert das Filtermodul die Ausgangsgröße des vorgebbaren Moduls abhängig von der zeitlich vorhergehenden Zwischengröße, wobei die zeitlich vorhergehende Zwischengröße die zeitliche Entwicklung der Ausgangsgröße des vorgebbaren Moduls charakterisiert.
  • In einer weiteren vorteilhaften Ausführungsform umfasst das Filtermodul ein Normalisierungsmodul und ein Aktivierungsmodul und ein LSTM-Modul (Long Short Term Memory-Modul). Die Module umfassen jeweils ein maschinelles Lernsystem. Die zeitlich aktuelle Zwischengröße wird mittels des LSTM-Moduls abhängig von der Eingangsgröße des LSTM-Modul und der zeitlich vorhergehenden Zwischengröße ermittelt.
  • Ein maschinelles Lernsystem kann beispielhaft ein tiefes neuronales Netz sein. Unter einem tiefen neuronalen Netz kann hierbei insbesondere ein neuronales Netz mit einer Mehrzahl von Schichten verstanden werden.
  • Unter dem Normalisierungsmodul kann ein Modul verstanden werden, welches seine Ausgangsgröße derart ermittelt, dass jede Ausgangsgröße des Normalisierungsmoduls sich innerhalb des gleichen vorgebbaren Zahlenintervalls befindet. Unter dem Aktivierungsmodul kann ein Modul verstanden werden, welches seine Eingangsgröße abhängig von einem vorgebbaren Multiplikationsfaktor vergrößert oder verkleinert am Ausgang ausgibt.
  • Besonders vorteilhaft ist, wenn das Filtermodul zusätzlich eine Überbrückungsverbindung (Englisch: skip connection/shortcut connection) aufweist. Bei der Filterung der Ausgangsgröße des vorgebbaren Moduls mittels des Filtermoduls wird die Eingangsgröße des Filtermoduls mittels der Überbrückungsverbindung an den Ausgang des Filtermoduls weitergeleitet. Am Ausgang des Filtermoduls wird die Eingangsgröße des Filtermoduls zu der Ausgangsgröße des Filtermoduls dazu addiert. Dies weist den Vorteil auf, dass durch die Überbrückungsverbindung die Ermittlung der Parametrisierung der in Reihe verbundenen Module besser gehandhabt werden kann. Denn durch die Überbrückungsverbindung kann vermieden werden, dass während der Ermittlung der Parametrisierung die dafür bevorzugt verwendeten Gradienten vernachlässigbar klein oder zu groß werden können. Daher kann durch die Überbrückungsverbindung eine geeignete Parametrisierung zuverlässiger ermittelt werden.
  • Weiterhin besonders vorteilhaft ist, wenn das Filtermodul zusätzlich ein Dekodiermodul umfasst. Das Dekodiermodul verbindet das LSTM-Modul und den Ausgang des Filtermoduls. Bei der Filterung der Ausgangsgröße des vorgebbaren Moduls mittels des Filtermoduls wird die Ausgangsgröße des LSTM-Moduls mittels des Dekodiermoduls dekodiert, sodass die Ausgangsgröße des Filtermoduls die gleiche Anzahl an Dimensionen wie die weitergeleitete Eingangsgröße des Filtermoduls mittels der Überbrückungsverbindung aufweist. Dadurch kann die Anzahl der Dimensionen der Ausgangsgröße des LSTM-Moduls beliebig gewählt werden, da die Anzahl der Dimensionen mittels des Dekodiermoduls angepasst wird. Dies weist den Vorteil auf, dass durch die Änderung der Dimensionen durch das Dekodiermodul keine Informationen verloren gehen können und eine zusätzlicher Freiheitsgrad, die Wahl der Anzahl an Dimensionen der Ausgangsgröße des LSTM-Moduls, bereitgestellt werden kann.
  • Vorteilhaft ist, wenn die Verbindung zwischen dem letzten Modul der in Reihe verbundenen Module und dem Detektionsmodul mittels eines dritten Speichermoduls erfolgt. Das dritte Speichermodul fasst die Ausgangsgröße des letzten Moduls und wenigstens eine Ausgansgröße eines verbindenden Filtermoduls von zwei aufeinander folgende Module der in Reihe verbundenen Module zu einer Speichergröße zusammen.
  • Vorteilhaft ist, wenn vor einem vorgebbaren Modul ein Kompressionsmodul eingefügt ist, welches die Eingangsgröße des Moduls komprimiert, insbesondere durch eine Reduktion der Dimension der Eingangsgröße. Dies hat den Vorteil, dass vernachlässigbar kleine oder redundante Werte, welche in der Ausgangsgröße eines vorhergehenden Moduls umfasst sein können, beispielsweise durch eine Dimensionsreduktion entfernt und unnötige Berechnungen erspart werden können.
  • Besonders vorteilhaft ist, wenn ein Objekt mittels eines Detektionsmoduls am Ausgang des letzten Moduls der in Reihe verbundenen Module detektiert wird, wobei abhängig von dem detektierten Objekt eine zumindest teilautonome Maschine angesteuert wird. Eine zumindest teilautonome Maschine kann beispielsweise ein Fahrzeug, aber auch ein Roboter sein.
  • In einem weiteren Aspekt betrifft die Erfindung ein Computerprogramm, welches eingerichtet ist, eines der vorgenannten Verfahren auszuführen, also Anweisungen umfasst, die und einen Computer veranlassen, eines der vorgenannten Verfahren mit all seinen Schritten auszuführen, wenn das Computerprogramm auf dem Computer abläuft. Ferner betrifft die Erfindung ein maschinenlesbares Speichermodul, auf welchem das Computerprogramm gespeichert ist und eine Vorrichtung, die eingerichtet ist, eines der vorgenannten Verfahren auszuführen.
  • Ausführungsbeispiele der vorliegenden Erfindung sind in den beiliegenden Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Dabei zeigen:
  • Figurenliste
    • 1 eine schematische Darstellung eines Fahrzeuges, welches eine Ausführungsform eines Systems zur Detektion eines Objektes umfasst;
    • 2 eine schematische Darstellung einer Ausführungsform eines Ausschnittes des Systems zur Detektion eines Objektes, welches eine Mehrzahl von hintereinander in Reihe verbundenen Module und in Reihe verbundenen Filter- und Speichermodule umfasst;
    • 3 eine schematische Darstellung einer Ausführungsform eines Filtermoduls, welches ein Normalisierungsmodul, ein Aktivierungsmodul und ein LSTM-Modul umfasst;
    • 4 eine schematische Darstellung einer alternativen Ausführungsform des Filtermoduls, wobei das Filtermodul zusätzlich eine Überbrückungsverbindung aufweist;
    • 5 eine schematische Darstellung einer weiteren alternativen Ausführungsform des Filtermoduls mit zusätzlich einem Dekodiermodul;
    • 6 eine schematische Darstellung einer Ausführungsform eines Verfahrens, das auf einem Computer ausgeführt wird, zum Betreiben des Systems zur Detektion eines Objektes.
  • 1 zeigt eine schematische beispielhafte Darstellung eines Fahrzeuges (10), das eine Vorrichtung (11) umfasst. Die Vorrichtung (11) besteht aus einer Mehrzahl von Komponenten (12,13,14), welche miteinander in Reihe verbunden sind. Die miteinander verbundenen Komponenten (12,13,14) können vorzugsweise mit einer Recheneinheit (15) verbunden sein. Die Recheneinheit (15) kann ein Speicherelement (16) umfassen.
  • Die erste Komponente ist eine Erfassungseinheit (12), die mit einem System (13) verbunden ist und die Komponente (14) ist ein Detektionsmodul. Die Erfassungseinheit (12) ist eingerichtet, die Umgebung des Fahrzeuges (10) zu erfassen und ist bevorzugt eine Kamera, kann aber auch anderen Sensoren zur Umgebungserfassung aufweisen. Das Detektionsmodul (14) ist dazu eingerichtet abhängig von der Ausgangsgröße des Systems (13) ein Objekt zu detektieren. Denkbar ist, dass abhängig von dem detektieren Objekt bevorzugt mittels eines Steuergerätes des Fahrzeugs (10) das Fahrzeug (10) derart angesteuert wird, dass beispielsweise eine Kollision mit dem Objekt verhindern oder dem Objekt ausgewichen wird.
  • 2 zeigt eine schematische Darstellung des Systems (13) zur Detektion eines Objektes gemäß einer Ausführungsform. Das System (13) umfasst dabei eine Mehrzahl von hintereinander in Reihe verbundenen Module (210,211,212,213). Die einzelnen Module (210,211,212,213) haben eine Parametrisierung und können vorzugsweise jeweils ein maschinelles Lernsystem umfassen, insbesondere ein tiefes neuronales Netz, das wenigstens eine Schicht mit Neuronen aufweist. Die Module (210,211,212,213) bestimmen in Abhängigkeit der jeweiligen Parametrisierung des Moduls und der jeweiligen Eingangsgröße des Moduls die Ausgangsgröße des Moduls.
  • Zwischen den in Reihe verbundenen Module (210,211,212,213) erfolgt wenigstens eine Verbindung zwischen einem vorgebbaren Modul (210) und dessen unmittelbar nachfolgenden Modul (211) jeweils mit einem in Reihe verbundenen Filter- und Speichermodul (22,23). Die Ausgangsgröße des vorgebaren Moduls (210) wird mittels des Filtermoduls (22) gefiltert. Das Filtermodul (22) ermittelt eine Ausgangsgröße abhängig von der Ausgangsgröße des vorgebbaren Moduls (210) und einer zeitlich unmittelbar vorhergehenden ermittelten Zwischengröße (zt-1 ). Die zeitlich vorhergehende Zwischengröße (zt-1 ) wurde durch das Filtermodul (22) abhängig von der zeitlich unmittelbar vorhergehenden Ausgangsgröße des vorgebbaren Moduls (210) ermittelt. Die Ausgangsgröße des Filtermoduls (22) wird anschließend an das Speichermodul (23) weitergeleitet. Das Speichermodul (23) fasst die ermittelte Ausgangsgröße des Filtermoduls (22) und wenigstens eine Eingangsgröße eines der vorhergehenden Module (210) des Filtermoduls (22) zu einer Speichergröße zusammen. Die Eingangsgröße des vorhergehenden Moduls (210) des Filtermoduls (22) kann dabei über eine Verbindung (201) an das Speichermodul (23) weitergeleitet werden. Optional kann auch die Ausgangsgröße eines, wenn vorhanden, vorhergehenden Filtermoduls an dieses Speichermodul weitergeleitet werden und in der oben gennannten Speichergröße berücksichtigt werden.
  • Das Speichermodul speichert dann die zusammengefasste Speichergröße. Die Speichergröße des Speichermoduls (23) wird anschließend an das unmittelbar nachfolgende Modul (211) des vorgebbaren Moduls (210) weitergeleitet.
  • Vorzugsweise filtert das Filtermodul (22) die Ausgangsgröße des vorgebbaren Moduls (210) abhängig von der zeitlichen Entwicklung der Ausgangsgröße des vorgebbaren Moduls (210) mittels der zeitlich vorhergehenden Zwischengröße (zt-1 ). Bevorzugt charakterisiert dabei die zeitlich vorhergehende Zwischengröße (zt-1 ) die zeitliche Entwicklung der Ausgangsgröße des vorgebbaren Moduls (210).
  • Ebenfalls ist in 2 gezeigt, dass weitere Filter- und Speichermodule (22,23) zwischen weiteren vorgebbaren Module (212,213) geschaltet sein können. Sobald das System (13) eine Mehrzahl von Filter- und Speichermodule (22,23) umfasst, kann bevorzugt über eine Verbindung (202) der Inhalt eines vorgebbaren vorhergehenden Speichermoduls an ein nachfolgendes Speichermodul weitergeleitet und in der Speichergröße des nachfolgenden Speichermoduls berücksichtigt werden. Das hat den vorteilhaften Effekt, dass die ermittelten Ausgangsgrößen der Filtermodule (22) in den Speichermodulen (23) aggregiert, weitergeleitet und in den nachfolgenden Module zumindest teilweise wiederverwendet werden können.
  • Vorzugsweise ist nach dem letzten Modul (213) der in Reihe verbundenen Module (210,211,212,213) ein weiteres Speichermodul (23) angeordnet. Dieses Speichermodul kann als Eingangsgröße die Ausgangsgröße des letzten Moduls (213) und wenigstens eine Ausgangsgröße eines vorhergehenden Filtermoduls als Eingangsgröße mittels einer Verbindung (203) erhalten. Dadurch können in diesem letzten Speichermodul die gefilterten Ausgangsgrößen der vorhergehenden Filtermodule gespeichert werden. Alternativ können auch andere beliebig vorgebbare Ausgangsgrößen der Module (210,211,212,213) oder Filter- oder Speichermodule (22,23) in dem letzten Speichermodul gespeichert werden.
  • 3 zeigt eine schematische Darstellung einer Ausführungsform des Filtermoduls (22). In dieser Ausführungsform umfasst das Filtermodul (22) ein Normalisierungsmodul (31), welches in Reihe mit einem Aktivierungsmodul (32) und einem LSTM-Modul (33) verbunden ist. Alternativ kann das Filtermodul (22) auch einen Kalman Filter umfassen. Das Normalisierungsmodul (31) ist eingerichtet, die Eingangsgröße des Filtermoduls (22) durch eine Normalisierungsoperation zu normieren, insbesondere wird die größte umfasste Größe der Eingangsgröße des Filtermoduls (22) verwendet, um die Eingangsgröße hierdurch zu dividieren, sodass die größte umfasste Größe der Eingangsgröße des Filtermoduls (22) auf 1 normiert ist. Denkbar sind auch andere Normalisierungsoperationen, wie z.B. eine Mittelwertbereinigung und/oder einer Normierung der Standardabweichung der Eingangsgröße des Normierungsmoduls (31). Das nachfolgende Aktivierungsmodul (32) ist bevorzugt ein Modul welches eine Ausgangsgröße ausgibt, sobald die Eingangsgröße des Aktivierungsmoduls (32) einen bestimmten Wert überschreitet. Denkbar ist aber auch, dass das Aktivierungsmodul (32) eine Funktion, bevorzugt eine ReLu-Funktion (Englisch: Rectifed Linear Unit-Funktion) oder eine Sigmoidfunktion, umfasst und das Aktivierungsmodul (32) in Abhängigkeit der Eingangsgröße des Aktivierungsmoduls (32) und der Funktion eine Ausgangsgröße ermitteln kann. Das LSTM-Modul (33) kann in Abhängigkeit einer zeitlich vorhergehenden Zwischengröße (zt-1 ) und der Ausgangsgröße des Aktivierungsmoduls (32) eine Ausgangsgröße und eine zeitlich aktuelle Zwischengröße (zt ) ermitteln.
  • Mittels des LSTM-Moduls (33) wird in dieser Ausführungsform des Filtermoduls (22) eine zeitliche Filterung der Ausgangsgröße des vorhergehenden Moduls des Filtermoduls (22) erzielt. Diese zeitliche Filterung mittels der zeitlich vorhergehenden Zwischengröße (zt-1 ) führt dazu, dass eine Robustheit gegenüber insbesondere verrauschten oder mit einer Uneindeutigkeit behafteten Ausgangsgrößen aus der Erfassungseinheit (12) erzielt werden kann. Besonders bevorzugt ist, wenn die zeitlich vorhergehende Zwischengröße (zt-1 ) die zeitliche Entwicklung der Ausgangsgröße des vorgebbaren Moduls (210) charakterisiert. Denn durch die Berücksichtigung der zeitlichen Entwicklung der Ausgangsgröße des vorgebbaren Moduls (210) können Ungenauigkeiten bzw. Uneindeutigkeit der Ausgangsgrößen der Erfassungseinheit (12) aufgelöst oder eine geringere Anfälligkeit gegen Uneindeutigkeiten bzw. Uneindeutigkeiten erzielt werden.
  • Wenn die Eingangsgrößen des Systems (13) mehrdimensional ist, insbesondere ein Bild oder eine Videosequenz umfasst, ist das LSTM-Modul (33) bevorzugt ein Convolutional LSTM-Modul.
  • 4 zeigt eine vorteilhafte Weiterentwicklung einer Ausführungsform des Filtermoduls (22). Dabei unterscheidet sich diese Weiterentwicklung des Filtermoduls (22) zu der Ausführungsform in 3 dadurch, dass eine Überbrückungsverbindung (401) verwendet wird. Diese Überbrückungsverbindung (401) verbindet den Eingang des Filtermoduls (22) mit dem Ausgang des Filtermoduls (22). Durch die Überbrückungsverbindung (401) wird die Eingangsgröße zu der ermittelten Ausgangsgröße des Filtermoduls (22) addiert. Es sei angemerkt, dass bei dieser Ausführungsform die Dimensionen der Eingangsgröße des Filtermoduls (22) und die ermittelte Ausgangsgröße des LSTM-Moduls (33) identisch sein müssen.
  • 5 zeigt eine alternative Weiterentwicklung einer Ausführungsform des Filtermoduls (22). Der Unterschied zu der Weiterentwicklung in 4 ist, dass ein Dekodiermodul (50) nach dem LSTM-Modul (33) und vor der Verbindung der Überbrückungsverbindung (401) mit dem Ausgang des Filtermoduls (22) dazwischen geschaltet ist. Das Dekodiermodul (50) dekodiert die Ausgangsgröße des LSTM-Moduls (33) derart, dass die Dimensionen der weitergeleiteten Eingangsgröße des Filtermoduls (22) und die ermittelte Ausgangsgröße des Filtermoduls (22) identisch sind.
  • 6 zeigt eine schematische Darstellung einer Ausführungsform des Verfahrens (60) zur Detektion eines Objektes mittels des Systems (13).
  • Das Verfahren (60) beginnt mit Schritt 61. In Schritt 61 wird dem System (13) wenigstens eine Eingangsgröße mittels der Erfassungseinheit (12) bereitgestellt.
  • Im nachfolgenden Schritt 62, wird sukzessive entlang der in Reihe verbundenen Module (210,211,212,213) beginnend mit dem ersten Modul (210) der in Reihe verbundenen Module (210,211,212,213) jeweils eine Ausgangsgröße eines jeden Moduls abhängig von der Eingangsgröße des jeweiligen Moduls und einer Parametrisierung des jeweiligen Moduls ermittelt. Wenn zwischen zwei vorgebbaren Module (210,211) ein Filtermodul und Speichermoduls geschaltet ist, wird sukzessive nach Ermittlung der Ausgangsgröße des ersten Moduls (210), die Ausgangsgrößen der Filter- und Speichermodule (22,23) ermittelt. Die Ausgangsgröße des Speichermoduls (23) wird anschließend verwendet, um weiter sukzessive entlang der Module (210,211,212,213) die Ausgangsgrößen der jeweiligen Module zu ermitteln.
  • Nachdem Schritt 62 abgeschlossen wurde, folgt Schritt 63. In Schritt 63 wird das System (13) angelernt, sodass das System zur Detektion von Objekten verwendet werden kann. Während des Anlernens des Systems (13) werden die Parametrisierungen der Module (210,211,212,213) abhängig von der bereitgestellten Eingangsgröße des Systems (13) und der ermittelten Ausgangsgröße aus Schritt 62 bestimmt, insbesondere mit einem Optimierungsverfahren wie bspw. einem Gradientenabstiegsverfahren. Vorzugsweise werden alle Parametrisierungen der Module (210,211,212,213) und jedes verwendeten Filtermoduls (22) mittels des Optimierungsverfahren bestimmt. Optional kann der Schritt 62 wiederholt ausgeführt oder für mehrere bereitgestellte Eingangsgrößen ausgeführt werden, um das Anlernen des Systems (13) genauer durchzuführen.
  • Wenn in Schritt 63 das System (13) angelernt wurde und zur Detektion von Objekten eingesetzt werden kann, folgt Schritt 64. In Schritt 64 stellt die Erfassungseinheit (12) eine Eingangsgröße für das System (13) bereit, welche bspw. die Umgebung der Erfassungseinheit (12) charakterisiert. Das System (13) ermittelt sukzessive abhängig von der Eingangsgröße eine Ausgangsgröße. Anschließend wird mittels des Detektionsmoduls (14) abhängig von der ermittelten Ausgangsgröße des Systems (13) ein Objekt detektiert. Optional kann in Schritt 64 abhängig von dem detektieren Objekt das Fahrzeug (11) gesteuert werden.
  • In einem weiteren Ausführungsbeispiel des Verfahrens (60) ist denkbar, dass das Verfahren (60) nach Beendigung des Schrittes 64 zyklisch mit Schritt 61 beginnt, wenn beispielsweise das System (13) für eine andere Anwendung eingerichtet werden soll. Alternativ kann nach Beendigung des Schrittes 64 erneut Schritt 64 eingeleitet werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 544848 A [0002]

Claims (10)

  1. Verfahren (60) zur Detektion eines Objektes mittels eines Systems (13), wobei das System (13) eine Mehrzahl von hintereinander in Reihe verbundenen Module (210,211,212,213) umfasst, wobei wenigstens eine Verbindung zwischen einem vorgebbaren Modul (210) und dessen unmittelbar nachfolgenden Modul (211) jeweils mittels eines in Reihe verbundenen Filter- und Speichermoduls (22,23) erfolgt, wobei das erste Modul (210) der in Reihe verbundenen Module (210,211,212,213) mit einer Erfassungseinheit (12) und das letzte Modul (213) der in Reihe verbundenen Module (210,211,212,213) mit einem Detektionsmodul (14) verbunden ist, umfassend: - Bereitstellen einer Eingangsgröße für das erste Modul (210) der in Reihe verbundenen Module mittels der Erfassungseinheit (12), - sukzessives Ermitteln entlang der in Reihe verbundenen Module (210,211,212,213) beginnend mit dem ersten Modul (210) der in Reihe verbunden Module (210,211,212,213) jeweils einer Ausgangsgröße eines jeden Moduls abhängig von einer Eingangsgröße des jeweiligen Moduls und einer Parametrisierung des jeweiligen Moduls, wobei die Ausgangsgröße des vorgebbaren Moduls (210) mittels des Filtermoduls (22) gefiltert wird, wobei das Filtermodul (22) eine Ausgangsgröße abhängig von der Ausgangsgröße des vorgebbaren Moduls und einer zeitlich vorhergehenden Zwischengröße (zt-1) ermittelt, wobei das Filtermodul (22) eine zeitlich aktuelle Zwischengröße (zt) abhängig von der zeitlich vorhergehenden Ausgangsgröße des vorgebbaren Moduls (210) und einer zeitlich vorhergehenden Zwischengröße (zt-1) ermittelt, wobei die zeitlich vorhergehende Zwischengröße (zt-1) abhängig von einer zeitlich vorhergehenden Ausgangsgröße des vorgebbaren Moduls (210) mittels des Filtermoduls (22) ermittelt wurde, wobei die Ausgangsgröße des Filtermoduls (22) und wenigstens eine Eingangsgröße eines der vorhergehenden Module des vorgebbaren Moduls (210) zu einer Speichergröße mittels des Speichermoduls (23) zusammengefasst und als Eingangsgröße für das unmittelbar nachfolgende Modul (211) bereitgestellt wird.
  2. Verfahren nach Anspruch 1, wobei das Filtermodul (22) die Ausgangsgröße des vorgebbaren Moduls (210) abhängig von der zeitlich vorhergehenden Zwischengröße (zt-1) filtert, wobei die zeitlich vorhergehende Zwischengröße (zt-1) die zeitliche Entwicklung der Ausgangsgröße des vorgebbaren Moduls (210) charakterisiert.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Filtermodul (22) ein Normalisierungsmodul (31) und ein Aktivierungsmodul (32) und ein LSTM-Modul (33) umfasst und die Module (210,211,212,213) jeweils ein maschinelles Lernsystem umfassen, wobei die zeitlich aktuelle Zwischengröße (z_t) mittels des LSTM-Moduls (33) abhängig von der Eingangsgröße des LSTM-Modul (33) und der zeitlich vorhergehende Zwischengröße (zt-1) ermittelt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Filtermodul (22) zusätzlich eine Überbrückungsverbindung (401) aufweist, wobei bei der Filterung der Ausgangsgröße des vorgebbaren Moduls (210) mittels des Filtermoduls (22) die Eingangsgröße des Filtermoduls (22) mittels der Überbrückungsverbindung (401) an den Ausgang des Filtermoduls (22) weitergeleitet wird und am Ausgang des Filtermoduls (22) die Eingangsgröße des Filtermoduls (22) zu der Ausgangsgröße des Filtermoduls (22) dazu addiert wird.
  5. Verfahren nach Anspruch 4, wobei das Filtermodul (22) zusätzlich ein Dekodiermodul (50) umfasst und das Dekodiermodul (50) das LSTM-Modul (33) und den Ausgang des Filtermoduls (22) verbindet, wobei bei der Filterung der Ausgangsgröße des vorgebbaren Moduls (210) mittels des Filtermoduls (22), die Ausgangsgröße des LSTM-Moduls (33) mittels des Dekodiermoduls (50) dekodiert wird, dass die Ausgangsgröße des Filtermoduls (22) die gleiche Anzahl an Dimensionen wie die weitergeleitete Eingangsgröße des Filtermoduls (33) mittels der Überbrückungsverbindung (401) aufweist.
  6. Verfahren nach einem der vorherigen Ansprüche, wobei die Verbindung zwischen dem letzten Modul (213) der in Reihe verbundenen Module (210,211,212,213) und dem Detektionsmodul (14) mittels eines dritten Speichermoduls erfolgt, wobei das dritte Speichermodul die Ausgangsgröße des letzten Moduls (213) und wenigstens eine Ausgansgröße eines zwei aufeinander folgende Module (212,213) der in Reihe verbundenen Module (210,211,212,213) verbindenden Filtermoduls zu einer Speichergröße zusammenfasst.
  7. Verfahren nach einem der vorherigen Ansprüche, wobei ein Objekt mittels eines Detektionsmoduls (14) am Ausgang des letzten Moduls (213) der in Reihe verbundenen Module (210,211,212,213) detektiert wird, wobei abhängig von dem detektierten Objekt eine zumindest teilautonome Maschine (13) angesteuert wird.
  8. Computerprogram, welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
  9. Maschinenlesbares Speichermodul, auf welchem das Computerprogram nach Anspruch 8 gespeichert ist.
  10. Vorrichtung, die eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
DE102017219673.4A 2017-11-06 2017-11-06 Verfahren, Vorrichtung und Computerprogram zur Detektion eines Objektes Pending DE102017219673A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102017219673.4A DE102017219673A1 (de) 2017-11-06 2017-11-06 Verfahren, Vorrichtung und Computerprogram zur Detektion eines Objektes
US16/168,217 US10824879B2 (en) 2017-11-06 2018-10-23 Method, device, and computer program for detecting an object
CN201811307042.4A CN109747641A (zh) 2017-11-06 2018-11-05 用于探测对象的方法、装置和计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017219673.4A DE102017219673A1 (de) 2017-11-06 2017-11-06 Verfahren, Vorrichtung und Computerprogram zur Detektion eines Objektes

Publications (1)

Publication Number Publication Date
DE102017219673A1 true DE102017219673A1 (de) 2019-05-09

Family

ID=66178799

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017219673.4A Pending DE102017219673A1 (de) 2017-11-06 2017-11-06 Verfahren, Vorrichtung und Computerprogram zur Detektion eines Objektes

Country Status (3)

Country Link
US (1) US10824879B2 (de)
CN (1) CN109747641A (de)
DE (1) DE102017219673A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US544848A (en) 1895-08-20 Centrifugal butter-worker

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448484A (en) 1992-11-03 1995-09-05 Bullock; Darcy M. Neural network-based vehicle detection system and method
WO2007060134A1 (de) * 2005-11-22 2007-05-31 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum ermitteln eines modellparameters eines referenzfahrzeugmodells
CN102667781B (zh) * 2010-10-06 2014-11-26 艺术系统软件有限责任公司 用于计算混合微分代数过程模型的状态参量的方法和过程计算机
DE102011012791A1 (de) * 2011-03-02 2012-09-06 Audi Ag Kraftfahrzeug
DE102013206264A1 (de) * 2013-04-10 2014-10-30 Robert Bosch Gmbh Verfahren und Vorrichtung zur Durchführung einer Berechnung eines datenbasierten Funktionsmodells
DE102013014819A1 (de) * 2013-09-10 2015-03-12 Wabco Gmbh Verfahren zur Stabilisierung des Fahrverhaltens eines Fahrzeuggespanns und Fahrdynamikregeleinrichtung
DE102013218813B4 (de) * 2013-09-19 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Detektion einer Kollision eines Fahrzeugs mit einem fahrzeugexternen Objekt und entsprechendes System
US10013640B1 (en) * 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks
US10242266B2 (en) * 2016-03-02 2019-03-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
US10935652B2 (en) * 2018-06-26 2021-03-02 GM Global Technology Operations LLC Systems and methods for using road understanding to constrain radar tracks
US10380997B1 (en) * 2018-07-27 2019-08-13 Deepgram, Inc. Deep learning internal state index-based search and classification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US544848A (en) 1895-08-20 Centrifugal butter-worker

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAK, Hasim; SENIOR, Andrew; BEAUFAYS, Françoise: Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling. 2014. URL: http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf, Archiviert in archive.org am 21.09.2016 [abgerufen am 23.07.2018] *
WÖLLMER, Martin [et al.]: Online Driver Distraction Detection Using Long Short-Term Memory. IEEE Transactions on Intelligent Transportation Systems, 2011, 12. Jg., Nr. 2, S. 574-582 *

Also Published As

Publication number Publication date
US10824879B2 (en) 2020-11-03
US20190138820A1 (en) 2019-05-09
CN109747641A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
DE102018206208A1 (de) Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
DE102018206805B3 (de) Verfahren, Vorrichtung und Computerprogramm zum Prädizieren einer zukünftigen Bewegung eines Objekts
DE202018104373U1 (de) Vorrichtung, die zum Betreiben eines maschinellen Lernsystems eingerichtet ist
WO2019001649A1 (de) Wissenstransfer zwischen verschiedenen deep-learning architekturen
DE102018217091A1 (de) Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten
EP3701434A1 (de) Verfahren und vorrichtung zum automatischen erzeugen eines künstlichen neuronalen netzes
EP3857437A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
WO2020069964A1 (de) Verfahren, künstliches neuronales netz, vorrichtung, computerprogramm und maschinenlesbares speichermedium zur semantischen segmentierung von bilddaten
DE102019207711A1 (de) Verfahren und Vorrichtung zur Detektion von Rauch
DE102016001034A1 (de) Vorrichtung und Verfahren zum Steuern einer elektronischen Feststellbremse
EP3736742A1 (de) Maschinelles lernsystem, sowie ein verfahren, ein computerprogramm und eine vorrichtung zum erstellen des maschinellen lernsystems
EP3786853A1 (de) Komprimieren eines tiefen neuronalen netzes
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
DE102017219673A1 (de) Verfahren, Vorrichtung und Computerprogram zur Detektion eines Objektes
DE102017221381A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
DE102018220608A1 (de) Maschinelles Lernsystem, sowie ein Verfahren, ein Computerprogramm und eine Vorrichtung zum Erstellen des maschinellen Lernsystems
DE102018202093A1 (de) Verfahren und Vorrichtung zur Berechnung von Datenmodellen in sicherheitskritischen Systemen
DE102017214610B4 (de) Verfahren zum Überprüfen von zumindest einer Fahrzeugfunktion sowie Prüfvorrichtung
WO2020207786A1 (de) Verfahren, vorrichtung und computerprogramm zum betreiben eines tiefen neuronalen netzes
DE102014202639A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs
DE102018203137A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Betreiben eines zumindest teilautonomen Fahrzeugs
EP3759644B1 (de) Identifizieren unbesetzter sitzplätze auf basis der detektion einer sich wiederholenden textur
DE102018217219B4 (de) Verfahren zum Ermitteln einer dreidimensionalen Position eines Objekts
DE102020109761A1 (de) Umfeldsensorsystem
DE102021115251A1 (de) Erzeugen eines Eingangsbilds für einen Algorithmus zur Computer-Vision

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0015180000

Ipc: G06N0020000000