DE102022206579A1

DE102022206579A1 - Verfahren zur Reduzierung einer Datenrate eines Bilderstroms

Info

Publication number: DE102022206579A1
Application number: DE102022206579.4A
Authority: DE
Inventors: Joerg Staudigel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-06-29
Filing date: 2022-06-29
Publication date: 2024-01-04

Abstract

Die vorliegende Erfindung betrifft ein Verfahren 100 zur Datenreduktion eines Bilderstroms, das Verfahren umfasst die Schritte, Empfangen 110 eines Stroms an Bildern, wobei die Bilder eine gleiche Umgebung 1 zu verschiedenen Zeitenpunkten zeigen, Empfangen 120 von Erkennungsbereichen 3 und/oder Auslesen von Erkennungsbereichen 3 aus einem Datenspeicher, in denen zu erkennende Zielobjekte 2 in Bildern des Bilderstroms erkannt wurden, Bestimmen 130 eines Auswertungsbereichs 4, welcher die Erkennungsbereiche 3 umfasst, Bestimmen 140 eines Auswertungsinhalts 7 des Bilderstroms, wobei der Auswertungsinhalt 7 zumindest einen Teil des vom Auswertungsbereich 4 umschlossenen Inhalts der Bilder des Bilderstroms umfasst und zumindest einen Teil des nicht vom Auswertungsbereich 4 umschlossenen Inhalts der Bilder des Bilderstroms nicht umfasst, und Ausgabe 150 des Auswertungsinhalts 7.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Reduzierung einer Datenrate eines Bilderstroms.
Stand der Technik
Zur Erhöhung der Sicherheit von öffentlichen Plätzen werden zunehmend Kameras verwendet, welche die Geschehen an den öffentlichen Plätzen wie Straßen und Kreuzungen überwachen. Die aufgezeichneten Geschehen werden automatisiert ausgewertet. Die ausgewerteten Daten über die Geschehnisse an den öffentlichen Plätzen können für unterschiedliche Zwecke verwendet werden, zum Bsp. zur Analyse von Unfallgeschehen, zur Zählung des Verkehrsaufkommens und zur Verbesserung des Aufbaus der Infrastruktur. Weiterhin kann eine automatisierte Kameraüberwachung für die Analyse der Geschehnisse an weiteren öffentlichen Plätzen wie Bahnhöfen und Bushaltestellen, aber auch an privaten Plätzen wie zum Bsp. in Logistiklagern und Rasthöfen verwendet werden. Die aufgezeichneten Geschehnisse können auch in diesen Anwendungsfällen zur Verbesserung der Infrastruktur genutzt werden.
Die automatisierte Analyse der Umgebung erfolgt unter Anwendung künstlicher Intelligenz. Hierbei wird der gesamte Bildinhalt aus einer Aufzeichnung an die neuronalen Netze zur Verarbeitung weitergeleitet und der gesamte Bildinhalt durch die neuronalen Netze analysiert. Abhängig von der Bildrate der Aufzeichnung entsteht eine große Datenrate, welche durch die neuronalen Netze auszuwerten ist.
Das Dokument DE 10 2007 041 893 A1 beschreibt ein Verfahren, in dem eine Bildsequenz einer Aufnahme einer Umgebung automatisiert ausgewertet wird.
Hierbei werden die Bilder der Bildsequenz in eine sensitive Region, eine halbsensitive Region und eine insensitive Region unterteilt. In der sensitiven Region wird eine sensitive Inhaltsanalyse durchgeführt. In der halbsensitiven Region wird eine halbsensitive Inhaltsanalyse, welche gegenüber einer sensitiven Inhaltsanalyse eingeschränkt ist, durchgeführt. In der insensitiven Region wird keine Inhaltsanalyse durchgeführt.
Offenbarung der Erfindung
Die Erfindung offenbart ein Verfahren, welches gegenüber dem Stand der Technik eine Verringerung des Analyseaufwands darstellt. Das erfindungsgemäße Verfahren zur Datenreduktion eines Bilderstroms umfasst in einem ersten Schritt ein Empfangen eines Bilderstroms an Bildern, wobei die Bilder eine gleiche Umgebung zu verschiedenen Zeitpunkten zeigen.
Der Bilderstrom, im Ganzen, kann unterschiedliche Umgebungen zeigen, dazu gehören öffentliche Verkehrswege und -kreuzungen, Fußgängerzonen und Einkaufsstraßen, ebenso wie private Gelände von Unternehmen oder Privatpersonen. Ebenso kann der Bilderstrom beispielsweise eine Fertigungslinie oder ähnliches zeigen, um diese mittels des Bilderstroms zu überwachen. Der zeitliche Abstand zwischen den Bildern des Bilderstroms kann über den gesamten Bilderstrom konstant sein oder variieren. Der Bilderstrom kann einige zehn Bilder umfassen, oder einige tausend Bilder. Die Zeitspanne die von der Gesamtheit der Bilder des Bilderstroms abgedeckt wird, kann einige Minuten bis einige Wochen umfassen.
In einem zweiten Schritt werden Erkennungsbereiche empfangen und/oder Erkennungsbereiche aus einem Datenspeicher ausgelesen. In den Erkennungsbereichen sind zu erkennende Zielobjekte in den Bildern des Bilderstroms erkannt worden. Die Erkennungsbereiche können alle eine einheitliche Größe und Form aufweisen, oder von unterschiedlicher Form und Größe sein. Bei den zu erkennenden Zielobjekten kann es sich um eine einzelne Klassifizierung von Objekten, wie etwa Fahrzeuge, Fußgängern und möglichen weiteren Klassifizierungen handeln. Alternativ können sich die Zielobjekte auch aus mehreren Klassifizierungen zusammensetzen. Dadurch, dass in allen Bildern des Bilderstroms die gleiche Umgebung gezeigt wird, hat ein Erkennungsbereich in jedem Bild des Bilderstroms die gleiche Position und Größe. Dies ermöglicht es die Erkennungsbereiche zu überlagern und ohne weitere Bearbeitung gemeinsam auszuwerten. Durch die Überlagerung der Erkennungsbereiche lässt sich ableiten, in welchen Bereichen der Bilder des Bilderstroms über die Gesamtheit des Bilderstroms Zielobjekte erkannt wurden und in welchen
Bereichen der Bilder des Bilderstroms keine Zielobjekte über die Gesamtheit des Bilderstroms erkannt wurden.
In einem dritten Schritt wird ein Auswertungsbereich bestimmt, welcher die Erkennungsbereiche umfasst. Somit deckt der Auswertungsbereich den Bereich in den Bildern des Bilderstroms ab in denen über die Gesamtheit des Bilderstroms Zielobjekte erkannt wurden.
In einem vierten Schritt wird ein Auswertungsinhalt des Bilderstroms bestimmt. Hierbei umfasst der Auswertungsinhalt zumindest einen Teil des vom Auswertungsbereich umschlossenen Inhalts der Bilder. Gleichzeitig umfasst der Auswertungsinhalt des Bilderstroms zumindest einen Teil des vom Auswertungsbereichs nicht umschlossenen Inhalts der Bilder nicht. Der Auswertungsinhalt umfasst zumindest nicht einen vom Auswertungsbereich nicht umschlossenen Inhalt der Bilder des Bilderstroms. Somit ist die Größe des Auswertungsinhalts geringer als die Größe des ursprünglichen Inhalts der Bilder des Bilderstroms und eine Datenrate des Bilderstroms durch das Verfahren reduziert. Folglich ist eine Verarbeitung des Auswertungsinhalts der Bilder des Bilderstroms mit geringerem Aufwand möglich als bei den ursprünglichen Bildern des Bilderstroms. Besonders durch die Reduktion des Bereichs in den Bildern des Bilderstroms in denen keine Erkennungsbereiche liegen und somit in der Dauer des Bilderstroms keine Zielobjekte erkannt wurden, kann der Aufwand zur Objekterkennung in den Bildern des Bilderstroms vereinfacht werden, ohne potenzielle Zielobjekte aus der Objekterkennung auszuschließen. Demnach wird eine Verarbeitungszeit der Objekterkennung in den Bildern des Bilderstroms verringert ohne potenzielle Zielobjekte auszuschließen und somit zu übersehen.
In einem fünften Schritt wird der Auswertungsinhalt ausgegeben. Weitere Verfahren können diesen Auswertungsinhalt empfangen und weiterhin verarbeiten.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
In einer Ausführungsform wird der Auswertungsinhalt durch das Festlegen von Detektionsfenstern bestimmt. Die Detektionsfenster sind derart festgelegt, dass die Detektionsfenster den Auswertungsbereich zumindest vollständig abdecken. Die Bestimmung der Abdeckung des Auswertungsbereichs durch die Detektionsfenster unterliegt bevorzugt einer Toleranz von 10%. Dies bedeutet, dass insbesondere eine 90%-tige Abdeckung des Auswertungsbereichs durch die Detektionsfenster, als vollständige Abdeckung des Auswertungsbereichs durch die Detektionsfenster zu verstehen ist. Der von den Detektionsfenstern umschlossene Inhalt der Bilder des Bilderstroms ist der Auswertungsinhalt. Die Detektionsfenster können unterschiedliche Größen und/oder Formen aufweisen und insbesondere an die weitere Verarbeitung des Auswertungsinhalts angepasst werden. Detektionsfenster mit unterschiedlicher Größe und/oder Form legen ebenso Auswertungsinhalte mit unterschiedlicher Größe und/oder Form fest. Alternativ können die Detektionsfenster einheitlich ausgebildet sein, dies vereinfacht eine Auswertung, da nicht auf die unterschiedlichen Größen und/oder Formen der Detektionsfenster und entsprechen der unterschiedlichen Größe und/oder Form der Auswertungsinhalte Rücksicht genommen werden muss. Ohne Detektionsfenster kann der Auswertungsinhalt nur als Ganzes ausgegeben und entsprechend weiterverarbeitet werden. Durch die Detektionsfenster wird der Auswertungsinhalt in einzelne kleinere Auswertungsinhalte aufgeteilt, wobei diese einzelnen Auswertungsinhalte zumindest den Auswertungsinhalt ohne die Verwendung von Detektionsfenster umfassen. Diese einzelnen Auswertungsinhalte können nun einzeln ausgegeben und verarbeitet werden. Da die Detektionsfenster den Auswertungsbereich vollständig abdecken, decken die Detektionsfenster gemeinsam auch den Bereich ab, in dem alle Erkennungsbereiche der Bilder des Bilderstroms liegen.
In einer bevorzugten Ausführungsform werden die Detektionsfenster derart ausgelegt, dass die Detektionsfenster aneinander anstoßen. Hierdurch liegt kein Überlappungsabschnitt zwischen den Detektionsfenstern vor. Folglich weist der Auswertungsinhalt keine doppelten Inhalte der Bilder des Bilderstroms auf. Dies stellt gegenüber einem Auswertungsinhalt der durch sich überlappenden Detektionsfenster bestimmt wird eine geringere Datenmenge dar.
In einer alternativen Ausführungsform werden die Detektionsfenster derart angeordnet, dass sich die Detektionsfenster um einen vorbestimmten Bereich überlappen. Durch einen überlappenden Bereich in den Detektionsfenstern wird sichergestellt, dass Zielobjekte, welche sich über ein Detektionsfenster in ein anderes Detektionsfenster erstrecken, in zumindest einem Detektionsfenster hinreichend umschlossen sind, um in einer Objekterkennung erkannt zu werden. Insbesondere wird ein notwendiger Grad an Überlappung zwischen den Detektionsfenstern unter Berücksichtigung des größten Erkennungsbereichs in einem Detektionsbereich ermittelt. Hierdurch wird gewährleistet, dass ein Zielobjekt zuverlässig, soweit von einem Detektionsbereich umschlossen wird, so dass dieses Zielobjekt in zumindest einem Detektionsbereich erkannt werden kann. Gleichzeitig wird eine überflüssige doppelte Umschließung von Zielobjekte, welche bereits hinreichen in einem Detektionsbereich, auch ohne überlappenden Detektionsbereich, erkannt werden können, verringert.
In einer Ausführungsform umfasst die Bestimmung des Auswertungsinhalts zwei Schritte. In einem sechsten Schritt werden Detektionsfenster bestimmt, welche sich in einem unteren Abschnitt der Bilder des Bilderstroms befinden, wobei der untere Abschnitt nicht mehr als die unteren zwei Drittel der Bilder des Bilderstroms umfasst. Insbesondere kann der untere Abschnitt der Bilder des Bilderstroms in Abhängigkeit von der Horizontlinie im Bild bestimmt werden. Der untere Abschnitt kann als die untere Hälfte des Abschnittes der Bilder des Bilderstroms zwischen der Horizontlinie und der dem unteren Ende der Bilder des Bilderstroms bestimmt werden, sofern sich dieser untere Abschnitt im unteren zwei Drittel der Bilder des Bilderstroms befindet. In einem siebten Schritt wird die Auflösung des durch die Detektionsfenster im unteren Abschnitt der Bilder des Bilderstroms umschlossen Auswertungsinhalts verringert. Hierbei kann die Auflösung des Auswertungsinhalts in Abhängigkeit von der Größe und Form des den Auswertungsinhalt umschließenden Detektionsfenstern unterschiedlich verringert werden. Alternativ kann die Auflösung des Auswertungsinhalts des durch die Detektionsfenster im unteren Abschnitt umschlossen einheitlich verringert werden.
Durch die Ausführung des sechsten Schritts und des siebten Schritts wird die Auflösung des unteren Abschnitts gegenüber einem oberen Abschnitt der Bilder des Bilderstroms verringert. Objekte in einem unteren Abschnitt eines Bildes sind näher an einem Aufnahmegerät welches die Bilder des Bilderstroms erzeugt, als Objekte in einem oberen Abschnitt eines Bildes. Hierdurch werden Objekte in einem unteren Abschnitt eines Bildes größer abgebildet als gleich große Objekte in einem oberen Abschnitt eines Bildes. Je größer die Abbildung eines Objektes in einem Bild ist desto besser kann eine Objekterkennung die Abbildung analysieren. Hierdurch kann die hohe Auflösung der größeren Abbildung verringert werden ohne eine Erkennung des Objektes zu verschlechtern. Die durch den sechsten Schritt und den siebten Schritt verringerte Auflösung des durch die Detektionsfenster im unteren Abschnitt umschlossenen Auswertungsinhalts erlaubt weiterhin eine zuverlässige Objekterkennung der Zielobjekte bei verringerter Auflösung und damit bei verringerter Datenrate des Bilderstroms. Die Verringerung der Auflösung der Bilder des Bilderstroms gemäß dieser Ausführungsform ist besonders vorteilhaft für die Positionierung von Kameras an sicheren Positionen über den zu beobachtenden Bereichen. So können die Kameras an Verkehrsampeln, Straßenlaternen und Gebäuden befestigt werden, wodurch die Kameras vor Gewalteinflüssen geschützt sind und keine eigenen Struktur zu deren Errichtung benötigen. Die zu beobachtenden Bereiche werden durch die Kamera aus einer von oben herabschauenden Position betrachtet. Die Methode zur Verringerung der Auflösung der Bilder des Bilderstroms gemäß dieser Ausführungsform unterstützt die Verringerung der Auflösung der Bilder des Bilderstroms für Bilder des Bilderstroms, welche aus einer erhöhten Position durch die Kamera aufgenommen werden.
In einer alternativen Ausführungsform umfasst die Bestimmung des Auswertungsinhalts drei Schritte. In einem achten Schritt werden zu den Erkennungsbereichen zugehörigen Klassifizierungen empfangen und/oder zu den Erkennungsbereichen zugehörigen Klassifizierungen aus einem Datenspeicher ausgelesen. Wie weiter oben im Text angesprochen, kann eine einzelne Klassifizierung oder eine Gruppe an Klassifizierungen herangezogen werden. In einem neunten Schritt wird die Größe der Erkennungsbereiche ermitteln. Unter einer Größe der Erkennungsbereiche ist eine vom Erkennungsbereich eingeschlossene Fläche oder ein Umfang des Erkennungsbereichs oder eine weitere geometrische Eigenschaft des Erkennungsbereichs zu verstehen. In einem zehnten Schritt wird eine Objektgröße der von den Detektionsfenstern umschlossenen Inhalte der Bilder des Bilderstroms in Abhängigkeit einer Größendifferenz von Erkennungsbereich mit gleicher Klassifizierung in unterschiedlichen Detektionsfenstern verringert. Demnach werden zwei Detektionsfenster miteinander verglichen. Befinden sich in den beiden Detektionsfenster Erkennungsbereiche mit gleicher Klassifizierung, jedoch unterschiedlicher Größe, wird die Objektgröße des vom größeren Detektionsfenster der beiden Detektionsfenster umschlossenen Auswertungsinhalts verringert. Analog der Begründung zur vorherigen Ausführungsform soll auch in dieser Ausführungsform die Auflösung größerer Abbildungen von Zielobjekten verringert werden. Für die Indikation von größeren Zielobjekten wird in dieser Ausführungsform die Größe des Erkennungsbereichs verwendet. Durch diese Verringerung der Objektgröße des Auswertungsinhalts wird die Datenrate des Bilderstroms verringert und gleichzeitig eine zuverlässige Erkennung der Zielobjekte in den Bildern des Bilderstroms gewährleistet.
In einer weiteren alternativen Ausführungsform wird die Objektgröße der von Detektionsfenstern umschlossenen Inhalte der Bilder des Bilderstroms um einen Skalierungsfaktor verringert. Hierbei wird der Skalierungsfaktor derart festgelegt, dass die Objektgrößen der von den Detektionsfenstern umschlossenen Inhalte der Bilder des Bilderstroms mit Erkennungsbereichen gleicher Klassifizierung gleich groß sind. Der Vergleich der Objektgrößen der von den Detektionsfenstern umschlossenen Inhalte der Bilder des Bilderstroms unterliegt bevorzugt einer Toleranz von 10%. Demnach wird insbesondere eine Abweichung der Objektgröße von 10% zwischen zwei von den Detektionsfenstern umschlossenen Inhalten der Bilder des Bilderstroms noch als gleich groß verstanden. Dies führt dazu, dass Auswertungsbereiche von Detektionsbereichen mit einer höheren Auflösung, bzw. einer größeren Objektgröße, aus den in den beiden zuvor aufgelisteten Ausführungsformen genannten Gründen, verringert wird. Hiermit wird eine Verringerung der Datenrate bei weiterhin zuverlässiger Erkennung der Zielobjekte in den Bildern des Bilderstroms gewährleistet.
In einer weiteren alternativen Ausführungsform beträgt der Skalierungsfaktor der Objektgröße der von den Detektionsfenstern umschlossenen Inhalte der Bilder des Bilderstroms ein ganzes Vielfaches von zwei. Hierbei handelt es sich um eine besonders effiziente Implementierung.
Weiterhin umfasst die Erfindung ein Verfahren zur Verarbeitung eines Bilderstroms, wobei das Verfahren drei Schritte umfasst. In einem elften Schritt erfolgt eine Datenreduktion eines Bilderstroms nach einem der vorherigen Ausführungsformen. Hierbei wird ein Auswertungsinhalt des Bilderstroms ausgegeben. In einem zwölften Schritt erfolgt eine Objekterkennung von Zielobjekten im Auswertungsinhalt mittels zumindest eines neuronalen Netzes.
Die Zielobjekte können eine Klassifizierung oder mehrere Klassifizierungen umfassen. In einem dreizehnten Schritt werden die Erkennungsbereiche mit den erkannten Zielobjekten und der Klassifizierung der erkannten Objekte ausgegebenen. Diese ausgegebene Klassifizierung kann wieder in einer der vorherigen Ausführungsformen zur Bestimmung des Auswertungsinhalts verwendet werden. Da eine Datenreduktion im ersten Schritt nur ein Auslassen von Bereich der Bilder des Bilderstroms in dem im Bilderstrom keine Erkennungsbereiche liegen und somit keine Zielobjekte erkannt wurden und ein Verringern der Objektgröße des Auswertungsbereichs umfasst, können trotz verringerter Datenrate zuverlässig im zweiten Schritt Zielobjekte erkannt werden.
Durch die reduzierte Datenrate erfolgt eine Objekterkennung schneller, als dies ohne eine Reduktion der Datenrate nach einem der vorherigen Ausführungsformen der Fall ist.
Insbesondere kann bei einer Verwendung von Detektionsfenstern zur Bestimmung des Auswertungsinhaltes nach einem der vorherigen Ausführungsformen, eine Größe und/oder Form der Detektionsfenster an die Größe und Form des neuronalen Netzes angepasst sein. Dies verbessert die Anwendung des neuronalen Netzes zur Objekterkennung im Auswertungsinhalt, da das neuronale Netz für jeden durch ein Detektionsfenster umschlossenen Inhalt der Bilder des Bilderstroms nur einmal angewendet werden muss.
In einer bevorzugten Ausführungsform werden im Verfahren mehrere neuronale Netze unterschiedlicher Größe und/oder Form zur Objekterkennung verwendet. Hierbei entspricht eine Größe und/oder Form der Detektionsfenster zur Bestimmung des Auswertungsinhalts zumindest einer Größe und/oder Form der neuronalen Netze. Besonders bevorzugt entsprechen mehrere Größen und/oder Formen der Detektionsfenster mehrerer Größen und/oder Formen der neuronalen Netzte. Durch die unterschiedlichen Größen und/oder Formen der Detektionsfenster kann der Auswertungsbereich genauer abgedeckt werden, als bei Detektionsfenstern mit einer einheitlichen Größe und/oder Form. Hierdurch wird ein kleinerer Teil des nicht durch den Auswertungsbereich abgedeckten Bereich der Bilder des Bilderstroms durch die Detektionsbereiche abgedeckt werden, als dies bei Detektionsfenstern mit gleicher Größe und/oder gleicher Form der Fall ist. Somit kann die Datenrate des Bilderstroms weiterhin reduziert werden. Eine Auswahl der Größe und/oder der Form der Detektionsfenster entsprechend der neuronalen Netze zur Objekterkennung im Auswertungsbereich sorgt dafür, dass alle von den Detektionsfenstern umschlossenen Inhalte der Bilder des Bilderstroms durch die neuronalen Netze in einem Durchlauf verarbeitet werden können.
Besonders bevorzugt wird eine Objektgröße der von den Detektionsfenstern umschlossenen Inhalte der Bilder des Bilderstroms zumindest der Auflösung der neuronalen Netze, deren Form der Form der Detektionsfenstern entsprechen, angepasst. Hierdurch weist jeder von einem Detektionsfenster umschlossene Inhalt der Bilder des Bilderstroms eine Auflösung und eine Größe und eine Form eines der neuronalen Netze auf. Hierdurch muss kein weiterer Zwischenschritt mehr zur Analyse des Auswertungsinhalts durch die neuronalen Netze erfolgen. Dies erlaubt eine möglichst effiziente und schnelle Analyse des Auswertungsinhalts durch die neuronalen Netze.
In einer weiteren Ausführungsform kann ein Rücksetzungssignal empfangen werden, woraufhin der Auswertungsbereich zunächst auf die gesamte Größe und/oder Form der Bilder des Bilderstroms eingestellt werden kann. Sollte sich die Umgebung im Bilderstrom ändern, muss der Auswertungsbereich zurückgesetzt werden um auch neue Erkennungsbereiche, welche sich abseits der bisherigen Erkennungsbereiche befinden, zu berücksichtigen. In einer besonders bevorzugten Ausführungsform kann eine Rücksetzungsdauer empfangen werden. Während der Rücksetzdauer entspricht der Auswertungsbereich der Größe und/oder Form der Bilder des Bilderstroms. Dies ermöglicht es eine Änderung der Umgebung der Bilder des Bilderstroms längerfristig und somit genauer zu beobachten, bevor mit Ende der Rücksetzdauer der Auswertungsbereich nach einem der vorherigen Ausführungsformen bestimmt wird.
In einer weiteren Ausführungsform werden die ausgegebenen Erkennungsbereiche mit den erkannten Objekten und/oder der Klassifizierung der erkannten Zielobjekte in ein Koordinatensystem der Bilder des Bilderstroms übertragen. Das Koordinatensystem der Bilder des Bilderstroms ist durch die Abmessungen der Bilder des Bilderstroms definiert. Bei sich überlappenden Erkennungsbereichen kann es zur mehrfachen Erkennung eines einzelnen Zielobjektes in unterschiedlichen Erkennungsbereichen kommen. Daher wird bei Übertragung der erkannten Zielobjekte und der Erkennungsbereiche in die Bilder des Bilderstroms eine Fusion der mehrfach erkannten Zielobjekte durchgeführt.
Weiterhin umfasst die Erfindung ein Computerprogramm, das eingerichtet ist, das Verfahren nach einer der vorherigen Ausführungsformen auszuführen.
Weiterhin umfasst die Erfindung ein maschinenlesbares Speichermedium, auf dem das Computerprogramm nach der vorherigen Ausführungsform gespeichert ist.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:

1 eine schematische Darstellung der Verfahrensschritte zur Datenreduktion eines Bilderstroms gemäß einem Ausführungsbeispiel der Erfindung,
2 eine exemplarische Ansicht eines Bildes eines Bilderstroms, worin Erkennungsbereiche dieses Bildes des Bilderstroms angegeben sind, gemäß einem Ausführungsbeispiel der Erfindung,
3 eine exemplarische Ansicht eines Bildes eines Bilderstroms, worin Erkennungsbereiche mehrerer Bilder des Bilderstroms überlagert und ein Auswertungsbereich angegeben sind, gemäß einem Ausführungsbeispiel der Erfindung,
4 eine exemplarische Ansicht eines Bildes eines Bilderstroms, worin ein Auswertungsbereich und Detektionsfenster angegeben sind, gemäß einem Ausführungsbeispiel der Erfindung,
5 eine exemplarische Ansicht eines Bildes eines Bilderstroms, worin sich überlappende Detektionsfenster angegeben sind, gemäß einem Ausführungsbeispiel der Erfindung,
6 eine schematische Darstellung der Verfahrensschritte zur Bestimmung des Auswertungsbereichs nach einem Ausführungsbeispiel der Erfindung,
7 eine exemplarische Ansicht eines Bildes eines Bilderstroms, worin sich überlappende Detektionsfenster mit unterschiedlich skaliertem Inhalt angegeben sind, gemäß einem Ausführungsbeispiel der Erfindung,
8 eine schematische Darstellung der Verfahrensschritte zur Bestimmung des Auswertungsbereichs nach einem alternativen Ausführungsbeispiel der Erfindung,
9 eine exemplarische Ansicht eines Auswertungsinhalts gemäß einem Ausführungsbeispiel der Erfindung,
10 eine schematische Darstellung der Verfahrensschritte zur Verarbeitung eines Bilderstroms gemäß einem Ausführungsbeispiel der Erfindung,
11 eine exemplarische Ansicht einer Objekterkennung in einem Auswertungsinhalt gemäß einem Ausführungsbeispiel der Erfindung,
12 eine exemplarische Ansicht eines Bildes eines Bilderstroms, worin Detektionsfenster und Erkennungsbereiche angegeben sind, gemäß einem Ausführungsbeispiel der Erfindung,

Ausführungsformen der Erfindung
1 zeigt eine schematische Darstellung der Verfahrensschritte 110, 120, 130, 140, 150 zur Datenreduktion eines Bilderstroms gemäß einem Ausführungsbeispiel der Erfindung. Das Verfahren 100 zur Datenreduktion eines Bilderstroms umfasst zumindest fünf Schritte 110, 120, 130, 140, 150. In einem ersten Schritt 110 wird ein Strom an Bildern empfangen. Alternativ kann der Strom an Bildern aus einem Datenspeicher ausgelesen werden. Der Strom an Bildern, weiterhin als Bilderstrom bezeichnet, zeigt in jedem Bild eine gleiche Umgebung 1 zu verschiedenen Zeitpunkten.
In einem zweiten Schritt 120 werden Erkennungsbereiche 3 empfangen, alternativ können die Erkennungsbereiche 3 auch aus einem Datenspeicher ausgelesen werden. Die Erkennungsbereiche 3 geben Bereiche in den Bildern des Bilderstroms an in dem zu erkennende Zielobjekte 2 im Bilderstrom erkannt wurden. Die Reihenfolge der Ausführung des ersten Schritts 110 und des zweiten Schritts 120 kann untereinander getauscht werden. Dadurch, dass in allen Bildern des Bilderstroms die gleiche Umgebung 1 gezeigt wird, hat ein Erkennungsbereich 3 in jedem Bild des Bilderstroms die gleiche Position und Größe. Dies ermöglicht es die Erkennungsbereiche 3 zu überlagern. Durch die Überlagerung der Erkennungsbereiche 3 lässt sich ableiten, in welchen Bereichen der Bilder des Bilderstroms über die Historie des Bilderstroms Zielobjekte 2 erkannt wurden und in welchen Bereichen der Bilder des Bilderstroms keine Zielobjekte 2 über die Historie des Bilderstroms erkannt wurden.
In einem dritten Schritt 130 wird ein Auswertungsbereich 4 bestimmt, wobei der Auswertungsbereich 4 die Erkennungsbereiche 3 umfasst. Somit deckt der Auswertungsbereich 4 den Bereich in den Bildern des Bilderstroms ab in denen über die Gesamtheit des Bilderstroms Zielobjekte 2 erkannt wurden.
In einem vierten Schritt 140 wird ein Auswertungsinhalt 7 des Bilderstroms bestimmt. Hierbei umfasst der Auswertungsinhalt 7 zumindest einen Teil des vom Auswertungsbereich 4 umfassten Inhalts der Bilder des Bilderstroms. Der Auswertungsinhalt 7 umfasst zumindest nicht einen Teil des nicht vom Auswertungsbereich 4 umschlossenen Inhalts der Bilder des Bilderstroms. Somit ist die Größe des Auswertungsinhalts 7 geringer als die Größe des ursprünglichen Inhalts der Bilder des Bilderstroms und eine Datenrate des Bilderstroms durch das Verfahren 100 reduziert. Folglich ist eine Verarbeitung des Auswertungsinhalts 7 der Bilder des Bilderstroms mit geringerem Aufwand möglich als bei den ursprünglichen Bildern des Bilderstroms. Besonders durch die Reduktion des Bereichs in den Bildern des Bilderstroms in denen keine Erkennungsbereiche 3 liegen und somit in der Gesamtheit des Bilderstroms keine Zielobjekte 2 erkannt wurden, kann der Aufwand zur Objekterkennung 200 in den Bildern des Bilderstroms vereinfacht werden, ohne potenzielle Zielobjekte 2 aus der Objekterkennung 200 auszuschließen. Demnach wird eine Verarbeitungszeit der Objekterkennung 200 in den Bildern des Bilderstroms verringert ohne potenzielle Zielobjekte 2 auszuschließen und somit zu übersehen.
In einem fünften Schritt 150 wird ein Auswertungsinhalt ausgegeben. Alternativ wird der Auswertungsinhalt 7 abrufbereit zur Verfügung gestellt.
2 zeigt ein Bild des Bilderstroms. Auf dem Bild dargestellt ist ein Ausschnitt einer Kreuzung 1 mit Fahrzeugen 2 auf dieser Kreuzung 1. Die Fahrzeuge 2 werden durch nachgelagerte Schritte als Objekte erkannt und sind von Erkennungsbereichen 3 umrahmt, wie sie gemäß Schritt 120 empfangen werden. Fahrzeuge 2, welche weiter oben im Bild abgebildet sind, erscheinen kleiner und weisen folglich einen kleineren Erkennungsbereich 3 auf.
Eine Überlagerung der übermittelten und/oder abgerufenen Erkennungsbereiche 3 aus dem Bilderstrom, gemäß Schritt 120, ist in 3 gezeigt. 3 zeigt erneut den gleichen Ausschnitt der gleichen Kreuzung 1 wie 2. Die Erkennungsbereiche 3 decken einen Großteil der gezeigten Kreuzung 1 ab. Zudem zeigt 3 einen gemäß Schritt 130 bestimmten Auswertungsbereich 4, welcher die Erkennungsbereiche 3 umfasst. Hierbei kann der Auswertungsbereich 4 mehr als den durch die Erkennungsbereiche 3 abgedeckten Bereich umfassen, wie zum Bsp. in der unteren linken Ecke des Bildes zu sehen ist. Allerdings darf der Auswertungsbereich 4 nicht das gesamte Bild umfassen.
In einem Ausführungsbeispiel umfasst das Bestimmen des Auswertungsinhalts 7 gemäß Schritt 140 das Festlegen von Detektionsfenstern 5. Eine Darstellung der Detektionsfenster 5 findet sich in 4. Darin ist die gleiche Kreuzung wie in 3 und 2 gezeigt. Die Detektionsfenster 5 werden derart festgelegt, dass die Detektionsfenster 5 den Auswertungsbereich 4 zumindest vollständig abdecken. Die Bestimmung der Abdeckung des Auswertungsbereichs 4 durch die Detektionsfenster 5 unterliegt bevorzugt einer Toleranz von 10%. Dies bedeutet, dass insbesondere eine 90%-tige Abdeckung des Auswertungsbereichs 4 durch die Detektionsfenster 5, als vollständige Abdeckung des Auswertungsbereichs 4 durch die Detektionsfenster 5 zu verstehen ist. Wie aus 4 ersichtlich, z. B. in der unteren linken Ecke des Bildes, können die Detektionsfenster 5 auch einen größeren Bereich als den Auswertungsbereich 3 abdecken. Die Detektionsfenster 5 decken bevorzugt nicht die gesamte Fläche des Bildes ab. Hierbei ist der von den Detektionsfenstern 5 umschlossenen Inhalt 7 der Auswertungsinhalt 7. Ohne Detektionsfenster 5 kann der Auswertungsinhalt 7 nur als Ganzes ausgegeben und entsprechend weiterverarbeitet werden. Durch die Detektionsfenster 5 wird der Auswertungsinhalt 7 in einzelne kleinere Auswertungsinhalte 7 aufgeteilt, wobei diese einzelnen Inhalte 7 zumindest den Auswertungsinhalt 7 ohne die Verwendung von Detektionsfenster 5 umfasst. Diese einzelnen Auswertungsinhalte 7 können einzeln ausgegeben und verarbeitet werden. Da die Detektionsfenster 5 den Auswertungsbereich 7 vollständig abdecken, decken die Detektionsfenster 5 gemeinsam auch den Bereich ab, in dem alle Erkennungsbereiche 3 der Bilder des Bilderstroms liegen.
In einem bevorzugten Ausführungsbeispiel werden die Detektionsfenster 5 derart festgelegt, dass die Detektionsfenster 5 aneinanderstoßen und sich nicht überlappen, wie zum Bsp. in 4 gezeigt.
In einem weiteren bevorzugten Ausführungsbeispiel werden die Detektionsfenster 5 derart festgelegt, dass die Detektionsfenster 5 sich um einen vorbestimmten Betrag gegenseitig überlappen. Ein solches Ausführungsbeispiel ist in 5 gezeigt. 5 zeigt die gleiche Kreuzung wie 4, 3 und 2. Durch einen überlappenden Bereich 6 in den Detektionsfenstern 5 wird sichergestellt, dass Zielobjekte 2, welche sich über ein Detektionsfenster 5 in ein anderes Detektionsfenster 5 erstrecken, in zumindest einem Detektionsfenster 5 hinreichend umschlossen sind, um in einer Objekterkennung 200 erkannt zu werden. Hierdurch wird gewährleistet, dass ein Zielobjekt 2 zuverlässig, soweit von einem Detektionsbereich 5 umschlossen wird, so dass dieses Zielobjekt 2 in zumindest einem Detektionsbereich 3 erkannt werden kann. Gleichzeitig wird eine überflüssige doppelte Umschließung von Zielobjekten 2, welche bereits hinreichend in einem Detektionsbereich 5 auch ohne überlappenden Detektionsbereiche 5, erkannt werden können, verringert.
6 zeigt eine schematische Darstellung der Verfahrensschritte 141, 142 zur Bestimmung des Auswertungsbereichs 4 nach einem Ausführungsbeispiel der Erfindung. Das Verfahren 140 gemäß 6 umfasst zwei Schritte 141, 142 und stellt eine bevorzugte Ausführungsform des Schritts 140 dar. In einem sechsten Schritt 141 werden aus allen Detektionsfenstern 5 die Detektionsfenster 5a ermittelt, welche sich in einem unteren Abschnitt der Bilder des Bilderstroms befinden. Der untere Abschnitt der Bilder des Bilderstroms umfasst die unteren zwei Drittel der Bilder des Bilderstroms. 7 zeigt acht Detektionsbereiche, davon vier Detektionsbereiche 5b, welche sich in einem oberen Bereich, und vier Detektionsbereiche 5a, welche sich in einem unteren Bereich des Bildes befinden. In einem siebten Schritt 142 wird die Auflösung des durch die Detektionsfenster 5b im untern Abschnitt der Bilder des Bilderstroms umschlossenen Inhalts verringert. Hierdurch kann die hohe Auflösung der größeren Abbildung der Zielobjekte und folglich eine Datenrate des Bilderstroms verringert werden. Die Auflösung des Inhalts 7 der Detektionsbereiche 5b im oberen Bereich des Bildes bleibt zunächst unverändert. Eine zuverlässige Objekterkennung 200 ist bei großen Abbildung mit einer verringerten Auflösung ebenso gewährleistbar wie bei großen Abbildungen mit einer hohen Auflösung.
Somit verringert das in 7 dargestellte Ausführungsbeispiel die Datenrate des Bilderstroms ohne die Erkennbarkeit der Zielobjekte 2 in den Detektionsbereichen 5a im unteren Bereich zu verringern.
8 zeigt ein eine schematische Darstellung der Verfahrensschritte 143, 144, 145 zur Bestimmung des Auswertungsinhalts gemäß Schritt 140 und stellt eine alternativ bevorzugte Ausführungsform dar. Das Verfahren umfasst drei Schritte 143, 144, 145. Der achte Schritt 143 umfasst das Empfangen von den Erkennungsbereichen 3 zugehörigen Klassifizierungen. Alternativ können die den Erkennungsbereichen 3 zugehörigen Klassifizierungen aus einem Datenspeicher ausgelesene werden. In einem neunten Schritt 144 werden die Größen der Erkennungsbereiche 3 ermittelt. In einem zehnten Schritt 145 wird eine Objektgröße der von den Detektionsfenstern 5 umschlossenen Inhalte der Bilder des Bilderstroms in Abhängigkeit einer Größendifferenz von Erkennungsbereichen 3 mit gleicher Klassifizierung in unterschiedlichen Detektionsfenstern 6 verringert. Analog der Begründung zum vorherigen Ausführungsbeispiel, wie es in 7 gezeigt, soll auch in diesem Ausführungsbeispiel die Auflösung größerer Abbildungen von Zielobjekten 2 verringert werden. Für die Indikation von größeren Zielobjekten 2 wird in dieser Ausführungsform die Größe des Erkennungsbereichs 3 verwendet. Durch diese Verringerung der Objektgröße 2 des Auswertungsinhalts 7 wird die Datenrate des Bilderstroms verringert und gleichzeitig eine zuverlässige Erkennung der Zielobjekte 2 in den Bildern des Bilderstroms gewährleistet.
In einem bevorzugten Ausführungsbeispiel der Bestimmung des Auswertungsinhalts 7 wird die Objektgröße der von Detektionsfenster 5 umschlossenen Inhalte 7 der Bilder des Bilderstroms um einen Skalierungsfaktor verringert. Hierbei ist der Skalierungsfaktor so gewählt, dass die Objektgrößen der von den Detektionsfenstern 5 umschlossenen Inhalte 7 der Bilder des Bilderstroms bei gleicher Klassifizierung gleich groß sind. Der Vergleich der Objektgrößen der von den Detektionsfenstern 5 umschlossenen Inhalte 7 der Bilder des Bilderstroms unterliegt bevorzugt einer Toleranz von 10%. Demnach wird insbesondere eine Abweichung der Objektgröße von 10% zwischen zwei von den Detektionsfenstern 5 umschlossenen Inhalten 7 der Bilder des Bilderstroms noch als gleich groß verstanden. Hiermit wird eine Verringerung der Datenrate bei weiterhin zuverlässiger Erkennung der Zielobjekte 2 in den Bildern des Bilderstroms gewährleistet.
In einem besonders bevorzugten Ausführungsbeispiel der Bestimmung des Auswertungsinhalts 7 wird der Skalierungsfaktor so gewählt, dass die Objektgröße der von den Detektionsfenstern 5 umschlossenen Inhalte 7 der Bilder des Bilderstroms ein ganzes Vielfaches von zwei ist. Hiermit wird eine Verringerung der Datenrate bei weiterhin zuverlässiger Erkennung der Zielobjekte 2 in den Bildern des Bilderstroms gewährleistet. Die Verringerung der Daten der eben erwähnten Ausführungsbeispiele beträgt bis zu 2/3 der ursprünglichen Datenrate des Bilderstroms.
Bevorzugt erfolgt die Ausgabe des Auswertungsinhalts 7 des Bilderstroms in den einzelnen Auswertungsinhalten 7, welche von den Detektionsfenstern 5 umschlossen sind. Hierbei kann die Auflösung und Skalierung der einzelnen Auswertungsinhalte 7 bereits nach einem der vorherigen Ausführungsbeispiele angepasst sein.
9 zeigt die Ausgabe der Auswertungsinhalte 7 gemäß Schritt 150. 9 zeigt die Auswertungsinhalte 7 der gleichen Kreuzung wie 2 bis 5 und 7. Die Bestimmung der Detektionsfenster 5 und die Auflösung der von den Detektionsbereichen 5 umschlossenen Inhalte 7 des Bildes ist nach einem der vorherigen Ausführungsbeispielen durchgeführt. Im direkten Vergleich der 9 zur 7 wird erkennbar, dass der von den Detektionsfenstern 5 umschlossene Inhalt 7 geringer ist als das ursprüngliche Bild. Wie in 9 ersichtlich werden die Auswertungsinhalte 7 nicht in ihrer ursprünglichen Konstellation im Bild, sondern als einzelne Inhalte 7 der einzelnen Detektionsfenster 5 in Schritt 150 ausgegeben.
10 zeigt eine schematische Darstellung der Verfahrensschritte 100, 200, 300 zur Verarbeitung eines Bilderstroms gemäß einem Ausführungsbeispiel der Erfindung. Dieses Verfahren umfasst drei Schritte 100, 200, 300. In einem elften Schritt 100 erfolgt eine Datenreduktion eines Bilderstroms nach einem der bisherigen Ausführungsbeispiele. In einem zwölften Schritt 200 erfolgt eine Objekterkennung 200 der Zielobjekte 2 im Auswertungsinhalt 7 mittels zumindest eines neuronalen Netzes. In einem dreizehnten Schritt 300 werden die Erkennungsbereiche 8 mit den erkannten Zielobjekten 2 und der zugehörigen Klassifizierung der erkannten Zielobjekte 2 ausgegeben. Da eine Datenreduktion im elften Schritt 100 nur ein Auslassen von Bereichen der Bilder des Bilderstroms in dem in der Gesamtheit des Bilderstroms keine Erkennungsbereiche 3 liegen und somit keine Zielobjekte 2 erkannt wurden und ein Verringern der Objektgröße des Auswertungsinhalts 7 umfasst, können trotz verringerter Datenrate zuverlässig im zwölften Schritt Zielobjekte 2 erkannt werden. Durch die reduzierte Datenrate erfolgt eine Objekterkennung 200 schneller, als dies ohne eine Reduktion der Datenrate nach einem der vorherigen Ausführungsbeispielen der Fall ist.
Das Ergebnis einer Objekterkennung gemäß Schritt 200 ist in 11 gezeigt. 11 umfasst den gleichen Auswertungsinhalt 7 wie 9. Hierbei wurden die Bilder in dieser Ausführungsform gemäß der Beschreibung zu 9 im Schritt 150 nicht als ein zusammenhängender Auswertungsinhalt 7 in seiner ursprünglichen Konstellation ausgeben, sondern als einzelne Inhalte 7 der einzelnen Detektionsfenster 5. Die Objekterkennung 200 in diesen Inhalten 7 der einzelnen Detektionsfenster 5 kann von dem neuronalen Netz hierbei einzeln für den Inhalt 7 jedes Detektionsfensters 5 durchgeführt werden. Somit genügt bei der einzelnen Ausgabe der Inhalte 7 ein kleines neuronales Netz zur Objekterkennung 200 als bei der Objekterkennung 200 in einem zusammenhängenden Auswertungsinhalt 7.
In einem bevorzugten Ausführungsbeispiel des Verfahrens werden mehrere neuronale Netze unterschiedlicher Größe und/oder Form zur Objekterkennung 200 verwendet. Weiterhin entspricht eine Größe und/oder Form der Detektionsfenster 5 zumindest einer Größe und/oder Form der neuronalen Netze. Insbesondere entsprechen mehrere Größen und/oder Formen der Detektionsfenster 5 den Größen und/oder Formen der neuronalen Netze. Hierdurch wird ein kleinerer Teil des nicht durch den Auswertungsbereich 4 abgedeckten Bereich der Bilder des Bilderstroms durch die Detektionsbereiche 5 abgedeckt, als die bei Detektionsfenstern 5 mit gleicher Größe und/oder gleicher Form der Fall ist. Somit kann die Datenrate des Bilderstroms weiterhin reduziert werden. Eine Auswahl der Größe und/oder der Form der Detektionsfenster 5 entsprechend der neuronalen Netze zur Objekterkennung 200 im Auswertungsbereich 4 sorgt dafür, dass alle von den Detektionsfenstern 5 umschlossenen Inhalte 7 der Bilder des Bilderstroms durch die neuronalen Netze effizient verarbeitet werden können. Hierdurch weist jeder von einem Detektionsfenster 5 umschlossene Inhalt 7 der Bilder des Bilderstroms eine Auflösung und eine Größe und eine Form eines der neuronalen Netze auf. Hierdurch muss kein weiterer Zwischenschritt mehr zur Analyse des Auswertungsinhalts 7 durch die neuronalen Netze erfolgen. Dies erlaubt eine möglichst effiziente und schnelle Analyse des Auswertungsinhalts 7 durch die neuronalen Netze.
In einem besonders bevorzugten Ausführungsbeispiel der Erfindungsmeldung wird die Objektgröße der von den Detektionsfenstern 5 umschlossenen Inhalte 7 der Bilder des Bilderstroms zumindest an die Auflösung der neuronalen Netze, deren Form der Form der Detektionsfenster 5 entsprechen, angepasst. Hierdurch muss kein weiterer Zwischenschritt mehr zur Analyse des Auswertungsinhalts 7 durch die neuronalen Netze erfolgen. Dies erlaubt eine möglichst effiziente und schnelle Analyse des Auswertungsinhalts 7 durch die neuronalen Netze.
In einer weiteren Ausführungsform werden die ausgegebenen Erkennungsbereiche 5 mit den erkannten Objekten und/oder der Klassifizierung der erkannten Zielobjekte 2 in ein Koordinatensystem der Bilder des Bilderstroms übertragen. Das Koordinatensystem der Bilder des Bilderstroms ist durch die Abmessungen der Bilder des Bilderstroms definiert. Eine solche Ausführungsform ist in 12 gezeigt. Darin sind die Erkennungsbereiche 8 der Zielobjekte 2, siehe 11, aus den Detektionsbereichen 5 gemäß Schritt 200 in das Koordinatensystem übertragen, aus welchem der Auswertungsinhalt 7 für Schritt 200 stammt. Ergeben sich bei der Überführung der Erkennungsbereiche 8 in das Koordinatensystem, bei sich überlappenden Erkennungsbereichen 9, mehrfache Objekterkennungen 200 eines einzelnen Zielobjektes 2 in unterschiedlichen Detektionsfenstern 5, werden die Erkennungsbereiche 9 im Koordinatensystem miteinander fusioniert.
In einem weiteren Ausführungsbeispiel wird eine der vorherigen Ausführungsbeispiele auf einem Computerprogramm ausgeführt und dieses auf einem maschinenlesbarem Speichermedium abgespeichert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007041893 A1 [0004]

Claims

Verfahren (100) zur Datenreduktion eines Bilderstroms, das Verfahren umfasst die Schritte: - Empfangen (110) eines Stroms an Bildern, wobei die Bilder eine gleiche Umgebung (1) zu verschiedenen Zeitenpunkten zeigen; - Empfangen (120) von Erkennungsbereichen (3) und/oder Auslesen von Erkennungsbereichen (3) aus einem Datenspeicher, in denen zu erkennende Zielobjekte (2) in Bildern des Bilderstroms erkannt wurden; - Bestimmen (130) eines Auswertungsbereichs (4), welcher die Erkennungsbereiche (3) umfasst; - Bestimmen (140) eines Auswertungsinhalts (7) des Bilderstroms, wobei der Auswertungsinhalt (7) zumindest einen Teil des vom Auswertungsbereich (4) umschlossenen Inhalts der Bilder des Bilderstroms umfasst und zumindest einen Teil des nicht vom Auswertungsbereich (4) umschlossenen Inhalts der Bilder des Bilderstroms nicht umfasst, und - Ausgabe (150) des Auswertungsinhalts (7).
Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass das Bestimmen (140) des Auswertungsinhalts (7) den Schritt umfasst: - Festlegen von Detektionsfenstern (5) derart, dass diese den Auswertungsbereich (4) zumindest vollständig abdecken, wobei der von den Detektionsfenstern (5) umschlossene Inhalt (7) der Bilder des Bilderstroms der Auswertungsinhalt (7) ist.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Detektionsfenster (5) aneinander anstoßen.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Detektionsfenster (5) so angeordnet werden, dass diese sich um einen vorbestimmten Bereich überlappen.
Verfahren nach einem der vorherigen Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Bestimmung (140) des Auswertungsinhalts (7) die Schritte umfasst: - Ermitteln (141) der Detektionsfenster (5), welche sich in einem unteren Abschnitt der Bilder des Bilderstroms befinden, wobei der untere Abschnitt nicht mehr als das untere zwei Drittel der Bilder des Bilderstroms umfasst, und - Verringern (142) der Auflösung des durch die Detektionsfenster (5) im unteren Abschnitt der Bilder des Bilderstroms umschlossen Auswertungsinhalts (7).
Verfahren nach einem der vorherigen Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Bestimmung (140) des Auswertungsinhalts (7) die Schritte umfasst: - Empfangen (143) von zu den Erkennungsbereichen (4a, 4b) zugehörigen Klassifizierungen und/oder Auslesen von zu den Erkennungsbereichen (3) zugehörigen Klassifizierungen aus einem Datenspeicher; - Ermitteln (144) der Größe der Erkennungsbereiche (3), und - Verringern (145) einer Objektgröße der von den Detektionsfenstern (5) umschlossenen Inhalte (7) der Bilder des Bilderstroms in Abhängigkeit einer Größendifferenz von Erkennungsbereichen (3) mit gleicher Klassifizierung in unterschiedlichen Detektionsfenstern (5).
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Objektgröße der von Detektionsfenster (3) umschlossenen Inhalte (7) der Bilder des Bilderstroms um einen Skalierungsfaktor verringert wird, der derart festgelegt ist, dass die Objektgrößen der von den Detektionsfenstern (5) umschlossenen Inhalte (7) der Bilder des Bilderstroms mit Erkennungsbereichen (4a, 4b) gleicher Klassifizierung gleich groß sind.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Skalierungsfaktor der Objektgröße der von den Detektionsfenstern (5) umschlossenen Inhalte (7) der Bilder des Bilderstroms ein ganzes Vielfaches von zwei ist.
Verfahren zur Verarbeitung eines Bilderstroms, das Verfahren umfasst die Schritte: - Datenreduktion (100) eines Bilderstroms nach einem der Ansprüche 1 bis 8; - Objekterkennung (200) von Zielobjekten (2) im Auswertungsinhalt (7) mittels zumindest eines neuronalen Netzes, und - Ausgabe (300) der Erkennungsbereiche (8) mit den erkannten Zielobjekten (2) und der Klassifizierung der erkannten Zielobjekte (2).
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mehrere neuronale Netze unterschiedlicher Größe und/oder Form zur Objekterkennung (200) verwendet werden, wobei eine Größe und/oder Form der Detektionsfenster (6) zur Bestimmung des Auswertungsinhalts (7) zumindest einer Größe und/oder Form der neuronalen Netze entspricht, bevorzugt entsprechen mehrere Größen und/oder Formen der Detektionsfenster (5) mehrerer Größen und/oder Formen der neuronalen Netze.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass eine Objektgröße der von den Detektionsfenstern (5) umschlossenen Inhalte (7) der Bilder des Bilderstroms zumindest der Auflösung der neuronalen Netze, deren Form der Form der Detektionsfenstern (5) entsprechen, angepasst.
Computerprogramm, das eingerichtet ist, das Verfahren nach einem der vorherigen Ansprüche auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.