DE202019102522U1

DE202019102522U1 - Steuergerät mit Bildauswertung

Info

Publication number: DE202019102522U1
Application number: DE202019102522.0U
Authority: DE
Original assignee: Individual
Current assignee: Dc Vision Systems De GmbH
Priority date: 2019-05-06
Filing date: 2019-05-06
Publication date: 2020-08-17
Anticipated expiration: 2029-05-07

Abstract

Steuergerät (1) mit Bildauswertung, insbesondere zur Steuerung eines Fahrzeugs, eines mobilen Roboters oder einer Maschine, aufweisend:
- mindestens einen Bildsensor (2) zur Erfassung von Bilddaten,
- eine programmierbare Recheneinheit (3) zur Auswertung von Daten des Bildsensors (1),
- eine fest verdrahtete Logik (4) zur Auswertung von Daten des Bildsensors (1),
- ein Betriebssystem (5) zur Koordination und Steuerung sowohl der programmierbaren Recheneinheit (3) als auch der fest verdrahteten Logik (4) sowie
- mindestens einer Ausgabe-Schnittstelle (6) zum Datenaustausch der aufgenommenen Daten des Steuergeräts (1) und/oder zur Steuerung des Steuergeräts (1).

Description

Die Neuerung betrifft ein Steuergerät mit Bildauswertung, insbesondere zur Steuerung eines Fahrzeugs, eines mobilen Roboters oder einer Maschine. Ferner betrifft die Neuerung ein Kamerasystem mit einem derartigen Steuergerät.
Der Neuerung liegt die Aufgabe zugrunde, ein Steuergerät mit Bildauswertung anzubieten, bei dem eine besonders effiziente Datenkommunikation und Synchronisation innerhalb der einzelnen Bestandteile des Steuergeräts erreicht wird. Ferner soll ein Kamerasystem mit mindestens einem derartigen Steuergerät angeboten werden.
Diese Aufgabe wird durch ein Steuergerät mit den Merkmalen des Schutzanspruchs 1 gelöst. Vorteilhafte Ausführungsformen für das Steuergerät werden durch ein Steuergerät mit den Merkmalen der UnterAnsprüche 2-10 realisiert.
Für das Kamerasystem wird die Aufgabe durch ein Kamerasystem mit den Merkmalen des Schutzanspruchs 11 gelöst.
Das neuerungsgemäße Steuergerät mit Bildauswertung weist mindestens einen Bildsensor zur Erfassung von Bilddaten, eine programmierbare Recheneinheit mit Software zur Auswertung von Daten des Bildsensors, eine fest verdrahtete Recheneinheit mit Funktionen zur Auswertung von Daten des Bildsensors, ein Betriebssystem zur Koordination und Steuerung sowohl der Software die auf der programmierbaren Recheneinheit ausgeführt wird als auch der Funktionen der fest verdrahteten Recheneinheit sowie mindestens einer Ausgabe-Schnittstelle zum Datenaustausch der aufgenommenen Daten des Steuergeräts und/oder zur Steuerung des Steuergeräts auf. Durch Integration eines Betriebssystems (z.B. eines Linux-Betriebssystems) mit angepassten Gerätetreibern für die fest verdrahtete Recheneinheit in ein Steuergerät wird die besonders effiziente und abstrahierte Datenkommunikation zwischen der programmierbaren Recheneinheit und der fest verdrahteten Recheneinheit gewährleistet.
Gemäß einer vorteilhaften Ausführungsform ist ferner ein Speicher zur Speicherung von Bilddaten des Bildsensors, Rechendaten der programmierbaren Recheneinheit und/oder Rechendaten der fest verdrahteten Recheneinheit vorgesehen. Insbesondere im Zusammenhang mit einer Steuerung durch das neuerungsgemäße Betriebssystem kann die gemeinsame Speichernutzung durch die beiden Recheneinheiten optimiert werden.
Nach einer weiteren vorteilhaften Ausführungsform sind die programmierbare Recheneinheit und die fest verdrahtete Recheneinheit auf einem gemeinsamen Silizium-Chip implementiert. Hierbei werden unterschiedliche digitale und optional analoge Funktionseinheiten auf einem Chip integriert, wodurch eine Kosteneinsparung, ein geringerer Energieverbrauch z.B. in Form von geringerer Verlustleistung und eine miniaturisierte Bauweise erreicht werden. Durch eine Ausbildung der programmierbaren und der festverdrahteten Recheneinheiten als SoC-Einheit (System-On-Chip-Einheit) wird eine besonders hohe Integrationsdichte erzielt.
Die festverdrahtete Logik kann entweder in einem FPGA-Subsystem (Field Programmable Gate Array), oder direkt als ASIC (Application Specific Integrated Circuit) realisiert werden.
Die programmierbare Recheneinheit kann aus einem oder mehreren Prozessorkernen nebst Peripherie bestehen.
Gemäß einer weiteren vorteilhaften Ausführungsform ist mindestens eine weitere Ausgabe-Schnittstelle zur Ansteuerung von Sensoren und/oder Aktoren, insbesondere von Fahrzeugen, mobilen Robotern oder Maschinen, realisiert. Hierdurch können die entsprechenden Sensoren und Aktoren direkt mit dem Steuergerät verbunden werden und entsprechende Steuerungsbefehle und Signale erhalten.
Nach einer weiteren vorteilhaften Ausführungsform besitzt die festverdrahtete Recheneinheit mindestens einen Hardware-Rechenbeschleuniger. Derartige Rechenbeschleuniger entlasten den oder die Hauptprozessoren, indem ausgewählte rechenintensive Aufgaben der Bildauswertung (z.B. Berechnung von Tiefeninformationen ausgehend von Bildinformationen, die durch Stereo-Kameras aufgenommen wurden, Ausführen von Klassifikatoren zur Erkennung von Objekten und Personen in den Bildern) besonders effizient implementiert sind. Das ermöglicht es erst, besonders rechenaufwandintensive Algorithmen in Echtzeit auf dem Steuergerät zu berechnen.
Gemäß einer weiteren vorteilhaften Ausführungsform sind derartige Hardware-Rechenbeschleuniger über mindestens eine Schnittstelle mit der frei programmierbaren Recheneinheit verbunden. Durch entsprechende Ansteuerung und Organisation ausgehend vom Betriebssystem und auf die fest verdrahtete Logik angepasste Gerätetreiber können diese Rechenbeschleuniger dann besonders effizient in die gesamte Datenkommunikation und Synchronisation, insbesondere in Abstimmung mit den Anwendungen auf dem Steuergerät, integriert werden. Hier ist auch vorteilhaft, dass die Ansteuerung der fest verdrahteten Logik durch die angepassten Gerätetreiber abstrahiert ist. Dadurch ist es nicht notwendig, dass die Anwendung auf dem Steuergerät die Hardware-Rechenbeschleuniger und die weiteren Funktionen der festverdrahteten Logik direkt ansteuert, was die Anwendungen einfacher und sicherer macht.
Vorteilhafterweise kann ferner der Bildsensor mit einer Bildaufnahmeeinheit verbunden sein. In der Bildaufnahmeeinheit können Daten der Bildsensoren gegebenenfalls zwischengespeichert und vorverarbeitet werden, bevor sie an die Hardware-Rechenbeschleuniger und die Schnittstellen zur programmierbaren Recheneinheit weitergeleitet werden.
Des Weiteren kann die programmierbare Recheneinheit des Steuergeräts auch ein oder mehrere Module Anwendung Steuergerät aufweisen, in dem bestimmte Software-Funktionen des Steuergerätes zusammengefasst sind.
Das neuerungsgemäße Kamerasystem besteht aus mindestens einem wie vorstehend beschriebenen Steuergerät und einer weiteren mit dem Steuergerät über eine Ausgabe-Schnittstelle zum Datenaustausch, zur Datenauswertung und/oder zur Steuerung verbundenen EDV-Einheit, insbesondere einem zentralen Steuergerät, einer Servereinheit und/oder einem Personal Computer. Dabei können die Software-Algorithmen, welche z.B. die Bildverarbeitung der Daten der Bildsensoren übernehmen, einerseits auf dem Steuergerät oder aber auch auf der EDV-Einheit angesiedelt sein, wobei auch ein Teil der Algorithmen im Steuergerät und ein Teil in der separaten EDV-Einheit lokalisiert sein kann.
Hierdurch können z.B. kundenspezifische Algorithmen und Funktionen sowohl direkt auf dem Steuergerät als auch auf der EDV-Einheit ausgeführt werden.
Die Neuerung ist anhand eines Ausführungsbeispiels in der Zeichnungsfigur weiter erläutert.
Das abgebildete Steuergerät 1 weist Bildsensoren 2 auf, die über eine Bildaufnahmeeinheit 11 (Bestandteil einer fest verdrahteten Logik 4) und Schnittstellen 10 mit einer programmierbaren Recheneinheit 3 verbunden sind auf welcher die Software ausgeführt wird. Die Software besteht aus einem Betriebssystem 5 und mindestens einer Anwendung Steuergerät 13. Das Betriebssystem 5 besitzt ein Modul zum Datenaustausch, zur Datenauswertung und/oder zur Steuerung mit einer weiteren EDV-Einheit (nicht abgebildet) über die Ausgabe-Schnittstelle 6.
Die Schnittstellen 10 können einzelne Schnittstellen für Daten, Konfiguration und Synchronisation enthalten. Bei der Daten-Schnittstelle greifen die Module der festverdrahteten Logik 4 auf Ressourcen innerhalb der programmierbaren Recheneinheit 3 und auf den Speicher 7 lesend und schreibend zu. Bei der Konfigurations-Schnittstelle greifen Funktionen des Betriebssystems 5 und mittelbar auch die Anwendungen auf Konfigurations-Register und Speicher der Module innerhalb der festverdrahteten Logik 4 lesend und schreibend zu. Die Synchronisations-Schnittstelle kann bidirektional sein. Die Synchronisations-Signale von den Modulen der festverdrahteten Logik 4 können besonders vorteilhaft mit dem Interrupt-Kontroller der programmierbaren Recheneinheit 3 verbunden und so in das Betriebssystem 5 eingebunden sein.
Ferner besitzt das Steuergerät 1 eine optionale weitere Ausgabe-Schnittstelle 8 zur Ansteuerung von anschließbaren Sensoren und/Aktoren, insbesondere von Fahrzeugen, mobilen Robotern oder Maschinen. Letztere sind ebenfalls nicht abgebildet.
Innerhalb der Logik 4 befinden sich die erwähnten Hardware-Rechenbeschleuniger 9, welche besonders effizient Berechnungen auf den Bilddaten der Bildsensoren 2 und weiteren Daten durchführen können und dem Betriebssystem 5 bereitstellen. Das Betriebssystem 5 beinhaltet auch die Verwaltung des Speichers 7, in dem Daten, insbesondere der Hardware-Rechenbeschleuniger 9 und der programmierbaren Recheneinheit 3, abgespeichert sind.
Die gesamten Recheneinheiten/Logik des Steuergeräts 1 sind hochintegriert als SOC-Einheit 12 ausgeführt.
Bezugszeichenliste

1: Steuergerät
2: Bildsensor
3: programmierbare Recheneinheit
4: fest verdrahtete Logik/Recheneinheit
5: Betriebssystem
6: Ausgabe-Schnittstelle
7: Speicher
8: Ausgabe-Schnittstelle
9: Hardware-Rechenbeschleuniger
10: Schnittstellen
11: Bildaufnahmeeinheit
12: SoC-Einheit (System-On-Chip-Einheit)
13: Modul Anwendung Steuergerät

Claims

Steuergerät (1) mit Bildauswertung, insbesondere zur Steuerung eines Fahrzeugs, eines mobilen Roboters oder einer Maschine, aufweisend: - mindestens einen Bildsensor (2) zur Erfassung von Bilddaten, - eine programmierbare Recheneinheit (3) zur Auswertung von Daten des Bildsensors (1), - eine fest verdrahtete Logik (4) zur Auswertung von Daten des Bildsensors (1), - ein Betriebssystem (5) zur Koordination und Steuerung sowohl der programmierbaren Recheneinheit (3) als auch der fest verdrahteten Logik (4) sowie - mindestens einer Ausgabe-Schnittstelle (6) zum Datenaustausch der aufgenommenen Daten des Steuergeräts (1) und/oder zur Steuerung des Steuergeräts (1).
Steuergerät nach Anspruch 1, mit einem Speicher (7) zur Speicherung von Bilddaten des Bildsensors (2), Rechendaten der programmierbaren Recheneinheit (3) und/oder Rechendaten der fest verdrahteten Logik (4).
Steuergerät nach einem der Ansprüche 1-2, wobei die programmierbare Recheneinheit (3) und die fest verdrahtete Logik (4) auf einem gemeinsamen Silizium-Chip implementiert sind.
Steuergerät nach einem der Ansprüche 1-3, mit mindestens einer weiteren Ausgabe-Schnittstelle (8) zur Ansteuerung von Sensoren und/oder Aktoren, insbesondere von Fahrzeugen, mobilen Robotern oder Maschinen.
Steuergerät nach einem der Ansprüche 1-4, wobei die fest verdrahtete Logik (4) mindestens einen Hardware-Rechenbeschleuniger (9) aufweist.
Steuergerät nach Anspruch 5, wobei der Hardware-Rechenbeschleuniger (9) über mindestens eine Schnittstelle (10) mit dem Betriebssystem (5) verbunden ist.
Steuergerät nach einem der Ansprüche 1-6, wobei der Bildsensor (2) mit einer Bildaufnahmeeinheit (11) verbunden ist.
Steuergerät nach einem der Ansprüche 1-7, wobei die Software auf der programmierbaren Recheneinheit (3) eine Anwendung Steuergerät (13) beinhaltet.
Steuergerät nach Anspruch 8, wobei die Anwendung Steuergerät (13) eine Ablaufsteuerung und Software-Funktionen beinhaltet und diese Software-Funktionen anhand von Funktionen des Betriebssystems (5) mit der Bildaufnahmeeinheit (11) synchronisierbar sind.
Steuergerät nach Anspruch 9, wobei die Anwendung Steuergerät (13) zusätzlich Funktionen beinhaltet die asynchron zur Bildaufnahmeeinheit (11) ausführbar sind.
Kamerasystem, bestehend aus mindestens einem Steuergerät (1) gemäß einem der Ansprüche 1-10, und einer weiteren mit dem Steuergerät (1) über eine Ausgabe-Schnittstelle (6) zum Datenaustausch, zur Datenauswertung und/oder zur Steuerung verbundenen EDV-Einheit, insbesondere einer Servereinheit und/oder einem Personal Computer.