DE102004061807A1 - Bilderfassungssystem - Google Patents

Bilderfassungssystem Download PDF

Info

Publication number
DE102004061807A1
DE102004061807A1 DE102004061807A DE102004061807A DE102004061807A1 DE 102004061807 A1 DE102004061807 A1 DE 102004061807A1 DE 102004061807 A DE102004061807 A DE 102004061807A DE 102004061807 A DE102004061807 A DE 102004061807A DE 102004061807 A1 DE102004061807 A1 DE 102004061807A1
Authority
DE
Germany
Prior art keywords
image
partial
images
sub
partial images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102004061807A
Other languages
English (en)
Inventor
Ulrich Seger
Matthias Franz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102004061807A priority Critical patent/DE102004061807A1/de
Publication of DE102004061807A1 publication Critical patent/DE102004061807A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Bilderfassungssystem mit wenigstens einem Bildsensor 10, das Mittel für die Spezifikation und Extraktion von Teilbildern oder Gruppen von Teilbildern, Mittel für Fehlerspezifikation und -detektion sowie Mittel für die Spezifikation von Vorverarbeitungsschritten und deren Anwendung auf die Teilbilder und/oder Gruppen von Teilbildern umfasst. Weiterhin betrifft die Erfindung ein Verfahren für die Steuerung eines Bilderfassungssystems.

Description

  • Die Erfindung betrifft ein Bilderfassungssystem nach dem Oberbegriff des Anspruchs 1 und ein Verfahren für die Steuerung eines Bilderfassungssystems nach dem Oberbegriff des Anspruchs 6.
  • Bei modernen Bilderfassungssystemen, die insbesondere als Bestandteil von Fahrerassistenzsystemen in Kraftfahrzeugen eingesetzt werden, besteht das Bedürfnis, Signalverarbeitungskapazitäten vorzusehen, die ein individuelles Auslesen von Teilbildern und oder Gruppen von Teilbildern bzw. eine Anpassung des Regelverhaltens des Bilderfassungssystems an individuelle Teilbilder oder Gruppen von Teilbildern erlauben. Oft benötigen mehrere, parallel laufende Applikationen gleichzeitig die jeweils für sie interessanten Teilbilder. Im Fahrzeugbereich ist es beispielsweise denkbar, dass ein Spurverlassenswarner und ein Verkehrszeichenerkennungssystem auf unterschiedliche Teilbilder der gleichen Kamera zugreifen. Für einen sicheren Betrieb dieser Applikationen ist es von großer Bedeutung, eventuell auftretende Bildfehler in diesen Teilbildern zu detektieren und diese an die jeweilige Applikation weiterzumelden. Da jede Applikation unterschiedlich auf Bildfehler reagieren kann, wäre es wünschenswert, wenn die zu detektierenden Bildfehler und die zugehörigen Detektionsschwellen für jedes Teilbild individuell konfiguriert werden könnten.
  • Aus DE 102 01 520 A1 sind ein Verfahren und eine Vorrichtung zur Bildfehlererkennung bzw. -anzeige bei Bildaufnahmesystemen bekannt, wobei eine Selbstdiagnosefunktion vorgesehen ist, die Bildfehler erkennt und klassifiziert. Das Bildaufnahmesystem gibt Fehlersignale aus, welche das Vorhandensein des Bildfehlers und die Art des Bildfehlers anzeigen.
  • Aus EP 1 074 430 A1 ist weiterhin ein Bildaufnahmesystem bekannt, bei dem analoge Bilddaten in digitale Bilddaten umgewandelt und diese in einem Speicher gespeichert werden. In Abhängigkeit von den gespeicherten Daten wird ein Bildsensor des Bildaufnahmesystems gesteuert, um die Empfangsqualität, insbesondere die Helligkeit zu verbessern.
  • Vorteile der Erfindung
  • Das Bilderfassungssystem mit den Merkmalen des Anspruchs 1 stellt ein Bilderfassungssystem bereit, das jedem Benutzer eine frei definierbare Menge von Teilbildern liefert. Dabei kann für jedes Teilbild eine Vorverarbeitung individuell konfiguriert werden. Insbesondere kann auch die Art der zu entdeckenden Bildfehler für jedes Teilbild gesondert festgelegt werden. Dadurch können mehrere Applikationen gleichzeitig auf Teilbilder derselben Kamera zugreifen und gleichzeitig die für die jeweilige Applikation optimalen Fehlerdetektions- und Vorverarbeitungsverfahren eingesetzt werden. Weiterhin ist auch die Reihenfolge der Auslesung von Teilbildern individuell steuerbar. Besonders vorteilhaft sind auch Mittel für die Speicherung von Teilbildern und/oder Steuerparametern für die Teilbilder vorgesehen. Besonders vorteilhaft ist der Einsatz eines adressierbaren Bildsensors, da Teilbilder durch selektive Steuerung des Bildsensors erzeugbar sind.
  • Das Verfahren für die Steuerung eines Bilderfassungssystems mit den Merkmalen des Anspruchs 6 ermöglicht auf vorteilhafte Weise die Erzeugung individuell definierbarer Teilbilder aus dem von einem Bildsensor bereit gestellten Bild eines Erfassungsbereichs des Bilderfassungssystems. In vorteilhaften Ausführungsvarianten kann, angepasst an die jeweilige Erfassungsaufgabe, die Spezifikation der Teilbilder zeitlich konstant oder zeitlich variabel, insbesondere periodisch veränderbar gesteuert werden. Individuelle Teilbilder oder Gruppen von Teilbildern können in einer Ausführungsvariante des Verfahrens vorteilhaft aus einem einzigen Vollbild eines Bildsensors extrahiert werden. Bei noch flexibler steuerbaren Verfahren sind die Teilbilder individuell belichtbar. Besonders vorteilhaft können die Größe und/oder die Lage eines Teilbilds oder einer Gruppe von Teilbildern individuell festgelegt werden. Dadurch ist eine optimale Anpassung an spezifische Erfassungsaufgaben möglich. Besonders vorteilhaft können für jedes Teilbild Fehlerarten und Vorverarbeitungsschritte spezifiziert werden, wodurch eine optimale Bildqualität erzielbar ist.
  • Weitere Vorteile ergeben sich aus den Unteransprüchen.
  • Zeichnung
  • Ausführungsbeispiele der Erfindung werden nachfolgend unter Bezug auf die Zeichnung beschrieben. Dabei zeigt
  • 1 ein Blockschaltbild eines Teils eines Bilderfassungssystems;
  • 2 ein weiteres Blockschaltbild eines Teils eines Bilderfassungssystems;
  • 3 eine schematische Darstellung von Teilbildern und deren Größe.
  • Beschreibung der Ausführungsbeispiele
  • In der folgenden Beschreibung und in den Ansprüchen ist unter dem Begriff „Teilbild" zunächst ein einziges Teilbild aber auch immer eine Gruppe von Teilbildern mit übereinstimmenden Eigenschaften zu verstehen. Das in 1 dargestellte Blockschaltbild stellt eine Baugruppe 100 eines Bilderfassungssystems dar. Das Bilderfassungssystem umfasst wenigstens einen Bildsensor 10, dessen Ausgangssignale der Baugruppe 100 zugeleitet werden. Mit dem Bildsensor 10 ist ein Funktionsmodul 1 verbinden, das die Spezifikation von Teilbildern aus dem von dem Bildsensor 10 bereitgestellten Gesamtbild seines Erfassungsbereichs ermöglicht. Das Funktionsmodul 1 ist mit einem Funktionsmodul 2 verbunden, das die Extraktion von Teilbildern gemäß der in dem Funktionsmodul 1 festgelegten Spezifikation aus dem von dem Bildsensor 10 bereitgestellten Gesamtbild bewirkt. Weiterhin umfasst die Baugruppe 100 ein Funktionsmodul 3 für die Anwendung von Fehlerdetektionsmechanismen und ein weiteres Funktionsmodul 4 für die Anwendung von Vorverarbeitungsverfahren. Schließlich ist ein weiteres Funktionsmodul 5 als Schnittstelle für nachfolgende Verarbeitungsstufen des Bilderfassungssystems vorgesehen.
  • Im Folgenden wird die Funktionsweise der Baugruppe 100 beschrieben. Über das erste Funktionsmodul 1 kann ein Benutzer des Bilderfassungssystems die Position und die Größe eines gewünschten Teilbildes spezifizieren. Als ein Extremwert ist dabei selbstverständlich auch ein Teilbild zugelassen, das der gesamten zur Verfügung stehenden Pixelfläche des Bildsensors 10, also praktisch einem Vollbild entspricht. Bei anderen Auswahlvarianten können Teilbilder spezifiziert werden, die nur noch einem kleinen Bruchteil der gesamten Pixelfläche entsprechen. Die Festlegung von Anzahl und Position der Teilbilder ist in das Belieben des Benutzers gestellt, der diese Festlegung zweckmäßig nach dem jeweils relevanten Bildinhalt treffen kann. Eine große Flexibilität ergibt sich dadurch, dass die gewählte Spezifikation zeitlich konstant bleibend oder zeitlich variabel wählbar ist. Zeitlich konstant bedeutet in diesem Zusammenhang, dass eine einmal gewählte Spezifikation bezüglich der Anzahl und Größe der Teilbilder und ihrer jeweiligen Position zumindest für eine vorgebbare Zeit konstant bleibt. Zeitlich variabel bedeutet andererseits, dass sich eine zuvor gewählte Spezifikation in einem vorgebbaren Zeitrythmus ändern kann. So kann sich beispielsweise eine gewählte Spezifikation auch periodisch ändern. Beispielsweise kann ein Vollbild periodisch auf eine Teilbilddarstellung mit insgesamt vier Teilbildern umgeschaltet werden, die das Vollbild in vier Quadranten aufteilen. Hierbei sind weiterhin Varianten möglich, bei denen jedes Teilbild aus einem gemeinsam belichteten Vollbild ausgeschnitten wird oder bei denen eine Anzahl von Teilbildern oder auch jedes Teilbild individuell belichtet wird. Die Extraktion der mittels des Funktionsmoduls 1 spezifizierten Teilbilder erfolgt durch das Funktionsmodul 2. Lediglich beispielhaft sind in 1 drei Teilbilder 2.1, 2.2, 2.3 angedeutet, die das Funktionsmodul 2 gemäß einer durch das Funktionsmodul 1 definierten Spezifikation extrahiert hat. In einem weiteren Bearbeitungsschritt kann für alle Teilbilder, eine Auswahl von Teilbildern oder auch jedes Teilbild individuell festgelegt werden, ob in dem jeweiligen Teilbild überhaupt Bildfehler detektiert werden sollen oder nicht. Falls Bildfehler detektiert werden sollen, kann weiterhin zusätzlich festgelegt werden, welche Bildfelder erfasst werden sollen. Als störende Bildfehler kommen dabei insbesondere Belichtungsfehler, Verrauschung, Kontrastverlust und Unschärfe in Betracht. Typische Bildfehler können vorteilhaft durch eine Analyse der Grauverteilung in dem jeweils betrachteten Teilbild erfasst werden. Abgesehen von der Art der zu detektierenden Bildfehler können vorteilhaft Schwellwerte festgelegt werden. Ein Überschreiten des vorgebbaren Schwellwerts bedeutet dann ein potentielles Versagen der jeweiligen Applikation. Aus Sicherheitsgründen werden daher die Schwellwerte zweckmäßig so angesetzt, dass ein möglichst weiter Wertebereich für eine einwandfreie Funktion des Bilderfassungssystems mit hinreichend großem Sicherheitsabstand zu einem nicht mehr akzeptablen Grenzwert eingehalten wird. Besonders vorteilhaft kann eine drohende Annäherung an die Schwellwerte auch rechtzeitig weitergemeldet werden, um beispielsweise eine Warneinrichtung zu aktivieren. Selbstverständlich ist es auch möglich, in dem jeweiligen Teilbild erfasste Messwerte auch ständig weiterzumelden, um dem Benutzer des Bilderfassungssystems jederzeit eine Beurteilung der Bildqualität zu ermöglichen. So können beispielsweise der momentane Rauschpegel und/oder der momentane Grad der Unschärfe und/oder weitere Messwerte ständig weitergegeben werden, auch wenn die vorstehend erwähnten Schwellwerte noch nicht erreicht sind. Die Fehlerspezifikation wird mittels des Funktionsmoduls 3 festgelegt. Dieses Funktionsmodul 3 bestimmt also, auf welches der Teilbilder die Fehlerspezifikation angewandt wird. Das bedeutet, bei welchem Teilbild überhaupt eine Fehlerdetektion stattfindet und welche Fehler detektiert werden sollen. Hierunter fallen selbstverständlich auch Ausführungsvarianten, bei denen nur eine vorgebbare Anzahl von Teilbildern, ggf. nur ein Teilbild auf Fehler untersucht werden sollen. Weiterhin sind Ausführungsvarianten denkbar, bei denen bei bestimmten Teilbildern nur bestimmte vorgebbare Bildfehler festgestellt werden sollen. Eine Optimierung hinsichtlich der zu erwartenden Bildinhalte kann hierbei beträchtliche Rechnerleistung sparen. In dem vorliegenden Beispielsfall ist angedeutet, dass eine Fehlerdetektion nur auf die Teilbilder 2.1 und 2.2 angewandt wird. Und zwar wird auf das Teilbild 2.1 die Fehlerspezifikation 3.1 angewandt, während das Teilbild 2.2 der Fehlerspezifikation 3.2 unterzogen wird. Wie schon zuvor erwähnt, können dabei die Fehlerspezifikationen 3.1 und 3.2 durchaus unterschiedlich sein.
  • In einem weiteren Schritt ist die Möglichkeit vorgesehen, die Bildsignale eines jeweiligen Teilbilds einem Vorverarbeitungsprozess zuzuführen. Eine nicht abschließende Darstellung derartiger Vorverarbeitungsprozesse umfasst insbesondere eine Kontrastmaximierung durch Spreizung und Verschiebung des Grauwertebereichs, die Anwendung einer nichtlinearen Kennlinie auf die grauwerte, die Skalierung des Teilbilds, eine Kantenfilterung, eine Filterung zum Zwecke der Kontrastverstärkung, eine Rauschunterdrückung, eine Entzerrung. Dabei können die vorerwähnten Verfahrensschritte einzeln oder auch in einer vorbestimmbaren Kombination angewendet werden. Vorteilhaft können dabei auch Gruppen von Teilbildern oder individuelle Teilbilder unterschiedlichen Vorverarbeitungsschritten unterzogen werden. Dies schließt auch die Variante ein, dass auf ein Teilbild keine Vorverarbeitung angewandt wird. Für die Auswahl und Anwendung der zuvor beschriebenen Vorverarbeitungsschritte ist ein Funktionsmodul 4 vorgesehen. In dem in 1 dargestellten Ausführungsbeispiel ist angedeutet, dass das Teilbild 2.1 und das Teilbild 2.3 einer Vorverarbeitung unterzogen werden, während das Teilbild 2.2 zwar einer Fehlerdetektion aber keiner nachfolgenden Vorverarbeitung unterzogen wird.
  • In einem weiteren Schritt schließlich werden die vorverarbeiteten und nicht vorverarbeiteten Teilbilder zusammen mit den ermittelten Fehlerangaben, einem weiteren Funktionsmodul 5 zugeleitet. Dieses Funktionsmodul wirkt im Wesentlichen als Schnittstelle die die vorverarbeiteten Bilddaten an eine nachfolgende Applikation und/oder an einen Benutzer weitergibt. Zweckmäßig können hier auch standardisierte Schnittstellenparameter implementiert werden.
  • Im Folgenden wird, unter Bezug auf 2 und 3 eine vorteilhafte Anwendung der Erfindung bei einem flexibel einsetzbaren Bilderfassungssystem mit einer Mehrbildkamera beschrieben. Moderne Bilderfassungssysteme arbeiten häufig mit mehreren Bildausschnitten aus einem einzigen Kamerabild. Diese sind entweder fest eingestellt (z.B. der im Bild sichtbare Fahrbahnbereich) oder werden durch ein Objekterkennungssystem der momentanen Situation entsprechend ausgewählt (z.B. Bildbereiche mit detektierten Fahrbahnrändern oder durch ein Stereosystem detektierte Hindernisse). Dabei stellt sich das Problem, dass die Belichtungssteuerung der Kamera entweder so eingestellt wird, dass nur einer der momentan verwendeten Bildausschnitte mit einem optimalen Kontrast abgebildet wird oder aber ein Kompromiss zwischen den oft widerstreitenden Belichtungserfordernissen der Teilbilder gefunden werden muss. In beiden Fällen werden zumindest einige der verwendeten Teilbilder nicht optimal oder sogar falsch belichtet. Wünschenswert wäre daher eine individuelle Einstellung der Belichtung für jedes einzelne Teilbild. Dem Benutzer des Bilderfassungssystems wird daher ein frei wählbares Ensemble von Teilbildern des durch die Kamera abgebildeten Bildbereichs zur Verfügung gestellt, bei dem die Belichtung jedes einzelnen Teilbilds individuell geregelt wird. In einer weiteren Ausführungsvariante ist vorteilhaft vorgesehen, dass sowohl eine zeitliche als auch eine räumliche Unterabtastung für jedes einzelne Teilbild einstellbar ist. In einer weiteren Ausführungsvariante ist auch noch die Form des Teilbilds durch den Benutzer festlegbar. Eine optimale Darstellung der Teilbilder wird durch eine dynamische Festlegung der Belichtungsreihenfolge für die einzelnen Teilbilder erreicht. Dazu wird dem Bilderfassungssystems eine Teilbildkennung übergeben, die die gewünschte Bildgröße des Teilbilds und dessen Lage umfasst. Weiterhin kann die Teilbildkennung vorteilhaft noch Unterabtastfaktoren sowie ggf. weitere Parameter, die beispielsweise die Form des Teilbilds betreffen, umfassen. Aus der Anzahl und der Größe der Teilbilder und den zeitlichen Unterabtastfaktoren der eingestellten Teilbilder ergibt sich dann eine Abarbeitungsreihenfolge für die jeweiligen Teilbilder.
  • Die Voraussetzung dafür ist der Einsatz eines Bildsensors mit einer hinreichend großen Bildwiederholrate und einem adressierbaren Bildbereich in Verbindung mit einer Signalverarbeitungseinrichtung, die die gewünschten Teilbilder aus dem Gesamtbild extrahiert und an eine weiterverarbeitende oder darstellende Einheit weiterleitet oder für eine spätere Benutzung speichert. Gleichzeitig ermittelt diese Signalverarbeitungseinrichtung die erforderlichen Regelparameter, wie insbesondere elektrische Verstärkung (Gain), Integrationszeit und Offset, um das jeweilige Teilbild mit einem optimalen Kontrast darstellen zu können. Die für jedes Teilbild ermittelten Regelparameter werden vorteilhaft zwischengespeichert und zu Beginn des Belichtungsvorgangs gesetzt, sobald das Teilbild in der Abarbeitungsreihenfolge der Teilbilder wieder an der Reihe ist.
  • Pro neu eingehendes Bild kann so jeweils nur ein Teilbild verarbeitet werden. Da moderne Bildsensoren aber nicht an die bisherigen analogen Videoformate gebunden sind, erlauben diese eine höhere Bildwiederholfrequenz, insbesondere bei kleineren Bildausschnitten. Somit kann eine ähnliche oder sogar höhere Verarbeitungsgeschwindigkeit wie bei einem konventionellen Bilderfassungssystem erreicht werden, bei dem ein Teilbild erst nachträglich aus dem Gesamtbild gewonnen wird. Ein großer Vorteil ergibt sich daraus, dass jedes Teilbild individuell so belichtet werden kann, dass die darin enthaltene Bildinformation mit einem optimalen Kontrast abgebildet wird. Damit entfallen die genannten Nachteile bisheriger Systeme, bei denen Teilbilder mit schlechtem Kontrast vorkommen. Eine vorteilhafte Ausführungsvariante der Erfindung wird im Folgenden noch ausführlicher unter Bezug auf 2 beschrieben. In 2 ist als Blockschaltbild ein Teil eines Bilderfassungssystems dargestellt. Das Blockschaltbild zeigt zunächst wiederum einen Teil der schon aus 1 bekannten Komponenten oder Funktionsmodule. Als Bildsensor 10 ist jetzt ein adressierbarer Bildsensor vorgesehen. Ein adressierbarer Bildsensor erlaubt ein nur teilweises Auslesen seines Sensorarrays. Je nach Bauweise des Bildsensors ist damit auch eine teilweise Belichtung verbunden, wie z.B. bei einigen CMOS-Sensoren mit linearer Belichtungsempfindlichkeit. Die Zeit, die zum Auslesen und ggf. zum Belichten der einzelnen Teilbilder benötigt wird, bestimmt die maximal erreichbare Bildwiederholrate des Bilderfassungssystems. Das Bilderfassungssystem umfasst weiterhin ein Funktionsmodul 1 für die Spezifikation der Eigenschaften von Teilbildern. Das Funktionsmodul 1 ist mit einem Funktionsmodul 20 verbunden, das die Reihenfolge der Auslesung von Teilbildern regelt. Das Funktionsmodul 20 ist mit einem Funktionsmodul 21 verbunden, das mehrere, weiter unten noch erläuterte Steuerfunktionen erfüllt. Das Funktionsmodul 21 seinerseits ist mit dem Bildsensor 10, einem Funktionsmodul 2 für das Auslesen von Teilbildern und einem Funktionsmodul 24 für die Speicherung von Regelparametern verbunden. Das Funktionsmodul 2 ist weiterhin mit einem Funktionsmodul 22 für die Berechnung von Regelparametern und einem Funktionsmodul 23 für die Zwischenspeicherung von Teilbildern verbunden. Schließlich ist das Funktionsmodul 23 mit dem eine Schnittstellenfunktion ausübenden Funktionsmodul 5 verbunden.
  • Im Folgenden wird die Funktionsweise dieses Ausführungsbeispiels beschrieben, wobei zusätzlich auf die Darstellung in 3 verwiesen wird. Der Bildsensor 10 erfasst Objekte aus dem Erfassungsbereich des Bilderfassungssystems und wandelt dabei optische Signale in elektrische Signale um. Bei dem Bildsensor 10 handelt es sich vorzugsweise um eine CMOS-Kamera mit matrixartig angeordneten Pixeln. Vorzugsweise handelt es sich weiterhin um einen adressierbaren Bildsensor, bei dem es möglich ist, entweder alle Pixel oder auch nur einen Teil der Pixel gezielt auszulesen. Für eine optimale Wiedergabe von ggf. ausgewählten Teilbildern ist die Reihenfolge der Auslesung dieser Teilbilder von Bedeutung. Wird keine zeitliche Unterabtastung gefordert, und bleibt auch die Größe der definierten Teilbilder, beispielsweise des Teilbilds 1, über die Zeit gesehen konstant (angedeutet in 3a mit „Teilbild 1-feste Größe"), ist die Reihenfolge der Auslesung eines Teilbilds auf einfache Weise festgelegt. Die Teilbilder werden einfach sequentiell, das heißt, nacheinander, abgearbeitet. Ggf. wird an das letzte Teilbild noch eine Austastzeit angehängt, um eine festgelegte Bildwiederholrate zu erreichen, die kleiner als die maximal erreichbare Bildwiederholrate ist. Falls die Größe eines Teilbilds zeitabhängig veränderlich sein soll, was zum Beispiel für das Verfolgen eines dreidimensionalen Objekts notwendig ist, wird für dieses Teilbild zweckmäßig eine Maximalgröße festgelegt (angedeutet in 3a als „Teilbild 2 variable Größe/Maximalgröße"). Falls hierbei die aktuell geforderte Bildgröße des Teilbilds kleiner sein soll, so muss auch hier zum Erreichen einer konstanten Bildwiederholrate eine Austastzeit vor dem Auslesen des nächsten Teilbilds angehängt werden, die dem Unterschied zur der benötigten Auslesezeit bei maximaler Bildgröße entspricht. Wird n Teilbilder zusätzlich eine zeitliche Unterabtastung um den Faktor m festgelegt, dann wird das Auslesen dieser Teilbilder sinnvollerweise auf einander folgende Belichtungszyklen verteilt (Teilbilder 3 und 4 in 3a). Für jede Gruppe aus m Teilbildern legt dabei das jeweils größte Teilbild die Auslesezeit fest. Bei ggf. vorhandenen kleineren Teilbildern muss auch hier eine entsprechende Austastlücke angehängt werden. Mit Hilfe des Funktionsmoduls 1 werden, für jedes gewünschte Teilbild, vorteilhaft wenigstens die im Folgenden beschriebenen Parameter festgelegt. Zunächst wird eine Kenngröße festgelegt, bei der es sich beispielsweise um eine fortlaufende Kennzahl handelt. Diese Kenngröße ist spezifisch für ein ganz bestimmtes Teilbild und dient der Identifizierung dieses Teilbilds. Diese Kenngröße wird insbesondere dann benötigt, wenn sich die Größe und/oder die Position des Teilbildes in Abhängigkeit von der Zeit ändern. Dies findet beispielsweise beim Tracking eines Objekts statt. Die Zuordnung einer derartigen Kenngröße zu einem bestimmten Teilbild ermöglicht dann auch eine eindeutige Zuordnung von Regelparametern zu diesem Teilbild. Weiterhin können Höhe und Breite des Teilbilds spezifiziert werden, und, falls die Größe des Teilbilds auch noch zeitabhängig ist, die maximal erlaubte Größe des Teilbilds. Weiterhin kann die Position des Teilbilds spezifiziert werden. Und schließlich können ein räumlicher Unterabtastfaktor und/oder ein zeitlicher Unterabtastfaktor definiert werden. Bei jeder Änderung der maximalen Bildgröße und des zeitlichen Unterabtastfaktors muss die Ausführungsreihenfolge durch das Funktionsmodul 20 neu ermittelt werden. Ist nun statt eines rechteckigen Teilbilds eine beliebig gestaltete und ggf. auch variable Form des Teilbilds vorgesehen, so kann diese Form vorzugsweise über eine Liste der Eckpunkte eines diese Form möglichst genau annähernden Polygons beschrieben werden. Für dieses Polygon muss dann wiederum ein umschreibendes Rechteck ermittelt werden, um den oben dargestellten Ablauf der Abarbeitungsreihenfolge zu ermöglichen. Das Funktionsmodul 21 steuert in der in 2 dargestellten Baugruppe eines Bilderfassungssystems wichtige Abläufe. So steuert das Funktionsmodul 21 aufgrund der von dem Funktionsmodul 20 ermittelten Auslesereihenfolge, welcher Bildausschnitt momentan ausgelesen, ggf. räumlich unterabgetastet, an das Funktionsmodul 22 für die Berechnung von Regelparametern, sowie letztlich an das eine Schnittstellenfunktion ausübende Funktionsmodul 5 weitergeleitet wird. Bevor das Teilbild ausgelesen wird, werden die zuvor für dieses Teilbild ermittelten Regelparameter (z.B. Integrationszeit, Verstärkung, Offset) gesetzt und ggf. der Belichtungsvorgang eingeleitet.
  • Aus der Grauwertverteilung des momentan gültigen Bildausschnitts oder Teilbilds werden dann die optimalen Regelparameter berechnet. Dazu gehört z.B. ein Verstärkungsfaktor, der den Schwerpunkt der Grauwertverteilung des Teilbilds in die Mitte des Grauwertebereichs bringt. Die berechneten Regelparameter müssen zusammen mit der oben schon beschriebenen Kenngröße des Teilbilds gespeichert werden, bis das entsprechende Teilbild wieder an der Reihe ist. Für diese Speicherung ist das Funktionsmodul 24 vorgesehen. Ist statt eines rechteckigen Teilbilds eine beliebig gestaltete Form des Teilbilds vorgesehen, dann werden für die Berechnung der Regelparameter zweckmäßig nur Grauwerte aus der gewünschten Ausschnittform für das Teilbild verwendet. Durch das Funktionsmodul 5, das eine Schnittstellenfunktion hat, werden die Teilbilder am Ende eines Durchlaufs zu einem definierten Zeitpunkt zur weiteren Benutzung weitergeleitet. Teilbilder mit zeitlicher Unterabtastung werden hier, bzw. in dem Funktionsmodul 23 zwischengespeichert, so dass sich deren Bildinhalt innerhalb des vorgegebenen Abtastintervalls nicht verändert. Ist anstelle eines rechteckigen Teilbilds eine beliebig gestaltete Form des Teilbilds vorgesehen, so wird an dieser Stelle auch der gewünschte Bildinhalt aus dem umschreibenden Rechteck ausgelesen.
  • In den vorstehend beschriebenen Ausführungsbeispielen sind die Baugruppen, beziehungsweise die Funktionsmodule in den Baugruppen, zum besseren Verständnis, jeweils als diskrete Blöcke dargestellt. Dies bedeutet nicht, dass die Realisierung der in den Funktionsmodulen ablaufenden Funktionen auch in dieser Blockstruktur erfolgen muss. Vielmehr können die Funktionen auch mittels hochintegrierter Schaltungen, insbesondere auch mit digitalen Signalprozessoren, umgesetzt werden.

Claims (24)

  1. Bilderfassungssystem mit wenigstens einem Bildsensor (10), dadurch gekennzeichnet, dass das Bilderfassungssystem Mittel für die Spezifikation und Extraktion von Teilbildern oder Gruppen von Teilbildern (Funktionsmodul 1, Funktionsmodul 2), Mittel für Fehlerspezifikation und -detektion (Funktionsmodul 3), sowie Mittel für die Spezifikation von Vorverarbeitungsschritten und deren Anwendung auf die Teilbilder und/oder Gruppen von Teilbildern (Funktionsmodul 4) umfasst.
  2. Bilderfassungssystem nach Anspruch 1, dadurch gekennzeichnet, dass das Bilderfassungssystem Mittel für die Steuerung der Auslesereihenfolge bei der Extraktion eines Teilbilds oder einer Gruppe von Teilbildern umfasst (Funktionsmodul 20).
  3. Bilderfassungssystem nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass Mittel (Funktionsmodule 23, 24) für die Speicherung von Teilbildern und/oder Regelparametern vorgesehen sind.
  4. Bilderfassungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Schnittstelle (Funktionsmodul 5) für die Bereitstellung von Teilbildern vorgesehen ist.
  5. Bilderfassungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein selektiv adressierbarer Bildsensor (10) vorgesehen ist.
  6. Verfahren für die Steuerung eines wenigstens einen Bildsensor (10), Mittel für die Vorverarbeitung der Ausgangssignale des Bildsensors (10) und eine Schnittstelle für die Weitergabe der vorverarbeiteten Ausgangssignale umfassenden Bilderfassungssystems, dadurch gekennzeichnet, dass aus dem von dem mindestens einen Bildsensor (10) bereitgestellten Bild eines Erfassungsbereichs des Bilderfassungssystems individuell definierbare Teilbilder erzeugt werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Aufteilung in Teilbilder zeitlich konstant gehalten wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Aufteilung in Teilbilder zeitabhängig verändert wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Aufteilung in Teilbilder periodisch verändert wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein oder mehrere Teilbilder aus einem gemeinsamen Vollbild des Bildsensors ausgeschnitten werden.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Teilbild oder eine Gruppe von Teilbildern individuell belichtet wird oder belichtet werden.
  12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Teilbild oder eine Gruppe von Teilbildern durch selektive Steuerung eines adressierbaren Bildsensors (10) erzeugt werden.
  13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die die Größe und die Lage für jedes Teilbild oder eine Gruppe von Teilbildern individuell festgelegt wird.
  14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jedes Teilbild oder eine Gruppe von Teilbildern die Art und Schwere der zu detektierenden Bildfehler festgelegt wird.
  15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Detektion von Bildfehlern Schwellwerte festgelegt werden.
  16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bildfehler durch Analyse der Grauwertverteilung in den einzelnen Teilbildern detektiert werden.
  17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jedes Teilbild oder eine Gruppe von Teilbildern einer Vorverarbeitung unterzogen wird.
  18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Art der auf jedes Teilbild oder jede Gruppe von Teilbildern angewandten Vorverarbeitung für jedes Teilbild oder jede Gruppe von Teilbildern individuell festgelegt wird.
  19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass folgende Voverarbeitungsschritte, einzeln oder in beliebiger Kombination, auf jedes Teilbild oder jede Gruppe von Teilbildern individuell angewandt werden: – Kontrastmaximierung durch Spreizung und Verschiebung des Grauwertebereichs; – Anwendung einer nichtlinearen Kennlinie auf die Grauwerte; – Skalierung des Teilbilds; – Kantenfilterung; – Kontrastverstärkung durch Filterung; – Rauschunterdrückung; – Entzerrung.
  20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den Teilbildern oder Gruppen von Teilbildern Fehlercodes zugeordnet werden, die die Art und/oder Schwere detektierter Bildfehler kennzeichnen.
  21. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass die Teilbilder bzw. Gruppen von Teilbildern an einer insbesondere standardisierten Schnittstelle bereitgestellt werden.
  22. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Reihenfolge der Belichtung für jedes Teilbild oder jede Gruppe von Teilbildern dynamisch festgelegt wird.
  23. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Reihenfolge der Belichtung für jedes Teilbild oder jede Gruppe von Teilbildern durch Eigenschaften des Teilbilds oder der Gruppe von Teilbildern festgelegt wird.
  24. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Parameter für die Belichtungssteuerung für jedes Teilbild und jede Gruppe von Teilbildern durch Eigenschaften des Teilbilds oder der Gruppe von Teilbildern festgelegt wird.
DE102004061807A 2004-12-22 2004-12-22 Bilderfassungssystem Withdrawn DE102004061807A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004061807A DE102004061807A1 (de) 2004-12-22 2004-12-22 Bilderfassungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004061807A DE102004061807A1 (de) 2004-12-22 2004-12-22 Bilderfassungssystem

Publications (1)

Publication Number Publication Date
DE102004061807A1 true DE102004061807A1 (de) 2006-07-06

Family

ID=36590441

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004061807A Withdrawn DE102004061807A1 (de) 2004-12-22 2004-12-22 Bilderfassungssystem

Country Status (1)

Country Link
DE (1) DE102004061807A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020025523A1 (de) * 2018-08-02 2020-02-06 Robert Bosch Gmbh Verfahren und vorrichtung zur analyse eines bildes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020025523A1 (de) * 2018-08-02 2020-02-06 Robert Bosch Gmbh Verfahren und vorrichtung zur analyse eines bildes

Similar Documents

Publication Publication Date Title
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE102013012810A1 (de) Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
DE102005023461A1 (de) Überwachungsvorrichtung
DE102014013446A1 (de) Bildaufnahmevorrichtung und -system und Steuerverfahren für die Bildaufnahmevorrichtung
EP3253045B1 (de) Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
DE102014118314A1 (de) Verfahren zum Anpassen einer Helligkeit eines Hochkontrastbilds, Kamerasystem und Kraftfahrzeug
DE102015119871A1 (de) Verfahren zum Betreiben eines Kamerasystems mit einer Vielzahl von Bildsensorelementen und Kraftfahrzeug
DE102013020952A1 (de) Verfahren zum Einstellen eines für die Helligkeit und/oder für den Weißabgleich einer Bilddarstellung relevanten Parameters in einem Kamerasystem eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102004061807A1 (de) Bilderfassungssystem
DE102010002312A1 (de) Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug
DE102014209863A1 (de) Verfahren und Vorrichtung zum Betreiben einer Stereokamera für ein Fahrzeug sowie Stereokamera für ein Fahrzeug
DE102013011844A1 (de) Verfahren zum Anpassen einer Gammakurve eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102014114328A1 (de) Kraftfahrzeug-Kameravorrichtung mit Histogramm-Spreizung
DE60019813T2 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und fahrzeugüberwachungssystem
WO2000008507A2 (de) Vorrichtung und verfahren zur automatischen fokussierung und belichtung von bildaufnahmesystemen
DE102009017135A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse
DE19938845B4 (de) Videobild-Überwachungsverfahren
DE102011117659B4 (de) Verfahren zum Betreiben einer Bildverarbeitungeinrichtung sowie entsprechende Bildverarbeitungeinrichtung
DE102022002637B3 (de) Kamerasystem und Verfahren zu dessen Betrieb
DE102009043705A1 (de) Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit
DE102019122305A1 (de) Kameravorrichtung und Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs sowie Kraftfahrzeug
DE202016008887U1 (de) Bildverarbeitungseinheit und Computerprogramm zur Erkennung und Korrektur von Bildfehlern
DE102018207976A1 (de) Verfahren und Vorrichtung zum Anzeigen einer Fahrzeugumgebung
DE10031746A1 (de) Verfahren und Anordnung zur Anpassung der Iateralen und zeitlichen Auflösung eines Mikroskopbildes

Legal Events

Date Code Title Description
R012 Request for examination validly filed

Effective date: 20111027

R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee