DE102006023611A1

DE102006023611A1 - Verfahren und Vorrichtung zur pixelsynchronen Bildauswertung eines kamerabasierten Systems

Info

Publication number: DE102006023611A1
Application number: DE102006023611A
Authority: DE
Inventors: Ludwig Ertl; Thorsten Dr. Köhler; Stephan Voltz; Ulrich Wagner
Original assignee: Siemens AG
Current assignee: Continental Automotive GmbH
Priority date: 2006-05-19
Filing date: 2006-05-19
Publication date: 2007-11-22

Abstract

Zur Detektion von Komponenten und Objekten mit einem kamerabasierten System, das beispielsweise in einem Kraftfahrzeug zur Detektion von Fahrzeugen, Verkehrszeichen, Objekten usw. installiert ist, besteht das Problem, dass die Objekterkennung und Darstellung so fühzeitig erfolgen muss, dass der Fahrer des Kraftfahrzeugs rechtzeitig auf die erhaltenen optischen Informationen reagieren kann. Erfindungsgemäß wird daher vorgeschlagen, dass für die von einem Bildsensor (1) gelieferten Pixels (P) eines Orginalbildes (PB) direkt nach dem Auslesen des Bildsensors (1) pixelsynchron und ohne Zischenspeicherung ein Integralbild (SB) und/oder ein Varianzbild (VB) berechnet werden. Dadurch ergibt sich der Vorteil, dass die Auswertung der Bilddaten (BD) erheblich schneller geht, da keine Rechenzeit für ein Zwischenspeichern und erneutes Auslesen der vielen anfallenden Daten benötigt wird. Das Integralbild (SB) und das Varianzbild (VB) sind praktisch pixelsynchron und zeitgleich für die Auswertung verfügbar. Die Weiterverarbeitung der Bilddaten kann somit in vorteilhafter Weise ohne eine besonders schnelle und damit aufwändige Auswerteeinheit (3) durchgeführt werden.

Description

Die Erfindung betrifft ein Verfahren bzw. eine Vorrichtung zur Auswertung von Bilddaten eines Originalbildes eines kamerabasierten Systems nach der Gattung der nebengeordneten Ansprüche 1 und 8. Bildauswertungen von kamerabasierten Systemen, bei denen beispielsweise ein Bildsensor ein Videobild aufnimmt und dieses pixelweise und matrixförmig in Zeilen und Spalten zerlegt, sind bereits in vielfältiger Weise bekannt. Es ist weiterhin bekannt, dass mit einem entsprechenden Auswertealgorithmus von einem aufgenommenen Bildausschnitt automatisch Objekte und Komponenten erkannt und zur Klassifizierung mit gespeicherten Objekten selektiv verglichen werden können. Dadurch kann das erkannte Objekt mit seiner funktionellen Bedeutung gezielt auf einem Display ausgegeben werden.
Bekannt ist des weiteren, dass mit einem kamerabasierten System, das in einem Kraftfahrzeug eingebaut ist, Verkehrsszenen aufgenommen und analysiert werden können. Mit einem solchen System werden beispielsweise Objekte und Komponenten, insbesondere am Verkehr teilnehmende Fahrzeuge, Personen, Verkehrszeichen und andere Objekte individuell detektiert, klassifiziert und an den Fahrer des Fahrzeugs auf einem Monitor ausgegeben. Nachteilig bei der bekannten Technik ist jedoch, dass die Auswertealgorithmen, mit denen die Klassifizierung berechnet wird, sehr komplex und rechenaufwändig ist. Dadurch ist es erforderlich, dass sehr leistungsfähige Recheneinheiten verwendet werden, damit die Rechenzeit nicht so lang wird, dass die ausgegebenen Objekte zu spät angezeigt und vom Fahrer des Fahrzeugs nicht mehr verwertet werden können. Um dieses Problem zu lösen, wurden bereits Methoden zur Bildverarbeitung angewandt. Beispielsweise wurde versucht, durch Kompression der Bildinformationen die Rechenzeit abzukürzen.
Ein wesentliches Problem bei der Bildverarbeitung besteht auch darin, dass die vom Bildsensor gelieferten Pixels zunächst in einem Zwischenspeicher abgelegt werden. Beispielsweise kann die Zeitdauer für die Ablage des vom Bildsensor gelieferten Pixelstromes 20 ms pro Bild betragen. Für das Auslesen aus dem Speicher und die weitere Verarbeitung werden nochmals bis zu 20 ms pro Bild benötigt, so dass allein dieser Speichervorgang insgesamt 40 ms pro Bild benötigt. Da jedoch bei Videoaufnahmen in der Regel 25 Bilder pro Sekunde aufgenommen werden, steht keine weitere Rechenzeit zur Auswertung zur Verfügung, um die Bilddaten auszuwerten.
Um die Rechenzeit für die Auswertung des Bildes zu verkürzen, ist des weiteren bekannt, dass die Auswerteeinheit auf den Bildspeicher zugreift und aus dem Graubild ein Integralbild berechnet. Das Integralbild gibt die Grauwertunterschiede wieder, die durch die einzelnen Pixels vorgegeben werden. Zur Bestimmung der Varianz wurde des weiteren ein Varianzbild ermittelt. Dieses Verfahren bindet erhebliche Ressourcen der Auswerteeinheit und führt aufgrund der sequenziellen Prozessschritte ebenfalls zu einer nicht gewünschten, signifikanten Zeitverzögerung für die Erstellung des Integralbildes und des Varianzbildes.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren bzw. eine Vorrichtung anzugeben, mit der die Auswertung eines Videobildes beschleunigt und dabei die Rechenzeit verkürzt werden kann. Diese Aufgabe wird mit den Merkmalen der nebengeordneten Ansprüche 1 und 8 gelöst.
Bei dem erfindungsgemäßen Verfahren bzw. der Vorrichtung zur Auswertung eines von einem Bildsensor aufgenommenen Originalbildes mit den Merkmalen der Ansprüche 1 und 8 ergibt sich der Vorteil, dass aus dem vom Bildsensor gelieferten Pixelstrom aus den Grauwerten ein Integralbild und ein Varianzbild berechnet werden. Als besonders vorteilhaft wird dabei angesehen, dass die Berechnung während des Auslesen des Bildsensors pixelsynchron und ohne vorherige Zwischenspeicherung er folgt. Dadurch steht sowohl das Integralbild als auch das Varianzbild praktisch zeitgleich für die weitere Auswertung der Bilddaten zur Verfügung. Ein besonders schneller und dadurch aufwändiger Rechner ist für die weitere Auswertung des Originalbildes nicht mehr erforderlich, da das zeitaufwändige Zwischenspeichern und Auslesen der Bilddaten wegfällt.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des in den nebengeordneten Ansprüchen 1 und 8 angegebenen Verfahrens bzw. der Vorrichtung gegeben. Als besonders vorteilhaft wird angesehen, dass das Integralbild durch Aufsummieren der einzelnen Grauwerte der Pixels mit Hilfe einer einfachen Formel berechnet werden kann. Dadurch ist die Berechnung in vorteilhafter Weise sehr schnell durchführbar.
Noch einfacher löst sich der Grauwertinhalt eines beliebigen Rechtecks des Originalbildes berechnen, da für diese Berechnung nur vier Werte des Integralbildes benötigt werden.
Um eine einfache Bildverarbeitung durchführen zu können, ist vorgesehen, dass das Grauwertbild und das Varianzbild nach der Berechnung in Abhängigkeit von den zugeordneten Pixels in einem Speicher abgelegt werden. Dadurch stehen sowohl das Integralbild als auch das Varianzbild praktisch zeitgleich für die weitere Auswertung zur Verfügung.
Für die Berechnung des Varianzbildes wird ebenfalls ein sehr einfacher Algorithmus verwendet. Aus dem Varianzbild lässt sich – analog zur Berechnung des Grauwertinhalts – der Varianzinhalt mit einer weiteren sehr einfachen Formel berechnen. Für die Berechnung des Varianzinhalts werden lediglich vier Werte des Varianzbildes benötigt. Dadurch kann auch die Berechnung des Varianzbildes sehr schnell und ohne großen Aufwand durchgeführt werden.
Aus dem Varianzinhalt und den in einem gewählten rechteckigen Bereich des Bildes enthaltenen Pixels lässt sich sehr einfach die Varianz bestimmen.
Um die Rechenzeit weiterhin zu verkürzen, erscheint vorteilhaft, dass die Varianz nur für einen solchen Bildbereich berechnet wird, der eine Unruhe beziehungsweise eine Struktur aufweist. Zum Beispiel ergeben Bildbereiche mit grauem Himmel keinen Varianzwert, mit dem ein gesuchtes Objekt erkannt werden kann.
Einkamerabasiertes System mit einer derartigen Vorrichtung wird vorzugsweise für die Detektion und Klassifizierung von Objekten und/oder Komponenten verwendet. Insbesondere ist vorgesehen, die erfindungsgemäße Vorrichtung in einem Kraftfahrzeug einzubauen. Auf diese Weise kann der Bildsensor der Vorrichtung während des fahrenden Kraftfahrzeugs die aktuelle Verkehrssituation aufnehmen. Mit Hilfe des erfindungsgemäßen Auswertesystems können beispielsweise diverse Objekte, wie Fahrzeuge, Personen, Verkehrszeichen und andere Gegenstände individuell detektiert und entsprechend klassifiziert werden. Beispielsweise kann dadurch dem Fahrer des Kraftfahrzeugs bereits ein in weiter Entfernung stehendes Verkehrszeichen direkt auf einem Display des Kraftfahrzeugs ausgegeben werden, so dass sich der Fahrer rechtzeitig über eine sich gegebenenfalls ändernde Verkehrssituation informieren und darauf einstellen kann.
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und wird in der nachfolgenden Beschreibung näher erläutert.
1a zeigt ein schematisiertes Originalbild, das am Ausgang des Bildsensors in Form von matrixförmig angeordneten Pixels dargestellt ist,
1b zeigt ein zu 1a entsprechendes, schematisiertes Integralbild,
2a zeigt das in 1a dargestellte Originalbild,
2b zeigt ein aus 2a abgeleitetes Varianzbild,
3 zeigt ein Blockschaltbild einer erfindungsgemäßen Vorrichtung,
4 zeigt ein erstes Ablaufschema für die Ermittlung des Integralbildes und des Varianzbildes und
5 zeigt ein zweites Ablaufschema.
1a zeigt ein Originalbild, das von einem Bildsensor aufgenommen wurde. Der Bildsensor ist beispielsweise als Videokamera ausgeführt und in einem Kraftfahrzeug eingebaut. Der Bildsensor nimmt in diesem Fall Verkehrsszenen auf, wobei beispielsweise bis zu 25 Einzelbilder pro Sekunde erzeugt werden können. Das in 1a dargestellte Originalbild ist in einzelne Pixels unterteilt, die matrixförmig in Zeilen und Spalten angeordnet sind. Der Ursprung des Bildes ist oben links positioniert. In der ersten Zeile Z = 1 sind somit von links nach rechts gelesen die Pixels P₁₁, P₁₂, P₁₃ ... P_1k ... P_1n angeordnet. Bei diesem Schema gilt zum Beispiel für das Pixel P₂₂ in allgemeiner Form der Wert P_ab. Entsprechendes gilt für die Pixels P_2k (P_ak) und P_i2 (P_ib) in dem Rechteck P_ab, P_ak, P_ib und P_ik. In der zweiten Zeile Z = 2 sind die Pixels P₂₁, P₂₂, P₂₃ ... P_2k ... P_2n angeordnet. In der dritten Zeile Z = 3 sind entsprechend die Pixels P₃₁, P₃₂, P₃₃ ... P_3k ... P_3n dargestellt. Das ganze Bild wird weiterhin in Pixels zerlegt, bis in der i-ten Zeile Z = i die Pixels P_i1, P_i2, P_i3 ... P_ik ... P_in abgebildet sind. Es wird angenommen, dass das Originalbild m-Zeilen hat, so dass in der m-ten Zeile Z = m die Pixels P_m1, P_m2, P_m3 ... P_mk ... P_mn abgebildet sind. Jedes der oben genannten Pixels P_mn enthält die entsprechende Bilddaten, insbesondere Grauwerte des Originalbildes, die von dem Bildsensor aufgenommen wurde.
Für das in 1a dargestellte Originalbild PB wird nun ein Grauwertbild berechnet. Dabei entspricht das Grauwertbild den Grauwertinhalten, die durch die einzelnen Pixels in dem Originalbild PB aufgezeigt sind. Zur Berechnung des Grauwertbildes wird ein Auswertealgorithmus verwendet, mit dem eine Rechenzeit erzielt werden kann. Die Berechnung des Grauwertbildes mit den Grauwertinhalten erfolgt daher mit Hilfe der Berechnung eines Integralbildes SB, wie es in 1a dargestellt ist. Das Integralbild SB ist so definiert, dass jedes Pixel P_mn des Originalbildes die Summe der Grauwerte derjenigen Pixels des Originalbildes enthält, die sich in einem beliebig gewählten Rechteck befinden, das beispielsweise durch die Pixelpositionen P_ab und P_ik aufgespannt wird. Die Berechnung des Integralbildes entsprechend der 1b für das Integralbildpixel S_ik erfolgt in analytischer Form nach der Formel
P_zs ist der Graubildwert des Pixels P in der Zeile Z und der Spalte S. Die in Formel (1) angegebene Berechnung für das Integralbildpixel S_ik des Integralbildes (SB) ist sehr zeitaufwändig. Erfindungsgemäß wird daher vorgeschlagen, die Berechnung für das Integralbildpixel S_ik wesentlich einfacher durchzuführen, wenn man berücksichtigt, dass sich das Integralbildpixel S_ik nur durch das davor liegende Zeilenelement
unterscheidet. Das Integralbild kann somit kann somit nach der Formel 3
wesentlich schneller berechnet werden, da die Integralbildung vereinfacht ist. Auf diese Weise kann sehr einfach und effizient der Grauwertinhalt eines beliebigen rechteckigen Bereiches des Originalbildes PB berechnet werden.
Beispielsweise kann für das Rechteck, das durch die Pixels P_ab, P_ak, P_ib, P_ik aufgespannt wird, der Grauwertinhalt G_abik in der analytischen Form nach der Formel 4
berechnet werden. Dieses Verfahren ist jedoch sehr zeitaufwändig, da über alle Pixels P_zs aufaddiert werden muss.
Alternativ wird jedoch erfindungsgemäß vorgeschlagen, den Grauwertinhalt G_abik mit Hilfe des Integralbildes SB zu berechnen. In diesem Fall kann der Grauwertinhalt G_abik aus nur vier Werten des Integralbildes nach der nachstehenden Formel Gabik = Sik – Sib – Sak + Sab (5)berechnet werden. Diese sehr einfache Berechnung des Grauwertinhaltes mit Hilfe des Integralbildes ist sehr schnell und effizient durchführbar. Ein aufwändiger Rechner ist dafür nicht erforderlich, da nur eine einfache Additionsoperation erforderlich ist.
1b zeigt in schematischer Darstellung ein der 1a entsprechendes Integralbild (SB). Entsprechend zu den Pixels der 1a wird in der gleichen Nomenklatur das Integralbild mit den Integralbildpixels S₁₁ (oben links in 1b) bis zum Integralbildpixel S_mn (1b unten rechts) dargestellt.
In 1b ist das oben beispielhaft ausgewählte Rechteck für die Berechnung des Grauwertes mit den Integralbildpixels S_ab, Sa_k, S_ib und S_ik durch eine Umrandung markiert.
Somit kann der Grauwertinhalt eines beliebigen rechteckigen Bereiches des Ausgangsbildes PB auf sehr einfache und vorteilhafte Weise durch Verrechnung von nur vier Werten des In tegralbildes SB ermittelt werden. Ein weiterer Vorteil ist, dass das Integralbild SB und das Originalbild PB (Rohbild) praktisch zeitgleich für die Auswertung und Klassifizierung von Objekten zur Verfügung steht, wenn man von einer geringen Verschiebung von ein paar Pixels einmal absieht. Das Integralbild PB ist somit eine wichtige Grundlage für die weitere Berechnung der von dem Bildsensor aufgenommenen Objekte und Komponenten.
Entsprechend der 2a, b kann das Pixelbild PB des weiteren zur Berechnung eines Varianzbildes VB verwendet werden. Bei dem Varianzbild VB wird in analytischer Form analog zum Integralbild der 1b zu jedem Pixel P_zs ein Varianzbildwert V_ik berechnet. Als Varianz bezeichnet man eine Unruhe im Bild bzw. im Bildausschnitt. Sehr häufig zeigt beispielsweise das obere Drittel des Originalbildes PB einen grauen oder blauen Himmel, der keine Strukturen oder Unterschiede aufweist. In solchen Fällen ist der Varianzinhalt Null, so dass ein solcher Bereiche von vornherein für die Detektion von Gegenständen ausgeschlossen werden kann. Dadurch kann in vorteilhafter Weise Rechenzeit eingespart werden.
Das Varianzbild VB wird entsprechend 2b analog zum Integralbild SB berechnet, wie es zu 1b näher erläutert wurde. Für die Berechnung des Varianzbildes VB wird zunächst für jedes Pixel das Quadrat der Grauwerte des Originalbildes (Pixelbild PB) berechnet. Das Varianzbild VB ergibt sich dann durch die Aufsummierung aller quadrierten Pixelwerte nach der
Die Berechnung des Varianzbildes VB ist in den 2a und 2b grafisch dargestellt. Die 2a entspricht der 1a, wie sie zuvor erläutert wurde. Bei der 2b sind nun die entsprechenden Varianzwerte V₁₁ ... V_mn dargestellt. Analog zur Berechnung des Grauwertinhaltes mit Hilfe des Integralbildes, wie es zu den 1a, 1b erläutert wurde, kann auch der Varianzinhalt VB auf sehr einfache Weise berechnet werden.
Für eine beliebig gewählte rechteckige Fläche kann nun aus dem Varianzbild VB ein Varianzinhalt W_abik berechnet werden. Die Berechnung Varianzinhaltes W_abik erfolgt beispielhaft für ein beliebiges Recheck des Originalbildes PB. Es wird angenommen, dass entsprechend der 2b der zu berechnende markierte, rechteckige Ausschnitt durch die Varianzwerte V_ab, V_ak, V_ib und V_ik begrenzt ist. Der Varianzinhalt W_abik dieses gewählten rechteckigen Bereiches lässt sich auf sehr einfache Weise nun durch die vorgenannten vier Eckwerte nach der folgenden Formel berechnen: Wabik = Vik – Vib – Vak + Vab (7)
Die Varianz (σ)² für den rechteckigen Bildausschnitt ergibt sich dann aus Formel: (σ)2 = Wabik – N·(Gabik/N)2 (8)mit N = (i – a + 1)·(k – b + 1) (9),wobei N die Anzahl der Pixels im gewählten rechteckigen Bildbereich ist.
3 zeigt ein Blockschaltbild einer erfindungsgemäßen Vorrichtung, mit der die vom Bildsensor gelieferten Daten sehr viel schneller und effizienter ausgewertet werden können. Ein Bildsensor 1 ist ausgangsseitig mit einer Recheneinheit 2 verbunden. Die vom Bildsensor 1 gelieferten Bilddaten BD gelangen so zunächst in die Recheneinheit 2. Die Recheneinheit 2 berechnet aus den empfangenen Bilddaten BD sowohl das Integralbild SB als auch das Varianzbild VB. Diese beiden Bilder SB, VB werden zusammen mit den Bilddaten BD und gegebenenfalls mit dem Originalbild an eine Auswerteeinheit 3 gesendet. In den Bilddaten BD ist das Grauwertbild enthalten.
Die Auswerteeinheit 3 ermittelt nun aus dem empfangenen Grauwertbild, dem Integralbild und/oder dem Varianzbild Objekte oder Gegenstände, beispielsweise Verkehrszeichen, Fahrzeuge, Personen usw. Die ermittelten Objekte werden auf einer Anzeige 5 ausgegeben, so dass der Fahrer des Kraftfahrzeugs frühzeitig auf mögliche Gefahren oder Verkehrssituationen gegebenenfalls auch akustisch aufmerksam gemacht werden kann.
Erfindungswesentlich ist, dass die Recheneinheit 2 während des Auslesens der Bilddaten BD aus dem Bildsensor 1 sowohl das Integralbild SB als auch das Varianzbild VB berechnet. Diese Bilder stehen somit zeitgleich für die weitere Auswertung durch die Auswerteeinheit 3 zur Verfügung. Durch die zeitgleiche Bereitstellung des Integralbildes SB und des Varianzbildes VB wird erhebliche Rechenzeit eingespart. Die nachgeschaltete Auswerteeinheit 3 braucht somit nicht besonders schnell und leistungsfähig zu sein. Dadurch ist die Vorrichtung zur Bildverarbeitung erheblich einfacher und kostengünstiger herstellbar.
Wie bereits erwähnt wurde, ist erfindungswesentlich, dass die Recheneinheit 2 dem Bildsensor 1 direkt nachgeschaltet ist und unmittelbar und ohne Zwischenspeicherung die vom Bildsensor 1 empfangenen Bilddaten BD sowohl als Integralbild SB als auch als Varianzbild VB umrechnet.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass optional der Recheneinheit 2 ein Zwischenspeicher 4 nachgeschaltet ist. Der Zwischenspeicher 4 wird insbesondere dann benötigt, wenn die Bandbreite der Datenübertragungsstrecke zwischen der Recheneinheit 2 und der Auswerteeinheit 3 nicht ausreicht. Des weiteren kann eine Zwischenspeicherung 4 benötigt werden, wenn die Recheneinheit 2 zusätzliche Funktionen anbietet, die von der Auswerteeinheit 3 nicht verarbeitet werden können.
Erfindungswesentlich ist des weiteren, dass während des Bildauslesens sowohl das Integralbild SB als auch das Varianzbild VB pixelsynchron aus den Bilddaten BD berechnet und bereitgestellt werden.
Anhand der 4 und 5 wird die Funktionsweise der erfindungsgemäßen Vorrichtung zur Auswertung eines von einem Bildsensor gelieferten Originalbildes näher erläutert. Die Recheneinheit 2 ist ein handelsüblicher Baustein, der beispielsweise als FPGA (Field Programmable Gate Array) erhältlich ist. Die FPGA-Einheit weist einen Summierer 10 auf, der mit einem Register 11 verbunden ist. Ausgangsseitig ist das Register 11 auf den Summierer 10 rückgekoppelt. Des weiteren ist das Register 11 mit einem zweiten Register 12 verbunden. Dem zweiten Register 12 ist ein drittes Register 13, ein viertes Register 14, ein fünftes Register 15 usw. nachgeschaltet. Diese Register werden auf den Summierer 10 zurückgekoppelt.
Die Verarbeitung des Bilddatenstroms erfolgt pixelweise. Die Berechnung ist hier beispielhaft für das erste Pixel der iten Zeile dargestellt, d.h. für das Originalbild Pixel P_i1 und für das Integralbild Pixel S_i1. Zur Initialisierung des Zeilenintegrals wird zunächst zu Beginn jeder neuen Zeile Z das Register 11 bis 15 auf den Wert Null gesetzt. Nun werden der Pixelwert P_i1 und der im Register 5 befindliche Integralwert (S_(i-1),1) der vorhergehenden Zeile in dem Addierer 10 addiert. Das Ergebnis der Addition befindet sich nun im Register 11 und wird zu dem Register 12 weitergetaktet.
Der Pixelwert P_ik wird mit einer b Bit-Breite dargestellt, z.B. mit 8 Bit für den Wertebereich 0 bis 255. Die Integralpixelwerte S_ik benötigen dann b' Bit, da der Integralwert bis zu Smax = n·m·(2b – 1)betragen kann. Mit Hilfe der Formel b' = Aufrunden(logSmax/log2) kann die Bit-Breite b' aufgerundet werden.
Für das nächste Pixel P_i2 und alle weiteren Pixels bis zum Zeilenende P_in wird nun bei der Bildung der Integralbildwerte S_i2 bis S_in zusätzlich der jeweils aktuell im Register 11 befindliche Zeilenintegralwert hinzuaddiert. Dieses Verfahren wird nun für den gesamten Pixelstrom des Originalbildes vom ersten Pixel P₁₁ bis zum letzten Pixel P_mn des Originalbildes durchgeführt, so dass sich insgesamt ein Integralbild, wie es zur 1b beschrieben wurde, ergibt. Das auf diese Weise erhaltene Integralbild SB kann nun an die Auswerteeinheit 3 (3) weitergegeben werden.
Die FPGA-Einheit ist als FIFO-Speicher (First In First Out-Speicher) mit n-Stufen aufgebaut. Dadurch werden die zuerst eingegebenen Informationen am Ausgang des FIFO-Speichers mit n-Delays pixelsynchron ausgegeben.
In 5 ist die Berechnung des Varianzbildes VB dargestellt. Es wird wieder die gleiche FPGA-Einheit verwendet, wie sie bereits zur Berechnung des Integralbildes zuvor beschrieben wurde. Allerdings ist für die Berechnung des Varianzbildes VB dem FPGA-Einheit ein Multiplizierer 16 vorgeschaltet. Das Verfahren läuft analog zu dem Integrationsbildverfahren ab. Zunächst wird für das erste Pixel der Zeile i in dem Multiplizierer 16 das Quadrat gebildet. Danach erfolgt wieder eine Zeileninitialisierung. Beim nächsten Takt wird dann der Inhalt des Quadrats mit dem Inhalt des fünften Registers 15 in dem Summierer 10 aufaddiert usw. Dieser Vorgang wird für jedes Pixel P_zs des Bildausschnitts durchgeführt.
Da der maximale Varianzwert aufgrund der Pixelwertquadrierung bis zu (Vmax = n·m·(2b – 1)2 mit m-Bildzeilen und n-Bildspalten betragen kann, ist die erforderliche Bitbreite des Varianzbildes VB hier: b' = Aufrunden(logVmax/log2)
Dieses Verfahren wird ebenfalls für den gesamten Pixelstrom des Bildes vom ersten Pixel P₁₁ bis zum letzten Pixel P_mn des Originalbildes PB durchgeführt, so dass sich insgesamt ein Varianzbild SB ergibt, wie es zuvor zur 2b beschrieben wurde.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass mit der Recheneinheit 2 beispielsweise nur das Integralbild SB oder nur das Varianzbild VB berechnet werden. Des weiteren ist vorgesehen, eine pixelsynchrone Korrektur des Fix Pattern Noise durchzuführen. Damit kann in vorteilhafter Weise eine Filterung bzw. Fehlerkorrektur der vom Bildsensor gelieferten Daten sehr einfach und sehr schnell durchgeführt werden.

1: Bildsensor
2: Recheneinheit
3: Auswerteeinheit
4: Zwischenspeicher
5: Anzeige/Display
10: Summierer
11–15: Register
16: Multiplizierer
BD: Bilddaten
D: Register
FPGA: Field Programmable Gate Array
G_abik: Grauwertinhalt eines rechteckigen Bildausschnitts
P: Pixel
P_zs: Pixel der Zeile z und der Spalte s
PB: Originalbild/Pixelbild
SB: Integralbild
W: Varianzinhalt
VB: Varianzbild
s, b, k, n: Spalten
z, a, i, m: Zeilen

Claims

Verfahren zur Auswertung von Bilddaten (BD) eines Originalbildes (PB) eines kamerabasierten Systems, wobei das Originalbild (PB) mittels eines Bildsensors (1) zeilen- und spaltenweise in eine Vielzahl von Pixels (P) digitalisiert wird, wobei die Pixels (P) Grauwerten des Originalbildes (PB) zugeordnet sind und wobei mit Hilfe eines Auswertealgorithmus eine Detektion und Klassifizierung von Objekten und Komponenten des Originalbildes (PB) durchgeführt wird, dadurch gekennzeichnet, dass während des Auslesens des Bildsensors (1) aus den Bilddaten (BD) pixelsynchron, insbesondere ohne vorheriger Zwischenspeicherung, ein den Pixels (P) zugeordnetes Integralbild (SB) und ein Varianzbild (VB) berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Integralbild (SB) nach der Formel
berechnet wird, wobei S_ik ein Integralbildpixel der i-ten Zeile und der k-ten Spalte des Integralbildes (SB) ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Grauwertinhalt (G_abik) eines beliebigen Rechtecks (P_ab, P_ak, P_ib und P_ik) des Originalbildes (PB), das zwischen einem Pixel P_ab und einem Pixel P_ik aufgespannt ist, mit Hilfe des Integralbildes nach der Formel Gabik = Sik – Sib – Sak + Sab berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das berechnete Integralbild (SB) und/oder das Varianzbild (V_ik) in Abhängigkeit von den Pixels (P_ik) des Originalbildes in einem Speicher (4) abgelegt sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Varianzwert (Vik) des Varianzbildes (VB) nach der Formel
berechnet wird und/oder dass der Varianzinhalt (W_abik) eines beliebigen rechteckigen Bereiches des Originalbildes (PB) aus dem Varianzbild (VB) nach der Formel Wabik = Vik – Vib – Vak + Vab berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einem rechteckigen Bildbereich die Varianz (σ²) mit Hilfe der Formel (σ)2 = Wabik – N·(Gabik/N)2 berechnet wird, wobei N = (i – a + 1)·(k – b + 1) die Anzahl der Pixels im gewählten Rechteck ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Varianzinhalt (W_abik) nur für den Teil des Originalbildes (PB) berechnet wird, der eine Unruhe beziehungsweise eine Struktur aufweist.
Vorrichtung zur Auswertungen eines von einem Bildsensor (1) aufgenommenen Originalbildes (PB), mit einer Programm gesteuerten Auswerteeinheit (3), dadurch gekennzeichnet, dass zwischen dem Bildsensor (1) und der Auswerteeinheit (3) eine Recheneinheit (2) angeordnet ist und dass die Recheneinheit (2) eingerichtet ist, während des Auslesens des Bildsensors (1) aus den von dem Bildsensor (1) gelieferten Bilddaten (BD) pixelsynchron ein pixelbezogenes Integralbild (SB) und/oder ein pixelbezogenes Varianzbild (VB) zu berechnen.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Recheneinheit (2) ausgebildet ist, wenigstens das Integralbild (SB) und das Varianzbild (VB), insbesondere ohne vorherige Zwischenspeicherung, nahezu zeitgleich für die Auswerteeinheit (3) zur Verfügung zu stellen.
Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Auswerteeinheit (3) ausgebildet ist, aus den empfangenen Bildern (PB, SB, VB) Objekte und/oder Komponenten zu detektieren und zu klassifizieren.
Kamerabasiertes Auswertesystem mit einer Vorrichtung nach einem der Ansprüche 8 bis 10 zur Anordnung in einem Kraftfahrzeug und zur Detektion und/oder Klassifizierung von Fahrzeugen, Verkehrszeichen, Gegenständen und/oder Personen.