DE102014224557A1

DE102014224557A1 - Bildverarbeitung mittels Kreuzkorrelation

Info

Publication number: DE102014224557A1
Application number: DE102014224557.5A
Authority: DE
Inventors: Herbert Kaestle
Original assignee: Osram GmbH
Current assignee: Osram GmbH
Priority date: 2014-12-01
Filing date: 2014-12-01
Publication date: 2016-06-02
Also published as: US20170270385A1; US10268922B2; WO2016087202A1; CN107004139A

Abstract

Ein Verfahren (S1–S8) dient zur Bildverarbeitung, bei dem (a) mittels einer nicht-normalisierten Kreuzkorrelation eine Kreuzkorrelationsmatrix (CC1; CC2) eines aufgenommenen Bilds, das ein erfasstes Objekt (P; G) enthält, und eines Referenzbilds, das ein Referenzobjekt enthält, erzeugt wird (S6); (b) ein Vergleich mehrerer Bereiche der Korrelationsmatrix (CC1; CC2) durchgeführt wird (S7); und (c) anhand eines Ergebnisses (cf1; cf2) des Vergleichs eine Entscheidung darüber, ob das erfasste Objekt und das Referenzobjekt übereinstimmen, getroffen wird (S8). Ein Präsenzdetektor (2), weist mindestens einen Bildsensor (4), insbesondere einen CMOS-Sensor, auf und ist zum Durchführen des Verfahrens (S1–S8) ausgebildet. Ein Beleuchtungssystem (1) weist mindestens einen Präsenzdetektor (2) auf, der mit mindestens einer Lichtquelle (3) des Beleuchtungssystems (1) gekoppelt ist. Die Erfindung ist beispielsweise anwendbar zu Überwachung und Steuerung einer Raumbeleuchtung und einer Außenbeleuchtung.

Description

Die Erfindung betrifft ein Verfahren zur Bildverarbeitung, bei dem eine Kreuzkorrelationsmatrix eines aufgenommenen Bilds, das ein erfasstes Objekt enthält, und eines Referenzbilds, das ein Referenzobjekt enthält, erzeugt wird. Die Erfindung ist beispielsweise anwendbar als Präsenzdetektor sowie auf Beleuchtungssysteme mit mindestens einem solchen Präsenzdetektor, insbesondere für eine Raumbeleuchtung und eine Außenbeleuchtung, insbesondere für deren Überwachung und Steuerung.
Für eine Präsenzerkennung sind passive IR-empfindliche("PIR"-)Detektoren bekannt, die mit einer einfachen Signalerfassung meist differentiell auf Objektbewegungen in ihrem Sichtfeld reagieren. Dabei nutzen gängige PIR-Detektoren meist PIR-Sensoren auf der Basis pyroelektrischer Effekte, die nur auf sich ändernde IR-Strahlung reagieren. Eine konstante Hintergrundstrahlung bleibt also unberücksichtigt. Solche PIR-Sensoren lassen sich – technisch im Zusammenspiel mit einer Fresnelschen Zonenoptik – nur als Bewegungsmelder anwenden und können nicht zur Detektion einer statischen Präsenz herangezogen werden. Dies ist jedoch für eine fortschrittliche, weil zumindest auch statische Objekterkennung und/oder Objektklassifizierung nicht ausreichend. Ein weiterer Nachteil der PIR-Detektoren besteht darin, dass die aufgrund ihrer IR-tauglichen Fresneloptik ein relativ großes Bauvolumen aufweisen. Zudem ergibt sich aufgrund ihrer typischerweise geringen Winkelauflösung und Reichweite eine relativ hohe Fehldetektionsrate. Wird der Bewegungsmelder im Rahmen eines Beleuchtungssystem aktiviert, muss sich eine Person aufgrund der ausschließlichen Bewegungsempfindlichkeit durch deutliche Gesten bemerkbar machen, damit das Beleuchtungssystem aktiviert wird oder bleibt.
Eine weitere Gruppe bekannter Bewegungsmelder umfasst aktive Bewegungsmelder, welche Mikrowellen im sub-GHz-Bereich oder auch Ultraschallwellen aussenden, um deren Echos nach Dopplerverschiebungen sich bewegender Objekte absuchen. Auch solche aktiven Bewegungsmelder werden typischerweise nur als Bewegungsmelder und nicht zur Detektion statischer Präsenz genutzt.
Ferner ist eine kamerabasierte Präsenzerkennung unter Verwendung eines CMOS-Sensors bekannt. Der CMOS-Sensor nimmt Bilder im typischerweise sichtbaren Spektralbereich auf bzw. erfasst entsprechende Bilddaten. Der CMOS-Sensor ist üblicherweise mit einer Datenverarbeitungseinrichtung gekoppelt, welche die aufgenommenen Bilder oder Bilddaten auf eine Anwesenheit und Klassifizierung vorhandener Objekte hin verarbeitet.
Für eine Objekterkennung („Object Recognition“) mit CMOS-Sensoren ist es bekannt, zunächst mindestens ein Objekt in dem Bild bzw. in den Bilddaten von einem allgemeinen Hintergrund freizusetzen und das Objekt anschließend mittels einer merkmalsbasierten Objekterkennung oder Mustererkennung zu analysieren und bezüglich seiner Eigenschaften hin zu klassifizieren und damit zu erkennen. Für die Anwendungsgebiete der Präsenzerkennung und der Allgemeinbeleuchtung sind dabei hauptsächlich Objekte von Interesse, die einer Person bzw. einer menschlichen Kontur ähneln, um bei positivem Ergebnis z.B. ein entsprechendes Meldesignal an ein Lichtmanagementsystem abzugeben.
Ein direkter arithmetischer Vergleich zwischen dem erfassten Objekt und dem Referenzobjekt kann in der Bildverarbeitung jedoch nicht als das Ähnlichkeitsmaß verwendet werden, da hierfür die beiden Vergleichsbilder dieselben Bildwerte wie Belichtung, Kontrast, Position und Perspektive aufweisen müssten, was in der Praxis nicht der Fall ist. Daher wird in der Praxis häufig die normalisierte Kreuzkorrelationsanalyse (auch als NCC, "Normalized Cross Correlation" bezeichnet) verwendet, bei der ein von dem Hintergrund freigestelltes und dann erfasstes oder "segmentiertes" Objekt mit einem geeigneten Referenzbild über statistische 2D-Kreuzkorrelationsanalysen miteinander verglichen wird und das Ergebnis des Vergleichs als ein charakteristisches Ähnlichkeitsmaß zur Entscheidung über eine Personenpräsenz herangezogen wird. Die normalisierte Kreuzkorrelationsanalyse wertet dazu mit statistischen Methoden absolute Differenzen zwischen dem erfassten Objekt und dem Referenzbild aus, während ergänzend mit einer Faltungsanalyse auch noch absolute Summen zwischen dem Originalbild und dem Referenzbild ausgewertet werden können.
Da die normalisierte Kreuzkorrelationsanalyse sehr rechen- und speicheraufwändig ist, eignet sie sich nur bedingt zur Implementierung in einem Mikrokontroller- oder DSP-basierten Sensorsystem, welches typischerweise eine begrenzte Rechenleistung und Speicherkapazität aufweist.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit zur Klassifizierung von Objekten, insbesondere Personen, die von einer Kamera beobachtet worden sind, bereitzustellen. Es ist insbesondere eine Aufgabe der vorliegenden Erfindung, eine rechentechnisch einfachere Möglichkeit für eine solche Klassifizierung von Objekten bereitzustellen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zur Bildverarbeitung, bei dem (a) mittels einer nicht-normalisierten Kreuzkorrelation oder Kreuzkorrelationsrechnung eine Korrelationsmatrix zwischen einem aufgenommenen Bild, das ein erfasstes Objekt enthält, und einem Referenzbild, das ein Referenzobjekt enthält, erzeugt wird; (b) ein Vergleich mehrerer Bereiche der Korrelationsmatrix durchgeführt wird; und (c) anhand eines Ergebnisses des Vergleichs eine Entscheidung darüber, ob das erfasste Objekt und das Referenzobjekt übereinstimmen, getroffen wird.
Das Verfahren weist den Vorteil auf, dass es durch die Nutzung der mathematisch einfach ausgeprägten nicht-normalisierten Kreuzkorrelation eine effektive Objekterkennung mit einem im Vergleich zu der normalisierten Kreuzkorrelationsanalyse weitaus geringeren Speicher- und Rechenaufwand bietet.
Unter einem aufgenommenen Bild mag ein mittels einer Kamera aufgenommenes Originalbild oder ein daraus abgeleitetes oder weiterverarbeitetes Bild verstanden werden. Ein durch eine Bildverarbeitung abgeleitetes Bild mag z.B. ein Bild sein, in welchem ein Bildhintergrund entfernt worden ist, das auf das Objekt zugeschnitten worden ist, bei welchem eine Helligkeitsauflösung verändert worden ist, bei dem das Objekt gedreht worden ist usw.
Das aufgenommene Originalbild ist insbesondere ein in einem sichtbaren Spektrum aufgenommenes Bild, wodurch sich eine im Vergleich zu einer Infrarotbildaufnahme hohe Auflösung ergibt, was eine Objekterkennung erheblich vereinfacht. Das Originalbild weist typischerweise (m·n) matrixförmig angeordnete Bildpunkte auf. Jedoch mag alternativ oder zusätzlich ein Infrarotbild aufgenommen werden. IR-Detektoren mit hoher Bildauflösung, beispielsweise auf der Basis von GaAs-Sensoren oder Mikrobolometer-basierten-Sensoren, sind grundsätzlich verfügbar, aber noch sehr teuer. Sie werden derzeit meist z.B. in FLIR("Forward Looking Infra Red")-Kameras oder bei einer Gebäudewärmeinspektion verwendet.
Unter einem erfassten Objekt wird insbesondere ein nicht zu einem Bildhintergrund gehöriges Objekt verstanden. Ein erfasstes Objekt kann dadurch bereitgestellt werden, dass in dem Originalbild der Bildhintergrund bestimmt und aus dem Bild entfernt wird. Zusätzlich oder alternativ mag ein nicht zum Bildhintergrund gehöriges Objekt gegen den Bildhintergrund erfasst werden. Ein erfasstes und freigestelltes Objekt mag auch als "segmentiertes" Objekt bezeichnet werden. Das Bestimmen des Bildhintergrunds mag ein Vergleichen mit einem zuvor ohne Anwesenheit eines Objekts aufgenommenen Bildhintergrunds als einer (Hintergrund-)Referenz umfassen. Beispielsweise mag bei der Objekterfassung zunächst jegliche Pixelgruppe, die sich von einem vorgegebenen Hintergrund unterscheidet oder abhebt, zunächst als ein unerkanntes Objekt behandelt werden. Es wird dann versucht, jedes dieser erfassten Objekte mittels der Klassifizierung zu erkennen.
Das Verfahren macht sich also den Umstand zu Nutze, dass die nicht-normalisierte Kreuzkorrelationsanalyse eine Alternative zu der normalisierten Kreuzkorrelationsanalyse bietet, um eine effektive Objekterkennung mit einem erheblich verringerten Rechenaufwand durchzuführen.
In einer besonderen recheneffizienten Ausführung lässt sich die nicht-normalisierte Kreuzkorrelationsanalyse gemäß folgender Gl. (1) darstellen:
wobei CC_ri,rj einen Punkt oder ein Matrixelement einer Kreuzkorrelationsmatrix oder eines „Korrelogramms“ CC darstellt.
Img_i,j stellt einen Bildpunkt (i, j) eines aufgenommenen matrixförmigen Bilds Img dar.
T_k,l stellt einen Bildpunkt (k, l) eines matrixförmigen Referenzbilds oder Referenz-Templates T mit (NTx·NTY) Bildpunkten dar, das ein Referenzobjekt enthält. Die Zahl der Bildpunkte (d.h., die Bildgröße) des aufgenommenen Bilds Img und des Referenzbilds T kann gleich oder unterschiedlich sein. Die Summationsoperationen brauchen nur über den Größenbereich k = 0, ..., NTx und 0, ..., NTy des Referenzbilds T ausgeführt zu werden. Die Größe des aufgenommenen Bilds Img bzw. {Img_i,j} mag der Größe des durch eine Kamera aufgenommenen Originalbilds entsprechend oder einen Ausschnitt davon darstellen.
Ein Erfolgsfaktor bei der erfolgreichen Anwendung der nicht-normalisierten Kreuzkorrelationsanalyse ist, dass eine Objektgröße eines erfassten Objekts bzw. die Skalierung eines Objekts, keine allzu großen Abweichungen zu der Größe des Referenzobjekts aufweist.
Diesbezüglich wird in Schritt (b) ausgenutzt, dass sich bei einem Größenvergleich Objekte unterschiedlicher Größe (aber z. B. gleicher Helligkeit und Ausrichtung) in unterschiedlichen Signaturen der charakteristischen Peaks in der Kreuzkorrelationsmatrix CC ausbilden.
So weist die Kreuzkorrelationsmatrix CC zweier identischer Bilder eine ausgeprägte, praktisch singuläre Spitze oder "Autokorrelationspeak" auf. Die Höhe und Breite dieses idealen Autokorrelationspeaks hängt von der Gesamtgröße und der Strukturkomplexität des Referenzbilds ab und kann somit als eine feste Systemgröße herangezogen werden. Je mehr sich das aufgenommene Bild Img und das Referenzbild T unterscheiden, desto flacher wird auch die Korrelationsspitze bzw. der Korrelationspeak, da sich die Ergebniswerte der Matrixelemente CC_ri,rj stärker über das Korrelogramm CC verteilen als bei dem idealen Autokorrelationspeak.
Durch den Vergleich mehrerer (Matrix-)Bereiche der Korrelationsmatrix CC kann als Ergebnis aus der "Schärfe" bzw. aus der "Dominanz" des Korrelationspeaks ein Ähnlichkeitsmaß bzw. Übereinstimmungsmaß zwischen dem aufgenommenen Objekt-Bild Img und dem Referenzbild T gefunden werden.
Folglich kann in Schritt (c) anhand des Ergebnisses des Vergleichs eine Entscheidung darüber getroffen werden, ob das erfasste Objekt und das Referenzobjekt übereinstimmen.
Durch Schritt (b) lässt sich also mit rechnerisch einfacheren Mitteln eine mögliche unterschiedliche Objektgröße berücksichtigen, ohne das erfasste Objekt vor Berechnung des Korrelogramms CC aufwändig und unter Verlust von Information umskalieren zu müssen.
Es ist eine Ausgestaltung, dass in Schritt (b) ein Vergleich oder eine Aufteilung eines inneren Bereichs und eines äußeren Bereichs der Kreuzkorrelationsmatrix bzw. des Korrelogramms CC durchgeführt wird. Diese Ausgestaltung lässt sich besonders einfach umzusetzen. Der erste, "innere" (Matrix-)Bereich mag beispielsweise ein den Autokorrelationspeak umfassender Bereich sein, welcher an einen zweiten, "äußeren" (Matrix-) Bereich angrenzt, insbesondere von dem äußeren Bereich oder Randbereich umgeben ist.
Der innere Bereich mag beispielsweise ein um den Autokorrelationspeak zentrierter, z.B. kreisförmiger oder rechteckiger Bereich des Korrelogramms CC sein. Der innere Bereich mag (bei matrixartiger Darstellung) um ein Zentrum des Korrelogramms CC herum zentriert sein. Der innere Bereich und der äußere Bereich mögen beispielsweise zumindest ungefähr die gleiche Zahl an Matrixelementen aufweisen.
Alternativ mag ein Zählwert c_mid für den inneren Bereich so bestimmt werden, dass das gesamte Korrelogramms CC mit einer Gewichtungsfunktion gewichtet wird, deren Wichtungsfaktor von innen nach außen abnimmt. Dabei werden Matrixelemente insbesondere umso stärker gewichtet, je näher sie sich an einem vorgegebenen Zentrum (z.B. dem Objektschwerpunkt oder dem Autokorrelationspeak) des Korrelogramms CC befinden. Beispielsweise mag eine um das Zentrum zentrierte quadratische oder gaußförmige Wichtungsfunktion verwendet werden. Der (Summen-)Zählwert c_mid für den inneren Bereich mag dann beispielsweise als Summe über die gewichteten Zählwerte aller Matrixelemente des Korrelogramms bestimmt werden. Dabei wird angenommen, dass durch die Wichtung die Zählwerte für den äußeren Bereich einen nur vernachlässigbaren Beitrag liefern.
Ein (Summen-)Zählwert c_rim für den äußeren Bereich mag z.B. aus der Summe über die nicht gewichteten Zählwerte aller Matrixelemente des Korrelogramms berechnet werden. Eine weitere Möglichkeit zur Berechnung des Zählwerts c_rim für den äußeren Bereich umfasst die Summierung aller Matrixelemente des Korrelogramms, die zuvor invertiert gewichtet worden sind, so dass äußere Matrixelemente stärker gewichtet sind als innere Matrixelemente. Dies mag z.B. mittels einer invertierten Gaußverteilung erreicht werden.
Die Nutzung einer Wichtungsfunktion bei der Berechnung der (Summen-)Zählwerte c_mid und/oder c_rim weist den Vorteil auf, dass die Matrixelemente nicht zuvor explizit dem inneren Bereich und dem äußeren Bereich zugewiesen zu werden brauchen.
Allgemein mag unter einem Zählwert eines Bereichs des Korrelogramms insbesondere eine Summe der Werte der Matrixelemente CC_ri,rj nur dieses Bereichs oder des ganzen Korrelogramms verstanden werden. Eine solche Berechnung ist mit einem sehr geringen Aufwand durchführbar.
Der äußere Bereich erstreckt sich insbesondere bis zur Außengrenze des Korrelogramms, welches dieselbe Größe wie der ROI-Bereich des Objektbildes Img aufweist.
Das Verhältnis zwischen den Zählwerten des inneren Bereichs des Korrelogramms CC und den Zählwerten des äußeren Bereichs liegt je nach Ähnlichkeit zwischen 1 und dem Maximalwert bei idealer Autokorrelation.
Ein Objekt, dessen Ähnlichkeit (z.B. aufgrund einer unterschiedlichen Form und/oder Größe) vom Referenzobjekt nur geringfügig abweicht, zeigt im Korrelogramm CC zwar keinen ausgeprägten Peak, doch konzentriert sich die Verteilung der Ergebniswerte bzw. Matrixelemente CC_ri,rj eher im inneren Bereich des Korrelogramms CC. Das Verhältnis zwischen den Zählwerten des inneren Bereichs des Korrelogramms CC und den Zählwerten des äußeren Bereichs weicht damit vom Maximalwert des idealen Autokorrelationspeaks nur wenig ab.
Ein Objekt, dessen Ähnlichkeit (z.B. aufgrund einer unterschiedlichen Form und/oder Größe) stärker vom Referenzobjekt abweicht bzw. wenig Ähnlichkeit hat, zeigt im Korrelogramm CC keinen ausgeprägten Peak, sondern eine Verteilung seiner Seitenflanken über den gesamten Bereich des Korrelogramms CC. Das Verhältnis zwischen den Zählwerten des inneren Bereichs des Korrelogramms CC und den Zählwerten des äußeren Bereichs geht gegen 1 und ist daher niedrig.
Ein Objekt, das von dem Referenzobjekt nur infolge seiner unterschiedlichen Größe abweicht, zeigt im Zentrum des Korrelogramms CC auch keinen ausgeprägten Peak mehr, dennoch weist die Verteilung der Matrixelemente CC_ri,rj zwischen dem inneren Bereich und dem äußeren Bereich des Korrelogramms CC charakteristische Merkmale auf, die mittels geeigneter Skalierungen bei den Auszählverfahren für die Ermittlung eines Ähnlichkeitsmaßes ausgenutzt werden können.
Die Berechnung der Zählwerte des inneren Bereichs und des äußern Bereichs kann – wie auch bereits oben beschrieben – z.B. mittels mindestens einer Wichtungsfunktion (z.B. einer gaußförmigen Gewichtungsmaske) umgesetzt werden, welche die Werte des inneren Bereichs bevorzugt berücksichtigt und die Werte des äußeren Bereiches entsprechend geringer berücksichtigt. Das Zentrum dieser gaußförmigen Maske mag dabei in das Zentrum eines Objektzentrums gelegt werden. Jedoch mag grundsätzlich auch eine andere oder auch keine Wichtung verwendet werden.
Es ist noch eine Ausgestaltung, dass in Schritt b) der Vergleich anhand eines Verhältnisses von Zählwerten c_mid aus dem inneren Bereich zu Zählwerten c_rim aus dem äußeren Bereich durchgeführt.
Es ist eine weitere Ausgestaltung, dass für den Vergleich das Verhältnis der (gewichteten oder ungewichteten) Zählwerte c_mid und c_rim mit einer Größe c_size des erfassten Objekts verknüpft wird. Die Größe c_size mag beispielsweise als die Zahl der dem erfassten Objekts zugehörigen Bildpunkte entsprechen. Dies ergibt den Vorteil, dass ein Größenunterschied zwischen dem erfassten Objekt und dem Referenzobjekt direkt mitberücksichtigt wird. So kann auf Größenskalierungen verzichtet werden.
Es ist eine Weiterbildung, dass als Ergebnis des Vergleichs eine charakteristische Ähnlichkeitszahl cf berechnet wird, welche eine Entscheidung darüber, ob das erfasste Objekt und das Referenzobjekt übereinstimmen, besonders einfach gestaltet, z.B. über einen Vergleich mit mindestens einem z.B. empirisch bestimmten Schwellwert. Mit dem empirisch gefundenen Schwellwert kann entschieden werden, ob das zu klassifizierende Objekt genügend Ähnlichkeit zum Referenzobjekt aufweist, und die Räumlichkeit mit Personenpräsenz eingestuft wird, oder ob das zu klassifizierende Objekt zu wenig Ähnlichkeit zum Referenzobjekt aufweist, und die Räumlichkeit als unbesetzt eingestuft wird.
Es ist noch eine weitere Ausgestaltung, dass als Ergebnis des Vergleichs in Schritt (b) als Ähnlichkeitsmaß eine charakteristische Ähnlichkeitszahl cf gemäß cf = (c_midⁿ¹/c_rimⁿ²)c_sizeⁿ³ berechnet wird. Dabei sind n1, n2 und n3 rationale Skalierungskomponenten. Diese können beispielsweise zur Wichtung der einzelnen Anteile oder Zählwerte c_mid, c_rim bzw. c_size verwendet werden.
Es hat sich als besonders effektiv herausgestellt, dass die Ähnlichkeitszahl cf gemäß der folgenden Gl. (2) cf = (c_mid²/c_rim³)c_size berechnet wird, also mit n1 = 2, n2 = 3 und n3 = 1. Jedoch können die Skalierungskomponenten allgemein beliebige Beziehungen zueinander einnehmen, beispielsweise gemäß n1 > n2, n1 = n2 oder n1 < n2.
Es ist noch eine Weiterbildung, dass für Schritt (c) die Ähnlichkeitszahl cf mit mindestens einem insbesondere empirisch bestimmten Schwellwert cf_th verglichen wird, z.B. einen Wert cf_th = 50.
Je nachdem, ob die Ähnlichkeitszahl cf den Schwellwert cf_th erreicht, überschreitet oder unterschreitet, kann ein erfasstes Objekt als in Übereinstimmung oder als ohne Einstimmung mit der Referenz klassifiziert und so erkannt werden, z.B. als eine menschliche Person.
Es ist auch noch eine weitere Ausgestaltung, dass das aufgenommene Bild aus Schritt (a) einen um das erfasste Objekt herum zugeschnittenen Bildausschnitt darstellt. Das aufgenommene Bild aus Schritt (a) mag also z.B. dadurch bereitgestellt werden, dass in einem von einer Kamera aufgenommenen Originalbild oder einem daraus weiterverarbeiteten Bild mindestens ein Objekt erfasst wird und das zugrundeliegende aufgenommene Bild auf das Objekt zugeschnitten wird. Dies mag so umgesetzt sein, dass ein Rahmen ("ROI-Rahmen") um einen ROI("Region-of-Interest")-Bereich, der das erfasste und zu klassifizierende Objekt vollständig enthält, gelegt wird und das zugrundeliegende aufgenommene Bild auf den ROI-Rahmen bzw. auf den ROI-Bereich zugeschnitten wird. Durch diese Ausgestaltung ergibt sich der Vorteil, dass das aufgenommene und effektiv zu untersuchende Bild verkleinert wird, was einen Rechenaufwand verringert. Zudem wird das erfasste Objekt stärker zentriert, was eine spätere Objekterkennung durch Klassifizierung weiter verbessert.
Es ist eine Weiterbildung, dass vor Schritt (a) das von der Kamera aufgenommene Originalbild oder das daraus ausgeschnittene Bild von seinem Hintergrund befreit oder freigestellt wird oder worden ist. Diese Abtrennung des Hintergrunds erleichtert eine Objekterfassung und spätere Objekterkennung durch Klassifizierung weiter, insbesondere auch bei Anwendung der nicht-normalisierten Kreuzkorrelation.
Es ist noch eine Weiterbildung, dass das erfasste Objekt vor Schritt (a) gedreht wird, insbesondere so, dass eine Figurenachse des Objekts parallel zu einem Seitenrand des das erfasste Objekt beinhaltenden Bilds liegt. Diese Ausrichtung erleichtert auch eine spätere Objekterkennung durch Klassifizierung, insbesondere bei Anwendung der nicht-normalisierten Kreuzkorrelation.
Es ist ferner eine Ausgestaltung, dass vor Schritt (a) ein von einer Kamera aufgenommenes Originalbild helligkeitsnormalisiert worden ist. Dadurch wird erreicht, dass die Originalbilder und/oder das in den gemessenen Originalbildern erfasste Objekt stets zumindest ungefähr dieselbe Helligkeit bzw. Intensität aufweisen bzw. aufweist. Ohne die Helligkeitsnormalisierung könnten Objekte wie helle Flecken oder Reflexe, die keine Ähnlichkeit zu einem Referenzbild aufweisen, infolge ihrer Intensität einen hohen Durchgriff in der Anwendung der nicht-normalisierten Kreuzkorrelation bewirken und so z.B. zu einer Fehlerkennung bei einer Präsenzdetektion führen.
Es ist eine besonders effiziente Ausgestaltung, dass die Helligkeitsnormierung durch die Kamera selbst bzw. automatisch durchgeführt wird, insbesondere bevor das Originalbild aufgenommen oder abgespeichert wird. Alternativ mag das Originalbild nach seiner Aufnahme entsprechend weiterverarbeitet werden, z.B. in der Kamera oder in einer eigenständigen Datenverarbeitungseinrichtung.
Es ist auch eine Ausgestaltung, dass dem die Helligkeitsnormierung anhand von Histogrammwerten durchgeführt wird. Insbesondere können dazu Aufnahmeparameter der Kamera wie Verstärkung ("Gain") und Belichtungszeit ("Exposure") über eine Regelschleife so eingestellt werden, dass die Histogrammwerte des Bildes unabhängig von den tatsächlich in der Szene vorliegenden Helligkeitsverhältnissen zumindest annähernd konstant auf demselben Niveau gehalten werden. Bei der Helligkeitsnormierung anhand von Histogrammwerten mögen anstelle des gesamten Bild auch nur charakteristische Bereiche des Bilds zur Helligkeitsmessung herangezogen werden.
Es ist eine für eine – insbesondere kamerainterne – Helligkeitsnormierung anhand von Histogrammwerten vorteilhafte Weiterbildung, dass der hellste Bildpunkt (auch als "Pixel" bezeichnet"), eine Gruppe der hellsten Bildpunkte oder die Bildpunkte des hellsten Bildbereiches auf einen konstanten Helligkeitswert geregelt werden. So können die in einer Szene vorliegenden Helligkeits- oder Intensitätsschwankungen für die Kreuzkorrelationsanalyse bereits weitgehend vereinheitlicht werden. Jedoch können auch alle anderen geeigneten Methoden zur Helligkeitsnormierung verwendet werden.
Die Aufgabe wird auch gelöst durch einen Detektor (im Folgenden ohne Beschränkung der Allgemeinheit als "Präsenzdetektor" bezeichnet), wobei der Präsenzdetektor mindestens einen Bildsensor, insbesondere CMOS-Sensor, aufweist und zum Durchführen des Verfahrens wie oben beschrieben ausgebildet ist. Dieser Präsenzdetektor kann analog zu dem Verfahren ausgebildet sein und ergibt die gleichen Vorteile.
Der mindestens eine Bildsensor nimmt die – insbesondere helligkeitsnormierten – Originalbilder auf und ist mit einer Datenverarbeitungseinrichtung gekoppelt, welche diese aufgenommenen Originalbilder im Rahmen des oben beschriebenen Verfahrens verarbeitet, z.B. die nicht-normierte Kreuzkorrelation durchführt, die charakteristische Ähnlichkeitszahl cf berechnet und den Schwellwertvergleich durchführt. Das Verfahren kann also auf der Datenverarbeitungseinrichtung ablaufen.
Die Datenverarbeitungseinrichtung mag alterativ eine von dem Präsenzdetektor separate Einheit darstellen.
Der Präsenzdetektor ist insbesondere dazu eingerichtet, abhängig von einem erkannten Objekt mindestens eine Aktion auszulösen, z.B. mindestens ein Signal auszugeben, beispielsweise um eine Beleuchtung anzuschalten und/oder um eine andere Instanz (z.B. eine Sicherheitszentrale) zu benachrichtigen. Beispielsweise mag nach einem Erkennen, dass es sich bei dem Objekt um eine Person handelt, ein Signal zum Einschalten einer Beleuchtung ausgegeben werden. Ein solches Signal mag nicht ausgegeben werden, wenn ein Tier erkannt worden ist. Auch mag dann, wenn eine Person in der Nähe einer Tür erkannt worden ist, die Tür geöffnet werden und eine Beleuchtung auf der anderen Seite der Tür eingeschaltet werden. Ferner mag, falls die Position des erkannten Objekts bekannt ist, eine Lichtquelle auf das Objekt gerichtet werden. Alternativ oder zusätzlich mag ein Alarmsignal an eine Überwachungseinheit ausgegeben werden, z.B. an eine Sicherheitszentrale.
Beispielsweise mag der Präsenzdetektor eine Kamera (z.B. eine Videoeinheit) als Bildaufnahmeeinrichtung und die Datenverarbeitungseinrichtung (z.B. eine dedizierte Bilddatenbearbeitungseinheit) aufweisen, wobei die Datenverarbeitungseinheit je nach Ergebnislage einen Schalter (z.B. ein Schaltrelais) schaltet bzw. eine Ergebnislage an ein Beleuchtungssystem (beispielsweise ein Lichtmanagementsystem) meldet.
Die Aufgabe wird auch gelöst durch ein Beleuchtungssystem oder eine Beleuchtungseinrichtung, welche mindestens einen Präsenzdetektor wie oben beschrieben aufweist. Dabei ist der Präsenzdetektor, insbesondere dessen Bildsensor, mit mindestens einer Lichtquelle des Beleuchtungssystems gekoppelt. Die Datenverarbeitungseinrichtung mag einen Teil des Beleuchtungssystems darstellen in welchem Fall der mindestens eine Präsenzdetektor, insbesondere dessen Bildsensor, mit der Datenverarbeitungseinrichtung des Beleuchtungssystems gekoppelt ist.
Insbesondere mag das Beleuchtungssystem mit mehreren Bildsensoren ausgerüstet sein. Dies umfasst den Fall, dass das Beleuchtungssystem mehrere Kameras oder Videosensoren umfasst. Die mehreren Kameras mögen auf mehrere Präsenzdetektoren verteilt sein.
Die Kameras mögen jeweilige Datenverarbeitungseinrichtungen aufweisen. Alternativ mag eine Datenverarbeitungseinrichtung des Beleuchtungssystems mit mehreren Bildsensoren gekoppelt sein.
Auch die Beleuchtungseinrichtung mag dazu eingerichtet sein, abhängig von einem durch mindestens einen Bildsensor oder Präsenzdetektor erkannten Objekt mindestens eine Aktion auszulösen, z.B. mindestens ein Signal auszugeben, beispielsweise um eine Beleuchtung anzuschalten und/oder um eine andere Instanz (z.B. eine Sicherheitszentrale) zu benachrichtigen.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird. Dabei können zur Übersichtlichkeit gleiche oder gleichwirkende Elemente mit gleichen Bezugszeichen versehen sein.
1 zeigt ein Ablaufdiagramm des Verfahrens mit einer zugehörigen Vorrichtung;
2 zeigt ein mittels des Verfahrens aus 1 aufgenommenes erstes Originalbild;
3 zeigt ein mittels des Verfahrens aus 1 berechnetes und als Reliefdiagramm dargestelltes Korrelogramm für das Originalbild aus 2;
4 zeigt ein mittels des Verfahrens aus 1 aufgenommenes zweites Originalbild;
5 zeigt ein mittels des Verfahrens aus 1 berechnetes und als Reliefdiagramm dargestelltes Korrelogramm für das Originalbild aus 4.
1 zeigt ein Beleuchtungssystem 1 mit einem Präsenzdetektor 2 und mindestens einer mit dem Präsenzdetektor 2 gekoppelten Lichtquelle 3 (z.B. aufweisend eine oder mehrere LED-basierte Leuchtmittel, herkömmliche Leuchtstoffröhren usw.). Der Präsenzdetektor 2 weist einen CMOS-Sensor 4 und eine damit gekoppelte Datenverarbeitungseinrichtung 5 auf. Der CMOS-Sensor 4 und die Datenverarbeitungseinrichtung 5 mögen zusammen auch als eine Kamera 4, 5 bezeichnet werden.
Der CMOS-Sensor 4 ist z.B. an einer Decke eines zu überwachenden Raums angeordnet und nimmt in einem Schritt S1 ein in 2 gezeigtes Originalbild B1 des Raums auf. Das Originalbild B1 zeigt in Draufsicht ein Objekt in Form einer Person P und einen Hintergrund H, der z.B. Regale aufweist.
Das Originalbild B1 ist bereits bei seiner Aufnahme durch die Kamera 4, 5 oder den Präsenzdetektor 2 bezüglich ihrer Helligkeit normalisiert worden. Und zwar ist die Kamera 4, 5 dazu eingerichtet, automatisch Aufnahmeparameter wie Verstärkung und/oder Belichtungszeit über eine Regelschleife so einzustellen, dass die (Helligkeits-)Histogrammwerte des Originalbilds B1 weitgehend unabhängig von den tatsächlich in der Szene vorliegenden Helligkeitsverhältnissen zumindest annähernd konstant auf demselben Niveau gehalten werden.
Das Originalbild B1 wird in einem zweiten Schritt S2 von der Datenverarbeitungseinrichtung 5 weiterverarbeitet, um den Hintergrund H zu entfernen. Dazu wird ein entsprechender Algorithmus auf das Originalbild B1 angewandt.
In einem dritten Schritt S3 wird nun in dem aufgenommenen und hintergrundreduzierten Bild die Person P als ein Objekt erfasst.
In einem vierten Schritt S4 kann dann das aufgenommene Bild bzw. das erfasste Objekt auf eine vorgegebene Ausrichtung hin gedreht werden, z.B. mit einer Figurenachse parallel zu einem Bildrand.
In einem fünften Schritt S5 wird ein z.B. rechteckiger Rahmen um das erfasste Objekt herumgelegt und das aufgenommene und bis dahin mittels der Schritte S2 bis S4 weiterverarbeitete Bild auf den Rahmen zugeschnitten. So wird ein aufgenommenes Bild bereitgestellt, das für eine Kreuzkorrelation besonders geeignet ist.
In einem Schritt S6 wird das aufgenommene und mittels der Schritte S2 bis S5 weiterverarbeitete Bild zum Vergleich mit einem Referenzbild (o. Abb.) einer nicht-normalisierten Kreuzkorrelation gemäß Gl. (1) unterzogen, um ein Korrelogramm CC1 bzw. {CC1_ri,rj} zu berechnen. Das Referenzbild weist beispielhaft eine in Draufsicht gezeigte Person als ein Referenzobjekt auf.
3 zeigt als Reliefdarstellung in Seitenansicht ein dem Originalbild B1 erlangtes matrixartiges Korrelogramm CC1.
Dabei ist ein Peak P1 der Ergebniswerte der Matrixelemente CC1_ri,rj des Korrelogramms CC1 aufgrund einer guten Übereinstimmung der Person P mit einem Referenzobjekt vergleichsweise hoch und schmal.
In einem Schritt S7 wird für dieses Korrelogramm CC1 die charakteristische Ähnlichkeitszahl cf gemäß der Gl. (2) nach cf = (c_mid²/c_rim³)·c_size berechnet. Für das Korrelogramm CC1 beträgt für diesen Fall die charakteristische Ähnlichkeitszahl cf1 beispielsweise 55.
In einem Schritt S8 wird die charakteristische Ähnlichkeitszahl cf1 = 55 mit einem Schwellwert cf_th verglichen, z.B. gemäß cf1 > cf_th. Dies ist bei cf_th = 50 der Fall, so dass die Person P hier als mit dem eine Person darstellenden Referenzobjekt übereinstimmend klassifiziert wird und so erkannt wird. Bei positiver Erkennung kann z.B. die mindestens eine Lichtquelle 3 angeschaltet werden.
4 zeigt analog zu 2 ein Originalbild B2, bei dem nun außer dem Bildhintergrund H ein gegenständliches Objekt G in Form eines Sessels aufgenommen wurde.
Das zu dem Originalbild B2 zugehörige Korrelogramm CC2 ist in 5 gezeigt. Ein Peak P2 ist hier breiter und erheblich flacher als der Peak P1, so dass sich eine charakteristische Ähnlichkeitszahl cf2 = 32 ergibt. Dieser Wert ist geringer als der Schwellwert cf_th = 50 für das eine Person darstellende Referenzobjekt. Folglich wird das Objekt G nach einem Vergleich cf2 > cf_th korrekterweise nicht als eine Person erkannt.
Obwohl die Erfindung im Detail durch das gezeigte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht darauf eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
So mag die Datenverarbeitungseinrichtung 5 auch keinen Teil des Präsenzdetektors darstellen, sondern des Beleuchtungssystems 1. Das Beleuchtungssystem 1 mag auch mehrere CMOS-Sensoren aufweisen.
Obwohl die Erfindung im Detail durch die gezeigten Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht darauf eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
So können Schritte in 1 auch mit einer anderen Reihenfolge durchgeführt werden.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste

1: Beleuchtungssystem
2: Präsenzdetektor
3: Lichtquelle
4: CMOS-Sensor
5: Datenverarbeitungsvorrichtung
B1: Originalbild
B2: Originalbild
CC1: Korrelogramm
CC2: Korrelogramm
cf: Charakteristische Ähnlichkeitszahl
cf_th: Schwellwert
G: Gegenständliches Objekt
H: Hintergrund
P: Person
P1: Peak
P2: Peak
S1–S8: Verfahrensschritte

Claims

Verfahren (S1–S8) zur Bildverarbeitung, bei dem (a) mittels einer nicht-normalisierten Kreuzkorrelation eine Kreuzkorrelationsmatrix (CC1; CC2) zwischen einem aufgenommenen Bild, das ein erfasstes Objekt (P; G) enthält, und einem Referenzbild, das ein Referenzobjekt enthält, erzeugt wird (S6); (b) ein Vergleich mehrerer Bereiche der Korrelationsmatrix (CC1; CC2) durchgeführt wird (S7); und (c) anhand eines Ergebnisses (cf1; cf2) des Vergleichs eine Entscheidung darüber, ob das erfasste Objekt und das Referenzobjekt übereinstimmen, getroffen wird (S8).
Verfahren (S1–S8) nach Anspruch 1, bei dem in Schritt (b) ein Vergleich eines inneren Bereichs und eines äußeren Bereichs der Kreuzkorrelationsmatrix (CC1; CC2) durchgeführt wird (S7).
Verfahren (S1–S8) nach Anspruch 2, bei dem in Schritt (b) der Vergleich anhand eines Verhältnisses von Zählwerten (c_mid) aus dem inneren Bereich zu Zählwerten (c_rim) aus dem äußeren Bereich durchgeführt wird (S7).
Verfahren (S1–S8) nach Anspruch 3, bei dem für den Vergleich das Verhältnis der Zählwerte (c_mid, c_rim) mit einer Größe (c_size) des zu erkennenden oder zu analysierenden Objekts (P; G) aus dem Originalbild (B1; B2) verknüpft wird.
Verfahren nach Anspruch 4, bei dem als Ergebnis (cf1; cf2) des Vergleichs in Schritt (b) eine charakteristische Ähnlichkeitszahl (cf) gemäß cf = (c_midⁿ¹/c_rimⁿ²)c_sizeⁿ³ mit n1, n2 und n3 als rationalen Skalierungskomponenten berechnet wird (S7), insbesondere gemäß cf = (c_mid2/c_rim3) c_size.
Verfahren (S1–S8) nach Anspruch 5, bei dem für Schritt (c) die Ähnlichkeitszahl (cf1; cf2) mit mindestens einem Schwellwert (cf_th) verglichen wird.
Verfahren (S1–S8) nach einem der vorhergehenden Ansprüche, bei dem das aufgenommene Bild aus Schritt (a) einen um das erfasste Objekt (P; G) herum zugeschnittenen Bildausschnitt darstellt.
Verfahren (S1–S8) nach einem der vorhergehenden Ansprüche, bei dem zuvor ein von einer Kamera (4, 5) aufgenommenes Originalbild (B1; B2) helligkeitsnormalisiert worden ist (S1).
Verfahren (S1–S8) nach Anspruch 8, bei dem die Helligkeitsnormierung durch die Kamera (4, 5) selbst durchgeführt wird (S1).
Verfahren (S1–S8) nach einem der Ansprüche 8 oder 9, bei dem die Helligkeitsnormierung anhand von Histogrammwerten durchgeführt wird (S1).
Präsenzdetektor (2), wobei der Präsenzdetektor (2) mindestens einen Bildsensor (4), insbesondere CMOS-Sensor, aufweist und zum Durchführen des Verfahrens (S1–S8) nach einem der vorhergehenden Ansprüche ausgebildet ist.
Beleuchtungssystem (1), aufweisend mindestens einen Präsenzdetektor (2) nach Anspruch 11, der mit mindestens einer Lichtquelle (3) des Beleuchtungssystems (1) gekoppelt ist, wobei das Beleuchtungssystem (1) dazu eingerichtet ist, mindestens eine Aktion abhängig von der in Schritt c) getroffenen Entscheidung auszulösen.