DE112017005207B4

DE112017005207B4 - Verfahren zur Identifizierung von Lichtquellen, entsprechendes System und Computerprogrammprodukt

Info

Publication number: DE112017005207B4
Application number: DE112017005207.6T
Authority: DE
Inventors: Marco Cristani; Alessio Del Bue; Michael Eschey; Fabio GALASSO; Irtiza Hasan; Herbert Kaestle; Theodore Tsesmelis
Original assignee: Osram GmbH; Degli Studi Di Verona, University of; Fondazione Istituto Italiano di Tecnologia; Universita degli Studi di Verona
Current assignee: Osram GmbH; Degli Studi Di Verona, University of; Fondazione Istituto Italiano di Tecnologia; Universita degli Studi di Verona
Priority date: 2016-10-13
Filing date: 2017-10-10
Publication date: 2023-05-17
Anticipated expiration: 2037-10-11
Also published as: US10893594B2; WO2018069827A1; DE112017005207T5; IT201600103146A1; US20190373704A1

Abstract

Verfahren zum Steuern eines Beleuchtungssystems, das einen Satz von Beleuchtungsvorrichtungen (S1,..., S6) zum Beleuchten einer Umgebung aufweist, wobei das Verfahren aufweist:- Empfangen (100) von mindestens einem Bildsensor (W) eines Bildsignals, das eine Sequenz von Bildern der Umgebung unter verschiedenen Beleuchtungs- und Lichtreflexionsbedingungen aufweist,- Verarbeiten (102 bis 120) des Bildsignals, um ein Lichtquellenidentifizierungssignal (120) bereitzustellen, das Lichtquellen repräsentiert, die die Umgebung beeinflussen, und- Steuern des Satzes von Beleuchtungsvorrichtungen (S1,..., S6) als Funktion des Lichtquellenidentifizierungssignals (120); undwobei das Verarbeiten des Bildsignals Folgendes beinhaltet:- Extrahieren (114) von Beleuchtungsbedingungen der Umgebung aus der Sequenz von Bildern, um Schattierungsinformationen (114) bereitzustellen,- Identifizieren der Anzahl der Lichtquellen, die die Umgebung beeinflussen, durch lineare Dimensionsreduktion, LDR (118).

Description

Technisches Gebiet
Die Beschreibung bezieht sich auf Beleuchtungssysteme. Eine oder mehrere Ausführungsformen können zum Steuern von „intelligenten“ Beleuchtungssystemen zum Beleuchten, z.B. eine Innenraumumgebung durch Identifizieren der Lichtquellen, die eine solche Umgebung beeinflussen.
In dieser Beschreibung wird auf verschiedene Dokumente Bezug genommen, indem zwischen eckigen Klammern (z.B. [X]) eine Nummer wiedergegeben wird, die das Dokument in einer LISTE DER ZITIERTEN DRUCKSCHRIFTEN identifiziert, die am Ende der Beschreibung folgt.
Technologischer Hintergrund
Beleuchtungssysteme, die mehrere Beleuchtungsvorrichtungen aufweisen, werden üblicherweise in einer Reihe von Anwendungen (Büros, Wohnungen, Krankenhäuser, Lagerhäuser usw.) verwendet. Die manuelle Inbetriebnahme solcher Beleuchtungssysteme kann das Steuern von Lichtmanagementsystemen und/oder das feine Abstimmen der Beleuchtungspegel gemäß Beleuchtungssensoren (Luxmeter) in Übereinstimmung mit den Systemspezifikationen aufweisen.
Das manuelle Einrichten kann daher umständlich sein, erfordert Expertenwissen und muss bei jeder Änderung einer der Lichtquellen entweder im Hinblick auf das Lichtquellenmodell oder in Bezug auf deren Position wiederholt werden. Die automatische Kalibrierung des Beleuchtungssystems durch Messen der vorherrschenden Beleuchtung kann der manuellen Inbetriebnahme mit bestimmten Vorrichtungen vorgezogen werden. Die automatische Kalibrierung kann schwierig sein, z.B. aufgrund der komplexen physikalischen Wechselwirkungen zwischen der 3D-Geometrie der Szene, den Oberflächenmaterialien und den Lichtcharakteristiken natürlicher und künstlicher Quellen.
Bestehende Lösungen konzentrieren sich hauptsächlich auf Augmented-Reality-Anwendungen [1] [2] [3] [4], indem sie weniger auf reale Umgebungen achten.
Darüber hinaus erfordern bestimmte Lösungen eine komplexe Hardwareausrüstung und -einrichtung, z.B. mit Kameras mit hoher Dynamik/Auflösung und Verwendung von Lichtsonden [5] und/oder Benutzereingaben für die geometrische Struktur der Szene, Objektwechselwirkungen und grobe Positionen und Farben der Lichtquellen [6].
Techniken des Standes der Technik für die Lichtanalyse in der Computervision adressieren spezifische Probleme (z.B. Beleuchtungsschätzung, Lichtquellenschätzung/-lokalisierung, intrinsische Bildzerlegung, Detektion und Entfernung von Glanzlichtern usw.) individuell, ohne den Umfang eines vollständigen Systems zu berücksichtigen.
Die Lichtschätzung ist eines der schwierigsten Probleme im Bereich Computer Vision und Computergraphik. Dies kann z.B. In Innenräume betreffen, in denen mehrere Lichtquellen unterschiedlicher Art (z.B. künstlich, natürlich), Größe, Form und Spektraleigenschaft vorhanden sein können.
Verschiedene Lösungen des Standes der Technik gehen von bekannten Variablen in der Szene aus (z.B. Geometrie) oder können Benutzereingaben und hilfreiche Objekte (z.B. Lichtsonden) zusätzlich zu komplexer Ausrüstung nutzen, um eine oder mehrere unbekannte Variablen zu schätzen.
Die in [5] offenbarte Lösung verwendet zusätzlich zu den Lichtsonden eine Ausrüstung auf hohem Niveau, während in [7] interessante Ergebnisse durch Verwendung von Referenzkugeln und einer Nah-Licht-Schätzung erhalten werden.
Die Lösung von [6] nutzt die Lichtschätzung und -korrektur durch ein auf Rendering-basierendes Optimierungsverfahren, wobei der Benutzer zuvor bestimmte unbekannte Variablen (z.B. Geometrie, Position und Farbe von Lichtquellen) spezifiziert. Ein Rendering-basierender Ansatz wird auch in [3] und [4] verfolgt, der mit Tiefeninformationen gekoppelt ist; dieser Ansatz kann zu einer zeitaufwändigen Lösung führen, die auf eine kleine Anzahl von Lichtquellen beschränkt ist. Tiefeninformation und inverses Rendern werden auch in [8] zur Beleuchtungsschätzung und zur Neubeleuchtung verwendet.
Die in [9] und [10] beschriebenen Ansätze schätzen die Beleuchtung, indem sie Schattenwurf und Spiegelungsreflexion bekannter Geometrien in der Szene nutzen. Erweiterungen dieser letzteren Lösungen werden in [11] vorgestellt, indem unterschiedliche Reflexionsmodelle angenommen werden.
Lopez Moreno et al. [12] verwenden eine durch Benutzereingaben bereitgestellte Objekt-Silhouette, um mehrere Lichtquellen aus einem einzigen Bild abzuschätzen.
Die rechnerische Farbkonstanz ist ein Gebiet mit einem Hauptfokus auf die Farbe der Lichtquelle, was jedoch möglicherweise auch eine Abschätzung der Lichtrichtung erfordert [13] [14].
Ein anderer Ansatz, der häufig bei der Lichtschätzung verwendet wird, ist die intrinsische Bildzerlegung [15], bei der die Farbe jedes Pixels in Reflexion und Schattierung zerlegt wird.
Dies kann hilfreich sein, um Farb- und Beleuchtungseigenschaften von Materialien in der Szene zu extrahieren und dies besser zu verstehen.
Land und McCann [16] schlugen 1975 die Retinex-Theorie vor, indem sie davon ausgingen, dass Albedo durch scharfe Kanten charakterisiert ist, während die Schattierung dazu neigt, langsam zu variieren.
Neuere Arbeiten versuchten, die Zerlegung zu verbessern und nützliche Informationen über die Beleuchtung der Szenenbeleuchtung zu erhalten.
Zum Beispiel versuchen [17], [18], [19] einen RGB-D-Eingabe in Reflexions- und Schattierungskomponenten zu zerlegen, um die Szene zu erklären und eine Beleuchtungsschätzung zu ermitteln. Andere Arbeiten schätzen Form, chromatische Beleuchtung, Reflexion und Schattierung aus einem einzelnen Bild [20] oder eine globale Reflektionsschicht aus einer Bildfolge [21], wodurch möglicherweise eine Schattierungsschicht aus jedem Bild erhalten werden kann.
In letzter Zeit wurde die Aufmerksamkeit auf die Zerlegung in Echtzeit [19], [22], [23], [24] gerichtet, so dass Anwendungen hiervon für verschiedene Zwecke profitieren können, beispielsweise Umfärben, Materialbearbeitung und Umtexturierung.
Die meisten intrinsischen Bildzerlegungsmethoden gehen von diffusen Reflexionen aus und vernachlässigen Glanzlicht-Hotspots.
Eine Spiegelungskomponente kann beispielsweise zur Beleuchtungsschätzung [9] oder zur Formwiederherstellung aus Spiegelungsreflexion [25] verwendet werden.
Zum Beispiel nutzten Tan und Ikeuchi et al. [26] den Unterschied zwischen spiegelnden und diffusen Pixeln, um Glanzlichteffekte zu entfernen.
Um den hohen Rechenaufwand der entsprechenden Suchstrategie zu reduzieren, führte Yang et al. [27] die Verwendung der bilateralen Filterung ein, während Shen und Zheng [28] vorschlugen, einen Spiegelungs-unabhängigen Material-Clustering-Ansatz anzuwenden und dann die Spiegelungs-Intensität mit ihrem Spiegelungs-freien Gegenstück zu verknüpfen.
Kim et al. [29] zeugen von Versuchen, die Spiegelungsreflexion zu trennen, indem zuerst ein dunkler Kanal verwendet wird und dann ein Optimierungsproblem basierend auf der Beobachtung verwendet wird, dass der dunkle Kanal für die meisten natürlichen Bilder ein ungefähr Spiegelungs-freies Bild liefern kann.
Ein Optimierungslösungsverfahren wird ebenfalls vorgeschlagen [30], indem das Problem der Trennung der beiden Komponenten als nicht-negative Matrix-Faktorisierung (NMF) formuliert wird.
In [31] schlagen die Autoren einen Ansatz vor, der auf einer L2-Chromatizitätsdefinition und einem entsprechenden dichromatischen Modell basiert, während eine neuere Arbeit [32] die diffuse Komponente durch Lösen eines Problems der Kompensation der lokalen Struktur und der Farbart schätzt. Derzeit können auf intelligenten Lichtsensoren basierende Systeme unterschiedliche Informationen liefern, vor allem die Anwesenheit von Menschen.
Beispiele für solche Systeme sind bestimmte industrielle Lichtmanagementsysteme, die auf den Dali- oder KNX-Standards basieren, die Passive Infrarot-Sensoren (PIRs) hauptsächlich zur Bewegungserkennung verwenden.
Anwendungen von Beleuchtungssystemen sind beispielsweise gezeigt in WO 2009/ 060 376 A1 ; US 2012 / 0 286 670 A1 , DE 10 2010 003 804 A1 , US 2015 / 0 305 119 A1 , US 2015 / 0 076 992 A1 , DE 10 2010 032 761 A1 .
Aufgabe und Zusammenfassung
Eine Aufgabe von einer oder mehreren Ausführungsformen ist es, dazu beitragen, weitere Verbesserungen auf dem oben diskutierten Gebiet der Technik bereitzustellen, indem verschiedene Nachteile der oben diskutierten Lösungen überwunden werden.
Gemäß einer oder mehreren Ausführungsformen kann eine solche Aufgabe mittels eines Verfahrens gelöst werden, wie es in den folgenden Ansprüchen dargelegt ist.
Eine oder mehrere Ausführungsformen können sich auf ein entsprechendes System sowie auf ein Computerprogrammprodukt beziehen, das in den Speicher mindestens eines Verarbeitungsmoduls (d.h. eines Computers) geladen werden kann und Softwarecodeabschnitte zum Ausführen der Schritte des Verfahrens aufweist, wenn das Produkt auf mindestens einem Verarbeitungsmodul ausgeführt wird.
Wie hier verwendet, wird die Bezugnahme auf ein solches Computerprogrammprodukt als äquivalent zu einer Bezugnahme auf eine computerlesbare Einrichtung verstanden, die Anweisungen zum Steuern des Verarbeitungssystems aufweist, um die Implementierung des Verfahrens gemäß einer oder mehreren Ausführungsformen zu koordinieren.
Die Bezugnahme auf „mindestens einen Computer“ soll die Möglichkeit hervorheben, dass eine oder mehrere Ausführungsformen in modularer und/oder verteilter Form implementiert werden.
Die Ansprüche sind ein wesentlicher Bestandteil der hier bereitgestellten Offenbarung in Bezug auf die eine oder mehreren Ausführungsformen.
Eine oder mehrere Ausführungsformen können eine automatische oder halbautomatische Technik zum Kalibrieren der Position und des aktuellen Beleuchtungsmusters von Lichtquellen bereitstellen, z.B. durch Ausnutzen einer von einer Kamera über einen bestimmten Beobachtungszeitraum erfassten Bildsequenz.
In einer oder mehreren Ausführungsformen kann eine solche Beobachtungsperiode eine Langzeit-Beobachtungsperiode sein, z.B. eine Beobachtungsperiode, die lang genug ist, um ausreichende Beleuchtungsvariationen in der Umgebung zu erfassen, z.B. über einen Tag-und-Nacht-Zyklus.
Eine oder mehrere Ausführungsformen können das Analysieren einer/s Beleuchtung/-Musters, z.B. in Innenraum-Umgebungen, und das Bereitstellen von Informationen darüber, welche Lichtquellen aktiv sind, indem (nur) von einer Kamera aufgenommene Bilder verwendet werden.
Eine oder mehrere Ausführungsformen können ein einfaches Steuersystem bereitstellen, das im Wesentlichen aus einer RGB-D (Farbbild + Tiefe) -Kamera und einer Verarbeitungseinheit besteht.
Eine oder mehrere Ausführungsformen können Lichter in einer unbekannten Umgebung mit beliebigem Lichtquellentyp und beliebiger Lichtquellenposition (einschließlich natürlicher Lichter) automatisch und robust identifizieren.
Eine oder mehrere Ausführungsformen können ein System bereitstellen, das Computervisionslösungen nutzen kann, die auf ein vollautomatisches Werkzeug zur Kalibrierung über eine Langzeitbeobachtung (d.h. Zeitablauf) mit einer RGB-D-Erfassungsvorrichtung (d.h. einer Farbkamera und einem Tiefensensor) und ihre Integration in ein intelligentes Lichtmanagementsystem abzielen.
In einer oder mehreren Ausführungsformen können „Draufsicht“ - Zeitrafferbilder einer Szene/eines Innenbereichs durch eine Pipeline analysiert werden, die aus einer Kombination von Computervisionsprozeduren aufgebaut ist, um:

- die Anzahl der Lichtquellen innerhalb einer Szene zu schätzen (d.h. Lichtquellenschätzung),
- das Vorhandensein von Lichtquellen in der Szene zu ermitteln/anzupassen.

Eine oder mehrere Ausführungsformen können eine Echtzeitlösung ohne Eingreifen des Benutzers bereitstellen, basierend auf leicht verfügbaren Vorrichtungen und in der Lage, eine große Anzahl von Lichtquellen (natürlichen und künstlichen) ohne Beschränkungen zu berücksichtigen.
Eine oder mehrere Ausführungsformen können eine bessere Beleuchtungsmodellierung einer Szene bereitstellen, indem sie intrinsische Bilder anstelle von üblichen RGB/Graustufen-Bildern als Eingabe verwenden.
In einer oder mehreren Ausführungsformen können Lichtquellen sowohl natürlich (z.B. Sonnenlicht von einem Fenster) als auch künstlich sein, wodurch eine Lösung bereitgestellt wird, die sich an verschiedene Umgebungen selbst anpassen kann. In einer oder mehreren Ausführungsformen kann ein System zuerst eine Reihe von Bildern mit auffälligen Lichtschwankungen (z.B. über Langzeitbeobachtungen, wie beispielsweise einen Nacht-und-Tag-Zyklus) aufzeichnen und dann eine solche Sequenz in einen Satz von Basisbildern zerlegen, was die jede Lichtquelle allein darstellen; diese Bilder können ferner dazu verwendet werden, eine Lichtquelle (einschließlich natürlicher Lichtquellen) in jedem neuen Bild, die vom System erfasst wird, zu identifizieren.
Es wurde beobachtet, dass diese Informationen zusätzlich zu einer besseren Kenntnis der Szene (z.B. Lokalisierung von Lichtquellen und Lichtausbreitung und Beleuchtungsschätzung) genutzt werden können, um ein „intelligentes“ Management von Beleuchtungssystemen, wie beispielsweise solche, die elektrisch betriebene Lichtstrahlungsquellen nutzen (z.B. Festkörperlichtquellen wie LED-Quellen), zu erleichtern, um beispielsweise

- das Ausschalten der Leuchten in den für Menschen nicht sichtbaren Bereichen zu ermöglichen;
- das Einstellen der Beleuchtungs-/Helligkeitsstärke, z.B. in Bezug auf die vorhergesagten Aktivitäten zu ermöglichen;
- das Aktivieren/Deaktivieren von Leuchten in Bezug auf die vorhergesagten Aktivitäten zu ermöglichen.

Eine oder mehrere Ausführungsformen können somit Lichtmanagementsysteme bereitstellen, die z.B. eine Art „unsichtbarer Lichtschalter“ implementieren: Benutzer haben das Gefühl, in einer vollständig beleuchteten Umgebung zu leben, während die Umgebung nur minimal beleuchtet ist und somit wird eine bemerkenswerte Energieeinsparung „im Unsichtbaren“ bewirkt.
Ein Konzept, das einem solchen Ansatz eines unsichtbaren Lichtschalters zugrunde liegt, ist unkompliziert: Der Benutzer steuert und stellt die Beleuchtung der Umgebung ein, die er oder sie sehen kann, während ein System gemäß einer oder mehreren Ausführungsformen auf einen Teil der Umgebung, den der Benutzer nicht sehen kann, einwirken kann, die Leuchten ausschalten kann und somit für eine gleichmäßige Energieeinsparung sorgt.
In einer oder mehreren Ausführungsformen kann das Analysieren der Szene darauf abzielen, sich der 3D-Geometrie der Szene bewusst zu werden und die Interreflexion zu kartieren, wodurch es möglich wird zu verstehen, wie verschiedene Lichtquellen jeden Punkt des Raums beeinflussen.
Eine oder mehrere Ausführungsformen können die Erkenntnis beinhalten, dass, um das Vorhandensein von Glanzlichtern zu überwinden, ein Vorverarbeitungsschritt vorteilhaft sein kann, um spiegelnde und diffuse Komponenten mit intrinsischer Bildzerlegung zu trennen, der dann auf die diffuse Komponente angewendet wird.
Daher kann das Trennen der spiegelnden Komponente von der diffusen Komponente von den Bildern von nicht-Lambert'schen Szenen hilfreich sein, z.B. zum Verfeinern von Bildern bevor sie für die intrinsische Zerlegung verwendet werden.
Figurenliste
Eine oder mehrere Ausführungsformen werden nun lediglich beispielhaft unter Bezugnahme auf die beigefügten Figuren beschrieben, wobei:

- 1 ein Blockdiagramm ist, das eine Verarbeitungspipeline gemäß einer oder mehreren Ausführungsformen zeigt.

- 2 und 3 beispielhaft für einige Prinzipien sind, die einer oder mehreren Ausführungsformen zugrunde liegen.
- 4, einschließlich der jeweils vier Abschnitte, die als a), b), c) bzw. d) bezeichnet sind, und 5 sind beispielhaft für mögliche Betriebsarten einer oder mehrerer Ausführungsformen sind.

Detaillierte Beschreibung
Im Folgenden werden ein oder mehrere spezifische Details veranschaulicht, die darauf abzielen, ein tieferes Verständnis von Ausführungsbeispielen zu vermitteln. Die Ausführungsformen können ohne eines oder mehrere der spezifischen Details oder mit anderen Verfahren, Komponenten, Materialien usw. erreicht werden. In anderen Fällen werden bekannte Strukturen, Materialien oder Operationen nicht detailliert dargestellt oder beschrieben, so dass bestimmte Aspekte von Ausführungsformen nicht verdeckt werden.
Die Bezugnahme auf „eine Ausführungsform“ oder „die Ausführungsform“ im Rahmen der vorliegenden Beschreibung soll angeben, dass eine bestimmte Konfiguration, Struktur oder Eigenschaft, die in Bezug auf die Ausführungsform beschrieben ist, in mindestens einer Ausführungsform enthalten ist. Daher beziehen sich Ausdrücke wie „in einer Ausführungsform“ oder „in der Ausführungsform“, die in einem oder mehreren Punkten der vorliegenden Beschreibung vorhanden sein können, sich nicht notwendigerweise auf ein und dieselbe Ausführungsform beziehen. Darüber hinaus können bestimmte Konformationen, Strukturen oder Eigenschaften in einer oder mehreren Ausführungsformen auf beliebige geeignete Weise kombiniert werden.
Die hierin verwendeten Bezüge dienen lediglich der Bequemlichkeit und definieren daher nicht den Schutzumfang oder den Umfang der Ausführungsformen.
Eine oder mehrere Ausführungsformen können auf ein Beleuchtungssystem angewendet werden, das schematisch in 5 dargestellt ist, nämlich einem System, das einen Satz von Beleuchtungsvorrichtungen S1,..., S6 zum Beleuchten einer Umgebung (z.B. einer Innenraum-Umgebung) aufweist.
In einer oder mehreren Ausführungsformen können die Beleuchtungsvorrichtungen S1,..., S6 elektrisch betriebene Beleuchtungsvorrichtungen sein, z.B. Festkörper-Lichtquellen (SSL), z.B. LED-Lichtquellen.
In einer oder mehreren Ausführungsformen kann ein solches System Folgendes aufweisen:

- einen oder mehrere Bildsensoren W, z.B. eine oder mehrere RGB-D-Kameras, die (möglicherweise gemeinsam) eine Sequenz von Bildern der Umgebung unter verschiedenen Beleuchtungs- und Lichtreflexionsbedingungen liefern können, und
- ein Steuerungsmodul 1000 (z.B. eine Verarbeitungseinheit wie DSP), das zum Empfangen eines Umgebungsbildsignals von dem/n Bildsensoren W eingerichtet ist und zum Verarbeiten dieses Signals mit der Fähigkeit zum Steuern der Beleuchtungsvorrichtungen S1,..., S6 in Abhängigkeit von dem Signal von dem Bildsensor W eingerichtet ist, wie im Folgenden erörtert wird.

In einer oder mehreren Ausführungsformen kann der Betrieb eines solchen Systems auf einer Prozedur basieren, die vier Phasen aufweist, die mit I, II, III bzw. IV in 1 bezeichnet wird.
Eine oder mehrere Ausführungsformen können das Verarbeiten des eingegebenen Signals, das in Phase I bei 1000 von dem oder den Bildsensor(en) W (z.B. RGB-Bildern) empfangen wurde, aufweisen, das möglicherweise aufgezeichnet wird und ist für eine bestimmte Szene in der vom „Betrachter“ Sensor(en) W beobachteten Umgebung repräsentativ.
Die Verarbeitung in dem Modul 1000 kann die Verwendung von Bildverarbeitungsmitteln/-werkzeugen aufweisen, z.B. eine Verarbeitungspipeline, die an sich herkömmlich sind (siehe hierzu die Einleitung zu dieser Beschreibung), so dass es nicht notwendig ist, hier eine ausführliche Beschreibung bereitzustellen.
Zum Beispiel kann eine solche Verarbeitung das Erkennen von Schatten und Spiegelungen (bei 102) einschließen, um eine Schattenkarte 104 und eine Spiegelungskarte 106 abzuleiten. Diese können mit anderen Informationen aus dem eingegebenen Signal, das bei 100 empfangen wurde, kombiniert werden, um ein „nahezu Lambert'sches“ Bild 108 zu erzeugen.
In einer oder mehreren Ausführungsformen kann ein solches nahezu Lambert'sches Bild in Phase II zusammen mit der Bildtiefeninformation 110 (z.B. der „D“ -Information von einer RGB-D-Kamera W) weiterverarbeitet werden, um bei 112 eine „intrinsische“ Bildzerlegung zu bewirken, was in einer Schattierungskarte 114 und eine Reflexionskarte 116 resultiert.
In einer oder mehreren Ausführungsformen können Informationen, die von Phase II ausgegeben werden, in Phase III verarbeitet werden, z.B. mittels einer linearen Dimensionsreduktion (LDR) -Prozedur 118.
In einer oder mehreren Ausführungsformen werden in Phase IV Informationen, die sich auf das nahezu Lambert'sche Bild beziehen, das in Phase I erhalten wurde, und das Ergebnis der LDR-Zerlegung in Phase III verarbeitet, indem darauf eine Lichtidentifizierungs- und Lokalisierungsprozedur 120 angewendet wird, die zum Verwalten der Beleuchtungsvorrichtungen S1,..., S6 verwendet werden kann. Eine oder mehrere Ausführungsformen können somit die Anwendung der folgenden Verarbeitungsaktionen auf die Zeitrafferdaten (z.B. das eingegebene RGB-D-Bildsignal) beinhalten:

- a) Erstellen einer nahezu Lambert'schen Sequenz durch Extrahieren einer Spiegelungs- und Schattenkarte,
- b) Anwenden einer intrinsischen Zerlegung auf die Lambert'sche Sequenz mit Extraktion der Beleuchtungskomponente (z.B. Schattierung),
- c) Weiterleiten der extrahierten Beleuchtungskomponente an ein LDR-Verfahren und Extrahieren von Lichtquellenidentifikationsinformationen und
- d) Verwenden der Information, die zuvor zusammen mit den Geometrieinformationen des Tiefensensors erhalten wurde, um die Beleuchtungsbedingungen zu schätzen und zu verwalten. Eine oder mehrere Ausführungsformen können z.B. verbesserte Lösungen für die Schritte a, b und c) mittels der LDR-Zerlegung der Zeitrafferreihenfolge vorschlagen.

Als Beispiel kann eine Langzeitbeobachtung einer bestimmten Szene (z.B. einer Innenraum-Umgebung) in einem Satz von Frames T betrachtet werden, bei dem unterschiedliche Beleuchtungsbedingungen (z.B. Morgengrauen, Morgen, Tag, Nacht) mit unterschiedlichen Materialien vorhanden sind und Reflexionseigenschaften in der beobachteten Szene auftreten. In einer oder mehreren Ausführungsformen kann das Erzeugen eines nahezu Lambert'schen Bildes das Verwenden eines Lambert'schen Modells beinhalten, bei dem die Helligkeit einer Oberfläche unabhängig vom Betrachtungswinkel des Betrachters gleich erscheint, d.h. die Reflexion ist im Wesentlichen isotrop.
In einem solchen Modell kann die Bildhelligkeit I als Funktion der Quellenhelligkeit k, dem Winkel θ_s, unter dem diese auf die Oberfläche S auftrifft, was durch cosθ_s ausgedrückt wird, und die Oberflächenreflexion ρ (im Idealfall mit ρ = 1) ausgedrückt werden: $I = ρ \cdot k \cdot c o s θ_{s} = k \cdot \vec{n} \vec{s}$
wobei $\vec{n}$
(in der Punkt-Linie in 3) die Normalen zur Oberfläche S bezeichnet und $\vec{s}$
die Richtung zur Lichtquelle bezeichnet.
Diese Entitäten sind in 3 beispielhaft dargestellt, wo LS beispielhaft für mögliche Positionen der Lichtquelle ist und W beispielhaft für mögliche Positionen des Betrachters (z.B. eine Kamera) ist.
Ein nahezu Lambert'sches Bild ist somit ein Bild, bei dem Schatten und Glanzlichter gedämpft werden und die Oberflächen im Wesentlichen undurchsichtig oder matt aussehen.
Die diffuse Komponente der Szene kann durch bekannte Mittel extrahiert werden, z.B. mittels der in [27] vorgestellten Prozedur (Algorithmus). Dort wird ein bilaterales Filter verwendet, was bedeutet, dass der Intensitätswert an jedem Pixel eines Bildes durch einen gewichteten Durchschnitt der Intensitätswerte von benachbarten Pixeln ersetzt wird, um die Glanzlichter zu entfernen und die diffuse Komponente zu extrahieren.
Während auf eine Prozedur/einen Algorithmus, wie er in [27] dargestellt wurde, hier beispielhaft Bezug genommen wurde, können in einer oder mehreren Ausführungsformen die Lösungen, die z.B. in [28], [31] und [32] oder anderen Werken gezeigt sind, natürlich auch für den gleichen Zweck verwendet werden. Sobald eine (nahezu) Lambert'sche Erscheinung des Langzeiterfassten Frames erreicht ist, können eine oder mehrere Ausführungsformen mit Reflexions- und Schattierungs-Zerlegungsverarbeitung fortfahren.
In einer oder mehreren Ausführungsformen kann dies eine intrinsische Bildzerlegungsverarbeitung (Block 112) aufweisen.
Zum Beispiel kann in einem Bild I_(p,t), t ∈ 1,...,T die Intensität eines Pixels p bei einem Frame t als ausgedrückt werden als $I_{(p, t)} = R (p) S_{(p, t)} .$
wobei R_(p) die Reflexionskomponente ist, die die Reflexionsinformation (z.B. Farbe des Materials in der Szene) beschreibt, und S_{(p, t)} die Schattierungsinformation ist, die die Beleuchtungsinformation (d.h. Licht, Schatten) der Szene beschreibt.
Eine oder mehrere Ausführungsformen können die eingegebene Bildsequenz in ein Reflexionsbild und in eine Vielzahl von T-Schattierungsbildern zerlegen und letztere für die Lichtquellenlokalisierung, Lichtquellenidentifizierung und Leuchtmittelschätzung verwenden.
In einer oder mehreren Ausführungsformen kann die intrinsische Bildzerlegungsverarbeitung basierend auf dem in [19] dargestellten Ansatz durchgeführt werden.
In einer oder mehreren Ausführungsformen kann die Oberflächennormale-Information aus der eingegebenen Tiefeninformation, die von einem Tiefensensor (z.B. einer RGB-D-Kamera) erhalten wird, berechnet und verwendet werden, um die Kugelflächenfunktion(SH)-Koeffizienten für jedes Pixel zu berechnen.
Kugelflächenfunktionen sind eine Reihe von „Modi“ oder „Eigenvektoren“ oder „orthogonalen Komponenten“ einer Basis, die die Oberfläche einer Kugel aufspannt.
Einfach ausgedrückt beschreiben Kugelflächenfunktionen die Oberfläche einer Kugel in zunehmend feinkörnigeren Partitionen.
Ähnlich einer Fourier-Zerlegung für eine Funktion, repräsentieren diese die Basis und die Koeffizienten, die, wenn sie über die Basis multipliziert werden, zur Wiederherstellung der Funktion führen.
Kugelflächenfunktionen wurden meistens zur Modellierung der Beleuchtung von kugelförmigen Objekten verwendet. Wenn die Koeffizienten bekannt sind, die die Beleuchtung beschreiben, kann man sie ändern, um ein Objekt erneut zu beleuchten oder die Beleuchtung zu deaktivieren oder die Beleuchtungsbedingungen einer Szene auf eine andere zu übertragen.
In einer oder mehreren Ausführungsformen können Kugelflächenfunktionen eine geeignete vollständige Funktionsbasis darstellen, auf die die Verteilung der Lichtquellen projiziert oder zerlegt werden kann. Die Projektionskoeffizienten werden als Komponentenwerte bezeichnet, wobei der (vollständige) Satz der SH-Koeffizienten auch die vorherrschende Lichtverteilung beschreibt.
In einer oder mehreren Ausführungsformen kann beispielsweise ein eingegebenes RGB-Bild segmentiert werden, um Super-Pixelbereiche und Rand-Pixelbereiche zu extrahieren. Dann können die Superpixel-Reflexionsbereiche gelöst werden, indem ein nichtlineares Optimierungsverfahren verwendet wird, wobei die globale SH-Beleuchtung extrahiert ist. Sobald die SH-Beleuchtung wiederhergestellt ist, kann jeder Super-Pixelbereich iterativ verfeinert werden, indem eine glatte SH-Farbschattierung aus dem ursprünglichen eingegebenen Bild entfernt wird. Dann können die extrahierte Super-Pixelschattierung und die SH-Beleuchtung verwendet werden, um Rand-Pixel auf ähnliche Weise zu lösen, wobei auf ein Optimierungslösungsproblem für die Super-Pixelreflexion und die SH-Lichtextraktion Bezug genommen wird, z.B. basierend auf der in [19] beschriebenen Lösung.
Auch wenn hier wiederum auf eine Prozedur/einen Algorithmus, wie er in [19] dargestellt ist, beispielhaft verwiesen wurde, kann in einer oder mehreren Ausführungsformen die intrinsische Bildzerlegung wie z.B. in [22] oder in anderen Werken beschrieben für den gleichen Zweck übernommen werden.
Wie angedeutet, können in einer oder mehreren Ausführungsformen die Phasen I und II in 1 eine nahezu Lambert'sche Ausgabe (nämlich eine Ausgabe ohne Spiegelungs- und Schattenkomponente, bei der alle Oberflächen matt erscheinen) beinhalten, die nach Anwenden (z.B. bei 112) eines intrinsischen Bildzerlegungsverfahrens es ermöglichen, die Reflexions- und Schattierungsinformation der Szene zu extrahieren.
In einer oder mehreren Ausführungsformen kann die Schattierungsinformation signifikant(er) sein, da sie die Beleuchtungsinformation enthält.
In einer oder mehreren Ausführungsformen kann, sobald die Beleuchtungsbedingungen der Zeitraffersequenz in die Schattierungsbilder extrahiert wurden, die Anzahl der Lichtquellen in der Szene durch Anwenden von z.B. eines LDR-Verfahrens identifiziert werden.
In einer oder mehreren Ausführungsformen kann LDR eine nicht-negative Matrix-Faktorisierung (NMF) aufweisen, wie z.B. in [34] gezeigt ist.
Dieser Ansatz kann aufgrund seiner Fähigkeit zum Extrahieren spärlicher, lokalisierter und leicht interpretierbarer Merkmale vorteilhaft sein, indem Additivität/Linearität angenommen wird und Nicht-Negativität für das Basiselement vorausgesetzt wird, wie es Licht im vorliegend beispielhaften Fall ist: Tatsächlich addiert sich Lichtlinearität während Beleuchtung nicht-negativ sein kann, was in einer oder mehreren Ausführungsformen sinnvoll ausgenutzt werden kann. NMF kann allgemein als ein nicht-negatives Optimierungsproblem der kleinsten Quadrate formuliert werden, was bedeutet, dass es sich um eine beschränkte Annäherung der kleinsten Quadrate handelt, bei der die Koeffizienten keine negativen Werte erhalten dürfen. Im Falle der Lichtzerlegung kann letzteres zusammengefasst werden als:

- vorausgesetzt eine m x n nicht-negative Matrix M, die in diesem Fall die Sequenz von Bildern mit unterschiedlichen Beleuchtungsbedingungen ist, und eine positive ganze Zahl (Rangnummer) 1 ≤ r ≤ min(m,n), die der Anzahl der zu extrahierenden Lichtkomponenten entspricht, Finde zwei nicht-negative Matrizen U und V der Dimensionen m × r und nxr, welche die Summe der quadrierten Einträge von M-UV^T minimieren: $min_{U, V} {‖ M - U V^{T} ‖}_{F}^{2}, where U \geq 0 and V \geq 0$

In den Bildern, die sich aus einer solchen Verarbeitung ergeben, können mehrere Frames, die unterschiedliche Beleuchtungsbedingungen über die Zeit beschreiben, auf genau jene reduziert werden, welche die einzelnen Lichtquellen beschreiben.
Im Idealfall, in dem die Anzahl der additiven Komponenten, in die der Algorithmus die Sequenz zerlegen soll, vorher bekannt ist, wäre die Eingangsvariable r für die zuvor beschriebenen nicht-negativen Matrix-Faktorisierungsalgorithmen gleich der Anzahl der Lichtquellen.
Wenn das Ziel jedoch eine unbeaufsichtigte Lernlösung ist, ist dies nicht der Fall und diese Anzahl ist unbekannt. Daher kann eine beliebige Anzahl, die einer angemessenen Anzahl möglicher vorhandener Lichtquellen in der Szene entspricht (z.B. eine kleine Innenraum-Umgebung kann durch 2-5 einzelne Lichtquellen gut abgedeckt werden) und die größer oder gleich der tatsächlichen Anzahl einzelner Lichtquellen sein sollte, die stattdessen benutzt wurde. Diese Schätzung erfolgt unter Berücksichtigung der Informationen aus den Daten selbst, basierend auf einem Kreuzvalidierungsansatz oder einer ähnlichen Methode.
Zum Beispiel (nur als Beispiel) kann eine solche Verarbeitung ermöglichen, aus einer komplexen Szene (einschließlich Objekten, Schatten usw.) extrahierte Informationen zu erhalten, bei der z.B. vier oder sechs Lichtquellen aus der Zeitraffersequenz extrahiert worden sein können. Lichtidentifizierung und -lokalisierung kann dann erfolgen, indem berücksichtigt wird, dass die Anzahl der Lichtquellen i z.B. basierend auf einer von der Matrix V extrahierten Korrelationskoeffizientenmatrix und der linearen Abhängigkeit jedes Vektors der Gewichtung zueinander gegeben sein kann. Wenn beispielsweise die Koeffizientenvektoren A, B N skalare Beobachtungen aufweisen, dann kann der Korrelationskoeffizient von A und B als Pearson-Abstand definiert werden: $ρ (A, B) = \frac{1}{N - 1} \sum_{i = 1}^{N} (\frac{\bar{A_{i} - μ_{A}}}{σ_{A}}) (\frac{B_{i} - μ_{B}}{σ_{B}})$
wobei µ_A, µ_B und σ_A, σ_B der Mittelwert und die Standardabweichung von A bzw. B sind. Letzteres kann alternativ in Form der Kovarianz cov (A,B) von A und B geschrieben werden: $ρ (A, B) = \frac{c o v (A, B)}{σ_{A} σ_{B}}$
Die Korrelationsmatrix, die tatsächlich zu einer Affinitätsmatrix korrespondiert, kann dann innerhalb eines häufig verwendeten Clustering-Algorithmus (z.B. hierarchisches Clustering, Fuzzy-C-kmeans, Spektral-Clustering usw.) verwendet werden, um das Clustering der Komponenten anzuwenden.
Die Basen von U, die eine Ähnlichkeit aufweisen, sowie die Gewichtungen von V, die dazu neigen, zur gleichen Zeit aktiviert zu sein, können zusammen mit der Anzahl von Clustern, die der geschätzten Anzahl von Lichtquellen entspricht, gebündelt werden.
Die Identifizierung der Lichtquellen zu jeder Zeit kann sich dann aus dem minimalen Residuum (dargestellt als mittlerer Quadratwurzel-Fehler (Root Mean Square Error, RMSE) der entsprechend approximierten rekonstruierten Komponente Î(i) =U_i V_i ^T von z.B. einem Testbild I_input, wie in 6 veranschaulicht ist, durch einen Fehler E gegeben resultieren: $R M S E \leftarrow \sqrt{E [{(\hat{I} - I_{i n p u t})}^{2}]}$
Alternativ kann die Identifizierung der Lichtquellen als ein Klassifizierungsproblem durchgeführt werden, indem ein einfacher Geringster-Quadrat-(Least Squares-)Ansatz verwendet wird, z.B. inverses Pseudo, bei der die extrahierte Lichtquelleninformation (als Bilder) als eine vorgegebene bekannte Basis bereitgestellt wird und die extrahierte Gewichtungs-/Koeffizientenaktivierung über das neu eingegebene Bild bzw. die neu eingegebenen Bilder werden mit den Lichtquellenidentifikationen korrespondieren.
In den Abschnitten a) bis d) von 4 zeigt die Abszisse schematisch vier mögliche Lichtquellen S1, S2, S3, S4 mit einem entsprechenden quadratischen Mittelwertfehler (RMSE) in der Ordinate an.
In den Diagrammen von 4 identifizieren niedrige Restwerte jeweils unterschiedliche Lichtquellen S1, S2, S3 oder S4. Mehr als eine extrahierte Komponente, die einen minimalen Rest liefert, kann einen Zustand einer mehrere Leuchtmittel-Bedingung anzeigen.
Eine oder mehrere Ausführungsformen können Varianten von NMF anwenden, wie beispielsweise die eine, die als nicht-negative Matrix-Unterapproximation (NMU) bekannt ist, wie in [35] gezeigt ist (z.B. aufgrund des Vorteils des Extrahierens von Merkmalen in sequentieller Form) oder eine als PNMU bekannte Erweiterung von NMU anwenden, die z.B. in [36] gezeigt ist (die räumliche und spärliche Informationen/Beschränkungen aufweist).
Folglich können sowohl diese als auch andere alternative Optionen zur Verwendung in einer oder mehreren Ausführungsformen in Betracht gezogen werden.
In einer oder mehreren Ausführungsformen können die oben diskutierten Prinzipien angewendet werden, z.B. in einem System, das das Lichtmuster in einer Szene (z.B. in einer Innenraum-Umgebung) analysiert und Informationen über die darin aktiven Lichtquellen bereitstellt, indem (nur) Bilder verwendet werden, wie sie z.B. bei Verwendung einer (Standard-) Kamera erhalten werden.
In einer oder mehreren Ausführungsformen können diese Lichtquellen sowohl natürlich (z.B. Sonnenlicht von einem Fenster) als auch künstlich sein, wodurch eine Lösung bereitgestellt wird, die sich an verschiedene Umgebungen selbst anpassen kann.
In einer oder mehreren Ausführungsformen kann ein System (siehe zum Beispiel das Modul 1000), wie es in 5 beispielhaft dargestellt ist, zuerst Bilder von z.B. einer oder mehreren (z.B. digitalen) Kamera(s) W mit auffälligen Lichtschwankungen (z.B. bei Langzeitbeobachtungen, beispielsweise über einen Nacht-und-Tag-Zyklus) empfangen und aufnehmen.
In einer oder mehreren Ausführungsformen kann ein solches System dann das empfangene Bildsignal in einen Satz von Basisbildern, die jede Lichtquelle alleine darstellen, zerlegen. Diese Bilder können verwendet werden, um zu ermitteln, welche Lichtquellen (einschließlich natürlicher Lichtquellen) in jedem neuen vom System erfassten Bild aktiv sind.
In einer oder mehreren Ausführungsformen kann eine RGB-D-Kamera (die auch Tiefeninformation D bereitstellt) als ein Bildsensor W in einem „intelligenten“ Beleuchtungssystem zur automatischen Kalibrierung und/oder Identifizierung der Lichtquelle verwendet werden.
In einer oder mehreren Ausführungsformen kann die automatische Lichtquellenkalibrierung durch eine Langzeitbeobachtung (eine Zeitraffersequenz von Bildern) erfolgen, z.B. in einem Innenraum, z.B. unter Verwendung von NMF oder einer Variante davon.
In einer oder mehreren Ausführungsformen kann eine Bildlichtquellen-Kalibrierung/Trennung möglicherweise kombiniert mit der Erfassung der Anwesenheit einer Person in der Szene (durchgeführt in an sich bekannter Weise, z.B. mittels PIR-Sensoren, wie bei bestimmten herkömmlichen Lichtmanagementsystemen) verwendet werden, z.B. zum Ausschalten von Leuchten, die die Szene aufgrund der Position der Person (en) in Bezug auf die Szene nicht beeinflussen.
Zum Beispiel kann dies in einer oder mehreren Ausführungsformen z.B. (ganz oder teilweise) ein Beleuchtungssystem ausschalten, wodurch der Stromverbrauch in den Bereichen verringert wird, die von den Personen in der Umgebung nicht „gesehen“ werden, so dass kein Interesse an der Beleuchtung dieser Bereiche besteht.
In einer oder mehreren Ausführungsformen kann die Ausgabe eines RGB-D-Kamerasensors verwendet werden, z.B. zur automatischen Kalibrierung und Identifikation der Lichtquelle. In einer oder mehreren Ausführungsformen können die Beleuchtungsinformationen, die z.B. durch ein intrinsisches Zerlegungsverfahren/-algorithmus, z.B. mittels eines linearen Dimensionsreduktionsverfahrens (NMF oder Varianten davon) extrahiert werden, verwendet werden, um die Anzahl der Lichtquellen in einer Szene zu schätzen, möglicherweise basierend auf einer Langzeitbeobachtungssequenz einer Szene (z.B. einer Innenraum-Umgebung).
In einer oder mehreren Ausführungsformen kann eine solche Sequenz dann als Trainingseingabe verwendet werden, um die unterschiedlichen Lichter innerhalb der Szene zu ermitteln.
In einer oder mehreren Ausführungsformen kann dies auf vollautomatische Weise durch Analysieren einer Zeitraffer-Bildsequenz einer Szene erfolgen. In ähnlicher Weise kann die Lichtquellenidentifikation durch Erzeugen eines Modells erfolgen, das die Anzahl der identifizierten Lichtquellen schätzen kann und die derzeit aktiven Lichtquellen einer gegebenen Szene mit denen des Modells abgleichen kann, die diese Aktionen angepasst haben, um nach einer Modellierungs-/Trainingsphase online in Echtzeit ausgeführt zu werden. 5 veranschaulicht eine mögliche Verwendung einer oder mehrerer Ausführungsformen, wobei ein Beleuchtungssystem, das einen Satz von Beleuchtungsvorrichtungen aufweist, z.B. S1,..., S6 (natürlich ist diese Zahl nur beispielhaft), so eingerichtet sein kann, dass sie einer Person P im Rahmen eines intelligenten Lichtmanagementsystems, das die verschiedenen Leuchten ein- und ausschalten kann, „folgt“, z.B. in Abhängigkeit von i) Informationen über die geschätzten Lichtquellen und ii) die gegebene Position der Person oder der Personen P im Rahmen der Szene.
Es versteht sich, dass die gleiche Bezeichnung für bestimmte der Lichtquellen in der 4 und 5 verwendet wird.
Dies soll hervorheben, dass in einer oder mehreren Ausführungsformen ein „intelligentes“ Beleuchtungssystem, wie es in 5 beispielhaft dargestellt ist, tatsächlich den Betrieb eines Satzes von Beleuchtungsvorrichtungen S1,..., S6 als Funktion der in der jeweiligen Umgebung identifizierten/lokalisierten Beleuchtungsquellen steuern kann, wobei die identifizierten Beleuchtungsquellen möglicherweise sowohl externe Quellen (z.B. natürliche Quellen wie Sonnenlicht, Sx in 5) als auch eine oder mehrere der Beleuchtungsvorrichtungen S1,..., S6 enthalten.
In einer oder mehreren Ausführungsformen kann die Verwendung eines Kamerasensors mit der Computervision-Analyse kombiniert und gemeinsam so genutzt werden, dass z.B. sobald die Position einer Person P in der Szene erhalten wird (zum Beispiel von einem kamerabasierten Präsenzdetektor eines vorhandenen intelligenten Beleuchtungssystems), die entsprechenden Lichtquellen, die, wie oben erläutert, identifiziert und lokalisiert wurden, können dann aktiviert werden, um die spezifische Position von Interesse in der Szene zu beeinflussen.
Eine oder mehrere Ausführungsformen können sich somit auf ein Verfahren zum Steuern eines Beleuchtungssystems beziehen, das einen Satz von Beleuchtungsvorrichtungen (siehe z.B. S1,..., S6 in 5) zum Beleuchten einer Umgebung (z.B. einer Innenraum-Umgebung) aufweist, wobei das Verfahren aufweisen kann:

- Empfangen (siehe z.B. der Block 100 in der Architektur 1000 in 1) von mindestens einem Bildsensor (z.B. einer RGB-D-Kamera W) eines (z.B. digitalen) Bildsignals, das eine Sequenz von Bildern der Umgebung unter verschiedenen Beleuchtungsbedingungen und Lichtreflexionsbedingungen aufweist
- Verarbeiten (siehe z.B. Schritte 102 bis 120 in 1) des Bildsignals, um ein Lichtquellenidentifizierungssignal (siehe z.B. 120 in 1) bereitzustellen, das (natürliche und/oder künstliche) Lichtquellen darstellt, die die Umgebung beeinflussen (z.B. Licht in der Umgebung erzeugen), und
- Steuern des Satzes von Beleuchtungsvorrichtungen als Funktion des Lichtquellenidentifikationssignals (und möglicherweise des Vorhandenseins und/oder der Aktivität von Personen in der Szene).

In einer oder mehreren Ausführungsformen kann das Verarbeiten des Bildsignals das Schätzen der Anzahl von Lichtquellen aufweisen, die die Umgebung beeinflussen.
In einer oder mehreren Ausführungsformen kann das Verarbeiten des Bildsignals das Identifizieren, gegebenenfalls Lokalisieren, der Lichtquellen aufweisen, welche die Umgebung beeinflussenden und/oder ihrer Stärke (Leistung), welche die Umgebung beeinflusst, aufweisen, wodurch z.B. die Möglichkeit besteht, auch die Stärke eines vorherrschenden Leuchtmittels zu erschließen.
In einer oder mehreren Ausführungsformen kann das Steuern des Satzes von Beleuchtungsvorrichtungen das wahlweise Aktivieren/Deaktivieren von Beleuchtungsvorrichtungen in dem Satz aufweisen, vorzugsweise durch Erkennen (z.B. über Kameras/Sensoren) der Anwesenheit von Personen (siehe z.B. P in 5) in der Umgebung und selektives Abschalten von Beleuchtungsvorrichtungen, die Bereiche in der Umgebung abdecken (d.h. geeignet sind zu beleuchten), die von den Personen nicht beobachtet werden können und/oder durch Anpassen der Beleuchtungsstärke der Beleuchtungsvorrichtungen, gegebenenfalls basierend auf den Aktivitäten der Personen.
Erfindungsgemäß weist das Verarbeiten des Bildsignals Folgendes auf:

- Extrahieren (z.B. 114) der Beleuchtungsbedingungen der Umgebung aus der Sequenz von Bildern, um Schattierungsinformationen bereitzustellen,
- Identifizieren der Anzahl der Lichtquellen, die die Umgebung beeinflussen, durch lineare Dimensionsreduktion, LDR (z.B. 118), vorzugsweise durch eine einer nicht-negativen Matrix-Faktorisierung, NMF, und einer nicht-negativen Matrix-Unterapproximation, NMU oder PNMU.

In einer oder mehreren Ausführungsformen kann das Verarbeiten des Bildsignals das Erzeugen (z.B. 102, 104, 106) einer nahezu Lambert'schen Sequenz aus der Sequenz von Bildern aufweisen, wobei die Helligkeit von Oberflächen (z.B. S) in der Umgebung unabhängig vom Blickwinkel ist.
Eine oder mehrere Ausführungsformen können das Anwenden einer Reflexions- und Schattierungszerlegung (z.B. 112) auf die nahezu Lambert'sche Sequenz aufweisen.
Eine oder mehrere Ausführungsformen können das Anwenden der linearen Dimensionsreduzierung, LDR, auf die nahezu Lambert'sche Sequenz aufweisen, auf die eine Reflexions- und Schattierungszerlegung (112) angewendet wurde.
Eine oder mehrere Ausführungsformen können sich auf ein Beleuchtungssystem beziehen, das einen Satz von Beleuchtungsvorrichtungen zum Beleuchten einer Umgebung aufweist, wobei das System Folgendes aufweist:

- mindestens einen Bildsensor zum Erzeugen eines Bildsignals mit einer Sequenz von Bildern der Umgebung unter verschiedenen Beleuchtungs- und Lichtreflexionsbedingungen,
- ein Verarbeitungsmodul, das mit dem mindestens einen Bildsensor gekoppelt ist, wobei das Verarbeitungsmodul dafür eingerichtet ist, das Bildsignal zu empfangen und zu verarbeiten und den Satz von Beleuchtungsvorrichtungen gemäß dem Verfahren einer oder mehrerer Ausführungsformen zu steuern.

Eine oder mehrere Ausführungsformen können sich auf ein Computerprogrammprodukt beziehen, das in mindestens ein Verarbeitungsmodul geladen werden kann und Softwarecodeabschnitte zum Durchführen des Verfahrens einer oder mehrerer Ausführungsformen aufweist.
LISTE DER ZITIERTEN DRUCKSCHRIFTEN

1. Alhajhamad, H., Sunar, M.S., Kolivand, H. In: Automatic Estimation of Illumination Features for Indoor Photorealistic Rendering in Augmented Reality. Springer International Publishing, Cham (2015) 541-554
2. Plopski, A., Mashita, T., Kiyokawa, K., Takemura, H.: Reectance and light source estimation for indoor ar applications. In: Virtual Reality (VR), 2014 iEEE, IEEE(2014) 103-104
3. Boom, B.J., Orts-Escolano, S., Ning, X.X., McDonagh, S., Sandilands, P., Fisher, R.B.: Interactive light source position estimation for augmented reality with an rgb-d camera. Computer Animation and Virtual Worlds (2015) n/a-n/a
4. Neverova, N., Muselet, D., Tremeau, A. In: Lighting Estimation in Indoor Environments from Low-Quality Images. Springer Berlin Heidelberg, Berlin, Heidelberg (2012) 380-389
5. Debevec, P.: Image-based lighting. In: ACM SIGGRAPH 2005 Courses. SIG-GRAPH '05, New York, NY, USA, ACM (2005)
6. Karsch, K., Hedau, V., Forsyth, D., Hoiem, D.: Rendering synthetic objects into legacy photographs. ACM Trans. Graph. 30(6) (Dezember 2011) 157:1-157:12
7. Takai, T., Maki, A., Niinuma, K., Matsuyama, T.: Difference sphere: An approach to near light source estimation. Comput. Vis. Image Underst. 113(9) (September 2009) 966-978
8. Ogura, Y., Ikeda, T., De Sorbier, F., Saito, H. In: Illumination estimation and relighting using an RGB-D camera. Volume 2. SciTePress (2015) 305-312
9. Poulin, P., Fournier, A.: Lights from highlights and shadows. In: Proceedings of the 1992 Symposium on Interactive 3D Graphics. I3D '92, New York, NY, USA, ACM (1992) 31-38
10. Wang, Y., Samaras, D.: Estimation of multiple directional light sources for synthesis of augmented reality images. Graph. Models 65(4) (Juli 2003) 185-205
11. Hara, K., Nishino, K., Ikeuchi, K.: Light source position and reectance estimation from a single view without the distant illumination assumption. IEEE Transactions on Pattern Analysis and Machine Intelligence 27(4) (April 2005) 493-505
12. Lopez-Moreno, J., Hadap, S., Reinhard, E., Gutierrez, D.: Compositing images through light source detection. Computers & Graphics 34(6) (2010) 698 - 707 Graphics for Serious GamesComputer Graphics in Spain: a Selection of Papers from fCEIGg 2009 Selected Papers from the {SIGGRAPH} Asia Education Program.
13. Gijsenij, A., Gevers, T., van de Weijer, J.: Computational color constancy: Survey and experiments. IEEE Transactions on Image Processing 20(9) (Sept 2011) 2475-2489
14. Beigpour, S., Riess, C., van de Weijer, J., Angelopoulou, E.: Multi-illuminant estimation with conditional random fields. IEEE Transactions on Image Processing (TIP) 23(1) (Januar 2014) 83-96
15. Stutz, D.: Intrinsic images introduction and reading list, available at http://davidstutz.de/intrinsic-imagesintroduction-and-reading-list/ (abgerufen: Februar 2015)
16. Land, E.H., McCann, J.J.: Lightness and retinex theory. J. Opt. Soc. Am. 61(1) (Jan 1971) 1-11
17. Barron, J.T., Malik, J.: Intrinsic scene properties from a single rgb-d image. CVPR (2013)
18. Chen, Q., Koltun, V.: A simple model for intrinsic image decomposition with depth cues. In: 2013 IEEE International Conference on Computer Vision. (Dez 2013) 241-248
19. Shi, J., Dong, Y., Tong, X., Chen, Y.: E_cient intrinsic image decomposition for rgbd images. In: Proceedings of the 21st ACM Symposium on Virtual Reality Software and Technology. VRST '15, New York, NY, USA, ACM (2015) 17-25
20. Barron, J.T., Malik, J.: Shape, illumination, and reflectance from shading. TPAMI (2015)
21. Laffont, P.Y., Bazin, J.C.: Intrinsic decomposition of image sequences from local temporal variations. In: Proceedings of the International Conference on Computer Vision (ICCV) (2015)
22. Meka, A., Zollhoefer, M., Richardt, C., Theobalt, C.: Live intrinsic video. ACM Transactions on Graphics (Proceedings SIGGRAPH) 35(4) (2016)
23. Bonneel, N., Sunkavalli, K., Tompkin, J., Sun, D., Paris, S., Pfister, H.: Interactive intrinsic video editing. ACM Transactions on Graphics (Proceedings of SIGGRAPH Asia 2014) 33(6) (2014)
24. Ye, G., Garces, E., Liu, Y., Dai, Q., Gutierrez, D.: Intrinsic video and applications. ACM Trans. Graph. 33(4) (Juli 2014) 80:1-80:11
25. Lellmann, J., Balzer, J., Rieder, A., Beyerer, J.: Shape from specular reection and optical flow. International Journal of Computer Vision 80(2) (2008) 226-241
26. Tan, R.T., Ikeuchi, K. In: Separating Reection Components of Textured Surfaces using a Single Image. Springer US, Boston, MA (2008) 353-384
27. Yang, Q., Wang, S., Ahuja, N.: Real-time specular highlight removal using bilateral filtering. In: Proceedings of the 11th European Conference on Computer Vision: Part IV. ECCV'10, Berlin, Heidelberg, Springer-Verlag (2010) 87-100
28. Shen, H.L., Zheng, Z.H.: Real-time highlight removal using intensity ratio. Appl. Opt. 52(19) (Jul 2013) 4483-4493
29. Kim, H., Jin, H., Hadap, S., Kweon, I.: Specular reflection separation using dark channel prior. In: Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. CVPR '13, Washington, DC, USA, IEEE Computer Society (2013) 1460-1467
30. Akashi, Y., Okatani, T. In: Separation of Reection Components by Sparse Non-negative Matrix Factorization. Springer International Publishing, Cham (2015) 611-625
31. An, D., Suo, J., Ji, X., Wang, H., Dai, Q.: Fast and high quality highlight removal from a single image. CoRR abs/1512.00237 (2015)
32. Zhao, Y., Peng, Q., Xue, J., Kong, S.G.: Specular reection removal using local structural similarity and chromaticity consistency. In: Image Processing (ICIP), 2015 IEEE International Conference on. (Sept 2015) 3397-3401
33. PCO: Knowledge base: linearity. https://www.pco.de/fileadmin/user_upload/ db/download/kb_linearity_20100727.pdf [Online; abgerufen 10-Juli-2016].
34. Lee, D.D., Seung, H.S.: Learning the parts of objects by non-negative matrix factorization. Nature 401(6755) (1999) 788-791
35. Gillis, N., Glineur, F.: Using underapproximations for sparse nonnegative matrix factorization. Pattern Recogn. 43(4) (April 2010) 1676-1687
36. Casalino, G., Gillis, N.: Sequential dimensionality reduction for extracting localized features. CoRR abs/1505.06957 (2015) Unbeschadet der zugrundeliegenden Prinzipien können die Details und Ausführungsformen in Bezug auf das, was nur als Beispiel beschrieben wurde, sogar erheblich variieren, ohne vom Schutzumfang abzuweichen. Der Schutzumfang wird durch die beigefügten Ansprüche definiert.

Claims

Verfahren zum Steuern eines Beleuchtungssystems, das einen Satz von Beleuchtungsvorrichtungen (S1,..., S6) zum Beleuchten einer Umgebung aufweist, wobei das Verfahren aufweist: - Empfangen (100) von mindestens einem Bildsensor (W) eines Bildsignals, das eine Sequenz von Bildern der Umgebung unter verschiedenen Beleuchtungs- und Lichtreflexionsbedingungen aufweist, - Verarbeiten (102 bis 120) des Bildsignals, um ein Lichtquellenidentifizierungssignal (120) bereitzustellen, das Lichtquellen repräsentiert, die die Umgebung beeinflussen, und - Steuern des Satzes von Beleuchtungsvorrichtungen (S1,..., S6) als Funktion des Lichtquellenidentifizierungssignals (120); und wobei das Verarbeiten des Bildsignals Folgendes beinhaltet: - Extrahieren (114) von Beleuchtungsbedingungen der Umgebung aus der Sequenz von Bildern, um Schattierungsinformationen (114) bereitzustellen, - Identifizieren der Anzahl der Lichtquellen, die die Umgebung beeinflussen, durch lineare Dimensionsreduktion, LDR (118).
Verfahren nach Anspruch 1, wobei das Verarbeiten des Bildsignals das Schätzen (120) der Anzahl der Lichtquellen, welche die Umgebung beeinflussen, beinhaltet.
Verfahren nach Anspruch 1 oder Anspruch 2, wobei das Verarbeiten des Bildsignals das Identifizieren und vorzugsweise Lokalisieren (120) der Lichtquellen und/oder der Beleuchtungsstärke der Lichtquellen, die die Umgebung beeinflussen, aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Steuern des Satzes von Beleuchtungsvorrichtungen (S1,..., S6) das selektive Aktivieren/Deaktivieren von Beleuchtungsvorrichtungen in dem Satz von Beleuchtungsvorrichtungen (S1,..., S6) beinhaltet, vorzugsweise durch Erkennen der Anwesenheit von Personen (P) in der Umgebung und durch selektives Abschalten von Beleuchtungsvorrichtungen, die Bereiche in der Umgebung abdecken, die von den Personen nicht beobachtet werden, und/oder durch Einstellen der Beleuchtungsstärke der Beleuchtungsvorrichtungen, vorzugsweise basierend auf den Aktivitäten der Personen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die lineare Dimensionsreduktion, LDR (118) eine nicht-negative Matrix-Faktorisierung, NMF oder eine nicht-negative Matrix-Unterapproximation, NMU oder PNMU ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verarbeiten des Bildsignals das Erzeugen (102, 104, 106) einer nahezu Lambert'schen Sequenz aus der Sequenz von Bildern aufweist, wobei die Helligkeit der Oberflächen (S) in der Umgebung unabhängig vom Betrachtungswinkel ist.
Verfahren nach Anspruch 6, aufweisend: das Anwenden einer Reflexions- und Schattierungszerlegung (112) auf die nahezu Lambert'sche Sequenz.
Verfahren nach den Ansprüchen 5, 6 und 7, aufweisend: das Anwenden der linearen Dimensionsreduktion, LDR auf die nahezu Lambert'sche Sequenz, auf die eine Reflexions- und Schattierungszerlegung (112) angewendet wurde.
Beleuchtungssystem mit einem Satz von Beleuchtungsvorrichtungen (S1,..., S6) zum Beleuchten einer Umgebung, wobei das System Folgendes aufweist: - mindestens einen Bildsensor (W) zum Erzeugen eines Bildsignals einschließlich einer Sequenz von Bildern der Umgebung unter verschiedenen Beleuchtungs- und Lichtreflexionsbedingungen, - ein Verarbeitungsmodul (1000), das mit dem mindestens einen Bildsensor (W) gekoppelt ist, wobei das Verarbeitungsmodul (1000) zum Empfangen und Verarbeiten des Bildsignals (100) und zum Steuern des Satzes von Beleuchtungsvorrichtungen (S1,..., S6) gemäß dem Verfahren nach einem der Ansprüche 1 bis 8 eingerichtet ist.
Computerprogrammprodukt, das in mindestens ein Verarbeitungsmodul (1000) geladen werden kann und Softwarecodeabschnitte zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 8 aufweist.