IT201600103146A1 - Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti - Google Patents

Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti

Info

Publication number
IT201600103146A1
IT201600103146A1 IT102016000103146A IT201600103146A IT201600103146A1 IT 201600103146 A1 IT201600103146 A1 IT 201600103146A1 IT 102016000103146 A IT102016000103146 A IT 102016000103146A IT 201600103146 A IT201600103146 A IT 201600103146A IT 201600103146 A1 IT201600103146 A1 IT 201600103146A1
Authority
IT
Italy
Prior art keywords
environment
light sources
lighting
sequence
image signal
Prior art date
Application number
IT102016000103146A
Other languages
English (en)
Inventor
Theodore Tsesmelis
Irtiza Hasan
Marco Cristani
Fabio Galasso
Bue Alessio Del
Michael Eschey
Herbert Kaestle
Original Assignee
Osram Gmbh
Univ Degli Studi Di Verona
Fondazione St Italiano Tecnologia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osram Gmbh, Univ Degli Studi Di Verona, Fondazione St Italiano Tecnologia filed Critical Osram Gmbh
Priority to IT102016000103146A priority Critical patent/IT201600103146A1/it
Priority to US16/341,465 priority patent/US10893594B2/en
Priority to DE112017005207.6T priority patent/DE112017005207B4/de
Priority to PCT/IB2017/056246 priority patent/WO2018069827A1/en
Publication of IT201600103146A1 publication Critical patent/IT201600103146A1/it

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0228Control of working procedures; Failure detection; Spectral bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0266Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H05B47/199
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4247Photometry, e.g. photographic exposure meter using electric radiation detectors for testing lamps or other light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Description

“Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti”
TESTO DELLA DESCRIZIONE
Campo tecnico
La descrizione si riferisce ai sistemi di illuminazione.
Una o più forme di attuazione possono essere applicate per comandare sistemi di illuminazione “intelligenti” per illuminare ad esempio un ambiente all'interno (indoor) identificando le sorgenti luminose che interessano tale ambiente.
Nel corso di questa descrizione si farà riferimento a vari documenti riproducendo tra parentesi quadre (ad esempio [X]) un numero che identifica il documento in un ELENCO DEI DOCUMENTI CITATI che appare alla fine della descrizione.
Sfondo tecnologico
Sistemi di illuminazione comprendenti diversi dispositivi di illuminazione sono utilizzati comunemente in un certo numero di applicazioni (uffici, case, ospedali, magazzini, etc.).
La messa in funzione manuale di tali sistemi di illuminazione può comportare il comandare sistemi di gestione della luce e/o il regolare in modo fine i livelli di illuminazione in accordo con sensori di illuminazione (luxmetri), in conformità con specifiche del sistema.
La configurazione manuale può quindi essere scomoda, può richiedere una conoscenza da esperti e può essere necessario ripeterla ogni volta che una delle sorgenti luminose cambia, sia in termini di modello di sorgente luminosa sia in termini della sua posizione.
La calibrazione automatica del sistema di illuminazione tramite misura dell'illuminazione prevalente può essere preferita alla messa in funzione manuale con apparecchiature specifiche.
La calibrazione automatica può essere difficile, ad esempio, a causa delle complesse interazioni fisiche tra la geometria 3D della scena, i materiali delle superfici e le caratteristiche della luce di sorgenti naturali e artificiali.
Le soluzioni esistenti si focalizzano principalmente su applicazioni di realtà aumentata [1] [2] [3] [4], prestando meno attenzione agli ambienti di vita reale.
Inoltre, alcune soluzioni richiedono apparecchiature hardware ed una messa a punto complesse per esempio con camere ad alta dinamica/risoluzione e l'uso di sonde di luce [5] e/o un input da parte dell'utente in relazione a struttura geometrica della scena, interazioni di oggetti e posizioni approssimative e colori delle sorgenti luminose [6].
Le tecniche dell’arte nota per l'analisi della luce nella visione artificiale sono indirizzate singolarmente a problemi specifici (ad esempio stima dell’illuminazione, stima/localizzazione delle sorgenti luminose, decomposizione intrinseca dell’immagine, rilevazione e rimozione di highlight speculari, etc. ...) senza considerare l'ambito di un sistema completo.
La stima della luce è uno dei problemi più impegnativi nella visione artificiale e nella grafica su computer. Questa può essere applicata ad esempio ad ambienti indoor, in cui possono essere presenti più sorgenti luminose diverse per tipo (ad esempio artificiale, naturale), dimensioni, forme e caratteristiche dello spettro.
Varie soluzioni secondo la tecnica nota assumono variabili note nella scena (ad esempio la geometria) o possono sfruttare l'input dell'utente e oggetti di ausilio (ad esempio sonde di luce) in aggiunta ad apparecchiature complesse per stimare una o più variabili sconosciute.
La soluzione descritta in [5] utilizza apparecchiature di alto livello in aggiunta a sonde di luce, mentre in [7] vengono ottenuti risultati interessanti utilizzando sfere di riferimento e una ipotesi di luce vicina.
La soluzione di [6] sfrutta la stima e la correzione dell’illuminazione attraverso una procedura di ottimizzazione basata sulla base del rendering, con l'utente che specifica precedentemente determinate variabili incognite (ad esempio geometria, posizione e colore delle sorgenti luminose).
Un approccio basato sul rendering è seguito anche in [3] e [4] in unione ad informazioni di profondità; questo approccio può comportare una soluzione che richiede tempo, limitata ad un piccolo numero di sorgenti luminose. L’informazione di profondità e il rendering inverso sono utilizzati anche in [8] per stimare e ridefinire l’illuminazione.
Gli approcci descritti in [9] e [10] stimano l'illuminazione sfruttando la forma di ombre e la riflessione speculare di geometrie note nella scena. Estensioni di queste ultime soluzioni vengono introdotte in [11], assumendo differenti modelli di riflettanza.
Lopez Moreno et al. [12] utilizzano una sagoma di un oggetto, fornita mediante input di utente, per stimare più sorgenti luminose a partire da una singola immagine.
La costanza computazionale di colore è un campo con focalizzazione principale sul colore della sorgente luminosa, che tuttavia può anche richiedere la stima della direzione della luce [13] [14].
Un altro approccio spesso utilizzato con la stima della luce è la decomposizione intrinseca dell’immagine [15], in cui il colore di ogni pixel è decomposto in riflettanza e ombreggiatura (shading).
Ciò può essere utile per ricavare proprietà del colore e dell’illuminazione di materiali all'interno della scena e avere una migliore comprensione della stessa.
Land e McCann [16] hanno proposto nel 1975 la teoria Retinex ipotizzando che l’albedo sia caratterizzata da bordi affilati mentre l’ombreggiatura tende a variare lentamente.
Lavori più recenti hanno cercato di migliorare la decomposizione e di acquisire informazioni utili per quanto riguarda l'illuminazione dell’illuminazione di scena.
Per esempio [17], [18], [19] cercano di scomporre un ingresso RGB-D in componenti di riflettanza e di ombreggiatura per spiegare la scena e ricavare una stima dell’illuminazione.
Altri lavori stimano forma, illuminazione cromatica, riflettanza e ombreggiatura a partire da una singola immagine [20] o uno strato di riflettanza globale a partire da una sequenza di immagini [21], il che può consentire di ottenere uno strato di ombreggiatura rispettivamente da ciascuna immagine.
In tempi recenti, è stata ampiamente data attenzione alla decomposizione in tempo reale [19], [22], [23], [24] permettendo alle applicazioni di trarre vantaggio da essa per diversi usi, come ri-colorazione, editazione del materiale e retexturing.
La maggior parte dei procedimenti di decomposizione intrinseca dell’immagine assumono una riflessione diffusa e trascurano i punti caldi (hotspot) da highlight speculari.
Una componente speculare può essere utilizzata ad esempio per la stima dell’illuminazione [9] o per il recupero della forma dalla riflessione speculare [25].
Per esempio, Tan e Ikeuchi et al. [26] hanno fatto uso della differenza tra pixel speculari e diffusi al fine di rimuovere effetti di highlight.
Al fine di ridurre l'elevato costo computazionale della strategia di ricerca associata, Yang et al. [27] hanno introdotto l'uso di un filtraggio bilaterale, mentre Shen e Zheng [28] hanno proposto di adottare un approccio di raggruppamento speculare-indipendente di materiale e correlano quindi l'intensità speculare alla sua controparte speculare-esente (specular-free).
Kim et al. [29] testimoniano tentativi di separare la riflessione speculare utilizzando prima un canale buio e poi un problema di ottimizzazione basato sull'osservazione che per la maggior parte delle immagini naturali il canale buio può fornire un'immagine approssimativa speculareesente.
Viene anche proposto un procedimento di risoluzione con ottimizzazione [30], formulando il problema di separare le due componenti come un problema di fattorizzazione di matrice non negativa (non-negative matrix factorization -NMF).
In [31] gli autori propongono un approccio basato su una definizione di cromaticità L2 e un modello dicromatico corrispondente, mentre un lavoro più recente [32] stima la componente diffusa risolvendo un problema di compensazione congiunta di struttura e cromaticità locali.
Al momento sistemi di illuminazione intelligenti basati su sensori possono fornire diverse informazioni, in primo luogo sulla presenza di persone.
Esempi di tali sistemi sono alcuni sistemi di gestione di illuminazione industriale basati sugli standard Dali o KNX che impiegano sensori passivi all'infrarosso (PIR), principalmente per rilevare il movimento.
Scopo e sintesi
Uno scopo di una o più forme di attuazione è quello di contribuire a fornire ulteriori miglioramenti nel settore della tecnologia discussa in quanto precede, superando vari inconvenienti delle soluzioni discusse in quanto precede.
Secondo una o più forme di attuazione, tale scopo può essere raggiunto mediante un procedimento come esposto nelle rivendicazioni che seguono.
Una o più forme di attuazione possono riferirsi ad un sistema corrispondente, nonché ad un prodotto informatico caricabile nella memoria di almeno un modulo di elaborazione (cioè, un computer) e comprendente porzioni di codice software per eseguire i passi del procedimento quando il prodotto viene eseguito su almeno un modulo di elaborazione.
Come qui utilizzato, il riferimento ad un tale prodotto informatico è inteso come essere equivalente al riferimento ad un mezzo leggibile da computer contenente istruzioni per il comando del sistema di elaborazione in modo da coordinare l'attuazione del procedimento secondo una o più forme di attuazione.
Il riferimento a “almeno un computer” è inteso per sottolineare la possibilità che una o più forme di attuazione siano attuate in forma modulare e/o distribuita.
Le rivendicazioni sono parte integrante della descrizione qui fornita in relazione ad una o più forme di attuazione.
Una o più forme di attuazione possono fornire una tecnica automatica o semi-automatica per calibrare la posizione e la configurazione di illuminazione corrente di sorgenti luminose, ad esempio sfruttando una sequenza di immagini acquisite da una camera per un certo periodo di osservazione.
In una o più forme di attuazione, tale periodo di osservazione può essere un periodo di osservazione a lungo termine, ad esempio un periodo di osservazione sufficientemente lungo da catturare sufficienti variazioni di illuminazione nell'ambiente, ad esempio nel corso di un ciclo giorno e notte.
Una o più forme di attuazione possono comportare l'analisi di una configurazione di luce/illuminazione ad esempio in ambienti indoor e fornire informazioni su quali sorgenti luminose sono attive utilizzando (solo) immagini ottenute da una camera.
Una o più forme di attuazione possono prevedere un sistema di comando semplice che consiste essenzialmente in una camera RGB-D (immagine a colori profondità) e un'unità di elaborazione.
Una o più forme di attuazione possono identificare automaticamente e in modo robusto le luci in un ambiente sconosciuto con tipo e posizione di sorgenti luminose arbitrari (comprese luci naturali).
Una o più forme di attuazione possono prevedere un sistema che può sfruttare soluzioni di visione artificiale, che ha come obiettivo uno strumento completamente automatico per la calibrazione tramite osservazione a lungo termine (cioè in un lasso di tempo) con un dispositivo di rilevazione RGB-D (cioè una camera a colori e un sensore di profondità) e la sua integrazione in un sistema intelligente di gestione dell’illuminazione.
In una o più forme di attuazione, immagini di alto livello (“top-view”) in un lasso di tempo di una scena/area indoor possono essere analizzate attraverso una pipeline strutturata a partire da una combinazione di procedure di visione artificiale al fine di:
- stimare il numero di sorgenti luminose in una scena (cioè stima di sorgenti luminose),
- determinare/adattare la presenza di sorgenti luminose all'interno della scena.
Una o più forme di attuazione possono fornire una soluzione in tempo reale senza intervento dell'utente, sulla base di apparecchiature disponibili facilmente e in grado di tener in conto un gran numero di sorgenti luminose (naturali e artificiali) senza restrizioni.
Una o più forme di attuazione possono fornire una migliore modellizzazione dell'illuminazione di una scena utilizzando come ingresso immagini intrinseche in luogo di immagini RGB/in scala di grigi comuni.
In una o più forme di attuazione, le sorgenti luminose possono essere sia naturali (per esempio luce solare da una finestra) sia artificiali, fornendo così una soluzione che può auto-adattarsi ad ambienti differenti.
In una o più forme di attuazione, un sistema può prima registrare una serie di immagini con variazioni di luce di rilievo (ad esempio con osservazioni a lungo termine, come un ciclo notte e giorno) e poi decomporre tale sequenza in una serie di immagini di base, raffiguranti ciascuna sorgente luminosa da sola; queste immagini possono essere ulteriormente utilizzate per identificare una sorgente luminosa (incluse sorgenti luminose naturali) in ogni nuova immagine acquisita dal sistema.
È stato osservato che, oltre a fornire una migliore conoscenza della scena (ad esempio localizzazione delle sorgenti luminose e stima della propagazione della luce e dell’illuminazione) tali informazioni possono essere sfruttate al fine di facilitare la gestione “intelligente” di sistemi di illuminazione, come quelli che usano sorgenti di radiazioni di luce ad alimentazione elettrica (ad esempio sorgenti luminose allo stato solido come sorgenti LED), per prevedere ad esempio di:
- spegnere le luci in quelle aree che non sono visibili per le persone;
- regolare l’intensità di illuminazione/luminosità ad esempio in relazione alle attività previste;
- attivare/disattivare le luci in relazione alle attività previste.
Una o più forme di attuazione possono quindi fornire sistemi di gestione della luce che possono attuare per esempio una sorta di “interruttore della luce invisibile”: gli utenti hanno la sensazione di vivere in un ambiente tutto illuminato, mentre l'ambiente è illuminato solamente al minimo, fornendo quindi un notevole risparmio di energia “nell’invisibile”.
Un concetto alla base di un tale approccio di un interruttore della luce invisibile è elementare: l’utente comanda e imposta l'illuminazione dell'ambiente che lui o lei può vedere, mentre un sistema secondo una o più forme di attuazione può agire su una parte dell'ambiente che l'utente non può vedere, spegnendo le luci, garantendo così un risparmio energetico consistente.
In una o più forme di attuazione, analizzare la scena può avere lo scopo di acquisire conoscenza della geometria 3D della scena e della mappatura di inter-riflettanza, rendendo così possibile comprendere come diverse sorgenti luminose influenzano ciascun punto dello spazio.
Una o più forme di attuazione possono comportare il riconoscimento che, al fine di ovviare alla presenza di highlight speculari, un passo di pre-elaborazione può essere vantaggioso nel separare le componenti speculari e diffuse con una decomposizione intrinseca dell’immagine successivamente applicata sulla componente diffusa.
Così, la separazione speculare dalla componente diffusa dalle immagini di scene non Lambertiane può essere utile, ad esempio, per rifinire le immagini prima di usarle per la decomposizione intrinseca.
Breve descrizione delle figure
Una o più forme di attuazione verranno ora descritte, soltanto a titolo di esempio, con riferimento alle figure allegate, in cui:
- la figura 1 è uno schema a blocchi esemplificativo di una pipeline di elaborazione secondo una o più forme di attuazione,
- le figure 2 e 3 sono esemplificative di alcuni principi alla base di una o più forme di attuazione,
- la figura 4, comprendente quattro porzioni indicate rispettivamente come a), b), c) e d), e la figura 5 sono esemplificative di un possibile funzionamento di una o più forme di attuazione.
Descrizione particolareggiata
Nel seguito sono illustrati uno o più dettagli specifici, finalizzati a fornire una comprensione approfondita di esempi di forme di attuazione. Le forme di attuazione possono essere ottenute senza uno o più dei dettagli specifici, o con altri procedimenti, componenti, materiali, etc. In altri casi, strutture, materiali od operazioni noti non sono illustrati o descritti in dettaglio in modo che certi aspetti di forme di attuazione non saranno oscuri.
Il riferimento a “forma di attuazione” o “una forma di attuazione” nell'ambito della presente descrizione intende indicare che una particolare configurazione, struttura o caratteristica descritta in relazione alla forma di attuazione è compresa in almeno una forma di attuazione. Quindi, frasi come “in una forma di attuazione” o “nella forma di attuazione” che possono essere presenti in uno o più punti della presente descrizione non si riferiscono necessariamente ad una e alla stessa forma di attuazione. Inoltre, particolari conformazioni, strutture o caratteristiche possono essere combinate in un qualsiasi modo adeguato in una o più forme di attuazione.
I riferimenti citati nel presente documento sono forniti solo per comodità e, quindi, non definiscono l'estensione della protezione o l’ambito delle forme di attuazione.
Una o più forme di attuazione possono essere applicate ad un sistema di illuminazione come rappresentato schematicamente nella figura 5, vale a dire un sistema che comprende un insieme di dispositivi di illuminazione S1,....., S6 per illuminare un ambiente (ad esempio un ambiente interno o indoor).
In una o più forme di attuazione i dispositivi di illuminazione S1,....., S6 possono comprendere dispositivi di illuminazione ad alimentazione elettrica ad esempio sorgenti luminose allo stato solido (SSL), come sorgenti LED.
In una o più forme di attuazione, un tale sistema può comprendere:
- uno o più sensori di immagine W, ad esempio una o più camere RGB-D, che possono fornire (eventualmente in modo congiunto) una sequenza di immagini dell'ambiente in diverse condizioni di illuminazione e di riflessione della luce,
e
- un modulo di comando 1000 (ad esempio un'unità di elaborazione come un DSP) configurato per ricevere un segnale di immagine dell’ambiente dal(i) sensore(i) di immagine W ed elaborare tale segnale con la capacità di comandare i dispositivi di illuminazione S1,....., S6 in funzione del segnale dal(i) sensore(i) di immagine W ad esempio come discusso nel seguito.
In una o più forme di attuazione, il funzionamento di un tale sistema può essere basato su una procedura comprendente quattro fasi designate rispettivamente I, II, III, e IV nella figura 1.
Una o più forme di attuazione possono comprendere l'elaborazione del segnale di ingresso ricevuto nella fase I in 1000 dal(i) sensore(i) di immagine W (ad esempio immagini RGB), che può essere eventualmente registrato ed è rappresentativo di una certa scena nell'ambiente osservato dal(i) sensore(i) “di visione” W.
L’elaborazione nel modulo 1000 può comportare l’utilizzo di mezzi/strumenti di elaborazione delle immagini, ad esempio una pipeline di elaborazione, di per sé convenzionali (vedere in proposito la parte introduttiva della presente descrizione), rendendo così superfluo fornirne qui una descrizione dettagliata.
Ad esempio, tale elaborazione può comprendere rilevare ombre e specularità (in 102) per derivare una mappa di ombre 104 e una mappa speculare 106. Queste possono essere combinate con altre informazioni a partire dal segnale di immagine di ingresso ricevuto in 100 per produrre un'immagine “quasi Lambertiana” 108.
In una o più forme di attuazione, tale immagine quasi-Lambertiana può essere ulteriormente elaborata nella fase II insieme alle informazioni di profondità di immagine 110 (ad esempio le informazioni “D” da una camera RGB-D W) per effettuare una decomposizione "intrinseca" dell’immagine in 112 che dà luogo a una mappa di ombreggiatura 114 e a una mappa di riflettanza 116.
In una o più forme di attuazione, le informazioni in uscita dalla fase II possono essere elaborate nella fase III per esempio tramite una procedura di riduzione di dimensionalità lineare 118 (LDR).
In una o più forme di attuazione nella fase IV le informazioni relative all'immagine quasi Lambertiana ottenute nella fase I e il risultato della decomposizione LDR nella fase III sono elaborati applicandovi una procedura di identificazione e localizzazione della luce 120 che può essere sfruttata nella gestione dei dispositivi di illuminazione S1,..., S6.
Una o più forme di attuazione possono quindi comportare l'applicazione ai dati sul lasso di tempo (ad esempio, il segnale dell’immagine RGB-D di ingresso) delle seguenti azioni di elaborazione:
- a) creare una sequenza quasi Lambertiana ricavando una mappa speculare e d’ombra,
- b) applicare una decomposizione intrinseca alla sequenza Lambertiana con estrazione della componente di illuminanza (ad esempio ombreggiatura),
- c) passare la componente di illuminanza estratta a un procedimento LDR e ricavare informazioni di identificazione della sorgente luminosa, e
- d) utilizzare le informazioni ottenute precedentemente in combinazione con le informazioni della geometria dal sensore di profondità per stimare e gestire le condizioni di illuminazione.
Una o più forme di attuazione possono proporre ad esempio soluzioni migliorate per i passi a, b e c) mediante la decomposizione LDR della sequenza nel lasso di tempo.
A titolo di esempio, è possibile considerare un periodo di osservazione su lungo termine di una certa scena (ad esempio un ambiente indoor) in una serie di frame T, in cui sono presenti condizioni di illuminazione differenti (ad esempio alba, mattina, giorno, notte) con proprietà dei materiali e di riflessione diversi che appaiono nella scena osservata.
In una o più forme di attuazione, creare un'immagine quasi Lambertiana può comportare l’utilizzo di un modello Lambertiano in cui la luminosità di una superficie appare la stessa indipendentemente dall'angolo di vista dell'osservatore, cioè con la riflessione che è essenzialmente isotropa.
In tale modello, la luminosità dell'immagine I può essere espressa in funzione della luminosità della sorgente k, dell’angolo θssotto il quale questa incide sulla superficie S, come espresso dal cosθse della riflettanza della superficie ρ (con ρ = 1 nel caso ideale):
dove (a tratti nella figura 3) indica la normale alla superficie S e è la direzione verso la sorgente luminosa.
Queste entità sono esemplificate nella figura 3 in cui LS è esemplificativo di possibili posizioni della sorgente luminosa e W è esemplificativo di possibili posizioni del visore (ad esempio una camera).
Un'immagine quasi Lambertiana è quindi un'immagine in cui vengono attenuate ombre e highlight speculari e le superfici sembrano sostanzialmente opache o "mat".
La componente diffusa della scena può essere estratta mediante mezzi noti, ad esempio per mezzo della procedura (algoritmo) presentata in [27]. Ivi è fatto uso di un filtro bilaterale, il che significa che il valore di intensità di ogni pixel di un'immagine viene sostituito da una media ponderata dei valori di intensità dai pixel vicini, per la rimozione degli highlight e l'estrazione della componente diffusa.
Naturalmente, mentre qui ci si è riferiti a titolo di esempio ad una procedura/algoritmo come presentata in [27], in una o più forme di attuazione si possono usare per lo stesso scopo le soluzioni descritte ad esempio in [28], [31] e [32] o altri lavori.
Una volta che è ottenuto un aspetto (quasi) Lambertiano dei frame catturati sul lungo termine, una o più forme di attuazione possono procedere con l’elaborazione della decomposizione della riflettanza e dell'ombreggiatura.
In una o più forme di attuazione questo può comportare un’elaborazione di decomposizione intrinseca dell’immagine (blocco 112).
Per esempio, in un'immagine
l'intensità di un pixel p ad un frame t può essere espressa come
dove R(p)è il componente di riflettanza che descrive le informazioni di riflessione (ad esempio colore del materiale nella scena) e S(p,t)è l’informazione di ombreggiatura che descrive le informazioni di illuminazione (cioè luce, ombre) della scena.
Una o più forme di attuazione possono scomporre la sequenza di immagini in ingresso in un'immagine di riflettanza e in una pluralità di immagini di ombreggiatura T e utilizzare queste ultime per la localizzazione, identificazione delle sorgenti luminose e la stima di illuminanza.
In una o più forme di attuazione, l’elaborazione di decomposizione intrinseca dell’immagine può essere effettuata sulla base dell’approccio presentato in [19].
In una o più forme di attuazione, le informazioni di superficie normale possono essere calcolate a partire dalle informazioni di profondità di ingresso ottenute da un sensore di profondità (ad esempio una camera RGB-D) e utilizzate per calcolare il coefficiente di armoniche sferiche (SH) per ciascun pixel.
Le armoniche sferiche sono una serie di “modi” o “autovettori” o “componenti ortogonali” di una base che si estende sulla superficie di una sfera.
Per dirla semplicemente, le armoniche sferiche descrivono la superficie di una sfera in partizioni con grana di sempre maggior dettaglio.
In modo molto simile a ciò che fa ad una funzione una decomposizione di Fourier, queste rappresentano la base ed i coefficienti che, moltiplicati per la base, portano a recuperare la funzione.
Le armoniche sferiche sono state utilizzate principalmente per modellare l'illuminazione di oggetti sferici. Conoscendo i coefficienti che descrivono l'illuminazione, è possibile volerli cambiare per aumentare o ridurre l'illuminazione di un oggetto, o per trasferire le condizioni di illuminazione di una scena all'altra.
In una o più forme di attuazione le armoniche sferiche possono rappresentare una base funzionale completa idonea, su cui la distribuzione delle sorgenti luminose può essere proiettata o decomposta. I coefficienti di proiezione sono chiamati valori delle componenti, con l’insieme (completo) dei coefficienti SH che descrive anche la distribuzione di luce prevalente.
Per esempio, in una o più forme di attuazione, un'immagine RGB di ingresso può essere segmentata per ricavare aree super-pixel e di bordo (edge) pixel. Poi le aree di riflettanza super-pixel possono essere risolte utilizzando un procedimento di ottimizzazione non lineare con l'illuminazione SH globale estratta. Una volta che l'illuminazione SH viene recuperata, ogni area super-pixel può essere raffinata iterativamente rimuovendo una ombreggiatura di colore SH graduale dall'immagine di ingresso originale. Poi, l’ombreggiatura super-pixel estratta e l’illuminazione SH possono essere utilizzate per risolvere il bordo pixel in un modo simile, dove si fa riferimento ad un problema di calcolo di ottimizzazione per la riflettanza super-pixel e l’estrazione della luce SH ad esempio basato sulla soluzione descritta in [19].
Di nuovo, mentre si è fatto qui riferimento a titolo di esempio una procedura/algoritmo come presentata in [19], in una o più forme di attuazione si può adottare per lo stesso scopo la decomposizione intrinseca dell’immagine come descritta ad esempio in [22] o in altri lavori.
Come indicato, in una o più forme di attuazione, le fasi I e II nella figura 1 possono coinvolgere una uscita quasi Lambertiana (cioè una uscita senza componenti speculari e d’ombra, con tutte le superfici che appaiono non lucide) che, dopo l'applicazione (ad esempio in 112) di una procedura di decomposizione intrinseca dell'immagine, può consentire di ricavare le informazioni di riflettanza e di ombreggiatura della scena.
In una o più forme di attuazione, le informazioni di ombreggiatura possono essere (più) significative in quanto contengono le informazioni di illuminanza.
In una o più forme di attuazione, una volta che le condizioni di illuminanza della sequenza su un lasso di tempo sono state estratte nelle immagini di ombreggiatura, il numero di sorgenti luminose nella scena può essere identificato applicando ad esempio una procedura LDR.
In una o più forme di attuazione, la LDR può comportare una fattorizzazione di matrice non negativa (non-negative matrix factorization - NMF) come descritto ad esempio in [34].
Questo approccio può essere vantaggioso per la sua capacità di ricavare caratteristiche sparse, localizzate e facilmente interpretabili assumendo l'additività/linearità e imponendo la non-negatività dell'elemento di base, così come per la luce nel presente caso esemplificativo: infatti la linearità della luce è additiva mentre l'illuminazione non può essere negativa, il che può essere utilmente sfruttato in una o più forme di attuazione.
La NMF può essere generalmente formulata come un problema di ottimizzazione dei minimi quadrati non negativo, il che significa che si tratta di un approccio limitato dei minimi quadrati dove i coefficienti però non possono ottenere valori negativi. Nel caso di decomposizione della luce quest'ultimo può essere riassunto come:
- data una matrice M non negativa m x n che in questo caso è la sequenza di immagini con diverse condizioni di illuminazione e un intero positivo (numero di rango) 1 ≤ r ≤ min(m,n) che corrisponde al numero di componenti di luce da ricavare,
trovare due matrici non negative U e V di dimensioni mxr e nxr che minimizzano la somma degli ingressi al quadrato di M-UV<T>:
Nelle immagini risultanti da tale elaborazione, più frame che descrivono diverse condizioni di illuminazione nel tempo possono essere ridotti solo a quelli che descrivono le singole sorgenti luminose.
Nel caso ideale in cui il numero di componenti additive in cui l'algoritmo dovrebbe decomporre la sequenza è noto in anticipo, la variabile di ingresso r agli algoritmi di fattorizzazione della matrice non-negativa descritta in precedenza sarebbe uguale al numero delle sorgenti luminose.
Tuttavia, se l’obiettivo è una soluzione di apprendimento non supervisionato questo non è il caso e questo numero è sconosciuto. Pertanto, è stato invece utilizzato un numero arbitrario che corrisponde ad una quantità ragionevole di possibili sorgenti luminose esistenti nella scena (ad esempio, un piccolo ambiente interno può essere coperto bene da 2-5 sorgenti luminose individuali) e che dovrebbe essere maggiore o uguale al numero effettivo delle sorgenti luminose individuali. Questa stima è fatta tenendo conto delle informazioni dei dati stessi, sulla base di un approccio di validazione incrociata o un procedimento simile.
Per esempio (solo a titolo di esempio) tale elaborazione può consentire di ottenere da una scena complessa (comprendente oggetti, ombre e così via) informazioni estratte in cui ad esempio dalla sequenza del lasso di tempo possono essere estratte quattro o sei sorgenti luminose.
L'identificazione e la localizzazione delle luci possono poi aver luogo tenendo conto che il numero di sorgenti luminose i può essere dato ad esempio sulla base di una matrice di coefficienti di correlazione estratta dalla matrice V e dalla dipendenza lineare di ciascun vettore di pesi fra loro. Per esempio, se i vettori di coefficienti A, B hanno N osservazioni scalari allora il coefficiente di correlazione di A e B può essere definito come la distanza di Pearson:
dove μA, μBe σA, σBsono rispettivamente la media e la deviazione standard di A e B.
Quest'ultima può essere alternativamente scritta in termini della covarianza cov(A,B) di A e B:
La matrice di correlazione, che corrisponde in realtà ad una matrice di affinità, può essere quindi utilizzata in un algoritmo di clustering di impiego comune (ad esempio clustering gerarchico, fuzzy c-kmeans, clustering spettrale, etc. ...) al fine di applicare il clustering delle componenti.
Le basi da U che mostrano similarità così come i pesi da V che tendono ad essere attivati allo stesso tempo possono essere raggruppati in cluster insieme con il numero di cluster corrispondente al numero stimato di sorgenti luminose.
L’identificazione delle sorgenti luminose ad ogni istante può quindi risultare dal residuo minimo (rappresentato come l’errore quadratico medio, RMSE) della corrispondente componente ricostruita approssimata T
Î(i)=UiVida per esempio un'immagine di prova Iinputcome esemplificato per esempio nella figura 6, come dato da un errore E:
In alternativa, l'identificazione delle sorgenti luminose può essere realizzata come un problema di classificazione utilizzando un semplice approccio dei minimi quadrati, ad esempio pseudo inverso, in cui saranno fornite le informazioni delle sorgenti luminose estratte (come immagini) come basi note date e le attivazioni dei pesi/coefficienti estratti sulla(e) immagine(i) nuova(e) in ingresso corrisponderanno alle identificazioni delle sorgenti luminose.
Nelle porzioni da a) a d) della figura 4, le ascisse rappresentano schematicamente quattro possibili sorgenti luminose S1, S2, S3, S4 con un corrispondente errore quadratico medio (RMSE) tracciato nelle ordinate.
Nei diagrammi di figura 4 valori residui bassi identificano una rispettiva sorgente luminosa diversa S1, S2, S3 e S4. Il fatto che più di un componente estratto fornisca un residuo minimo può essere indicativo di una condizione multi-illuminante. Una o più forme di attuazione possono adottare varianti di NMF come quella nota come sotto approssimazione di matrice non negativa (non-negative matrix underapproximation - NMU) come descritto in [35] (ad esempio grazie al vantaggio della estrazione delle caratteristiche in forma sequenziale) o un'estensione di NMU nota come PNMU come descritta ad esempio in [36] (che incorpora informazione/vincoli spaziali e di distribuzione sparsa).
Di conseguenza, in una o più forme di attuazione si possono considerate per l'uso entrambe queste ed altre opzioni alternative.
In una o più forme di attuazione, i principi discussi in quanto precede possono essere applicati ad esempio in un sistema che analizza la configurazione di luce in una scena (ad esempio in un ambiente indoor) e fornisce informazioni sulle sorgenti luminose in esso attive utilizzando (solo) immagini così come ottenute utilizzando ad esempio una camera (standard).
In una o più forme di attuazione, queste sorgenti luminose possono essere sia naturali (per esempio luce solare da una finestra) sia artificiali, fornendo così una soluzione che può auto-adattarsi ad ambienti differenti. In una o più forme di attuazione, un sistema (vedere ad esempio il modulo 1000) come esemplificato nella figura 5 può prima ricevere e registrare immagini ad esempio da una o più camere W (ad esempio digitali) con variazioni di luce notevoli (ad esempio su osservazioni a lungo termine, come su un ciclo notte e giorno).
In una o più forme di attuazione, un tale sistema può quindi scomporre il segnale dell’immagine ricevuto in una serie di immagini di base raffiguranti ciascuna una sorgente luminosa da sola. Queste immagini possono essere utilizzate per identificare quali sorgenti luminose (incluse sorgenti luminose naturali) sono attive in ogni nuova immagine acquisita dal sistema.
In una o più forme di attuazione, una camera RGB-D (che fornisce anche informazioni di profondità D) può essere utilizzata come sensore di immagine W in un sistema di illuminazione “intelligente” per la calibrazione e/o identificazione automatica della sorgenti luminose.
In una o più forme di attuazione la calibrazione automatica della sorgente luminosa può avvenire tramite un’osservazione su lungo periodo (una sequenza di immagini su un lasso di tempo) ad esempio in un ambiente indoor, per esempio utilizzando NMF o una sua variante.
In una o più forme di attuazione, la calibrazione/separazione delle sorgenti luminose tramite immagine, eventualmente combinata con la rilevazione della presenza di una persona nella scena (eseguita in modo di per sé noto, ad esempio mediante sensori PIR come nel caso di alcuni sistemi di gestione della luce convenzionali) può essere utilizzata ad esempio per spegnere le luci che non interessano la scena data la posizione della(e) persona(e) rispetto alla scena.
Per esempio, in una o più forme di attuazione, ciò può consentire ad es. di spegnere (completamente o parzialmente) un sistema di illuminazione, riducendo così il consumo di energia in quelle aree che non sono “viste” dalle persone nell'ambiente, per cui non sussiste interesse di illuminare queste aree.
In una o più forme di attuazione, l'uscita di un sensore a camera RGB-D può essere utilizzata ad esempio per calibrare e identificare in modo automatico sorgenti luminose.
In una o più forme di attuazione, le informazioni sull’illuminanza estratte ad esempio mediante una procedura/algoritmo di decomposizione intrinseca ad esempio utilizzando un procedimento di riduzione di dimensionalità lineare (NMF o sue varianti) possono essere usate per stimare il numero di sorgenti luminose in una scena, eventualmente sulla base di una sequenza di osservazione a lungo termine di una scena (ad esempio un ambiente interno).
In una o più forme di attuazione, tale sequenza può quindi essere utilizzata come un ingresso di addestramento al fine di determinare le diverse luci all'interno della scena.
In una o più forme di attuazione questo può essere realizzato in modo completamente automatico analizzando una sequenza di immagini di una scena in un lasso di tempo. Analogamente, l'identificazione delle sorgenti luminose può avvenire creando un modello che può stimare il numero di sorgenti luminose identificate e far corrispondere le sorgenti luminose attive in quel momento di una data scena a quelle del modello, con tali azioni suscettibili di essere attuate on line in tempo reale dopo una fase di modellazione/addestramento.
La figura 5 esemplifica un possibile utilizzo di una o più forme di attuazione, in cui un sistema di illuminazione comprendente un insieme di dispositivi di illuminazione, ad esempio S1,......, S6 (ovviamente questo numero è puramente esemplificativo) può essere configurato in modo tale da “seguire” una persona P nell'ambito di un sistema di gestione dell’illuminazione intelligente che sarà in grado di accendere/spegnere le varie luci per esempio in funzione di i) informazioni sulle sorgenti luminose stimate, e ii) della posizione data della persona o persone P nell'ambito della scena.
Si apprezzerà che nelle figure 4 e 5 per alcune delle sorgenti luminose viene utilizzata la stessa designazione. Questo intende sottolineare il fatto che, in una o più forme di attuazione, un sistema di illuminazione “intelligente” come esemplificato nella figura 5 può effettivamente comandare il funzionamento di un insieme di dispositivi di illuminazione S1, ..., S6 in funzione delle sorgenti luminose identificate/localizzate nel rispettivo ambiente con le sorgenti luminose identificate che eventualmente comprendono sia le sorgenti esterne (ad esempio sorgenti naturali come la luce solare, Sx nella figura 5) sia uno o più dei dispositivi di illuminazione S1, ..., S6.
In una o più forme di attuazione, l'uso di un sensore a camera può essere combinato con l'analisi della visione artificiale e sfruttato congiuntamente in modo tale che ad esempio, una volta ottenuta la posizione di una persona P nella scena (ad esempio da rilevatori di presenza basati su camera di un sistema di illuminazione intelligente esistente), le sorgenti luminose corrispondenti, identificate e localizzate come discusso in precedenza, possono quindi essere attivate al fine di influenzare la posizione specifica di interesse nella scena.
Una o più forme di attuazione possono quindi riferirsi ad un procedimento per controllare un sistema di illuminazione comprendente un insieme di dispositivi di illuminazione (vedere ad esempio S1, ...., S6 nella figura 5) per illuminare un ambiente (ad esempio un ambiente interno), in cui il procedimento può comprendere:
- ricevere (vedere ad esempio il blocco 100 nell'architettura 1000 nella figura 1) da almeno un sensore di immagine (ad esempio una camera RGB-D W) un segnale di immagine (ad esempio digitale) comprendente una sequenza di immagini di detto ambiente in diverse condizioni di illuminazione e di riflessione della luce,
- elaborare (vedere per esempio i passi da 102 a 120 nella figura 1) detto segnale di immagine per fornire un segnale di identificazione delle sorgenti luminose (vedere ad esempio 120 nella figura 1) rappresentativo di sorgenti luminose (naturali e/o artificiali) che interessano detto ambiente (ad esempio producendo luce nell’ambiente), e
- controllare detto insieme di dispositivi di illuminazione in funzione di detto segnale di identificazione delle sorgenti luminose (e, eventualmente, della presenza e/o dell'attività di persone nella scena).
In una o più forme di attuazione, elaborare detto segnale di immagine può comprendere stimare il numero di sorgenti luminose che interessano detto ambiente.
In una o più forme di attuazione, elaborare detto segnale di immagine può comprendere identificare, eventualmente localizzare, le sorgenti luminose che interessano detto ambiente e/o la loro intensità (potenza) che interessa detto ambiente, avendo così ad esempio la possibilità di acquisire anche l’intensità di una illuminazione prevalente.
In una o più forme di attuazione, controllare detto insieme di dispositivi di illuminazione può comprendere attivare/disattivare selettivamente i dispositivi di illuminazione in detto insieme, preferibilmente rilevando (ad esempio mediante camere/sensori) la presenza di occupanti (vedere ad esempio P nella figura 5) in detto ambiente e spegnendo selettivamente i dispositivi di illuminazione che coprono (ossia che sono in grado di illuminare) le zone in detto ambiente non osservate da detti occupanti e/o regolando l’intensità di illuminazione dei dispositivi di illuminazione, preferibilmente sulla base di attività degli occupanti.
In una o più forme di attuazione, elaborare detto segnale di immagine può comprendere:
- ricavare (ad esempio 114) condizioni di illuminazione di detto ambiente da detta sequenza di immagini per fornire informazioni di ombreggiatura,
- identificare il numero di dette sorgenti luminose che interessano detto ambiente mediante riduzione di dimensionalità lineare, LDR (ad esempio 118), preferibilmente mediante una fattorizzazione a matrice non negativa, NMF, e sotto-approssimazione di matrice non negativa, NMU o PNMU.
In una o più forme di attuazione, elaborare detto segnale di immagine può comprendere generare (ad esempio 102, 104, 106) da detta sequenza di immagini una sequenza quasi Lambertiana in cui le luminosità di superfici (ad esempio S) in detto ambiente sono indipendenti dall’angolo di visuale.
Una o più forme di attuazione possono comprendere applicare decomposizione di riflettanza e di ombreggiatura (ad esempio 112) di detta sequenza quasi Lambertiana.
Una o più forme di attuazione possono comprendere applicare detta riduzione di dimensionalità lineare, LDR a detta sequenza quasi Lambertiana a cui sono state applicate decomposizione di riflettanza e di ombreggiatura (112).
Una o più forme di attuazione possono riferirsi ad un sistema di illuminazione comprendente un insieme di dispositivi di illuminazione per illuminare un ambiente, il sistema comprendendo:
- almeno un sensore di immagine per generare un segnale di immagine comprendente una sequenza di immagini di detto ambiente in diverse condizioni di illuminazione e di riflessione della luce,
- un modulo di elaborazione accoppiato a detto almeno un sensore di immagini, detto modulo di elaborazione configurato per ricevere ed elaborare detto segnale di immagine e controllare detto insieme di dispositivi di illuminazione secondo il procedimento di una o più forme di attuazione.
Una o più forme di attuazione possono riferirsi ad un prodotto informatico caricabile in almeno un modulo di elaborazione e comprendente porzioni di codice software per attuare il procedimento di una o più forme di attuazione.
ELENCO DEI DOCUMENTI CITATI
1. Alhajhamad, H., Sunar, M.S., Kolivand, H. In: Automatic Estimation of Illumination Features for Indoor Photorealistic Rendering in Augmented Reality. Springer International Publishing, Cham (2015) 541-554
2. Plopski, A., Mashita, T., Kiyokawa, K., Takemura, H.: Reectance and light source estimation for indoor ar applications. In: Virtual Reality (VR), 2014 iEEE, IEEE(2014) 103-104
3. Boom, B.J., Orts-Escolano, S., Ning, X.X., McDonagh, S., Sandilands, P., Fisher, R.B.: Interactive light source position estimation for augmented reality with an rgb-d camera. Computer Animation and Virtual Worlds (2015) n/an/a
4. Neverova, N., Muselet, D., Trémeau, A. In: Lighting Estimation in Indoor Environments from Low-Quality Images. Springer Berlin Heidelberg, Berlin, Heidelberg (2012) 380-389
5. Debevec, P.: Image-based lighting. In: ACM SIGGRAPH 2005 Courses. SIG-GRAPH '05, New York, NY, USA, ACM (2005) 6. Karsch, K., Hedau, V., Forsyth, D., Hoiem, D.: Rendering synthetic objects into legacy photographs. ACM Trans. Graph. 30(6) (December 2011) 157:1-157:12
7. Takai, T., Maki, A., Niinuma, K., Matsuyama, T.: Difference sphere: An approach to near light source estimation. Comput. Vis. Image Underst. 113(9) (September 2009) 966-978
8. Ogura, Y., Ikeda, T., De Sorbier, F., Saito, H. In: Illumination estimation and relighting using an RGB-D camera. Volume 2. SciTePress (2015) 305-312
9. Poulin, P., Fournier, A.: Lights from highlights and shadows. In: Proceedings of the 1992 Symposium on Interactive 3D Graphics. I3D '92, New York, NY, USA, ACM (1992) 31-38
10. Wang, Y., Samaras, D.: Estimation of multiple directional light sources for synthesis of augmented reality images. Graph. Models 65(4) (July 2003) 185-205
11. Hara, K., Nishino, K., Ikeuchi, K.: Light source position and reectance estimation from a single view without the distant illumination assumption. IEEE Transactions on Pattern Analysis and Machine Intelligence 27(4) (April 2005) 493-505
12. Lopez-Moreno, J., Hadap, S., Reinhard, E., Gutierrez, D.: Compositing images through light source detection. Computers & Graphics 34(6) (2010) 698 – 707 Graphics for Serious GamesComputer Graphics in Spain: a Selection of Papers from fCEIGg 2009 Selected Papers from the {SIGGRAPH} Asia Education Program.
13. Gijsenij, A., Gevers, T., van de Weijer, J.: Computational color constancy: Survey and experiments. IEEE Transactions on Image Processing 20(9) (Sept 2011) 2475-2489
14. Beigpour, S., Riess, C., van de Weijer, J., Angelopoulou, E.: Multi-illuminant estimation with conditional random fields. IEEE Transactions on Image Processing (TIP) 23(1) (January 2014) 83-96
15. Stutz, D.: Intrinsic images introduction and reading list, available at http://davidstutz.de/intrinsicimages-introduction-and-reading-list/ (accessed: February 2015)
16. Land, E.H., McCann, J.J.: Lightness and retinex theory. J. Opt. Soc. Am. 61(1) (Jan 1971) 1-11
17. Barron, J.T., Malik, J.: Intrinsic scene properties from a single rgb-d image. CVPR (2013)
18. Chen, Q., Koltun, V.: A simple model for intrinsic image decomposition with depth cues. In: 2013 IEEE International Conference on Computer Vision. (Dec 2013) 241-248
19. Shi, J., Dong, Y., Tong, X., Chen, Y.: E_cient intrinsic image decomposition for rgbd images. In: Proceedings of the 21st ACM Symposium on Virtual Reality Software and Technology. VRST '15, New York, NY, USA, ACM (2015) 17-25
20. Barron, J.T., Malik, J.: Shape, illumination, and reflectance from shading. TPAMI (2015)
21. Laffont, P.Y., Bazin, J.C.: Intrinsic decomposition of image sequences from local temporal variations. In: Proceedings of the International Conference on Computer Vision (ICCV) (2015)
22. Meka, A., Zollhoefer, M., Richardt, C., Theobalt, C.: Live intrinsic video. ACM Transactions on Graphics (Proceedings SIGGRAPH) 35(4) (2016)
23. Bonneel, N., Sunkavalli, K., Tompkin, J., Sun, D., Paris, S., Pfister, H.: Interactive intrinsic video editing. ACM Transactions on Graphics (Proceedings of SIGGRAPH Asia 2014) 33(6) (2014)
24. Ye, G., Garces, E., Liu, Y., Dai, Q., Gutierrez, D.: Intrinsic video and applications. ACM Trans. Graph.
33(4) (July 2014) 80:1-80:11
25. Lellmann, J., Balzer, J., Rieder, A., Beyerer, J.: Shape from specular reection and optical flow. International Journal of Computer Vision 80(2) (2008) 226-241
26. Tan, R.T., Ikeuchi, K. In: Separating Reection Components of Textured Surfaces using a Single Image. Springer US, Boston, MA (2008) 353-384
27. Yang, Q., Wang, S., Ahuja, N.: Real-time specular highlight removal using bilateral filtering. In: Proceedings of the 11th European Conference on Computer Vision: Part IV. ETC.V'10, Berlin, Heidelberg, Springer-Verlag (2010) 87-100
28. Shen, H.L., Zheng, Z.H.: Real-time highlight removal using intensity ratio. Appl. Opt. 52(19) (Jul 2013) 4483-4493
29. Kim, H., Jin, H., Hadap, S., Kweon, I.: Specular reflection separation using dark channel prior. In: Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. CVPR '13, Washington, DC, USA, IEEE Computer Society (2013) 1460-1467
30. Akashi, Y., Okatani, T. In: Separation of Reection Components by Sparse Non-negative Matrix Factorization. Springer International Publishing, Cham (2015) 611-625
31. An, D., Suo, J., Ji, X., Wang, H., Dai, Q.: Fast and high quality highlight removal from a single image. CoRR abs/1512.00237 (2015)
32. Zhao, Y., Peng, Q., Xue, J., Kong, S.G.: Specular reection removal using local structural similarity and chromaticity consistency. In: Image Processing (ICIP), 2015 IEEE International Conference on. (Sept 2015) 3397-3401
33. PCO: Knowledge base: linearity. https://www.pco.de/fileadmin/user_upload/ db/download/kb_linearity_20100727.pdf [Online; accessed 10-July-2016].
34. Lee, D.D., Seung, H.S.: Learning the parts of objects by non-negative matrix factorization. Nature 401(6755) (1999) 788-791
35. Gillis, N., Glineur, F.: Using underapproximations for sparse nonnegative matrix factorization. Pattern Recogn. 43(4) (April 2010) 1676-1687
36. Casalino, G., Gillis, N.: Sequential dimensionality reduction for extracting localized features. CoRR abs/1505.06957 (2015)
Senza pregiudizio per i principi evidenziati, i particolari e le forme di attuazione possono variare, anche in modo significativo rispetto a quanto è stato descritto a titolo di solo esempio, senza per questo uscire dall'estensione della protezione. L’estensione della protezione è definita dalle rivendicazioni allegate.

Claims (10)

  1. RIVENDICAZIONI 1. Procedimento per controllare un sistema di illuminazione comprendente un insieme di dispositivi di illuminazione (S1, ...., S6) per illuminare un ambiente, il procedimento comprendendo: - ricevere (100) da almeno un sensore di immagine (W) un segnale d'immagine comprendente una sequenza di immagini di detto ambiente in diverse condizioni di illuminazione e di riflessione della luce, - elaborare (da 102 a 120) detto segnale di immagine per fornire un segnale di identificazione delle sorgenti luminose (120) rappresentativo di sorgenti luminose che interessano detto ambiente, e - controllare detto insieme di dispositivi di illuminazione (S1,.....S6) in funzione di detto segnale di identificazione delle sorgenti luminose (120).
  2. 2. Procedimento secondo la rivendicazione 1, in cui elaborare detto segnale di immagine comprende stimare (120) il numero di sorgenti luminose che interessano detto ambiente.
  3. 3. Procedimento secondo la rivendicazione 1 o la rivendicazione 2, in cui elaborare detto segnale di immagine comprende identificare, e preferibilmente localizzare (120), le sorgenti luminose e/o l’intensità di illuminazione delle sorgenti luminose che interessano detto ambiente.
  4. 4. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, in cui controllare detto insieme di dispositivi di illuminazione (S1,.....S6) comprende attivare/disattivare selettivamente i dispositivi di illuminazione in detto insieme (S1, ......, S6), preferibilmente rilevando la presenza di occupanti (P) in detto ambiente e spegnendo selettivamente i dispositivi di illuminazione che coprono le zone in detto ambiente inosservato da detti occupanti e/o regolando l’intensità di illuminazione dei dispositivi di illuminazione, preferibilmente sulla base di attività degli occupanti.
  5. 5. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, in cui detta elaborazione del segnale di immagine comprende: - ricavare (114) condizioni di illuminazione di detto ambiente da detta sequenza di immagini per fornire informazioni di ombreggiatura (114), - identificare il numero di dette sorgenti luminose che interessano detto ambiente mediante riduzione di dimensionalità lineare, LDR (118), preferibilmente mediante una fattorizzazione a matrice non negativa, NMF, e sotto approssimazione di matrice non negativa, NMU o PNMU.
  6. 6. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, in cui elaborare detto segnale di immagine comprende generare (102, 104, 106) da detta sequenza di immagini una sequenza quasi Lambertiana in cui la luminosità di superfici (S) in detto ambiente è indipendente dall’angolo di visuale.
  7. 7. Procedimento secondo la rivendicazione 6, comprendente applicare decomposizione della riflettanza e dell’ombreggiatura (112) a detta sequenza quasi Lambertiana.
  8. 8. Procedimento secondo le rivendicazioni 5, 6 e 7, comprendente applicare detta riduzione di dimensionalità lineare, LDR a detta sequenza quasi Lambertiana a cui sono state applicate decomposizione della riflettanza e dell’ombreggiatura (112).
  9. 9. Sistema di illuminazione comprendente un insieme di dispositivi di illuminazione (S1, ...., S6) per illuminare un ambiente, il sistema comprendendo: - almeno un sensore di immagine (W) per generare un segnale di immagine comprendente una sequenza di immagini di detto ambiente in diverse condizioni di illuminazione e di riflessione della luce, - un modulo di elaborazione (1000) accoppiato a detto almeno un sensore di immagine (W), detto modulo di elaborazione (1000) configurato per ricevere ed elaborare detto segnale di immagine (100) e controllare detto insieme di dispositivi di illuminazione (S1,.....S6) secondo il procedimento di una qualsiasi delle rivendicazioni da 1 a 8.
  10. 10. Prodotto informatico caricabile in almeno un modulo di elaborazione (1000) e comprendente porzioni di codice software per attuare il procedimento secondo una qualsiasi delle rivendicazioni da 1 a 8.
IT102016000103146A 2016-10-13 2016-10-13 Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti IT201600103146A1 (it)

Priority Applications (4)

Application Number Priority Date Filing Date Title
IT102016000103146A IT201600103146A1 (it) 2016-10-13 2016-10-13 Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti
US16/341,465 US10893594B2 (en) 2016-10-13 2017-10-10 Method of identifying light sources and a corresponding system and product
DE112017005207.6T DE112017005207B4 (de) 2016-10-13 2017-10-10 Verfahren zur Identifizierung von Lichtquellen, entsprechendes System und Computerprogrammprodukt
PCT/IB2017/056246 WO2018069827A1 (en) 2016-10-13 2017-10-10 A method of identifying light sources, corresponding system and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102016000103146A IT201600103146A1 (it) 2016-10-13 2016-10-13 Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti

Publications (1)

Publication Number Publication Date
IT201600103146A1 true IT201600103146A1 (it) 2018-04-13

Family

ID=57910074

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102016000103146A IT201600103146A1 (it) 2016-10-13 2016-10-13 Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti

Country Status (4)

Country Link
US (1) US10893594B2 (it)
DE (1) DE112017005207B4 (it)
IT (1) IT201600103146A1 (it)
WO (1) WO2018069827A1 (it)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201800005381A1 (it) * 2018-05-15 2019-11-15 Procedimento di misura dell'illuminazione, sistema, prodotto informatico ed uso corrispondenti
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
US11910095B2 (en) * 2019-11-21 2024-02-20 Sony Interactive Entertainment Inc. Incident light information acquisition method, incident light information acquisition system, and information processing device
CN112381076B (zh) * 2021-01-18 2021-03-23 西南石油大学 一种视频显著性检测任务中图片预处理的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2418482A (en) * 2004-09-23 2006-03-29 Wayne Howell Method for locating luminaires using optical feedback
US20120286670A1 (en) * 2009-12-18 2012-11-15 Koninklijke Philips Electronics, N.V. Lighting tool for creating light scenes
US20150076992A1 (en) * 2013-09-13 2015-03-19 Kenneth Dale Walma System and Method for Auto-Commissioning based on Smart Sensors
US20150146931A1 (en) * 2013-11-22 2015-05-28 General Electric Company Method and system for controlling color characteristics of one or more illumination devices

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004026908D1 (de) * 2003-11-20 2010-06-10 Philips Solid State Lighting Lichtssystemverwalter
TW200935972A (en) 2007-11-06 2009-08-16 Koninkl Philips Electronics Nv Light management system with automatic identification of light effects available for a home entertainment system
DE102010003804A1 (de) 2010-04-09 2011-10-13 Zumtobel Lighting Gmbh Multifunktionale Sensoreinheit zum Ermitteln von Kontrollinformationen für die Lichtsteuerung
DE102010032761A1 (de) 2010-07-29 2012-02-02 E:Cue Control Gmbh Verfahren zur Steuerung einer Beleuchtungsanlage, Steuerung für eine Beleuchtungsanlage und Beleuchtungsanlage
JP5903634B2 (ja) 2012-11-16 2016-04-13 パナソニックIpマネジメント株式会社 照明制御装置および照明システム
US9299188B2 (en) * 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US20160163057A1 (en) * 2014-12-04 2016-06-09 Google Inc. Three-Dimensional Shape Capture Using Non-Collinear Display Illumination
EP3136290A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Method and device for determining the shape of an object represented in an image, corresponding computer program product and computer readable medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2418482A (en) * 2004-09-23 2006-03-29 Wayne Howell Method for locating luminaires using optical feedback
US20120286670A1 (en) * 2009-12-18 2012-11-15 Koninklijke Philips Electronics, N.V. Lighting tool for creating light scenes
US20150076992A1 (en) * 2013-09-13 2015-03-19 Kenneth Dale Walma System and Method for Auto-Commissioning based on Smart Sensors
US20150146931A1 (en) * 2013-11-22 2015-05-28 General Electric Company Method and system for controlling color characteristics of one or more illumination devices

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GABRIELLA CASALINO ET AL: "Sequential dimensionality reduction for extracting localized features", PATTERN RECOGNITION., vol. 63, 19 September 2016 (2016-09-19), GB, pages 15 - 29, XP055386368, ISSN: 0031-3203, DOI: 10.1016/j.patcog.2016.09.006 *
NATALIA NEVEROVA ET AL: "Lighting Estimation in Indoor Environments from Low-Quality Images", 7 October 2012, COMPUTER VISION ECCV 2012. WORKSHOPS AND DEMONSTRATIONS, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 380 - 389, ISBN: 978-3-642-33867-0, XP047033465 *

Also Published As

Publication number Publication date
DE112017005207B4 (de) 2023-05-17
DE112017005207T5 (de) 2019-07-04
US20190373704A1 (en) 2019-12-05
US10893594B2 (en) 2021-01-12
WO2018069827A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
Tewari et al. Fml: Face model learning from videos
US20200364939A1 (en) Method and System for Representing a Virtual Object in a View of a Real Environment
JP2023036784A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US9167155B2 (en) Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room
JP2020526809A5 (it)
IT201600103146A1 (it) Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti
EP3629303A1 (en) Method and system for representing a virtual object in a view of a real environment
Zhang Modeling geometric structure and illumination variation of a scene from real images
CN112634156A (zh) 基于便携式设备采集图像估计材质反射参数的方法
Liu et al. Light source estimation of outdoor scenes for mixed reality
Neverova et al. Lighting estimation in indoor environments from low-quality images
WO2021108129A1 (en) Using machine learning to selectively overlay image content
Kaushik et al. ADAADepth: Adapting data augmentation and attention for self-supervised monocular depth estimation
Liu et al. Soft prototyping camera designs for car detection based on a convolutional neural network
Kim et al. Large scale multi-illuminant (lsmi) dataset for developing white balance algorithm under mixed illumination
US20160140748A1 (en) Automated animation for presentation of images
Schindler Photometric stereo via computer screen lighting for real-time surface reconstruction
Kim et al. Robust foreground segmentation from color video sequences using background subtraction with multiple thresholds
Lindsay et al. Automatic multi-light white balance using illumination gradients and color space projection
Zhao et al. Infrared and visible imagery fusion based on region saliency detection for 24-hour-surveillance systems
Abin et al. Blending of contrast enhancement techniques for underwater images
Ince et al. Patch-wise periodical correlation analysis of histograms for real-time video smoke detection
Aigerim et al. Recognition of 3D object using Kinect
Zheng A Visual Cortex-Attentive Deep Convolutional Neural Network for Digital Image Design
Li et al. Multiple linear parameters algorithm in illumination consistency