IT201600107055A1

IT201600107055A1 - Automatic device for the acquisition, processing, use, dissemination of images based on computational intelligence and related operating methodology.

Info

Publication number: IT201600107055A1
Application number: IT102016000107055A
Authority: IT
Inventors: Francesco Matarazzo; Stefano Mariano
Original assignee: Francesco Matarazzo; Stefano Mariano
Priority date: 2016-10-27
Filing date: 2016-10-27
Publication date: 2018-04-27

Description

Descrizione Description

La presente invenzione si riferisce un dispositivo automatico per l’intrattenimento, per la ripresa, la registrazione, l’elaborazione, il montaggio, la proiezione e la pubblicazione di video e/o immagini. I soggetti ripresi possono essere persone e/o gruppi di persone. In generale, i soggetti ripresi presentano il carattere della selezionabilità. La presente invenzione si prefigge lo scopo di introdurre sul mercato una nuova tipologia di apparecchiatura automatica atta a svolgere autonomamente compiti precedentemente assegnati ad operatori umani. Inoltre ed in connessione con il precedente punto, si sottolinea l’innovatività dell’interazione uomo/macchina che questa nuova invenzione tende ad affermare: l’utente viene stimolato all’interazione dalla macchina stessa che a sua volta utilizza le immagini dell’interazione per continuare a stimolare e intrattenere l’utente. Scopo della presente invenzione è quello di introdurre una evoluzione del concetto di interazione uomo\macchina che consenta di superare la presenza dell’operatore umano. The present invention refers to an automatic device for entertainment, for shooting, recording, processing, editing, projection and publication of videos and / or images. The subjects shot can be people and / or groups of people. In general, the subjects shot have the character of selectability. The present invention has the purpose of introducing on the market a new type of automatic apparatus capable of autonomously carrying out tasks previously assigned to human operators. Furthermore and in connection with the previous point, the innovativeness of the human / machine interaction that this new invention tends to affirm is emphasized: the user is stimulated to the interaction by the machine itself which in turn uses the images of the interaction to continue to stimulate and entertain the user. The purpose of the present invention is to introduce an evolution of the concept of man / machine interaction that allows to overcome the presence of the human operator.

Altro fine della presente invenzione, complementare al precedente, è quello di elaborare e diffondere in tempo reale un prodotto finale composto da immagini e/o video la cui fattura è assimilabile per qualità ad operato umano ma la cui istantaneità è garantita dalla velocità di elaborazione automatica messa in essere dal dispositivo. Ulteriore scopo è quello di automatizzare una serie di processi, attualmente svolti tramite un gran numero di apparecchiature, con una sola macchina, garantendone un facile e immediato utilizzo. Another purpose of the present invention, complementary to the previous one, is to process and disseminate in real time a final product composed of images and / or videos whose invoice is comparable in quality to human work but whose instantaneity is guaranteed by the automatic processing speed. implemented by the device. A further purpose is to automate a series of processes, currently carried out by means of a large number of apparatuses, with a single machine, guaranteeing an easy and immediate use.

Il suddetto risultato si consegue in modo pratico ed economico. The above result is achieved in a practical and economical way.

È noto l’utilizzo di fotografie e/o video realizzati in occasione di eventi e finalizzati al ricordo degli stessi, oltre che al divertimento degli ospiti/utenti: lavoro tipicamente svolto da operatori umani tipo fotografi, video maker e video jockey (vj) e in parte automatizzato con l’uso di apparecchiature chiamate Photo Booth. It is known the use of photographs and / or videos made on the occasion of events and aimed at the memory of the same, as well as for the entertainment of the guests / users: work typically carried out by human operators such as photographers, video makers and video jockeys (vj) and partly automated with the use of equipment called Photo Booths.

Il lavoro svolto dal fotografo, il quale è costretto a ricercare il proprio soggetto, elaborare le fotografie scattate e pubblicarle, evidenzia la necessità degli opportuni tempi tecnici, definiti dalla quantità di lavoro umano da svolgere. The work done by the photographer, who is forced to research his own subject, process the photographs taken and publish them, highlights the need for the appropriate technical times, defined by the amount of human work to be done.

Criticità similari sono presenti anche nel lavoro svolto dal video maker, anch’egli costretto a ricercare il proprio soggetto, elaborare i video registrati e curare l’aspetto riguardante la pubblicazione. Come per il caso precedente, anche questa volta, per la messa in opera di tali processi, è necessario l’impiego di una quantità di tempo strettamente dipendente dalla mole di lavoro umano necessario al raggiungimento dello scopo finale, precludendo in questo modo qualsiasi possibilità di ottenere il risultato istantaneamente. Similar critical issues are also present in the work done by the video maker, who is also forced to search for his subject, process the recorded videos and take care of the aspect concerning the publication. As in the previous case, also this time, for the implementation of these processes, it is necessary to use an amount of time strictly dependent on the amount of human work necessary to achieve the final purpose, thus precluding any possibility of get the result instantly.

Inoltre, dall’analisi del lavoro svolto dal video jockey, emerge un altro elemento di criticità. Egli, avendo come scopo la realizzazione di video che intrattengono l’utente/spettatore, è costretto ad impartire, volta per volta, istruzioni che riguardano la pubblicazione del materiale video, utilizzando quindi un tempo umano di lavorazione. Dalla precedente analisi dello stato dell’arte è immediatamente chiaro come l’impiego di lavoro umano comporti dei costi di messa in opera e dei tempi utili alla realizzazione della stessa. Furthermore, from the analysis of the work done by the video jockey, another critical element emerges. With the aim of making videos that entertain the user / viewer, he is forced to give, from time to time, instructions regarding the publication of the video material, thus using human processing time. From the previous analysis of the state of the art, it is immediately clear how the use of human work involves the costs of implementation and the time needed for its realization.

In tale settore, il massimo automatismo attualmente disponibile è rappresentato da apparecchiature chiamate Photo Booth. Ai fini della presente descrizione, con il termine Photo Booth ci si riferisce a quelle apparecchiatura presenti oggi sul mercato capaci di scattare, registrare, elaborare, pubblicare foto e/o video. La modalità di funzionamento di tali dispositivi prevede l’avvicinamento dell’utente che, azionando manualmente i relativi comandi, decide quando scattare una foto o riprendere un video, se e quali foto far stampare alla macchina, se e quale genere di effetti la macchina deve usare per la post produzione, se e dove inviare il materiale prodotto. Evidentemente, lo stato dell’arte utilizza un automatismo molto limitato, che riguarda solo la messa in essere di comandi esplicitamente impartiti da un operatore umano. La descrizione della tecnologia nota rende evidente la necessità della presenza di operatori umani che azionino le varie funzioni dei dispositivi. Dunque, il Photo Booth rappresenta una macchina a stati, che ha necessità dell’esplicito comando di un operatore umano per transitare da uno stato ad un altro. In this sector, the maximum automation currently available is represented by equipment called Photo Booths. For the purposes of this description, the term Photo Booth refers to those equipment on the market today capable of taking, recording, processing, publishing photos and / or videos. The operating mode of these devices involves approaching the user who, by manually activating the relative commands, decides when to take a photo or video, if and which photos to print to the machine, if and what kind of effects the machine must use for post production, if and where to send the produced material. Evidently, the state of the art uses a very limited automatism, which only concerns the implementation of commands explicitly given by a human operator. The description of the known technology makes clear the need for the presence of human operators who operate the various functions of the devices. Therefore, the Photo Booth represents a state machine, which needs the explicit command of a human operator to transit from one state to another.

Ulteriore limite dei dispositivi Photo Booth è quello connesso alla qualità degli effetti di post produzione. Tali effetti, così come elaborati dai Photo Booth, risultano evidentemente distanti dalla qualità raggiungibile con l’opera di un agente umano. A parità di condizioni, un professionista del settore riuscirebbe a superare per qualità e variabilità di effetti l’operato dell’apparecchiatura chiamata Photo Booth. Tale carenza della tecnologia nota è connessa al fatto che l’operatore umano riesce a dare un senso semantico alle immagini sulle quali lavora. Per senso semantico dato alle immagini si intende la capacità di significare determinati aspetti delle immagini scattate o riprese. Significazione che funge da linea conduttrice del lavoro di selezione ed elaborazione successivamente svolto dall’operatore umano e che risulta preclusa alle apparecchiature chiamate Photo Booth. Queste attribuiscono ad ogni pixel della matrice bidimensionale che rappresenta l’immagine digitale lo stesso significato, non riuscendo a creare dei sottoinsiemi, ovvero non riuscendo a selezionare tra questi pixel quelli che possono essere accomunati in base ad uno dei sensi semantici di cui sono portatori. Il Photo Booth, dunque, si può considerare come strumento d’ausilio, parzialmente automatizzato, al lavoro di professionisti del settore foto/video. Può, sì dare un contributo in termini di quantità del materiale registrato ma, al fine di avere un prodotto ultimo che presenti caratteristiche idonee alla soddisfazione dell’utenza di riferimento, resta sempre compito dell’operatore umano elaborare tale materiale. In autonomia, il Photo Booth può sviluppare solo materiale monotono e poco originale, con poche caratteristiche varianti e senza possibilità di significazione. Another limitation of Photo Booth devices is that connected to the quality of post production effects. These effects, as developed by the Photo Booths, are evidently far from the quality achievable with the work of a human agent. All other things being equal, a professional in the sector would be able to overcome the work of the equipment called Photo Booth in terms of quality and variability of effects. This lack of known technology is connected to the fact that the human operator is able to give a semantic sense to the images on which he works. By semantic sense given to images we mean the ability to signify certain aspects of the images taken or shot. Meaning that acts as a guideline for the selection and processing work subsequently carried out by the human operator and which is precluded to equipment called Photo Booths. These attribute the same meaning to each pixel of the two-dimensional matrix that represents the digital image, failing to create subsets, or failing to select among these pixels those that can be united on the basis of one of the semantic senses they carry. The Photo Booth, therefore, can be considered as a partially automated aid tool for the work of professionals in the photo / video sector. It can, yes, make a contribution in terms of the quantity of the recorded material but, in order to have an ultimate product that has characteristics suitable for the satisfaction of the reference user, it is always the human operator's task to process this material. In autonomy, the Photo Booth can develop only monotonous and not very original material, with few variant characteristics and without the possibility of signification.

Dall’analisi dello stato dell’arte emergono due evidenti elementi di criticità, uno riguardante l’impossibilità di avere produzioni istantanee, l’altro connesso con l’automazione dei processi e quindi con i costi di produzione. Two obvious critical elements emerge from the analysis of the state of the art, one concerning the impossibility of having instant productions, the other connected with the automation of processes and therefore with production costs.

Per quello che riguarda la criticità connessa con l’istantaneità della produzione, per la realizzazione del prodotto finale la metodologia nota ha necessariamente bisogno dell’utilizzo di ore di lavoro umano che, per forza di cose, dilatano i tempi di produzione e fanno lievitare i relativi costi. As regards the criticality connected with the instantaneousness of production, for the realization of the final product the known methodology necessarily requires the use of human hours of work which, inevitably, extend the production times and make the production rise. related costs.

Per quanto riguarda, invece, l’analisi del livello di automatismo presente nella tecnologia nota, emerge chiaramente una criticità connessa sia alla qualità del materiale registrato, sia alla qualità del prodotto finale. Il materiale registrato viene creato con l’utilizzo di un numero limitato di stili e la qualità del prodotto finale non è paragonabile all’operato umano. As regards, however, the analysis of the level of automatism present in known technology, a criticality clearly emerges connected both to the quality of the recorded material and to the quality of the final product. The recorded material is created with the use of a limited number of styles and the quality of the final product is not comparable to human work.

Nel seguito la descrizione di una delle possibili realizzazioni delle presente invenzione data al fine di costituire ausilio alla comprensione delle soluzioni che la presente offre alle criticità sopra elencate. In the following the description of one of the possible embodiments of the present invention given in order to be an aid to the understanding of the solutions that the present offers to the criticalities listed above.

Nello specifico della presente descrizione il dispositivo comprende: a) una camera, posizionata frontalmente all’area di interazione dell’utente/soggetto; Specifically in this description, the device includes: a) a room, positioned in front of the user / subject interaction area;

b) una camera, posizionata lateralmente al lato con cui interagisce l’utente/soggetto; b) a room, positioned laterally to the side with which the user / subject interacts;

c) due faretti a led dimerabili posizionati a destra e a sinistra della camera frontale; c) two dimmable LED spotlights positioned to the right and left of the front chamber;

d) un’unità di elaborazione e archiviazione dati, con connessione di rete; d) a data processing and storage unit, with network connection;

e) tre led frontali; e) three front LEDs;

f) un’unità di controllo luci; f) a lighting control unit;

g) un alimentatore luci; g) a light power supply;

h) un microfono; h) a microphone;

i) un proiettore. i) a projector.

Gli elementi da “a” ad “h” sono integrati e sostenuti in un’unica struttura, come da Fig.1. Elements from "a" to "h" are integrated and supported in a single structure, as shown in Fig.1.

Il sistema prevede che le due camere siano collegate all’unità di elaborazione e di archiviazione dati; i due faretti e i tre led frontali sono collegati all’unità di controllo luci e all’alimentatore; l’unità di controllo luci è collegata all’unità di elaborazione e archiviazione dati; il microfono è collegato all’unità di elaborazione e archiviazione dati; il proiettore è collegato all’unità di elaborazione e archiviazione dati. La struttura principale in Fig. 1 è dotata di un impianto elettrico predisposto per essere collegato ad una fonte di energia elettrica esterna. L’impianto alimenta l’unità di elaborazione e archiviazione dati, l’alimentatore luci e le restanti componenti hardware. The system provides that the two chambers are connected to the processing and data storage unit; the two spotlights and the three front LEDs are connected to the light control unit and the power supply; the lighting control unit is connected to the data processing and storage unit; the microphone is connected to the data processing and storage unit; the projector is connected to the data processing and storage unit. The main structure in Fig. 1 is equipped with an electrical system designed to be connected to an external electricity source. The system powers the processing and data storage unit, the light power supply and the remaining hardware components.

Inoltre, la struttura principale in Fig. 1 è dotata di connettori output video che consentono il collegamento dati tra l’unità di elaborazione e archiviazione dati e il proiettore. Il proiettore è posizionato in modo da consentire al soggetto interagente di poter vedere lo stream video proiettato in tempo reale. In addition, the main structure in Fig. 1 is equipped with video output connectors that allow data connection between the processing and data storage unit and the projector. The projector is positioned so that the interacting subject can see the projected video stream in real time.

L’unità di elaborazione e archiviazione dati è gestita da un Software creato ad hoc, che guida l’intero funzionamento del dispositivo e delle sue componenti. The data processing and storage unit is managed by a software created ad hoc, which guides the entire operation of the device and its components.

Per semplificarne la comprensione, il funzionamento della macchina così costituita viene diviso in due filoni principali: uno riguarda l’aspetto di elaborazione in real time (parte A), l’altro l’aspetto delle lavorazioni svolte in background (parte B). Tale divisione è utile solo ai fini della presente descrizione, si evidenzia che entrambe le fasi vengono messe in essere contemporaneamente, soltanto i vincoli temporali di elaborazione nel caso di lavorazioni svolte in background risultano essere meno stretti. L’istantaneità del processo è comunque garantita per entrambe le fasi. To simplify understanding, the operation of the machine thus constituted is divided into two main strands: one concerns the aspect of real-time processing (part A), the other the aspect of the processes carried out in the background (part B). This division is only useful for the purposes of this description, it should be noted that both phases are implemented simultaneously, only the processing time constraints in the case of processes carried out in the background are less strict. The instantaneousness of the process is however guaranteed for both phases.

Si sottolinea, ulteriormente, che la fase di lavorazione in background viene posta in essere solo ed esclusivamente se il dispositivo ha a disposizione materiale archiviato. It is further emphasized that the background processing phase is carried out only and exclusively if the device has archived material available.

A) Per quanto riguarda la parte connessa con la lavorazione in real time, il funzionamento è il seguente: A) As regards the part connected with real time processing, the operation is as follows:

1) Le immagine vengono catturate dalla camera frontale e dalla camera laterale. 1) The images are captured from the front camera and the lateral camera.

2) Contemporaneamente al punto 1, la macchina analizza il flusso audio rilevato dal microfono. 2) At the same time as point 1, the machine analyzes the audio stream detected by the microphone.

3) Le immagine catturate al punto 1 vengono analizzate 3) The images captured in step 1 are analyzed

algoritmi cam ente ed in reai time dall’unità di elaborazione e archiviazione dati al fine di conferire ad esse un senso semantico. Il senso semantico attribuito, ad esempio, potrebbe derivare dalla computazione fatta usando un algoritmo di object detection come il metodo basato su Haar feature Cascade di Viola e Jones (Robust Real-Time Face Detection) per la ricerca di volti presenti all’intemo delle immagini. Ancora, potrebbe essere basato sulla computazione eseguita dall’algoritmo Active Appearance Model di Coots e Edwards e Taylor per estimare la posa della testa e per rilevare le espressioni facciali. Gli esempi appena citati hanno solo scopo illustrativo finalizzato alla comprensione del funzionamento base del dispositivo; la stesso potrebbe essere integrato da qualsivoglia tipo di sviluppo successivo in materia di computer vision. live and real time algorithms from the data processing and storage unit in order to give them a semantic sense. The semantic meaning attributed, for example, could derive from the computation made using an object detection algorithm such as the method based on Haar feature Cascade by Viola and Jones (Robust Real-Time Face Detection) for the search for faces present within the images. . Again, it could be based on the computation performed by the Coots and Edwards and Taylor Active Appearance Model algorithm to estimate head pose and to detect facial expressions. The examples just cited are for illustrative purposes only aimed at understanding the basic operation of the device; the same could be complemented by any kind of subsequent development in the field of computer vision.

Contemporaneamente anche il flusso audio viene analizzato per ottenere il beat dell’eventuale musica di sottofondo presente nell’ambiente di utilizzo. At the same time, the audio stream is also analyzed to obtain the beat of any background music present in the environment of use.

4) Le informazioni semantiche rilevate in reai time dalla sequenza dei frame rileveranno l’eventuale presenza di un soggetto e ne permetteranno il tracciamento attraverso tecniche di object detection e tracking. A questo punto si aprono due scenari, soggetto presente o soggetto assente: 4) The semantic information detected in real time from the sequence of frames will detect the presence of a subject and will allow tracking through object detection and tracking techniques. At this point, two scenarios open up, subject present or subject absent:

4a) Nel caso di assenza del soggetto il presente dispositivo offre due differenti modalità di funzionamento: 4a) In case of absence of the subject, this device offers two different operating modes:

• Nel caso in cui non sia presente materiale archiviato nell’unità di elaborazione e archiviazione dati (es. dispositivo appena installato), la stessa invia al proiettore immagini che invogliano gli spettatori ad avvicinarsi ed iniziare ad interagire col dispositivo ai fini di colmare autonomamente e senza alcun intervento dell’operatore la mancanza di materiale da elaborare. Tali immagini vengono generate con l’ausilio di algoritmi generativi. • In the event that there is no material stored in the data processing and storage unit (eg device just installed), the same sends images to the projector that entice viewers to approach and start interacting with the device in order to autonomously fill and without any operator intervention the lack of material to be processed. These images are generated with the help of generative algorithms.

• Nel caso in cui sia già presente del materiale archiviato, l’unità di elaborazione e archiviazione dati invia al proiettore un flusso video generato utilizzando i dati precedentemente memorizzati e modulato tramite le informazioni provenienti dalla sola analisi dell’ audio. • In the event that archived material is already present, the data processing and storage unit sends to the projector a video stream generated using the previously stored data and modulated by the information coming from the audio analysis alone.

In entrambi i casi illustrati nel punto 4a, il materiale inviato al proiettore e l’uso dell’impianto luci è finalizzato a massimizzare l’ingaggio degli spettatori, per far si che questi inizino ad interagire/giocare con il dispositivo, così da permettere l’acquisizione di immagini. In both cases illustrated in point 4a, the material sent to the projector and the use of the lighting system is aimed at maximizing the engagement of the spectators, to ensure that they begin to interact / play with the device, so as to allow the 'image acquisition.

Con riferimento al caso in cui non vi fosse un soggetto ma sia già presente del materiale, l’unità di elaborazione e archiviazione dati tende, ad esempio, a selezionare le immagini riprese dalla camera laterale con una percentuale maggiore rispetto alle altre (quelle riprese della camera frontale), in questo modo i dati inviati al proiettore vengono composti in gran parte da immagini laterali dell’interazione, ovvero quelle che mostrano l’intera interazione che i soggetti hanno precedentemente avuto con il dispositivo e che permettono, quindi, di far capire ai restanti spettatori il funzionamento del gioco, stimolandoli e spingendoli all’interazione. With reference to the case in which there is no subject but material is already present, the data processing and storage unit tends, for example, to select the images taken from the lateral camera with a higher percentage than the others (those taken from the front camera), in this way the data sent to the projector are composed largely of lateral images of the interaction, i.e. those that show the entire interaction that the subjects have previously had with the device and that allow, therefore, to understand to the remaining spectators the functioning of the game, stimulating them and encouraging them to interact.

4b) Nel caso di presenza del soggetto il presente dispositivo offre due differenti modalità di funzionamento: 4b) If the subject is present, this device offers two different operating modes:

• Nel caso in cui non sia presente materiale archiviato nell’unità di elaborazione e archiviazione dati (es. dispositivo appena installato ed interazione appena iniziata), la stessa invierà al proiettore un’alterazione delle immagini che sta catturando e/o delle immagini ottenute tramite l’uso di un algoritmo generativo. • In the event that there is no material stored in the data processing and storage unit (eg device just installed and interaction just started), the same will send to the projector an alteration of the images it is capturing and / or of the images obtained through the use of a generative algorithm.

• Nel caso in cui sia già presente materiale archiviato, l’unità di elaborazione e archiviazione dati invierà al proiettore immagini costruite attraverso l’unione delle immagini catturate tramite le camere in reai rime, delle immagini precedentemente archiviate e delle immagini generate algoritmicamente; tale unione di immagini viene realizzata tenendo conto sia della semantica delle immagini appena catturate sia della semantica delle immagini presenti nell’archivio. In tale contesto, dunque, si evince chiaramente come l’output visivo dato al proiettore viene realizzato mettendo in relazione il materiale video già catalogato presente in archivio e il materiale video appena catturato ed analizzato; tale relazione si basa sulle elaborazioni fatte seguendo il senso semantico che è stato attribuito alle immagini. • In the event that archived material is already present, the data processing and storage unit will send to the projector images built by joining the images captured through the real time cameras, previously archived images and algorithmically generated images; this union of images is made taking into account both the semantics of the images just captured and the semantics of the images in the archive. In this context, therefore, it is clear how the visual output given to the projector is created by relating the video material already cataloged in the archive and the video material just captured and analyzed; this relationship is based on the elaborations made following the semantic meaning that has been attributed to the images.

In entrambi i casi l’unità di elaborazione e archiviazione dati, in real time, oltre che continuare ad analizzare il flusso di frame e il flusso audio, inizierà ad archiviare il primo, catalogandolo secondo i relativi dati semantici; contemporaneamente userà i dati semantici e i dati risultanti dall’analisi dell’audio per modulare opportunamente il flusso video in output sul proiettore. I dati rilevati e elaborati grazie all’analisi delle immagini vengono utilizzati dal presente dispositivo al fine di creare una interfaccia utente di tipo Natural User Interface. Il proiettore mostrerà un flusso video continuo, costituito da immagini catturate all’istante, da immagini archiviate precedentemente e immagini generate algoritmicamente. Il senso semantico relativo all’interazione del soggetto e il senso semantico del materiale archiviato verrà usato per elaborare il flusso di immagini mandato al proiettore, consentendo al soggetto interagente di ricevere un feedback immediato e deterministico relativo al suo approccio al dispositivo. È quest’ultimo punto che meglio esprime l’aspetto ludico e interattivo del dispositivo: l’immagine proiettata è realizzata deterministicamente come risposta alla tipologia di interazione messa in atto dal soggetto. Il soggetto ricevendo un determinato feedback visivo, capirà progressivamente come interagire con il dispositivo al fine di avere un determinato risultato. Potremmo dire che il soggetto capirà progressivamente come stimolare il dispositivo in un modo piuttosto che un altro ai fini di ottenere una data risposta, ovvero una certa modulazione/elaborazione del video in proiezione e una certa modulazione dell’impianto luci. In both cases, the processing and data storage unit, in real time, in addition to continuing to analyze the stream of frames and the audio stream, will begin to archive the first, cataloging it according to its semantic data; at the same time it will use the semantic data and the data resulting from the audio analysis to appropriately modulate the video stream output on the projector. The data collected and processed thanks to image analysis are used by this device in order to create a Natural User Interface type user interface. The projector will show a continuous video stream, consisting of images captured instantly, previously stored images and algorithmically generated images. The semantic sense relating to the interaction of the subject and the semantic sense of the archived material will be used to process the flow of images sent to the projector, allowing the interacting subject to receive immediate and deterministic feedback on his approach to the device. It is this last point that best expresses the playful and interactive aspect of the device: the projected image is made deterministically as a response to the type of interaction implemented by the subject. The subject receiving a certain visual feedback, will progressively understand how to interact with the device in order to have a certain result. We could say that the subject will progressively understand how to stimulate the device in one way rather than another in order to obtain a given response, namely a certain modulation / processing of the projection video and a certain modulation of the lighting system.

Si evidenzia come l’unità di elaborazione e archiviazione dati inizierà a gestire l’impianto luci in maniera differente rispetto a quanto detto al punto 4a; tale scelta viene fatta per due ordini di ragioni, la prima è quella sottesa alla volontà di far capire al soggetto che l’interazione ha avuto inizio, la seconda è quella di illuminare il soggetto in modo opportuno ai fini sia di massimizzare la qualità delle immagini riprese, sia di migliorare la qualità dell’interazione del soggetto. It should be noted that the data processing and storage unit will begin to manage the lighting system in a different way than what was said in point 4a; this choice is made for two reasons, the first is that underlying the desire to make the subject understand that the interaction has started, the second is to illuminate the subject in an appropriate way for the purposes of both maximizing the quality of the images shooting, both to improve the quality of the interaction of the subject.

Quando il soggetto termina di interagire con il dispositivo, trascorso un tempo di time out, When the subject stops interacting with the device, after a time out time has elapsed,

automaticamente il dispositivo si setta come da modalità descritta al punto 4a. the device automatically sets itself as described in point 4a.

B) Per quanto riguarda l’aspetto delle lavorazioni svolte in background, il funzionamento è il seguente. Si sottolinea che le lavorazioni in background non presentano il vincolo del real time, ma comunque devono essere svolte con istantaneità. B) As regards the aspect of the processes carried out in the background, the operation is as follows. It should be emphasized that background processing does not have the real time constraint, but in any case must be carried out instantly.

1) L’unità di elaborazioni e archiviazione dati pone in essere un’ulteriore e più complessa analisi dei frame che è finalizzata al conferimento di una più dettagliata catalogazione e significazione al materiale già acquisito. Tale procedimento, anche se svolto in background, risulta comunque utile alle fasi di lavoro in real time. I dati ottenuti tramite questa seconda fase di analisi, infatti, vanno comunque a meglio definire i dati su cui il dispositivo lavora in real time. 1) The data processing and storage unit puts in place a further and more complex analysis of the frames which is aimed at providing a more detailed cataloging and meaning to the material already acquired. This procedure, even if carried out in the background, is nevertheless useful for the real-time work phases. The data obtained through this second phase of analysis, in fact, go in any case to better define the data on which the device works in real time.

Ad esempio, il dispositivo potrebbe mettere in relazione le immagini scegliendo come carattere comune la posizione dei volti, la grandezza dei volti, la velocità del soggetto sugli assi X,Y, Z, i gesti del soggetto/i, il numero di persone interagenti, quindi impiegare un k-d tree al fine di fare una ricerca di nearest neighbour. For example, the device could relate images by choosing as common character the position of the faces, the size of the faces, the speed of the subject on the X, Y, Z axes, the gestures of the subject / s, the number of interacting people, then use a k-d tree in order to search for the nearest neighbor.

2) Contemporaneamente o in successione, l’unità di elaborazione e archiviazione dati lavora sul materiale archiviato al fine di ottenere due prodotti finali: fotografie e video. Per ottenere tali prodotti, l’unità di elaborazione e archiviazione dati usa come linea conduttrice quella connessa al senso semantico precedentemente attribuito al materiale registrato. Tali fotografie sono ottenute scegliendo i frame che più si prestano al fine per cui saranno usati (punto 3); ad esempio, i frame utilizzati potrebbero essere quelli che presentano un volto ripreso frontalmente e ben illuminato e quelli che presentano soggetti con espressioni allegre. Anche i video sono ottenuti scegliendo tra il materiale registrato gli elementi più utili alla fase successiva (punto 3); ad esempio, tra le tante possibilità, potrebbe selezionare clip o spezzoni di clip in modo da montare un video finale in cui si susseguono persone diverse che fanno lo stesso gesto. Ancora, a titolo esemplificativo, potrebbe montare un video con più ragazze che ragazzi, o con più gruppi che individui singoli. 2) Simultaneously or in succession, the data processing and storage unit works on the archived material in order to obtain two final products: photographs and videos. To obtain these products, the data processing and storage unit uses as a guiding line the one connected to the semantic meaning previously attributed to the recorded material. These photographs are obtained by choosing the frames that are most suitable for the purpose for which they will be used (point 3); for example, the frames used could be those that present a face shot from the front and well lit and those that present subjects with cheerful expressions. Videos are also obtained by choosing the most useful elements for the next phase from the recorded material (point 3); for example, among the many possibilities, he could select clips or pieces of clips in order to assemble a final video in which different people follow one another making the same gesture. Again, by way of example, it could edit a video with more girls than boys, or with more groups than single individuals.

Durante la selezione della sequenza delle immagini video, il montaggio prevede l’aggiunta automatica di una traccia audio che fungerà da metronomo per scandire il tempo base della sequenza di immagini; di conseguenza il video finale seguirà automaticamente un ritmo ben preciso e specificamente legato all’audio di sottofondo. L’intero punto 2 viene messo in essere dal dispositivo in totale autonomia. Inoltre, detto punto 2 risulta realizzabile solo grazie all’impiego dei dati semantici precedentemente attribuiti ed archiviati. During the selection of the sequence of video images, the montage provides for the automatic addition of an audio track that will act as a metronome to mark the basic time of the sequence of images; consequently the final video will automatically follow a precise rhythm and specifically linked to the background audio. The entire point 2 is implemented by the device in total autonomy. Furthermore, said point 2 is achievable only thanks to the use of semantic data previously attributed and archived.

3) Come ultima fase di lavorazione in background, le foto e i video così prodotti dall’unità di elaborazione e archiviazione dati vengono messi in una coda in attesa d’essere inviati via rete, salvati su un’unità di archiviazione esterna o, nel caso delle foto, stampati. Ad esempio, il materiale potrebbe essere automaticamente inviato via e-mail, caricato su un server FTP oppure pubblicato su un canale social. 3) As a last phase of background processing, the photos and videos thus produced by the data processing and storage unit are placed in a queue waiting to be sent via the network, saved on an external storage unit or, in the case of photos, printed. For example, the material could be automatically sent via e-mail, uploaded to an FTP server or published on a social channel.

L’intero dispositivo è privo di qualsiasi tipo di interruttore o pulsante di controllo; l’apparecchiatura tutta viene configurata tramite un software per dispositivi mobile che si interfaccia via rete con il dispositivo; tale applicazione, ad esempio, consente all’operatore di controllare accensione/spegnimento, stato di lavorazione delle immagini, selezione delle traccie audio usate come soundtrack per i video finali, possibilità di gestione delle fasi di pubblicazione, qualità delle immagini lavorate, possibilità di effettuare statistiche di vario genere. The entire device is devoid of any type of switch or control button; the whole equipment is configured using software for mobile devices that interfaces via the network with the device; this application, for example, allows the operator to control the switching on / off, the processing status of the images, the selection of the audio tracks used as soundtrack for the final videos, the possibility of managing the publication phases, the quality of the processed images, the possibility of statistics of various kinds.

Soltanto il lavoro all’unisono di tutte le componenti del dispositivo, hardware o software che siano, così come da descrizione, rende possibile la realizzazione di un sistema innovativo per Γ intrattenimento e la produzione automatica e istantanea di contenuti video pronti per la pubblicazione. Soltanto il lavoro contemporaneo di tutte le componenti fa si che l’interazione tra il soggetto e il dispositivo diventi il meccanismo sfruttato per incentivare gli utenti aH’utilizzo. A sua volta, il dispositivo usa il pretesto deH’interazione per firmare e catturare le immagini dei soggetti e per ottenere così contenuti originali ed istantanei, il tutto in modo automatizzato. Una sorta di scambio reciproco: il dispositivo invita l’utente all’interazione, stimolandolo e attirandone l’attenzione. A sua volta l’utente, interagendo, offre al dispositivo materiale su cui poter lavorare, materiale da poter utilizzare sia per continuare a intrattenere e divertire l’utente che materiale da poter utilizzare per la realizzazione del prodotto finale. Il soggetto interagente, quindi, offre al dispositivo un input che consente di eccedere ai principi deterministici che sono la base della computazione tradizionale. L’interazione dell’utente aggiunge un elemento di impredicibilità alle elaborazioni svolte dal dispositivo e gli conferisce, potremmo dire, un aspetto più umano. Only the work in unison of all the components of the device, whether hardware or software, as per description, makes it possible to create an innovative system for Γ entertainment and the automatic and instant production of video content ready for publication. Only the simultaneous work of all the components makes the interaction between the subject and the device become the mechanism used to encourage users to use it. In turn, the device uses the pretext of interaction to sign and capture images of the subjects and thus to obtain original and instant content, all in an automated way. A sort of mutual exchange: the device invites the user to interact, stimulating and attracting his attention. In turn, the user, interacting, offers the device material on which to work, material that can be used both to continue to entertain and entertain the user and material to be used for the realization of the final product. The interacting subject, therefore, offers the device an input that allows it to exceed the deterministic principles that are the basis of traditional computation. User interaction adds an element of unpredictability to the processing carried out by the device and gives it, we could say, a more human aspect.

La presente invenzione si propone di far evolvere il concetto di automatismo utilizzato dalla tecnologia nota superando ed integrando tutte le fasi di un processo lungo e dispendioso come quello connesso con lo scatto, memorizzazione, elaborazione, montaggio, proiezione di immagini e/o foto in una sola apparecchiatura. Apparecchiatura che per svolgere le funzioni elencate non ha alcun bisogno di operatore, rendendo così la presente invenzione di veloce ed economico utilizzo. Tale dispositivo consente: The present invention aims to evolve the concept of automatism used by known technology by overcoming and integrating all the phases of a long and expensive process such as that connected with shooting, storing, processing, editing, projection of images and / or photos in a equipment only. Apparatus which in order to perform the listed functions has no need for an operator, thus making the present invention quick and economical to use. This device allows:

• Una lavorazione istantanea: come da descrizione, si evince che sia le fasi di lavorazione reai rime, che le fasi di lavorazione svolte in background consentono di ottenere una produzione foto/video immediatamente disponibile. A ciò si affianca l’istantaneità della pubblicazione dello stesso prodotto finale. • Instant processing: as per the description, it can be seen that both the actual processing stages and the processing stages carried out in the background make it possible to obtain an immediately available photo / video production. This is accompanied by the instantaneousness of the publication of the final product itself.

• Una riduzione dei costi: come da descrizione, si evince che il materiale foto/video viene filmato, elaborato e pubblicato autonomamente. Il dispositivo è realizzato al fine di offrire un’unica e completa soluzione per la realizzazione di materiale foto/video (sia materiale video proiettato in reai time, sia materiale foto/video che costituisce il prodotto finale). • A reduction in costs: as per description, it is clear that the photo / video material is filmed, processed and published independently. The device is designed in order to offer a single and complete solution for the creation of photo / video material (both video material projected in real time, and photo / video material that constitutes the final product).

• Un’automazione di tutti i processi: si potrebbe dire che una volta installata la macchina è completamente autonoma da tutti i punti di vista, richiama a se l’utente e l’intrattiene, cattura le immagini, elabora materiale foto/video, proietta materiale video, archivia materiale foto/video, pubblica materiale foto/video completo. Forte automazione che sfrutta la capacità semantica e di significazione che guida i processi primari del dispositivo. • An automation of all processes: it could be said that once installed the machine is completely autonomous from all points of view, it recalls the user and entertains him, captures images, processes photo / video material, projects video material, archive photo / video material, publish complete photo / video material. Strong automation that exploits the semantic and signification capacity that guides the primary processes of the device.

• Di ottenere produzioni foto/video di qualità: grazie alla forte automazione, il materiale autonomamente elaborato dal dispositivo, in reai time e in background, risulta estremamente simile a quello che potrebbe produrre una mano umana. Inoltre, sfruttando la velocità di computazione della macchina, sono rese possibili delle tipologie di elaborazioni video che manualmente richiederebbero tempi di lavorazione molto lunghi e che quindi sarebbero irrealizzabili praticamente. • To obtain quality photo / video productions: thanks to the strong automation, the material processed autonomously by the device, in real time and in the background, is extremely similar to what a human hand could produce. Furthermore, by exploiting the computation speed of the machine, types of video processing are made possible which manually would require very long processing times and which would therefore be practically impossible.

• Di ingaggiare e intrattenere l’utenza: l’insieme delle componenti del dispositivo è finalizzata ad attrarre l’utente. Le luci e le immagini sono uno stimolo per l’utente che si sente invogliato ad iniziare l’interazione. Una volta iniziata l’interazione emerge l’aspetto ludico del dispositivo che intrattiene l’utente facendolo divertire, giocare con la macchina o facendogli guardare altri utenti intenti a giocare con il dispositivo. • To engage and entertain users: the set of components of the device is aimed at attracting the user. The lights and images are a stimulus for the user who feels encouraged to start the interaction. Once the interaction has begun, the playful aspect of the device emerges which entertains the user by making him have fun, playing with the machine or making him watch other users intent on playing with the device.

Di seguito si enuncia la soluzione alle criticità precedentemente elencate durante la descrizione dello stato dell’arte. The solution to the critical issues previously listed during the description of the state of the art is set out below.

Nello specifico, si precisa come la presente invenzione abbatte i tempi tecnici e le ore di lavoro umano necessari al fine di ricercare il proprio soggetto, elaborare le fotografie scattate e i video ripresi, pubblicare gli stessi. Specifically, it is specified how the present invention cuts down the technical times and hours of human work necessary in order to research one's own subject, process the photographs taken and videos, publish them.

Ancora, la presente invenzione abbatte i tempi e i costi necessari a realizzare un flusso video che intrattenga le persone, costituito da materiale video contestualizzato, offrendo istantaneamente all’utente un’esperienza interattiva oltre che ludica. Furthermore, the present invention reduces the time and costs necessary to create a video stream that entertains people, consisting of contextualized video material, instantly offering the user an interactive as well as playful experience.

L’abbattimento di ore di lavoro umano, reso possibile dall’impiego di forti automatismi, implica quindi, un parallelo abbattimento dei costi di produzione. The reduction of hours of human work, made possible by the use of strong automatisms, therefore implies a parallel reduction in production costs.

Inoltre, l’abbattimento dei tempi tecnici, resi istantanei con l’impiego della presente invenzione, rende possibile la pubblicazione istantanea su rete e consente di ottenere, quindi, una diffusione di informazioni immediata e immediatamente consultabile. In addition, the reduction of technical times, made instantaneous with the use of the present invention, makes it possible to publish instantaneously on the network and thus allows for the dissemination of information that is immediate and immediately accessible.

Per quanto riguarda la tecnologia nota, ovvero quella presentata precedentemente con il nome Photo Booth, la presente invenzione dimostra di offrire soluzioni ad un grande numero di criticità e mancanze. As regards the known technology, that is the one presented previously with the name Photo Booth, the present invention proves to offer solutions to a large number of critical issues and shortcomings.

• Il Photo Booth non elabora/monta automaticamente i video. A differenza della presente invenzione, il Photo Booth non processa autonomamente il materiale catturato poiché non usa dati semantici al fine di selezionare la funzionalità da mettere in essere. La presente invenzione, grazie al forte automatismo, riesce a risolvere il problema del tempo di elaborazione video, che è istantaneo, e il problema della pubblicazione in rete di materiale foto/video opportunamente elaborato e montato, anche essa istantanea e automatizzata. La presente invenzione, dunque, cattura, elabora/monta e pubblica automaticamente e autonomamente materiale foto/video. • The Photo Booth does not automatically process / edit videos. Unlike the present invention, the Photo Booth does not autonomously process the captured material since it does not use semantic data in order to select the functionality to be implemented. The present invention, thanks to the strong automatism, is able to solve the problem of the video processing time, which is instantaneous, and the problem of the online publication of photo / video material suitably processed and edited, also instantaneous and automated. The present invention, therefore, automatically and autonomously captures, processes / edits and publishes photo / video material.

• Il Photo Booth ha bisogno di un agente umano che azioni manualmente i relativi comandi. Invece, la presente invenzione non necessita di comandi continui, armonizza i suoi processi utilizzando l’interazione umana come linea conduttrice per elaborare i suoi prodotti (video proiettato e prodotto finale pubblicato), utilizza lo scambio di informazioni con l’esterno, e specificamente con il/i soggetto/i, al fine di gestire autonomamente tutti i suoi processi. • The Photo Booth needs a human agent to manually operate its commands. Instead, the present invention does not require continuous commands, it harmonises its processes using human interaction as a guiding line to elaborate its products (projected video and final published product), uses the exchange of information with the outside, and specifically with the subject (s), in order to independently manage all its processes.

• L’interazione con il Photo Booth è finalizzata al solo uso di questo: l’essere umano interagisce con il Photo Booth al solo fine di azionarlo, di fargli scattare la foto. Quindi, il materiale ripreso non viene usato dal Photo Booth per scopi ulteriori. Invece, la presente invenzione utilizza l’interazione tra l’utente e il dispositivo per mettere in atto tutte le fasi di funzionamento del dispositivo stesso. Le immagini riprese durante le interazioni vengono usate per creare uno stimolo all’interazione stessa e solo tale interazione consente al dispositivo di mettere in atto i restanti processi. Nella presente invenzione, l’interazione riveste un ruolo cruciale, instaurando un continuo e bidirezionale scambio di informazioni tra l’utente e l’apparato tecnologico. Quindi, la presente invenzione usa le informazioni provenienti dall’ esterno per avere un input non deterministico, inserendo così un elemento di variabilità e imprevedibilità all’ interno di una computazione per definizione deterministica. • The interaction with the Photo Booth is aimed at the sole use of this: the human being interacts with the Photo Booth for the sole purpose of operating it, of making him take the picture. Therefore, the captured material is not used by the Photo Booth for any other purpose. Instead, the present invention uses the interaction between the user and the device to implement all the operating phases of the device itself. The images taken during the interactions are used to create a stimulus to the interaction itself and only this interaction allows the device to implement the remaining processes. In the present invention, interaction plays a crucial role, establishing a continuous and bidirectional exchange of information between the user and the technological apparatus. Therefore, the present invention uses information coming from the outside to have a non-deterministic input, thus inserting an element of variability and unpredictability within a computation by deterministic definition.

• Il Photo Booth non intrattiene l’utente/spettatore, ovvero non monta e proietta istantaneamente i video al fine di attrarre e di ottenere uno scambio reciproco che possa divertire l’utente. La presente invenzione, invece, attrae e diverte l’utente/spettatore. L’elaborazione e la proiezione istantanea di materiale contestualizzato è finalizzata ad offrire un intrattenimento visivo continuo sia all’utente ma anche a persone che guardano l’interazione proiettata. Inoltre, la presente invenzione pone in essere uno scambio reciproco uomo/macchina che costituisce la base del gioco che successivamente mette in essere; l’utente diviene egli stesso autore e parte dell’ intrattenimento visuale offerto dalla macchina. • The Photo Booth does not entertain the user / viewer, that is, it does not instantly mount and project the videos in order to attract and obtain a reciprocal exchange that can entertain the user. The present invention, on the other hand, attracts and entertains the user / spectator. The processing and instant projection of contextualized material is aimed at offering continuous visual entertainment both to the user but also to people watching the projected interaction. Furthermore, the present invention creates a reciprocal man / machine exchange which constitutes the basis of the game which it subsequently puts into being; the user himself becomes the author and part of the visual entertainment offered by the machine.

• Il Photo Booth ha limitati effetti di post produzione, questo perché non è capace di dare senso semantico alle immagini su cui lavora. La presente invenzione risolve il problema della qualità statica e della poca variabilità dei prodotti elaborati da macchinari in cui non è presente significazione. La presente invenzione, dando significato alle immagini catturate e seguendo questo significato al fine dell’ elaborazione, riesce ad ottenere una proiezione e un prodotto finale completo ed immediatamente utilizzabile. • The Photo Booth has limited post production effects, this is because it is unable to give semantic meaning to the images it works on. The present invention solves the problem of the static quality and of the little variability of the products processed by machinery in which there is no signification. The present invention, giving meaning to the captured images and following this meaning for the purpose of processing, is able to obtain a complete and immediately usable projection and final product.

• Il Photo Booth genera una forma di interazione molto impersonale, le elaborazioni che tale tecnologia pone in essere portano ad un risultato finale che non presenta variabilità connesse con la differenza degli utenti. Il Photo Booth non fa altro che scattare foto e 10 fa in modo sempre uguale, senza riconoscere la persona o il movimento che la persona sta attualmente facendo, senza riconoscere elementi di variabilità e senza, quindi, modulare in maniera mutevole 11 suo operato. • The Photo Booth generates a very impersonal form of interaction, the elaborations that this technology puts in place lead to a final result that does not present variability connected with the difference of users. The Photo Booth does nothing but take pictures and 10 always does the same, without recognizing the person or the movement that the person is currently making, without recognizing elements of variability and without, therefore, modulating his work in a changing manner.

La presente invenzione, invece, attribuendo significato semantico e usandolo per le successive elaborazioni, riesce ad ottenere una proiezione ed un prodotto finale sempre vario, adattato il più possibile alle specifiche e differenti caratteristiche dell’utente, differenti caratteristiche che volta per volta introduce alfinterno della computazione. La presente invenzione, come si evince dal resto della descrizione, offre allo specifico utente/soggetto un prodotto anche esso specifico. La presente invenzione, elaborando volta per volta in maniera differente il prodotto, riesce ad adattarsi alla variabilità dello stesso utente/soggetto, offrendogli un prodotto il più compatibile possibile alle sue caratteristiche e alle sue modalità di interazione. Ulteriori caratteristiche dell’invenzione sono desumibili dalle rivendicazioni dipendenti. The present invention, on the other hand, by attributing semantic meaning and using it for subsequent elaborations, manages to obtain a projection and an always varied final product, adapted as much as possible to the specific and different characteristics of the user, different characteristics that each time introduces within the computation. The present invention, as can be seen from the rest of the description, offers the specific user / subject a product which is also specific. The present invention, processing the product in a different way each time, is able to adapt to the variability of the same user / subject, offering him a product that is as compatible as possible with its characteristics and interaction methods. Further features of the invention can be inferred from the dependent claims.

Ovviamente, un tecnico esperto del ramo, allo scopo di soddisfare esigenze contingenti e specifiche, potrà apportare numerose modifiche e varianti all’invenzione sopra descritta, tutte per altro contenute nell’ambito di protezione dell’invenzione quale definito dalle seguenti rivendicazioni. Inoltre, anche l’unità di elaborazione, insieme con il software che la compone, possono avere sviluppi diversi a seconda della necessità di utilizzo, anche questi compresi nella protezione dell’invenzione come si evince dalle seguenti rivendicazioni. Obviously, a technician skilled in the art, in order to meet contingent and specific needs, may make numerous changes and variations to the invention described above, all of which are contained within the scope of protection of the invention as defined by the following claims. In addition, even the processing unit, together with the software that composes it, may have different developments depending on the need for use, also included in the protection of the invention as can be seen from the following claims.

Claims

Claims 1 Automatic device for the acquisition, processing, interactive use and dissemination of images based on computational intelligence, which includes at least: • one or more 2D or 3D cameras; • one or more data processing and storage units; • one or more display devices; • system management software; 2 Device according to claim 1, the hardware components of which are independent physical units communicating or assembled in different shapes and positions. 3 Device, according to claim 1, characterized by the fact that the data processing and storage unit is in communication with the remaining hardware. 4 Device, according to claim 1, characterized by a software computed on the data processing and storage unit (s) which manages all the hardware components. 5 Device according to claim 1, the software of which uses in real time at least computer vision techniques and artificial intelligence techniques. 6 Method for the operation of a device, as per claim 1, which uses the significance given by computer vision techniques and artificial intelligence techniques for the interaction with the user / s and for the automatic processing of photo / video contents representing the interacting subject (s). Method characterized by at least: - image capture phase; - image analysis phase; - phase of signification and classification of the images that present an interacting subject (s); - storage phase of images presenting an interacting subject / s and related semantic data; - processing phase of the video stream in real time; - background processing and production phase. 7 Method, as per claim 6, characterized by a step of capturing in real time the images in 2D and / or 3D format. 8 Method, as per claim 6, characterized by an image analysis phase which through computer vision techniques at least recognizes the presence of an interacting subject (s) and related visual characteristics. 9 Method, as per claim 6, characterized by a phase of signification and classification of the images that present an interacting subject (s) through at least computer vision techniques and artificial intelligence techniques. 10 Method, as per claim 6, characterized by a step of storing the images which present an interacting subject (s) and storing the related semantic data. 11 Method, as per claim 6, which uses the images captured, analyzed, signified, memorized and algorithmically generated to produce at least one video stream in real time. This composition is based on the semantic data of the images captured in real time and on the semantic data of the classified and stored images. 12 Method, as per claim 6, characterized by a background processing and production phase which processes, taking into account the semantic data resulting from the previous phases, an immediately usable photo / video product, which is stored in the data processing and storage unit .