IT202300008532A1

IT202300008532A1 - Method for generating a time-lapse video and associated generating device

Info

Publication number: IT202300008532A1
Application number: IT102023000008532A
Authority: IT
Inventors: Damiano Bauce
Original assignee: Vlab S R L
Priority date: 2023-05-02
Filing date: 2023-05-02
Publication date: 2024-11-02

Description

METODO PER LA GENERAZIONE DI UN VIDEO TIME-LAPSE E METHOD FOR GENERATION OF A TIME-LAPSE VIDEO AND

DISPOSITIVO DI GENERAZIONE ASSOCIATO ASSOCIATED GENERATION DEVICE

La presente invenzione si riferisce ad un metodo per la generazione di un video time-lapse. The present invention relates to a method for generating a time-lapse video.

In particolare, la presente invenzione si riferisce ad un metodo che permette di generare un video timelapse pi? compatto e qualitativamente migliore selezionando una pluralit? di immagini comprendente pixel dell?immagine associati ad oggetti di interesse. In particular, the present invention relates to a method that allows to generate a more compact and qualitatively better timelapse video by selecting a plurality of images comprising image pixels associated with objects of interest.

La presente invenzione si riferisce anche and un dispositivo per la generazione di un video time-lapse e un prodotto informatico associato. The present invention also relates to a device for generating a time-lapse video and an associated computer product.

Tecnica Nota Technical Note

Il processo di cattura dell?immagine pu? avvenire ad esempio catturando l?immagine ad intervalli periodici oppure aperiodici mediante una fotocamera. Le immagini catturate vengono successivamente elaborate per produrre un video time-lapse sulla base delle stesse. Ad esempio, ? possibile generare time-lapse automatici mensili oppure settimanali per ogni dispositivo di cattura in base a delle impostazioni di attivazione del dispositivo. Sono pertanto noti metodi e dispositivi per la generazione di video time-lapse in automatico per il monitoraggio di cantieri, ad esempio cantieri edili, navali e simili, nonch? di eventi che si protraggono a lungo nel tempo, ad esempio utilizzando le foto del mese appena trascorso. The image capture process can be performed, for example, by capturing the image at periodic or aperiodic intervals using a camera. The captured images are then processed to produce a time-lapse video based on the captured images. For example, automatic monthly or weekly time-lapses can be generated for each capture device based on the device's trigger settings. Methods and devices are therefore known for automatically generating time-lapse videos for monitoring construction sites, such as building sites, shipyards and the like, as well as for events that extend over a long period of time, for example by using photos from the past month.

Tuttavia il video time-lapse generato pu? essere non ottimale, ad esempio non abbastanza fluido, eccessivamente lungo per una documentazione storica effettiva di eventi che si protraggono nel tempo, e/o di grandi dimensioni ai fini dell?elaborazione dello stesso e per lo spazio di archiviazione disponibile sul dispositivo. However, the generated time-lapse video may be suboptimal, for example not smooth enough, too long for effective historical documentation of events spanning time, and/or too large for processing and device storage space.

? pertanto desiderabile migliorare la generazione di un video time-lapse. ? therefore it is desirable to improve the generation of a time-lapse video.

Scopo dell?invenzione Purpose of the invention

Scopo della presente invenzione ? superare detti svantaggi, fornendo un metodo concepito per generazione di un video time-lapse. The purpose of the present invention is to overcome these disadvantages by providing a method designed for generating a time-lapse video.

Forma pertanto oggetto dell?invenzione un metodo come rivendicato nella rivendicazione 1, una unit? di elaborazione come rivendicato nella rivendicazione 10, un dispositivo per la generazione di un video timelapse come rivendicato nella rivendicazione 12, e un prodotto informatico come rivendicato nella rivendicazione 15. The invention therefore provides a method as claimed in claim 1, a processing unit as claimed in claim 10, a device for generating a timelapse video as claimed in claim 12, and a computer product as claimed in claim 15.

Ulteriori preferite forme di realizzazione sono descritte nelle rivendicazioni dipendenti. Further preferred embodiments are described in the dependent claims.

Elenco Figure allegate List of attached figures

La presente invenzione verr? ora descritta, a titolo illustrativo, ma non limitativo, secondo una sua forma di realizzazione, con particolare riferimento alle figure allegate, in cui: The present invention will now be described, for illustrative but not limitative purposes, according to one of its embodiments, with particular reference to the attached figures, in which:

figura 1 mostra un diagramma a blocchi di un metodo implementato al computer per la generazione di un video time-lapse, secondo una forma di realizzazione oggetto della presente invenzione; Figure 1 shows a block diagram of a computer-implemented method for generating a time-lapse video, according to an embodiment of the present invention;

figura 2 mostra una immagine fotografica di una prima sequenza temporale di immagini, comprendente pixel dell?immagine associati ad oggetti appartenenti a predeterminate classi di oggetti di interesse; Figure 2 shows a photographic image of a first time sequence of images, comprising image pixels associated with objects belonging to predetermined classes of objects of interest;

figura 3 mostra una immagine fotografica di una seconda sequenza temporale di immagini; Figure 3 shows a photographic image of a second time sequence of images;

figura 4 mostra una immagine fotografica di una sequenza temporale di immagini, comprendente pixel dell?immagine associati ad oggetti appartenenti ad una predeterminata classe di oggetti di interesse, in questo caso l?immagine viene catalogata come scura e viene pertanto scartata ai fini della generazione di un video time-lapse; figure 4 shows a photographic image of a time-lapse sequence of images, including image pixels associated with objects belonging to a predetermined class of objects of interest, in this case the image is classified as dark and is therefore discarded for the purposes of generating a time-lapse video;

figura 5 mostra una versione dell?immagine fotografica in figura 4, in questo caso il valore di luminosit? dei corrispondenti pixel associati agli oggetti di interesse viene ritenuto sufficientemente alto ai fini della generazione di un video time-lapse; Figure 5 shows a version of the photographic image in Figure 4, in this case the brightness value of the corresponding pixels associated with the objects of interest is considered sufficiently high for the purposes of generating a time-lapse video;

figura 6 mostra un ulteriore immagine fotografica di una sequenza temporale di immagini, comprendente pixel dell?immagine associati ad oggetti appartenenti a predeterminate classe di oggetti di interesse; Figure 6 shows an additional photographic image of a time sequence of images, comprising image pixels associated with objects belonging to predetermined object classes of interest;

figura 7 mostra un diagramma a blocchi di un dispositivo per la generazione di un video time-lapse, secondo una forma di realizzazione oggetto della presente invenzione. Figure 7 shows a block diagram of a device for generating a time-lapse video, according to an embodiment of the present invention.

Descrizione dettagliata dell?invenzione Detailed description of the invention

Nelle varie figure le parti simili verranno indicate con gli stessi riferimenti numerici. In the various figures, similar parts will be indicated with the same numerical references.

Facendo riferimento alla figura 1, viene mostrato un diagramma a blocchi di un metodo 100 implementato al computer, ad esempio da una unit? di elaborazione 10, per la generazione di un video time-lapse per il monitoraggio di eventi che si protraggono a lungo nel tempo come ad esempio l?avanzamento dei lavori in un cantiere/luogo di interesse. Referring to Figure 1, a block diagram is shown of a computer-implemented method 100, e.g. by a processing unit 10, for generating a time-lapse video for monitoring long-term events such as the progress of work at a construction site/place of interest.

Il video time-lapse ? un video ripreso al rallentatore che pu? essere definito come una serie di immagini o fotogrammi catturati in un periodo di tempo ad una frequenza di cattura inferiore rispetto a quella di riproduzione. Ciascuna di dette immagini o fotogrammi pu? comprendere uno sviluppo storico dell?immagine precedente della stessa sequenza temporale di immagini. Time-lapse video is a slow motion video that can be defined as a series of images or frames captured over a period of time at a capture rate lower than the playback rate. Each of these images or frames can include a timeline of the previous image in the same timeline of images.

Come mostrato in figura 1, il metodo 100 comprende una fase di ottenimento 110 di una sequenza temporale di immagini. Le immagini ottenute possono essere delle immagini fotografiche a colori oppure in scala di grigi. Tali immagini possono essere acquisite direttamente da un un?unit? di acquisizione immagini 16 di un dispositivo 1, quale ad esempio una fotocamera digitale, oppure da una memoria 12 del dispositivo 1 stesso. As shown in figure 1, the method 100 comprises a step 110 of obtaining a temporal sequence of images. The images obtained can be photographic images in color or in grayscale. Such images can be acquired directly from an image acquisition unit 16 of a device 1, such as for example a digital camera, or from a memory 12 of the device 1 itself.

Ad esempio, le immagini acquisite possono comprendere una serie di fotogrammi di un intervallo di tempo trascorso estratte da un video time-lapse precedentemente generato, come ad esempio un video time-lapse generato in modo automatico, mensilmente, da un dispositivo 1 per cui ? attiva l?opzione relativa. For example, the captured images may include a series of frames from an elapsed time interval extracted from a previously generated time-lapse video, such as a time-lapse video automatically generated, on a monthly basis, by a device 1 for which the relevant option is enabled.

In una variante, le immagini possono essere acquisite da una unit? di memorizzazione/archiviazione disposta esternamente al dispositivo 1 stesso, ad esempio da un terminale o server accoppiato all?unit? di elaborazione 10, quale ad esempio un server di archiviazione cloud. In one variant, the images may be acquired from a storage/archiving unit arranged externally to the device 1 itself, for example from a terminal or server coupled to the processing unit 10, such as for example a cloud storage server.

Metadati associati alle immagini possono essere memorizzati sulla stessa unit? di memorizzazione/archiviazione oppure su un database dedicato, come ad esempio su un database MySQL<TM >di un server accoppiato all?unit? di elaborazione 10. In questo caso, le immagini possono essere ottenute eseguendo comandi SQL (?Structured Query Language? ? linguaggio di interrogazione strutturato) dedicati, che restituiscono immagini del mese trascorso dall?unit? di memorizzazione/archiviazione. Metadata associated with the images may be stored on the storage unit itself or in a dedicated database, such as a MySQL<TM >database on a server coupled to the processing unit 10. In this case, the images may be obtained by executing dedicated SQL (Structured Query Language) commands, which return images from the past month from the storage unit.

Una o pi? immagini della una sequenza temporale di immagini ottenute possono essere suddivise in una pluralit? di sotto-immagini ai fini dell?elaborazione nelle fasi successive di rilevamento 120 e selezione 130 che verranno descritte in seguito. In questo modo, l?immagine viene divisa in N immagini di dimensione inferiore, per garantire che non venga perso nessun dettaglio. One or more images from a time sequence of obtained images may be divided into a plurality of sub-images for processing in the subsequent detection 120 and selection 130 steps to be described later. In this way, the image is divided into N images of smaller size, to ensure that no detail is lost.

La fase di suddivisione dell?immagine pu? prevedere inoltre la creazione di sotto-immagini non uniformi, in cui predeterminate aree di interesse sono inserite in sotto-immagini di una prima dimensione, e le rimanenti aree sono inserite in sotto-immagini di una seconda dimensione, maggiore di detta prima dimensione. Le sotto-immagini cos? generate possono essere ridimensionate ad una dimensione predefinita. The image subdivision phase may also include the creation of non-uniform sub-images, in which predetermined areas of interest are inserted into sub-images of a first dimension, and the remaining areas are inserted into sub-images of a second dimension, larger than said first dimension. The sub-images thus generated may be resized to a predefined size.

Il metodo 100 comprende inoltre una fase di rilevamento 120 dei pixel dell?immagine associati ad uno o pi? oggetti 211, 212, 213, 214, 244, 255, 256, 257 appartenenti a predeterminate classi di oggetti di interesse, per ciascuna immagine di detta sequenza temporale di immagini. The method 100 further comprises a detection step 120 of the image pixels associated with one or more objects 211, 212, 213, 214, 244, 255, 256, 257 belonging to predetermined classes of objects of interest, for each image of said temporal sequence of images.

La fase di rilevamento 120 pu? essere eseguita mediante un algoritmo di riconoscimento immagini. L?algoritmo permette di filtrare i fotogrammi che compongono il video time-lapse acquisito oppure la sequenza temporale di immagini in base ai rilevamenti effettuati mediante una rete neurale convoluzionale (CNN). La rete neurale ? in grado di rilevare diverse classi di oggetti di interesse per determinare l?avanzamento dei lavori, come ad esempio persone, veicoli, piattaforme aeree, scavatori etc. The detection phase 120 can be performed using an image recognition algorithm. The algorithm allows filtering the frames that make up the acquired time-lapse video or the time sequence of images based on the detections made using a convolutional neural network (CNN). The neural network is able to detect different classes of objects of interest to determine the progress of the work, such as people, vehicles, aerial platforms, excavators, etc.

Le predeterminate classi di oggetti di interesse possono comprendere volti di persone 244, 245, 256, 257; dispositivi di protezione 255 collettivi o individuali, come ad esempio elmetti da lavoro, occhiali protettivi, cuffie antirumore, imbracature di sicurezza; uno o pi? classi di veicoli 211-214 come ad esempio veicoli a motore, autoveicoli, macchine agricole, macchine operatrici, piattaforme aeree e/o di sollevamento autocarrate/cigolate, filoveicoli, e/o motoveicoli; oppure targhe di veicoli. Le predeterminate classi di oggetti di interesse possono comprendere anche una combinazione delle classi di oggetti di interesse precedentemente descritta ma ? tuttavia ben evidente come la presente descrizione non debba essere considerata limitata soltanto a queste classi di oggetti. The predetermined classes of objects of interest may include people's faces 244, 245, 256, 257; collective or individual protective devices 255, such as work helmets, protective glasses, ear defenders, safety harnesses; one or more classes of vehicles 211-214 such as motor vehicles, cars, agricultural machinery, operating machinery, truck-mounted/crawler-mounted aerial and/or lifting platforms, trolleybuses, and/or motorcycles; or vehicle license plates. The predetermined classes of objects of interest may also include a combination of the previously described classes of objects of interest, but it is nevertheless clear that the present description should not be considered limited only to these classes of objects.

La fase di rilevamento 120 pu? comprendere una fase di estrazione di una pluralit? di caratteristiche di detta immagine associate a detti pixel utilizzando una CNN che ? stata addestrata a determinare dette caratteristiche e una successiva fase di classificazione, in base a dette pluralit? di caratteristiche estratte. La fase di classificazione permette di identificare se detti uno o pi? oggetti 211, 212, 213, 214, 244, 255, 256, 257 appartengono a predeterminate classi di oggetti di interesse. The detection phase 120 may comprise a phase of extracting a plurality of features of said image associated with said pixels using a CNN that has been trained to determine said features and a subsequent classification phase, based on said plurality of extracted features. The classification phase allows to identify whether said one or more objects 211, 212, 213, 214, 244, 255, 256, 257 belong to predetermined classes of objects of interest.

Ad esempio la fase di rilevamento 120, pu? basarsi sull?utilizzo della rete neurale YOLOv4?, che rappresenta un sistema di rilevamento di oggetti in tempo reale, che ? possibile addestrare periodicamente con migliaia di annotazioni su immagini prese direttamente dai luoghi/cantieri ripresi da dispositivi di acquisizione dedicati, come ad esempio delle fotocamere digitali. For example, the detection phase 120 can be based on the use of the YOLOv4? neural network, which represents a real-time object detection system, which can be periodically trained with thousands of annotations on images taken directly from the places/construction sites captured by dedicated acquisition devices, such as digital cameras.

La fase di rilevamento 120 dei pixel pu? inoltre comprendere una fase di calcolo di un punteggio di probabilit? che detti pixel sono associati a detti uno o pi? oggetti 211, 212, 213, 214, 244, 255, 256, 257; una fase di confronto in cui il punteggio di probabilit? calcolato viene confrontato con un valore di probabilit? di soglia predeterminato; e una fase di in cui viene determinato che detti pixel sono associati a detti uno o pi? oggetti se il punteggio di probabilit? calcolato raggiunge il valore di probabilit? di soglia. The pixel detection step 120 may further comprise a step of calculating a probability score that said pixels are associated with said one or more objects 211, 212, 213, 214, 244, 255, 256, 257; a comparison step wherein the calculated probability score is compared to a predetermined threshold probability value; and a step wherein it is determined that said pixels are associated with said one or more objects if the calculated probability score reaches the threshold probability value.

In tal modo, per rilevamenti di oggetti di interesse la cui precisione supera una certa soglia di affidabilit?, le immagini associate vengono considerate per la successiva fase di selezione 130 e generazione 140 del video time-lapse. In this way, for detections of objects of interest whose precision exceeds a certain reliability threshold, the associated images are considered for the subsequent selection phase 130 and generation 140 of the time-lapse video.

Facendo nuovamente riferimento alla Figura 1, il metodo 100 comprende inoltre una fase di selezione 130 di una pluralit? di immagini di detta sequenza temporale di immagini, in cui detta pluralit? di immagini comprende detti pixel. Referring again to Figure 1, the method 100 further comprises a step 130 of selecting a plurality of images from said time sequence of images, wherein said plurality of images comprises said pixels.

La fase di selezione 130 di una pluralit? di immagini pu? comprendere una fase di conteggio del numero di detti uno o pi? oggetti 211, 212, 213, 214, 244, 255, 256, 257 presenti in una immagine della sequenza temporale di immagini; una successiva fase di confronto del numero degli oggetti conteggiati con un valore di soglia predeterminato; e una fase di selezione 131 dell?immagine se detto numero di oggetti raggiunge detto valore di soglia. The step 130 of selecting a plurality of images may comprise a step of counting the number of said one or more objects 211, 212, 213, 214, 244, 255, 256, 257 present in an image of the temporal sequence of images; a subsequent step of comparing the number of counted objects with a predetermined threshold value; and a step 131 of selecting the image if said number of objects reaches said threshold value.

Le fasi descritte possono essere ripetute per ciascuna immagine di detta sequenza temporale di immagini in modo da selezionare una pluralit? di immagini per cui ? stato rilevato un sufficiente numero di oggetti di interesse. Pertanto, nel processo di creazione del video time-lapse descritto, vengono scartate e/o filtrate le immagini che non contengono un sufficiente numero di oggetti di interesse. The described steps can be repeated for each image of said time sequence of images in order to select a plurality of images for which a sufficient number of objects of interest have been detected. Therefore, in the process of creating the described time-lapse video, images that do not contain a sufficient number of objects of interest are discarded and/or filtered.

Ad esempio facendo riferimento alla figura 2, la fase di rilevamento 120 consente di determinare mediante un algoritmo di riconoscimento immagini nella immagine fotografica 21, i pixel dell?immagine associati ad oggetti appartenenti a una o pi? predeterminate classi di oggetti di interesse, che in questo caso comprendono tre autoveicoli 211, 212, 213 e una macchina operatrice 214. Pertanto si presuppone che nell?immagine fotografica 21 ci sia abbastanza attivit?, per cui potr? essere selezionata ai fini della generazione di un time-lapse. For example, referring to figure 2, the detection phase 120 allows to determine, through an image recognition algorithm in the photographic image 21, the pixels of the image associated with objects belonging to one or more predetermined classes of objects of interest, which in this case include three motor vehicles 211, 212, 213 and a working machine 214. Therefore, it is assumed that in the photographic image 21 there is enough activity, so that it can be selected for the purposes of generating a time-lapse.

Al contrario, per l?immagine fotografica 22 in figura 3, la fase di rilevamento 120 non rileva oggetti appartenenti a una o pi? predeterminate classi di oggetti di interesse. Si presuppone che in questa immagine fotografica 22 non ci sia abbastanza attivit?, per cui non sar? selezionata per il processo di composizione del video time-lapse. In contrast, for photographic image 22 in Figure 3, the detection step 120 does not detect objects belonging to one or more predetermined object classes of interest. It is assumed that there is not enough activity in this photographic image 22, so it will not be selected for the time-lapse video composition process.

La fase di selezione 130 dell?immagine pu? comprendere in aggiunta o in alternativa una fase di rilevamento 132 della luminosit? per riconoscere e scartare le foto troppo buie. A tal fine, la fase di selezione 130 di una pluralit? di immagini pu? comprendere una fase di determinazione, per ciascuno degli oggetti 211, 212, 213, 214, 244, 255, 256, 257 di interesse rilevati nell?immagine, di un valore di luminosit? dei corrispondenti pixel associati all?oggetto; una fase di confronto del valore di luminosit? ottenuto con un valore di luminosit? di soglia prestabilito; e una fase di selezione 132 dell?immagine se detto valore di luminosit? ottenuto raggiunge il valore di luminosit? di soglia prestabilito. The image selection step 130 may additionally or alternatively comprise a brightness detection step 132 to recognize and discard photos that are too dark. To this end, the image selection step 130 may comprise a step of determining, for each of the objects 211, 212, 213, 214, 244, 255, 256, 257 of interest detected in the image, a brightness value of the corresponding pixels associated with the object; a step of comparing the brightness value obtained with a predetermined threshold brightness value; and a step of selecting the image 132 if said brightness value obtained reaches the predetermined threshold brightness value.

Tale valore di luminosit? dei corrispondenti pixel associati all?oggetto pu? essere determinato come somma ponderata dei componenti RGB con correzione gamma dell?immagine, come mostrato ad esempio nella seguente formula: This brightness value of the corresponding pixels associated with the object can be determined as a weighted sum of the gamma-corrected RGB components of the image, as shown for example in the following formula:

Y? = 0,2126R? 0,7152G? 0,0722B? Y? = 0.2126R? 0.7152G? 0.0722B?

dove il primo simbolo ? denota la compressione gamma. where the first symbol ? denotes gamma compression.

Tale valore di luminosit? dei corrispondenti pixel viene poi confrontato con un valore di luminosit? di soglia prestabilito. Le immagini dove il valore di luminosit? dei pixel non supera valore di luminosit? di soglia preimpostata vengono automaticamente scartate. This brightness value of the corresponding pixels is then compared to a preset threshold brightness value. Images where the brightness value of the pixels does not exceed the preset threshold brightness value are automatically discarded.

Effettuando una selezione basata sul livello di luminosit? ? possibile comporre/generare un video-time lapse che mantenga colori fluidi e una tonalit? accesa per la durata dello stesso. Tale selezione pu? essere effettuata mediante l?algoritmo di riconoscimento immagini precedentemente descritto addestrando lo stesso a riconoscere ogni oggetto in due versioni: in condizioni di bassa luminosit? (low-light) e di luminosit? normale (normal-light). Ad esempio, se si verifica un riconoscimento di una quantit? di oggetti low-light che raggiunge un valore di soglia prestabilito, l?immagine pu? essere catalogata come immagine buia e essere scartata ai fini della generazione/composizione del video time-lapse. By making a selection based on the brightness level, it is possible to compose/generate a time-lapse video that maintains smooth colors and a bright tone for the duration of the video. This selection can be made using the image recognition algorithm described above, training it to recognize each object in two versions: in low-light conditions and in normal-light conditions. For example, if a recognition of a quantity of low-light objects reaches a pre-established threshold value, the image can be classified as a dark image and discarded for the purposes of generating/composing the time-lapse video.

Facendo riferimento alla figura 4 viene mostrata un?immagine fotografica 23 di una sequenza temporale di immagini, comprendente pixel dell?immagine associati a volti di persone 244, 245. In questo esempio, l?immagine viene catalogata come scura e viene pertanto scartata ai fini della generazione di un video timelapse. Referring to Figure 4, a photographic image 23 of a time-lapse sequence of images is shown, comprising image pixels associated with human faces 244, 245. In this example, the image is categorized as dark and is therefore discarded for the purposes of generating a timelapse video.

Al contrario, in figura 5 viene mostrata una versione dell?immagine fotografica 23 in cui il valore di luminosit? dei corrispondenti pixel associati agli oggetti di interesse ? ritenuto sufficiente ai fini della generazione di un video time-lapse. Pertanto, in questo esempio, l?immagine 24 pu? essere considerata in fase di selezione 130. In contrast, Figure 5 shows a version of photographic image 23 in which the brightness value of the corresponding pixels associated with the objects of interest is considered sufficient for the purpose of generating a time-lapse video. Therefore, in this example, image 24 can be considered to be in the selection phase 130.

Facendo ancora riferimento alla figura 1, la fase di selezione 130 dell?immagine pu? comprendere in aggiunta o in alternativa una fase di rilevamento 133 del movimento. Attraverso la fase di rilevamento 133 del movimento, viene rilevato il movimento degli oggetti nel flusso delle immagini, in modo da poter classificare un rilevamento come interessante o meno ai fini della valutazione della produttivit? dei lavori in corso. Referring again to figure 1, the image selection phase 130 may additionally or alternatively comprise a motion detection phase 133. Through the motion detection phase 133, the movement of objects in the image flow is detected, so that a detection can be classified as interesting or not for the purpose of evaluating the productivity of the work in progress.

Mediante la fase di rilevamento 133 del movimento, le immagini vengono quindi catalogate "in movimento" se vengono rilevate persone nell?immagine fotografica, oppure se vengono rilevati molti veicoli in posizioni differenti rispetto alla foto precedente. Using the motion detection phase 133, images are then classified as "moving" if people are detected in the photographic image, or if many vehicles are detected in different positions than in the previous photo.

Ad esempio la fase di selezione 130 di una pluralit? di immagini pu? comprendere una fase di elaborazione della sequenza temporale di immagini per generare un output di rilevamento del movimento per detti uno o pi? oggetti 211, 212, 213, 214, 244, 255, 256, 257; e una fase di selezione 133 della pluralit? di immagini in cui detti uno o pi? oggetti 211, 212, 213, 214, 244, 255, 256, 257 sono rilevati in movimento. For example, the step 130 of selecting a plurality of images may include a step of processing the time sequence of images to generate a motion detection output for said one or more objects 211, 212, 213, 214, 244, 255, 256, 257; and a step 133 of selecting the plurality of images wherein said one or more objects 211, 212, 213, 214, 244, 255, 256, 257 are detected to be in motion.

Facendo riferimento alla figura 6 viene mostrata un ulteriore immagine fotografica 25 di una sequenza temporale di immagini, comprendente pixel dell?immagine associati a volti di persone 256, 257. In questo esempio, l?immagine 25 viene catalogata "in movimento" ai fini della generazione del video time-lapse. Referring to Figure 6, an additional photographic image 25 of a time-lapse sequence of images is shown, comprising image pixels associated with people's faces 256, 257. In this example, image 25 is categorized as "in motion" for the purposes of generating the time-lapse video.

Mediante la fase di rilevamento 133 del movimento, ? possibile generare un video time-lapse senza momenti privi di evoluzioni nella struttura o dell?avanzamento dei lavori in un cantiere/luogo di interesse, si ottiene pertanto un migliore risultato visivo per l'utente e una maggiore dinamicit? nel video time-lapse generato. By means of the 133 motion detection phase, it is possible to generate a time-lapse video without moments of no evolution in the structure or progress of the works in a construction site/place of interest, thus obtaining a better visual result for the user and greater dynamism in the generated time-lapse video.

La fase di selezione 130 di una pluralit? di immagini pu? inoltre comprendere una fase di miglioramento delle immagini selezionate attraverso, ad esempio, un filtro del rumore, la regolazione dei parametri di luminosit?, nitidezza, saturazione, contrasto e correzione del colore, ecc. Ci? permette di migliorare la qualit? delle immagini che comporranno il video time-lapse. The phase 130 of selecting a plurality of images may further comprise a phase of improving the selected images through, for example, a noise filter, the adjustment of the parameters of brightness, sharpness, saturation, contrast and color correction, etc. This allows to improve the quality of the images that will make up the time-lapse video.

La fase di selezione 130 di una pluralit? di immagini pu? inoltre comprendere una fase di identificazione mediante un algoritmo di riconoscimento immagini, dei pixel di ciascuna immagine selezionata associati a predeterminati elementi di riconoscimento, in particolare persone, volti, caschetti, autoveicoli e/o targhe; e una fase di offuscamento mediante un algoritmo di offuscamento dei pixel identificati nella fase di identificazione, lasciando invariati i restanti pixel, come riportato nel documento WO 2022/219655. In tal modo possono essere rilevate e corrette eventuali ?anomalie?, per generare/comporre un video time-lapse che sia in conformit? alla normativa vigente per la tutela della privacy. The selection phase 130 of a plurality of images may also comprise an identification phase using an image recognition algorithm, of the pixels of each selected image associated with predetermined recognition elements, in particular people, faces, helmets, motor vehicles and/or license plates; and a blurring phase using an algorithm for blurring the pixels identified in the identification phase, leaving the remaining pixels unchanged, as reported in document WO 2022/219655. In this way, any "anomalies" can be detected and corrected, to generate/compose a time-lapse video that complies with current legislation for the protection of privacy.

Il metodo 100 prosegue con la fase di generazione/composizione 140 del video time-lapse sulla base della pluralit? di immagini selezionate nella fase 130 del metodo. Method 100 continues with the time-lapse video generation/composition step 140 based on the plurality of images selected in method step 130.

Il metodo 100 pu? inoltre comprendere una fase di personalizzazione 150 del video time-lapse per finalizzare il video generato. Ad esempio, in questa fase possono essere applicati elementi aggiuntivi, quali ad esempio un watermark personalizzato, un titolo iniziale, uno o pi? overlay etc; oppure delle modifiche alla velocit? di riproduzione o al video time-lapse stesso, con la possibilit? di personalizzare il carattere, il colore, o altre caratteristiche del testo in overlay e/o dello sfondo. Method 100 may also include a customization step 150 of the time-lapse video to finalize the generated video. For example, in this step additional elements may be applied, such as a customized watermark, an initial title, one or more overlays, etc.; or changes to the playback speed or to the time-lapse video itself, with the possibility of customizing the font, color, or other characteristics of the overlay text and/or background.

Il video time-lapse generato oppure personalizzato pu? essere memorizzato in una memoria 12 del dispositivo 1 oppure pu? essere trasmesso 160 ad un server comunicativamente accoppiato al dispositivo 1, cancellando la sequenza temporale di immagini ottenute nella fase 110 del metodo 100, riducendo pertanto lo spazio di archiviazione utilizzato dalle immagini o dal precedente video time-lapse. The generated or customized time-lapse video may be stored in a memory 12 of the device 1 or may be transmitted 160 to a server communicatively coupled to the device 1, erasing the time sequence of images obtained in step 110 of the method 100, thereby reducing the storage space used by the images or the previous time-lapse video.

Facendo riferimento alla figura 7, viene mostrato un diagramma a blocchi di un dispositivo 1 per la generazione di un video time-lapse. Referring to Figure 7, a block diagram of a device 1 for generating a time-lapse video is shown.

Il dispositivo 1 per la generazione di un video time-lapse comprende una unit? di elaborazione 10 configurata per ottenere una sequenza temporale di immagini e processarle mediante il metodo descritto con riferimento alla figura 1 e un?unit? di acquisizione immagini 16. The device 1 for generating a time-lapse video comprises a processing unit 10 configured to obtain a time sequence of images and process them using the method described with reference to figure 1 and an image acquisition unit 16.

L?unit? di acquisizione immagini 16 ? comunicativamente accoppiata all?unit? di elaborazione 10 e consente di acquisire la sequenza temporale di immagini in modo cadenzato, periodico, oppure aperiodico. The image acquisition unit 16 is communicatively coupled to the processing unit 10 and allows the time sequence of images to be acquired in a timed, periodic, or aperiodic manner.

Il dispositivo 1 pu? comprendere inoltre mezzi di memorizzazione 12, collegati a detta unit? di elaborazione 10, per memorizzare il video time-lapse generato e/o mezzi di trasmissione dati 14, collegati all?unit? di elaborazione 10, per inviare il video time-lapse generato verso un server esterno. The device 1 may further comprise storage means 12, connected to said processing unit 10, for storing the generated time-lapse video and/or data transmission means 14, connected to the processing unit 10, for sending the generated time-lapse video to an external server.

L?unit? di elaborazione 10 del dispositivo 1 pu? includere uno o pi? componenti di elaborazione (denominati "processori" o "unit? di elaborazione centrali" (CPU)) configurati per eseguire istruzioni relative a uno o pi? processi, passaggi o fasi in relazione al metodo descritto. Tali istruzioni possono essere memorizzate su un prodotto informatico. L'unit? di elaborazione 10 pu? includere anche altri componenti ausiliari, come la memoria ad accesso casuale (RAM) e la memoria di sola lettura (ROM). The processing unit 10 of the device 1 may include one or more processing components (referred to as "processors" or "central processing units" (CPUs)) configured to execute instructions relating to one or more processes, steps or phases in relation to the method described. Such instructions may be stored on a computing product. The processing unit 10 may also include other auxiliary components, such as random access memory (RAM) and read-only memory (ROM).

Vantaggiosamente, mediante il metodo, oggetto dell?invenzione, ? possibile generare/comporre dei video time-lapse automatici filtrando le immagini o fotogrammi "migliori" attraverso l?utilizzo di una rete neurale convoluzionale. Advantageously, using the method, object of the invention, it is possible to generate/compose automatic time-lapse videos by filtering the "best" images or frames through the use of a convolutional neural network.

Un secondo vantaggio ? dato dal fatto che detto metodo permette la generazione/composizione di un video time-lapse pi? compatto e qualitativamente (e visibilmente) migliore mediante il riconoscimento di oggetti di interesse. In tal modo si permette di ridurre lo spazio di archiviazione utilizzato dal dispositivo. A second advantage is that this method allows the generation/composition of a more compact and qualitatively (and visibly) better time-lapse video by recognizing objects of interest. In this way, it allows to reduce the storage space used by the device.

Un ulteriore vantaggio ? dato dal fatto che il video time-lapse cos? generato risulta maggiormente dinamico e rappresenta una documentazione storica pi? effettiva, e compatta, di eventi che si protraggono nel tempo. An additional advantage is that the time-lapse video thus generated is more dynamic and represents a more effective and compact historical documentation of events that extend over time.

La presente invenzione ? stata descritta a titolo illustrativo, ma non limitativo, secondo le sue forme preferite di realizzazione, ma ? da intendersi che variazioni e/o modifiche potranno essere apportate dagli esperti del ramo senza per questo uscire dal relativo ambito di protezione, come definito dalle rivendicazioni allegate. The present invention has been described for illustrative but not limitative purposes, according to its preferred embodiments, but it is to be understood that variations and/or modifications may be made by those skilled in the art without departing from the relative scope of protection, as defined by the attached claims.

Claims

1. Computer-implemented method (100) for generating a time-lapse video, comprising the following steps:

obtain (110) a time sequence of images;

detect (120) for each image of said temporal sequence of images and by means of an image recognition algorithm the pixels of the image associated with one or more objects (211, 212, 213, 214, 244, 255, 256, 257) belonging to predetermined classes of objects of interest;

selecting (130) a plurality of images of said time sequence of images, wherein said plurality of images comprises said pixels; and

generate (140) said time-lapse video based on said pluralities of images.

2. The method of claim 1, wherein detecting (120) for each image of said time sequence of images the image pixels associated with said one or more objects (211, 212, 213, 214, 244, 255, 256, 257) comprises:

extract a plurality of features of said image associated with said pixels using a convolutional neural network, CNN, which has been trained to determine said features;

classify whether said one or more objects (211, 212, 213, 214, 244, 255, 256, 257) belong to said predetermined classes of objects of interest based on said pluralities of characteristics.

3. A method according to any preceding claim, comprising storing and/or transmitting (160) to a server said generated time-lapse video, erasing said time sequence of images.

4. A method according to any of the preceding claims, characterised in that said predetermined classes of objects of interest comprise at least one of:

faces of people (244, 245, 256, 257);

protective devices (255);

one or more vehicle classes (211, 212, 213, 214); and vehicle registration plates.

5. A method according to any of the preceding claims, wherein said pixel detection step (120) comprises:

calculate a probability score that said pixels are associated with said one or more objects (211, 212, 213, 214, 244, 255, 256, 257);

compare said probability score with a predetermined threshold probability value; and

determine that said pixels are associated with said one or more objects if said probability score reaches said threshold probability value.

6. A method according to any of the preceding claims, wherein said step of selecting (130) a plurality of images comprises:

(a) counting the number of said one or more objects (211, 212, 213, 214, 244, 255, 256, 257) determined in an image of said temporal sequence of images;

(b) comparing said number of said one or more objects with a predetermined threshold value; and (c) selecting (131) the image if said number of objects reaches said threshold value.

7. A method according to the preceding claim, comprising repeating steps (a)-(c) for each image of said time sequence of images.

8. A method according to any of the preceding claims, wherein said step of selecting (130) a plurality of images comprises:

determine for each of said one or more objects (211, 212, 213, 214, 244, 255, 256, 257) of said image a brightness value of the corresponding pixels associated with said object;

compare said brightness value with a predetermined threshold brightness value;

select (132) the image if said brightness value reaches said threshold brightness value.

9. A method according to any preceding claim comprising dividing at least one image of said temporal sequence of photographic images into a plurality of sub-images; and

resize each sub-image to a predefined size;

where each sub-image is processed independently in said subsequent detection and selection phases.

10. A method according to the preceding claim, characterized in that in said subdivision phase the image is divided into non-uniform sub-images, in which predetermined areas of interest are inserted into sub-images of a first dimension, and the remaining areas are inserted into sub-images of a second dimension, larger than said first dimension.

11. A method according to any preceding claim, wherein selecting (130) a plurality of images comprises:

processing said time sequence of images to generate a motion detection output for said one or more objects (211, 212, 213, 214, 244, 255, 256, 257); and

select (133) said plurality of images in which said one or more objects (211, 212, 213, 214, 244, 255, 256, 257) are detected in motion.

12. Processing unit (10) for generating a time-lapse video configured to obtain a time sequence of images and process them by a method according to any of the preceding claims.

13. Device (1) for generating a time-lapse video comprising

a processing unit (10) according to claim 12; and

an image acquisition unit (16) for acquiring said time sequence of images, said image acquisition unit being communicatively coupled to said processing unit (10).

14. Device (1) according to the preceding claim comprising:

storage means (12), connected to said processing unit (10), for storing the generated time-lapse video and/or

data transmission means (14), connected to said processing unit (10), to send the generated timelapse video to an external server.

15. A computer product comprising instructions which when executed by a computer, result in the performance of the method according to any of claims 1-11.