ITTO20080682A1

ITTO20080682A1 - METHOD TO STORE AND REPRODUCE ONE OR MORE IMAGES OF A VIDEO SEQUENCE ON A MOBILE TYPE DEVICE AND ITS DEVICE

Info

Publication number: ITTO20080682A1
Application number: IT000682A
Authority: IT
Inventors: Saverio Cancellara; Gian Franco Grinzato; Giuseppe Maldarizzi; Alessandro Mancin
Original assignee: Webon4 S R L
Priority date: 2008-09-17
Filing date: 2008-09-17
Publication date: 2010-03-18

Description

DESCRIZIONE dell’Invenzione Industriale avente per titolo: DESCRIPTION of the Industrial Invention entitled:

"METODO PER MEMORIZZARE E RIPRODURRE UNA O PIÙ IMMAGINI DI UNA SEQUENZA VIDEO SU UN DISPOSITIVO DI TIPO MOBILE E RELATIVO DISPOSITIVO” "METHOD FOR STORING AND PLAYING BACK ONE OR MORE IMAGES OF A VIDEO SEQUENCE ON A MOBILE TYPE DEVICE AND ITS DEVICE"

DESCRIZIONE DESCRIPTION

La presente invenzione si colloca nell’ambito dei sistemi di memorizzazione dell’informazione su un dispositivo mobile e, più in particolare, si riferisce ad un metodo per memorizzare un’immagine o una sequenza di immagini su un dispositivo mobile, in particolare un telefono cellulare, un palmare e così via. The present invention is located in the field of information storage systems on a mobile device and, more particularly, it refers to a method for storing an image or a sequence of images on a mobile device, in particular a mobile phone , a handheld, and so on.

E’ noto che i dispositivi di tipo mobile di ultima generazione, in particolare i telefoni cellulari o i palmari, consentono di memorizzare un’immagine scattata attraverso una telecamera incorporata nel dispositivo mobile o addirittura di registrare brevi filmati, per poi riprodurli sul dispositivo stesso tramite uno schermo ad esso associato. It is known that the latest generation mobile devices, in particular mobile phones or PDAs, allow you to store an image taken through a camera incorporated in the mobile device or even to record short films, and then reproduce them on the device itself through a associated screen.

Sono inoltre noti nell’arte sistemi di videosorveglianza remota che generalmente comprendono una telecamera installata in un luogo che l’utente ha interesse a sorvegliare in remoto. Tali sistemi di videosorveglianza possono essere interrogati a distanza tramite il dispositivo mobile e possono fornire immagini memorizzate in precedenza nella telecamera oppure uno “streaming live” ossia una ripresa diretta di ciò che sta accadendo in quel preciso momento. Uno streaming è quindi costituito da una sequenza di immagini. Remote video surveillance systems are also known in the art which generally include a camera installed in a place that the user has an interest in remotely monitoring. These video surveillance systems can be interrogated remotely via the mobile device and can provide images previously stored in the camera or a "live streaming" that is a direct recording of what is happening at that precise moment. A stream is therefore made up of a sequence of images.

Può essere utile per l’utente memorizzare sul proprio dispositivo mobile tali immagini o sequenze di immagini per vari scopi, ad esempio come evidenza di un determinato fatto occorso in assenza dell’utente del sistema di videosorveglianza oppure per poterle rivedere in modalità differita sul dispositivo mobile. It may be useful for the user to store such images or image sequences on their mobile device for various purposes, for example as evidence of a certain fact that occurred in the absence of the user of the video surveillance system or to be able to review them in deferred mode on the mobile device. .

Come è noto, la stragrande maggioranza dei dispositivi mobili oggi presenti sul mercato utilizza la piattaforma Java 2 Micro Edition, o J2ME. J2ME è un runtime e una collezione di API (Application Program Interface) per lo sviluppo di software dedicato a dispositivi a risorse limitate come PDA (Personal Digital Assistant), telefoni cellulari e simili. As is known, the vast majority of mobile devices on the market today use the Java 2 Micro Edition, or J2ME, platform. J2ME is a runtime and API (Application Program Interface) collection for developing software dedicated to resource-limited devices such as Personal Digital Assistants (PDAs), mobile phones and the like.

J2ME è la tecnologia più diffusa per lo sviluppo di giochi e utilities per i cellulari. Come le altre edizioni di Java, J2ME è una piattaforma portabile. Il suo funzionamento può essere emulato con un personal computer, cosa che semplifica l'attività di sviluppo e di collaudo. J2ME is the most popular technology for developing games and utilities for mobile phones. Like other editions of Java, J2ME is a portable platform. Its operation can be emulated with a personal computer, which simplifies the development and testing activities.

E’ altrettanto noto che la piattaforma J2ME non gestisce direttamente il file system, ossia lo spazio messo a disposizione di un dispositivo mobile per creare, memorizzare e gestire i files, dal momento che ogni dispositivo gestisce in modo indipendente ed univoco il proprio file system. Non è quindi possibile sviluppare un’applicazione univoca per ogni tipologia di dispositivo mobile. In taluni casi, addirittura, il file system del dispositivo mobile non è accessibile all’utente del dispositivo stesso. It is also known that the J2ME platform does not directly manage the file system, that is the space made available to a mobile device to create, store and manage files, since each device independently and uniquely manages its own file system. It is therefore not possible to develop a unique application for each type of mobile device. In some cases, even the file system of the mobile device is not accessible to the user of the device itself.

Scopo principale della presente invenzione è pertanto quello di indicare un metodo per memorizzare e riprodurre una o più immagini di una sequenza video su un dispositivo di tipo mobile che sia utilizzabile da tutti i tipi di dispositivi di tipo mobile che utilizzano la piattaforma J2ME o equivalenti. The main purpose of the present invention is therefore to indicate a method for storing and reproducing one or more images of a video sequence on a mobile device that can be used by all types of mobile devices that use the J2ME platform or equivalent.

Un ulteriore scopo della presente invenzione è quello di indicare un metodo per memorizzare e riprodurre una o più immagini di una sequenza video su un dispositivo di tipo mobile indipendentemente da come è implementata sul dispositivo mobile la struttura del file system. A further object of the present invention is to indicate a method for storing and reproducing one or more images of a video sequence on a mobile device regardless of how the structure of the file system is implemented on the mobile device.

Un ulteriore scopo della presente invenzione è quello di indicare un metodo per memorizzare e riprodurre una o più immagini di una sequenza video su un dispositivo di tipo mobile rispettando la temporizzazione con cui la sequenza di immagini viene ricevuta, in particolare da una telecamera remota. A further object of the present invention is to indicate a method for storing and reproducing one or more images of a video sequence on a mobile device, respecting the timing with which the sequence of images is received, in particular from a remote camera.

Questi ed altri scopi dell’invenzione vengono ottenuti con il metodo ed il sistema come rivendicati nelle unite rivendicazioni che costituiscono parte integrante della presente descrizione. These and other purposes of the invention are achieved with the method and system as claimed in the attached claims which form an integral part of the present description.

In sintesi, l’invenzione sfrutta l’unico strumento messo a disposizione dalla piattaforma J2ME per memorizzare dati in modo permanente, e cioè il “Record Management System” (RMS). In summary, the invention exploits the only tool made available by the J2ME platform to store data permanently, namely the "Record Management System" (RMS).

L’RMS comprende una pluralità di basi di dati, denominati “Record Store”, identificabili tramite un nome. The RMS includes a plurality of databases, called "Record Stores", identifiable by a name.

Il metodo secondo l’invenzione prevede che quando una sequenza di immagini, in particolare provenienti da una telecamera remota, viene ricevuta sul dispositivo mobile, essa venga memorizzata in righe successive di un “Record Store”, ciascuna di dette righe comprendendo una cella che contiene un identificativo numerico progressivo ed un’altra cella dove viene memorizzata una delle immagini che costituiscono la sequenza di immagini. The method according to the invention provides that when a sequence of images, in particular coming from a remote camera, is received on the mobile device, it is stored in successive rows of a "Record Store", each of said rows comprising a cell that contains a progressive numeric identifier and another cell where one of the images making up the sequence of images is stored.

Il metodo secondo l’invenzione prevede inoltre che venga parallelamente generato un descrittore di file, o file descriptor, di tali immagini o sequenza di immagini comprendente: The method according to the invention also provides that a file descriptor, or file descriptor, of such images or sequence of images is generated in parallel, comprising:

- un header atto a identificare un’immagine singola od una sequenza di immagini, e in quest’ultimo caso atto ad identificare il numero di immagini che costituiscono la sequenza di immagini; - a header to identify a single image or a sequence of images, and in the latter case to identify the number of images that make up the sequence of images;

- una pluralità di frame comprendenti un numero di identificazione del frame ed un’informazione sul tempo di attesa tra il frame corrente ed il successivo, in modo da riprodurre fedelmente la sequenza di immagini come ricevuta dalla telecamera remota; - a plurality of frames including a frame identification number and information on the waiting time between the current frame and the next, in order to faithfully reproduce the sequence of images as received by the remote camera;

- un nome da assegnare al descrittore di file. - a name to assign to the file descriptor.

L’indice viene memorizzato nello stesso “Record Store” utilizzato per memorizzare la sequenza di immagini. The index is stored in the same "Record Store" used to store the sequence of images.

Quando l’utente desidera riprodurre la sequenza di immagini sul proprio dispositivo, un lettore video legge il descrittore di file memorizzato nel Record Store ed individuabile dall’utente tramite il nome assegnato, in modo da riprodurre le immagini memorizzate nell’esatta sequenza e temporizzazione con cui sono state ricevute. When the user wants to play the sequence of images on his device, a video player reads the file descriptor stored in the Record Store and identifiable by the user through the assigned name, in order to reproduce the images stored in the exact sequence and timing with which they were received.

Gli scopi suddetti risulteranno maggiormente chiari dalla descrizione dettagliata del metodo e del sistema secondo l’invenzione, con particolare riferimento alle Figure allegate in cui: The aforementioned purposes will become clearer from the detailed description of the method and system according to the invention, with particular reference to the attached Figures in which:

- le Figure 1a ed 1b rappresentano uno schema a blocchi di un Record Management System e di un Record Store di una piattaforma J2ME; - Figures 1a and 1b represent a block diagram of a Record Management System and a Record Store of a J2ME platform;

- la Figura 2 rappresenta un descrittore di file utilizzato nel metodo secondo l’invenzione per memorizzare e riprodurre un’immagine od una sequenza di immagini. - Figure 2 represents a file descriptor used in the method according to the invention to store and reproduce an image or a sequence of images.

Il metodo secondo l’invenzione è utilizzabile su un dispositivo di tipo mobile (non raffigurato) che comprende almeno un sistema operativo che implementa la piattaforma J2ME ed uno schermo associato al dispositivo per la visualizzazione di un’immagine o di una sequenza di immagini. The method according to the invention can be used on a mobile device (not shown) which includes at least one operating system that implements the J2ME platform and a screen associated with the device for viewing an image or a sequence of images.

Con riferimento alla Figura 1a, viene rappresentato uno schema a blocchi di un Record Management System 1 di una piattaforma J2ME che comprende una pluralità di basi di dati 3, o Record Store. With reference to Figure 1a, a block diagram is shown of a Record Management System 1 of a J2ME platform which comprises a plurality of databases 3, or Record Stores.

Una Midlet 5, ossia un'applicazione che utilizza la piattaforma J2ME, si interfaccia tramite una API 7, ossia una Application Program Interface, ad uno o più Record Store 3 per memorizzare, leggere e gestire i dati che il suo funzionamento richiede. A Midlet 5, that is an application that uses the J2ME platform, interfaces through an API 7, that is an Application Program Interface, to one or more Record Store 3 to store, read and manage the data that its operation requires.

La struttura di un Record Store 3 è visibile in Figura 1b, dove ogni Record Store 3 può essere visualizzato come una tabella comprendente una pluralità di righe 8 e due celle 9,11 per ogni riga: nella cella di sinistra 9 viene memorizzato un identificativo numerico progressivo (1,2,3, …), denominato Record ID, mentre nella cella di destra 11 viene memorizzata un’informazione o array di byte. The structure of a Record Store 3 is visible in Figure 1b, where each Record Store 3 can be displayed as a table comprising a plurality of rows 8 and two cells 9,11 for each row: a numeric identifier is stored in the left cell 9 progressive (1,2,3,…), called Record ID, while an information or byte array is stored in the right cell 11.

Il metodo secondo la presente invenzione prevede di memorizzare l’array di byte che rappresenta un’immagine in una cella di destra 11 di una riga 7 di un Record Store 3, assegnando un numero identificativo numerico della corrispondente cella di sinistra 9 del Record Store 3. Nel caso di una sequenza di immagini, ogni immagine che compone la sequenza viene scritta nello stesso Record Store 3, utilizzando in sequenza le varie righe 7 che costituiscono il Record Store 3. The method according to the present invention provides for storing the byte array representing an image in a right cell 11 of a row 7 of a Record Store 3, assigning a numerical identification number to the corresponding left cell 9 of the Record Store 3 In the case of a sequence of images, each image that makes up the sequence is written in the same Record Store 3, using in sequence the various lines 7 that make up Record Store 3.

Con riferimento alla Figura 2, viene rappresentato un descrittore di file 21, o file descriptor, che viene creato parallelamente alla memorizzazione dell’immagine o della sequenza di immagini da memorizzare, in particolare ricevute attraverso una telecamera remota. With reference to Figure 2, a file descriptor 21 is represented, or file descriptor, which is created in parallel with the storage of the image or sequence of images to be stored, in particular received through a remote camera.

Preferibilmente, ogni immagine viene memorizzata in formato JPEG. Il descrittore di file 21 è costituito da una serie di bytes che possono essere raggruppati nel modo seguente: Preferably, each image is stored in JPEG format. File descriptor 21 consists of a series of bytes which can be grouped as follows:

- un header 23, tipicamente costituito da quattro bytes, che contiene un’informazione di immagine atta ad identificare una singola immagine oppure una sequenza di immagini ed un’informazione di numero di immagini che identifica il numero di immagini presenti nella sequenza video; - una pluralità di blocchi 25, tipicamente costituiti da cinque bytes ciascuno, che contengono ciascuno un identificativo del Record ID 9, tipicamente di tre bytes, ed il tempo di attesa, o bit rate, tra l’immagine corrente e quella successiva, tipicamente di due bytes; - a header 23, typically consisting of four bytes, which contains image information suitable for identifying a single image or a sequence of images and information on the number of images that identifies the number of images present in the video sequence; - a plurality of blocks 25, typically consisting of five bytes each, which each contain an identification of the Record ID 9, typically of three bytes, and the waiting time, or bit rate, between the current image and the next one, typically of two bytes;

- un blocco 27, tipicamente costituito da 2 bytes, che serve a memorizzare il nome dell’immagine o della sequenza di immagini memorizzate. - a block 27, typically consisting of 2 bytes, which is used to store the name of the image or sequence of images stored.

Nell’esempio di Figura 2, il byte 0 indica se il descrittore di file 21 si riferisce ad un’immagine o ad una sequenza di immagini; i byte 1,2,3 indicano il numero di frame di cui è costituita la sequenza di immagini (ovviamente il byte 1 e 2 varranno zero e il byte 3 varrà uno nel caso di una immagine singola); i byte 4,5,6 identificano la prima immagine della sequenza video ed i byte 7,8 identificano il tempo di attesa tra la ricezione della prima immagine della sequenza video e la seconda; i byte 9,10,11 identificano la seconda immagine della sequenza video ed i byte 12,13 identificano il tempo di attesa tra la ricezione della seconda immagine della sequenza video e la terza; i byte 14,15,16 identificano la terza immagine della sequenza video ed i byte 17,18 identificano il tempo di attesa tra la ricezione della terza immagine della sequenza video e la quarta; gli ultimi due byte n-2 ed n-1 identificano il nome dell’immagine o della sequenza di immagini memorizzate. In the example of Figure 2, byte 0 indicates whether the file descriptor 21 refers to an image or a sequence of images; bytes 1,2,3 indicate the number of frames of which the sequence of images is made up (obviously byte 1 and 2 will be worth zero and byte 3 will be worth one in the case of a single image); bytes 4,5,6 identify the first image of the video sequence and bytes 7,8 identify the waiting time between the reception of the first image of the video sequence and the second; bytes 9,10,11 identify the second image of the video sequence and bytes 12,13 identify the waiting time between the reception of the second image of the video sequence and the third; bytes 14,15,16 identify the third image of the video sequence and bytes 17,18 identify the waiting time between the reception of the third image of the video sequence and the fourth; the last two bytes n-2 and n-1 identify the name of the image or sequence of images stored.

Quando l’utente decide di registrare un’immagine od una sequenza di immagini tramite il proprio dispositivo mobile, ogni immagine visualizzata viene memorizzata nel Record Store 3 e parallelamente viene generato il descrittore di file ad esso relativo. When the user decides to record an image or a sequence of images via their mobile device, each displayed image is stored in Record Store 3 and the relative file descriptor is generated at the same time.

Quando il file deve essere riprodotto, un lettore video, appositamente creato per riprodurre un’immagine od una sequenza di immagini memorizzata secondo il metodo della presente invenzione, legge le informazioni contenute nel descrittore di file e riproduce l’immagine o la sequenza video su uno schermo associato al dispositivo stesso. When the file is to be played, a video player, specially created to reproduce an image or a sequence of images stored according to the method of the present invention, reads the information contained in the file descriptor and plays the image or video sequence on a screen associated with the device itself.

Il lettore video comprende delle porzioni di codice software caricabili in una memoria del dispositivo mobile ed in grado di attuare la memorizzazione e la riproduzione di un’immagine o di una sequenza di immagini. The video player includes portions of software code that can be loaded into a memory of the mobile device and capable of storing and reproducing an image or a sequence of images.

In particolare, l’informazione riguardante il tempo di attesa è particolarmente vantaggiosa per riprodurre in modo fluido la sequenza di immagini memorizzate. In particular, the information regarding the waiting time is particularly advantageous for smoothly reproducing the sequence of stored images.

Il tempo di attesa tra la ricezione di un’immagine e quella successiva è calcolata tramite un temporizzatore, o timer. Durante la riproduzione della sequenza di immagini, viene assegnata come frequenza delle immagini, o frame-rate, la media delle immagini scaricate e registrate. In questo modo, durante la riproduzione, grazie al ritardo uniforme applicato tra un’immagine e quella successiva, la riproduzione appare fluida anche se durante la registrazione vi è una stata una limitazione di banda sulla rete o sul dispositivo da cui la sequenza di immagini proviene, in particolare una telecamera remota. The waiting time between the reception of an image and the next is calculated by means of a timer, or timer. During playback of the slide show, the average of the downloaded and recorded images is assigned as the frame rate. In this way, during playback, thanks to the uniform delay applied between one image and the next, playback appears smooth even if during recording there was a bandwidth limitation on the network or on the device from which the sequence of images comes. , especially a remote camera.

Inoltre, senza le informazioni contenute nel descrittore di file, le immagini verrebbero riprodotte molto velocemente poiché il formato video M-JPEG (Motion JPEG) viene utilizzato per flussi di sequenze di immagini dove la velocità di visualizzazione è data dalla velocità della banda a disposizione e non si può determinare a priori la frequenza delle immagini in caso di registrazione. Furthermore, without the information contained in the file descriptor, the images would be reproduced very quickly since the video format M-JPEG (Motion JPEG) is used for streams of image sequences where the display speed is given by the speed of the available band and the frequency of the images in the event of recording cannot be determined in advance.

Inoltre, l’utilizzo di un altro formato video diverso da M-JPEG, ad esempio MPEG, ridurrebbe le prestazioni, non sarebbe compatibile con tutti i dispositivi di tipo mobile e per alcuni formati richiederebbe l’utilizzo di un codificatore proprietario. Furthermore, the use of another video format other than M-JPEG, such as MPEG, would reduce performance, would not be compatible with all mobile devices and for some formats would require the use of a proprietary encoder.

Dalla descrizione effettuata risultano pertanto chiare le caratteristiche della presente invenzione, così come chiari risultano i suoi vantaggi. From the above description the characteristics of the present invention are therefore clear, as well as its advantages.

Grazie alla presente invenzione, è possibile memorizzare e riprodurre una o più immagini di una sequenza video su un qualsiasi tipo di dispositivo mobile che utilizza la piattaforma J2ME o simili, indipendentemente da come è implementata la struttura del file system del dispositivo mobile ed anche se tale struttura non è accessibile ad un utente. Thanks to the present invention, it is possible to store and reproduce one or more images of a video sequence on any type of mobile device that uses the J2ME platform or the like, regardless of how the file system structure of the mobile device is implemented and even if such structure is not accessible to a user.

Un ulteriore vantaggio della presente invenzione è quello per cui la riproduzione di una sequenza di immagini appare fluida, eliminando così eventuali difetti di riproduzione riconducibili a problematiche legate alla disponibilità di banda in ricezione. A further advantage of the present invention is that the reproduction of a sequence of images appears fluid, thus eliminating any reproduction defects attributable to problems linked to the availability of receiving band.

Numerose sono le varianti possibili al metodo per memorizzare e riprodurre una o più immagini di una sequenza video su un dispositivo di tipo mobile ed al relativo dispositivo descritti come esempio, senza per questo uscire dai principi di novità insiti nell'idea inventiva, così come è chiaro che nella sua attuazione pratica le forme dei dettagli illustrati potranno essere diverse, e gli stessi potranno essere sostituiti con degli elementi tecnicamente equivalenti. There are numerous possible variations to the method for storing and reproducing one or more images of a video sequence on a mobile device and to the relative device described as an example, without thereby departing from the principles of novelty inherent in the inventive idea, as is it is clear that in its practical implementation the forms of the illustrated details may be different, and the same may be replaced with technically equivalent elements.

Dunque è facilmente comprensibile che la presente invenzione non è limitata al metodo per memorizzare e riprodurre una o più immagini di una sequenza video su un dispositivo di tipo mobile ed al relativo dispositivo descritti come esempio, ma è passibile di varie modificazioni, perfezionamenti, sostituzioni di parti ed elementi equivalenti senza però allontanarsi dall’idea dell’invenzione, così come è precisato meglio nelle seguenti rivendicazioni. It is therefore easy to understand that the present invention is not limited to the method for storing and reproducing one or more images of a video sequence on a mobile device and to the relative device described as an example, but is subject to various modifications, improvements, substitutions of equivalent parts and elements without however departing from the idea of the invention, as better specified in the following claims.

Claims

CLAIMS 1. Method for storing on a mobile device one or more images of a video sequence, in particular coming from a remote camera, said mobile device comprising an operating system that implements the Java 2 Micro Edition, or J2ME platform, characterized by the fact of storing said one or more images of a video sequence in a database (3), or Record Store, of the database management system (1), or Record Management System, of said platform.

Method according to claim 1, characterized by the fact of storing said several images in successive records (8) of said database (3) of said database management system (1).

3. Method according to claim 1, characterized in that, in parallel with the storage of said one or more images, a file descriptor (21) is created which contains information (23, 25, 27) suitable for allowing a reproduction of said one or more images. or more images on a screen of said mobile device.

4. Method according to claim 3, characterized in that said information (23, 25, 27) of said file descriptor comprises a bit-rate information (25) which associates an image of the sequence of images with the time of wait, or bit-rate, that elapses between said image and the next image.

5. Method according to claim 4, characterized in that said waiting time is calculated by means of a timer.

6. Method according to claim 4, characterized in that said information of said file descriptor (21) further comprises: - a header (23) suitable for identifying a single image or a sequence of images and the number of images relative to the number of images that make up said sequence of images. - the name of the image or sequence of images stored (27).

7. Method according to claim 4, characterized in that the reproduction of the images of said sequence of images is reproduced at a frequency calculated as the average of all the waiting times stored between two successive images.

8. Method according to one or more of the preceding claims, characterized in that said one or more images are stored in JPEG format.

9. Mobile device, in particular a mobile phone, able to reproduce on a screen associated with it an image or a sequence of images stored in a memory of said device according to one of claims 1 to 8.

A computer product comprising portions of software code for storing and reproducing on a mobile device one or more sequences of images stored according to one of claims 1 to 8.