CH715251A2

CH715251A2 - Camera for mechanical and electromagnetic vibrations.

Info

Publication number: CH715251A2
Application number: CH00682/19A
Authority: CH
Inventors: Gullà Daniele
Original assignee: Daniele Gulla
Priority date: 2018-08-03
Filing date: 2019-05-26
Publication date: 2020-02-14
Also published as: IT201800007800A1

Abstract

La telecamera per vibrazioni meccaniche ed elettromeccaniche comprende un sensore di immagini (1) e lenti motorizzate ed è dotata di un filtro per indice di resa cromatica (2) e da un elaboratore con microprocessore DSP per l’elaborazione di immagini riprese in tempo reale ed elaborate con programma FFT in grado di rilevare ed aumentare luminosità e spostamenti nei pixel immagine di ripresa, per evidenziare movimenti nell’ordine di micron.The camera for mechanical and electromechanical vibrations includes an image sensor (1) and motorized lenses and is equipped with a color rendering index filter (2) and a processor with DSP microprocessor for processing images taken in real time and processed with FFT program capable of detecting and increasing brightness and displacements in the image shooting pixels, to highlight movements in the order of microns.

Description

Illi 11IIIIII111111111 IIIlli 11IIIIII111111111 II

CONFEDERAZIONE SVIZZERASWISS CONFEDERATION

ISTITUTO FEDERALE DELLA PROPRIETÀ INTELLETTUALE (11) CH 715 251 A2 (51) Int. CL: G01H 9/00 (2006.01)FEDERAL INSTITUTE OF INTELLECTUAL PROPERTY (11) CH 715 251 A2 (51) Int. CL: G01H 9/00 (2006.01)

G01M 7/02 (2006.01)G01M 7/02 (2006.01)

Domanda di brevetto per la Svizzera ed il LiechtensteinPatent application for Switzerland and Liechtenstein

Trattato sui brevetti, del 22 dicembre 1978, fra la Svizzera ed il Liechtenstein (12) DOMANDA DI BREVETTO (21) Numero della domanda: 00682/19 (71) Richiedente:Patent Treaty of 22 December 1978 between Switzerland and Liechtenstein (12) PATENT APPLICATION (21) Application number: 00682/19 (71) Applicant:

Daniele Gullà, Via Fani 7Daniele Gullà, Via Fani 7

40127 Bologna (IT) (22) Data di deposito: 26.05.2019 (72) Inventore/lnventori:40127 Bologna (IT) (22) Filing date: 26.05.2019 (72) Inventor / inventors:

Daniele Gullà, 40127 Bologna (IT) (43) Domanda pubblicata: 14.02.2020 (30) Priorità:Daniele Gullà, 40127 Bologna (IT) (43) Application published: 14.02.2020 (30) Priority:

03.08.201803/08/2018

IT 102018000007800 (74) Mandatario:IT 102018000007800 (74) Authorized representative:

IPWAY SAGL, Via Monte Carmen 1aIPWAY SAGL, Via Monte Carmen 1a

6900 Lugano (CH) (54) Telecamera per vibrazioni meccaniche ed elettromagnetiche.6900 Lugano (CH) (54) Camera for mechanical and electromagnetic vibrations.

(57) La telecamera per vibrazioni meccaniche ed elettromeccaniche comprende un sensore di immagini (1) e lenti motorizzate ed è dotata di un filtro per indice di resa cromatica (2) e da un elaboratore con microprocessore DSP per l'elaborazione di immagini riprese in tempo reale ed elaborate con programma FFT in grado di rilevare ed aumentare luminosità e spostamenti nei pixel immagine di ripresa, per evidenziare movimenti nell'ordine di micron.(57) The camera for mechanical and electromechanical vibrations includes an image sensor (1) and motorized lenses and is equipped with a color rendering index filter (2) and a processor with a DSP microprocessor for processing images taken in real time and processed with FFT program able to detect and increase brightness and displacements in the image shooting pixels, to highlight movements in the order of microns.

CH 715 251 A2CH 715 251 A2

Descrizione Settore tecnico [0001] L’invenzione è relativa ad una telecamera in grado di rilevare vibrazioni microscopiche, ovvero vibrazioni di pochi micron, in una telecamera in corpo unico, ovvero portatile, in grado di effettuare misurazioni per strutture civili, in campo istologico, per medicina sportiva, per ricognizione ambientale, nella chimica e nella fisica con rilevazioni micrometriche. La telecamera è, inoltre, in grado di unire in un unico dispositivo un sistema optoelettronico con analisi multispettrale e, tramite particolare filtro, è in grado di rilevare l’indice di resa cromatica, ovvero del color rendering index (CRI in acronimo), con bande di rilevamento comprese tra i 400 e 700 nanometri delle vibrazioni rilevate in ripresa, con colorazione delle stesse in funzione delle frequenze. La telecamera secondo il risultamento è quindi in grado di riprendere e valutare le vibrazioni di oggetti, corpi, molecole, cellule e tutto ciò che necessita di analisi dello stato di vibrazione.Description Technical sector [0001] The invention relates to a camera capable of detecting microscopic vibrations, or vibrations of a few microns, in a single-body, or portable, camera, capable of making measurements for civil structures, in the histological field, for sports medicine, for environmental reconnaissance, in chemistry and physics with micrometric measurements. The camera is also able to combine an optoelectronic system with multispectral analysis in a single device and, through a particular filter, it is able to detect the color rendering index, or the color rendering index (CRI in acronym), with detection bands between 400 and 700 nanometers of the vibrations detected in the recovery, with coloring of the same according to the frequencies. The camera according to the result is therefore able to record and evaluate the vibrations of objects, bodies, molecules, cells and everything that needs to analyze the state of vibration.

Stato della tecnica [0002] Attualmente sono note telecamere per valutare vibrazioni predittive sulla stabilità dei sistemi in osservazione. Le telecamere di tipo noto, purtroppo, non sono sufficienti per analisi microscopiche o su scale nanometriche. I sistemi di ripresa in uso comparano immagini in memoria per valutare lo scostamento tra misure geometriche, con campi di misure che non scendono oltre una certa soglia, sufficiente a scostamenti di misure in centimetri o di millimetri.State of the art [0002] Cameras are currently known for evaluating predictive vibrations on the stability of the systems under observation. Unfortunately, cameras of a known type are not sufficient for microscopic analysis or on nanometric scales. The shooting systems in use compare images in memory to evaluate the deviation between geometric measurements, with measurement fields that do not drop beyond a certain threshold, sufficient for deviations of measures in centimeters or millimeters.

Presentazione dell’invenzione [0003] Oggetto del risultamento è una telecamera in grado di rilevare oscillazioni in campo microscopico e di registrarle per analisi di stabilità.Presentation of the invention [0003] The object of the result is a camera capable of detecting oscillations in the microscopic field and recording them for stability analysis.

[0004] La telecamera, secondo l’invenzione, è una telecamera full embedded con DSP (Digital Signal Processing) per l’elaborazione delle immagini riprese in tempo reale, con particolare riferimento alla magnificazione di luminanza e spostamento dei pixel immagine ripresi, al fine di evidenziare piccoli movimenti o variazioni seppure minime di luminanza. Il sistema é a basso consumo e funziona a batteria e questo permette di realizzare «sensori» intelligenti in grado di prendere decisioni in funzione di quanto ripreso. La telecamera per vibrazioni meccaniche ed elettromagnetiche comprende un sensore di immagine, come ad esempio un sensore CMOS a largo spettro od un CCD, su cui viene montato un filtro per indice di resa cromatica ed un elaboratore dotato di microprocessore DSP (Digital Signal Processing), dove le vibrazioni vengono visualizzate sulla telecamera con variazioni di colore e di luminosità. La telecamera raccoglie diverse inquadrature e raccoglie i dati di tali inquadrature confrontando rapidamente pixel per pixel le immagini rilevate ed elaborate tramite algoritmi FFT (Fast Fourier Transform) piramidali e rese visibili a monitor con l’accumulo di vibrazioni rilevate tramite variazioni di luminosità e di colore. Le immagini elaborate sono poi registrate su una unità di memoria, come ad esempio una SD card. Le immagini rilevate possono poi essere processate con programmi di trattamento immagini. I sensori di immagini utilizzati devono avere un basso numero di pixel e di grossa dimensione, per diminuire il tempo di elaborazione ed avere buona sensibilità con bassa illuminazione. L’invenzione trova applicazione in tutti i casi in cui è richiesta una elaborazione di immagine a livello microscopico, sia per costruzioni, materiali che per cellule od altri sistemi vibranti meccanicamente ed in vibrazioni elettromagnetiche. Questi ed altri scopi e vantaggi della presente invenzione saranno maggiormente evidenti dalla seguente descrizione dettagliata di una forma di realizzazione preferita ma non esclusiva, con riferimento ai disegni allegati in cui l’invenzione è illustrata in via puramente indicativa ed in quanto tale non limitativa.[0004] The camera, according to the invention, is a full embedded camera with DSP (Digital Signal Processing) for the processing of images taken in real time, with particular reference to the magnification of luminance and displacement of the image pixels taken, in order to to highlight small movements or even slight changes in luminance. The system is low power and battery operated and this allows you to create intelligent «sensors» capable of making decisions based on what has been taken. The camera for mechanical and electromagnetic vibrations includes an image sensor, such as a wide spectrum CMOS sensor or a CCD, on which a color rendering index filter and a computer equipped with a DSP (Digital Signal Processing) microprocessor are mounted, where the vibrations are displayed on the camera with variations in color and brightness. The camera collects different shots and collects the data of these shots by quickly comparing pixel by pixel the images detected and processed by pyramid-shaped FFT (Fast Fourier Transform) algorithms and made visible on the monitor with the accumulation of vibrations detected by changes in brightness and color . The processed images are then recorded on a memory unit, such as an SD card. The detected images can then be processed with image processing programs. The image sensors used must have a low number of pixels and a large size, to decrease the processing time and have good sensitivity with low lighting. The invention finds application in all cases where microscopic image processing is required, both for constructions, materials and for cells or other systems vibrating mechanically and in electromagnetic vibrations. These and other purposes and advantages of the present invention will be more evident from the following detailed description of a preferred but not exclusive embodiment, with reference to the attached drawings in which the invention is illustrated purely by way of indication and as such not limiting.

Elenco dei disegni [0005]List of drawings [0005]

La fig. 1 è vista superiore di un obiettivo motorizzato.Fig. 1 is top view of a motorized lens.

La fig. 2 è vista di schema a blocchi del trovato.Fig. 2 is a block diagram view of the invention.

Realizzazione dell’invenzione [0006] La telecamera per vibrazioni meccaniche ed elettromagnetiche secondo l’invenzione comprende un sensore di immagini 1 e lenti motorizzate, è dotata di un filtro per indice di resa cromatica 2, e comprende un elaboratore 3 con microprocessore DSP 4 (Digital Signal Processing) per l’elaborazione di immagini riprese in tempo reale ed elaborate con programma FFT (Fast Fourier Transform) in grado di rilevare ed aumentare luminosità e spostamenti nei pixel immagine di ripresa per evidenziare movimenti nell’ordine di micron. Il sensore di immagini 1 è un sensore CMOS. In altra forma di realizzazione il sensore di immagini 1 è un sensore CCD. Il numero dei sensori della telecamera può variare da uno a cinque. Dalle foto in successione registrate dalla telecamera si hanno le posizioni relative e vengono colorati gli spostamenti tramite filtro per indice di resa cromatica 2, ovvero le vibrazioni rilevate. L’operazione di calcolo avviene in questo modo: sulla telecamera viene fatta una pre-elaborazione dei frame, ovvero delle immagini, utilizzando maschere di binning, tipicamente 4x4, che aumentano il rapporto segnale/rumore e viene effettuata un’analisi di Fourier veloce, ossia una FFT (Fast Fourier Transform), su ogni immagine, una volta che l’immagine è data al software di dialogo presente sull’elaboratore, ossia sul pc. Vengono poi confrontate, in tempo reale e per ogni frame, le variazioni di luminanza o diRealization of the invention [0006] The camera for mechanical and electromagnetic vibrations according to the invention comprises an image sensor 1 and motorized lenses, is equipped with a filter for color rendering index 2, and includes a processor 3 with DSP 4 microprocessor ( Digital Signal Processing) for the processing of images taken in real time and processed with the FFT (Fast Fourier Transform) program capable of detecting and increasing brightness and displacements in the image shooting pixels to highlight movements in the order of microns. Image sensor 1 is a CMOS sensor. In another embodiment the image sensor 1 is a CCD sensor. The number of camera sensors can vary from one to five. The relative positions are recorded from the photos recorded in succession by the camera and the movements are colored by means of a filter for the color rendering index 2, that is, the vibrations detected. The calculation operation takes place in this way: on the camera a pre-processing of the frames, or of the images, is carried out using binning masks, typically 4x4, which increase the signal / noise ratio and a fast Fourier analysis is carried out, ie an FFT (Fast Fourier Transform), on each image, once the image is given to the dialogue software present on the computer, that is on the PC. The variations of luminance or of are then compared in real time and for each frame

CH 715 251 A2 spostamento di aree di pixel. Sono, inoltre, valutate le variazioni di colore, ossia di crominanza, sia nel caso in cui si utilizzino sensori monocromatici con acquisizione tramite filtro sintonizzabile HSI che nel caso di sensori non monocromatici, ma con matrice multispettrale, tramite variazione dell’angolo di riflessione della luce. Il movimento di un oggetto in tre dimensioni comporta, infatti, una minuscola variazione dell’angolo di riflessione della luce. L’analisi di binning aumenta la differenza di variazione di luminosità, inoltre viene applicata una matrice vettoriale che definisce meglio l’orientamento sugli assi X-Y della direzione. Il principio è il seguente: ogni qualvolta subentri una minuscola oscillazione dovuta al movimento, la reflattanza della luce cambia, anche solo parzialmente in alcune linee spettrali. A volte la riflattanza cambia anche in base al fenomeno di scattering e in quasi tutta la banda spettrale. Ad ogni differenza repertata per aree di pixel in ogni frame, viene introdotta una esaltazione esponenziale, una sorta di picking, che consente nella disamina dei frame in sequenza di evidenziare lo spostamento e renderlo visibile dopo l’amplificazione. Occorrono per vedere bene piccoli spostamenti dell’ordine di pochi micron e con frequenza compresa tra 0,01 Hz e 500 Hz, una acquisizione stack di immagini con un campionamento veloce, tipicamente tra 200 e 2000 fps. Il trovato è, inoltre, dotato di scheda ausiliaria, collegata ad un primo display 5 e ad un secondo display tattile di maggiori dimensioni 6. La scheda ausiliaria si interfaccia con una seconda scheda 7 dotata di interfaccia WI-FI 8, batteria agli ioni di litio 9, encoder 10 per selezionare le funzioni e dispositivi per l’accensione 11. La scheda 7 prevede alloggiamento per SD card 12 con connessione e dispositivi di registrazione. La scheda 7 è collegata a modulo ad infrarossi 13 ed a camera JPEG 14. La scheda 7 è poi dotata di presa multifunzione 15. In fase di funzionamento la ripresa viene effettuata con la telecamera con lenti motorizzate, evidenziando con variazioni di colore ed intensità luminosa le vibrazioni registrate ed elaborate. Ogni volta che si ha una oscillazione dovuta al movimento, la riflettanza della luce cambia, anche solo parzialmente, in alcune linee spettrali. Ad ogni differenza rilevata per aree di pixel in ogni frame, ovvero in ogni immagine di ripresa, viene effettuata una elaborazione tramite FFT nel microprocessore DSP 4. Questo consente nell’esame del frame in sequenza di evidenziare lo spostamento e renderlo visibile dopo l’amplificazione. Per vedere spostamenti dell’ordine di pochi micron e con frequenza compresa tra 0,01 Hz e 500 Hz si ha un’acquisizione di una serie di immagini con campionamento veloce compreso tra 200 (duecento) e 2.000 (duemila) immagini al secondo.CH 715 251 A2 displacement of pixel areas. Furthermore, the variations in color, that is chrominance, are assessed both in the case in which monochromatic sensors with acquisition by HSI tunable filter are used and in the case of non-monochromatic sensors, but with multispectral matrix, by varying the reflection angle of the light. The movement of an object in three dimensions involves, in fact, a tiny variation in the angle of reflection of the light. The binning analysis increases the difference in brightness variation, also a vector matrix is applied which better defines the orientation on the X-Y axes of the direction. The principle is as follows: every time a tiny oscillation due to movement occurs, the light reflectance changes, even if only partially in some spectral lines. Sometimes the reflectance also changes according to the scattering phenomenon and in almost all the spectral band. For every difference reported by pixel areas in each frame, an exponential exaltation is introduced, a sort of picking, which allows the examination of the frames in sequence to highlight the movement and make it visible after amplification. It is necessary to see small displacements of the order of a few microns and with a frequency between 0.01 Hz and 500 Hz, a stack image acquisition with fast sampling, typically between 200 and 2000 fps. The invention is furthermore equipped with an auxiliary card, connected to a first display 5 and a second larger touch display 6. The auxiliary card interfaces with a second card 7 equipped with a WI-FI 8 interface, lithium 9, encoder 10 to select the functions and devices for ignition 11. The card 7 has a slot for SD card 12 with connection and recording devices. The card 7 is connected to an infrared module 13 and to a JPEG 14 chamber. The card 7 is then equipped with a multifunction socket 15. During the operation, the recording is performed with the camera with motorized lenses, highlighting with variations in color and light intensity the vibrations recorded and processed. Whenever there is an oscillation due to movement, the reflectance of light changes, even only partially, in some spectral lines. For every difference detected by pixel areas in each frame, or in every shooting image, an elaboration is carried out by FFT in the DSP 4 microprocessor. This allows the examination of the frame in sequence to highlight the shift and make it visible after amplification . To see displacements of the order of a few microns and with a frequency between 0.01 Hz and 500 Hz, there is an acquisition of a series of images with fast sampling between 200 (two hundred) and 2,000 (two thousand) images per second.

[0007] La camera può essere interfacciata con un microscopio con relative ottiche a specifici ingrandimenti. Lo scopo di tale collegamento è quello di monitorare le vibrazioni in modo micrometrico in strutture biologiche (cellule, globuli rossibianchi). Sono stati fatti numerosi test in cui si è evidenziato che in diversi stati biologici corrispondono pattern vibrazionali e, presumibilmente, stati biofisici diversi.[0007] The chamber can be interfaced with a microscope with relative optics at specific magnifications. The purpose of this connection is to monitor vibrations in a micrometric way in biological structures (cells, red and white blood cells). Numerous tests have been carried out which have shown that in different biological states vibrational patterns correspond and, presumably, different biophysical states.

[0008] Per aumentare la sensibilità della telecamera secondo l’invenzione a piccole variazioni sono utilizzate ottiche in grado di ingrandire l’immagine, come ad esempio teleobiettivi, con focale compresa tra trecento millimetri e milleduecento millimetri. La telecamera viene poi montata su piattaforma stabile, come ad esempio un treppiede, e stabilizzata. Detta telecamera è, inoltre, dotata, in particolare nel caso di misurazioni di infrastrutture, di accelerometro triassiale 16 per accertarsi che la stessa telecamera non abbia subito movimenti o sollecitazioni vibrazionali nel momento dell’acquisizione dati. L’uso di un software con matrice vettoriale definisce poi con maggior precisione l’orientamento delle vibrazioni registrate sugli assi X Y. Con due telecamere secondo l’invenzione, posizionate per riprese con angolazioni differenti, oppure con l’ausilio di un laser posizionato a 45° rispetto alla camera di ripresa, si possono realizzare misurazioni di spostamenti e quindi di vibrazioni lungo l’asse Z. L’invenzione è suscettibile di numerose modifiche e varianti tutte rientranti nell’ambito del concetto inventivo. Tutti i dettagli possono poi essere sostituiti da altri tecnicamente equivalenti senza per questo uscire dal campo di protezione sancito dalle rivendicazioni.[0008] To increase the sensitivity of the camera according to the invention to small variations, optics capable of enlarging the image, such as telephoto lenses, with a focal length between three hundred millimeters and one thousand two hundred millimeters are used. The camera is then mounted on a stable platform, such as a tripod, and stabilized. Said camera is also equipped, in particular in the case of infrastructure measurements, with a triaxial accelerometer 16 to ensure that the same camera has not undergone vibrational movements or stresses at the time of data acquisition. The use of a vector matrix software then defines with more precision the orientation of the vibrations recorded on the X Y axes. With two cameras according to the invention, positioned for shooting at different angles, or with the aid of a laser positioned at 45 ° with respect to the camera, measurements of displacements and therefore of vibrations can be made along the Z axis. The invention is susceptible of numerous modifications and variations, all of which are within the scope of the inventive concept. All the details can then be replaced by other technically equivalent ones without thereby abandoning the protection field enshrined in the claims.

Claims

claims

1. Camera for mechanical and electromechanical vibrations, including an image sensor (1) and motorized lenses, characterized in that it is equipped with a filter for color rendering index (2) and a processor (3) with DSP microprocessor (4 ) for the processing of images taken in real time and processed with the FFT program capable of detecting and increasing brightness and displacements in the pixels of the shooting image, to highlight movements in the order of microns.

2. Camera for mechanical and electromechanical vibrations according to claim 1, characterized in that it is equipped with a triaxial accelerometer (16) to ensure that the same camera has not undergone vibrational movements or stresses at the time of data acquisition.

CH 715 251 A2