ITMN20080009A1 - Dispositivo di puntamento ottico per sistemi con schermo lcd - Google Patents

Description

DESCRIZIONE

DESCRIZIONE TECNICA ANTERIORE

Un dispositivo di puntamento è un componente hardware che consente di comunicare informazioni spaziali ad un computer. Nelle interfacce GUI (sistema che rende disponibile dei comandi attraverso la manipolazione di oggetti grafici visualizzati) e nei sistemi CAD essi permettono di correlare informazioni spaziali reali con quelle necessarie ad agire nello spazio virtuale o ambiente grafico prodotto a schermo. Lo spazio virtuale è uno spazio attivo, nel quale cioè ad un area o ad un punto sono associate le possibilità di attivare una, nessuna o più funzioni. I dispositivi di puntamento oltre a fornire informazioni spaziali sono in grado di generare informazioni per la loro attivazione, generalmente attraverso l’impiego anche combinato di pulsanti posti sul dispositivo e di sue movimentazioni.

Esistono dispositivi di puntamento basati sull’utilizzo diretto delle mani o sull’impugnatura di uno stilo (mouse a rotella, mouse ottico, trackball, touch pad, touch screen, joystick, trackpoint, tavoletta grafica, penna ottica) o altri che utilizzano i movimenti del corpo o di parti di esso (sensori di movimento del capo, sistemi di inseguimento oculare, …). Mouse a rotella e mouse ottico sono dispositivi che rilevano il proprio spostamento su un piano e associano ad esso quello di un cursore visualizzato sullo schermo. L’utilizzatore muove il dispositivo sino a quando il cursore a video non appare nella posizione desiderata. L’effettiva funzione del cursore a video è proprio quella di permettere all’utilizzatore di determinare se si trova nella regione di spazio virtuale di cui vuole attivare le funzioni associate.

Trackball, joystick e trackpoint sono dispositivi che rilevano i movimenti di una loro componente e li associano a quelli del cursore a video. Anche in questi casi è l’utilizzatore a determinare quando il cursore è nella posizione desiderata.

Touch screen e tavoletta grafica realizzano una correlazione tra i punti dell’area virtuale visualizzata e i punti di un’area reale. Queste soluzioni se sufficientemente sensibili e precise non richiedono che sia l’utilizzatore a determinare mediante la visualizzazione di un cursore se l’area virtuale sia quella desiderata. Per questo motivo il cursore non è più indispensabile. Tali dispositivi permettono di rilevare la posizione rispetto ad una superficie reale di un oggetto con essa a contatto. Di conseguenza rilevano punto a punto gli spostamenti a contatto e la somma vettoriale degli spostamenti non a contatto.

L’attivazione/selezione di un punto dell’area reale avviene sfruttando le sue particolari proprietà. Esistono ad esempio fogli plastici trasparenti le cui proprietà capacitive variano in funzione della posizione del punto di contatto tra di essi ed uno stilo. Questi fogli possono quindi essere integrati in uno schermo o perfettamente sovrapposti ad essi creando quindi un rapporto spaziale unitario. In altre applicazioni l’area reale è creata attraverso una matrice di raggi che opportunamente interrotti da un oggetto opaco ne consentono il rilevamento della posizione. Anche questa tecnica può essere integrata in uno schermo o in un supporto sovrapponibile ad esso. Esistono altre svariate tecniche che consentono di ottenere questa correlazione.

Le tavolette grafiche non essendo trasparenti non possono essere integrate in uno schermo ma esistono applicazioni che proiettano l’immagine su di esse.

Il touch pad è un dispositivo in parte simile alle superfici tattili. Si tratta di una superficie in genere di dimensioni ridotte del tutto simile a quelle di touch screen e tavoletta grafica. La sua funzione principale non è quella di rilevare la posizione di un oggetto a contatto ma di rilevarne lo spostamento indipendentemente dalla zona in cui avvenga. Questo dispositivo possiede il vantaggio rispetto ai mouse di creare una correlazione costante, fissa tra gli spostamenti dell’oggetto (dito della mano) e quelli del cursore a video oltre all’ulteriore vantaggio di essere poco ingombrante e quindi adatta per applicazioni portatili.

La penna ottica è un dispositivo esclusivamente impiegabile con schermi CRT. Essa infatti rileva quando viene colpita dal pennello elettronico, lo comunica al computer che è quindi in grado, essendo il controllore del pennello, di determinare in che posizione si trova la penna.

Altri metodi, validi per qualsiasi schermo (in realtà per qualsiasi superficie limitata), permettono l’individuazione di una penna per triangolazione con dei dispositivi ausiliari posizionati agli estremi dello schermo.

Esistono inoltre emulatori di mouse il cui funzionamento non prevede il rilevamento di una posizione e/o di uno spostamento ma bensì l’attivazione di più comandi a ciascuno dei quali è associata una direzione di spostamento.

PROBLEMA TECNICO

Dalla descrizione della tecnica anteriore risulta chiaro come il problema del posizionamento in uno spazio virtuale sia risolto attraverso dispositivi di puntamento che prevedono la collaborazione dell’utilizzatore per la conferma della posizione o che si avvalgono di superfici distinte da quella di proiezione creando una correlazione diretta tra lo spazio virtuale ed uno spazio realeregioni dello spazio. Solo nel caso della penna ottica per schermi CRT il processo di puntamento non si avvale di una di queste due classi di tecniche. Solo in questo caso infatti si realizza una associazione tra immagine visiva e immagine virtuale e non una tra la superficie che produce l’immagine visiva e una superficie ulteriore.

La questione tecnica a cui l’invenzione vuole dare soluzione è la seguente: è possibile realizzare un dispositivo di puntamento per sistemi con schermi LCD che non richieda la collaborazione dell’utilizzatore per il raggiungimento dello scopo di posizionamento e che non si avvalga di spazi reali ulteriori?

In altri termini, per applicazioni con schermi LCD è possibile sostituire la collaborazione dell’uomo con un dispositivo che utilizzi una nuova tecnica che non correli un ulteriore spazio a quello visualizzato?

Nello “Schema 0” (vedi sezione disegni) è rappresentato in blocchi un sistema con interfaccia grafica. Nello schema sono evidenziati i tipi di integrazione in detto sistema dei dispositivi noti (tecnica anteriore) e l’interazione che intende sviluppare l’invenzione. Le relazioni caratteristiche di ciascuna tecnica sono ad esse associate attraverso un numero identificativo. I rami, cioè le relazioni, non numerati sono in comune.

Il percorso 1 è tipico dei dispositivi che richiedono la collaborazione dell’utilizzatore per raggiungere il puntamento (mouse, trackball, joystick, trackpoint, touch pad, emulatori). Il percorso 2 è tipico dei dispositivi che associano allo spazio virtuale uno spazio fisico reale (touch screen, tavoletta grafica). Il percorso 3 è tipico della penna ottica per schermi CRT. Il percorso 4 individua le interazioni del problema tecnico.

DESCRIZIONE SPECIFICA DELL’INVENZIONE

Struttura generale dell’invenzione e del sistema in cui si integra Lo “Schema 1” (vedi sezione disegni) rappresenta le componenti del sistema (1)+(2)+(3)+(4) in cui si integra l’invenzione (3)+(4) e le relazioni o segnali che le legano.

Il blocco (1) rappresenta il computer del sistema. Il blocco (2) è lo schermo LCD utilizzato dal computer per visualizzare l’ambiente grafico pensato per la comunicazione verso l’esterno con l’utente. Dello schermo si distinguono gli elementi statici ovvero quelli che producono un’immagine costante nel tempo (es.: bordi e matrice di righe dei pixel) e gli elementi dinamici ovvero quelli che producono un’immagine variabile nel tempo (es.: pixel). Il blocco (3), denominato dispositivo hardware, rappresenta la parte fisica, materiale dell’invenzione mentre il blocco (4), detto dispositivo software, ne rappresenta la parte di processo e algoritmica. Il blocco (0) rappresenta l’ambiente esterno al sistema fisico in cui si integra l’invenzione, individuabile come lo spazio reale o concreto i cui è posizionato il blocco (2).

L’invenzione (3)+(4) si integra come dispositivo di puntamento in un sistema informatico basato sull’interfacciamento grafico con l’utente. In particolare tale sistema si compone dell’oggetto dell’invenzione (3)+(4), di un computer (1) e di un visualizzatore di tipo LCD (2).

Il dispositivo si compone di una parte hardware che tratta segnali fisici e di una parte software (4) che elabora i valori simbolici che sono ad essi attribuiti. Il software è pertanto una componente astratta implementata da supporti fisici (hardware). Il software si divide in una parte di elaborazione finalizzata a produrre le informazioni spaziali ed in una parte, generalmente affidata al computer, finalizzata all’interfacciamento con il sistema grafico e i comandi. La componente di elaborazione, in quanto software, può essere condivisa per nulla o in parte tra il dispositivo fisico e componenti hardware esterni ad esso. In altri termini il software di elaborazione (quello finalizzato a generare informazioni spaziali) può essere supportato dal solo dispositivo hardware o dal solo computer o da una combinazione di essi.

Il segnale (A) va dal blocco (1) al blocco (2), è di tipo elettrico e rappresenta la codifica dell’ambiente grafico su cui è implementata l’interfaccia grafica per l’accesso alle funzioni.

Il segnale (B) va dal blocco (2) al blocco (3), è di tipo visivo e rappresenta l’immagine rilevabile dal dispositivo. In esso si possono riconoscere tre contributi dati dai segnali (B1), (B2) e (B3).

Il segnale (B1) è di tipo visivo e rappresenta l’immagine prodotta dalla matrice di pixel che compongono lo schermo. (B1) è l’immagine visibile corrispondente ad (A) ed è quindi caratterizzato da dinamicità rispetto al tempo.

Il segnale (B2) è di tipo visivo e rappresenta l’immagine prodotta dai componenti strutturali dello schermo quali ad esempio la cornice laterale e la matrice di righe di separazione dei pixel (in seguito denominata “griglia fra pixel”). Questo segnale è statico nel tempo in quanto associato all’hardware dello schermo.

Il segnale (B3) è la componente restante di (B) tolti (B1) e (B2). Anch’esso è di tipo visivo e rappresenta l’immagine dell’ambiente esterno (0) al sistema (1)+(2)+(3)+(4).

Il segnale (C) è di tipo meccanico e rappresenta la pressione subita dal dispositivo per interazione con una superficie ad opera dell’utilizzatore. Il segnale (C) va quindi dall’ambiente esterno (0) al blocco (3).

Il segnale (F) è di tipo meccanico o ottico e rappresenta l’attivazione di eventuali pulsanti o interruttori o rotelle da parte dell’utilizzatore.

I segnali (B), (C) e (F) formano l’informazione utile all’invenzione per riconoscere l’uso desiderato e praticato dall’utilizzatore tra i modi d’uso previsti.

I segnali (D) ed (E) sono di tipo elettrico o elettromagnetico a seconda della tecnologia impiegata per l’interfacciamento tra dispositivo hardware e computer. Il loro contenuto informativo dipende da come è progettata la distribuzione dei processi di elaborazione tra dispositivo hardware e computer. Il segnale (D) va dal blocco (1) al (3) e il segnale (E) va dal blocco (3) al (1).

Struttura fisica e aspetto geometrico del dispositivo hardware

Il dispositivo hardware geometricamente si caratterizza alla vista dell’utilizzatore per la presenza di una parte convergente verso un punto come ad esempio una parte a tronco di cono. In essa si concentra il nucleo ottico dell’invenzione. Definiamo questa parte punta del dispositivo. Definiamo puntatore del dispositivo il punto di convergenza della punta ovvero il punto di interazione con lo schermo. Definiamo asse principale del dispositivo l’asse ottico cioè l’asse normale all’immagine prodotta dal gruppo ottico passante per il puntatore.

Il nucleo ottico forma corpo unico con il dispositivo hardware. Esiste pertanto un rapporto di posizione fisso tra puntatore e nucleo ottico.

Materiale e geometria del puntatore sono pensate per minimizzare il suo deterioramento e quello dello schermo e per facilitare lo scorrimento durante le interazioni a contatto.

Modo d’uso del dispositivo hardware

L’uso caratteristico dell’invenzione prevede l’interazione tra il dispositivo hardware e la superficie di visualizzazione dello schermo. Il dispositivo hardware interagisce con lo schermo quando il puntatore del dispositivo è rivolto verso di esso e si trova con esso a contatto od in prossimità.

L’utilizzatore impugna il dispositivo hardware e attraverso l’utilizzo di eventuali pulsanti e il contatto meccanico tra il puntatore e la superficie dello schermo interagisce con l’immagine da essa prodotta. Il contatto può essere più o meno intenso, continuato o intermittente nel tempo, combinato con l’utilizzo di eventuali pulsanti.

I moti a contatto che l’utilizzatore può imprimere al puntatore attraverso la manipolazione del dispositivo sono la traslazione rispetto al piano dello schermo, la rotazione sull’asse principale (“Figura 1” nella sezione disegni) e rotazione dell’asse principale rispetto al puntatore (“Figura 2” nella sezione disegni). L’intensità di questi moti varia all’interno di un intervallo legato alla natura umana.

Funzionalità dell’invenzione

< >La parte “dispositivo hardware” si presta ad essere utilizzata mediante una mano.

< >La parte “puntatore del dispositivo hardware” non si deteriora.

< >Non rovina la superficie dello schermo.

< >Riconosce il contatto tra puntatore e una superficie.

< >Riconosce l’attivazione di eventuali pulsanti, interruttori, rotelle.

< >Comunica con il computer.

< >Riconosce le caratteristiche strutturali di uno schermo LCD e l’immagine da esso prodotta quando il puntatore del dispositivo hardware è a contatto o in prossimità con la superficie di visualizzazione dello stesso. Riconosce quindi di trovarsi in contatto o in prossimità con la superficie di visualizzazione di uno schermo LCD.

< >Quando il puntatore del dispositivo hardware è a contatto o in prossimità con la superficie di visualizzazione dello schermo LCD lo identifica come quello appartenente al sistema in cui si integra. Identifica l’immagine prodotta dallo schermo e le sue componenti tra cui gli oggetti dell’ambiente grafico.

< >Determina la posizione relativa del puntatore del dispositivo hardware rispetto alla superficie di visualizzazione dello schermo LCD quando le due parti si trovano a contatto o in prossimità.

< >Determina direzione e intensità degli spostamenti relativi del puntatore del dispositivo hardware sulla superficie di visualizzazione dello schermo LCD quando le due parti si trovano a contatto o in prossimità.

< >Associa la posizione e gli spostamenti relativi del puntatore a contatto o in prossimità della superficie di visualizzazione dello schermo con posizioni e spostamenti virtuali sull’immagine di interfacciamento grafico.

< >Associa all’utilizzo di eventuali pulsanti, ai tipi di interazione tra puntatore e superficie di visualizzazione dello schermo o ad una loro combinazione i comandi e le funzioni rese disponibili dal computer attraverso l’ambiente grafico visualizzato. Nota: all’attivazione di comandi attraverso l’ambiente grafico possono corrispondere anche comandi o istruzioni di funzionamento destinati all’invenzione.

< >Riceve comandi e informazioni di funzionamento attraverso il riconoscimento di oggetti grafici prefissati dell’ambiente grafico visualizzato.

< >Permette all’utilizzatore di modificare i parametri che descrivono i tipi di utilizzo di eventuali pulsanti, i tipi di interazione puntatore/schermo e i tipi di combinazione tra loro.

< >Permette all’utilizzatore di modificare l’associazione tra i segnali di input per la “manipolazione” dell’interfaccia grafica e i tipi di utilizzo di eventuali pulsanti, i tipi di interazione puntatore/schermo e i tipi di combinazione tra loro.

< >Gli effetti dell’interazione tra puntatore del dispositivo hardware e schermo LCD sono prodotti sull’interfaccia grafica in tempi di durata sufficiente a non costituire ritardi percepibili dall’utilizzatore (uomo).

Struttura del dispositivo hardware

Lo schema a blocchi “Schema 2” (vedi sezione disegni) descrive la struttura del dispositivo hardware (3). Si tratta di una suddivisione di natura funzionale, legata cioè alle classi di processi che i blocchi fisici realizzano. Il dispositivo si compone di un gruppo ottico (3.1), di un sensore di immagine (3.2), di un sensore di pressione (3.3), di uno o più pulsanti (3.6), di un controllore e/o elaboratore (3.4) e di un trasmettitore/ricevitore (3.5).

Il blocco (3.1) è un sistema ottico che realizza una visione omnidirezionale progettata per catturare l’immagine della struttura e l’immagine prodotta dalla superficie di visualizzazione dello schermo LCD quando il puntatore è con essa a contatto o in prossimità e nel rispetto degli usi previsti. Inoltre il blocco (3.1) produce un’immagine dell’intorno del puntatore adatta ad essere risoluta dal blocco (3.2) distinguendo le righe di separazione dei pixel dello schermo. Ad esempio, può essere un sistema multimmagine, catadriottico, a riflessione interna, a combinazione di specchi, ecc…

Il blocco (3.1) realizzando una visione “laterale” generalmente produce in uscita un’immagine deformata rispetto a quella ottenuta da una vista “frontale” (con obbiettivo distante). La caratteristica di trasferimento ingresso-uscita è nota.

Il sensore di immagine (3.2) è un componente optoelettronico che converte un’immagine visiva in un segnale elettrico che la descrive secondo una codifica stabilita. Costituiscono un esempio i sensori CCD, CMOS, FOVEON.

Il blocco (3.3) sensore di pressione può essere un componente elettromeccanico che converte una sollecitazione meccanica in una variazione elettrica codificata. Tuttavia è possibile rilevare la pressione in ingresso al dispositivo (3) otticamente, ad esempio rilevando rispetto ad un riferimento i movimenti di un componente meccanico da essa indotti. In questo caso il blocco (3.3) sarebbe un trasmettitore meccanico associato al gruppo ottico (3.1) e non direttamente al blocco (3.4) di controllo e/o elaborazione.

Il blocco (3.6) è un pulsante o un interruttore o una rotella o un qualsiasi dispositivo di commutazione.

Il controllore e/o elaboratore (3.4) è un componente elettronico di controllo del dispositivo e di elaborazione dati.

Il blocco (3.5) è un componente elettronico per l’interfacciamento fisico della comunicazione con il computer.

Il segnale (Z) va dal blocco (3.1) al blocco (3.2), è di tipo ottico e rappresenta un adattamento dell’immagine reale (B).

Il segnale (W) va dal blocco (3.2) al blocco (3.4), è di tipo elettrico e rappresenta l’immagine reale adattata (Z) discretizzata.

Il segnale (X) è di natura elettrica, rappresenta la discretizzazione di (C) e va al blocco (3.4) dal blocco (3.3) nel caso quest’ultimo sia di tipo elettromeccanico. Nel caso questi sia una trasmissione meccanica il segnale (X) è di tipo ottico e va dal blocco (3.3) al blocco (3.1).

Il segnale (J) va dal blocco (3.6) al blocco (3.4), è di natura elettrica e rappresenta lo stato del blocco (3.6).

Il segnale (Y) è bidirezionale tra i blocchi (3.4) e (3.5) ed è di tipo elettrico. Il suo contenuto informativo dipende da come è progettata la distribuzione dei processi di elaborazione tra dispositivo hardware (3) e computer (1).

Criteri di progettazione del gruppo ottico (Blocco 3.1 dello Schema 2) Il gruppo ottico è progettato per realizzare una visione omnidirezionale con un campo visuale di ingresso dimensionato per consentire al gruppo ottico di produrre in uscita l’immagine di una superficie limitata, in particolare di uno schermo LCD, in ogni condizione di impiego. Le condizioni di impiego sono variabili, all’interno di determinati intervalli limitati, per:

1) prossimità tra gruppo ottico e superficie dello schermo;

2) inclinazione dell’asse ottico rispetto alla superficie dello schermo; 3) posizione cartesiana del gruppo ottico rispetto alla superficie dello schermo.

Per ogni intervallo di variabilità esiste un valore critico su cui basare il dimensionamento del campo visuale di ingresso. Il valore critico è il valore dell’intervallo per il quale la dimensione del campo per ottenere la visione della superficie limitata è maggiore. Rispettivamente i punti critici sono:

1) il valore per il quale il puntatore del dispositivo hardware è a contatto con lo schermo ovvero il valore di prossimità minimo; 2) i valori di inclinazione massimi;

3) le posizioni cartesiane più distanti dal centro dello schermo ovvero, nel caso di schermo rettangolare, quelle corrispondenti ai vertici.

Alle tre variabili sopra descritte che descrivono le condizioni di impiego ne va aggiunta una quarta:

4) rotazione del gruppo ottico sul proprio asse (asse ottico o asse principale).

L’intervallo di variabilità è tipicamente l’intero angolo giro. Questa variabile non presenta un valore critico sul quale dimensionare il campo visuale di ingresso ma impone che quest’ultimo sia simmetrico rispetto all’asse ottico.

Ad esempio nell’ipotesi di schermo rettangolare e di gruppo ottico concentrato nella punta del dispositivo, il campo visuale di ingresso simmetrico andrà dimensionato riferendosi alla condizione in cui il puntatore del dispositivo hardware è collocato su un vertice dello schermo, è a contatto con esso e l’asse ottico è inclinato verso il centro dello schermo al massimo valore possibile, imponendo che il punto più distante dello schermo (ovvero il vertice opposto) vi appartenga (appartenga cioè al campo visuale).

Infine il gruppo ottico deve essere progettato per permettere al sensore, caratterizzato da una certa risoluzione, di distinguere la griglia fra pixel dello schermo LCD nella zona intorno al puntatore del dispositivo hardware. Questa caratteristica del gruppo ottico deve essere verificata per ogni condizione di utilizzo prevista. Il dimensionamento avviene quindi tenendo conto degli intervalli e dei relativi punti critici come precedentemente descritto.

Processo / Funzionamento dell’invenzione

L’invenzione rileva ciclicamente l’immagine prodotta dal proprio gruppo ottico. L’immagine digitale ottenuta viene analizzata per determinare se il puntatore del dispositivo si trovi in prossimità o a contatto con la superficie di visualizzazione di uno schermo LCD. L’analisi si basa sulla ricerca nell’immagine di elementi caratteristici dello schermo noti a priori. Ad esempio sono “elementi caratteristici noti” o “caratteristiche note” il bordo e la griglia fra pixel dello schermo (elementi o caratteristiche statiche) e gli oggetti grafici contenuti nell’ambiente grafico visualizzato (elementi o caratteristiche dinamiche). Note l’immagine (statica e dinamica) di uno schermo e la caratteristica di ingresso-uscita del gruppo ottico nella condizione di contatto o prossimità tra puntatore del dispositivo e schermo secondo i modi d’uso previsti è infatti determinabile un campo di possibili immagini attese in dette condizioni<(1)>. In detto contesto l’immagine rilevata contiene la rappresentazione dello schermo (parte statica e parte dinamica) e dell’ambiente esterno. Se l’immagine rilevata è “sovrapponibile” a quella attesa se ne deduce che il puntatore del dispositivo si trova a contatto o in prossimità della superficie di visualizzazione dello schermo LCD.

La famiglia di possibili immagini attese è molto numerosa. Si consideri infatti che, oltre alla imprevedibilità dell’immagine dell’ambiente esterno, sono ammesse tutte le posizioni di contatto e prossimità<(2)>sulla superficie di visualizzazione dello schermo e che per ognuna di esse sono ammesse un intervallo di inclinazioni rispetto ad essa<(3)>ed un intervallo di rotazioni del dispositivo (quindi anche del gruppo ottico e del sensore)<(4)>sul proprio asse.

Per verificare che l’immagine rilevata appartenga alla famiglia delle immagini ammesse si rende necessario utilizzare un metodo basato sull’individuazione di caratteristiche distintive, valide per ogni possibile immagine attesa e da ricercare nell’immagine rilevata piuttosto che un confronto esaustivo. Le caratteristiche devono essere rilevabili nel contesto e nelle condizioni già citate. In riferimento alla rilevabilità dell’immagine dello schermo in detti contesto e condizioni è necessario considerare il potere risolutivo di gruppo ottico e sensore. In particolare per il gruppo ottico va osservato che per distinguere due punti vicini appartenenti a un piano si necessita di un maggior potere risolutivo da una vista laterale (è il caso dell’invenzione) rispetto ad una frontale poiché raggi paralleli rilevati nel primo caso appaiono meno distanti tra loro rispetto al secondo in cui sono ortogonali al piano di proiezione.

Le caratteristiche di riferimento o attese sono ricercate nell’immagine rilevata nella forma che in essa assumerebbero se rilevate nel contesto e nelle condizioni già citate.

Utilizzare caratteristiche ricavate dall’immagine dinamica prodotta dallo schermo necessita un continuo flusso dati ed elaborazione. L’immagine prodotta a video essendo appunto variabile nel tempo dovrebbe essere infatti ciclicamente richiesta e ad ogni cambiamento elaborata per la ricerca delle nuove caratteristiche distintive. Da osservare che potrebbero non esistere caratteristiche dinamiche distintive come ad esempio nei casi di sfondi omogenei o formati dalla ripetizione di una uguale unità elementare (geometrie modulari). Tipicamente le celle elementari (pixel) di uno schermo LCD possiedono un angolo di proiezione inferiore all’angolo piano e di conseguenza una visione laterale in prossimità o a contatto della superficie di visualizzazione (come quella prevista) non consente di rilevare ottimamente l’immagine prodotta da pixel distanti. Tale aspetto complica la determinazione di caratteristiche rilevabili. Non conoscendo a priori la posizione del dispositivo rispetto allo schermo (questo è infatti un obiettivo/risultato dell’invenzione) non è possibile determinare quali caratteristiche sono potenzialmente rilevabili. Il problema della rilevabilità è superabile individuando caratteristiche distintive per ogni zona dell’immagine proiettata ammesso che esistano. Il problema dell’esistenza è superabile localmente producendo volontariamente un elemento distintivo a video in tempi e modi non osservabili dall’uomo ma rilevabili dall’invenzione.

Utilizzare caratteristiche dell’immagine statica prodotta dallo schermo quali ad esempio il bordo esterno e la griglia tra pixel consente di avere elementi distintivi e rilevabili fissi nel tempo e geometricamente chiari e riconoscibili nell’immagine rilevata. Risulta marcata la differenza di luminosità tra detti elementi statici e l’immagine dinamica prodotta anche quando sono dello stesso colore. Attraverso semplici derivazioni dell’immagine rilevata è quindi possibile individuarli qualora vi siano contenuti. Un’ulteriore aspetto da considerare che facilita il rilevamento e il riconoscimento del bordo di uno schermo LCD è il suo rialzo rispetto alla superficie di proiezione. Si osservi l’alto livello distintivo della griglia tra pixel. Le caratteristiche statiche vengono eventualmente rilevate una sola volta in fase di inizializzazione in condizioni fissate. L’utilizzo di caratteristiche dinamiche non preclude quello di caratteristiche statiche e viceversa.

Vale la considerazione generale che maggiori sono le caratteristiche ricercate e il loro grado distintivo, maggiore sarà la probabilità di effettuare riconoscimenti corretti.

Se l’immagine rilevata viene riconosciuta come corrispondente a quella in ingresso al gruppo ottico quando il puntatore del dispositivo si trova a contatto o in prossimità della superficie di visualizzazione dello schermo LCD ha inizio l’elaborazione dell’immagine finalizzata alla determinazione della posizione relativa.

La posizione del puntatore del dispositivo rispetto allo schermo è determinata per proprietà transitiva dei riferimenti. Anche in questo caso valgono le considerazioni su metodo per caratteristiche e metodo esaustivo. La posizione del puntatore rispetto al sensore e quindi rispetto all’immagine digitale da esso prodotta è nota (per progetto). Determinando la posizione di date caratteristiche dell’immagine attesa nell’immagine rilevata si ricava la posizione del puntatore rispetto ad esse. Nota la posizione di dette caratteristiche dell’immagine attesa rispetto allo schermo si determinata la posizione del puntatore rispetto ad esso. La posizione delle caratteristiche attese rispetto allo schermo è nota poiché sono da esso prodotte. La determinazione della posizione si risolve quindi con il calcolo della distanza vettoriale (2 componenti) tra puntatore e almeno una caratteristica. La misura si effettua contando il numero di pixel orizzontali e verticali dell’immagine rilevata necessari per collegare ogni caratteristica considerata al punto associato al puntatore. Noto il comportamento ingresso-uscita del gruppo ottico si traduce la misura effettuata nella distanza vettoriale reale fra il puntatore e la caratteristica. Nel caso si considerino più caratteristiche il risultato finale è il frutto di una mediazione. A parità di distanza tra due punti dell’immagine prodotta dal gruppo ottico la distanza in pixel dipende dalla risoluzione del sensore. La distanza tra due punti dell’immagine in uscita al gruppo ottico dipende dalla distanza da quest’ultimo dei due punti corrispondenti dell’immagine in ingresso. A differenti livelli di prossimità generalmente corrispondono infatti ingrandimenti diversi e di conseguenza varia la misura in pixel della stessa distanza . La possibilità di inclinare l’asse ottico rispetto al piano dello schermo fa si che punti di quest’ultimo simmetrici rispetto all’asse si trovino a distanze diverse dal gruppo ottico che quindi (vale per la maggior parte dei sistemi ottici) produrrà un’immagine non simmetrica dei due punti. In questi casi si introduce la possibilità che la distanza reale di una caratteristica dal puntatore sia rappresentata diversamente nell’immagine rilevata dal sensore in funzione di prossimità e inclinazione. Si rende quindi necessario rilevare i livelli di prossimità e inclinazione per valutare il comportamento ingresso-uscita del gruppo ottico. Le misure della prossimità e dell’inclinazione avvengono in base agli effetti prodotti su caratteristiche dell’immagine i cui rapporti di forma sono noti. Molto efficace a questo scopo è l’utilizzo della griglia fra i pixel che si presenta distribuita su tutta la superficie di visualizzazione dello schermo secondo una geometria modulare in tutte le direzioni e che consente pertanto di evidenziare per ognuna di esse gli effetti introdotti sull’immagine rilevata dai livelli di prossimità e inclinazione. Stabilito quindi il comportamento ingresso-uscita e misurata la distanza vettoriale sull’immagine rilevata tra puntatore e caratteristica si risale al suo valore reale. Per transitività si determina la posizione relativa del puntatore rispetto allo schermo.

Localmente<(5)>è possibile effettuare una misura assoluta di distanza tra una caratteristica e il puntatore a prescindere dalla condizione di prossimità o inclinazione del dispositivo distinguendo la griglia fra pixel dello schermo e contando il numero di pixel orizzontali e quello di pixel verticali necessari per collegare la caratteristica visualizzata al punto associato alla posizione del puntatore. La misura assoluta così svolta prescinde da prossimità e inclinazione poiché i diversi gradi di ingrandimento e le deformazioni introdotte modificano la rappresentazione della griglia fra pixel dello schermo ma non compromettono la distinzione dei singoli pixel. Il livello di accuratezza della misura assoluta è superiore ma il vincolo di località per la sua realizzazione ne impedisce un utilizzo generale in quanto non si hanno garanzie a priori sull’esistenza di caratteristiche statiche o dinamiche riconoscibili nelle vicinanze.

Valgono le considerazioni su caratteristiche statiche e dinamiche fatte precedentemente per il processo di riconoscimento anche per quelli di determinazione della posizione. Da aggiungere che nel caso di caratteristiche statiche la loro posizione rispetto allo schermo non cambia mentre nel caso di caratteristiche dinamiche la loro posizione cambia con esse ad ogni loro nuova determinazione.

Un metodo per caratteristiche richiede la loro individuazione. L’utilizzo delle stesse caratteristiche impiegate nella fase di riconoscimento consente di non ripetere l’operazione.

Le distorsioni introdotte dall’ottica impiegata, gli effetti dell’inclinazione, il rilevamento discreto dell’immagine, il grado di accuratezza nell’individuazione delle caratteristiche nell’immagine rilevata sono alcuni fattori che possono contribuire a formare un errore sul calcolo della posizione relativa del puntatore rispetto allo schermo maggiore della precisione desiderata (che al massimo può raggiungere l’unità elementare dello schermo LCD e cioè il pixel<(6)>).

Oltre a prevenirne la possibilità intervenendo sulle cause migliorando l’efficacia del sistema è possibile introdurre un processo di controllo in retroazione per la correzione del risultato. Si visualizza un cursore a video (si inserisce volontariamente una caratteristica distinguibile nota) nella posizione calcolata. Nell’ipotesi di errore piccolo<(7)>si ricerca l’elemento visualizzato nell’immagine rilevata nell’intorno del punto corrispondente al puntatore. Dopo averlo individuato si rileva la correzione in termini assoluti al fine di ottenere un risultato esatto. Localmente<(5)>è possibile effettuare una misura assoluta in qualsiasi condizione di utilizzo prevista, distinguendo la griglia fra pixel dello schermo e contando il numero di pixel orizzontali e quello di pixel verticali necessari per collegare un punto dell’elemento visualizzato al punto associato alla posizione del puntatore. L’errore è piccolo se garantisce per ogni suo possibile valore il rispetto della condizione di località. Segue che la condizione di località è sempre soddisfatta nell’ipotesi di errore piccolo e pertanto il metodo di misura assoluta sempre applicabile. La visualizzazione del cursore può essere resa rilevabile dalla sola invenzione e non dall’uomo se avviene in tempi brevi e se il cursore è di piccole dimensioni (ad esempio quanto un singolo pixel dello schermo) e di colore simile allo sfondo a cui si sovrappone. La visualizzazione per un brevissimo periodo del cursore ne permette un facile rilevamento per confronto con l’immagine dell’istante precedente, nell’ipotesi che il tempo trascorso sia stato sufficientemente breve per il verificarsi di ulteriori mutamenti nell’immagine.

Un aspetto sino ad ora non considerato riguarda la possibilità che non esistano o che per scelta non vengano utilizzate caratteristiche rilevabili sufficienti a determinare un'unica soluzione di posizione, ma un insieme finito. È questo il caso in cui ad esempio esistono caratteristiche rilevabili ma non distinguibili tra loro. Ad esempio, se la determinazione della posizione avviene basandosi solo sul bordo (rettangolare) dello schermo (può avvenire per scelta di algoritmo o ad esempio in caso di sfondo monocolore) non è possibile determinare un'unica soluzione, ma una coppia poiché non è possibile distinguere un angolo dal suo opposto (quello non coniugato interno, quello formato da entrambi lati diversi) se non vi è almeno un elemento per distinguere almeno un lato della cornice dal suo opposto. Nel caso non si determini direttamente una soluzione univoca ma comunque un numero finito di soluzioni ammissibili, l’individuazione dell’unica soluzione avviene per retroazione verificando le varie posizioni ammissibili attraverso la visualizzazione e il riconoscimento di un oggetto. Questa operazione può essere svolta simultaneamente (in un unico ciclo di refresh dello schermo) visualizzando oggetti diversi, ognuno associato ad una diversa soluzione ammissibile. L’operazione può anche essere svolta in sequenza purchè i cicli di refresh<(8)>necessari permettano di rispettare tempi totali di risposta che non devono essere osservabili dall’uomo. Da osservare che nel caso sia necessaria una retroazione per la correzione dell’errore di posizione i due processi sono combinabili in un unico feedback. Valgono le considerazioni fatte precedentemente in merito al rendere gli oggetti della retroazione non rilevabili dall’uomo. Da aggiungere che le retroazioni associate a soluzioni ammissibili non corrette sono meno rilevabili dall’utilizzatore se si ipotizza, come è ragionevole, che questi stia concentrando il proprio sguardo nella posizione associata alla soluzione corretta.

Una complicazione ai processi di riconoscimento dello schermo e di determinazione della posizione del puntatore rispetto ad esso è ammettere la possibilità che la mano dell’utilizzatore o un altro oggetto copra in parte<(9)>la visuale del gruppo ottico (ad esempio se l’utilizzatore tiene la mano con cui impugna il dispositivo appoggiata allo schermo). L’effetto è la possibilità che le caratteristiche ricercate non siano rilevabili e di conseguenza anche una maggiore probabilità che non sia possibile determinare una soluzione univoca (le caratteristiche rese non rilevabili potrebbero essere le uniche o ad alto valore distintivo).

Il primo aspetto è risolvibile scegliendo, se possibile, caratteristiche in tutto lo spazio dello schermo. Da osservare che almeno un angolo del bordo rettangolare dello schermo è sempre visibile e che pertanto esistono sempre almeno due caratteristiche rilevabili e cioè parte dei lati. L’aumento delle ambiguità è risolvibile nei modi precedentemente descritti. Inoltre rilevando l’immagine dello schermo in condizioni di prossimità si ha un campo di vista maggiore e quindi una maggiore possibilità di individuare caratteristiche sino a pochi istanti prima del massimo restringimento di visuale.

Per interazioni continuate nel tempo di contatto o anche prossimità tra dispositivo hardware e schermo la determinazione della posizione successiva può avvenire reiterando l’elaborazione effettuata per la determinazione della prima posizione o rilevando lo spostamento. Lo spostamento può essere calcolato rispettando la condizione di località, utilizzando quindi una misura assoluta che precinde dagli effetti prodotti dal gruppo ottico a causa dei suoi livelli di prossimità e inclinazione rispetto allo schermo. La condizione di località è infatti sempre soddisfatta, nell’ipotesi di un breve intervallo di tempo tra due rilevamenti consecutivi, se si visualizza un cursore nella posizione precedente e se ne misura la distanza rispetto alla nuova posizione. Una frequenza di rilevamento dell’immagine sufficientemente elevata garantisce infatti che il cursore visualizzato si trovi nell’intorno della nuova posizione. In queste condizioni l’intorno della nuova posizione in cui è possibile ritrovare l’elemento visualizzato associato a quella precedente è molto ristretto (qualche pixel dello schermo) e quindi velocemente rilevabile. Inoltre essendo l’elemento visualizzato molto prossimo alla nuova posizione si confonde con essa allo sguardo dell’utilizzatore (uomo). Valgono le considerazioni fatte precedentemente in merito al rendere il cursore non rilevabile dall’uomo. Da osservare inoltre che per applicazioni di disegno o scrittura corsiva esiste sempre una caratteristica nei pressi della nuova posizione: l’ultimo tratto disegnato ovvero precedentemente visualizzato.

Contemporaneamente alla determinazione dell’invenzione avviene il rilevamento della pressione di contatto tra puntatore e schermo e il rilevamento dell’attivazione di eventuali pulsanti. Il livello di pressione di contatto (nullo in caso di prossimità) e l’attivazione dei pulsanti vengono associati al risultato di posizione.

L’invenzione ciclicamente riconosce lo schermo ed elabora un risultato che rappresenta la posizione, la pressione di contatto e l’attivazione di pulsanti. Successivamente l’invenzione elabora in continuazione la sequenza temporale dei risultati recenti per produrre secondo le impostazioni preimpostate dall’utente l’attivazione dei comandi resi disponibili dall’interfaccia grafica.

I parametri che descrivono i tipi di utilizzo di eventuali pulsanti, i tipi di interazione puntatore/schermo e i tipi di combinazione tra loro sono modificabili dall’utente attraverso l’interfaccia grafica.

L’associazione tra i segnali di input per la “manipolazione” dell’interfaccia grafica e i tipi di utilizzo di eventuali pulsanti, i tipi di interazione puntatore/schermo e i tipi di combinazione tra loro è modificabile dall’utente attraverso l’interfaccia grafica.

La condivisione per nulla o in parte dei processi di elaborazione tra dispositivo hardware e computer permette di sfruttare la capacità di calcolo, tipicamente superiore, del computer e di realizzare tempi di risposta all’interazione tra dispositivo e schermo sufficientemente brevi; sotto il vincolo della larghezza di banda (che dipende dalla tecnologia di trasmissione utilizzata) disponibile per trasmettere i contenuti necessari all’elaborazione condivisa.

Il gruppo ottico concentrato nella punta del dispositivo hardware garantisce che vi sia sempre una connessione tra l’immagine dell’oggetto da rilevare (schermo LCD), il puntatore e il rilevatore. In particolare offre il vantaggio di avere il puntatore sempre nel campo visuale di ingresso.

INTEGRAZIONI:

(1) Il confronto fra due immagini è realizzabile solo se sono confrontabili, cioè se sono producibili nello stesso modo. L’immagine della superficie di uno schermo è prodotta in un semispazio e solamente in esso è possibile catturarla anche se in modi diversi. Si parla di confrontare l’immagine prodotta dal gruppo ottico con l’immagine da esso attesa in date condizioni. Tuttavia è possibile elaborare l’immagine prodotta dal gruppo ottico per trasformarla in quella producibile in altro modo o condizioni nel semispazio e utilizzarla come termine di confronto con l’immagine attesa nelle stesse. Ad esempio si potrebbe trasformare l’immagine ottenuta dal gruppo ottico nell’equivalente immagine ottenuta da una visione frontale e su di essa basare il confronto.

(2) Generalmente le ottiche (fanno eccezione ad esempio gli obiettivi telecentrici) mostrano un ingrandimento diverso in funzione della distanza dell’oggetto. Prossimità o contatto concorrono a determinare in questi casi ingrandimenti diversi dell’immagine dello schermo.

(3) L’asse ottico del dispositivo hardware può essere inclinato rispetto al piano dello schermo. L’effetto dell’inclinazione è quello di cambiare la posizione relativa dello schermo cioè dell’oggetto che produce l’immagine da rilevare rispetto al gruppo ottico. Generalmente le ottiche mostrano un ingrandimento o più in generale un comportamento diverso in funzione della distanza dell’oggetto. Di conseguenza quando l’asse ottico non è ortogonale al piano dello schermo accade che i punti che vi appartengono e che sono simmetrici rispetto all’asse ottico si trovino a distanze diverse dall’obiettivo, subendo quindi trasformazioni diverse (nell’ipotesi che l’ottica abbia un comportamento simmetrico). Il risultato in questi casi è un’immagine di uscita diversa per ogni inclinazione a parità di immagine di ingresso.

(4) Il sensore è costituito da una matrice di celle sensibili ordinate secondo indici di riga e colonna. L’orientamento dell’immagine da rilevare rispetto a quello della matrice determina la posizione che la prima avrà nella rappresentazione digitale ottenuta. Il sensore è vincolato al dispositivo hardware che è invece libero di ruotare sull’asse ottico e di conseguenza la stessa immagine da rilevare può essere rilevata in più orientamenti diversi rispetto a quello di lettura fissato per il sensore.

(5) La condizione di località esclude la possibilità che la griglia tra pixel dello schermo non sia rilevabile a causa del potere risolutivo del gruppo ottico e dell’angolo di proiezione dello schermo associati a distanze “grandi”.

(6) La precisione massima apprezzabile in uno schermo LCD è il suo modulo elementare e cioè il pixel. Si potrebbero raggiungere risultati migliori stimando, dopo aver determinato la posizione rispetto allo schermo con precisione al pixel, la posizione del puntatore rispetto al bordo del pixel sino a raggiungere il massimo livello possibile e cioè quello associabile alla risoluzione del sensore. Tuttavia tale risultato non sarebbe apprezzabile negli effetti a video ma al più si mostrerebbe utile nelle applicazioni di disegno. Sarebbe possibile disegnare immagini con una risoluzione maggiore della risoluzione resa disponibile dallo schermo e apprezzarla negli ingrandimenti.

(7) Minore è l’errore e minore è l’area nell’intorno del punto dell’immagine rilevata associato puntatore in cui si effettua la ricerca.

(8) Frequenza di refresh tipica degli schermi LCD è maggiore o uguale a 60 Hz.

(9) Si intende parziale una copertura di visuale minore (non minore uguale) all’angolo piano. Ciò consente di avere una visuale maggiore uguale all’angolo piano che garantisce la possibilità di riconoscere per qualsiasi posizione almeno un angolo del bordo (rettangolare) dello schermo.

Claims (1)

1. RIVENDICAZIONI [1] Dispositivo di puntamento caratterizzato da gruppo ottico omnidirezionale in uno spazio tridimensionale definito per catturate l’immagine di una superficie limitata, in particolare di uno schermo LCD, in ogni condizione di impiego variabile per: prossimità tra gruppo ottico e superficie dello schermo, inclinazione dell’asse ottico rispetto alla superficie dello schermo, rotazione del gruppo ottico sul proprio asse e posizione cartesiana del gruppo ottico rispetto alla superficie dello schermo. [2] Dispositivo di puntamento secondo la rivendicazione 1, caratterizzato da gruppo ottico e sensore video dimensionati con risoluzione tale da permettere di distinguere la griglia fra pixel di uno schermo LCD nell’intorno del puntatore del dispositivo hardware, in ogni condizione di impiego variabile per: prossimità tra gruppo ottico e superficie dello schermo, inclinazione dell’asse ottico rispetto alla superficie dello schermo, rotazione del gruppo ottico sul proprio asse e posizione cartesiana del gruppo ottico rispetto alla superficie dello schermo. [3] Dispositivo di puntamento secondo le rivendicazioni 1 o 2, caratterizzato da gruppo ottico concentrato nella punta del dispositivo ovvero la parte a cui appartiene il puntatore, cioè il punto del dispositivo a cui è associata la posizione cartesiana dello stesso rispetto alla superficie limitata. [4] Dispositivo di puntamento secondo le rivendicazioni 1 o 2 o 3, caratterizzato da processo di misura della posizione del puntatore del dispositivo hardware rispetto alla superficie dello schermo LCD basato sulla misura della distanza vettoriale (2 componenti) tra le posizioni nell’immagine rilevata dal sensore, del puntatore del dispositivo hardware e di un elemento distinguibile di cui è nota la posizione rispetto allo schermo e da quest’ultimo prodotto. [5] Dispositivo di puntamento secondo le rivendicazioni 4, caratterizzato da processo di misura della distanza tra un elemento distinguibile visualizzato dallo schermo LCD e il puntatore del dispositivo basato sul riconoscimento e il conteggio dei pixel verticali e orizzontali dello schermo che separano i due oggetti nell’immagine rilevata. [6] Dispositivo di puntamento secondo la rivendicazioni 4, caratterizzato da processo di misura della distanza tra un elemento distinguibile visualizzato dallo schermo LCD e il puntatore del dispositivo basato sul conteggio, ponderato in base alla caratteristica ingresso uscita del gruppo ottico e ai livelli di prossimità e inclinazione calcolati, dei pixel verticali e orizzontali (pixel del sensore) che separano i due oggetti nell’immagine rilevata. [7] Dispositivo di puntamento secondo la rivendicazione 6, caratterizzato da processo di determinazione dei livelli di prossimità e inclinazione del gruppo ottico rispetto alla superficie dello schermo LCD basato sull’analisi rispetto a condizioni standard degli effetti da essi prodotti nell’immagine rilevata di caratteristiche distintive dello schermo LCD di forma e posizione (rispetto allo schermo) note nelle condizioni standard. [8] Dispositivo di puntamento secondo le rivendicazioni 4 o 5 o 6 o 7, caratterizzato da processo di correzione per retroazione della misura di posizione del puntatore del dispositivo hardware rispetto allo schermo LCD. La retroazione avviene misurando la distanza tra un elemento grafico distinguibile visualizzato nel punto corrispondente al risultato di posizione ottenuto e quella del puntatore del dispositivo hardware. [9] Dispositivo di puntamento secondo le rivendicazioni 4 o 5 o 6 o 7, caratterizzato da processo di eliminazione per retroazione delle ambiguità del risultato di posizione del puntatore del dispositivo hardware rispetto allo schermo LCD. La retroazione avviene visualizzando nei punti dello schermo corrispondenti ai possibili risultati di posizione elementi grafici distinguibili tra loro diversi e verificando quale tra essi è rilevato dal dispositivo.