SE529599C2

SE529599C2 - Computer system has data processor that generates feedback data based on absolute position of user's gaze point with respect to display during initial phase, and based on image data during phase subsequent to initial phase

Info

Publication number: SE529599C2
Application number: SE0600208A
Authority: SE
Inventors: John Elvesjoe; Anders Olsson; Johan Sahlen
Original assignee: Tobii Technology Ab
Priority date: 2006-02-01
Filing date: 2006-02-01
Publication date: 2007-10-02
Also published as: CN101379456B; CN101379456A; SE0600208L

Abstract

Image devices (135a,135b) register image data representing the movements (MR) of the body (145) of a user (140) and forward a representation of the image data to a data processor (110). The data processor generates feedback data based on the absolute position of the user's gaze point with respect to a display (120) during an initial phase. The data processor generates feedback data based on the image data during a phase subsequent to the initial phase. Independent claims are also included for the following: (1) a method for controlling a computer system; (2) a computer program; and (3) a computer readable medium.

Description

529 599 2 och för att effektivisera samt göra datainmatningen mera använ- darvänlig har olika slags lösningar föreslagits. 529 599 2 and in order to streamline and make data entry more user-friendly, various types of solutions have been proposed.

US, 5,367,315 beskriver en metod och en apparat för att styra markörrörelser på en datorskärm baserat på en användares ögon och huvudrörelser. Systemet aktiveras genom manipule- ring av en bestämt knapp eller brytare. Därefter kan användaren positionera markören på godtycklig position på skärmen genom att röra sina ögon och huvud på samma sätt som med en kon- ventionell mus. Specifikt utnyttjas infraröda detektorer för att av- göra den relativa positionen för användarens huvud inom ett de- finierat aktivitetsområde, så att markörens position på skärmen beror av huvudets position inom aktivitetsområdet. Användarens ögon används här primärt som ljusreflektorer för att avgöra för- ändringar i huvudpositionen inom aktivitetsområdet. Sålunda etableras ett förhållande mellan ögonen/huvudpositionen och markörpositionen.US, 5,367,315 describes a method and apparatus for controlling cursor movements on a computer screen based on a user's eyes and head movements. The system is activated by manipulating a specific button or switch. The user can then position the cursor at any position on the screen by moving his eyes and head in the same way as with a conventional mouse. Specifically, infrared detectors are used to determine the relative position of the user's head within a defined area of activity, so that the position of the cursor on the screen depends on the position of the head within the area of activity. The user's eyes are used here primarily as light reflectors to determine changes in the main position within the activity area. Thus, a relationship is established between the eyes / head position and the cursor position.

US, 6,215,471 redogör för synpekarmetod och -apparat, varvid en användare styr rörelserna hos en pekare på skärmen genom en motsvarande rotation eller rörelse hos ett visuellt identifier- bart kännetecken, såsom ett ansiktsdrag. Dessutom kan använ- daren genom att förändra ett föränderligt visuellt kännetecken, exempelvis genom att sluta ett öga, alstra styrsignaler represen- terande musklick och liknande funktioner. I analogi med ovans- tående lösning finns det även här ett nära förhållande mellan positioneringen av det identiflerbara kännetecknet och pekar- positionen på skärmen.US, 6,215,471 discloses a pointing method and apparatus in which a user controls the movements of a pointer on the screen by a corresponding rotation or movement of a visually identifiable feature, such as a facial feature. In addition, the user can, by changing a changing visual characteristic, for example by closing an eye, generate control signals representing mouse clicks and similar functions. In analogy to the above solution, there is also a close relationship between the positioning of the identifiable feature and the pointer position on the screen.

US 6,204,828 uppvisar ett datordrivet system för att assistera en operatör vid positionering av en markör på en skärm. Här beräk- nar systemet operatörens blickpunkt på skärmen, och placerar initialt markören inom en blickarea identifierad av denna position. En mekanisk inmatningsanordning, exempelvis en mus eller ett tangentbord, används sedan för att styra markören från den initiala positionen till en avsedd slutposition på skärmen. 10 15 20 25 30 529 599 3 Den första två lösningarna ovan är problematiska eftersom det vid användande av dessa strategier kan vara svårt för användaren, som kanske är en handikappad person, att styra sitt huvud eller blick med tillräckligt hög noggrannhet för att placera markören på en önskad plats på skärmen. Dessutom kan, även om användaren är kapabel att styra sin kropp med mycket hög noggrannhet, olika slags brister i följningsutrustnin- gen introducera mätfel vid registrering ögonens/huvudets respektive blickpunktens position, så att det ändå blir svårt, eller åtminstone tröttsamt att uppnå det önskade resultatet. Den sistnämnda lösningen innebär en förbättring i det här avseendet, eftersom användaren här kan kompensera för eventuella fel i den mekaniska inmatningsanordningen. Icke desto mindre är manipulering av sådana mekaniska anordningar förknippad med uttröttning, repetitiva utmattningsbelastningsskador etc. Därtill är en mekanisk inmatningsanordning, såsom en konventionell mus, relativt långsam och fordrar en viss aktionsyta, antingen på skrivbordet eller en anordningsyta (i fallet med en bärbar dator). I vissa fall finns det ingen sådan yta tillgänglig, eller det är problematiskt att tillhandahålla det erforderliga utrymmet.US 6,204,828 discloses a computer driven system for assisting an operator in positioning a cursor on a screen. Here, the system calculates the operator's point of view on the screen, and initially places the cursor within a field of view identified by this position. A mechanical input device, such as a mouse or keyboard, is then used to control the cursor from the initial position to a designated end position on the screen. 10 15 20 25 30 529 599 3 The first two solutions above are problematic because when using these strategies it can be difficult for the user, who may be a disabled person, to control his head or gaze with sufficient accuracy to place the cursor on a desired location on the screen. In addition, although the user is able to control his body with very high accuracy, various types of defects in the tracking equipment can introduce measurement errors when registering the position of the eye / head and eye point, respectively, so that it still becomes difficult, or at least tiring, to achieve the desired result. . The latter solution means an improvement in this respect, since the user here can compensate for any faults in the mechanical input device. Nevertheless, manipulation of such mechanical devices is associated with fatigue, repetitive fatigue damage, etc. In addition, a mechanical input device, such as a conventional mouse, is relatively slow and requires a certain area of action, either on the desk or a device surface (in the case of a laptop). . In some cases, no such space is available, or it is problematic to provide the required space.

SAMMANFATTNING AV UPPFINNINGEN Syftet med uppfinningen är därför att erbjuda en lösning, vilken mildrar problemen ovan och sålunda tillhandahåller ett använ- darvänligt och ergonomiskt passande medel att högeligen effek- tivt sätt styra ett datorsystem med hög precision.SUMMARY OF THE INVENTION The object of the invention is therefore to offer a solution which alleviates the above problems and thus provides a user-friendly and ergonomically suitable means of highly efficiently controlling a computer system with high precision.

Enligt en aspekt av uppfinningen uppnås syftet genom det inled- ningsvis beskrivna datorsystemet för att visa information, varvid systemet inkluderar åtminstone en avbildningsanordning anpas- sad att vidareförmedla en representation av bilddatat till databe- arbetningsenheten, vilken i sin tur är anpassad att presentera re- turdatat på ett sådant sätt att datat under en initial fas alstras ba- serat på en absolut position hos blickpunkten, och under en fas efterföljande den initiala fasen, datat alstras baserat på bilddatat. 10 15 20 25 30 529 599 4 Detta system är fördelaktigt genom sitt snabba gensvar och myc- ket intuitiva användargränssnitt. Under den initiala fasen kan returdatat presenteras i relativt nära anslutning till den skärmyta mot vilken användarens blick faktiskt är riktad. Den föreslagna efterföljande fasen medger att användaren finjusterar returdatat i förhållande till den initiala positionen genom att röra en vald kroppsdel, och kan sålunda alstra styrkommandon återspeglande en relativ förflyttning. Detta erbjuder såväl en hög flexibilitet som en stor frihet vad gäller den kroppsdel som används.According to one aspect of the invention, the object is achieved by the initially described computer system for displaying information, the system including at least one imaging device adapted to pass on a representation of the image data to the data processing unit, which in turn is adapted to present the return data in such a way that the data during an initial phase is generated based on an absolute position of the gaze point, and during a phase following the initial phase, the data is generated based on the image data. 10 15 20 25 30 529 599 4 This system is advantageous due to its fast response and very intuitive user interface. During the initial phase, the return data can be presented in close proximity to the screen surface to which the user's gaze is actually directed. The proposed subsequent phase allows the user to fine-tune the return data relative to the initial position by touching a selected body part, and can thus generate control commands reflecting a relative movement. This offers both a high degree of flexibility and a great deal of freedom with regard to the body part used.

Enligt en föredragen utföringsform av den här aspekten av upp- finningen är databearbetningsenheten anpassad att motta ett användaralstrat startkommando, och inleda den initiala fasen som svar på ett mottagande av startkommandot. Därmed uppnås en otvetydig timing av det returdata som presenteras som svar på blickpunkten. Detta förbättrar i sin tur kvaliteten hos använ- dargränssnittet. Beroende på implementeringen och använda- rens preferenser kan startkommandot alstras genom aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten inom en viss yta på skärmen under en tröskel- vilotid, eller genom att förflytta blickpunkten enligt en förutbes- tämd rörelsesekvens, exempelvis en så kallad sackad.According to a preferred embodiment of this aspect of the invention, the data processing unit is adapted to receive a user-generated start command, and to initiate the initial phase in response to a reception of the start command. This achieves an unambiguous timing of the return data presented in response to the point of view. This in turn improves the quality of the user interface. Depending on the implementation and user preferences, the start command can be generated by activating a mechanical input means, a voice command, placing the gaze point within a certain area of the screen during a threshold rest period, or by moving the gaze point according to a predetermined motion sequence, e.g. so-called sacked.

Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen är databearbetningsenheten anpassad att inle- da den efterföljande fasen efter en förutbestämd varaktighet hos den initiala fasen. Den initiala fasen kan normalt sett göras rela- tivt kort, säg 1 till 2 sekunder (eller även väsentligt kortare).According to another preferred embodiment of this aspect of the invention, the data processing unit is adapted to initiate the subsequent phase after a predetermined duration of the initial phase. The initial phase can normally be made relatively short, say 1 to 2 seconds (or even significantly shorter).

Därefter kan det vara fördelaktigt om den efterföljande fasen startar automatiskt.Thereafter, it may be advantageous if the subsequent phase starts automatically.

Enligt en alternativ utföringsform av den här aspekten av uppfin- ningen är databearbetningsenheten istället anpassad att motta ett användaralstrat utlösningskommando, och inleda den efter- följande fasen som svar på ett mottagande av utlösningskom- mandot. Således kan användaren välja tidpunkten då han/hon anser det vara lämpligt att börja styra returdatat som svar på rö- 10 15 20 25 30 529 599 5 relser hos nämnda kroppsdel. Exempelvis kan systemet med för- del inkludera organ anpassade för att motta det användaralst- rade utlösningskommandot i form av: aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten inom en viss yta på skärmen under en tröskelvilotid, eller genom att förflytta blickpunkten enligt en förutbestämd rörelsesekvens, (exempelvis en sackad). Därmed kan nämligen effektiviteten i användarens interaktion med systemet ytterligare förbättras.According to an alternative embodiment of this aspect of the invention, the data processing unit is instead adapted to receive a user-generated trigger command, and to initiate the subsequent phase in response to a reception of the trigger command. Thus, the user can choose the time when he / she considers it appropriate to start controlling the return data in response to movements of said body part. For example, the system may advantageously include means adapted to receive the user-generated trigger command in the form of: activating a mechanical input means, a voice command, placing the gaze point within a certain area of the screen during a threshold rest period, or by moving the gaze point according to a predetermined sequence of motion, (e.g. a sacked). This means that the efficiency of the user's interaction with the system can be further improved.

Enligt ytterligare en annan föredragen utföringsform av den här aspekten av uppfinningen representerar returdatat en grafisk pe- kare. Dessutom är databearbetningsenheten anpassad att under den initiala fasen positionera pekaren på skärmen vid en start- placering återspeglad av blickpunkten, exempelvis på ett visst avstånd från en uppskattad position för blickpunkten. Under den efterföljande fasen är databearbetningsenheten anpassad att förflytta pekaren från startpositionen som svar på bildbatat vilket representerar kroppsdelen som rör sig. Företrädesvis är data- bearbetningsenheten anpassad att tolka bilddatat som represen- terande en relativ förflyttning av den grafiska pekaren från start- positionen på ett sådant sätt att en viss rörelse av kroppsdelen förorsakar en förutbestämd förflyttning av den grafiska pekaren.According to yet another preferred embodiment of this aspect of the invention, the return data represents a graphical pointer. In addition, during the initial phase, the data processing unit is adapted to position the pointer on the screen at a starting position reflected by the point of view, for example at a certain distance from an estimated position of the point of view. During the subsequent phase, the data processing unit is adapted to move the pointer from the starting position in response to the image debate, which represents the moving body part. Preferably, the data processing unit is adapted to interpret the image data as representing a relative movement of the graphic pointer from the starting position in such a way that a certain movement of the body part causes a predetermined movement of the graphic pointer.

Alltså kan användaren, genom att röra på kroppsdelen under det att vederbörande betraktar skärmen gradvis styra pekaren att förflyttas från startpositionen enligt vad han/hon önskar.Thus, by moving the body part while looking at the screen, the user can gradually control the pointer to be moved from the starting position as he / she wishes.

Enligt ännu en annan föredragen utföringsform av den här as- pekten av uppfinningen är databearbetningsenheten anpassad att förorsaka skärmen att under den efterföljande fasen upprepat uppdatera det presenterade bilddatat. Alltså underlättas exem- pelvis den ovan nämnda gradvisa förflyttningen.According to yet another preferred embodiment of this aspect of the invention, the data processing unit is adapted to cause the screen to repeatedly update the presented image data during the subsequent phase. Thus, for example, the above-mentioned gradual movement is facilitated.

Enligt en ytterligare föredragen utföringsform av den här aspek- ten av uppfinningen är den åtminstone en avbildningsanordnin- gen inkluderad i ögonrörelseföljaren. Därmed kan avbildningsan- ordningen och ögonrörelseföljaren använda sig av en gemensam kameraenhet. Naturligtvis är detta fördelaktigt ur kostnadshän- 10 15 20 25 30 529 599 seende och vad gäller kompaktheten hos konstruktionen.According to a further preferred embodiment of this aspect of the invention, it is at least one imaging device included in the eye movement tracker. This allows the imaging device and the eye movement sensor to use a common camera unit. Of course, this is advantageous from a cost point of view and in terms of the compactness of the construction.

Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen inkluderar den grafiska informationen en första del representerande icke-returdata och en andra del represente- rande returdatat. Dessutom är databearbetningsenheten anpas- sad att förorsaka presentation av den andra delen vid en bekräf- telseposition på skärmen, där bekräftelsepositionen beror av in- nehållet i den första delen. Detta betyder att returdatabeteendet kan anpassas till det aktuella skärminnehållet, så väl som till det inbördes placeringsmässiga förhållandet mellan detta innehåll och returdatat. Exempelvis kan returdata i form av en grafisk pe- kare ha ett första utseende och/eller uppträdande då den befin- ner sig över, eller nära, ett manipulerbart GUI-objekt, och ett andra utseende och/eller beteende då den befinner sig på en skårmyta som inte innehåller några sådana objekt.According to another preferred embodiment of this aspect of the invention, the graphical information includes a first part representing non-return data and a second part representing return data. In addition, the data processing unit is adapted to cause presentation of the second part at a confirmation position on the screen, where the confirmation position depends on the contents of the first part. This means that the return data behavior can be adapted to the current screen content, as well as to the mutual placement relationship between this content and the return data. For example, return data in the form of a graphical pointer may have a first appearance and / or behavior when it is over, or close to, a manipulable GUI object, and a second appearance and / or behavior when it is on a notch surface that does not contain any such objects.

Enligt en annan aspekt av uppfinningen uppnås syftet genom den inledningsvis beskrivna metoden, varvid bilddata registreras, som representerar rörelserna hos kroppsdelen. Returdatat pre- senteras så att returdatat under en initial fas alstras baserat på en absolut position hos blickpunkten. Under en fas efterföljande den initiala fasen alstras istället returdatat baserat på nämnda bilddata.According to another aspect of the invention, the object is achieved by the method initially described, in which image data is recorded, which represents the movements of the body part. The return data is presented so that the return data during an initial phase is generated based on an absolute position of the focal point. During a phase following the initial phase, the return data is instead generated based on said image data.

Fördelarna med denna metod, så väl som med de föredragna utföringsformerna därav, framgår av diskussionen här ovan med hänvisning till det föreslagna datorsystemet.The advantages of this method, as well as of the preferred embodiments thereof, will be apparent from the discussion above with reference to the proposed computer system.

Enligt ytterligare en aspekt av uppfinningen uppnås syftet ge- nom ett datorprogram, vilket är direkt laddbart till internminnet i en dator, och där programmet inkluderar mjukvara för att styra stegen i den ovan föreslagna metoden då programmet körs på en dator.According to a further aspect of the invention, the object is achieved through a computer program, which is directly loadable to the internal memory of a computer, and where the program includes software for controlling the steps of the above proposed method when the program is run on a computer.

Enligt en annan aspekt av uppfinningen uppnås syftet genom ett datorläsbart medium med ett lagrat program, där programmet är ägnat att styra en dator att utföra ovan nämnda metod. 10 15 20 25 30 529 599 Generellt sett är en genom uppfinningen uppnåelig bonuseffekt att det bildbaserade datat som alstras under den efterföljande fasen kan användas för att automatiskt kalibrera ögonrörelseföl- jaren. Genom att studera detta data kan nämligen slutsatser dras beträffande hur ögonrörelseföljaren bör justeras för att mi- nimera eventuella fel mellan den av ögonrörelseföljaren registre- rade blickpunkten och användarens estimerade faktiska blick- punkt Ytterligare fördelar, fördelaktiga särdrag och tillämpningar av uppfinningen kommer att framgå av följande beskrivning och de beroende patentkraven.According to another aspect of the invention, the object is achieved by a computer-readable medium having a stored program, the program being adapted to control a computer to perform the above-mentioned method. In general, a bonus effect achievable by the invention is that the image-based data generated during the subsequent phase can be used to automatically calibrate the eye movement tracker. By studying this data, conclusions can be drawn regarding how the eye movement sensor should be adjusted to minimize any errors between the eye point registered by the eye movement sensor and the user's estimated actual point of view. Additional advantages, advantageous features and applications of the invention will become apparent from the following description and the dependent claims.

KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer nu att förklaras närmare genom föredrag- na utföringsformer, vilka beskrivs som exempel, och med hän- visning till de bifogade ritningarna.BRIEF DESCRIPTION OF THE DRAWINGS The invention will now be explained in more detail by means of preferred embodiments, which are described by way of example, and with reference to the accompanying drawings.

Figur1 visar en övergripande bild av en användare som interagerar med det föreslagna datorsystemet; Figur2 visar en detaljvy av skärmen i Figur 1, enligt en föredragen utföringsform av uppfinningen; och Figur 3 illustrerar med hjälp av ett flödesschema en allmän metod för att styra ett datorsystem enligt uppfin- ningen.Figure 1 shows an overall view of a user interacting with the proposed computer system; Figure 2 shows a detail view of the screen of Figure 1, according to a preferred embodiment of the invention; and Figure 3 illustrates by means of a flow chart a general method for controlling a computer system according to the invention.

BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMER AV UPPFINNINGEN Figur 1 visar en övergripande bild av ett typiskt användningsfall enligt uppfinningen. Här styr en användare 140 ett datorsystem med hjälp av ögonrörelser och rörelser av en viss kroppsdel.DESCRIPTION OF PREFERRED EMBODIMENTS OF THE INVENTION Figure 1 shows an overall view of a typical use case according to the invention. Here, a user 140 controls a computer system by means of eye movements and movements of a certain body part.

Systemet inkluderar en databearbetningsenhet 110, en skärm 120 och en ögonrörelseföljare 130, som antingen är integrerad i skärmen 120 (så som visas i figuren), eller är en separat enhet. 10 15 20 25 30 35 529 599 8 Ögonrörelseföljaren 130 är anpassad att registrera användarens 140 blickpunkt PG på skärmen 120. För detta ändamål är ögon- rörelseföljaren 130 med fördel utrustad med en eller flera avbild- ningsanordningar 135a och 135b. Det är i allmänhet fördelaktigt om ögonrörelseföljaren 130 även inkluderar, eller är knuten till en eller flera ljuskällor 1350 och 135d för utsändning av ljus, exempelvis i det infraröda eller nära det infraröda spektrumet, mot användaren 140. Ögonrörelseföljaren 130 är anpassad att alstra ögonföljningsdata DEYE som beskriver blickpunkten PG, samt att vidareförmedla detta data DEYE till databearbetningsen- heten 110.The system includes a data processing unit 110, a screen 120 and an eye movement sensor 130, which is either integrated in the screen 120 (as shown in the figure), or is a separate unit. 10 15 20 25 30 35 529 599 8 The eye movement sensor 130 is adapted to register the user's eye point PG on the screen 120. For this purpose, the eye movement sensor 130 is advantageously equipped with one or more imaging devices 135a and 135b. It is generally advantageous if the eye movement sensor 130 also includes, or is connected to, one or more light sources 1350 and 135d for emitting light, for example in the infrared or near the infrared spectrum, towards the user 140. The eye movement sensor 130 is adapted to generate eye tracking data DEYE describes the point of view PG, and to pass this data DEYE to the data processing unit 110.

Databearbetningsenheten 110 är anpassad att vidareförmedla grafisk information GR[S, FB] för presentation på skärmen 120.The data processing unit 110 is adapted to transmit graphical information GR [S, FB] for presentation on the screen 120.

Enligt uppfinningen representerar åtminstone en del av denna in- formation GRjS, FB] returdata FB alstrad som svar på användar- kommandon inmatade till bearbetningsenheten 110. Dessa kom- mandon alstras baserat på antingen blickpunkten PG, eller rörel- ser MR av en kroppsdel 145 hos användaren 140. Systemet kan kalibreras att detektera rörelserna MR av väsentligen vilken kroppsdel 145 som helst. Det är emellertid fördelaktigt om kroppsdelen är förhållandevis visuellt distinkt, såsom näsan, munnen, hela huvudet, handen, underarmen etc. Det är fördelak- tigt att välja ögonparet (det vill säga ett bildsegment inkluderan- de användarens 140 bägge ögon) för att representera en kropps- del 145 relativt till vilken ögonen är fixerade (exempelvis huvu- det). l så fall kan nämligen ögonrörelseföljaren 130, som är opti- merad att registrera olika ögonrelaterade karakteristika även an- vändas för att detektera rörelserna av nämnda kroppsdel 145. l alla händelser inkluderar systemet en avbildnlngsanordning som är anpassad att registrera bilddata DRODY representerande rörelserna MR av kroppsdelen 145. Enligt vad som nämnts ovan kan denna avbildnlngsanordning vara identisk med en eller flera av anordningarna 135a och/eller 135b som är inkluderade i ögonrörelseföljaren 130. Avbildningsanordningen är vidare an- passad att vidareförmedla en representation av bilddatat DRODY 10 15 20 25 30 529 599 till databearbetningsenheten 110. Beroende på bearbetningska- paciteten hos avbildningsanordningen betyder detta att enheten 110 mottar antingen rå bilddata (väsentligen så som den regist- rerats av avbildningsanordningen), eller en bearbetad version av bilddatat. I det senare fallet kan avbildningsanordningen förse databearbetningsanordningen 110 med en signal, vilken inne- håller relevant positions-/tidsinformation, rörelsevektorer etc.According to the invention, at least a part of this information represents GRjS, FB] return data FB generated in response to user commands input to the processing unit 110. These commands are generated based on either the focus point PG, or movements MR of a body part 145 of the user 140. The system can be calibrated to detect the movements MR of substantially any body part 145. However, it is advantageous if the body part is relatively visually distinct, such as the nose, mouth, whole head, hand, forearm, etc. It is advantageous to select the pair of eyes (i.e. an image segment including the user's both eyes) to represent a body part 145 relative to which the eyes are fixed (for example the head). In that case, the eye motion sensor 130, which is optimized to record various eye-related characteristics, can also be used to detect the movements of said body part 145. In all cases, the system includes an imaging device adapted to record image data DRODY representing the movements MR of the body part. 145. As mentioned above, this imaging device may be identical to one or more of the devices 135a and / or 135b included in the eye movement sensor 130. The imaging device is further adapted to transmit a representation of the image data DRODY 10 15 20 25 30 529 599 to the data processing unit 110. Depending on the processing capacity of the imaging device, this means that the unit 110 receives either raw image data (substantially as recorded by the imaging device), or a processed version of the image data. In the latter case, the imaging device may provide the data processing device 110 with a signal which contains relevant position / time information, motion vectors, etc.

Databearbetningsenheten 110 är anpassad att motta både ögon- följningsdatat DEYE och representationen av bilddatat DBODY.The data processing unit 110 is adapted to receive both the eye tracking data DEYE and the representation of the image data DBODY.

Baserat på dessa data presenterar enheten 110 returdatat FB så att: datat FB under en initial fas alstras baserat på en absolut position hos blickpunkten PG; och under en fas efterföljande den initiala fasen datat FB alstras baserat på bilddatat DBODY. Före- trädesvis inkluderar databearbetningsenheten 110, eller så är denna enhet knuten till, en minnesenhet 115 som är anpassad att lagra mjukvara för att styra enheten 110 att exekvera denna process.Based on this data, the unit 110 presents the return data FB so that: the data FB during an initial phase is generated based on an absolute position of the gaze point PG; and during a phase following the initial phase the data FB is generated based on the image data DBODY. Preferably, the data processing unit 110, or attached to this unit, includes a memory unit 115 that is adapted to store software to control the unit 110 to execute this process.

Vi vänder oss nu till Figur 2, där vi ser en mera detaljerad vy av skärmen 120 i Figur 1. Naturligtvis kan returdatat FB represen- tera många olika slags grafisk information, såsom markering av GUl:er, aktivering av så kallade applets osv.We now turn to Figure 2, where we see a more detailed view of the screen 120 in Figure 1. Of course, the return data FB can represent many different kinds of graphical information, such as selection of GUs, activation of so-called applets, and so on.

Enligt en utföringsform av uppfinningen representerar returdatat FB en grafisk pekare 210. Vid denna utföringsform är databear- betningsenheten 110 anpassad att, under den initiala fasen, positionera pekaren 210 på skärmen 120 vid en startplacerlng LS, vilken definieras av blickpunkten PG (det vill säga en skärm- yta mot vilken ögonrörelseföljaren 130 estimerar att använda- rens 140 blick är riktad). Därmed kan pekarens 210 startposition LS överlappa blickpunkten PG, eller vara en position som har en viss lokalitet i förhållande till blickpunkten PG.According to one embodiment of the invention, the return data FB represents a graphical pointer 210. In this embodiment, the data processing unit 110 is adapted to, during the initial phase, position the pointer 210 on the screen 120 at a start location LS, which is defined by the focus point PG (i.e. a screen surface to which the eye movement sensor 130 estimates that the user's 140 gaze is directed). Thus, the starting position LS of the pointer 210 may overlap the gaze point PG, or be a position having a certain locality in relation to the gaze point PG.

I det i Figur 2 illustrerade exemplet visar skärmen 120 även grafik i form av ett primärt objekt 220, vilket i sin tur inkluderar en första och en andra skärmtangent 221 respektive 222. Vi an- 10 15 20 25 30 529 599 10 tar här att användaren 140 avser att aktivera den andra skärm- tangenten 222, och därför är intresserad av att förflytta pekaren 210 över detta grafiska objekt. Således kan den faktiska blick- punkten befinna sig i mitten av det primära objektet 220 (det vill säga ungefär vid PG).In the example illustrated in Figure 2, the screen 120 also displays graphics in the form of a primary object 220, which in turn includes a first and a second screen key 221 and 222, respectively. We assume here that the user 140 intends to activate the second screen key 222, and is therefore interested in moving the pointer 210 over this graphic object. Thus, the actual focal point may be in the center of the primary object 220 (i.e., approximately at PG).

I syfte att placera pekaren 210 på den önskade positionen rör MR användaren 140 under den efterföljande fasen den speciella kroppsdelen, såsom sitt huvud 145. Avbildningsanordningen re- gistrerar denna rörelse MR, och alstrar motsvarande bilddata DRODY, av vilket en representation vidareförmedlas till databear- betningsenheten 110. Denna enhet 110 förorsakar i sin tur så- dan returdata FB att presenteras på skärmen 120 att pekaren 210 förflyttar sig från startplaceringen Ls (det vill säga pekaren 210 förflyttar sig som svar på bilddatat DBODY).In order to place the pointer 210 in the desired position, the MR user 140 during the subsequent phase touches the special body part, such as its head 145. The imaging device registers this movement MR, and generates the corresponding image data DRODY, of which a representation is passed to the data processing unit. 110. This unit 110 in turn causes such return data FB to be presented on the screen 120 that the pointer 210 moves from the start position Ls (that is, the pointer 210 moves in response to the image data DBODY).

Enligt en föredragen utföringsform av uppfinningen är databear- betningsenheten 110 anpassad att tolka representationen av bilddatat DBODY att representera en relativ förflyttning dR av den grafiska pekaren 210 från startplaceringen Ls på ett sådant sätt att en viss rörelse MR av kroppsdelen 145 förorsakar en förut- bestämd förflyttning av den grafiska pekaren 210. Ur ett moto- riskt hänseende är det nämligen en mycket intuitiv rörelsepro- cess för användaren 140. Naturligtvis är här ett godtyckligt för- hållande mellan rörelsen MR och förflyttningen dR tänkbart. Mån- ga gånger är ett rent linjärt förhållande önskvärt. I andra tillämp- ningar kan emellertid ett ickelinjärt förhållande vara mera effektivt. l vilket fall som helst är det fördelaktigt om en allmän rörelse av kroppsdelen 145 åt höger förorsakar att pekaren för- flyttar sig åt höger över skärmen 120, en allmän rörelse av kroppsdelen 145 ät vänster förorsakar att pekaren förflyttar sig åt vänster över skärmen 120, och så vidare. Naturligtvis kan databearbetningsenheten 110 dessutom vara anpassad att ur- skilja mera komplicerade rörelser MR, så att pekaren 210 kan förflyttas i godtycklig riktning över skärmen 120 som svar på kroppsdelsrörelserna. 10 15 20 25 30 529 599 11 Det är vidare fördelaktigt om databearbetningsenheten 110 är anpassad att förorsaka att skärmen 120 under den efterföljande fasen upprepat uppdaterar returdatat FB som svar på bilddatat DBODY. Företrädesvis utförs en sådan uppdatering med en relativt hög frekvens, exempelvis 10-30 gånger per sekund. Därmed kan returdatat FB beskriva en grafisk pekare 210 som förefaller förflyttas sig kontinuerligt som svar på rörelserna MR.According to a preferred embodiment of the invention, the data processing unit 110 is adapted to interpret the representation of the image data DBODY to represent a relative movement dR of the graphic pointer 210 from the starting position Ls in such a way that a certain movement MR of the body part 145 causes a predetermined movement of the graphical pointer 210. From a motor point of view, it is a very intuitive movement process for the user 140. Of course, here an arbitrary relationship between the movement MR and the movement dR is conceivable. Many times a purely linear relationship is desirable. In other applications, however, a non-linear relationship may be more efficient. In any case, it is advantageous if a general movement of the body portion 145 to the right causes the pointer to move to the right across the screen 120, a general movement of the body portion 145 to the left causes the pointer to move to the left across the screen 120, and so on. Of course, the data processing unit 110 may also be adapted to distinguish more complicated movements MR, so that the pointer 210 can be moved in any direction across the screen 120 in response to the body part movements. It is further advantageous if the data processing unit 110 is adapted to cause the screen 120 to repeatedly update the return data FB in response to the image data DBODY during the subsequent phase. Preferably, such an update is performed at a relatively high frequency, for example 10-30 times per second. Thus, the return data FB can describe a graphical pointer 210 which appears to move continuously in response to the movements MR.

Enligt en föredragen utföringsform av uppfinningen inkluderar den grafiska informationen GR[S, FB] en första del S repre- senterande icke-returdata och en andra del FB representerande returdatat. Med hänvisning till exemplet som visas i Figur 2 kan det primära objektet 220, den första skärmtangenten 221 och den andra skärmtangenten 222 utgöra data inkluderad i den första delen S, medan pekaren 210 inkluderas i den andra delen FB. l den här utföringsformen är databearbetningsenheten 110 anpassad att förorsaka presentation av returdatat FB som är inkluderat i den andra delen vid en bekräftelseposition på skärmen 120, där placeringen av bekräftelsepositionen beror av innehållet i den första delen S.According to a preferred embodiment of the invention, the graphical information GR [S, FB] includes a first part S representing non-return data and a second part FB representing the return data. Referring to the example shown in Figure 2, the primary object 220, the first screen key 221 and the second screen key 222 may be data included in the first part S, while the pointer 210 is included in the second part FB. In this embodiment, the data processing unit 110 is adapted to cause presentation of the return data FB included in the second part at a confirmation position on the screen 120, where the location of the confirmation position depends on the contents of the first part S.

Exempelvis vid placering över någon av skärmtangenterna 221 eller 222 kan returdatat FB representera pekaren 210, så att dessa knappar kan manipuleras genom alstring av ett bekräftel- sekommando när pekaren 210 befinner sig hår. Närhelst befint- lig över ett textfönster kan emellertid returdatat FB istället repre- sentera en markering av detta fönster. Beroende på tillämpnin- gen är givetvis många alternativa former av visuell guidning möj- lig att presentera. Typen av, eller karaktäristikan hos, returdatat FB kan också bero på innehållet i den första delen S. Vid pla- cering över ett textfönster kan således returdatat FB represen- tera en markörsymbol, medan vid placering över, eller tillräckligt nära, ett manipulerbart GUI-objekt kan returdatat FB represente- ra en pekare, eller liknande grafisk symbol.For example, when placed over any of the on-screen keys 221 or 222, the return data FB may represent the pointer 210, so that these buttons may be manipulated by generating an acknowledgment command when the pointer 210 is in the hair. Whenever existing over a text window, however, the return data FB can instead represent a selection of this window. Depending on the application, it is of course possible to present many alternative forms of visual guidance. The type, or characteristics, of the return data FB may also depend on the contents of the first part S. When placed over a text window, the return data FB may thus represent a cursor symbol, while when placed over, or close enough to, a manipulable GUI objects, the return data FB can represent a pointer, or similar graphic symbol.

Därtill kan förhållandet mellan blickpunkten PG och positionerin- gen av returdatat FB vara icke-linjärt. Exempelvis kan ett eller 10 15 20 25 30 529 599 12 flera GUI-objekt pâ skärmen 120 vara knutna till ett ”gravita- tionsfält”. Detta innebär att, om blickpunkten PG inte befinner sig på något GUI-objekt, men inom ett visst avstånd från ett första GUI-objekt presenteras returdatat FB (exempelvis i form av en grafisk pekare 210) vid det första GUI-objektet.In addition, the relationship between the focus point PG and the positioning of the return data FB can be non-linear. For example, one or more GUI objects on the screen 120 may be associated with a "gravitational field". This means that, if the focus point PG is not on a GUI object, but within a certain distance from a first GUI object, the return data FB (for example in the form of a graphical pointer 210) is presented at the first GUI object.

Enligt en utföringsform av uppfinningen startas den ovan nämn- da inledande fasen manuellt av användaren 140. Därför är data- bearbetningsenheten 110 anpassad att motta ett användarinitie- rat startkommando. Enheten 110 är vidare anpassad att initiera den inledande fasen som svar på ett mottagande av ett sådant startkommando. Det föreslagna systemet innefattar åtminstone ett organ, vilket är anpassat att motta startkommandot. Före- trädesvis alstras startkommandot genom aktivering av ett meka- niskt inmatningsorgan (såsom en tangent, en knapp, en brytare, en pedal etc.), yttrande av ett röstkommando, placering av blick- punkten PG inom en viss yta på skärmen 120 (exempelvis i när- heten av pekarens 210 aktuella position, eller över ett alternativt manipulerbart GUI-objekt) under en tröskelvilotid, och/eller för- flyttning av blickpunkten PG enligt en förutbestämd rörelsesek- vens (exempelvis en sackad från/till ett visst GUI-objekt).According to an embodiment of the invention, the above-mentioned initial phase is started manually by the user 140. Therefore, the data processing unit 110 is adapted to receive a user-initiated start command. The unit 110 is further adapted to initiate the initial phase in response to a reception of such a start command. The proposed system comprises at least one means, which is adapted to receive the start command. Preferably, the start command is generated by activating a mechanical input means (such as a key, a button, a switch, a pedal, etc.), uttering a voice command, placing the gaze point PG within a certain area of the screen 120 (e.g. in the vicinity of the current position of the pointer 210, or over an alternatively manipulable GUI object) during a threshold rest time, and / or displacement of the gaze point PG according to a predetermined sequence of motion (e.g. a sacked from / to a certain GUI object ).

Normalt sett är det föredraget att den initiala fasen är förhål- landevis kort, det vill säga har en varaktighet i storleksordningen 0,1 till 2 sekunder. En mycket kort initial fas kan vara fördelaktig eftersom returdatat FB kommer att uppfattas att uppträda "ome- delbart" som svar på dit användarens 140 blick riktas. l många tillämpningar är det vidare önskvärt om den efterföljande fasen startar automatiskt efter fullbordande av den initiala fasen. l det- ta syfte är enligt en utföringsform av uppfinningen databearbet- ningsenheten 110 anpassad att initiera den efterföljande fasen en förutbestämd tid efter det att den initiala fasen har inletts.Normally, it is preferred that the initial phase be relatively short, i.e. have a duration of the order of 0.1 to 2 seconds. A very short initial phase can be advantageous because the return data FB will be perceived as appearing "immediately" in response to where the user's 140 gaze is directed. In many applications, it is further desirable that the subsequent phase start automatically after completion of the initial phase. For this purpose, according to an embodiment of the invention, the data processing unit 110 is adapted to initiate the subsequent phase a predetermined time after the initial phase has begun.

Exempelvis kan användaren 140 inleda den initiala fasen genom att trycka ned en bestämd tangent på ett tangentbord knutet till databearbetningsenheten 110. l samband med att tangenten trycks ned placerar användaren 140 sin blickpunkt PG på en 10 15 20 25 30 35 529 599 13 bestämd plats på skärmen 120. Kort därefter följer den efterföl- jande fasen (automatiskt), och under denna fas styr användaren 140 databearbetningsenheten 110 medelst sina kroppsdelsrörel- ser MR. Sedan, när returdatat FB indikerar att en önskad inmat- ningsstatus har uppnåtts, frigör användaren 140 den bestämda tangenten för att avsluta den efterföljande fasen.For example, the user 140 may initiate the initial phase by pressing a certain key on a keyboard connected to the data processing unit 110. In connection with the key being pressed, the user 140 places his gaze point PG at a fixed place on the computer. the screen 120. Shortly thereafter, the subsequent phase (automatically) follows, and during this phase, the user 140 controls the data processing unit 110 by means of its body part movements MR. Then, when the return data FB indicates that a desired input status has been reached, the user 140 releases the determined key to end the subsequent phase.

Enligt en annan utföringsform av uppfinningen startas den efter- följande fasen manuellt. Således är databearbetningsenheten 110 anpassad att motta ett användaralstrat utlösningskomman- do, och inleda den efterföljande fasen som svar på mottagande av ett sådant utlösningskommando. Företrädesvis alstras utlös- ningskommandot genom aktivering av ett mekaniskt inmatnings- organ (såsom en tangent, en knapp, en brytare, en pedal etc.), yttrande av ett röstkommando, placering av bllckpunkten PG inom en viss yta på skärmen 120 (exempelvis i närheten av pe- karens 210 aktuella position, eller över et alternativt manipuler- bart GUI-objekt) under en tröskelvilotid, och/eller förflyttning av bllckpunkten PG enligt en förutbestämd rörelsesekvens (exem- pelvis en sackad från/till ett visst GUI-objekt). Därför inkluderar systemet åtminstone ett organ, vilket är anpassat att motta ut- lösningskommandot i åtminstone en av dessa former.According to another embodiment of the invention, the subsequent phase is started manually. Thus, the data processing unit 110 is adapted to receive a user-generated trigger command, and to initiate the subsequent phase in response to receiving such a trigger command. Preferably, the trip command is generated by activating a mechanical input means (such as a key, a button, a switch, a pedal, etc.), uttering a voice command, placing the flash point PG within a certain area of the screen 120 (e.g. in the vicinity of the current position of the pointer 210, or over an alternatively manipulable GUI object) during a threshold rest time, and / or movement of the flash point PG according to a predetermined sequence of motion (e.g. a sacked from / to a certain GUI object). Therefore, the system includes at least one means, which is adapted to receive the trigger command in at least one of these forms.

Det är värt att notera att, enligt en utföringsform av uppfinnin- gen, behöver inte användarens 140 blickpunkt PG faktiskt befin- na sig på skärmen 120 under den initiala fasen. istället kan bllckpunkten PG under denna fas vara riktad mot en så kallad off-screen-tangent, det vill säga ett mjukvarurelaterat styrorgan som representeras av en yta utanför skärmen 120 (exempelvis på skärmens ram). Aktivering av en sådan off-screen-tangent kan förorsaka returdata FB (säg i form av en rullgardinsmeny) att presenteras på skärmen 120 (företrädesvis i närheten av off- screen-tangenten som identifierats av bllckpunkten PG). Således kan användaren 140 under den efterföljande fasen navigera ge- nom rullgardinsmenyn genom att utföra adekvata kroppsdels- rörelser MR. Off-screen-tangenter är önskvärda eftersom de hus- håller med skärmytan. 10 15 20 25 30 529 599 14 I syfte att summera kommer nu den allmänna metoden att styra en dator enligt uppfinningen att beskrivas med hänvisning till flödesschemat i Figur 3.It is worth noting that, according to one embodiment of the invention, the user's gaze point PG does not actually have to be on the screen 120 during the initial phase. instead, the flash point PG during this phase may be directed towards a so-called off-screen key, i.e. a software-related control means represented by a surface outside the screen 120 (for example on the screen frame). Activation of such an off-screen key may cause the return data FB (say in the form of a drop-down menu) to be presented on the screen 120 (preferably in the vicinity of the off-screen key identified by the flash point PG). Thus, during the subsequent phase, the user 140 can navigate through the drop-down menu by performing adequate body part movements MR. Off-screen keys are desirable because they house the screen area. For the purpose of summarizing, the general method of controlling a computer according to the invention will now be described with reference to the flow chart in Figure 3.

Ett inledande steg 310 undersöker huruvida något startkomman- do har mottagits. Företrädesvis är detta kommando användarini- tierat enligt vad som har diskuterats ovan. Om inget sådant kom- mando har mottagits loopar proceduren tillbaka och stannar i steget 310, och annars följer ett steg 320. Steget 320 presen- terar returdata på skärmen, så att returdatat alstras baserat på en absolut position för användarens blickpunkt i förhållande till skärmen.An initial step 310 examines whether any start command has been received. Preferably, this command is user-initiated according to what has been discussed above. If no such command has been received, the procedure loops back and stops in step 310, otherwise step 320 follows. Step 320 presents return data on the screen, so that the return data is generated based on an absolute position of the user's point of view relative to the screen.

Ett därpå följande steg 330 undersöker huruvida ett villkor för att initiera en efterföljande fas är uppfyllt. Enligt vad som nämnts ovan kan detta villkor antingen representeras av ett förutbestämt tidsintervall efter det att den initiala fasen inletts i steget 320, eller vid mottagande av ett utlösningskommando. l vilket fall som helst, om villkoret inte är uppfyllt loopar proceduren tillbaka till steget 320. l annat fall följer ett steg 340, vilket presenterar returdata alstrad baserat på bilddata representerande rörelser hos en viss kroppsdel hos användaren.A subsequent step 330 examines whether a condition for initiating a subsequent phase is met. As mentioned above, this condition can be represented either by a predetermined time interval after the initial phase is initiated in step 320, or upon receipt of a trigger command. In any case, if the condition is not met, the procedure loops back to step 320. In another case, a step 340 follows, which presents return data generated based on image data representing movements of a particular body part of the user.

Därefter undersöker ett steg 350 huruvida ett stoppkriterium är uppfyllt. Det är mycket fördelaktigt om en stoppsignal indikeran- de uppfyllande av stoppkriteriet alstras manuellt av användaren.Then, a step 350 examines whether a stop criterion is met. It is very advantageous if a stop signal indicating fulfillment of the stop criterion is generated manually by the user.

Endast användaren vet nämligen när en viss operation som styrs som svar på rörelserna av hans/hennes kroppsdel har fullbordats. Således kan stoppsignalen alstras genom aktivering av ett mekaniskt inmatningsorgan (såsom en tangent, en knapp, en brytare, en pedal etc.), yttrande av ett röstkommando, pla- cering av blickpunkten PG inom en viss yta pà skärmen 120 (exempelvis i närheten av pekarens 210 aktuella position, eller över ett alternativt manipulerbart GUI-objekt) under en tröskel- vilotid, och/eller förflyttning av blickpunkten PG enligt en förut- bestämd rörelsesekvens (exempelvis en sackad från/till ett visst GUI-objekt) och/eller frigöring av en bestämd tangent. 10 15 20 25 30 35 529 599 15 Om det i steget 350 konstateras att stoppkriteriet är uppfyllt Ioopar proceduren tillbaka till steget 310. Annars loopar proce- duren tillbaka till steget 340. Naturligtvis kan databearbetnings- enheten vara anpassad att, i samband med uppfyllande av stoppkriteriet, utföra en eller flera operationer, exempelvis rela- terade till ett valt manipulerbart GUI-objekt, möjligen aktiverat via den ovan nämnda proceduren.Only the user knows when a certain operation that is controlled in response to the movements of his / her body part has been completed. Thus, the stop signal can be generated by activating a mechanical input means (such as a key, a button, a switch, a pedal, etc.), uttering a voice command, placing the gaze point PG within a certain area of the screen 120 (e.g. in the vicinity of the current position of the pointer 210, or over an alternatively manipulable GUI object) during a threshold rest period, and / or moving the gaze point PG according to a predetermined sequence of motion (e.g., a sacked from / to a particular GUI object) and / or release of a particular key. If it is found in step 350 that the stop criterion is met, the procedure goes back to step 310. Otherwise, the procedure loops back to step 340. Of course, the data processing unit may be adapted to, in connection with fulfilling the stop criterion, perform one or more operations, for example related to a selected manipulable GUI object, possibly activated via the above mentioned procedure.

Samtliga de procedursteg, sàväl som godtycklig delsekvens av steg, beskrivna med hänvisning till figur 3 ovan kan styras med hjälp av en programmerad datorapparat. Dessutom, även om de ovan med hänvisning till figurerna beskrivna utföringsformerna av uppfinningen innefattar en dator och processer utförda i en dator, utsträcker sig uppfinningen till datorprogram, speciellt datorpro- gram på eller i en bärare anpassad att praktiskt implementera uppfinningen. Programmet kan vara i form av källkod, objektkod, en kod som utgör ett mellanting mellan käll- och objektkod, såsom i delvis kompilerad form, eller i vilken annan form som helst läm- plig att använda vid implementering av processen enligt uppfin- ningen. Bäraren kan vara godtycklig entitet eller anordning vilken är kapabel att bära programmet. Exempelvis kan bäraren inne- fatta ett lagringsmedium såsom ett flashminne, ett ROM (Read Only Memory), exempelvis en CD (Compact Disc) eller ett halv- ledar-ROM, EPROM (Electrically Programmable ROM), EEPROM (Erasable EPROM), eller ett magnetiskt inspelningsmedium, exempelvis en floppydisk eller hårddisk. Dessutom kan bäraren vara en överförande bärare såsom en elektrisk eller optisk signal, vilken kan ledas genom en elektrisk eller optisk kabel eller via ra- dio eller på annat sätt. Då programmet gestaltas av en signal som kan ledas direkt av en kabel eller annan anordning eller organ kan bäraren utgöras av en sådan kabel, anordning eller organ. Al- ternativt kan bäraren vara en integrerad krets i vilken programmet är inbäddat, där den integrerade kretsen är anpassad att utföra, eller för att användas vid utförande av, de aktuella processerna.All the procedural steps, as well as any sub-sequence of steps, described with reference to Figure 3 above can be controlled by means of a programmed computer apparatus. In addition, although the embodiments of the invention described above with reference to the figures include a computer and processes performed in a computer, the invention extends to computer programs, especially computer programs on or in a carrier adapted to practically implement the invention. The program may be in the form of source code, object code, a code which constitutes an intermediate between source and object code, such as in partially compiled form, or in any other form suitable for use in implementing the process according to the invention. The carrier can be any entity or device which is capable of carrying the program. For example, the carrier may comprise a storage medium such as a flash memory, a Read Only Memory (ROM), for example a CD (Compact Disc) or a semiconductor ROM, EPROM (Electrically Programmable ROM), EEPROM (Erasable EPROM), or a magnetic recording medium, such as a floppy disk or hard disk. In addition, the carrier may be a transmitting carrier such as an electrical or optical signal, which may be conducted through an electrical or optical cable or via radio or otherwise. When the program is formed by a signal which can be conducted directly by a cable or other device or means, the carrier can be constituted by such a cable, device or means. Alternatively, the carrier may be an integrated circuit in which the program is embedded, where the integrated circuit is adapted to perform, or to be used in performing, the current processes.

Termen ”innefattar/innefattande” skall då den används i den här framställningen ange närvaron av de nämnda särdragen, helta- 10 529 599 16 len, stegen eller komponenterna. Termen utesluter emellertid inte närvaron eller tillägg av ett eller flera ytterligare särdrag, heltal, steg eller komponenter eller grupper därav.The term "comprising", when used in this preparation, shall indicate the presence of the said features, the whole, the steps or the components. However, the term does not exclude the presence or addition of one or more additional features, integers, steps or components or groups thereof.

Hänvisningar till eventuell tidigare känd teknik i den här fram- ställningen är inte, och skall inte förstås som, ett erkännande eller någon antydan om att denna teknik utgör del av vad som är allmänt känd kunskap i Australien.References to any prior art in this presentation are not, and should not be construed as, an admission or any indication that this technology is part of what is generally known knowledge in Australia.

Uppfinningen är inte begränsad till de i figurerna beskrivna utfö- ringsformerna, utan kan varieras fritt inom patentkravens skyddsomfång.The invention is not limited to the embodiments described in the figures, but can be varied freely within the scope of protection of the claims.

Claims

10 15 20 25 30 529 599 17 Patent claims

A computer system comprising a data processing unit (110), a screen (120) and an eye movement sensor (130) adapted to record a user's (140) point of view (PG) relative to the screen (120), the data processing unit (110) being adapted. presented graphical information (GR [S, FB]) on the screen (120), where the information (GR [S, FB]) includes return data (FB) generated based on the point of view (PG) and movements (MR) of a body part of the user (140), characterized in that the system comprises at least one imaging device (135a, 135b) adapted to record image data (DBODY) representing the movements (MR) and forward a representation of the image data (DBODY) to the data processing unit (110), and the data processing unit (110) is adapted to present the return data (FB) so that: during an initial phase the data (FB) is generated based on an absolute position of the viewpoint (PG), and during a phase following the initial phase the data (FB) is generated based on image data (D BODY).

The computer system according to claim 1, characterized in that the data processing unit (110) is adapted to: receive a user-generated start command, and initiate the initial phase in response to a reception of the start command.

The computer system according to claim 2, characterized in that the system comprises at least one means adapted to receive the start command in the form of at least one of: activation of a mechanical input means, a voice command, placement of the eye point (PG) within a certain surface of the cutting surface. but (120) during a threshold rest period, and a predetermined motion sequence of the gaze point (PG). 10 15 20 25 30 529 599 18

The computer system according to any one of the preceding claims, characterized in that the data processing unit (110) is adapted to start the subsequent phase after a predetermined duration of the initial phase.

The computer system according to any one of claims 1 to 3, characterized in that the data processing unit (110) is adapted to: receive a user-generated trigger command, and initiate the subsequent phase in response to a reception of the trigger command.

The computer system according to claim 5, characterized in that the system comprises at least one means which is adapted to receive the trigger command in the form of at least one of: activating a mechanical input means, a voice command, placing the gaze point (PG) within a certain area of the screen (120) during a threshold rest period, and a predetermined motion sequence of the gaze point (PG).

The computer system according to any one of the preceding claims, characterized in that the return data (FB) represents a graphic pointer (210), and the data processing unit (110) is adapted to: during the initial phase position the graphic pointer (210) on the screen at a start position (Ls) reflected by the gaze point (PG), and during the subsequent phase move the graphical pointer (210) from the start position (Ls) in response to the image data (DBODY).

The computer system according to claim 7, characterized in that the data processing unit (110) is adapted to interpret the image data (DBODY) to represent a relative displacement (dR) of the graphical pointer (210) from the start location (LS) in such a way that a certain movement (MR) of the body part (145) causes a predetermined movement of the graphic pointer (210). 10 15 20 25 30 529 599 19

The computer system according to any one of claims 7 or 8, characterized in that the data processing unit (110) is adapted to cause the screen (120) to repeatedly update the presented return data (FB) during the subsequent phase in response to the image data ( DBQQY).

The computer system according to any one of the preceding claims, characterized in that the at least one imaging device (135a, 135b) is included in the eye movement sensor (130).

The computer system according to any one of the preceding claims, characterized by the graphic information (GR [S, FB]) comprising a first part (S) representing non-return data and a second part (FB) representing the return data, and the data processing unit (110) is adapted to cause presentation of the second part (FB) at a confirmation position on the screen (120), where the confirmation position depends on the contents of the first part (S).

A method of controlling a computer system comprising a data processing unit (110), a screen (120) and an eye movement tracker (130) adapted to register a user's (140) point of view (PG) relative to the screen (120), wherein the method includes presentation of graphical information (GR [S, FB]) on the screen (120), where the information (GR [S, FB]) includes return data (FB) generated based on the point of view (PG) and movements (MR ) of a body part of the user (140), characterized by recording image data (DBGGY) representing the movements (MR), and presenting the return data (FB) so that the data (FB) is generated during an initial phase based on an absolute position of the point of view. (PG), and during a phase following the initial phase the data (FB) is generated based on the image data (DGGGY).

The method of claim 12, characterized by: receiving a user-generated start command, and initiating the initial phase in response to receiving the start command.

The method of claim 13, characterized by receiving the start command in the form of at least one of: activating a mechanical input means, a voice command, placing the gaze point (PG) within a certain area of the screen (120) during a threshold rest period, and a predetermined motion sequence of the point of view (PG).

The method according to any one of claims 12 to 14, characterized by the initiation of the subsequent phase after a predetermined duration of the initial phase.

The method according to any one of claims 12 to 15, characterized by: receiving a user-generated trigger command, and initiating the subsequent phase in response to receiving the trigger command.

The method of claim 16, characterized by receiving the trigger command in the form of at least one of: activating a mechanical input means, a voice command, placing the gaze point (PG) within a certain area of the screen (120) during a threshold rest period, and a predetermined motion sequence of the point of view (PG).

The method according to any one of claims 12 to 17, characterized in that the return data (FB) represents a graphical pointer (210), and that the method comprises: positioning the graphical pointer (210) on the screen at a start position (LS), where the start position (Ls) is reflected by the focus point (PG) during the initial phase, and movement of the graphical pointer (210) from the start position (Ls) in response to the image data (DBODY) during the subsequent phase.

The method according to claim 18, characterized by interpreting the image data (DBODY) as a representation of a relative displacement (dR) of the graphical pointer (210) from the starting position (LS) in such a way that a certain movement (MR) of the body part (145) causes a predetermined movement of the graphic pointer (210).

The method according to any one of claims 18 or 19, characterized by presenting repeated updates of the presented return data (FB) on the image data response screen (120) during the subsequent phase.

The method according to any one of claims 12 to 20, characterized in that the graphical information (GRjS, FB]) comprises a first part (S) representing non-return data and a second part (FB) representing the return data, and the method comprises presentation of the second part (FB) at a confirmation position on the screen (120), where the confirmation position depends on the contents of the first part (S).

A computer program directly loadable to the internal memory (115) of a computer, the program comprising software for controlling the steps of any of claims 12 to 20 when said program is run on the computer.

A computer readable medium (115), having a program stored thereon, wherein the program is adapted to cause a computer to control the path according to any one of claims 12 to 20.