SE527960C2

SE527960C2 - Interaction system of user with virtual control panel in process plant, registers graphical representation of control panel generated based on predefined graphical interface, in relation to portable identification element to produce panel

Info

Publication number: SE527960C2
Application number: SE0400874A
Authority: SE
Inventors: Charlotte Skourup; John Pretlove; Thomas Pettersen
Original assignee: Abb Research Ltd
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2006-07-18
Also published as: SE0400874D0; SE0400874L

Abstract

A graphics unit generates a graphical representation of a virtual control panel based on predefined graphical interface, and registers it in a fixed relation to a portable identification element (3) based on element position, to produce control panel. A display unit (7) shows a view comprising the control panel to a user. An application unit performs actions in response to users interactions with the panel. Independent claims are also included for the following: (1) program for enabling interaction of user with virtual control panel; and (2) computer readable medium storing program for enabling interaction of user with virtual control panel.

Description

20 25 A30 35 527 960 att styra processen eller anordningarna och finna stödjande information och dokumentation. 20 25 A30 35 527 960 to control the process or devices and find supporting information and documentation.

Inom tillverkning innehåller en produktionslinje flera robotar som styrs av separata styrenheter och programme- ringslador (teach pendants). Operatören behöver interagera t ex för att kontrollera statusen, inspektera med robotarna, robotarna och göra nya program. En generell nackdel är att operatören maste ändra interaktionsanordningen för varje ny robot även om flera robotar kan utföra en uppgift till- SammâIlS .In manufacturing, a production line contains several robots that are controlled by separate control units and programming barns (teach pendants). The operator needs to interact, for example, to check the status, inspect with the robots, the robots and make new programs. A general disadvantage is that the operator must change the interaction device for each new robot even if several robots can perform a task to- SammâIlS.

Förstärkt verklighet (augmented reality, AR) är en metod att överlagra verkliga framställningar med datorgenererad gra- fik. I ett idealiskt fall, för förstärkt verklighet baserad pä seende, komer inte användaren att kunna se skillnad mellan den verkliga och den datorgenererade grafiken, och därmed far användaren en förbättrad uppfattning om den verk- liga miljön. I dag används förstärkt verklighetsteknik i ett antal tillämpningar. Exempel pà användningar är inom media, t ex väderrapportering, medicin, t ex visualisering av inre organ, samarbetsmiljöer, t ex virtuella mötesrum samt inom processindustrin för underhåll och service.Augmented reality (AR) is a method of superimposing real representations with computer-generated graphics. In an ideal case, for augmented reality based on vision, the user will not be able to see the difference between the real and the computer-generated graphics, and thus the user gets an improved perception of the real environment. Today, augmented reality technology is used in a number of applications. Examples of uses are in the media, eg weather reporting, medicine, eg visualization of internal organs, collaborative environments, eg virtual meeting rooms and in the process industry for maintenance and service.

Handmanövrerade och bärbara kontrollpaneler med interak- tionsmöjligheter finns redan och intresset för sådana an- ordningar stiger. Användning av mobiltelefoner och person- liga digitala hjälpmedel (PDA) som gränssnittet mot systemen eller anordningarna är kända. Även datorplattor eller penn- datÖrér*1ÉabIët"PCšY, Söm'añVänds”t“eX"vid“Sjukhus;“tilI="*'>*>Wnf-' handahaller ett gränssnitt som användaren lätt bär omkring och interagerar med genom att peka pà skärmen. i Det nyaste omradet som berör uppfinningen är virtuella tan- gentbord. Ett virtuellt tangentbord projiceras, t ex pà ett bord, och är i typfallet inmatningsenheten för en PDA. An- vändaren pekar eller trycker pà tangenterna och systemet känner igen de specifika tangenter som berörts som ett stan- dardtangentbord. Virtuella tangentbord är komersiella pro- '10 15 20 25 ._30Hq 35 527 960 dukter som offereras av åtskilliga tillverkare, t ex Canesta, Senseboard Technologies och Samsung.Hand-operated and portable control panels with interaction possibilities already exist and interest in such devices is rising. The use of mobile phones and personal digital aids (PDAs) as the interface to the systems or devices is known. Also tablets or pens * 1ÉabIët "PCšY, Söm'añVänds" t "eX" at "Hospital;" tilI = "* '> *> Wnf-' handahaller an interface that the user easily carries around and interacts with by tapping The most recent area of the invention is virtual keyboards. A virtual keyboard is projected, for example, on a table, and is typically the input device for a PDA. Virtual keyboards are commercial products '10 15 20 25 ._30Hq 35 527 960 products offered by several manufacturers, such as Canesta, Senseboard Technologies and Samsung.

US 6 614 422 beskriver en digital användarinmatning till ett följeslagarsystem såsom en PDA, en mobiltelefon eller anord- ning, som använder en virtuell inmatningsenhet såsom en bild av ett tangentbord. En sensor infångar tredimensionell lägesinformation om läget för användarens fingrar i förhàll- ande till var tangenterna skulle befinna sig på ett verkligt tangentbord. Denna information behandlas med avseende pà lägena, hastigheterna och formen hos fingrarna för att be- stämma när en virtuell tangent har tryckts ned. Den behand- lade virtuella informationen utmatas till det åtföljande systemet.US 6,614,422 discloses a digital user input to a companion system such as a PDA, a mobile telephone or a device which uses a virtual input device such as an image of a keyboard. A sensor captures three-dimensional position information about the position of the user's fingers in relation to where the keys would be on a real keyboard. This information is processed with respect to the positions, speeds and shape of the fingers to determine when a virtual key has been pressed. The processed virtual information is output to the accompanying system.

US 6 618 425 beskriver en virtuell laseroperatör. En laser- kontroller sammankopplad med en elektrisk laddningslaser komunicerar med en fjärrdator som innefattar en bildskärm som i programmeringshänseende emulerar ett konventionellt tangentbord. Bildskärmen har ett flertal virtuella tangenter i bildform, vilka var och en i programmeringshänseende emu- lerar en fysisk tangent vid ett konventionellt tangentbord.US 6,618,425 describes a virtual laser operator. A laser controller coupled to an electric charge laser communicates with a remote computer which includes a monitor which, in programming terms, emulates a conventional keyboard. The monitor has a plurality of virtual keys in image form, each of which, in terms of programming, emulates a physical key on a conventional keyboard.

Ett tangentnedslag utförs typiskt genom att manuellt trycka läget för en motsvarande virtuell tangent på en pekkänslig skärm, eller alternativt genom att påverka ett konventionellt pekdon.A keystroke is typically performed by manually pressing the position of a corresponding virtual key on a touch screen, or alternatively by actuating a conventional pointing device.

Fenomenet interaktion med virtuell grafik har exempelvis be- handlats i filmen ”Minority Report”. Där finns en scen där Töm Crüíše"äñvändëf*ﬁändëfñä för att interagera mëä“vïrtue1I"““"m“"' information som visualiseras på en ”vägg” av plexiglas.The phenomenon of interaction with virtual graphics has, for example, been dealt with in the film “Minority Report”. There is a scene where Empty Crüíše "äñvendëf * ﬁ endëfñä to interact mëä" vïrtue1I "" "" m “" 'information visualized on a "wall" of plexiglass.

Vidare använder han gester för interaktionen. ÄNDAMAL ocH REDoGöRELsE FÖR UPPFINNINGEN Ändamålet med föreliggande uppfinning är att tillhandahålla en portabel kontrollpanel som användaren kan bära med sig och som nästan inte väger någonting. lO 15 20 25 i3UUM"_ 35 527 960 Detta ändamal uppnàs med hjälp av det inledningsvis defini- erade systemet, kännetecknat av att systemet vidare inne- fattar: ett bärbart identifikationselement, en andra spär- ningsenhet anordnad att infànga data som representerar läget för identifikationselementet, en lagringsenhet som lagrar åtminstone ett fördefinierat grafiskt gränssnitt som repre- senterar en kontrollpanel hos en anordning, varvid nämnda grafiska gränssnitt innefattar ett gränssnitt för användar- interaktioner med anordningen, en grafikenhet som genererar en grafisk framställning av kontrollpanelen baserat pà nämnda lagrade grafiska gränssnitt, en registreringsenhet som registrerar nämnda grafiska framställning av kontroll- panelen i ett fast förhållande till nämnda bärbara identifi- kationselement,baserat pà nämnda data som representerar läget för identifikationselementet, för att àstadkomma en virtuell kontrollpanel, en bildskärmsenhet som visar använ- daren en vy innefattande den verkliga världen och den vir- tuella kontrollpanelen projicerad i ett fast förhållande till nämnda bärbara identifikationselement, ningsenhet som vidtar atgärder som svar pà användarens in- samt en tillämp- teraktioner med den virtuella kontrollpanelen och som be- stämmer vilka àtgärder som skall vidtas baserat pà läget för nämnda användarstyrda pekföremal i förhållande till identi- fikationselementet. Med en anordning menas antingen en en- staka anordning eller ett system innefattande flera anord- ningar. En virtuell kontrollpanel är en förstärkt verklig- hetsvy av en verklig kontrollpanel. Den virtuella kontroll- panelen behöver emellertid inte nödvändigtvis ha samma ut- seende som konventionella kontrollpaneler.Furthermore, he uses gestures for the interaction. OBJECTS AND DISCLOSURE OF THE INVENTION The object of the present invention is to provide a portable control panel which the user can carry with him and which weighs almost nothing. This object is achieved by means of the initially defined system, characterized in that the system further comprises: a portable identification element, a second voltage unit arranged to capture data representing the position of the identification element. , a storage unit storing at least one predefined graphical interface representing a control panel of a device, said graphical interface comprising an interface for user interactions with the device, a graphics unit generating a graphical representation of the control panel based on said stored graphical interface, a recording unit which records said graphic representation of the control panel in a fixed relationship to said portable identification element, based on said data representing the position of the identification element, to provide a virtual control panel, a display unit showing the user a view comprising the the real world and the virtual control panel projected in a fixed relation to said portable identification element, an action unit which takes actions in response to the user's input and an application actions with the virtual control panel and which determines which measures are to be taken based on the location for said user-controlled pointing object in relation to the identification element. By a device is meant either a single device or a system comprising several devices. A virtual control panel is an augmented reality view of a real control panel. However, the virtual control panel does not necessarily have the same appearance as conventional control panels.

Användaren interagerar med den virtuella kontrollpanelen med användning av ett pekföremál. Pekföremàlet är t ex ett hand- manövrerat pekdon eller en del av användarens kropp, hand eller ett finger. t ex en Företrädesvis är nämnda bärbara identifikationselement an- passat att bäras av användaren. Användaren kan exempelvis bära identifikationselementet i sin hand eller fästat vid sin kropp, t ex fäst vid sin arm eller vid ett armbandsur. 10 15 20 25 30l" 35 527 960 Om användaren använder sitt finger som pekdon och bär iden- tifikationselementet fästat vid kroppen har användare bada sina händer fria att använda för andra ändamäl. Ett bärbart identifikationselement kan läggas ät sidan, t ex pà ett bord, medan användaren utför andra uppgifter.The user interacts with the virtual control panel using a touch object. The pointing device is, for example, a hand-operated pointing device or part of the user's body, hand or finger. eg a Preferably, said portable identification element is adapted to be worn by the user. The user can, for example, carry the identification element in his hand or attached to his body, for example attached to his arm or to a wristwatch. 10 15 20 25 30l "35 527 960 If the user uses his finger as a pointing device and carries the identification element attached to the body, users have both their hands free to use for other purposes. A portable identification element can be placed on the side, for example on a table, while the user performs other tasks.

Den virtuella kontrollpanelen genomförs som förstärkt verk- lighet (AR), vilket är datorgenererad grafik kombinerad med den verkliga världen. Fältoperatören ”bär” den virtuella kontrollpanelen med sig. Den virtuella kontrollpanelen är fästad vid identifikationselementet, vilket känns igen av den andra spàrningsenheten. Den virtuella kontrollpanelen existerar endast som dataprojektioner. Den virtuella kon- trollpanelen representerar användargränssnittet för inter- aktion med processanordningar och/eller -system. Den virtu- ella kontrollpanelen innefattar t ex interaktionsknappar, menyer och inmatningsenheter för ändring av inställda vär- den.The virtual control panel is implemented as augmented reality (AR), which is computer-generated graphics combined with the real world. The field operator "carries" the virtual control panel with him. The virtual control panel is attached to the identification element, which is recognized by the second tracking unit. The virtual control panel exists only as data projections. The virtual control panel represents the user interface for interacting with process devices and / or systems. The virtual control panel includes, for example, interaction buttons, menus and input devices for changing set values.

Den virtuella kontrollpanelens laga vikt, dvs identifika- tionselementets vikt, och det faktum att den kan fästas vid kroppen och är trådlös är tydliga fördelar med den virtuella kontrollpanelen enligt uppfinningen.The legal weight of the virtual control panel, i.e. the weight of the identification element, and the fact that it can be attached to the body and is wireless are clear advantages of the virtual control panel according to the invention.

Enligt en utföringsform av uppfinningen är systemet anordnat att modifiera utseendet hos den virtuella kontrollpanelen som svar pá interaktioner mellan det användarstyrda pekföre- mälet och den virtuella kontrollpanelen. Denna utföringsform gör det möjligt för användaren att navigera i olika vyer hos den'virtüella"kontroIIpanelen-och”att~interagera~med~kon- trollpanelen, t ex att bläddra i en vy och titta i menyer.According to an embodiment of the invention, the system is arranged to modify the appearance of the virtual control panel in response to interactions between the user-controlled touch object and the virtual control panel. This embodiment enables the user to navigate in different views of the virtual "control panel" and to "interact" with the control panel, for example, to scroll through a view and look in menus.

Enligt en utföringsform av uppfinningen innefattar àtmin- stone ett av de lagrade grafiska gränssnitten mer än en gra- fisk vy som skall visas pä den virtuella kontrollpanelen, och vilken av vyerna som skall visas bestäms pà grundval av användarens atgärder. Dà den virtuella kontrollpanelen kanske inte har exakt samma utseende som en konventionell 10 15 20 25 35 527 960 kontrollpanel kan en anordning ha mer än en grafisk VY SOW hör till den.According to an embodiment of the invention, at least one of the stored graphical interfaces comprises more than one graphical view to be displayed on the virtual control panel, and which of the views to be displayed is determined on the basis of the user's actions. Since the virtual control panel may not have exactly the same appearance as a conventional control panel, a device may have more than one graphical VY SOW associated with it.

Enligt en utföringsform av uppfinningen är nämnda grafiska gränssnitt anordnat att visa data fràn anordningen, och systemet är anordnat att generera en grafisk framställning av dessa data och att presentera dessa data pa den virtuella kontrollpanelen. Företrädesvis visas dessa data som svar pà interaktioner mellan det användarstyrda pekföremälet och den virtuella kontrollpanelen. Exempel pá data som visualiseras pà den virtuella kontrollpanelen är realtidsdata, status- övervakning, rapporter och andra textdokument, historiska data i form av trendkurvor samt 3D-simuleringar. En del av de grafiska vyerna hos den virtuella kontrollpanelen inne- häller online-data för anordningar i processen som medger tvàvägsinteraktion mellan den virtuella kontrollpanelen och den tillhörande anordningen. När sådana data uppdateras pà grund av ändringar i processen eller inom anordningen, t ex en temperatur- eller tryckändring, kommer detta automatiskt att uppdateras pà den virtuella kontrollpanelen. Å andra sidan kan användaren ändra t ex det inställda värdet för en specifik anordning fràn den virtuella kontrollpanelen, och denna anordning kommer dà automatiskt att ändra sitt in- ställda värde- Enligt en utföringsform av uppfinningen är lagringsenheten anordnad att lagra ett flertal grafiska gränssnitt, varvid vart och ett representerar en kontrollpanel hos en speciell anordning, är systemet anordnat att generera och visa ett ”"flërtaI“grafiska'framställningar'av kontrollpaneler>för-~~i- ~--~- olika anordningar baserat pà nämnda lagrade grafiska gräns- snitt hos anordningarna, och innehåller systemet medel för att identifiera vilken av de lagrade kontrollpanelerna som skall visas. Framställningarna av olika virtuella kontroll- paneler definieras i förväg och lagras i lagringsenheten, t ex en dator eller en server. Denna utföringsform förser användaren med en kontrollpanel som kan användas för inter- aktion med ett flertal olika anordningar eller system. Den virtuella kontrollpanelen anpassar sitt utseende, gränssnitt 10 15 20 25 _HšOm 35 527 960 och innehället till en specifik anordning, t ex till den an- ordning som användaren stàr framför, eller närmast. AR- systemet visualiserar den tillhörande virtuella kontroll- panelen, vilken kan tillhandahålla en mängd olika informa- tioner och informatíonspresentationer.According to an embodiment of the invention, said graphical interface is arranged to display data from the device, and the system is arranged to generate a graphical representation of this data and to present this data on the virtual control panel. Preferably, this data is displayed in response to interactions between the user-controlled pointing device and the virtual control panel. Examples of data that are visualized on the virtual control panel are real-time data, status monitoring, reports and other text documents, historical data in the form of trend curves and 3D simulations. Some of the graphical views of the virtual control panel contain online data for devices in the process that allow two-way interaction between the virtual control panel and the associated device. When such data is updated due to changes in the process or within the device, such as a temperature or pressure change, this will be automatically updated on the virtual control panel. On the other hand, the user can change, for example, the set value for a specific device from the virtual control panel, and this device will then automatically change its set value. each represents a control panel of a particular device, the system is arranged to generate and display a "" plurality of "graphical" representations "of control panels> for different devices based on said stored graphical interface. section of the devices, and the system includes means for identifying which of the stored control panels is to be displayed.The representations of various virtual control panels are defined in advance and stored in the storage unit, eg a computer or a server.This embodiment provides the user with a control panel. which can be used for interaction with a number of different devices or systems.The virtual control panel one adapts its appearance, interface 10 15 20 25 _HšOm 35 527 960 and the content to a specific device, eg to the device in front of the user, or nearest. The AR system visualizes the associated virtual control panel, which can provide a variety of information and information presentations.

Enligt en utföringsform av uppfinningen innefattar nämnda medel för identifiering av vilken av de lagrade kontroll- panelerna som skall visas en igenkänningsenhet för igen- känning och identifiering av anordningar i användarens miljö, och systemet är anordnat att bestämma vilken av de lagrade kontrollpanelerna som skall visas baserat pa vilken av anordningarna som identifieras. Igenkänningsenheten är exempelvis anordnad att igenkänna och identifiera unika identifikationsmarkeringar pä anordningen. Igenkännings- enheten är exempelvis anordnad att upptäcka identiteten hos den närmaste anordningen. Den virtuella kontrollpanelen ändrar sitt utseende och funktionalitet beroende pà vilken anordning som igenkänns.According to an embodiment of the invention, said means for identifying which of the stored control panels to be displayed comprises a recognition unit for recognizing and identifying devices in the user's environment, and the system is arranged to determine which of the stored control panels is to be displayed based on on which of the devices is identified. The recognition unit is, for example, arranged to recognize and identify unique identification marks on the device. The recognition unit is, for example, arranged to detect the identity of the nearest device. The virtual control panel changes its appearance and functionality depending on which device is recognized.

Enligt en utföringsform av uppfinningen är systemet anordnat sà att det ändrar den virtuella kontrollpanel som visas när en annan anordning igenkänns och identifieras. När använda- ren rör sig mot en annan anordning sä ändrar således den virtuella kontrollpanelen sitt utseende för att framställa funktionaliteten och kännetecknen hos den nya anordningen när användaren has bekräftat att han vill ha den virtuella kontrollpanelen hos den andra anordningen. Det kan finnas fall där anordningarna fysiskt är nära varandra och använda- *fenMkäñškè"iñte_äñdrarwdëñ"vífﬁüéllälkontrollpanelen"baräW““'_“i“'W för att han tar ett steg àt sidan, t ex för att fä en bättre vy över den specifika anordningen utan att ha för avsikt att ändra den virtuella kontrollpanelen till den virtuella kon- trollpanelen hos den angränsande anordningen.According to one embodiment of the invention, the system is arranged to change the virtual control panel displayed when another device is recognized and identified. Thus, as the user moves toward another device, the virtual control panel changes its appearance to produce the functionality and features of the new device once the user has confirmed that he wants the virtual control panel of the other device. There may be cases where the devices are physically close to each other and use- * fenMkäñškè "iñte_äñdrarwdëñ" víf ﬁ üéllälcontrolpanelen "baräW" "'_“ i “' W because he takes a step to the side, for example to get a better view of the specific the device without intending to change the virtual control panel to the virtual control panel of the adjacent device.

Enligt en utföringsform av uppfinningen innefattar nämnda bildskärmsenhet en bärbar display som visar användaren nämnda vy. Fältoperatören bär exempelvis glasögon eller en display monterad pà huvudet, pà vilken den datorgenererade 10 15 20 25 3O_i 35 527 960 grafiken projiceras antingen som optical see-through eller som video see-through.According to an embodiment of the invention, said display unit comprises a portable display showing the user said view. The field operator wears, for example, glasses or a display mounted on the head, on which the computer-generated graphics are projected either as optical see-through or as video see-through.

Ett vidare ändamål med uppfinningen är att tillhandahålla en metod som medger att en användare kan gå omkring och inter- agera med en virtuell kontrollpanel och använda ett använ- darstyrt pekföremål. Detta ändamål uppnås genom den metod av uppfinningen som definieras i patentkrav 12.A further object of the invention is to provide a method which allows a user to walk around and interact with a virtual control panel and use a user-controlled touch object. This object is achieved by the method of the invention defined in claim 12.

Enligt en aspekt av uppfinningen uppnås ändamålet genom ett datorprogram som kan laddas ned direkt i internminnet hos datorn eller en processor, innefattande programvarukoddelar för att utföra stegen i metoden enligt uppfinningen, när nämnda program körs på en dator. Datorprogramprodukten tillhandahålls antingen på ett datorläsbart medium eller genom ett nät såsom Internet.According to one aspect of the invention, the object is achieved by a computer program which can be downloaded directly into the internal memory of the computer or a processor, comprising software code parts for performing the steps of the method according to the invention, when said program is run on a computer. The computer software product is provided either on a computer readable medium or through a network such as the Internet.

Enligt en annan aspekt av uppfinningen uppnås ändamålet genom ett datorläsbart medium som har ett därpå inspelat program, där programmet skall förmå en dator att utföra stegen i metoden enligt uppfinningen, och nämnda program körs på datorn.According to another aspect of the invention, the object is achieved by a computer-readable medium having a program recorded thereon, where the program is to cause a computer to perform the steps of the method according to the invention, and said program is run on the computer.

De fördelar som uppnås genom denna uppfinning är att fält- operatören alltid har kontrollpanelen med sig, att standar- diseringen av de olika användargränssnitten är enkel, att användaren endast behöver interagera med ett enstaka gräns- snitt som ändrar sin framställning, innehåll och funktionalitet, i beroende av den närmast och bekräftade t ex utseende, anördniñgën,“ööh att'deﬁ"virtuelläwkontrolIpanelen“väger~a" nästan ingenting. Fältoperatören kan lägga den virtuella kontrollpanelen åt sidan medan har utför andra uppgifter, t ex lägga ned den på ett bord, på golvet etc. Den virtuella kontrollpanelen själv behöver inte vara certifierad som robust eller säker i sig själv (intrinsic safe certifi- cation). 10 15 20 25 "3Û 35 527 960 FIGURBESKRIVNING Uppfinningen skall nu förklaras närmare 9eﬂ0m beskrivning av olika utföringsformer av uppfinningen och under hänvisning till bifogade ritningar.The advantages achieved by this invention are that the field operator always has the control panel with him, that the standardization of the various user interfaces is simple, that the user only needs to interact with a single interface that changes its production, content and functionality, in depending on the closest and confirmed eg appearance, arrangement, "ööh att'de de" virtualäwkontrolIpanelen "weighs ~ a" almost nothing. The field operator can set the virtual control panel aside while performing other tasks, such as laying it on a table, on the floor, etc. The virtual control panel itself does not need to be certified as robust or safe in itself (intrinsic safe certification). DESCRIPTION OF THE DRAWINGS The invention will now be explained in more detail in the description of various embodiments of the invention and with reference to the accompanying drawings.

Figur l visar ett system för att tillhandahålla en virtuell kontrollpanel enligt en utföringsform av uppfin- ningen.Figure 1 shows a system for providing a virtual control panel according to an embodiment of the invention.

Figur 2 visar ett blockdiagram över ett system enligt uppfinningen.Figure 2 shows a block diagram of a system according to the invention.

DETALJERAD BESKRIVNING Av FÖREDRAGNA UTFöRINGsFom/IER Av UPPFINNINGEN Uppfinningen anger ett system och en metod för att tillhan- dahàlla en virtuell kontrollpanel vilken anpassar sitt gränssnitt och sitt innehäll till en anordning och/eller ett system genom att använda förstärkt verklighet. Ett system för att alstra en förstärkt verklighetsframställning av datorgenererad grafisk information överlagrad pà den verk- liga världen kan konfigureras pà olika sätt. Det tva mest troliga sätten att visualisera förstärkt verklighet är genom Vïdeo see-through och Optical see-through. Vid video see- through behövs en kamera för att infànga en direkt video- ström av den miljö som motsvarar användarens vy av världen.DETAILED DESCRIPTION OF PREFERRED EMBODIMENTS OF THE INVENTION The invention provides a system and method for providing a virtual control panel which adapts its interface and contents to a device and / or system using augmented reality. A system for generating an augmented reality representation of computer-generated graphic information superimposed on the real world can be configured in various ways. The two most likely ways to visualize augmented reality are through Vïdeo see-through and Optical see-through. Video see-through requires a camera to capture a live video stream of the environment corresponding to the user's view of the world.

Systemet kombinerar datorgenererad grafik med den direkta videoströmmen och projicerar den kombinerade förstärkta verklighetsvideon'pà*bildenheten;~Användaren~ser~videon~med-~ överlagrad virtuell information som om han tittade pà den verkliga världen. För optical see-through registreras den datorgenererade grafiken direkt pà bildenheten och följer användarens vy av verkligheten. Den virtuella grafiken överlagras pà verkligheten utan att ta med en video av den.The system combines computer-generated graphics with the live video stream and projects the combined augmented reality video onto the image device; the user ~ sees ~ the video ~ with superimposed virtual information as if he were watching the real world. For optical see-through, the computer-generated graphics are registered directly on the imaging unit and follow the user's view of reality. The virtual graphics are superimposed on reality without including a video of it.

Den förra lösningen är mindre krävande vad gäller antalet bilder per sekund. 10 15 20 25 35 527 960 10 Figur 1 visar en utföringsform av ett system enligt upp- finningen. Systemet innefattar ett handmanövrerat interage- rande och pekande don 1, ett handmanövrerat eller på annat sätt bärbart identifikationselement 3 som har en unik identifikation (ID), en spårningsenhet 5 för att bestäma -läget för pekdonet 1 och läget för identifikationselementet 3 i förhållande till ett världskoordinatsystem, en bärbar bildenhet 7 för att visualisera förstärkt verklighet över- lagrad pà vyn av den verkliga världen, identifikationsmarke- ringar 9a, 9b med unika identiteter för placering vid anord- ningarna lla, llb i miljön samt ett igenkänningssystem för att känna igen identifikationsmarkeringarna. Företrädesvis bestämmer också spårningsenheten orienteringen av pekdonet 1 och identifikationselementet 3.The former solution is less demanding in terms of number of frames per second. Figure 15 shows an embodiment of a system according to the invention. The system comprises a hand-operated interacting and pointing device 1, a hand-operated or otherwise portable identification element 3 having a unique identification (ID), a tracking unit 5 for determining the position of the pointing device 1 and the position of the identification element 3 relative to a world coordinate system, a portable imaging unit 7 to visualize augmented reality superimposed on the real world view, identification marks 9a, 9b with unique identities for placement at devices lla, llb in the environment and a recognition system for recognizing the identification marks. Preferably, the tracking unit also determines the orientation of the pointing device 1 and the identification element 3.

En virtuell kontrollpanel är en förstärkt verklighetsvy av en verklig kontrollpanel. I denna utföringsform används video see-through för att generera och presentera den vir- tuella kontrollpanelen i förhållande till identifikations- elementet 3. Identifikationselementet 3 definierar läget och orienteringen för den virtuella kontrollpanelen. Identifika- tionselementet är exempelvis en bit papper eller plast för- sedd med en unik ID såsom en streckkod eller något annat identifikationsmedel.A virtual control panel is an augmented reality view of a real control panel. In this embodiment, video see-through is used to generate and present the virtual control panel in relation to the identification element 3. The identification element 3 defines the position and orientation of the virtual control panel. The identification element is, for example, a piece of paper or plastic provided with a unique ID such as a bar code or some other means of identification.

Den virtuella kontrollpanelen visualiseras vid den bärbara bildenheten 7. Den bärbara bildenheten 7 är exempelvis glas- ögon, en huvudmonterad display eller huvuddisplay.The virtual control panel is visualized at the portable imaging unit 7. The portable imaging unit 7 is, for example, glass eyes, a main-mounted display or main display.

Systemet innefattar vidare-en"kamera 12 för att fånga en~~ ~~~~"W“ ström av bilder av miljön, dvs av verkligheten. Kameran 12 är monterad i ett fast läge i förhållande till bildenheten 7, t ex monterad på eller integrerad med bildenheten. Bild- enheten är placerad längs med kamerans synaxel och vid kame- rans bildplan. Kameran är sålunda placerad i förhållande till displayen på så sätt att den tillhandahåller samma vy som användaren skulle få genom att titta direkt på den verk- liga världen. Den direkta videoströmmen av bilder kombineras med datorgenererad grafik som framställer kontrollpanelen, 10 15 20 25 _.30_r_ 35 527 960 ll och kombinationen av verkligheten och grafiken presenteras i realtid pà bildenheten 7. Ytterligare funktionalitet inne- fattar kamerazoomning med ändring av kamerans verkliga brännvidd. Detta medger att systemet kan visa den datorgene- rerade grafiken korrekt under zoomning. Kameran 12 kan också användas för synbaserad spàrning genom spàrningsenheten 5.The system further comprises a "camera 12" for capturing a ~~ ~~~~ "W" stream of images of the environment, i.e. of reality. The camera 12 is mounted in a fixed position in relation to the image unit 7, for example mounted on or integrated with the image unit. The imaging unit is located along the camera's axis of sight and at the camera's imaging plane. The camera is thus positioned in relation to the display in such a way that it provides the same view that the user would get by looking directly at the real world. The direct video stream of images is combined with computer-generated graphics that produce the control panel, 10 15 20 25 _.30_r_ 35 527 960 ll and the combination of reality and graphics is presented in real time on the imaging unit 7. Additional functionality includes camera zoom with changing the camera's actual focal length. This allows the system to display the computer-generated graphics correctly during zooming. The camera 12 can also be used for vision-based tracking through the tracking unit 5.

I princip behövs tvà spàrningsenheter för det virtuella kontrollpanelssystemet förutom ett igenkänningssystem för igenkänning av identifikationsmarkeringarna som är fästa vid anordningarna i miljön. Den första spärningsenheten sparar och bestämmer läget, och möjligen även orienteringen, hos pekdonet 1, medan den andra spàrningsenheten sparar och be- stämmer läget och orientering hos identifikationselementet 3 som bärs av användaren. Dessa spàrningsenheter kan vara en enstaka spàrningsenhet använd för att spara bàda, som i den i figur 1 visade utföringsformen, eller tvà olika spárnings- enheter. Exempel pà andra möjliga spárningsmetoder och sys- tem är spàrningssystem med ultraljud, magnetiska spärnings- system, spàrningssystem baserade pà tröghetsnavigering (med användning av accelerometrar och gyron), mekaniska armar, optiska system och hybridsystem som kombinerar tidigare nämnda tekniker. För en del av spàrningssystemen kan pek- donet 3 och identifikationselementet 3 ha integrerade sen- sorer för att bestämma lägen och orienteringar. Sådana sen- sorer kan t ex vara gyron, tröghetssensorer och accelero- metrar.In principle, two tracking units are needed for the virtual control panel system in addition to a recognition system for recognizing the identification marks attached to the devices in the environment. The first tracking unit saves and determines the position, and possibly also the orientation, of the pointing device 1, while the second tracking unit saves and determines the position and orientation of the identification element 3 carried by the user. These tracking units can be a single tracking unit used to store both, as in the embodiment shown in Figure 1, or two different tracking units. Examples of other possible tracking methods and systems are ultrasonic tracking systems, magnetic tracking systems, inertial navigation tracking systems (using accelerometers and gyros), mechanical arms, optical systems and hybrid systems that combine the aforementioned techniques. For some of the tracking systems, the pecton 3 and the identification element 3 may have integrated sensors for determining positions and orientations. Such sensors can be, for example, gyros, inertial sensors and accelerometers.

I denna utföringsform använder användaren pekdonet l för att interägèràmméd den vifﬁuellä"köﬁtrollpaﬁëïeﬁ och för"ätt““ ”""“""' peka i miljön. Kameran 12 används som synbaserad spárning av pekdonet 1. Pekdonet l kan ocksa användas för ytterligare uppgifter sàsom att dra den virtuella kontrollpanelen, eller annan virtuell information, fràn identifikationselementet 3 till en specifik anordning och att placera, välja, visa osv nya positioner i miljön.In this embodiment, the user uses the pointing device l to interact with the vif ﬁ uellä "queue ﬁ trollpa ﬁ ëïe ﬁ and to" point "" "" "" "" "'point in the environment. The camera 12 is used as vision-based tracking of the pointing device 1. The pointing device 1 can also be used for additional tasks such as pulling the virtual control panel, or other virtual information, from the identification element 3 to a specific device and placing, selecting, displaying, etc. new positions in the environment.

Den i figur l visade utföringsformen använder sig av syn- baserad spàrning. Spàrningsenheten 5 utnyttjar kameran 12 10 15 20 25 3Ü__ 35 527 960 12 för den synbaserade spårningen. Spàrningsenheten 5 inne- fattar också en spårningsmodul 15 som innefattar programvara för att utföra spårningen. Läget och orienteringen för pek- donet 1 och identifikationselementet 3 bestäms med hjälp av bildigenkänning och spårningsmodulen 15 innefattar bildigen- känningsalgoritmer. Kameran 12 och spárningsmodulen 15 kan också användas för att specificera världskoordinatsystemet.The embodiment shown in Figure 1 uses vision-based tracking. The tracking unit 5 uses the camera 12 10 15 20 25 3Ü__ 35 527 960 12 for the vision-based tracking. The tracking unit 5 also includes a tracking module 15 which includes software for performing the tracking. The position and orientation of the pecton 1 and the identification element 3 are determined by means of image recognition and the tracking module 15 comprises image recognition algorithms. The camera 12 and the tracking module 15 can also be used to specify the world coordinate system.

Vidare innefattar systemet en bärbar dator 17 som innehåller nödvändig programvara för att alstra en eller ett flertal kontrollpaneler baserade på utdata från spårningsmodulen 15 och videoströmmen från kameran 12. Den bärbara datorn 17 innehåller också nödvändig programvara för att utföra den önskade arbetsuppgiften eller processen, t ex tvåvägskomu- nikation med anordningar, hantering och visualisering av realtidsdata. Vidare kommer den bärbara datorn 17 att alstra grafiken, vilket tillhandahåller vyn över det förstärkta verklighetsgränssnittet. Slutligen komer den bärbara datorn 17 att innehålla en lagringsenhet för att spara och äter- ställa tidigare sparad information, t ex fördefinierade grafiska gränssnitt till anordningar. I en annan utförings- form skulle en stationär dator eller en server-klientlösning kunna användas i stället för den bärbara datorn.Furthermore, the system comprises a laptop 17 which contains the necessary software to generate one or more control panels based on the output of the tracking module 15 and the video stream from the camera 12. The laptop 17 also contains the necessary software to perform the desired task or process, e.g. two-way communication with devices, handling and visualization of real-time data. Furthermore, the laptop 17 will generate the graphics, providing the view of the augmented reality interface. Finally, the laptop 17 will include a storage device for storing and restoring previously saved information, such as predefined graphical interfaces to devices. In another embodiment, a desktop or server client solution could be used instead of the laptop.

Kommunikation av information mellan den bärbara datorn 17 och kameran 12, spårningsmodulen 15 och bildenheten 7 görs genom en trådansluten eller trådlös länk. Beroende på typen av spàrningsenhet kan posen hos interaktions- och pekdonet 1 komma fràn pekdonet självt eller från en yttre spàrningsen- ._- _ .__._-_. . .__ _ .. , _ .._,_. ,, ._ , _... _ _ . _. ___.. __... _ _ _ ___...... _ _ ._._.._ En användare 19 håller identifikationselementet 3 i sin hand eller bär det på sin kropp, t ex runt sin handled. Använda- ren håller pekdonet 1 i sin andra hand. Användaren bär också bildenheten 7 och den bärbara datorn 17. Användaren kan gå omkring i miljön och bära med sig den virtuella kontroll- panelen. Spårningsenheten 5 känner igen kända identifika- tionsmarkeringar 9a, 9b i miljön. I det fall spårningsenhe- ten är baserad på seende bär användaren en kamera 12 fästad 10 15 20 25 , 3§l_ 35 527 960 13 vid sitt huvud. Kameran upptar direktvideo av den verkliga världen.Communication of information between the laptop 17 and the camera 12, the tracking module 15 and the imaging unit 7 is done through a wired or wireless link. Depending on the type of tracking device, the pose of the interaction and pointing device 1 may come from the pointing device itself or from an external tracking device. . .__ _ .., _ .._, _. ,, ._, _... _ _. _. ___ .. __... _ _ _ ___...... _ _ ._._.._ A user 19 holds the identification element 3 in his hand or carries it on his body, eg around his wrist. The user holds the pointing device 1 in his other hand. The user also carries the imaging unit 7 and the laptop 17. The user can walk around the environment and carry the virtual control panel. The tracking unit 5 recognizes known identification marks 9a, 9b in the environment. In the case where the tracking unit is based on sight, the user carries a camera 12 attached 10 15 20 25, 3§l_ 35 527 960 13 to his head. The camera records live video of the real world.

Ett fast världskoordinatsystem behöver definieras. Origo i världskoordinatsystemet definieras sà att det motsvarar bildenheten 7. Da kameran 12 är monterad pà, eller integre' rad med, bildenheten är förhållandet mellan kameran och bildenheten känt. Systemet bestämer läget för pekdonet 1 och identifikationselementet 3 i förhållande till bilden- heten 7. Härmed är all poseinformation som tillhandahålls av sparningsenheten relaterad till detta världskoordinatsystem.A fixed world coordinate system needs to be defined. The origin of the world coordinate system is defined as corresponding to the imaging unit 7. Since the camera 12 is mounted on, or integrated with, the imaging unit, the relationship between the camera and the imaging unit is known. The system determines the position of the pointing device 1 and the identification element 3 in relation to the imaging unit 7. All bag information provided by the saving unit is thus related to this world coordinate system.

Systemet behöver ocksa känna igen och identifiera identifi- kationsmarkeringarna 9a, 9b pà anordningarna i miljön. Iden- tifikationsmarkeringarna är fästade i förväg vid de anord- ningar och system som användaren önskar interagera med.The system also needs to recognize and identify the identification marks 9a, 9b on the devices in the environment. The identification markings are attached in advance to the devices and systems with which the user wishes to interact.

Olika tekniker kan användas för igenkänning sàsom RF-tagg- ning, streckkoder, ultraljud och GPS. Alternativt kan ett synbaserat spàrningssystem såsom beskrivits ovan användas för att känna igen identifikationsmarkeringarna. Det är ocksa möjligt att känna igen anordningarna själva genom igenkänning av naturliga särdrag.Various techniques can be used for recognition such as RF tagging, barcodes, ultrasound and GPS. Alternatively, a vision-based tracking system as described above can be used to recognize the identification marks. It is also possible to recognize the devices themselves by recognizing natural features.

I relation till varje anordning behöver virtuella gränssnitt definieras i systemet. Dessutom mäste potentiell komunika- tion mellan de virtuella gränssnitten och anordningarna de- finieras och uppställas i förväg. Spàrningsenheten 5 bestäm- mer ID:n hos de specifika anordningarna baserat pà ID:n hos identifikationsmarkeringarna 9b, 9a. ID:na har motsvarande virfuelIa“gränššñittT vi1ka“presenteras“som"de-virtuella~ kontrollpanelerna.In relation to each device, virtual interfaces need to be defined in the system. In addition, potential communication between the virtual interfaces and the devices must be defined and set up in advance. The tracking unit 5 determines the ID of the specific devices based on the ID of the identification marks 9b, 9a. The IDs have the corresponding virfuelIa "gränššñittT vi1ka" presented "as" de-virtual ~ control panels.

När användaren börjar använda systemet gar han omkring i miljön tills han kommer till en anordning som han vill interagera med. Det kan finnas flera sätt för systemet och användaren att besluta vilken anordning som skall presente- ras pà den virtuella kontrollpanelen. Användaren flyttar identifikationselementet 3 närmast anordningen tills sys- temet har känt igen bade ID:n för den specifika anordningen 10 15 20 25 _.3Öhr 35 527 960 14 och identifikationselementets ID inom ett förutbestämt avstånd. Ett annat sätt är att välja den verkliga anord- ningen från en dynamisk lista av alla direktanslutna an- ordningar, dvs anordningar inom ett visst avstånd från an- vändaren så att det finns robust komunikation med anord- ningen. Det besläktade virtuella gränssnittet uppträder som en virtuell kontrollpanel fäst vid identifikationselementet.When the user starts using the system, he walks around the environment until he comes to a device that he wants to interact with. There can be several ways for the system and the user to decide which device to present on the virtual control panel. The user moves the identification element 3 closest to the device until the system has recognized both the ID of the specific device and the ID of the identification element within a predetermined distance. Another way is to select the actual device from a dynamic list of all directly connected devices, ie devices within a certain distance from the user so that there is robust communication with the device. The related virtual interface appears as a virtual control panel attached to the identification element.

Användaren använder interaktions- och pekdonet l för att interagera med den virtuella kontrollpanelen, vilken kan innehålla interaktionsknappar, menyer och andra typer av interaktionsmöjligheter. Den virtuella kontrollpanelen uppdaterar sitt utseende och innehåll för att motsvara användarens val.The user uses the interaction and pointing device l to interact with the virtual control panel, which may contain interaction buttons, menus and other types of interaction options. The virtual control panel updates its appearance and content to match the user's choice.

Den virtuella kontrollpanelen ändrar sitt utseende och innehåll då användaren antingen rör sig mot en ny anordning, som har en identifikationsmarkering, eller då användaren interagerar med den virtuella kontrollpanelen. Exempel på virtuella gränssnitt är anordningsöversikter, statusinfor- mation, inställda värden, video- trendkurvor, dokumentation, klipp, t ex för underhåll och procedurer, samt datainmat- ningar. Den virtuella kontrollpanelen kan kombineras med andra interaktionsmodaliteter såsom röst- och taktil åter- koppling. Typiskt kan den virtuella kontrollpanelen ge en audiell och/eller visuell återkoppling när användaren trycker ned en interaktionsknapp.The virtual control panel changes its appearance and content when the user either moves towards a new device, which has an identification mark, or when the user interacts with the virtual control panel. Examples of virtual interfaces are device overviews, status information, set values, video trend curves, documentation, clips, eg for maintenance and procedures, and data entries. The virtual control panel can be combined with other interaction modalities such as voice and tactile feedback. Typically, the virtual control panel can provide an audio and / or visual feedback when the user presses an interaction button.

Användaren kan flytta identifikationselementet fritt, både vad beträffar läge och orientering, och den virtuella kon- trölïpañeléñ"fölïer”identifikationselementet-som om“den~är~~-- fysiskt fästad vid elementet. Den besläktade spårningsen- heten uppfångar rörelserna hos identifikationselementet och överför dess läge och orientering till den bärbara datorn med hjälp av en komunikationslänk, t ex trådlös kommunika- tion. Användaren kan sålunda lägga undan den virtuella kon- trollpanelen, t ex i en ficka när han inte använder den, eller ställa den virtuella kontrollpanelen på ett bord e.d. när han utför andra uppgifter. 10 15 20 25 35 systemet och miljön. 527 960 15 Den bärbara datorn 17 komunicerar genom trådlös kommunika- tion med anordningarna, t ex för att återvinna och sända data. Avläsningar från anordningarna kan presenteras På den virtuella kontrollpanelen medan användaren t ex kan modifi- era referensvärdet hos en anordning.The user can move the identification element freely, both in terms of position and orientation, and the virtual control lip "senses" the identification element - as if it is physically attached to the element. its location and orientation to the laptop using a communication link, such as wireless communication, so the user can put the virtual control panel away, for example in a pocket when not in use, or place the virtual control panel on a table 15 when performing other tasks. the control panel while the user can, for example, modify the reference value of a device.

Figur 2 visar ett blockdiagram över systemet. Spårnings- enheten 15 innefattar en första spårningsenhet l5a för att spåra läge och orientering för pekdonet 1, och en andra spårningsenhet l5b för att spåra läge och orientering för identifikationselementet 3. Spårningsenheterna l5a, l5b are anordnade att bestämma läge och orientering för pekdonet 1 och identifikationselementet 3 med hjälp av bildigenkänning, baserat på bilder från kameran 12. Utdata från spårnings- modulen 15 är läget och orienteringen hos pekdonet 1, och utdata från spårningsmodulen l5b är läget och orienteringen för identifikationselementet, vilka utdata överförs till en tillämpningsenhet 21.Figure 2 shows a block diagram of the system. The tracking unit 15 comprises a first tracking unit 1a for tracking the position and orientation of the pointing device 1, and a second tracking unit 15b for tracking the position and orientation of the identification element 3. The tracking units 1a, 15b are arranged to determine the position and orientation of the pointing element 1 and the pointing element 1. 3 by means of image recognition, based on images from the camera 12. Output from the tracking module 15 is the position and orientation of the pointing device 1, and output from the tracking module 15b is the position and orientation of the identification element, which output data is transmitted to an application unit 21.

Tillämpningsenheten 21 innehåller nödvändig programvara för att utföra den önskade processen eller uppgiften, t ex att integrera realtidsdata med den igenkända anordningen, och för att vidta åtgärder baserade på indata från pekdonet l.The application unit 21 contains necessary software to perform the desired process or task, for example to integrate real-time data with the recognized device, and to take actions based on input data from the pointing device 1.

Vilken åtgärd som skall vidtas beror på läget för pekdonet relativt identifikationselementet och på lagrad funktiona- litet hos kontrollpanelen. Vidare innehåller tillämpnings- enheten 21 information beträffande världskoordinatsystemet.The action to be taken depends on the position of the pointing device relative to the identification element and on the stored functionality of the control panel. Furthermore, the application unit 21 contains information regarding the world coordinate system.

Tillämpningsenheten 21 är sålunda beroende av det specifika En grafikenhet 23 genererar en 3-dimensionell grafisk fram- ställning av den visuella informationen som skall presente- ras i relation till identifikationselementet 3. Det vill säga, denna enhet innehåller en specifikation av de tre- dimensionella grafiska grundelementen som skall visuali- seras. Grafikenheten 23 mottar information från tillämp- ningsenheten 21 beträffande den virtuella grafiska informa- tion som skall presenteras baserat på användarindata, lagrad information och information mottagen från den styrda anord- 10 15 20 25 _30fW 35 527 960 16 ningen. Alla grafiska grundelement specificeras i relation till världskoordinatsystemet. För en robotprogrammerings- applikation kan relevant visuell information vara användar- specificerade vägpunkter, den verkliga robotbanan, uppgifts- specifik information osv. De grafiska framställningarna som àstadkoms i grafikenheten 23 överförs till en registrerings- enhet 25.The application unit 21 is thus dependent on the specific A graphics unit 23 generates a 3-dimensional graphical representation of the visual information to be presented in relation to the identification element 3. That is, this unit contains a specification of the three-dimensional graphic the basic elements to be visualized. The graphics unit 23 receives information from the application unit 21 regarding the virtual graphic information to be presented based on user input, stored information and information received from the controlled device 10 15 20 25 _30fW 35 527 960 16. All basic graphical elements are specified in relation to the world coordinate system. For a robot programming application, relevant visual information can be user-specified waypoints, the actual robot path, task-specific information, and so on. The graphic representations made in the graphics unit 23 are transferred to a recording unit 25.

Kameran 12 framställer direktbilder av verkligheten med hjälp av video, vilka inmatas till registreringsenheten 25.The camera 12 produces direct images of reality by means of video, which are input to the recording unit 25.

Läget och orienteringen för kameran och bildskärmen bestäms enligt världskoordinatsystemet och används av registre- ringsenheten 25 för att överlagra den verkliga scenen med datorgenererad grafik fràn grafikenheten 23. Registrerings- enheten 25 kombinerar den virtuella grafiken fràn grafik- enheten 23 med videobilder frán kameran 12. Med rätt utförd registrering kommer den datorgenererade grafiken att vir- tuellt ”fästas” vid den verkliga scenen. Läget och oriente- ringen för identifikationselementet överförs fràn spàrnings- enheten l5b till registreringsenheten. Den datorgenererade grafiken representerar den virtuella kontrollpanelen och dess läge i relation till den verkliga världen bestäms base- rat pà läget och orienteringen för identifikationselementet.The position and orientation of the camera and monitor are determined according to the world coordinate system and are used by the recording unit 25 to superimpose the real scene with computer generated graphics from the graphics unit 23. The recording unit 25 combines the virtual graphics from the graphics unit 23 with video images from the camera 12. With correctly performed registration, the computer-generated graphics will be virtually “attached” to the real stage. The position and orientation of the identification element are transferred from the tracking unit 15b to the recording unit. The computer-generated graphics represent the virtual control panel and its position in relation to the real world is determined based on the position and orientation of the identification element.

De kombinerade bilderna visas på bildenheten 7.The combined images are displayed on the imaging unit 7.

En lagringsenhet 29 möjliggör besparing och lagring av tillämpningsrelaterad information, t ex tillämpningsrelate- rad information, grafiska gränssnitt för de olika anord- ningarna samt systemkonfigurationsparametrar, t ex en lokal koordinätsräm_ochfenmvärldskoördiñatsram;“Lagringsenheten~är@~M-~~s» också anordnad att lagra ett flertal fördefinierade grafiska gränssnitt som representerar kontrollpaneler av anordningar och/eller system, vilka grafiska gränssnitt innehåller gränssnitt för användarinteraktioner med anordningen.A storage unit 29 enables saving and storage of application-related information, eg application-related information, graphical interfaces for the various devices and system configuration parameters, such as a local coordinate frame_and five-world coordinate frame; "The storage unit ~ is also storing a plurality of predefined graphical interfaces representing control panels of devices and / or systems, which graphical interfaces contain interfaces for user interactions with the device.

I denna utföringsform används kameran 12 och ett synbaserat spàrningssystem för att detektera identifikationsmarkering- arna pà anordningarna. En igenkänningsenhet 31 känner igen och identifierar anordningar i användarens miljö, baserat pà 10 15 20 25 lšoﬂm 35 527 960 17 utdata fràn kameran 12. Igenkänningsenheten 31 kännêr igen identifikationsmarkeringarna pà anordningarna, läser ID:n pä markeringen och identifierar anordningen 9eﬂOm att jämföra den lästa ID:n med ID:n som lagrats i förväg.In this embodiment, the camera 12 and a vision-based tracking system are used to detect the identification marks on the devices. A recognition unit 31 recognizes and identifies devices in the user's environment, based on output from the camera 12. The recognition unit 31 recognizes the identification marks on the devices, reads the ID on the mark and identifies the device 9e. The ID with the ID stored in advance.

När en anordning är identifierad informerar igenkännings- enheten 31 tillämpningsenheten 21 om vilken anordning som är identifierad och sen är det möjligt för tillämpningsenheten att bestäma vilken av de lagrade kontrollpanelerna som skall visas pà bildskärmen. När en ny anordning igenkänns och identifieras visas identiteten pà anordningen för använ- daren, som kan välja mellan att acceptera den nya anord- ningen eller förkasta den. Om användaren accepterar den nya anordningen àtervinner tillämpningsenheten automatiskt det grafiska gränssnittet för den nya identifierade anordningen fràn lagringsenheten 29 och överlämnar det nya grafiska gränssnittet till grafikenheten 23. Därmed ändras den visade virtuella kontrollpanelen när en ny anordning identifieras, och när användaren har bekräftat bytet av det grafiska gränssnittet.When a device is identified, the recognition unit 31 informs the application unit 21 of which device has been identified and then it is possible for the application unit to determine which of the stored control panels is to be displayed on the screen. When a new device is recognized and identified, the identity of the device is displayed to the user, who can choose between accepting the new device or rejecting it. If the user accepts the new device, the application unit automatically retrieves the graphical interface of the newly identified device from the storage unit 29 and hands over the new graphical interface to the graphics unit 23. Thus, the displayed virtual control panel changes when a new device is identified, and when the user has confirmed its replacement. graphical interface.

Eftersom den virtuella kontrollpanelen kanske inte har exakt samma utseende som en konventionell kontrollpanel kan en an- ordning ha mer än en grafisk vy relaterad till sig. Det gra- fiska gränssnittet kan sålunda innehålla mer än en grafisk vy. Som ett exempel kan den första grafiska vyn pä den vir- tuella kontrollpanelen för en pump som möter användaren vara en översikt över prestandan visualiserad som ett analogt instrument som anger prestandan fràn O till 100 %. Den spe- cifikä preštändaiñförmatïonen"för"pumpen àtervinns-i realtid ---~~ - frán pumpanordningen via datorn och nagot kommunikations- medel, företrädesvis trådlöst, mellan datorn och anordning- en. eller via en server.Because the virtual control panel may not have exactly the same appearance as a conventional control panel, a device may have more than one graphical view related to it. The graphical interface may thus contain more than one graphical view. As an example, the first graphical view on the virtual control panel of a pump facing the user may be an overview of performance visualized as an analog instrument indicating performance from 0 to 100%. The specific pre-ignition "for" the pump is recovered in real time --- ~~ - from the pump device via the computer and some means of communication, preferably wireless, between the computer and the device. or via a server.

Den grafiska vyn kan vidare ha interaktionsknappar för "Pa/Av", ”Inställt värde” och "Huvudmeny". Dessa knappar kan presenteras som 3D-objekt pà den grafiska vyn. ”Pà/Av”- interaktionsknappen kan vara färgkodad sä att den t ex är grön när pumpen är pà och röd när pumpen har stoppats. 10 15 20 25 NSU. 35 527 960 18 Dessutom kan texten vid interaktionsknappen ändras mellan "Pa" och ”Av” för att ange statusen. När Pumpen är i gäng är statusen ”pä”, och interaktionsknappen kan se ut som om den tryckts in, färgad grön med texten "Pa". När PUNPGH St°PPaS kommer interaktionsknappen att ha ändrat sin färg till röd, med texten ”Av” och interaktionsknappen kan se ut som om den inte tryckts in.The graphical view can also have interaction buttons for "On / Off", "Set value" and "Main menu". These buttons can be presented as 3D objects in the graphical view. The "On / Off" interaction button can be color-coded so that it is, for example, green when the pump is on and red when the pump has been stopped. 10 15 20 25 NSU. 35 527 960 18 In addition, the text at the interaction key can be changed between "On" and "Off" to indicate the status. When the Pump is running, the status is "on", and the interaction button can look as if it has been pressed, colored green with the text "Pa". When PUNPGH St ° PPaS, the interaction button will have changed its color to red, with the text "Off" and the interaction button may look as if it has not been pressed.

Interaktionsknappen ”Inställt värde” kan frambringa en annan grafisk vy som representerar en vy för ändring av det in- ställda värdet. Det inställda värdet kan visualiseras som en siffra pä en bildskärm som kan väljas. Användaren kan välja mellan olika sätt att ändra det inställda värdet. Ett sätt är att välja den visade siffran och mata in en ny siffra för det nya inställda värdet. Ett annat sätt kan vara att ställa in det inställda värdet med användning av interaktionsknapp- ar för ”upp” och "ned". Det inställda värdet kommer att upp- dateras omedelbart i bildskärmen. Beträffande sättet att ändra inställt värde kan användaren bekräfta det nya in- ställda värdet innan anordningen uppdateras (i realtid).The “Set Value” interaction button can produce another graphical view that represents a view for changing the set value. The set value can be visualized as a number on a selectable monitor. The user can choose between different ways to change the set value. One way is to select the displayed digit and enter a new digit for the new set value. Another way can be to set the set value using the "up" and "down" interaction buttons. The set value will be updated immediately on the screen. Regarding the way to change the set value, the user can confirm the new set value before the device is updated (in real time).

Huvudmenyn kan exempelvis innehålla val för "Prestanda', ”Inställt värde", ”Dokumentation”, ”Underhàllshistorik”. interaktionsknappar, menyer eller tabbar.The main menu may, for example, contain options for "Performance", "Set value", "Documentation", "Maintenance history". interaction buttons, menus or tabs.

"Trendkurvor” och Dessa val kan t ex presenteras såsom ”Dokumentation” kan innehålla dokumentation för olika användargrupper och bruk, t ex användarmanualer för anordningen, procedurer, tekniska manualer, rapporter osv. När användaren har valt typen av dokumentation kan den visas sida för sida där ”änväñdarën kan välja ”nästa” och"”föregående”,~t~ex~genom-- ~f~-»~» interaktionsknappar. Som en del av dokumentationen kan bilder, grafik och videor även ingà."Trend curves" and These options can be presented as "Documentation" can contain documentation for different user groups and uses, such as user manuals for the device, procedures, technical manuals, reports, etc. Once the user has selected the type of documentation, it can be displayed page by page where the "invader" can select "next" and "" previous ", ~ eg ~ through-- ~ f ~ -» ~ »interaction buttons. As part of the documentation, pictures, graphics and videos can also be included.

De grafiska vyerna är utformade och utvecklade i förväg och lagras i lagringsenheten. I relation till de grafiska vyerna lagras även läget och innehållet för interaktionsfält pä de grafiska vyerna, och pà liknande sätt lagras datafälten. När en grafisk vy laddas upp relaterad till den virtuella kon- trollpanelen fylls data automatiskt pà i datafältet. Använ- 10 15 20 '25 i3o.” 35 527 960 19 darinteraktion med den virtuella kontrollpanelen tas omhand av spårningssystemet, vilket spårar läget för pekföremålet.The graphic views are designed and developed in advance and stored in the storage unit. In relation to the graphical views, the position and content of interaction fields are also stored on the graphical views, and data fields are similarly stored. When a graphical view is uploaded related to the virtual control panel, data is automatically loaded in the data field. Use 10 15 20 '25 i3o. " Interaction with the virtual control panel is handled by the tracking system, which tracks the position of the pointing object.

Tillämpningsenheten märker när läget för pekföremålet över- ensstämmer med något av interaktionsfälten vid den specifika vyn hos den virtuella kontrollpanelen.The application unit notices when the position of the pointing object corresponds to one of the interaction fields at the specific view of the virtual control panel.

I ett användningsfall behöver en användare som arbetar inom en anläggning kontrollera och uppdatera ett befintligt robotprogram för att försäkra sig om att programmodulerna laddas ned och relateras till de rätta robotarna. Fyra robo- tar ingår i programmet. Han måste då logga in vid var och en av de fyra programeringslådorna, en i taget, bläddra ned i menyerna och återfinna det rätta programet och den rätta platsen i programmet. Genom att utnyttja den föreslagna upp- finningen skulle användaren bara behöva gå till närmaste lämpliga robot och sedan kontrollera programmet för var och en av de fyra robotarna. Kostnaderna för underhåll av pro- grameringslàdorna minskas sålunda. Dessutom undviks pro- blemet med ledningar mellan robotstyrenheten och program- meringslådan med den virtuella kontrollpanelen.In a use case, a user working in a facility needs to check and update an existing robot program to ensure that the program modules are downloaded and related to the correct robots. Four robots are included in the program. He must then log in to each of the four programming boxes, one at a time, scroll down the menus and find the right program and the right place in the program. By utilizing the proposed invention, the user would only need to go to the nearest suitable robot and then check the program for each of the four robots. The costs for maintenance of the programming boxes are thus reduced. In addition, the problem of wiring between the robot controller and the programming box with the virtual control panel is avoided.

Vid processanläggningsmiljöer går användaren runt och utför övervakning-, inspektions- och underhàllsuppgifter relate- rade till en process eller anordning. Användaren har i typ- fallet tvåvägs radiokommunikation med användarna i kontroll- rummet för att överföra information till och fràn processen.In process plant environments, the user walks around and performs monitoring, inspection and maintenance tasks related to a process or device. The user typically has two-way radio communication with the users in the control room to transmit information to and from the process.

Den virtuella kontrollpanelen förser fältanvändaren med så- väl ett gränssnitt för att interagera on-line med de olika anordningarna och systemen på fältet som med ett verktyg för ätt"granškamdokümentätionï rapporter, underhålls=~och ser-- viceprocedurer osv. Användaren bär alltid den virtuella kontrollpanelen med sig. Han kan lägga den åt sidan, eller fästa den vid t ex sin arm, medan han utför andra uppgifter.The virtual control panel provides the field user with an interface for interacting on-line with the various devices and systems in the field as well as with a tool for "granškamdokümentätionï reports, maintenance = ~ and service procedures, etc. The user always carries the virtual He can set it aside, or attach it to his arm, for example, while performing other tasks.

Fältanvändaren komer att kunna utföra sina arbetsuppgifter effektivare. Dessutom förhindrar användningen av den vir- tuella kontrollpanelen att fel uppstår på grund av komu- nikationsproblem mellan fältanvändaren och kontrollrumet (missförstånd, buller osv). Kontrollrumsanvändarna kan också 10 15 20 25 .mäø 35 527 960 20 fa tillfälle att se uppdaterade data och information fràn anläggningen.The field user will be able to perform his tasks more efficiently. In addition, the use of the virtual control panel prevents errors from occurring due to communication problems between the field user and the control room (misunderstandings, noise, etc.). Control room users can also have the opportunity to see updated data and information from the facility.

Den virtuella kontrollpanelen kan också användas för andra tillämpningar sàsom registrering och räkning i affärer. Kom- binerat med streckkoder kan den virtuella kontrollpanelen visualisera information relaterad till den registrerade de- taljen. Användaren kan mata in data och information ävensom läsa status och dokumentation.The virtual control panel can also be used for other applications such as business registration and billing. Combined with barcodes, the virtual control panel can visualize information related to the registered detail. The user can enter data and information as well as read status and documentation.

Ett annat tillämpningsexempel är ett kontor. Den virtuella kontrollpanelen kan förse användaren med namn pä männiSk0r som passerar genom dörrarna, eller människorna själva om de anställda är utrustade med ID-kort. Säkerhetspersonalen kan exempelvis ha virtuella kontrollpaneler för att kontrollera ID-kort, ändra lösenord, registrera statusinformation fràn sina kontrollrundor osv.Another application example is an office. The virtual control panel can provide the user with the names of people passing through the doors, or the people themselves if the employees are equipped with ID cards. Security personnel can, for example, have virtual control panels to check ID cards, change passwords, register status information from their control rounds, and so on.

Föreliggande uppfinning är inte begränsad till de visade utföringsformerna utan kan varieras och modifieras inom ramen för efterföljande patentkrav. En anordning skulle exempelvis kunna identifieras genom att användaren matar in ett identifikationsnummer i systemet.The present invention is not limited to the embodiments shown, but may be varied and modified within the scope of the appended claims. A device could, for example, be identified by the user entering an identification number into the system.

Alternativt kan användaren använda sin hand och sina fingrar för att interagera med den virtuella kontrollpanelen. Sys- temet behöver ända bestämma posen hos den interagerande kroppsdelen. En liknande spàrningsenhet som för interak- tions- och pekdonet kan användas för hand-/fingerspàrning.Alternatively, the user can use his hand and fingers to interact with the virtual control panel. The system still needs to determine the position of the interacting body part. A tracking device similar to that of the interaction and pointing device can be used for hand / finger tracking.

*“Systèmet"béhövër*vidare'ett"igenkänningssystem*för-attWkänna~Vﬂ~»w~» igen den interagerande kroppsdelen och bestämma dess läge.The system "further" needs a "recognition system" for recognizing the interacting body part and determining its position.

Förutom att använda sina fingrar eller ett pekdon kan fält- användaren interagera med den virtuella kontrollpanelen med användning av andra interaktionsmedel, sàsom röststyrda och fysiska interaktionsknappar.In addition to using their fingers or a pointing device, the field user can interact with the virtual control panel using other means of interaction, such as voice-controlled and physical interaction buttons.

Föreliggande uppfinning är exempelvis inte begränsad till system för förstärkt verklighet som utnyttjar en sammansatt 10 15 527 960 21 videobild utan kan även utnyttjas i transparenta system för förstärkt verklighet, där endast den datorgenererade grafi- ken presenteras för användaren som ser grafiken med verk- ligheten i bakgrunden.For example, the present invention is not limited to augmented reality systems that utilize a composite video image, but may also be utilized in transparent augmented reality systems, where only the computer-generated graphics are presented to the user who sees the graphics with reality in the background.

I en annan utföringsform kan man, i stället för att ha en bildenhet, ha bildskärmen anordnad så att vyn projiceras direkt pá användarens ögon. Man skulle exempelvis kunna använda en virtuell retinal display, där information projiceras direkt in i näthinnan utan behov av en fysisk bildenhet.In another embodiment, instead of having an image unit, the monitor can be arranged so that the view is projected directly onto the user's eyes. One could, for example, use a virtual retinal display, where information is projected directly into the retina without the need for a physical image device.

Claims

A system which allows a user to interact with a virtual control panel using a user-controlled pointing device (1), the system comprising a first voltage unit (15b) arranged to capture data representing the position of the pointing object, characterized in that the system further comprises: - a portable identification element (3), - a second tracking unit (15a) arranged to capture data representing the position of the identification element, - a storage unit (29) which stores at least a predefined graphical interface representing a control panel of a device, said graphical interface comprising an interface for user interactions with the device, - a graphics unit (23) generating a graphical representation of the control panel based on said stored graphical interface, a recording unit (25) which records said graphic representation of the control panel in a fixed relationship to said portable identification element, based on said data representing the position of the identification element to provide a virtual control panel, - a display (7) showing the user a view comprising the real world and the virtual control panel projected "in" a fixed "relation to said portable identification element, and - an application unit (21) which takes actions in response to the user's interactions with the virtual control panel and which determines which actions to take based on the position of said user controlled pointing objects in relation to the identification element. 2. A system according to claim 1, characterized in that the system is arranged to modify the appearance of the virtual control panel in response to interactions between the user-controlled pointing device and the virtual control panel. System according to claim 1 or 2, characterized in that said graphical interface is arranged to display data from the device and that the system is arranged to generate a graphical representation of said data and to display said data on the virtual control panel. System according to any one of the preceding claims, characterized in that said user-controlled pointing object is a hand-operated pointing device (1) or a part of the user's body. System according to any one of the preceding claims, characterized in that the storage unit (29) is arranged to store a plurality of graphical interfaces, each representing a control panel of a special device, that the system is arranged to generate and display a plurality of graphical representations of control panels for different devices based on said stored graphical interface of the devices, and that the system comprises means (31) for identifying which of the stored control panels is to be displayed. System according to claim 5, characterized in that said means for identifying which of the stored control panels to be displayed comprises a recognition unit "" (* 3'1 ")" for "sensing" ig "ëff" cc1-: 'identify' the environment of the encoder receiver, and that the system is arranged to determine which of the stored control panels is to be displayed based on which of the devices has been identified 7. A system according to claim 6, characterized in that said recognition unit (31) is arranged to recognize and identify unique identification markings (9a, 9b) on the devices (11a, 11b) 8. System according to any one of claims 5-7, characterized in that the system is arranged so as to change the virtual control panel displayed when another device is recognized and identified and when the user has accepted the device 9. System according to any one of the preceding claims, characterized in that said portable identification element (3) is arranged to be worn by the user when interacting with the virtual control panel. System according to any one of the preceding claims, characterized in that said portable identification element (3) is attachable to the user's body. ll. System according to any one of the preceding claims, characterized in that said display comprises a portable display unit (7) which shows the user said view. A method that allows a user to interact with a virtual control panel using a user-controlled pointing object, the method comprising: - receiving data representing the position of the user-controlled pointing object (1), - receiving data representing the position of the portable identification element (3), - to store at least one predefined graphical interface representing a control panel of a "device"; - to generate a graphical representation of the control panel of the device based on said predefined graphical interface, - registering said graphical representation of the control panel in a fixed relation to said portable identification element, based on said data representing the position of the identification element, to provide a virtual control panel, - to display a view comprising the real world and the virtual control panel pr0 ﬁ iCeïad in a fixed relationship to said b and - to take actions in response to the user's interactions with the virtual control panel, the actions to be taken being determined based on the position of said user-controlled pointing objects in relation to the position of the virtual control panel. A method according to claim 12, comprising modifying the appearance of the virtual control panel Sem SVer On interactions between the user-controlled touch object and the virtual control panel. A method according to claim 12 or 13, wherein it comprises defining a two-way communication between the virtual control panel and the device, sending information to the device regarding the user's actions towards the virtual control panel, receiving data from the virtual control panel. order, to generate a graphical representation of received data and to display this data on the virtual control panel. The method of claim 14, wherein said data is displayed on the virtual control panel in response to interactions between the user-controlled pointing device and the virtual control panel. The method according to the claim "wherein the method" comprises: - storing a plurality of predefined graphical interfaces, each representing a control panel of a particular device, - determining which of the stored control panels is to be displayed, and generating a graphical representation of the control panel to be displayed based on the predefined graphical interface of the control panel to be displayed 17. A method according to any one of claims 12-16, wherein at least one of the stored graphical interfaces comprises more than one graphical view to be displayed on the virtual control panel, and which of the views to be displayed is determined based on the user's actions. again and identify a device, to determine which of the stored control panels to display based on the identified device, to generate a graphical representation of cont the role panel of the identified device based on the stored graphical interface of the identified device and to show a view comprising the real world and the virtual control panel of the identified device projected in a fixed relation to said portable identification element. Method according to claim 18, characterized in that each device is provided with a unique identification mark and a device is recognized by identifying its unique identification mark. The method of any of claims 18-19, wherein the virtual control panel displayed changes when another device is recognized and identified, and when the user has accepted the device. A method according to any of claims 12-20, wherein said portable identification element is carried by the user in interaction with the virtual control panel. A method according to any of claims 12-21, wherein the virtual control panel comprises virtual interaction means and an audio and / or visual feedback is generated when the user activates one of the virtual interaction means. 527 960 27 23. Computer programs comprising program instructions which, when downloaded to a computer, enable the computer to perform the process according to any of claims 12-22. A computer readable medium having a program recorded thereon, wherein the program is to cause a computer to perform the steps according to any of claims 12-22, when said program is run on the computer.