PL227236B1

PL227236B1 - Device for controlling a computer

Info

Publication number: PL227236B1
Application number: PL402798A
Authority: PL
Inventors: Piotr Kowalczyk; Dariusz Sawicki
Original assignee: Politechnika Warszawska
Priority date: 2013-02-15
Filing date: 2013-02-15
Publication date: 2017-11-30
Also published as: PL402798A1

Description

Opis wynalazkuDescription of the invention

Przedmiotem wynalazku jest urządzenie do sterowania komputera, które umożliwia szybką i precyzyjną zmianę położenia kursora na ekranie oraz symulację przycisków myszy.The subject of the invention is a computer control device which enables quick and precise changing of the cursor position on the screen and the simulation of mouse buttons.

Znanym urządzeniem do sterowania komputera jest mysz komputerowa, która obsługiwana dłonią umożliwia zmianę położenia kursora na ekranie poprzez przesunięcie jej po płaskiej powierzchni. Mysz komputerowa zawiera układ sterowania położeniem kursora oraz układ przełączników wyzwalających sygnały sterujące pracą komputera. Znany jest układ sterowania położeniem kursora, który składa się ze źródła promieniowania laserowego, detektora tego promieniowania oraz elementu wyznaczania zmiany położenia myszy na płaszczyźnie roboczej na podstawie zmian w detekcji promieniowania. Układ wyzwalający sygnały sterujące pracą komputera zawiera mikroprzełączniki uruchamiane naciśnięciem palca użytkownika.A well-known computer control device is a computer mouse which, when operated by a hand, enables the cursor to be repositioned on the screen by moving it on a flat surface. The computer mouse includes a cursor position control system and an array of switches for triggering signals controlling the operation of the computer. A cursor position control system is known, which consists of a laser radiation source, a radiation detector and an element for determining the change of the mouse position on the working plane based on changes in radiation detection. The computer controlling signals triggering includes microswitches that are activated by pressing the user's finger.

Mysz komputerowa obsługiwana jest ruchami dłoni co uniemożliwia jej wykorzystanie przez osoby niepełnosprawne z dysfunkcją rąk.The computer mouse is operated by hand movements, which makes it impossible to use it by disabled people with hand dysfunction.

Znane jest z opisu patentowego WO201208297A1 dotyczącego rozpoznawania gestów rozwiązanie, w którym zastosowano oprawkę okularów. Na bocznym ramieniu tej oprawki zamontowana jest kamera główna, która obserwuje ręce użytkownika na tle ekranu. Na przedniej części oprawki zamontowane są mikrokamery obserwujące oczy użytkownika.It is known from the patent description WO201208297A1 relating to gesture recognition, a solution in which a spectacle frame is used. A main camera is mounted on the side arm of this frame, which observes the user's hands against the background of the screen. On the front part of the frame there are microcamera installed that observe the eyes of the user.

Znane jest z opisu patentowego WO2009043927A1 dotyczącego urządzenia do rozpoznawania kierunku patrzenia rozwiązanie, w którym znajduje się kamera główna zamontowana na obwodzie głowy. Na obwodzie głowy zamontowany jest również wysięgnik, na końcu którego umieszczone są mikrokamera i dioda oświetlająca oczy. Z tyłu głowy zamontowany jest procesor przetwarzający i transmitujący sygnał.There is known from the patent description WO2009043927A1 relating to a viewing direction recognition device a solution in which there is a main camera mounted on the circumference of the head. A boom is also mounted around the circumference of the head, at the end of which there is a microcamera and a LED illuminating the eyes. A processor that processes and transmits the signal is mounted on the back of the head.

Celem wynalazku jest sterowanie komputera za pomocą ruchów głowy i mrugnięć oczu.The object of the invention is to control the computer by means of head movements and eye blinks.

Istota urządzenia według wynalazku w odmianie bezprzewodowej polega na tym, że w zasięgu kamery głównej znajduje się fragment obrazu wyświetlanego na ekranie, na którym to obrazie znajduje się kursor oddalony od centrum kadru kamery głównej o wektor. Moduł mikrokamery zawiera diodę IR zamontowaną obok mikrokamery. Moduł mikroprocesora składa się z wzajemnie połączonych: mikroprocesora, nadajnika, układu zasilającego. Kursor ma obszar o barwie fioletowej i obszar o barwie czerwonej.The essence of the device according to the invention in the wireless version consists in the fact that within the range of the main camera there is a fragment of the image displayed on the screen, in which there is a cursor located away from the main camera frame center by a vector. The microcamera module includes an IR diode mounted next to the microcamera. The microprocessor module consists of interconnected: microprocessor, transmitter and power supply system. The cursor has a purple area and a red area.

Istota urządzenia według wynalazku w odmianie bezprzewodowej polega na tym, że w zasięgu kamery głównej znajduje się fragment obrazu wyświetlanego na ekranie, na którym to obrazie znajduje się kursor oddalony od centrum kadru kamery głównej o wektor. Moduł mikrokamery zawiera diodę IR zamontowaną obok mikrokamery. Kursor ma obszar o barwie fioletowej i obszar o barwie czerwonej.The essence of the device according to the invention in the wireless version consists in the fact that within the range of the main camera there is a fragment of the image displayed on the screen, in which there is a cursor located away from the main camera frame center by a vector. The microcamera module includes an IR diode mounted next to the microcamera. The cursor has a purple area and a red area.

Rozwiązanie według wynalazku umożliwia zmianę położenia kursora na ekranie oraz symulację przycisków myszy osobom niepełnosprawnym. Do sterowania komputera wymaga od użytkownika jedynie możliwości wykonywania nieznacznych ruchów głowy. W rozwiązaniu nie jest analizowany obraz głowy a jedynie obraz kursora do wyznaczenia położenia głowy, co umożliwia znacznie prostszą analizę obrazu.The solution according to the invention makes it possible to change the position of the cursor on the screen and to simulate the mouse buttons for people with disabilities. To control the computer, it only requires the user to be able to make slight head movements. The solution does not analyze the image of the head, but only the image of the cursor to determine the position of the head, which enables much simpler image analysis.

Przedmiot wynalazku jest przedstawiony w przykładzie wykonania na rysunku, na którym fig. 1 przedstawia urządzenie do sterowania komputera w wersji bezprzewodowej w rzucie perspektywicznym, fig. 2 przedstawia urządzenie do sterowania komputera w wersji przewodowej w rzucie perspektywicznym, fig. 3 przedstawia położenie modułu mikrokamery względem oka, fig. 4 przedstawia schemat blokowy modułu mikroprocesora, a fig. 5 kursor wyświetlany na ekranie.The subject of the invention is presented in the embodiment in the drawing, in which fig. 1 shows a computer control device in a wireless version in a perspective view, fig. 2 shows a computer control device in a wired version in a perspective view, fig. 3 shows the position of a microcamera module in relation to In the eye, Fig. 4 shows a block diagram of a microprocessor module and Fig. 5 shows a cursor displayed on the screen.

Jak to przedstawia fig. 1 urządzenie w odmianie bezprzewodowej ma postać okularów 5 montowanych na głowie, które na bocznym ramieniu ma zainstalowaną kamerę główną 1 na przeciwko której znajduje się ekran 11 monitora 10. Na przedniej części oprawki 5 zamontowany jest moduł mikrokamery 2 na przeciwko lewego oka i moduł mikrokamery 3 na przeciwko prawego oka. Na drugim ramieniu bocznym znajduje się moduł mikroprocesora 4. W zasięgu kamery głównej 1 znajduje się fragment obrazu 6 wyświetlanego na ekranie 11. Na obrazie 6 znajduje się kursor 7 oddalony od centrum kadru 8 kamery głównej 1 o wektor 9. Urządzenie jest w łączności bezprzewodowej 13 z komputerem 12.As shown in Fig. 1, the device in the wireless variant is in the form of glasses 5 mounted on the head, which has the main camera 1 installed on the side arm, against which the screen 11 of the monitor 10 is located. The microcamera module 2 is mounted on the front part of the frame 5, opposite the left one. eye and a microcamera module 3 in front of the right eye. On the second side arm there is a microprocessor module 4. Within the range of the main camera 1 there is a fragment of the image 6 displayed on the screen 11. In the image 6 there is a cursor 7 located from the center of the frame 8 of the main camera 1 by the vector 9. The device is in wireless communication 13 with computer 12.

Jak to przedstawia fig. 2 urządzenie w odmianie przewodowej ma postać okularów 5 montowanych na głowie, które na bocznym ramieniu ma zainstalowaną kamerę główną 1 na przeciwko której znajduje się ekran 11 monitora 10. Na przedniej części oprawki 5 zamontowany jest moduł mikrokaPL 227 236 B1 mery 2 na przeciwko lewego oka i moduł mikrokamery 3 na przeciwko prawego oka. W zasięgu kamery głównej 1 znajduje się fragment obrazu 6 wyświetlanego na ekranie 11. Na obrazie 6 znajduje się kursor 7 oddalony od centrum kadru 8 kamery głównej 1 o wektor 9. Urządzenie jest podłączone przewodem 14 z komputerem 12.As shown in Fig. 2, the device in the wired version is in the form of glasses 5 mounted on the head, which on the side arm has the main camera 1, against which there is a screen 11 of the monitor 10. The microchip module is mounted on the front part of the frame 5. 2 in front of the left eye and a microcamera module 3 in front of the right eye. Within the range of the main camera 1 there is a fragment of the image 6 displayed on the screen 11. In the image 6 there is a cursor 7 located away from the center of the frame 8 of the main camera 1 by the vector 9. The device is connected with the computer 12 via a cable 14.

Jak to przedstawia fig. 3 mikrokamera 16 wchodząca w skład modułu mikrokamery 2 i modułu mikrokamery 3 zamontowana jest na przedniej części oprawki 15 naprzeciwko oka 19. W polu widzenia 18 mikrokamery 16 znajduje się fragment oka 19. Dioda IR 17 wchodząca w skład modułu mikrokamery 2 i modułu mikrokamery 3 zamontowana jest na przedniej części oprawki 15 obok mikrokamery 16 na przeciwko oka 19. Dioda IR 17 oświetla fragment oka 19 znajdujący się w polu widzenia 18 mikrokamery 16.As shown in Fig. 3, the microcamera 16, which is part of the microcamera module 2 and the microcamera module 3, is mounted on the front part of the frame 15 opposite the eye 19. In the field of view 18 of the microcamera 16 there is a fragment of the eye 19. The IR diode 17 which is part of the microcamera module 2 and the microcamera module 3 is mounted on the front part of the holder 15 next to the microcamera 16 in front of the eye 19. The IR diode 17 illuminates the part of the eye 19 within the field of view 18 of the microcamera 16.

Jak to przedstawia fig. 4 moduł mikroprocesora 4 składa się z trzech elementów wzajemnie połączonych, są to: mikroprocesor 20, nadajnik 21 oraz układ zasilający 22.As shown in Fig. 4, the microprocessor module 4 consists of three interconnected components: microprocessor 20, transmitter 21 and power supply 22.

Jak to przedstawia fig. 5 kursor 7 jest podzielony na dwa obszary o różnych barwach. Pierwszy obszar to obszar kursora o barwie czerwonej 24. Zajmuje on całą lewą górną część powierzchni kursora 7. Drugi obszar to obszar kursora o barwie fioletowej 23. Znajduje się on w prawej dolnej części powierzchni kursora 7 i nie zajmuje całej przydzielonej powierzchni.As shown in Fig. 5, the cursor 7 is divided into two areas with different colors. The first area is the red 24 cursor area. It occupies the entire upper left part of the cursor 7. The second area is the purple 23 cursor area. It is located on the lower right part of the 7 cursor area and does not occupy the entire allocated area.

W odmianie bezprzewodowej kamera główna 1 rejestruje fragment obrazu 6 wyświetlanego na ekranie 11. Na zarejestrowanym obrazie znajduje się kursor 7. Zarejestrowany obraz przesyłany jest do modułu mikroprocesora 4. W mikroprocesorze 20 dokonywane jest przetworzenie obrazu, którego efektem jest rozpoznanie i ustalenie pozycji kursora 7 na zarejestrowanym fragmencie obrazu 6. Przetwarzanie polega na wyodrębnieniu fragmentów obrazu reprezentujących obszar kursora o barwie fioletowej 23 oraz w ich sąsiedztwie fragmentów obrazu reprezentujących obszar kursora o barwie czerwonej 24. Następnie wyznaczany jest wektor 9 łączący pozycję rozpoznanego kursora 7 i centrum kadru kamery głównej 8. Parametry wyznaczonego wektora 9, określone przez długość wzdłuż osi x i y, wysyłane są bezprzewodowo 13 poprzez nadajnik 21 do komputera 12. Sterownik systemowy w komputerze 12 odbiera parametry wyznaczonego wektora 9. Następnie wektor 9 poddawany jest skalowaniu przez ustaloną stałą. Ostatnim krokiem jest przesunięcie kursora 7 na ekranie 11 o wyskalowany wektor 9. Operacja ta jest wykonywana iteracyjnie w czasie rzeczywistym i powoduje przesunięcie kursora w kierunku centrum kadru 8 kamery głównej 1 a tym samym umożliwia szybką i precyzyjną zmianę położenie kursora 7 na ekranie 11. Jak wynika z powyższego kamera główna 1 rejestruje obraz ekranu 11 i kursora 7. Po każdym ruchu głowy, na podstawie analizy położenia kursora na ekranie 11 jest wyznaczane zmiana położenia głowy względem kursora. Na podstawie wyznaczonej zmiany położenia głowy jest realizowana zmiana położenia kursora na ekranie. W efekcie tego użytkownik ma możliwość sterowania komputerem za pomocą ruchów głowy.In the wireless variant, the main camera 1 records a fragment of the image 6 displayed on the screen 11. The captured image has a cursor 7. The recorded image is sent to the microprocessor module 4. The microprocessor 20 performs image processing, which results in recognition and positioning of the cursor 7 on the the recorded fragment of the image 6. Processing consists in extracting the image fragments representing the violet cursor area 23 and, in their vicinity, the image fragments representing the red cursor area 24. Next, the vector 9 is determined connecting the position of the recognized cursor 7 and the main camera frame center 8. Parameters the determined vector 9, defined by the length along the x and y axes, are sent wirelessly 13 via the transmitter 21 to the computer 12. A system controller in the computer 12 receives the parameters of the determined vector 9. The vector 9 is then scaled by a fixed constant. The last step is to move the cursor 7 on the screen 11 by the scaled vector 9. This operation is performed iteratively in real time and causes the cursor to be moved towards the center of the frame 8 of the main camera 1 and thus enables a quick and precise change of the position of the cursor 7 on the screen 11. How it follows from the above the main camera 1 captures an image of the screen 11 and the cursor 7. After each movement of the head, a change in the position of the head with respect to the cursor is determined on the basis of the analysis of the position of the cursor on the screen 11. Based on the determined change in the position of the head, the position of the cursor on the screen is changed. As a result, the user has the ability to control the computer by means of head movements.

W odmianie bezprzewodowej dioda IR 17 oświetla oko 19. Światło odbite od powierzchni oka dla oka otwartego bądź powieki dla oka zamkniętego jest rejestrowane poprzez mikrokamerę 16. Zarejestrowany obraz przesyłany jest do modułu mikroprocesora 4. W mikroprocesorze 20 dokonywane jest przetworzenie obrazu, którego efektem jest określenie czy oko jest zamknięte czy otwarte. Przetwarzanie polega na analizie stopnia rozproszenia światła odbitego od oka 19. Małe rozproszenie świadczy o odbiciu światła od powierzchni oka - oko otwarte. Duże rozproszenie świadczy o odbiciu światła od powieki - oko zamknięte. Informacja czy oko jest zamknięte czy otwarte wysyłana jest bezprzewodowo 13 poprzez nadajnik 21 do komputera 12.In the wireless variant, the IR diode 17 illuminates the eye 19. The light reflected from the eye surface for the open eye or the eyelid for the closed eye is recorded by a microcamera 16. The recorded image is sent to the microprocessor module 4. In the microprocessor 20, image processing is performed, the effect of which is to determine whether the eye is closed or open. The processing is based on the analysis of the degree of scattering of the light reflected from the eye 19. A small scatter indicates the reflection of light from the surface of the eye - the eye is open. High scattering indicates light is reflected from the eyelid - the eye is closed. Information whether the eye is closed or open is sent wirelessly 13 via the transmitter 21 to the computer 12.

Sterownik systemowy w komputerze 12 odbiera w czasie rzeczywistym informacje o stanie oka. Sterownik oblicza czas jak długo oko jest zamknięte. Stoper zostaje uruchomiony w momencie zmiany stanu oka z otwartego na zamknięte a zatrzymywany w momencie zmiany stanu oka z zamkniętego na otwarte. Czas kiedy oko jest zamknięte odpowiada kliknięciom myszy w znanych rozwiązaniach, co jest przedstawione w poniższej tabeli.The system controller in the computer 12 receives information about the condition of the eye in real time. The controller calculates the time as long as the eye is closed. The stopwatch starts when the eye changes from open to closed, and stops when the eye changes from closed to open. The time when the eye is closed corresponds to mouse clicks in the known solutions, as shown in the table below.

PL 227 236 B1PL 227 236 B1

Oko lewe Left eye Oko prawe Right eye t < ti t <ti Brak działania No action Brak działania No action t > ti t < t2 t> t and t <t2 pojedyncze kliknięcie lewym przyciskiem myszy single left click pojedyncze kliknięcie prawym przyciskiem myszy single right click t > t2 t < t3 t> t2 t <t3 podwójne kliknięcie lewym przyciskiem myszy double-click with the left mouse button pojedyncze kliknięcie centralnym przyciskiem myszy; scroll single click with the central mouse button; scroll t > t3 t> t3 przytrzymanie lewego przycisku myszy holding down the left mouse button przytrzymanie prawego przycisku myszy holding down the right mouse button

W odmianie przewodowej kamera główna rejestruje fragment obrazu 6 wyświetlanego na ekranie 11. Na zarejestrowanym obrazie znajduje się kursor 7. Po każdym ruchu głowy, na podstawie analizy położenia kursora na ekranie 11 jest wyznaczana zmiana położenia głowy względem kursora. Na podstawie wyznaczonej zmiany położenia głowy jest realizowana zmiana położenia kursora na ekranie. W efekcie tego użytkownik ma możliwość sterowania komputerem za pomocą ruchów głowy.In the wired version, the main camera records a fragment of the image 6 displayed on the screen 11. The captured image has a cursor 7. After each head movement, a change of the head position in relation to the cursor is determined based on the analysis of the cursor position on the screen 11. Based on the determined change in the position of the head, the position of the cursor on the screen is changed. As a result, the user has the ability to control the computer by means of head movements.

Zarejestrowany obraz przesyłany jest poprzez przewód 14 do komputera 12.The recorded image is sent via the cable 14 to the computer 12.

W komputerze 12 poprzez sterownik systemowy dokonywane jest przetworzenie obrazu, którego efektem jest rozpoznanie i ustalenie pozycji kursora 7 na zarejestrowanym fragmencie obrazu 6. Przetwarzanie polega na wyodrębnieniu fragmentów obrazu reprezentujących obszar kursora o barwie fioletowej 23 oraz w ich sąsiedztwie fragmentów obrazu reprezentujących obszar kursora o barwie czerwonej 24. Następnie wyznaczany jest wektor 9 łączący pozycję rozpoznanego kursora 7 i centrum kadru kamery głównej 8. Wektor 9 poddawany jest skalowaniu przez ustaloną stałą. Ostatnim krokiem jest przesunięcie kursora 7 na ekranie 11 o wyskalowany wektor 9. Operacja ta jest wykonywana iteracyjnie w czasie rzeczywistym i powoduje przesunięcie kursora w kierunku centrum kadru 8 kamery głównej 1 a tym samym umożliwia szybką i precyzyjną zmianę położenie kursora 7 na ekranie 11.In the computer 12, the system controller performs image processing, the effect of which is the recognition and positioning of the cursor 7 on the recorded portion of the image 6. Processing consists in extracting the image fragments representing the violet cursor area 23 and, in their vicinity, the image fragments representing the cursor area with the color The vector 9 is then determined which connects the position of the recognized cursor 7 and the frame center of the main camera 8. The vector 9 is scaled by a fixed constant. The last step is to move the cursor 7 on the screen 11 by the scaled vector 9. This operation is performed iteratively in real time and causes the cursor to be moved towards the center of the frame 8 of the main camera 1 and thus allows a quick and precise change of the position of the cursor 7 on the screen 11.

W odmianie przewodowej dioda IR 17 oświetla oko 19. Światło odbite od powierzchni oka dla oka otwartego bądź powieki dla oka zamkniętego jest rejestrowane poprzez mikrokamerę 16. Zarejestrowany obraz przesyłany jest poprzez przewód 14 do komputera 12.In the wired version, the IR diode 17 illuminates the eye 19. The light reflected from the eye surface for the open eye or the eyelid for the closed eye is recorded by a microcamera 16. The recorded image is sent via a cable 14 to a computer 12.

W komputerze 12 w czasie rzeczywistym poprzez sterownik systemowy dokonywane jest przetworzenie obrazu, którego efektem jest określenie czy oko jest zamknięte czy otwarte. Przetwarzanie polega na analizie stopnia rozproszenia światła odbitego od oka 19. Małe rozproszenie świadczy o odbiciu światła od powierzchni oka - oko otwarte. Duże rozproszenie świadczy o odbiciu światła od powieki - oko zamknięte. Sterownik oblicza czas jak długo oko jest zamknięte. Stoper zostaje uruchomiony w momencie zmiany stanu oka z otwartego na zamknięte a zatrzymywany w momencie zmiany stanu oka z zamkniętego na otwarte. Czas kiedy oko jest zamknięte odpowiada kliknięciom myszy w znanych rozwiązaniach co jest przedstawione w poniższej tabeli.In the computer 12, an image processing is performed in real time by the system controller, the effect of which is determining whether the eye is closed or open. The processing is based on the analysis of the degree of scattering of the light reflected from the eye 19. A small scatter indicates the reflection of light from the eye surface - open eye. High scattering indicates light is reflected from the eyelid - the eye is closed. The controller calculates the time as long as the eye is closed. The stopwatch starts when the eye changes from open to closed, and stops when the eye changes from closed to open. The time when the eye is closed corresponds to mouse clicks in the known solutions, as shown in the table below.

Oko lewe Left eye Oko prawe Right eye t < t1 t <t1 Brak działania No action Brak działania No action t > t| t < t2 t> t | t <t2 pojedyncze kliknięcie lewym przyciskiem myszy single left click pojedyncze kliknięcie prawym przyciskiem myszy single right click t > t2 t < t3 t> t2 t <t3 podwójne kliknięcie lewym przyciskiem myszy double-click with the left mouse button pojedyncze kliknięcie centralnym przyciskiem myszy; scroll single click with the central mouse button; scroll t > t3 t> t3 przytrzymanie lewego przycisku myszy holding down the left mouse button przytrzymanie prawego przycisku myszy holding down the right mouse button

Zastrzeżenia patentowePatent claims

Claims

1.A computer control device, comprising a cursor control system and a system of elements triggering computer control signals, connected wirelessly to the computer via a transmitter, is in the form of glasses with the main camera on the side arm, against which there is a monitor screen, and on the front one. part of the frame, a microcamera module is mounted in front of the left and right eyes and has IR LEDs opposite the eye and has a module

Of the microprocessor, characterized in that within the range of the main camera (1) there is a fragment of the image (6) displayed on the screen (11), in which image (6) there is a cursor (7) distant from the frame center (8) the main camera (1) by the vector (9), and the microcamera module (2) and (3) has an IR diode mounted next to the microcamera (16).

2. The device according to claim 3. The device according to claim 1, characterized in that the microprocessor module (4) consists of interconnected: microprocessor (20), transmitter (21), power supply system (22).

3. The device according to claim The method of claim 1 or 2, characterized in that the cursor (7) has a violet-colored area (23) and a red-colored area (24).

4. A computer control device containing a cursor control system and a system of elements triggering signals controlling the computer operation, connected to the computer with a cable, in the form of glasses with the main camera installed on the side arm, against which there is a monitor screen, and on the front part of the frame. there is a microcamera module in front of the left and right eyes and it contains IR diodes opposite the eye and has a microprocessor module characterized in that within the range of the main camera (1) there is a fragment of the image (6) displayed on the screen (11), on which the image (6 ) there is a cursor (7) distant from the center of the frame (8) of the main camera (1) by the vector (9), and the microcamera module (2) and (3) has an IR diode mounted next to the microcamera (16).

5. The device according to claim 1 The method of claim 4, characterized in that the cursor (7) has a violet-colored area (23) and a red-colored area (24).