CH716570A2

CH716570A2 - Method for improving the eyesight of a visually impaired person with a portable visual aid.

Info

Publication number: CH716570A2
Application number: CH01132/19A
Authority: CH
Inventors: Reber André
Original assignee: Andre Reber
Priority date: 2019-09-09
Filing date: 2019-09-09
Publication date: 2021-03-15
Also published as: WO2021046659A1

Abstract

Die Erfindung betrifft ein Verfahren zur Verbesserung der Sehfähigkeit einer sehbehinderten Person mit einer elektronischen Sehhilfe, die manuell vor dem Auge gehalten wird. Die elektronische Sehhilfe umfasst ein Kameramodul, einen Bildspeicher, einen Mikroprozessor zur Bildmodifikation, eine Anzeigeeinheit, die nahe am Auge betrieben wird, Sensoren zur Erfassung der Kopfbewegung und zur Erfassung ob sich die Sehhilfe am Auge befindet. Das Verfahren umfasst das Detektieren, ob die Sehhilfe am Auge anliegend ist, das Betrachten der Umgebung im Videomodus, das Erstellen eines modifizierten Standbildes, die Wiedergabe des Standbildes oder eines Bildausschnitts, das örtliche Verschieben des Bildausschnitts mittels Bewegungen der am Kopf anliegenden Sehhilfe. Die Ausschnittverschiebung wird in der Art angepasst, dass störende Effekte wie Zitterbewegungen der Person reduziert werden. Wenn die Sehhilfe vom Kopf entfernt wird, wird die Verschiebung gestoppt und das Bild eingefroren. Wenn die Sehhilfe wieder an das Auge geführt wird, kann die Verschiebung fortgeführt werden.The invention relates to a method for improving the vision of a visually impaired person with an electronic visual aid which is held manually in front of the eye. The electronic visual aid comprises a camera module, an image memory, a microprocessor for image modification, a display unit that is operated close to the eye, sensors for detecting head movement and for detecting whether the visual aid is on the eye. The method comprises detecting whether the visual aid is attached to the eye, viewing the surroundings in video mode, creating a modified still image, reproducing the still image or an image section, and moving the image section locally by means of movements of the visual aid attached to the head. The section shift is adjusted in such a way that disruptive effects such as trembling movements of the person are reduced. When the visual aid is removed from the head, the movement will stop and the image will freeze. When the visual aid is brought back to the eye, the shift can be continued.

Description

Beschreibung description

[0001] Die Erfindung betrifft ein Verfahren zur Verbesserung der Sehfähigkeit einer sehbehinderten Person, bei dem ein Bild oder mehrere Bilder oder ein Video mittels mindestens einem in der Sehhilfe integrierten Kameramodul aufgenommen, in mindestens einem in der Sehhilfe integrierten Bildspeicher zwischengespeichert und mittels mindestens einem in der Sehhilfe integrierten Mikroprozessor modifiziert und einem oder beiden Augen mittels einer in der Sehhilfe integrierten Anzeigeeinheit dargeboten wird. Die Darbietung kann in Echtzeit (Livemodus) oder zeitversetzt erfolgen. Die Sehhilfe wird während dem Betrachten der Darbietung mit den Händen am Kopf gehalten. Die Anzeigeeinheit ist in Form eines „Near To Eye"-Displays ausgeführt. Die Anzeige wird dabei, ähnlich einem Fernglas, nahe am Auge betrieben und besitzt zudemeine Fremdlichtabschottung in Form einer Augenmuschel. Die Sehhilfe besitzt zudem eine Audioeinheit für die Ein- undAusgabe von Sprache. So können Funktionen auch sprachunterstützt durchgeführt werden. Die Sehhilfe ist in der Art ausgeführt, dass sie analog einem Fernglas sehr schnell mit den Händen an das oder die Augen gehalten werden kann und auch schnell wieder vom Auge oder den Augen genommen werden kann. The invention relates to a method for improving the vision of a visually impaired person, in which a picture or more pictures or a video recorded by means of at least one camera module integrated in the visual aid, cached in at least one image memory integrated in the visual aid and by means of at least one in The microprocessor integrated in the visual aid is modified and presented to one or both eyes by means of a display unit integrated in the visual aid. The presentation can take place in real time (live mode) or with a time delay. The visual aid is held on the head with the hands while viewing the performance. The display unit is designed in the form of a "Near To Eye" display. The display is operated close to the eye, similar to binoculars, and also has an external light barrier in the form of an eyecup. The visual aid also has an audio unit for inputting and outputting speech The visual aid is designed in such a way that, analogous to binoculars, it can be held very quickly with the hands to the eye or eyes and can also be quickly removed from the eye or eyes again.

[0002] Ohne den Umfang der Erfindung zu beschränken, wird das Gerät in Verbindung mit der altersbedingten Makuladegeneration (AMD) beschrieben. AMD ist eine progressive Krankheit mit einem typischen Beginn im Alter von ca. 60 Jahren und später. AMD-Betroffene leiden unter einem Verlust des zentralen Sehens. Without limiting the scope of the invention, the device is described in connection with age-related macular degeneration (AMD). AMD is a progressive disease that typically begins around 60 years of age and later. AMD sufferers suffer from a loss of central vision.

[0003] Die von der Krankheit betroffene Makula ist die Region auf der Netzhaut mit der höchsten Auflösung, die normalsichtige Personen zum Lesen und zum Sehen von Details verwenden. AMD-Betroffene passen sich dem Verlust deszentralen Sehvermögens an, indem sie einfallende Lichtstrahlen mit benachbarten, noch funktionstüchtigen, peripheren Sinneszellen auf der Netzhaut wahrnehmen. Die Auflösung in dieser peripheren Region ist signifikant niedriger (auch für normalsichtige Personen). Um das reduzierte Auflösungsvermögen von AMD-betroffenen Augen zu kompensieren, istbekannt, dass eine Vergrösserung der wichtigste unterstützende Faktor ist, der diesen Personen hilft, Texte und Objektdetails wieder sehen und lesen zu können. Wenn die Vergrösserung zunimmt, wird jedoch das nützliche Sichtfeld proportional reduziert, was wiederum das Lesen von Texten, zum Beispiel durch die kleine Anzahl an dargestellten Buchstaben erschwert. The macula affected by the disease is the region on the retina with the highest resolution that normal sighted individuals use to read and see details. AMD sufferers adapt to the loss of central vision by perceiving incident light rays with neighboring, still functional, peripheral sensory cells on the retina. The resolution in this peripheral region is significantly lower (even for people with normal vision). To compensate for the reduced resolution of AMD-affected eyes, it is known that magnification is the most important supporting factor that helps these people to see and read text and object details again. When the magnification increases, however, the useful field of view is proportionally reduced, which in turn makes reading text difficult, for example due to the small number of letters displayed.

[0004] Um die Betroffenen zu unterstützen sind verschiedene Hilfsmittel bekannt. Various aids are known to support those affected.

[0005] So sind Lesegeräte bestehend aus einer Kamera, einem Computer, einer grossen Anzeige und einem unter der Kamera angebrachten Führungstisch bekannt. Der Führungstisch ermöglicht die zeilenweise Führung des Lesegutes. Infolge ihrer Grösse sind diese Anordnungen nur stationär einsetzbar. Readers consisting of a camera, a computer, a large display and a guide table attached under the camera are known. The guide table enables the reading material to be guided line by line. Due to their size, these arrangements can only be used in a stationary manner.

[0006] Ferner sind elektronische Lupen bekannt. Diese enthalten eine integrierte Kamera, Speicher, Prozessor und eine integrierte Anzeige. Die Anzeige wird dabei, ähnlich einem Tablet PC, in einem normalen Leseabstand (in der Regel um 30 cm) vor dem Auge betrieben. Ab einem bestimmten Vergrösserungsbedarf und der damit verbundenen Bildschirmgrösse werden die Geräte für den portablen Einsatz unhandlich. Ein weiterer Nachteil ist die Empfindlichkeit auf Fremdlicht. Electronic magnifying glasses are also known. These contain an integrated camera, memory, processor and an integrated display. Similar to a tablet PC, the display is operated at a normal reading distance (usually around 30 cm) in front of the eye. From a certain enlargement requirement and the associated screen size, the devices for portable use become unwieldy. Another disadvantage is the sensitivity to extraneous light.

[0007] Ferner sind Anordnungen bekannt, die ein relativ grosses Sehfeld bieten und portabel einsetzbar sind, bei denen das von der Kamera gelieferte Bild einem am Kopf getragenen, heim- oder brillenartigen Bildwiedergabegerät (sog.„Head Mounted Display" - HMD) zugeführt wird. Nachteile dieser Systeme sind, dass diese durch ihre Grösse und ihreständige Lage am Kopf sozial eher schwer verträglich sind und dass insbesondere bei Zitterbewegungen des Kopfes ein Verschmieren des Bildes auftritt. Wenn die sehbehinderte Person mit einem derartigen System einen Text liest und der Textzeile mit einer Drehbewegung des Kopfes folgt, hat die überlagerte Zitterbewegung zur Folge, dass die Lesefähigkeit deutlich eingeschränkt wird. Furthermore, arrangements are known which offer a relatively large field of view and can be used portable, in which the image delivered by the camera is fed to a head-worn, home-like or glasses-like image display device (so-called "Head Mounted Display" - HMD) Disadvantages of these systems are that they are rather difficult to tolerate socially due to their size and their constant position on the head and that the image is smeared, especially when the head is trembling. If the visually impaired person reads a text with such a system and the text line with a Rotation of the head follows, the superimposed trembling motion has the consequence that the ability to read is significantly restricted.

[0008] Ferner sind Anordnungen bekannt, die einen bestimmten Bildausschnitt auf einem Bildwiedergabegerät darstellen, der seine Position durch die Blickrichtung oder der Kopfbewegung intuitiv ändern soll, beispielsweise in Form eines sog. „Scrolling". Das Verschieben des Bildausschnitts durch die Blickrichtung stellt jedoch vor allem ältere Leute mit einer Sehbehinderung wie der AMD vor grosse Probleme, da diese Mühe haben einen Punkt auf dem Bild mit ihren Augen zu fokussieren. Furthermore, arrangements are known that display a specific image section on an image display device that is intended to change its position intuitively through the direction of gaze or head movement, for example in the form of so-called "scrolling". Moving the image section through the direction of view, however, presents Especially older people with a visual impairment like AMD face major problems, as they have difficulty focusing on a point in the image with their eyes.

[0009] Es ist bekannt, dass bei sehr hohem Vergrösserungsbedarf eine sehr niedrige Verschiebungsgeschwindigkeit des betrachteten Bildausschnitts erforderlich ist. Ansonsten besteht die Gefahr den interessierenden Bildausschnitt zu verlieren. Ein Effekt, den die Benutzer von Ferngläsern kennen. Insbesondere für ältere Personen, die bereits unter einem leichten Zittern (Tremor) leiden, ist es schwierig bis unmöglich den betrachteten Bildausschnitt ruhig zu halten bzw. in geeigneter Weise zu verschieben um einen vergrösserten Text zu lesen. It is known that when there is a very high need for magnification, a very low rate of displacement of the image section under consideration is necessary. Otherwise there is a risk of losing the relevant image section. An effect that binocular users are familiar with. Especially for older people who already suffer from a slight tremor (tremor), it is difficult or even impossible to keep the viewed image section steady or to move it in a suitable manner in order to read an enlarged text.

[0010] Der Erfindung liegt demgegenüber die Aufgabe zugrunde, ein Verfahren und eine Sehhilfe zu entwickeln, die Sehbehinderten ein verbessertes Erkennen und Lesen ermöglicht und dabei portabel einsetzbar ist. Die Sehhilfe soll auch bei hohem Vergrösserungsbedarf und einem allenfalls vorhandenen Zittern dem „Verlieren" des betrachteten interessierenden Ausschnitts verhindern und ein flüssiges Lesen von Text wie Briefen, Zeitschriften, Fahrpläne, Anzeigetafeln usw. ermöglichen. In contrast, the invention is based on the object of developing a method and a visual aid that enables the visually impaired to better recognize and read and can be used portably. The visual aid is intended to prevent "losing" the viewed section of interest even when there is a need for greater magnification and if there is any tremor, and to enable text such as letters, magazines, timetables, display boards, etc. to be read smoothly.

[0011] Die Aufgabe wird in der Art gelöst, dass die Kamera die im Videomodus erfasste Umgebung in Echtzeit auf der Anzeige ausgibt. Die Vergrösserung ist dabei so eingestellt, dass die betreffende Person genügend Details erkennt um den interessierenden Bereich zu erfassen (bspw. eine Anzeigetafel). Dabei wird das Gerät, wie ein Fernglas, mit den The object is achieved in such a way that the camera outputs the environment captured in video mode in real time on the display. The magnification is set so that the person concerned recognizes enough details to capture the area of interest (e.g. a display board). The device, like binoculars, is connected to the

Händen am Auge gehalten. Wobei zur besseren Erkennung des Bereichs jederzeit individuelle Einstellungen in Form von Vergrösserung und Bildfiltern möglich sind (ausgelöst mittels entsprechender Bedienungselemente und/oder Sprachunterstützung). Wobei die Vergrösserung durch ein digitales und/oder optisches Zoomen umgesetzt werden kann. Hands held to the eye. Individual settings in the form of enlargement and image filters are possible at any time for better recognition of the area (triggered by means of appropriate operating elements and / or language support). The enlargement can be implemented by digital and / or optical zooming.

[0012] Ist der interessierende Bereich im Erfassungsbereich der Kamera, wird mittels eines manuellen Bedienungselements (typischerweise ein Taster) oder mittels eines Sprachbefehls ein Standbild aufgenommen und angezeigt. If the area of interest is in the detection area of the camera, a still image is recorded and displayed by means of a manual operating element (typically a button) or by means of a voice command.

[0013] Ist der interessierende Bereich als Standbild erfasst und angezeigt, geht es nun darum weitere Details und/oder einen ggf. vorhandenen Text zu erkennen und zu lesen (bspw. im Falle einer Anzeigetafel). If the area of interest is captured and displayed as a still image, it is now a matter of recognizing and reading further details and / or any text that may be present (for example in the case of a display board).

[0014] Dazu wird mittels eines entsprechenden Bedienungselements (typischerweise ein Zoomrad oder ein Wipptaster) oder Sprachbefehls in das aufgenommene und angezeigte Standbild digital hineingezoomt, bis ein passender Vergrösserungsfaktor erreicht ist und damit der vergrösserte und angezeigte Bildausschnitt vom Benutzer erkannt bzw. gelesen werden kann. Ergänzend können auch in diesem Stadium jederzeit individuelle Bildfiltereinstellungen wie bspw. Kontrastverstärkung über entsprechende Bedienungselemente und/oder Sprachunterstützung vorgenommen werden. For this purpose, the recorded and displayed still image is digitally zoomed in by means of a corresponding operating element (typically a zoom wheel or a rocker switch) or a voice command until a suitable magnification factor is reached and the enlarged and displayed image section can be recognized or read by the user. In addition, individual image filter settings, such as contrast enhancement, can also be made at any time at this stage using appropriate operating elements and / or voice support.

[0015] Die Navigation, d. h. die Verschiebung des angezeigten Bildausschnitts innerhalb des Standbildes erfolgt über entsprechende Kopfbewegungen. Dazu werden die Kopfbewegungen in horizontaler (x)- und vertikaler (y)-Richtung vomGerät erfasst und der durch die eingestellte Vergrösserung gegebene Ausschnitt wird in Abhängigkeit von diesen Bewegungen über das Standbild verschoben und der entsprechende Bildausschnitt wird angezeigt. Das Gerät befindet sich während des gesamten Vorgangs am Auge und macht damit die Kopfbewegung mit. In der Art kann, der durch die eingestellte Vergrösserung gegebene Ausschnitt über das gesamte vorgängig aufgenommene Standbild verschoben und so das gesamte Standbild betrachtet werden. Im Gegensatz zum Videomodus in Echtzeit wird jedoch in dieser Betriebsart die Verschiebung bzw. die Verschiebungsgeschwindigkeit des sichtbaren Bildausschnitts im Standbild nicht direkt an die Kopfbewegung gekoppelt. Vielmehr wird eine Verschiebungsgeschwindigkeit des sichtbaren Ausschnitts im Standbild in Abhängigkeit der Kopfbewegung und weiterer Faktoren bestimmt. Wesentliche Kriterien für die Bestimmung der optimalen Verschiebungsgeschwindigkeit sind der Vergrösserungsbedarf und die Tremorsituation der Betroffenen. Das Ziel ist, den Einfluss von Zitterbewegungen zu reduzieren oder sogar vollständig zu unterdrücken und auch bei grossem Vergrösserungsbedarf (kleinem angezeigtem Bildausschnitt) ein angenehmes Zusammenspiel zwischen Kopfbewegung und bewegtem angezeigtem Bildausschnitt und damit einen optimalen Lesefluss, ohne das Verlieren der zu lesenden Worte/Zeile, zu gewährleisten. The navigation, i. H. the shifting of the displayed image section within the still image takes place via corresponding head movements. For this purpose, the head movements in the horizontal (x) and vertical (y) directions are recorded by the device and the section given by the set magnification is shifted over the still image as a function of these movements and the corresponding image section is displayed. The device is located on the eye during the entire process and thus follows the movement of the head. In this way, the section given by the set magnification can be shifted over the entire previously recorded still image and thus the entire still image can be viewed. In contrast to the video mode in real time, however, in this operating mode the displacement or the displacement speed of the visible image section in the still image is not directly linked to the head movement. Rather, a displacement speed of the visible section in the still image is determined as a function of the head movement and other factors. Essential criteria for determining the optimal speed of movement are the need for enlargement and the tremor situation of those affected. The aim is to reduce or even completely suppress the influence of trembling movements and, even if there is a large need for enlargement (small displayed image section), a pleasant interplay between head movement and moving displayed image section and thus an optimal reading flow without losing the words / lines to be read, to guarantee.

[0016] Die Aufgabe wird wie folgt gelöst. Die Detektion der Kopfbewegung wird mindestens mit einem mehrachsigen Gyrosensor durchgeführt. Im Falle eines Tremors enthalten die delektierten Kopfbewegungen überlagerte Zitterbewegungen der betroffenen Person. Diese Zitterbewegungen werden einer digitalen Filterung („Tremorfilter") unterzogen, damit wird der Einfluss der Zitterbewegungen bei den Verschiebungen des Bildausschnitts reduziert oder sogar vollständig unterdrückt. Für die Filterung wird die Tatsache genutzt, dass die Zitterbewegungen von höherer Frequenz sind. Das Signal der Kopfbewegung, das der Bewegungsgeschwindigkeit (Grad/Sekunde) entspricht, wird über einen Tiefpassfilter gefiltert. Damit können die Zitteranteile je nach Situation stark gedämpft oder sogar vollständig unterdrückt werden. Der Tremorfilter wirkt unabhängig von der eingestellten Vergrösserung. The object is achieved as follows. The detection of the head movement is carried out at least with a multi-axis gyro sensor. In the case of a tremor, the detected head movements contain superimposed trembling movements of the person concerned. These trembling movements are subjected to a digital filtering ("tremor filter") so that the influence of the trembling movements when the image section is shifted is reduced or even completely suppressed. The filtering uses the fact that the trembling movements are of a higher frequency. The signal of the head movement , which corresponds to the movement speed (degrees / second), is filtered by a low-pass filter. Depending on the situation, the tremor components can be strongly attenuated or even completely suppressed. The tremor filter works independently of the set magnification.

[0017] Wobei die Filterung in einer Ausführungsform als digitaler Filter ausgeführt wird. Wobei die Filterung in einer weiteren Ausführungsform als analoger Filter ausgeführt werden kann. In one embodiment, the filtering is carried out as a digital filter. In a further embodiment, the filtering can be carried out as an analog filter.

[0018] Wobei die Filterung in einer Ausführungsform für die x- und y- Achse getrennt vorgenommen wird. In one embodiment, the filtering is carried out separately for the x and y axes.

[0019] In einerweiteren möglichen Ausführungsform wird der Geschwindigkeitsvektor der x- und y- Achse gebildet und dieFilterung auf den Geschwindigkeitsvektor vorgenommen. Damit das Zittern in Ruhelage optimal gefiltert wird, ist zusätzlich zum Tremorfilter ein Schwellwertfilter eingesetzt. Der Schwellwert ist der Wert, ab dem die Bewegung des Geräts am Kopf eine Verschiebung des Bildausschnittes auslöst. Unterhalb dieses Wertes wird der Bildausschnitt nicht bewegt. Ein zweiter Schwellwert, wirkt ausgehend von einer vorgängigen Bewegung, sobald der Schwellwert unterschritten wird, wird die Bewegung als gestoppt betrachtet und dementsprechend der Bildausschnitt nicht mehr verschoben. Der Schwellwertfilter wirkt unabhängig von der eingestellten Vergrösserung. In a further possible embodiment, the speed vector of the x and y axes is formed and the filtering is carried out on the speed vector. A threshold filter is used in addition to the tremor filter so that the tremor is optimally filtered in the resting position. The threshold value is the value from which the movement of the device on the head triggers a shift in the image section. The image section is not moved below this value. A second threshold value, acting on the basis of a previous movement, as soon as the threshold value is undershot, the movement is regarded as stopped and accordingly the image section is no longer shifted. The threshold filter works independently of the set magnification.

[0020] In einer möglichen Ausführungsform ist der Schwellwert für eine Bewegung aus der Ruhelage identisch mit dem Schwellwert aus der Bewegung in die Ruhelage. In one possible embodiment, the threshold value for a movement from the rest position is identical to the threshold value from the movement into the rest position.

[0021] In einer weiteren möglichen Ausführungsform sind die Schwellwerte verschieden und ermöglichen die Einstellung einer Hysterese zwischen von Ruhelage zu Bewegung und von Bewegung in Ruhelage. In a further possible embodiment, the threshold values are different and enable a hysteresis to be set between from rest position to movement and from movement in rest position.

[0022] In einer möglichen Ausführungsform ist ein für die x- und y- Achse getrennt einstellbarer Schwellwert realisiert.Dabei ist in dieser Variante der Schwellwertfilter dem jeweiligen Tremorsignalfilter (Tiefpass) nachgeschaltet und die Tremorsignalfilterung wird für die x- und y- Achse getrennt vorgenommen. In one possible embodiment, a threshold value that can be set separately for the x and y axes is implemented. In this variant, the threshold value filter is connected downstream of the respective tremor signal filter (low pass) and the tremor signal filtering is carried out separately for the x and y axes .

[0023] In einer weiteren möglichen Ausführungsform ist ein für die x- und y- Achse getrennt einstellbarer Schwellwertrealisiert. Dabei ist in dieser Variante der Schwellwertfilter dem jeweiligen Tremorsignalfilter (Tiefpass) vorgeschaltet und die Tremorsignalfilterung wird für die x- und y- Achse getrennt vorgenommen. In a further possible embodiment, a threshold value that can be set separately for the x and y axes is implemented. In this variant, the threshold value filter is connected upstream of the respective tremor signal filter (low pass) and the tremor signal filtering is carried out separately for the x and y axes.

[0024] In einer weiteren möglichen Ausführungsform ist ein für die x- und y- Achse getrennt einstellbarer Schwellwertrealisiert. Dabei ist in dieser Variante der Schwellwertfilter dem Tremorsignalfilter (Tiefpass) vorgeschaltet und die Tremor In a further possible embodiment, a threshold value that can be set separately for the x and y axes is implemented. In this variant, the threshold value filter and the tremor are connected upstream of the tremor signal filter (low pass)

Signalfilterung wird auf den Geschwindigkeitsvektor vorgenommen. Wobei der Geschwindigkeitsvektor aus dem x- unddem y- Signal nach dem jeweiligen Schwellwertfilter gebildet wird. Signal filtering is carried out on the speed vector. The speed vector is formed from the x and y signals after the respective threshold value filter.

[0025] Die drei vorgängig beschriebenen Ausführungsformen können mit einem Schwellwertfilter mit oder ohne Hysterese auf der jeweiligen Achse ausgeführt sein. The three embodiments described above can be designed with a threshold value filter with or without hysteresis on the respective axis.

[0026] In einer weiteren Ausführungsform ist der Schwellwertfilter dem Tremorfilter des Geschwindigkeitsvektors (x- undy-Achse) nachgeschaltet und der Schwellwertfilter wirkt damit auf den gefilterten (Tremorfilter) Geschwindigkeitsvektor.Auch diese Variante kann in der Ausführungsform mit Hysterese des Schwellwerts und ohne Hysterese des Schwellwerts ausgeführt sein. In a further embodiment, the threshold value filter is connected downstream of the tremor filter of the speed vector (x- and y-axis) and the threshold value filter thus acts on the filtered (tremor filter) speed vector. This variant can also be used in the embodiment with hysteresis of the threshold value and without hysteresis of the Be executed threshold value.

[0027] Sowohl die Schwellwertfilter wie auch die Tremorfilter können einzeln (pro Achse oder Geschwindigkeitsvektor) deaktiviert werden. Both the threshold value filter and the tremor filter can be deactivated individually (per axis or speed vector).

[0028] Die nach den oben beschrieben Ausführungsformen vorhanden Ausgangssignale werden für die Bildung der Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild verwendet. Wobei im Falle einer Ausführungsform mit einem Ausgangssignal in Form eines Geschwindigkeitsvektors der Vektor wieder in seine x- und y-Anteile zerlegt wird.Damit steht, unabhängig ob die Filterung für die einzelnen Achsen oder den Vektor erfolgte, für die nachfolgende Bildung der Verschiebungsgeschwindigkeit des Bildausschnitts im Standbild ein gefiltertes x- und y-Geschwindigkeitssignal derKopfbewegung zur Verfügung (Grad/Sekunde). The output signals present according to the embodiments described above are used for the formation of the displacement speed of the displayed section in the still image. In the case of an embodiment with an output signal in the form of a speed vector, the vector is broken down again into its x and y components. This means that, regardless of whether the filtering was carried out for the individual axes or the vector, the subsequent formation of the displacement speed of the image section A filtered x and y speed signal of the head movement is available in the still image (degrees / second).

[0029] In einem weiteren Schritt, soll basierend auf dem gefilterten x-, y-Geschwindigkeitssignal der Kopfbewegung, dieVerschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild bestimmt werden (x- und y-Wert, in Pixel/Sekunde). In a further step, based on the filtered x, y speed signal of the head movement, the displacement speed of the displayed section in the still image is to be determined (x and y value, in pixels / second).

[0030] Wobei gerade im Anwendungsgebiet der Erfindung eine starke Untersetzung der Kopfgeschwindigkeit zur Verschiebungsgeschwindigkeit des Bildausschnitts notwendig ist (auch eine grosse Bewegung des Kopfes, soll nur eine kleine Verschiebung des Bildausschnitts bewirken). Ansonsten besteht die Gefahr, den interessierenden Ausschnitt zu verlieren. Auf eine Berücksichtigung der eingestellten Vergrösserung zur Bildung der Verschiebungsgeschwindigkeit wird verzichtet, da sich dies in der praktischen Evaluation im Anwendungsgebiet der Erfindung als störend herausgestellt hat. In the field of application of the invention, it is precisely in the field of application of the invention that a strong reduction of the head speed to the displacement speed of the image section is necessary (even a large movement of the head should only cause a small displacement of the image section). Otherwise there is a risk of losing the section of interest. The set magnification for forming the displacement speed is not taken into account, since this has turned out to be disruptive in the practical evaluation in the field of application of the invention.

[0031] In einer möglichen Ausführungsform zur Bildung der Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild wird die Geschwindigkeit unabhängig von der eingestellten Vergrösserung für beide Achsen getrennt gebildet. In a possible embodiment for forming the displacement speed of the displayed section in the still image, the speed is formed separately for both axes independently of the magnification set.

[0032] Für die x-Achse gilt, die x-Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild wird berechnetaus der Multiplikation des gefilterten x-Geschwindigkeitssignals der Kopfbewegung mit einem x-Achsen-Geschwindigkeitsmultiplikator, der individuell einstellbar ist. Der Wert des Multiplikationsfaktors entspricht somit dem Untersetzungsfaktor für die Untersetzung der gefilterten x-Kopfbewegungsgeschwindigkeit zur x-Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild. For the x-axis, the x-displacement speed of the displayed section in the still image is calculated from the multiplication of the filtered x-speed signal of the head movement by an x-axis speed multiplier that is individually adjustable. The value of the multiplication factor thus corresponds to the reduction factor for the reduction of the filtered x head movement speed to the x displacement speed of the displayed section in the still image.

[0033] Für die y-Achse gilt, die y-Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild wird berechnetaus der Multiplikation des gefilterten y-Geschwindigkeitssignals der Kopfbewegung mit einem y-Achsen-Geschwindigkeitsmultiplikator, der individuell einstellbar ist. Der Wert des Multiplikationsfaktor entspricht somit dem Untersetzungsfaktor für die Untersetzung der gefilterten y-Kopfbewegungsgeschwindigkeit zur y-Verschiebungsgeschwindigkeit des angezeigtenAusschnitts im Standbild. For the y-axis applies, the y-displacement speed of the displayed section in the still image is calculated from the multiplication of the filtered y-speed signal of the head movement with a y-axis speed multiplier, which is individually adjustable. The value of the multiplication factor thus corresponds to the reduction factor for the reduction of the filtered y-head movement speed to the y-displacement speed of the displayed section in the still image.

[0034] In einer weiteren Ausführungsform kann die Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild wie folgt bestimmt werden. Es wird eine konstante, einstellbare und von jeglichen weiteren Faktoren unabhängige Grundgeschwindigkeit als Verschiebungsgeschwindigkeit für den angezeigten Ausschnitt im Standbild eingestellt. Dieser kann für die x- und y- Achse getrennt eingestellt werden. Für die x-Achse gilt, solange ein gefiltertes x-Geschwindigkeitssignal der Kopfbewegung ungleich 0 vorhanden ist, wird die Bewegungsrichtung des Signals ermittelt, +1 oder -1, die derAchse entsprechende Grundgeschwindigkeit wird mit dem Vorzeichen multipliziert und bildet so die x-Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild. Für die y-Achse gilt, solange ein gefiltertes y-Geschwindigkeitssignal der Kopfbewegung ungleich 0 vorhanden ist, wird die Bewegungsrichtung des Signals ermittelt, +1 oder -1, die derAchse entsprechende Grundgeschwindigkeit wird mit dem Vorzeichen multipliziert und bildet so die y-Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild. In der Regel wird auch bei dieser Ausführungsform eine sehr tiefe Verschiebungsgeschwindigkeit gewählt. Vorteil dieser Variante ist eine zumindest teilweise Entkopplung der Kopfgeschwindigkeit von der Verschiebungsgeschwindigkeit, indem nur die gefilterten Richtungskomponenten (+, -) der Kopfbewegung zur Bildung der Verschiebungsgeschwindigkeit des angezeigten Ausschnitts im Standbild berücksichtigt werden. In a further embodiment, the displacement speed of the displayed section in the still image can be determined as follows. A constant, adjustable basic speed that is independent of any other factors is set as the displacement speed for the displayed section in the still image. This can be set separately for the x and y axes. For the x-axis, as long as a filtered x-speed signal of the head movement is not equal to 0, the direction of movement of the signal is determined, +1 or -1, the basic speed corresponding to the axis is multiplied by the sign and thus forms the x-displacement speed of the displayed section in the still image. For the y-axis, as long as a filtered y-speed signal of the head movement is not equal to 0, the direction of movement of the signal is determined, +1 or -1, the basic speed corresponding to the axis is multiplied by the sign and thus forms the y-displacement speed of the displayed section in the still image. As a rule, a very low displacement speed is also selected in this embodiment. The advantage of this variant is an at least partial decoupling of the head speed from the displacement speed, in that only the filtered directional components (+, -) of the head movement are taken into account to form the displacement speed of the displayed section in the still image.

[0035] Unabhängig von den Ausführungsformen zur Ausschnitts-Verschiebung, bzw. zur Ermittlung der Verschiebungsgeschwindigkeit des angezeigten Ausschnitts, im Standbild ist folgende Navigationsunterstützung umgesetzt. Irrespective of the embodiments for the segment displacement or for determining the displacement speed of the displayed segment, the following navigation support is implemented in the still image.

[0036] Sobald bei der Verschiebung des angezeigten Ausschnitts im Standbild der Rand des Standbildes in x- oder yRichtung erreicht wird, erscheint und/oder ertönt ein visuelles und/oder auditives Signal. Damit weiss die Person, dass wenn sie weiter in diese Richtung etwas betrachten will, sie ein neues Standbild erstellen muss. Ausserdem hilft das genannte Signal sich auf dem Standbild besser zu orientieren. As soon as the edge of the still image is reached in the x or y direction when the displayed section in the still image is moved, a visual and / or auditory signal appears and / or sounds. This means that the person knows that if they want to continue looking at something in this direction, they have to create a new still image. In addition, the mentioned signal helps to orientate oneself better on the still image.

[0037] Weiter ist unabhängig von den Ausführungsformen zur Ausschnitts-Verschiebung (bzw. zur Ermittlung der Verschiebungsgeschwindigkeit) im Standbild folgende Problematik vorhanden. Furthermore, regardless of the embodiments for the segment shift (or for determining the shift speed) in the still image, the following problems exist.

Claims

The high magnification requirement is associated with very low displacement speeds of the displayed section in the still image, which means that large head movements are required for a small displacement of the displayed section in the still image. This means that the physical limits of normal head movement are reached before the displayed section in the still image reaches the limit of the still image. Once this physiological limit has been reached, the viewer has no choice but to take the device off his head and bring himself physically into a more comfortable starting position. Associated with this is a movement of the device and thus a shift of the displayed section in the still image. If the viewer puts the device to the eye again, the image section is no longer placed where it was when he originally removed the device from the eye. This effect makes a coherent reading almost impossible. The task of preventing the loss of the displayed section in the still image when the device is set down and the physical realignment is carried out is achieved in such a way that a sensor (distance sensor) detects whether the device is in the eye of the beholder. As soon as the observer removes the device from the eye, this is recognized by the sensor and the position of the section in the still image that was displayed before the device was removed is saved. From the viewer's point of view, the current section is "frozen". Now the viewer can physically realign himself with the device removed. If he then places the device on his head again, this is recognized by the sensor (distance sensor) mentioned and the one before the device is removed The displayed still image section is restored on the basis of the saved position and the navigation lock is released. The viewer can therefore continue to navigate from the section displayed before the setting in the still image. This means that the maximum vertical and horizontal head movement is no longer a restriction when moving the displayed section in the still image , since the device can simply be removed from the eye, the head can be brought back to a comfortable position and the device can be brought back to the eye without losing the last still viewed section. As an alternative to the sensor, the image can also be frozen using a manual device, such as e.g. a en button, or with language support. The sensor setting (distance sensor) from which distance to the eye the device is considered to be remote and thus the navigation lock is activated can be set individually. The distance from which the device is recognized as being on the eye again and the navigation lock is released can also be set individually. This also enables a hysteresis between the points "Device removed from the eye" and "Device on the eye". When the device is removed from the eye or when the section is "frozen", a visual and / or auditory signal is generated. This means that the person using the device knows that they can now move the device freely without inadvertently moving the currently displayed section in the Even if the device is brought to the head again, as soon as the device is recognized as being on the eye, a visual and / or auditory signal is generated so that the person using it knows that the navigation lock has been released and that the The detection of whether the device is in contact with the person's eye is carried out using at least one proximity sensor. The invention has been shown and described. Various changes and modifications can be made to those skilled in the art Accordingly, it is intended that the following claims cover all such changes and modifications cover information that may fall within the scope and spirit of the invention. Claims

1. A method for improving the vision of a visually impaired person, in which an image or several images or a video are recorded using at least one camera module integrated in the visual aid, buffered in at least one image memory integrated in the visual aid and modified by means of at least one microprocessor integrated in the visual aid and is presented to one or both eyes by means of a display unit integrated in the visual aid, characterized in that the camera in video mode outputs the current environment on the display with little delay, while the magnification and modification for the display output that can be selected by the person is set and executed with little delay, the detection area of interest is searched and a still image is recorded therefrom, after which the still image is modified, the modified still image is digitally zoomed in so that an enlarged still image section is produced which is displayed, then d the section given by the set magnification is shifted over the still image and the corresponding section content is displayed.

2. The method according to claim 1, characterized in that the visual aid is held with the hands.

3. The method according to claim 1 and 2, characterized in that at least one sensor detects whether the visual aid is in contact with the eye.

4. The method according to one or more of claims 1 to 3, characterized in that the creation of a still image and image modifications are triggered by manual controls integrated in the visual aid (button, zoom wheel, rocker switch, etc.) or by voice commands.

5. The method according to one or more of claims 1 to 4, characterized in that the recording displayed in video mode and the still image are modified.

6. The method according to claim 5, characterized in that the modification includes the formation of an image section (digital zooming).

7. The method according to claim 5 and 6, characterized in that the modification includes the digital filtering of the image.

8. The method as claimed in one or more of claims 1 to 7, characterized in that the head movements in the horizontal x and vertical y directions are recorded by the visual aid resting on the head or on the eye and the section given by the set magnification as a function of These movements are moved on the still image and the corresponding image section is displayed.

9. The method according to claim 8, characterized in that the detection of the head movement, that is to say the determination of the x- and y-axis signals, is carried out with at least one multi-axis gyro sensor.

10. The method according to claim 8 and 9, characterized in that the x- and y-axis signals generated by the head movement are filtered via a low-pass filter and the signals filtered in this way are used to further determine the displacement of the image section so as to reduce the influence of the trembling movement to reduce the cutout shift.

11. The method according to claim 10, characterized in that the low-pass filtering is carried out separately for the x- and y-axis signals.

12. The method according to claim 10, characterized in that the speed vector of the x- and y-axis signals is formed and the low-pass filtering is carried out on the speed vector.

13. The method according to one or more of claims 8 to 12, characterized in that the head movement only triggers a shift in the image section from a threshold value and a shift below a threshold value stops.

14. The method according to claim 13, characterized in that the threshold values for the start of a shift and the stop of the shift are set differently.

15. The method according to claim 13 and 14, characterized in that the settings of the threshold values and the determination of whether the threshold values are exceeded or not reached are carried out separately for the x- and y-axis signals.

16. The method according to claim 13 and 14, characterized in that the speed vector of the x- and y-axis signals is formed and the settings of the threshold values and the determination of whether the threshold values are exceeded or undershot are made on the speed vector.

17. The method according to one or more of claims 8 to 16, characterized in that the determination of whether the threshold values from which a head movement triggers or stops a shift of the image section are exceeded or not reached are arranged in front of the low-pass filters.

18. The method according to one or more of claims 8 to 16, characterized in that the determination of whether the threshold values from which a head movement triggers or stops a shift of the image section are exceeded or undershot are arranged after the low-pass filters.

19. The method according to one or more of claims 8 to 18, characterized in that the effects of the low-pass filters and the effects of the threshold values can be deactivated individually.

20. The method according to one or more of claims 8 to 19, characterized in that the x and y axis signals present after the low pass filter and threshold value determination are used to determine the displacement speeds of the displayed image section on the still image in the x and y directions a speed multiplier which can be set separately for the x- and y-axis and is independent of the set magnification. In the case of a speed vector, the vector is broken down into its x and y components before multiplication.

21. The method according to one or more of claims 8 to 19, characterized in that an adjustable basic speed is used as the displacement speed for the displayed image section in the still image, the speed for the displacement in the x and y directions being separately adjustable and the image section is shifted with the corresponding basic speed in the x and y directions, as long as a corresponding signal is available for the relevant direction after low-pass filter and threshold value determination, which indicates that a head movement is being carried out, it is only detected whether a movement is present, its speed is not taken into account, the direction of the head movement is also determined from the relevant axis signal and, in the case of a negative direction, the relevant basic speed is multiplied by -1 so that the image section is shifted in the negative direction.

22. The method according to one or more of claims 8 to 21, characterized in that as soon as the edge of the still image is reached in the x or y direction when the displayed section in the still image is moved, a visual and / or auditory signal appears and / or sounds.

23. The method according to claim 3 and one or more of claims 8 to 22, characterized in that the shifting of the image section is stopped and the current position of the section is saved as soon as the visual aid is no longer in contact with the eye, whereby the displayed image is “frozen " becomes.

24. The method according to claim 3 and one or more of claims 8 to 23, characterized in that when the visual aid is brought back to the eye, as soon as the visual aid rests on the eye again, the still image section displayed before removing the visual aid based on the stored position is restored and the shifting of the image section via the head movement is released again.

25. The method according to claim 3 and one or more of claims 8 to 24, characterized in that the sensor setting from which distance from the eye the visual aid is considered to be removed and thus the shift of the image section is blocked and the distance from which position the visual aid is is recognized again on the eye and so that the lock is canceled, can be set individually.

26. The method according to claim 3 and one or more of claims 8 to 25, characterized in that when the visual aid is removed from the eye or when the image section is "frozen" and when the visual aid is brought back in, as soon as the visual aid is recognized as being on the eye a visual and / or auditory signal is generated.

27. The method according to claim 3 and one or more of claims 8 to 26, characterized in that the blocking of the shifting of the image section and thus the "freezing of the image section" and the lifting of the lock including the restoration of the "frozen image" can also be done manually Facilities such as buttons or by voice commands is possible.