DE4037907A1 - Blickrichtungs-erfassungsgeraet - Google Patents

Description

Die Erfindung betrifft ein Blickrichtungs-Erfassungs­ gerät zum Herausfinden einer Blickrichtung oder eines Punktes in einem Suchersystem, auf den das Auge eines Anwenders blickt.

Das US-Patent 45 74 314 offenbart eine Art eines her­ kömmlichen Blickrichtungs-Erfassungsgerätes, das eine Blick- bzw. Augenrichtung eines Anwenders erfaßt, wenn dieser in einen Sucher blickt.

Das Gerät hat eine Lichtquelle zum Führen eines Licht­ strahls auf ein Auge des Kameramanns und eine Fern­ sehkamera zum Empfangen von Licht, das von der Hornhaut reflektiert wird.

Eine Betriebsschaltung in dem Gerät findet die Koordi­ naten des Blickpunktes, auf den der Kameramann blickt, heraus und beurteilt, in welche Richtung der Kameramann sieht.

Das herkömmliche Blickrichtungs-Erfassungsgerät ist je­ doch ohne Berücksichtigung der Charakteristiken des menschlichen Auges ausgelegt.

Eine der Charakteristiken des Auges ist der Unterschied zwischen einer visuellen Achse, die gleich der Blick­ richtung ist, und einer optischen Achse. Fig. 3 ist der Fig. 44 auf Seite 426 von "Behavior Research Met­ hods & Instrumentation 1975, Band 7 (5)" entnommen. In Fig. 3 läßt sich sehen, daß die visuelle Achse im all­ gemeinen einen Winkel von 5° bis 7° mit der optischen Achse einnimmt.

Genaugenommen erfaßt das zuvor erwähnte Erfassungsgerät nicht die Blickrichtung sondern die Richtung der opti­ schen Achse. Die erfaßte Richtung unterscheidet sich leicht von der Blickrichtung, mit der der Anwender etwas ansieht.

Ein weiteres Problem ist eine individuelle Streuung bzw. Variation. Der zuvor erwähnte Winkelunterschied ist ein statistischer Mittelwert. Wenn die individuelle Streuung berücksichtigt wird, ergibt sich für den Win­ kel eine gestreute Verteilung. Der Entfernungswert k1 verändert sich auch mit der individuellen Streuung.

Daher kann der Unterschied aufgrund der individuellen Streuung verbleiben, selbst wenn der Unterschied zwi­ schen der visuellen Achse und der optischen Achse op­ tisch korrigiert ist. Darüber hinaus verändert sich der Unterschied zwischen den zwei Achsen, wenn der Anwender Kontaktlinsen trägt.

Es ist eine Aufgabe der Erfindung, ein Blickrichtungs- Erfassungsgerät anzugeben, das eine Dispersion des Un­ terschieds auf der Basis der individuellen Streuung oder der Dezentrierung der Kontaktlinse korrigieren kann.

Das erfindungsgemäße Blickrichtungs-Erfassungsgerät hat einen Speicher zum Speichern von persönlichen Korrek­ turdaten, die den Unterschied zwischen einer logischen Blickrichtung und einer Blickrichtung bei Beobachtung anzeigen, und eine Einrichtung zum Korrigieren eines erfaßten Signals auf der Basis der Korrekturdaten.

Die Erfindung wird nachstehend an Hand von Ausführungs­ beispielen unter Bezugnahme auf die Zeichnung beschrie­ ben.

Fig. 1 ist eine schematische Ansicht von Bildschärfenerfassungszonen und Beur­ teilungszonen in einem Sucher einer ersten Ausführungsform der Erfindung;

Fig. 2 ist eine schematische Ansicht, die den allgemeinen Aufbau eines Blick­ richtungs-Erfassungsgeräts gemäß der ersten Ausführungsform zeigt;

Fig. 3 ist eine schematische Ansicht der Struktur des menschlichen Auges; und

Fig. 4(a), (b), (c) sind Diagramme, die Videosignale ohne Korrekturen zeigen, wobei Fig. 4(a) den Fall zeigt, wenn ein Anwender den Punkt X = 0,00 mm betrachtet, Fig. 4 (b) den entsprechenden Fall bei X =-9,00 mm und Fig. 4(c) den entsprechenden Fall bei X = +9,00 mm zeigt.

Die vorliegende Offenbarung betrifft einen Gegenstand, der in der japanischen Patentanmeldung Nr. H1-3 10 231 (eingereicht am 28. November 1989) enthalten ist, die hierin ausdrücklich in ihrer Gesamtheit durch Bezugnah­ me aufgenommen ist.

Es ist anzumerken, daß der hier verwendete Ausdruck "Blickrichtung" die "Richtung einer Betrachtungs- oder Sichtachse eines Auges" bedeutet, wobei die Achse na­ türlich imaginär ist.

Die Fig. 1 und 2 zeigen ein Ausführungsbeispiel der Erfindung.

Zunächst wird ein Aufbau des Geräts an Hand von Fig. 2 erläutert.

In Fig. 2 sind gezeigt: ein in eine Kamera eingebautes pentagonales Prisma 40, ein schnell einklappbarer Spie­ gel 41, eine Fokussierungsplatte 42, eine Kondensorlin­ se 43, eine Okularsucherlinse 44, ein Auge 45 des An­ wenders und die optische Achse Ax0 des Suchersystems.

Diese Kamera ist mit drei (nicht gezeigten) optischen Bildschärfenerfassungssystemen versehen, die mit CCD- Zeilensensoren 71, 72 und 73 ausgestattet sind.

Drei Bildschärfenerfassungszonen 80, 81, 82 entspre­ chend einem Blick bzw. einer Blickrichtung der opti­ schen Bildschärfenerfassungssysteme sind angeordnet, wie es in Fig. 1 gezeigt ist. Die Außenzone 80 hat einen ersten Korrekturpunkt 91 (X = +d) in ihrer Mitte und die Zone 82 hat in ihrer Mitte einen zweiten Kor­ rekturpunkt 92 (X = -d). Die Korrekturpunkte werden zum Einstellen der persönlichen Korrekturdaten verwendet. Die Erfindung ist jedoch nicht darauf begrenzt, daß die Korrekturpunkte in die Bildschärfenmeßzonen gelegt wer­ den.

Ein optisches Blickrichtungserfassungssystem hat ein Lichtabstrahlsystem 46 und ein Lichtempfangssystem 47. Das Lichtabstrahlsystem 46 führt einen parallelen Lichtstrahl auf ein Auge eines Anwenders, der in den Sucher blickt. Das Lichtempfangssystem 47 erfaßt von dem Auge reflektiertes Licht.

Das Lichtabstrahlsystem 46 hat eine Infrarotlicht-Ab­ strahldiode 48, einen Totalreflexionsspiegel 49 und eine Kollimatorlinse 50. Von der Lichtabstrahldiode 48 abgestrahltes Infrarotlicht wird durch den Totalrefle­ xionsspiegel 49 reflektiert und auf die Kollimatorlinse 50 gelenkt. Die Kollimatorlinse 50 ist an ihrer nach außen zeigenden Seitenfläche mit einer Blende 51 verse­ hen. Die Kollimatorlinse 50 hat die Funktion, das von der Lichtabstrahldiode 48 abstrahlte Infrarotlicht in ein paralleles Strahlenbündel umzuwandeln.

Auf der Seite, auf der das Auge 45 auf die Sucheroku­ larlinse 44 zeigt, ist ein optisches Lichtpfad-Überlap­ pungselement 52 zum Übereinanderlegen der optischen Achse des Lichtstrahlsystems 46 und der optischen Achse des Lichtempfangssystems 47 vorgesehen. Das optische Lichtpfad-Überlappungselement 52 hat ein rechteckiges Parallelflach bzw. Parallelpiped mit Prismen, die eine reflektierende Fläche 53 haben.

Die in dieser Ausführungsform verwendete reflektierende Fläche 53 ist von der Art zum Semi-Durchlassen von In­ frarotlicht und zum Durchlassen von sichtbarem Licht. Da die reflektierende Fläche 53 sichtbares Licht durch­ läßt, kann der Anwender eine auf der Fokussierplatte 42 ausgebildete Abbildung des Objektes sehen. Das durch die Blende 51 geführte parallele Strahlenbündel wird durch die reflektierende Fläche 53 in Richtung auf das Auge 45 reflektiert und auf dieses projiziert, wenn das Auge an einem Augenort angeordnet ist.

Der Lichtstrahl zum Ausbilden der ersten Purkinje- Abbildung auf der Basis der cornealen spiegelnden Re­ flexion des Auges 45 und das von der Retina (Netzhaut) reflektierte Licht gehen durch die reflektierende Flä­ che 53 des optischen Lichtpfad-Überlappungselementes 52 und werden dann zu dem Lichtempfangssystem 47 geführt.

Das Lichtempfangssystem 47 hat ein Kompensatorprisma 59, eine verkleinernde Linse 60, einen Totalreflexions­ spiegel 61, eine Neu-Abbildungslinse 62 und einen CCD- Zeilensenor 63.

Das Auge 45 des Anwenders ist üblicherweise an einem Augenort angeordnet. Der CCD-Zeilensensor 63 und die Pupille des Anwenderauges 45 werden durch die Sucher­ okularlinse 44, die verkleinernde Linse 60 und die Neu- Abbildungslinse 62 miteinander optisch konjugiert. Das von dem Auge 45 reflektierte Licht bildet eine Sil­ houette der Pupille und die erste Purkinje-Abbildung auf dem CCD-Zeilensensor 63 aus.

Der Ausgang von dem CCD-Zeilensensor 63 wird durch den Verstärker 65 verstärkt und dann durch einen A/D- Wandler 66 in ein digitales Signal gewandelt. Das digitale Ausgangssignal des A/D-Wandlers 66 wird einer CPU 67 als Beurteilungs- und Auswahleinrichtung einge­ geben und dann temporär in einem RAM 68 gespeichert.

Ein Einstellschalter 67a und ein Auswahlschalter 67b sind mit der CPU 67 verbunden. Der Einstellschalter 67a wird zum Einstellen der persönlichen Korrekturdaten verwendet und der Auswahlschalter 67b wird zum Auswäh­ len von einem der Korrekturdaten verwendet.

Bezüglich des zwischen der optischen Achse des Suchers und der visuellen Achse ausgebildeten Schwenk- bzw. Drehwinkels R werden die Entfernung zwischen dem Mit­ telpunkt der Pupille und der ersten Purkinje-Abbildung und die Entfernung k1 von dem Mittelpunkt der Pupille zu dem Mittelpunkt der Krümmung der Cornea (Netzhaut) durch die folgende Gleichung ausgedrückt:
d = k1 × sinR.

Wenn sinR durch einer Taylor Reihe entwickelt und bis zum ersten Ausdruck angenähert wird, ergibt sich für die zuvor erwähnte Gleichung der folgende Ausdruck:
d ≃ k1 × R.

Wenn ein Ausdruck d0, ein Offset- bzw. Versatzausdruck der Entfernung d, in die Näherungsgleichung aufgenommen wird, ergibt sich die folgende Gleichung:
d = k1 × R + d0.

Die Koeffizienten k1 und d0 ergeben sich auf der Basis von zwei Paaren von Koordinaten (R, d). Nachstehend wird erklärt, wie drei Koeffizienten einzustellen sind.

Die CPU 67 berechnet den Drehwinkel R auf der Basis der Entfernung d, die sich aus einem in dem RAM 68 gespei­ cherten Videosignal ergibt, und der Entfernung k1 und dem Offset 0, die aus dem E²PROM (elektronisch löschba­ res programmierbares ROM) 69 ausgewählt und zurückge­ speichert sind.

Die CPU 67 berechnet auf der Basis des Drehwinkels 8 die Koordinaten (X, Y) des Blickpunktes, mit dem der Anwender blickt, und beurteilt, welche Beurteilungszone der Anwender bei der Koordinate betrachtet. Für den Fall, daß der Blickpunkt in irgendeiner Beurteilungs­ zone positioniert ist, stellt die CPU 67 fest, daß der Anwender das optische Bildschärfenerfassungssystem ent­ sprechend der Bildschärfenmeßzone auswählt, in der der Blickpunkt positioniert ist. Nach der Beurteilung gibt die CPU 67 ein Auswahlsignal an eine Antriebsschaltung 70 aus. Die Antriebsschaltung 70 steuert eines der CCDs 71, 72, 73 entsprechend dem ausgewählten optischen Bildschärfenerfassungssystems an.

Das (nicht gezeigte) Bildschärfenerfassungsgerät erfaßt den Zustand der Scharfstellung der Aufnahmelinse auf ein Subjekt. Eine automatische Fokussiereinrichtung der Kamera steuert die Aufnahmelinse an, um diese auf das Subjekt zu fokussieren.

Nachstehend werden Videosignale ohne Korrekturen be­ schrieben.

Die Fig. 4(a), (b) und (c) zeigen Videosignale unter Beobachtung. Ein zu testendes Auge ist das linke Auge, das eine Kontaktlinse trägt. Die Abszissen geben die Lichtmenge und die Ordinate die Bitzahl des CCD- Zeilensensors an.

Fig. 4(a) zeigt ein Videosignal zu der Zeit, wenn der Anwender den Mittelpunkt des Suchers betrachtet, der Wert der X-Koordinate also 0,00 mm ist, wobei die er­ faßte Blickrichtung auf der Basis des Videosignals X = -4,22 mm angezeigt. Weiterhin zeigt Fig. 4(b) ein Videosignal zu der Zeit, wenn der Anwender auf einen Punkt bei X = -9,00 mm schaut, wobei die erfaßte Blick­ richtung X = -13,11 mm ist. Fig. 4 (c) zeigt ein Vi­ deosignal zu der Zeit, wenn die X-Koordinate +9,00 mm und die erfaßte Blickrichtung X = 4,67 mm ist.

D. h., das Ergebnis der Erfassung ist gegenüber dem zu erfassenden logischen Wert um, -4 mm unterschiedlich. Es ist jedoch nicht klar, wie groß die Einflüsse der indi­ viduellen Streuung bzw. Variation und der Dezentrierung der Kontaktlinse auf den Unterschied sind. Zumindest läßt sich sehen, daß die optische Achse im Ergebnis zur Minus-Seite (einer Ohrseite) geschwenkt ist.

Als nächstes wird das Einstellen und das Auswählen der Korrekturdaten erläutert.

Eine Folge von Einstellen und Auswählen wird durch Betä­ tigen des Einstellschalters und des Auswahlschalters durchgeführt. Wie zuvor erwähnt, werden die Koeffizien­ ten k1, d0 für den Fall, daß sie in dem Näherungsaus­ druck zu korrigierende Werte sind, durch zwei Lösungen von (R, d) bestimmt. Das Blickrichtungs-Erfassungsgerät bestimmt die Koeffizienten nach dem Herausfinden von Koordinaten unter Beobachtung auf der Basis eines Aus­ gangsvideosignals, wenn der Anwender erste und zweite Korrekturpunkte 91, 92 betrachtet. Bevor der Anwender Korrekturdaten einstellt, wird ein mittlerer oder logi­ scher Wert als Grundwert der Korrekturdaten einge­ stellt.

Wenn der Anwender Korrekturdaten einstellt, blickt der Anwender auf den ersten Korrekturpunkt 91 und drückt den Einstellschalter 47a auf EIN. Die CPU 67 betreibt bzw. berechnet die Koordinate des Blickpunktes unter Beobachtung. Wenn die CPU die Koordinate berechnet, be­ rechnet die CPU einen Mittelwert von Erfassungen zum Einstellen eines Wertes, um die Verläßlichkeit zu erhö­ hen.

Als nächstes blickt der Anwender auf den zweiten Kor­ rekturpunkt 92 und drückt den Einstellschalter 47a er­ neut auf EIN. Die CPU 67 berechnet auch die Koordinaten des Blickpunktes gemäß dem zweiten Korrekturpunkt wie in dem Fall des ersten Korrekturpunktes.

Weiterhin ersetzt die CPU 67 zwei Koordinaten in dem Näherungsausdruck, um die Koeffizienten k1, d0 zu be­ rechnen, die persönliche Werte des Anwenders sind, und speichert sie bzw. die Koeffizienten in dem E²PROM. Als nächstes zeichnet die CPU 67 einen Identifikationscode in dem E²PROM in der den Korrekturdaten folgenden Adresse auf, um eine Beziehung zwischen den Korrektur­ daten und dem Anwender herzustellen. Der persönliche Wert wird mit einem an der Kamera vorgesehenen Schalter oder einer mit der Kamera verbundenen Eingabeeinrich­ tung eingegeben.

Darüber hinaus erfordert das zuvor erwähnte Verfahren zwei Korrekturpunkte.

Die Korrektur kann jedoch auch erzielt werden, selbst wenn zumindest bzw. nur der Offset d0 als persönliches Datum erfaßt und die Entfernung k1 als feststehendes Datum behandelt wird. In diesem Fall genügt ein Korrek­ turpunkt in dem Sucher. Die CPU 67 berechnet den Wert d0 auf der Basis der Koordinate des Blickpunktes, wenn der Anwender den Korrekturpunkt anblickt.

Wenn der Anwender die Kamera verwendet, betätigt er den Auswahlschalter 47b, um seine Korrekturdaten auszuwäh­ len, die durch den Identifikationscode identifizierbar sind. Nach dem Auswählen der persönlichen Daten und wenn die Blickrichtung herausgefunden ist, werden die Erfassungsdaten mit den persönlichen Korrekturdaten des Anwenders korrigiert. Das Blickrichtungs-Erfassungs­ gerät kann eine Blickrichtung genau erfassen, da eine durch individuelle Unterschiede hervorgerufene Varia­ tion der Erfassung vermieden wird.

In dem zuvor erwähnten Ausführungsbeispiel wurde nur die Korrektur der Blickrichtungserfassung in X-Achs­ enrichtung erläutert. Es ist jedoch klar, daß auch eine Korrektur in Y-Richtung erzielt werden kann. Wenn im letzteren Fall zwei Koeffizienten k1, d0 als Variablen verwendet werden, sind vier Korrekturpunkte erforder­ lich, und wenn nur der Koeffizient dO als Variable ver­ wendet wird, sind zwei Korrekturpunkte erforderlich.

Auch in dieser Ausführungsform stellt ein Anwender seine persönlichen Korrekturdaten ein und wählt sie aus einer Vielzahl von persönlichen Daten. Wenn das Gerät jedoch nur die Korrekturdaten einer Person speichern kann, stellt der Anwender seine Korrekturdaten ein, wenn er die Kamera verwendet, nachdem diese von einem anderen Anwender verwendet worden ist.

Claims (6)

1. Blickrichtungs-Erfassungsgerät, gekennzeichnet durch eine Einrichtung zum Korrigieren der erfaßten Blick­ richtung auf der Basis des Unterschieds zwischen einer visuellen Achse und einer optischen Achse des Auges.

2. Gerät nach Anspruch 1, gekennzeichnet durch eine Einrichtung zum Abstrahlen und Projizieren von Licht auf ein Anwenderauge, eine Einrichtung zum Abbilden des von dem Auge reflektierten Lichtes auf ein Lich­ terfassungselement und eine Einrichtung zum Berech­ nen einer Blickrichtung auf der Basis des Vi­ deosignals von dem Lichterfassungselement.

3. Gerät nach Anspruch 2, dadurch gekennzeichnet, daß das Lichterfassungselement ein Zeilensensor ist.

4. Gerät nach einem der Ansprüche 1 bis 3, dadurch ge­ kennzeichnet, daß die Korrektureinrichtung eine Ein­ richtung zum Speichern des Unterschiedes zwischen der Blickrichtung und der logischen Richtung unter Beobachtung, wenn der Anwender einen Korrekturpunkt betrachtet, und eine Einrichtung zum Subtrahieren des Unterschieds von der mit der Berechnungseinrich­ tung berechneten Blickrichtung hat.

5. Gerät nach einem der Ansprüche 1 bis 4, dadurch ge­ kennzeichnet, daß die Korrektureinrichtung eine Ein­ richtung zum Einstellen von Korrekturdaten einer Vielzahl von Anwendern und eine Einrichtung zum Aus­ wählen von persönlichen Daten aus den Korrekturdaten hat.

6. Gerät nach einem der Ansprüche 1 bis 5, dadurch ge­ kennzeichnet, daß das Gerät mit einem Bildschärfe­ nerfassungssystem einer Kamera verwendet wird und eine Einrichtung zum Auswählen eines der Bildschär­ fenerfassungssysteme auf der Basis der korrigierten Blickrichtung hat.