DE4037908A1 - Blickrichtung-erfassungsgeraet - Google Patents

Description

Die Erfindung betrifft ein Blickrichtungs-Erfassungsge­ rät zum Herausfinden einer Blickrichtung oder eines Betrachtungspunktes eines Anwenderauges in einem Su­ chersystem.

Es ist ein solches Blickrichtungs-Erfassungsgerät be­ kannt, bei dem das Gerät ein Lichtbündel auf ein Auge eines Fotografen lenkt und das Reflexionslicht des Auges in der Form von Videosignalen erfaßt und dann den Dreh- bzw. Schwenkwinkel des Auges auf der Basis der Videosignale berechnet.

Das zuvor erwähnte Blickrichtungs-Erfassungsgerät ver­ wendet jedoch im allgemeinen einige optische Einheiten gemeinsam in dem Lichtabstrahlsystem und dem Lichtemp­ fangssystem. Daher enthält das erfaßte Signal Rauschsi­ gnale als die Phantom- bzw. Störsignale, erzeugt von den gemeinsamen optischen Einheiten.

Fig. 8 zeigt die in der Praxis gemessenen Daten der Störsignale, die von dem zuvor erwähnten herkömmlichen optischen System des Geräts erzeugt werden. In Fig. 8 zeigt die Abzisse eine Bitzahl des CCD-Zeilensensors und die Ordinate zeigt eine Lichtmenge als die Stör­ signale.

Solche Störsignale deformieren die Videosignale zur Er­ fassung der Blickrichtung. Einige Beispiele der Formen von deformierten Videosignalen sind in den Fig. 9, 10 und 11 gezeigt.

Fig. 9 zeigt einen Pfeil, bei dem die Blickrichtung des Fotografen auf den Mittelpunkt des Suchers gerich­ tet ist. In diesem Fall erscheint es, daß es nur kleine Störungen beim Verarbeiten der Daten gibt. Tatsächlich beeinflussen die Störsignale jedoch die Genauigkeit der Blickrichtungsmessung bis zu einem gewissen Ausmaß.

Fig. 10 zeigt einen Fall, bei dem die Blickrichtung des Fotografen in die rechte Richtung des Suchers geht. In diesem Fall ist die linke Seite der Ausgangs­ videosignalform in starkem Maße angehoben. Für den Fall, daß die Blickrichtung des Fotografen auf die linke Seite des Suchers geht, wie in Fig. 11 gezeigt, ist die rechte Seite der Ausgangsvideosignalform in starkem Maße angehoben. Diese Deformationen der Video­ signale beeinflussen die Genauigkeit der Blickrich­ tungsmessung stark.

Es ist eine Aufgabe der Erfindung, ein Blickrichtungs- Erfassungsgerät anzugeben, das beeinträchtigende Stör­ signale eliminieren kann, die von den optischen Syste­ men des Gerätes erzeugt werden.

Das Blickrichtungs-Erfassungsgerät der Erfindung ist zur Lösung der zuvor erwähnten Aufgabe dadurch gekenn­ zeichnet, daß es Videosignale als Fehlersignale spei­ chert, die für das optische System dieses Geräts eigen­ tümlich sind, und die gespeicherten Fehlersignale von den Videosignalen subtrahiert, die von der Lichtemp­ fangseinrichtung ausgegeben werden, wenn es von dem Auge des Fotografen reflektiertes Licht gibt, und wobei das Gerät dann die Augenrichtung auf der Basis der sub­ trahierten Ausgangssignale erfaßt.

Durch die Eigenschaften des zuvor erwähnten Blick­ richtungs-Erfassungsgerätes der Erfindung kann dieses Ausgangssignale erhalten, in denen der Einfluß von Störsignalen eliminiert ist, und kann demzufolge die Blickrichtung mit höherer Genauigkeit erfassen.

Die Erfindung wird nachstehend an Hand von Ausführungs­ beispielen unter Bezugnahme auf die Zeichnung beschrie­ ben.

Fig. 1 ist eine schematische Ansicht, die den generellen Aufbau eines in einer einäugigen Reflexkamera eingebauten Blickrichtungs-Erfassungsgerätes ge­ mäß einer Ausführungsform der Er­ findung zeigt;

Fig. 2 ist eine erläuterende Darstellung, die ein Beispiel eines Betrachtungs­ feldes der einäugigen Reflexkamera zeigt;

Fig. 3 und 4 sind Beispiele von Flußdiagrammen, die Prozesse zur Korrektur der Video­ signale zeigen;

Fig. 5 bis 7 sind Diagramme, die von Störsignalen befreite Videosignale zeigen;

Fig. 8 bis 11 sind Diagramme, die Beispiele von Videosignalen zeigen, die von dem herkömmlichen Blickrichtungs-Erfas­ sungsgerät ausgegeben sind.

Die vorliegende Erfindung betrifft einen Gegenstand, der in der japanischen Patentanmeldung Nr. HEI-1-3 11 726 (eingereicht am 30. November 1989) enthalten ist, und die hierin vollständig durch Bezugnahme aufgenommen ist.

Zunächst wird der Gesamtaufbau des optischen Systems dieses Geräts schematisch unter Bezugnahme auf Fig. 1 beschrieben.

In Fig. 1 sind gezeigt: ein in einer Kamera eingebau­ tes pentagonales Prisma 40, ein schnell zurückklappba­ rer Spiegel 41, eine Fokussierplatte 42, eine Konden­ sorlinse 43, eine Suchervergrößerungslinse 44, ein Auge 45 eines Fotografen, und eine optische Achse Ax0 des Suchersystems.

Die Kamera ist mit drei (nicht dargestellten) optischen Bildschärfenerfassungssystemen versehen und den Bild­ schärfenerfassungssystemen entsprechende Bildschärfen­ erfassungszonen 80, 81, 82 sind in dem Sucher ange­ ordnet, wie es in Fig. 2 gezeigt ist.

Ein optisches Blickrichtungs-Erfassungssystem hat ein Lichtabstrahlsystem 46 und ein Lichtempfangssystem 47. Das Lichtabstrahlsystem 46 strahlt Erfassungslicht als paralleles Lichtbündel auf ein Auge 45 des Fotografen ab, der in den Sucher sieht. Das Lichtempfangssystem 47 erfaßt von dem Auge 45 reflektiertes Licht.

Das Lichtabstrahlsystem 46 hat eine Infrarotlicht-Ab­ strahldiode 48, einen Totalreflexionsspiegel 49 und eine Kollimatorlinse 50. Von der Lichtabstrahldiode 48 abgestrahltes Infrarotlicht wird durch den Totalrefle­ xionsspiegel 49 reflektiert und auf die Kollimatorlinse 50 gelenkt. Die Kollimatorlinse 50 ist an ihrer nach außen zeigenden Seitenfläche mit einer Blende 51 verse­ hen. Die Kollimatorlinse 50 hat die Funktion, das von der Lichtabstrahldiode 48 abgestrahlte Infrarotlicht in ein paralleles Lichtbündel zu wandeln.

Auf der Seite der Suchervergrößerungslinse 44, der das Auge 45 gegenüberliegt, ist ein optisches Lichtpfad- Überlappungselement 52 zum Übereinanderlegen der opti­ schen Achse Ax1 des Lichtabstrahlsystems 46 und der op­ tischen Achse Ax2 des Lichtempfangssystems 47 vorgese­ hen. Das optische Lichtpfad-Überlappungselement 52 hat zwei rechteckige Parallelflachs bzw. Parallelepipeds mit Prismen, die eine reflektierende Fläche 53 haben.

Die in dieser Ausführungsform verwendete reflektierende Fläche 53 ist von der Art, die Infrarotlicht halb durchläßt und sichtbares Licht durchläßt. Da die re­ flektierende Fläche 53 sichtbares Licht durchläßt, kann der Fotograf die auf der Fokussierplatte 42 ausgebilde­ te Abbildung des Subjektes sehen. Das durch die Blende 51 geführte parallele Lichtbündel wird durch die re­ flektierende Fläche 53 in Richtung auf das Auge 45 re­ flektiert und projiziert, wenn das Auge in einem Au­ genort angeordnet ist.

Das Lichtbündel zum Ausbilden der ersten Purkinje- Abbildung auf der Basis der cornealen spiegelnden Re­ flexion des Auges 45 und das reflektierte Lichtbündel von der Retina gehen durch die reflektierende Fläche 53 des optischen Koaxialbildungselements 52 und werden dann zu der Suchervergrößerungslinse 44 geführt.

Das Lichtempfangssystem 47 hat ein Kompensatorprisma 59, einen Verkleinerungslinse 60, einen Totalrefle­ xionsspiegel 61, eine Neu-Abbildungslinse 62 und einen CCD-Zeilensensor 63.

Das Kompensatorprisma 59 kompensiert die optischen Cha­ rakteristiken wie den optischen Weg und die Phasendif­ ferenzen des Ausgangslichtes des pentagonalen Prismas 40. Die verkleinernde Linse 60 verkürzt den optischen Weg des Lichtempfangssystems 47 und konvergiert das Austrittslicht auf den möglicherweise bzw. möglichst engen bzw. schmalen Lichtempfangsbereich des CCD- Zeilensensors 63; auf diese Weise macht sie die Emp­ findlichkeit des CCD-Zeilensensors relativ hoch. Die Neu-Abbildungslinse 62 bildet das Austrittslicht auf dem CCD-Zeilensensor neu ab.

Der CCD-Zeilensensor 63 und die Pupille des Auges 45 sind durch die Suchervergrößerungslinse 44, die Ver­ kleinerungslinse 60 und die Neu-Abbildungslinse 62 in der optisch konjugierten Position. Das Lichtbündel zum Ausbilden der ersten Purkinje-Abbildung auf der Basis der cornealen Spiegelreflexion des Auges 45 und das von der Retina reflektierte Lichtbündel gehen durch die Suchervergrößerungslinse 44 und werden über das penta­ gonale Prisma 40, das Kompensatorprisma 59, die Ver­ kleinerungslinse 60 und den Totalreflexionsspiegel 61 zu der Neu-Abbildungslinse 62 geführt und bilden dann eine Silhouette der Kante der Pupille und der ersten Purkinje-Abbildung auf dem CCD-Zeilensensor 63 aus.

Von dem CCD-Zeilensensor 63 ausgegebene Videosignale werden durch den Verstärker 65 verstärkt und dann durch einen A/D-Wandler 66 in digitale Signale gewandelt.

Die digitalen Ausgangssignale des A/D-Wandlers 66 wer­ den einer als Beurteilungs- und Auswahleinrichtung ver­ wendeten CPU 67 in einem solchen Zustand eingegeben, daß von dem Auge 45 reflektierte Lichtelemente und von Linsenoberflächen etc. reflektierte Störelemente mit­ einander gemischt sind. Die CPU 67 subtrahiert die in Fig. 9 gezeigten Fehlersignale von den Videosignalen, die Störsignale enthalten, die in dem als Speicher­ einrichtung verwendeten ROM 68 gespeichert sind. Dann werden die Videosignale, von denen die für das optische System eigentümlichen Störsignale eliminiert sind, tem­ porär in einem RAM 69 gespeichert.

Die in dem ROM 68 gespeicherten Störsignale sind digi­ tale Signale, die von dem A/D-Wandler 66 ausgegeben werden, wenn das Auge 45 des Fotografen nicht vor dem Sucher angeordnet ist; sie sind Korrekturdaten entspre­ chend Bildelementen des CCD 63.

Das ROM 68 ist z. B. ein E²PROM (elektronisch löschbares programmierbares ROM). Fehlerdaten werden in das ROM 68 jeder Kamera oder jeder Produktionsserie geschrieben. Die Fehlerdaten werden einer Kamera von der CPU oder einem äußeren, mit der Kamera verbundenen Computer zu­ geführt.

Flußdiagramme für Prozesse der Korrektur von Videosi­ gnalen sind in den Fig. 3 und 4 gezeigt.

Fig. 3 zeigt einen Prozeß des Schreibens der Fehlerda­ ten (Störsignale) in das ROM 68.

In Fig. 3 wird nach dem Start des Prozesses das erste Bitsignal V(1) des CCD-Zeilensensors 63 als ein Video­ signal V(N) ausgelesen, und zwar wenn das Auge des Fotografen nicht vor der Suchervergrößerungslinse 44 angeordnet ist (Schritt S31). Dann wird das Videosignal V(N) in das ROM 68 als ein Störsignal Vgst(N) geschrie­ ben (Schritt S32, S33). Als nächstes wird die Zahl N um 1 inkrementiert (Schritt S34).

Dann wird die Zahl N mit der Zahl NEND verglichen (Schritt S35). Wenn die Zahl N nicht gleich der Zahl NEND ist, kehrt der Prozeß zurück zu Schritt S32. Dann wird das Videosignal V(N) ein weiteres Mal in das ROM 68 als ein Störsignal Vgst(N) geschrieben (Schritte S32, S33) und die Zahl N wird um 1 inkrementiert (Schritt S34).

Wenn die Zahl N gleich der Zahl NEND1 ist, wird das Vi­ deosignal V(NEND) in das ROM 68 als ein Störsignal Vgst(NEND) geschrieben (Schritte S36, S37) und der Pro­ zeß endet.

Somit werden die Videosignale des CCD-Zeilensensors 63 vom ersten Bit bis zum NEND-Bit auf wiederholende Weise für jedes Bit in das ROM 68 geschrieben.

Durch einen solchen Vorbereitungsprozeß werden alle Störsignale von den optischen Einheiten gemeinsam in das ROM 68 geschrieben. Somit kann der Störsignal-Re­ duktionsprozeß in der Praxis angewendet werden.

Fig. 4 ist eine Ausführungsform des Störsignal- Reduktionsprozesses. Nachdem der Prozeß beginnt, wird das erste Bitsignal V(1) des CCD-Zeilensensors 63 als ein Videosignal V(N) ausgelesen (Schritt S41), wenn das Reflexionslichtbündel des Auges 45 des Fotografen auf die Suchervergrößerungslinse 44 gelenkt wird. Dann wird das Videosignal V(N) in die CPU als ein Videosignal Vsig(N) gegeben (Schritt S42).

Als nächstes wird das Störsignal Vgst(N) in die CPU ge­ geben (Schritt S43), wobei N (- in diesem Fall 1 -) der Zahl N von Vsig(N) entspricht.

Dann wird in der CPU ein Löschsignal Vclr(N) durch Sub­ trahieren des Störsignals Vgst(N) von dem Videosignal Vsig(N) berechnet (Schritt S44). Auf diese Weise wird das Signal Vclr(N) in dem RAM 69 gespeichert (Schritt S45). Als nächstes wird die Zahl N um 1 inkrementiert (Schritt S46). Dann wird die Zahl N mit der Zahl NEND verglichen (Schritt S47). Wenn die Zahl N nicht gleich der Zahl NEND ist, kehrt der Prozeß zurück zum Schritt S42. Dann wird das Signal Vclr(N) ein weiteres Mal durch Subtrahieren des Störsignals Vgst(N) von dem Vi­ deosignal Vsig(N) berechnet (Schritt S44). Das Signal Vclr(N) wird in dem RAM 69 gespeichert (Schritt S45). Die Zahl N wird um 1 inkrementiert (Schritt S46).

Wenn die Zahl N gleich der Zahl NEND ist, wird das Si­ gnal Vclr(NEND) durch Subtrahieren des Störsignals Vgst(NEND) von dem Videosignal Vsig(NEND) berechnet (Schritt S48). Das Signal Vclr(NEND) wird in dem RAM 69 gespeichert (Schritt S49).

Somit werden die Videosignale des CCD-Zeilensensors 63 in das RAM 69 in der Form des Löschsignals Vclr(N) von dem ersten Bit bis zum NEND-Bit auf wiederholende Weise für jedes Bit geschrieben.

Die CPU 67 übernimmt den Betrieb zum Berechnen des Dreh- bzw. Schwenkwinkels des Auges 45 des Fotografen auf der Basis des Signals Vclr(N) (Schritt S50). Dann endet der Prozeß.

Die in der Praxis gemessenen Videosignale, die durch den zuvor erwähnten Prozeß auf der Basis von Signalen Vclr(N) korrigiert sind, sind in den Fig. 5 bis 7 gezeigt.

Fig. 5 zeigt die Ausgangsvideosignale, wenn ein Foto­ graf die Zone in der Mitte des Suchers betrachtet; Fig. 6 die Signale, wenn er die Zone auf der rechten Seite betrachtet und Fig. 7 die Videosignale, wenn er die linke Seite des Suchers betrachtet. Der Vergleich zwischen diesen Daten und den in den Fig. 9 bis 11 gezeigten Daten zeigt deutlich, daß die Eliminierung der Störfaktoren die Deformation der Videosignale zu­ rücknimmt.

Im allgemeinen wird die folgende Beziehung verwendet:
d = k1×sin R,
wobei R der Schwenkwinkel der Blickrichtung gegenüber der optischen Achse des Suchers ist; d die Länge einer senkrechten Linie ist, die von dem Mittelpunkt der Pu­ pille zu der Lichtlinie verläuft, die senkrecht auf die Cornea gelenkt ist und durch den Ort der ersten Purkinje-Abbildung geht; und k1 die Entfernung von dem Mittelpunkt der Pupille zum Mittelpunkt der Krümmung der Cornea ist.

Dann berechnet die CPU 67 die Länge d aus den Videosi­ gnalen, von denen die Störsignale subtrahiert sind und die in das RAM 69 geschrieben sind, und berechnet den Schwenkwinkel R des Auges aus den Daten der Länge k1 und der Entfernung d, die zuvor eingestellt sind.

Die CPU 67 wählt die Zone, die in der Richtung plaziert ist, in die der Fotograf blickt, und zwar auf der Basis des Schwenkwinkels R, und gibt das Signal, das die aus­ gewählte Zone bezeichnet, an die Antriebsschaltung 70 aus. Die Antriebsschaltung 70 steuert eines der CCDs 71, 72 und 73 an, und zwar jenes, welches der ausge­ wählten Zone entspricht. Die CPU 67 mißt die Entfernung zu dem Subjekt, welches der Fotograf aufnehmen möchte.

In einer Kamera ist ein (nicht dargestelltes) automati­ sches Fokussiergerät eingebaut, das das Objektiv gemäß der gemessenen Entfernung automatisch fokussiert.

Wie zuvor erwähnt, ermöglicht das Blickrichtungs-Erfas­ sungsgerät der Erfindung, die Störsignale des optischen Systems elektronisch zu eliminieren und die Video­ signale zu erhalten, die den reflektierten Faktoren eines Auges entsprechen. Somit ermöglicht das Gerät der Erfindung, die Blickrichtung exakter zu erfassen.

Claims (7)

1. Blickrichtungs-Erfassungsgerät, mit einem Lichtab­ strahlsystem zum Abstrahlen von Erfassungslicht auf ein Auge, einem Lichtempfangssystem zum Erfassen durch das Auge reflektierten Lichtes und zum erneu­ ten Abbilden des Lichtes auf einer Lichtempfangsein­ richtung und einer Erfassungseinrichtung zum Erfas­ sen der Blickrichtung durch die Signale, die von der Lichtempfangseinrichtung ausgegeben sind, gekenn­ zeichnet durch eine Speichereinrichtung zum Speichern der Daten, die für das optische System dieses Gerätes eigentümliche Störsignale wieder­ geben, und durch eine Korrektureinrichtung zum Korrigieren der von der Lichtempfangseinrichtung ausgegebenen Signale durch die in der Speicher­ einrichtung gespeicherten Daten.

2. Gerät nach Anspruch 1, dadurch gekennzeichnet, daß die die Störsignale wiedergebenden Daten Videosigna­ le sind, die von der Lichtempfangseinrichtung als Fehlersignale ausgegeben werden, wenn kein Reflexi­ onslicht von dem Auge vorliegt, und daß die Signale korrigiert werden, indem die in der Speichereinrich­ tung gespeicherten Fehlersignale von den von der Lichtempfangseinrichtung ausgegebenen Videosignalen subtrahiert werden, wenn Reflexionslicht von dem Auge vorliegt.

3. Gerät nach Anspruch 2, dadurch gekennzeichnet, daß das Lichtabstrahlsystem eine Infrarotlichtabstrahl­ diode, einen Totalreflexionsspiegel zum Reflektieren von Infrarotlicht, das von der Lichtabstrahldiode abgestrahlt ist, und eine Kollimatorlinse zum Wan­ deln des von der Lichtabstrahldiode abgestrahlten Infrarotlichts in ein paralleles Lichtbündel hat.

4. Gerät nach Anspruch 2 oder 3, dadurch gekennzeich­ net, daß das Lichtempfangssystem ein Kompensator­ prisma zum Kompensieren der optischen Charakteristi­ ken wie des optischen Weges und der Phasendifferen­ zen des Reflexionslichtes des Auges, eine verklei­ nernde Linse zum Verkürzen des optischen Weges des Lichtempfangssystems, einen Totalreflexionsspiegel zum vollständigen Reflektieren des von der verklei­ nernden Linse zusammengeführten Lichtes und eine Neu-Abbildungslinse zum Neu-Abbilden des von dem Totalreflexionsspiegel reflektierten Lichtes auf die Lichtempfangseinrichtung hat, die die elektrischen Signale entsprechend dem neu abgebildeten Licht aus­ gibt.

5. Gerät nach Anspruch 2, 3 oder 4, dadurch gekenn­ zeichnet, daß die Speichereinrichtung ein elektro­ nisch löschbares programmierbares ROM ist.

6. Gerät nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, daß die Erfassungseinrichtung den Schwenkwinkel R der Blickrichtung gegenüber der optischen Achse des Suchers auf der Basis der folgenden Beziehung erfaßt:
d = k1×sin R,
wobei d die Länge einer senkrechten Linie ist, die von dem Mittelpunkt der Pupille zu der Lichtlinie verläuft, die senkrecht auf die Cornea gelenkt ist und durch den Ort der ersten Purkinje-Abbildung geht, und k1 die Entfernung von dem Mittelpunkt der Pupille zu dem Mittelpunkt der Krümmung der Cornea ist.

7. Gerät nach Anspruch 6, dadurch gekennzeichnet, daß die Erfassungseinrichtung auf der Basis des Schwenk­ winkels R aus in dem Sucher eingestellten Zonen eine Zone auswählt und dann das Signal ausgibt, das die ausgewählte Zone bezeichnet.