DE68927275T2

DE68927275T2 - Bildaufnahmegerät

Info

Publication number: DE68927275T2
Application number: DE68927275T
Authority: DE
Inventors: Muneo Iida; Kazunori Omura; Akira Tomono
Original assignee: ATR TSUSHIN SYST KENKYUSHO
Current assignee: ATR TSUSHIN SYST KENKYUSHO
Priority date: 1988-07-14
Filing date: 1989-07-14
Publication date: 1997-03-06
Anticipated expiration: 2009-07-15
Also published as: DE68928825D1; EP0603157A1; DE68926192T2; US5818954A; EP0350957A2; EP0596868A3; EP0596868B1; DE68928825T2; EP0350957B1; DE68926192D1; EP0603157B1; EP0350957A3; DE68927275D1; EP0596868A2; US5016282A

Description

Bildaufnahmegerät

Die vorliegende Erfindung bezieht sich auf ein Bildaufnahmegerät. Genauer bezieht sich die vorliegende Erfindung auf ein Bildaufnahmegerät, das effektiv die Bewegung einer Position und die Bewegung der Augen benutzen kann auf dem Gebiet einer Mensch-Maschinenschnittstelle und der intelligenten visuellen Kommunikation, so daß die Extraktion von Merkmalen eines Objektes erleichtert wird, das aufzunehmen ist, in dem ein Beleuchtungsgerät benutzt wird.
Kürzlich sind Computer entwickelt worden zum Realisieren komplizierter und verschiedener Funktionen und deren Anwendungsgebiet ist weiter und weiter geworden. Nicht nur Fachleute sondern auch normale Menschen benutzen inzwischen Computer. Damit die Benutzung von Systemen erleichtert wird, die kompliziert gewesen sind und immer komplizierter und komplizierter werden, wird die Technologie der Mensch-Maschinenschnittstelle wichtiger und wichtiger. Menschen kommunizieren nicht nur durch die Sprache sondern auch durch Ausdrücke und Gesten, in dem sie Intentionen des Partners annehmen und bestätigen. Insbesondere spielt die Augenbewegung eine wichtige Rolle zum Ermöglichen einer guten Kommunikation.
Die Bewegung der Augen spiegelt sehr die eigene Absicht wieder. Wenn die Bewegung von Blickpunkten auf einem Schirm eines Benutzers, der einem Anzeigegerät zugewandt ist, kontinuierlich an einer Schnittstelle erfaßt werden kann, kann es eine gute Hilfe sein, die Absicht des Benutzers zu kennen. Es kann eine gute Hilfe sein, zu wissen wohin der Benutzer blickt, da es dazu führt, was der Benutzer im Sinn hat oder worüber er nachdenkt.
Im Hinblick auf das Vorangehende haben die Erfinder der vorliegenden Anmeldung die Wichtigkeit eines effektiven Augenverfolgungsverfahrens zum Realisieren einer Schnittstellenfunktion aufgezeigt, die in der Lage ist, eine Absicht der Tätigkeit des Benutzers anzunehmen, damit flexibel reagiert wird, und zum Realisieren auf dem Gebiet der intelligenten Kommunikation einer sehr reaktiven und benutzerorientierten visuellen Kommunikation durch Extrahieren des Gegenstandes der Interesse gemäß der Bewegung der Augen eines Empfängers und durch Rückkoppeln desselben zu dem Sender.
Eine Augenkamera ist gut bekannt als das oben beschriebene Augenverfolgungsgerät. Die Augenkamera ist jedoch nicht sehr geeignet zum Benutzen der Bewegung der Augen in einer Mensch-Maschinenschnittstelle oder bei visueller Kommunikation, da ein Benutzer eine Brille tragen muß und der Kopf des Benutzers fest sein muß, damit die Augenfixierung in einem Koordinatensystem einer Anzeige, die dem Benutzer zugewandt ist, verfolgt wird. Ein Verfahren zum Erfassen, das Bildverarbeitung benutzt, ist bequemer bei der Erfassung der Augenbewegung in berührungsloser Weise ohne die Notwendigkeit des Tragens einer speziellen Vorrichtung.
Fig. 1 zeigt ein Beispiel einer Anordnung eines berührungslosen Augenverfolgungsgerätes. Es wird Bezug genommen auf Fig. 1, Kameras 2, 3 und Beleuchtungsgeräte 4 und 5 sind entsprechend auf beiden Seiten einer Anzeige 1 vorgesehen. Bei solch einem berührungslosen Augenverfolgungsgerät ist ein erstes Problem, das zu lösen ist, daß durch die Kameras 2 und 3 die Bilder eines durch die Beleuchtungsgeräte 4 und 5 beleuchteten Benutzers aufzunehmen und eine Mehrzahl von Merkmalspunkten, die zum Verfolgen der Augenbewegung notwendig sind, aus den aufgenommenen Bildern zu extrahieren sind. Das zweite Problem ist das, die räumlichen Positionen der Merkmalspunkte bei hoher Geschwindigkeit mit hoher Genauigkeit zu messen. Das dritte Problem ist es, die Richtung der Augenfixierung und der Blickpunkte auf der Anzeige auf der Grundlage der Positionen der Merkmalspunkte zu finden.
Da sich eine Person und insbesondere ihre Augen schnell bewegen, müssen klare Bilder aufgenommen werden und die Merkmalspunkte durch einfache Bildverarbeitung extrahiert werden, damit der Bewegung genau gefolgt wird und sie genau erfaßt wird. Bei der tatsächlichen Anwendung in einem Raum jedoch ändert sich die Beleuchtung des Benutzers, da die Lichtreflektion von der Anzeige von äußeren Beleuchtungen wie Leuchtstoffröhren beeinflußt wird, so daß Bilder einer guten und gleichförmigen Qualität nicht immer vorgesehen werden können. Wenn die eingegebenen Bilder in der Qualität schlechter sind, dauert es lange, das Rauschen zu verringern und folglich kann ein schneller Betrieb nicht erwartet werden.
Eine Person, die das aufzunehmende Objekt ist, kann beleuchtet werden, damit das oben beschriebene Problem gelöst wird. Solche Beleuchtung hat jedoch die folgenden Nachteile. Zuerst ist es schwierig, eine natürliche Umgebung für die Schnittstelle vorzusehen. Genauer, Glühlampen, Xenonlampen und Halogenlampen sind als Beleuchtungsgeräte gut bekannt, die einen weiten Bereich von Wellenlängen aufweisen und deren Verteilung auf dem sichtbaren Wellenlängenbereich zentriert ist. Daher ist es nicht sehr gut, den Benutzer von vorn zum Vorsehen einer natürlichen Schnittstelle zu beleuchten.
Zweitens werden die Geräte groß, und viel Wärme wird erzeugt. Damit nämlich die Bedingungen der Beleuchtung der herkömmlichen Beleuchtungsgeräte in Hinblick auf die Anwendungen auf die Schnittstelle verbessert werden, müssen optische Teile wie Bandpaßfilter und ein Polarisator vor der Beleuchtungslichtquelle angebracht werden. Wenn z.B. eine Beleuchtung im nahen Infrarot, die von einem Menschen nicht erkahnt wird, zum Auffangen des reflektierten Lichtes benutzt wird, muß das sichtbare Licht blockiert werden. Die oben erwähnten herkömmlichen Beleuchtungsgeräte haben jedoch eine niedrige Effektivität beim Lichtaussenden, und viel Wärme wird von ihnen erzeugt. Folglich wird die Temperatur um das Gerät höher. Folglich kann das Gerät nicht kompakt gemacht werden, in dem eine Lichtquelle und die optischen Elemente integral ausgebildet werden, so daß ein großes Beleuchtungsgerät ausreichend benutzt werden muß.
Drittens, obwohl die Beleuchtung beim Extrahieren von Merkmalspunkten effektiv ist und klare Bilder vorgesehen werden, wenn die Beleuchtung richtig benutzt wird, wird die Beleuchtung eine Rauschquelle und sieht nachteilhafte Effekte vor, wenn die Beleuchtung falsch benutzt wird. Eine detaillierte Beschreibung wird im folgenden gegeben, wobei ein Fall des Extrahierens von Merkmalspunkten einer Person oder der Augen als Beispiel benutzt wird.
Fig. 2 zeigt ein Beispiel eines Experimentes zum Extrahieren von blauem Markierungen, die einem Gesicht einer Person entsprechen, in dem ein herkömmliches Beleuchtungsgerät und das Bildaufnahmegerät benutzt werden. Fig. 3A und 3B zeigen ein Beispiel der Extrahierung der Merkmalspunkte des Gesichtes, das durch das in Fig. 2 gezeigte Experiment vorgesehen wird.
Blaue Markierungen 6 werden auf vier Abschnitten des Gesichtes angebracht, wie in Fig. 3A gezeigt ist. Referenzlicht 9 wird von dem Beleuchtungsgerät 8 auf ein Objekt 10 ausgestraht, wie in Fig. 2 gezeigt ist, das von dem Objekt reflektierte Licht wird durch eine Kamera 13 aufgefangen, wobei die blaue Komponente von dem aufgefangenen Licht aufgenommen wird und einem Schwellwert unterworfen wird. Das Resultat ist in Fig. 3B gezeigt. Wie aus Fig. 3B ersichtlich ist, werden sowohl Rauschkomponenten 7 als auch die blauen Markierungen 6 aufgenommen. Der Grund dafür ist der folgende. Wenn nämlich das Objekt 10 durch das Referenzlicht 9 beleuchtet wird, kann das davon reflektierte Licht in gewissem Sinne in zwei Komponenten unterteilt werden. Eine ist das Licht 11, das an der Oberfläche des Objektes diffundiert und reflektiert wird, dieses gibt die optische Natur des das Licht reflektierenden Materiales wieder. Daher ist die Komponente effektiv beim Extrahieren von Merkmalspunkten wie Teile des Gesichtes (Mund, Augenwimpern, Nase usw.) und der Pupille mit Ausnahme der von der Hornhaut reflektierten Bilder, aus jenen Merkmalspunkten, die notwendig sind beim Augenverfolgen. Das andere ist die Komponente 12, die von der Oberfläche des Objektes 10 regulär reflektiert wird, die die optische Natur der Lichtquelle wiedergibt. Die Komponente 12 gibt nicht die Natur des Objektes 10 wieder, so daß sie dazu tendiert, mit Rauschen behaftet zu sein. Die letztere Komponente ist sehr in dem glatten Abschnitt des Objektes 10 enthalten. Genauer, wenn das Objekt eine Person ist, sind Schweiß auf dem Gesicht, Brillenrahmen, Brillengläser, Kunststoffe und Gläser um die Person usw. solche glatte Abschnitte. Bei dem in Fig. 3B gezeigten Beispiel entspricht das Rauschen 7 dem Schweiß.
Bei dem in Fig. 3A und 3B gezeigten Beispiel werden blaue Markierungen, die auf das Gesicht aufgebracht sind, extrahiert. Das obige wird ähnlich angewendet, wenn Markierungen unterschiedlicher Farben benutzt werden und die Farbkomponenten zu Extrahieren sind. Die reguläre reflektierte Komponente 12 wird in den meisten Fällen rauschbehaftet, wenn solche Abschnitte wie die Augen, Nase, Mund und Augenwimpern aus dem natürlichen Bild ohne Benutzung von Markierungen extrahiert werden. Eine sogenannte aktive Stereovision wird als ein anderes Verfahren zum Erfassen der Form des Gesichtes von einer Person ohne Benutzung von Markierungen benutzt, wobei Moiretypographieund Spaltstrahlverfahren die Repräsentativen eines solchen Verfahrens sind. bei dem das Objekt mit einem vorgeschriebenen gesteuerten Formmuster beleuchtei wird, die Bilder (reflektiertes Muster), die einer Schwellenwertbildung unterworfen sind, von den reflektierten Bildern extrahiert werden und die dreidimensionale Form des Objektes unter Benutzung des reflektierten Musters gemessen wird, das dem extrahierten Muster entspricht. Bei diesem Verfahren werden auch, wenn das Objekt dazu tendiert, Regulärlicht zu reflektieren, Bilder, die durch die reguläre Reflektion gebildet werden, rauschbehaftet, wodurch es schwierig wird, die reflektierten Muster richtig zu extrahieren, die die Merkmale des Objektes sind.
Probleme in Verbindung mit der Anordnung des herkömmlichen Beleuchtungsgerätes und der Effektivität des Extrahierens von einem Pupillenmerkmalspunkt werden im folgenden beschrieben. Damit die Augenfixierung eines Benutzers erfaßt wird, der keine besondere Vorrichtung trägt, müssen eine Mehrzahl von Merkmalspunkten durch Bildverarbeitung extrahiert werden, wie später beschrieben wird. Eine Pupille ist eine Öffnung einer Iris, die im allgemeinen dunkel aussieht. Daher muß, die Iris ist dunkelbraun, die Pupille von der Iris unterschieden werden, damit sie extrahiert wird. Die Pupille ist ein guter Merkmalspunkt, was weit angewendet wird, da die Größe der Pupille bequem ist, sie wird nicht sehr durch die Bewegung des Augenliedes beeinflußt, und sie ist bei der Umwandlung der Augenfixierung bequem. Die Extrahierung der Pupille ist mit einer Augenkamera usw. durchgeführt worden, und eine Zahl von Verfahren zum Extrahieren der Pupille ist bekannt. Zum Beispiel sind solche Verfahren in dem US-Patent 4 102 564, US-Patent 4 145 122, US- Patent 3 689 135, US-Patent 4 075 657, US-Patent 4 755 045, US-Patent 4 303 394, US-Patent 4 651 145 und US-Patent 4 702 575 offenbart. Bei einer Art von Augenkameras wird eine Lichtquelle in einer Brille zum Beleuchten der Augäpfel eingebaut, und das reflektierte Licht wird zum Messen der Intensität des reflektierten Lichtet von der Pupille und von der Iris aufgenommen. Bei einem Gerät wie einer Augenkamera, die an dem Kopf von jemanden angebracht ist, ist der Abstand zwischen dem Beleuchtungsgerät und dem Bildaufnahmegerät klein, und das Gerät bewegt sich entsprechend der Bewegung des Kopfes. Daher muß das Beleuchtungsgerät nur die Augäpfel beleuchten, und das Bildaufnahmegerät muß nur die Bilder der Augäpfel aufnehmen. Daher ist der Einfluß von Rauschen klein, und die Pupille kann in Abhängigkeit nur von der Differenz der Intensität des reflektierten Lichtes von der Pupille und von der Iris extrahiert werden.
Die Augenverfolgung für die Anwendung auf die Schnittstelle muß jedoch in der berührungslosen Weise durchgeführt werden, wie oben beschrieben wurde. Daher sollten nicht nur der Abschnitt der Augäpfel sondern auch ein weiterer Bereich aufgenommen werden, der das Verfolgen einer Bewegung in einem Abstand ermöglicht. Zum Beispiel muß ein Verfahren zum Extrahieren von Pupillen aus den Bildern des Gesichtes von jemanden bedacht werden. In solch einem Fall ist es sehr schwierig, die Pupillen von dem Hintergrundrauschen durch die oben beschriebenen Verfahren zu trennen.
Fig. 4 zeigt ein anderes Verfahren zum Extrahieren de Pupille, bei dem das Licht in die Pupille eintritt und das von der Netzhaut reflektierte Licht aufgenommen wird. Es wird Bezug genommen auf Fig. 4, ein halbdurchlässiger Spiegel 23 ist auf einer optischen Achse 22 eines Aufnahmeobjektives 21 einer Kamera 20 vorgesehen, und ein herkömmliches Beleuchtungsgerät 24 ist derart angeordnet, daß dessen optische Achse mit der optischen Achse 22 mittels des halbdurchlässigen Spiegeis 23 zusammenfällt. Damit die Verteilung der von der Pupille reflektierten Intensität gleichförmig gemacht wird, wobei ein Beleuchtungsgerät mit einer Lichtquelle benutzt wird, d.h. damit ein Bild der Pupille mit geringen Unebenheiten in der Intensität erhalten wird, ist die Benutzung des halbdurchlässigen Spiegels 23 wesentlich. Ein Filter 25 zum Abschneiden sichtbarer Wellenlängen ist vor dem Beleuchtungsgerät 24 vorgesehen. Die sichtbare Wellenlängenkomponente des Lichtes von dem Beleuchtungsgerät 24 wird durch dieses Filter 25 abgeschnitten, und der verbleibende Teil des Lichtes trifft die optische Achse 22 des Objektives 21 zum Beleuchten des Benutzers 26. Das Licht tritt in die Pupille des Benutzers 26 ein, wird an der Netzhaut reflektiert, geht durch den halbdurchlässigen Spiegel 23 und wird durch die Kamera 20 aufgenommen. Daher wird die Pupille heller als die Iris aufgenommen.
Das in Fig. 4 gezeigte Verfahren hat jedoch den folgenden Nachteil. Das Gerät wird groß, da es einen halbdurchlässigen Spiegel 2.3 einsetzt. Wenn der Bereich des aufgenommenen Bildes nicht nur die Abschnitte in der Nähe der Augäpfel sind, sondern weitere Bereiche wie z.B. das Gesicht selbst enthalten, wird der Einfluß des Rauschens selbst bei diesem Verfahren groß, wodurch es schwierig wird, die Pupillen richtig zu extrahieren. Damit der Einfluß des Rauschens verringert wird, kann die Intensität der Beleuchtung erhöht werden. Das ist jedoch nicht sehr effektiv, da die Intensität durch das Filter 25 zum Abschneiden der sichtbaren Wellenlänge reduziert wird, es wird weiter auf die Hälfte durch den halbdurchlässigen Spiegel 23 verringert, und das reflektierte Licht wird weiter auf die Hälfte durch den halbdurchlässigen Spiegel 23 verringert, d.h., das meiste Licht von dem Beleuchtungsgerät 24 ist zu der Zeit verloren, zu der es von der Kamera 20 aufgefangen wird. Wenn die Intensität der Beleuchtung erhöht wird, wird viel Leistung verbraucht und viel Wärme erzeugt. Damit andere Einflüsse verringert werden, können entsprechende Teile getrennt voneinander angebracht werden, was zu einer weiteren Vergrößerung der Abmessung des Gerätes führt. Wenn die Beleuchtung zu intensiv ist, belastet sie physiologisch des Benutzers. Daher ist dieses Verfahren auch nicht geeignet, an der Seite der Anzeige für die Anwendung auf die Schnittstelle angebracht zu werden.
Ein von einer Hornhaut reflektiertes Bild ist das virtuelle Bild, das durch das regulär auf der konvexen Oberfläche der Hornhaut reflektierte Licht gebildet ist, und es bewegt sich in die gleiche Richtung wie die Augäpfel gemäß der Bewegung der Augenfixierung. Daher ist es einer der Merkmalspunkte, die für die Augenverfolgung notwendig sind. Ein Problem bei der Extrahierung ist die Trennung von dem Hintergrundrauschen.
Fig. 5 zeigt ein Beispiel eines Gerätes, das von der Hornhaut reflektierte Bilder durch eine Kamera aufnimmt. Es wird Bezug genommen auf Fig. 5, wenn Licht von einer Referenzlichtquelle 31 Augen eines Benutzers 30 beleuchtet, werden Bilder, die von der Hornhaut reflektiert sind und für die Augenverfolgung notwendig sind, von der Kamera 32 aufgenommen. Es tritt jedoch nicht nur das Licht von der Referenzlichtquelle 31 sondern auch von der Sichtanzeigeoberfläche der Sichtanzeige 33 und von der äußeren Beleuchtung 34 wie eine Leuchtstoffröhre in die Augen des Benutzers 30 ein, das von der Hornhaut zum Vorsehen virtueller Bilder reflektiert wird. Daher werden verschiedene Bilder von der Hornhaut in dem Augapfel reflektiert, die Rauschen bilden, wodurch es schwierig wird, die von der Hornhaut reflektierten Bilder zu extrahieren, die von dem Licht von der Referenzlichtquelle 31 gemacht sind.
Wenn ein sich bewegendes Objekt wie eine Person oder Augen zu photographieren ist, sollte die Photographierzeit so kurz wie möglich sein, damit Bilder ohne Verwaschen vorgesehen werden. Kürzlich ist eine Kamera mit einem elektrischen Verschluß in Benutzung gekommen. Solche Kameras mit kurzen Photographierzeiten benötigen intensive Beleuchtung. Da jedoch ein herkömmliches Beleuchtungsgerät zum Beleuchten des Benutzers bei der Schnittstelle benutzt wird, wird der Benutzer der Wärme eines intensiven Lichtes während einer langen Zeitdauer ausgesetzt, was die Augen oder den Körper des Benutzers beeinflussen kann.
Inzwischen ist Stereovisionsmessung in dem Gebiet des Messens räumlicher Positionen der Merkmalspunkte bekannt geworden. Da jedoch die Extrahierung der Merkmalspunkte schwierig war, wie oben beschrieben wurde, ist Echtzeitmessung der räumlichen Positionen der Merkmalspunkte auf dem Gesicht oder der Augäpfel bis jetzt nicht ausgeführt worden, in dem die Benutzung für die Schnittstelle in Betracht gezogen wird.
Einige Verfahren sind zur Augenverfolgung durch Bildverarbeitung vorgeschlagen worden. Es müssen jedoch verschiedene Bedingungen erfüllt sein, damit jedes dieser Verfahren auf die Augenverfolgung angewendet wird, und daher ist dieses Gebiet der Anwendung begrenzt, da eine effektive Extrahierung der Merkmalspunkte schwierig ist und eine Hochgeschwindigkeitserfassung der räumlichen Positionen mit jedem dieser Verfahren schwierig ist. In den meisten der Verfahren wird eine Schwarz-Weißkamera eingesetzt. Ein solches Beispiel wird im folgenden beschrieben.
Fig. 6 stellt ein Verfahren zum Erfassen der Iris und der Pupille in dem weißen des Auges auf einem aufgenommenen Bild zum Erfassen der Augenfixierung unter Benutzung derselben dar. Es wird Bezug genommen auf Fig. 6, das Gesicht der Person wird durch eine Kamera 41 aufgenommen, der Abschnitt 42 des Auges wird aus dem aufgenommenen Bild des Gesichtes extrahiert, und der dunkle Abschnitt 43 und das weiße 44 in dem Auge werden voneinander getrennt. Danach werden die Länge a des weißen 44 und die Länge x von einer Kante des weißen 44 zu der Mitte des dunklen Abschnittes 43 berechnet. Die Richtung der Augenfixierung ist ungefähr proportional zu x/a. Da der Vorgang des Extrahieren des weißen 44 und des dunklen Abschnittes 43 des Auges schwierig mit hoher Geschwindigkeit durchzuführen ist, ist bis jetzt eine Echtzeiterfassung nicht realisiert worden. Bei diesem Verfahren ist der Freiheitsgrad auf die Drehbewegung des Augapfels begrenzt, wenn nicht die Position und die Richtung des Gesichtes durch irgend ein anderes Verfahren berechnet werden. Die Genauigkeit beim Erfassen der Drehung des Augapfels ist nicht sehr hoch, da sich die Größe der Augen ändert, wenn der Benutzer seinen Ausdruck ändert. Die Aufwärt- und Abwärtsbewegung des Auges ist besonders eigenartig und kompliziert, da der dunkle Abschnitt 43 sich durch die Bewegung des Augenliedes beeinflußt ändert.
Fig. 7 stellt ein Verfahren zum Erfassen der Pupille und der von der Hornhaut als Merkmalspunkte reflektierten Bilder durch eine Kamera dar. Es wird Bezug genommen auf Fig. 7, die Position einer Referenzlichtquelle 51 wird als bekannt in Bezug auf das Koordinatensystem der Kamera 50 angenommen. Die räumliche Position des Bildes 53, das von der Hornhaut reflektiert wird und durch das Referenzlicht von der Referenzlichtquelle 51 erzeugt wird, und die räumliche Position der Pupille 54 werden unabhängig auf der Grundlage def Position des Rotationszentrums des Augapfels 52 und auf der Grundlage der Rotationswinkel α und β in die aufwärtige, abwärtige, linke und rechte Richtung des Augapfels bestimmt. Wenn daher die Position des von der Hornhaut reflektierten Bildes, die Position der Pupille 54, der Radius a des Augapfels, der ein Strukturparameter des Augapfels 52 ist, der Krümmungsradius c der Hornhaut und der Abstand b zwischen dem Zentrum des Augapfels zu dem Krümmungszentrum der Hornhaut bekannt sind, werden das Rotationszentrum des Augapfels 52 und der Rotationswinkel des Augapfels 52 bestimmt, und folglich kann eine Augenfixierung bestimmt werden. Die Position des von der Hornhaut reflektierten Bildes 53 und der Pupille 54 können von einem komplizierten Bild erhalten werden, in dem ein Zustand vorgesehen wird, in dem der Abstand von der Kamera zu dem Augapfel 52 ungefähr konstant ist. Auf diese Weise kann die Augenfixierung in Zusammenhang mit dem Rotationswinkel α in die linke und rechte Richtung und dem Rotationswinkel β in die aufwärtige und abwärtige Richtung des Augapfels 52 erfaßt werden. Die Genauigkeit der Erfassung wird jedoch niedriger, wenn sich das Gesicht in die Richtung der z- Achse aus der oben beschriebenen Bedingung bewegt.
In den in Fig. 6 und 7 gezeigten Beispielen ist es schwierig den Blickpunkt zu erfassen, da nur eine Kamera eingesetzt wird. Wenn eines der oben beschriebenen Verfahren auf die Schnittstelle angewendet wird, ist es nötig zu wissen. auf welchem Punkt auf der Sichtanzeige der Benutzer blickt. Daher muß der Blickpunkt in dem Sichtanzeigekoordinatensystem bestimmt werden. Damit der Blickpunkt des Benutzers in dem Sichtanzeigenkoordinatensystem bekannt ist, ist es notwendig, daß der Benutzer auf einem vorbestimmten Punkt auf der Sichtanzeigenoberfläche blickt und das System aufgrund der Daten kalibriert wird. Wenn jedoch nur eine Kamera benutzt wird, gibt es verschiedene und viele Parameter für die Kalibrierung, was die Kalibrierung kompliziert und schlechter in der Genauigkeit macht.
Ein Bildaufnahmegerät, daß die Grundlage für den Oberbegriff des Anspruches 1 bildet, ist in der JP-A-61-41 906 offenbart.
Daher ist es eine Hauptaufgabe der vorliegenden Erfindung, ein Bildaufnahmegerät vorzusehen, das effektiv Merkmalspunkte extrahieren kann, die zum Erfassen durch Bildverarbeitung der Bewegung einer Person und der Bewegung der Augen notwendig sind.
Es ist eine weitere Aufgabe der vorliegenden Erfindung ein Bildaufnahmegerät vorzusehen, das die Schwellenwertbildung erleichtert und folglich die Effektivität bei der Extrahierung verbessert, in dem das Signalrauschverhältnis des Pupillenabschnittes gegen den Hintergrund vergrößert wird.
Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein Bildaufnahmegerät vorzusehen, das effektiv eine regulär reflektierte Komponente extrahiert, wenn ein Referenzlicht ein Objekt beleuchtet, so daß ein von der Hornhaut reflektiertes Bild gebildet wird.
Eine Mehrzahl von Lichtquellen, z.B. lichtemittierende Dioden sind nahe einer optischen Achse eines Aufnahmeobjektives zum Aufnehmen des Objektes angeordnet, ein Bild wird durch das von dem Objekt reflektierte Licht mittels eines optischen Systems gebildet und das gebildete Bild wird durch Bildverarbeitungsmittel erfaßt.
Ein zweites Beleuchtungsmittel ist in einem Abstand größer als ein vorgeschriebener Abstand von der optischen Achse des Objektives angeordnet, das von dem Objekt reflektierte Licht, das durch das erste Beleuchtungsmittel beleuchtet wird, und das von dem Objekt reflektierte Licht, das von dem zweiten Beleuchtungsmittel beleuchtet wird, werden zum Bilden von Bildern getrennt, und ein Differenzbild wird aus den so erhaltenen Bildern gebildet. Daher kann die Pupille heller als der Hintergrund durch das von dem ersten Beleuchtungsmittel vorgesehene Licht aufgenommen werden, und die Pupille kann dunkler als der Hintergrund durch das von dem zweiten Beleuchtungsmittel vorgesehenen Licht aufgenommen werden. Das Licht von dem ersten Beleuchtungsmittel tritt durch die Pupille ein und wird an der Netzhaut zum Zurückkehren zu der Richtung des Eintrittes des Lichtes reflektiert. Daher kann durch Anordnen des Bildbildungsmittels in der gleichen Richtung wie die des beleuchtenden Lichtes die Pupille heller aufgenommen werden. Das Licht von dem zweiten Beleuchtungsmittel tritt ähnlich durch die Pupille ein und wird von der Netzhaut reflektiert. Es ist jedoch kein Bildbildungsmittel in der Richtung der Reflektion vorgesehen, so daß die Pupille dunkler aufgenommen werden kann.
Die vorangehenden und weiteren Aufgaben, Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden ersichtlicher aus der folgenden detaillierten Beschreibung der vorliegenden Erfindung, wenn sie in Zusammenhang mit den begleitenden Zeichnungen genommen wird.
Fig. 1 zeigt ein Beispiel eines herkömmlichen berührungslosen Augenverfolgungsgerätes;
Fig. 2 zeigt ein Beispiel eines Experimentes zum Extrahieren blauer Markierungen als Merkpunkte auf einem Gesicht einer Person, in dem das herkömmuche Beleuchtungsgerät und ein Bildaufnahmegerät benutzt werden;
Fig. 3A und 3B zeigen ein Beispiel der Extrahierung von Merkmalspunkten des Gesichtes, die durch das in Fig. 2 gezeigte Experiment vorgesehen werden;
Fig. 4 zeigt ein anderes Verfahren zum Extrahieren von Pupillen, in die Licht durch die Pupille eintritt, und das an der Netzhaut reflektierte Licht wird aufgenommen;
Fig. 5 zeigt ein Beispiel eines Gerätes, bei dem ein von der Hornhaut reflektiertes Bild von einer Kamera aufgenommen wird;
Fig. 6 stellt ein Verfahren zum Erfassen einer Position eines dunklen Abschnittes eines Auges auf einem aufgenommenen Bild dar zum Erfassen der Augenfixierung unter Benutzung desselben;
Fig. 7 stellt ein Verfahren zum Extrahieren der Pupille und des von der Hornhaut reflektierten Bildes als Merkmalspunkte durch eine Kamera dar;
Fig. 8 zeigt das Konzept der Merkmalsextrahierung;
Fig. 9 zeigt verschiedene Arten und Naturen von Merkmalspunkten, die zur Erfassung der Augenfixierung notwendig sind;
Fig. 10 zeigt eine Ausführungsform des Bildaufnahmegerätes gemäß der vorliegenden Erfindung;
Fig. 11 ist eine Vorderansicht des in Fig. 10 gezeigten Aufnahmeobjektives;
Fig. 12 ist eine Seitenansicht des Aufnahmeobjektives;
Fig. 13 zeigt optische Eigenschaften von optischen Teilen, die in einer Ausführungsform der vorliegenden Erfindung verwendet werden;
Fig. 14 ist eine perspektivische Ansicht, die ein Beispiel eines Beleuchtungsgerätes zeigt, das eine lichtemittierende Diode und einen Polarisator aufweist, die als Einheit vorgesehen sind;
Fig. 15A zeigt ein diffundiertes reflektiertes Bild, das durch eine Ausführungsform der vorliegenden Erfindung aufgenommen ist, und Fig. 15B zeigt die Effekte des Extrahierens von Merkmalspunkten;
Fig. 16A bis 16C zeigen Beispiele der Extrahierung von dem von der Hornhaut reflektierten Bild;
Fig. 17, 18A, 18B, 18C und 19 stellen Anordnungen von Lichtquellen dar, durch die die Pupille heller aufgenommen wird;
Fig. 20A bis 20C zeigen Beispiele von Bildern, die durch das in Fig. 10 gezeigte Gerät aufgenommen sind;
Fig. 21 zeigt ein Beispiel einer Markierung, die au dem Gerät einer Ausführungsform der vorliegenden Erfindung angebracht ist;
Fig. 22 ist eine Querschnittsansicht, die ein anderes Beispiel der Markierung zeigt;
Fig. 23 zeigü eine Ausführungsform der vorliegenden Erfindung, die auf ein Bildaufnahmegerät der Art mit einem elektrischen Verschluß angewendet ist;
Fig. 24 und 25 zeigen Treiberzeitpunkt des Bildaufnahmegerätes und des Beleuchtungsgerätes die in Fig. 23 gezeigt sind;
Fig. 26A ist ein schematisches Blockschaltbild, das eine gesamte Anordnung eines Bildverarbeitungsgerätes zeigt, das in Echtzeit Merkmalspunkte erfaßt, in dem das Bildaufnahmegerät gemäß der vorliegenden Erfindung verwendet wird und Fig. 26B ist ein spezielles Blockschaltbild des in Fig. 26A gezeigten Bildverarbeitungsgerätes.
Fig. 8 zeigt das Konzept der Merkmalsextrahierung und Fig. 9 zeigt Arten und Eigenschaften der Merkmalspunkte, die für die Augenverfolgung notwendig sind.
Es wird zuerst Bezug genommen auf Fig. 8 und 9, das Konzept der Merkmalsextrahierung wird beschrieben. Ein Gesichtsbild wird durch eine Kamera 60 aufgenommen, und Merkmalspunkte, die den Kopf wiedergeben, und Merkmalspunkte der Augen werden aus den Bildsignalen extrahiert, die die Ausgangssignale von der Kamera 60 sind. Der Lateraiwinkel des Auges, der Medialwinkel des Auges, Lippe usw. können durch die Farbdifferenz erfaßt werden, da die Merkmalspunkte den Kopf wiedergeben, wie in Fig. 2 gezeigt ist. Die Merkmalspunkte des Auges sind das an der Hornhaut reflektierte Bild, der dunkle Abschnitt des Auges und die Pupille. Das von der Hornhaut reflektierte Bild ist das virtuelle Bild, das durch regulär an der konvexen Oberfläche der Hornhaut reflektierte Licht gebildet ist, das sich in die gleiche Richtung wie der Augapfel proportional zu der Bewegung der visuellen Achse bewegt. Der dunkle Abschnitt des Auges kann durch die Differenz der Intensität der Reflektion zwischen der Iris und der Netzhaut überwacht werden. Die Bewegung des dunklen Abschnittes kann nur durch Tageslicht mit einem Referenzlicht extrahiert werden. Die Pupille kann durch die Differenz in der Intensität des von der Netzhaut an der Iris und an dieser Öffnung reflektierten Lichtes erfaßt werden, und die Pupille wird nicht sehr durch die Bewegung des Augenliedes beeinflußt.
Die Position und die Richtung des Kopfes werden von den extrahierten Merkmalspunkten, die den Kopf wiedergeben, erfaßt, und die Resultate werden in die Position des Zentrums des Augapfels umgewandelt. Weiterhin werden das Zentrum der Pupille und das Zentrum des dunklen Abschnittes aus den extrahierten Merkmalspunkten des Auges erfaßt, und die Richtung der Augenfixierung wird als Reaktion auf das Resultat und die Position des Zentrums des Augapfels erfaßt, das durch die Umwandlung vorgesehen wird.
Der Kopf wird in ein Modell umgewandelt. Das Umwandeln in das Modell wird durchgeführt, in dem mindestens drei Merkmalspunkte des Gesichtes benutzt werden, an denen sich die Haut nicht sehr bewegt. Die Position und die Richtung des Kopfes werden auf der Grundlage der Position der entsprechenden Merkmalspunkte auf dem Gesicht erfaßt.
Bei dem Umwandeln des Kopfes in ein Modell werden mindestens drei virtuelle Merkmalspunkte, die relativ statisch sind, aus mindestens vier oder mehr Merkmalspunkten auf dem Gesicht genommen, und die Position und die Richtung des Kopfes werden auf der Grundlage der Positionen der virtuellen Merkmalspunkte erfaßt.
Markierungen, dessen Merkmal leicht extrahiert werden können, werden an mindestens drei Abschnitten eines Brillenrahmens angebracht, wobei der Kopf in ein Modell umgewandelt wird, in dem die Markierungen benutzt werden, wenn der Benutzer die Brille trägt, und die Position und die Richtung des Kopfes werden auf der Grundlage der Positionen der Markierungen erfaßt.
Fig. 10 zeigt eine Ausführungsform des Bildaufnahmegerätes gemäß der vorliegenden Erfindung. Fig. 11 ist eine Vorderansicht eines Aufnahmeobjektives, das in Fig. 10 gezeigt ist, und Fig. 12 ist eine Seitenansicht des Aufnahmeobjektives.
Es wird Bezug genommen auf Fig. 10, ein Beleuchtungsgerät 61 und ein Objektiv 65 sind vor einer Kameraeinheit 60 angeordnet. Das Beleuchtungsgerät 61 weist lichtemittierende Dioden 66 auf, die um das Objektiv angeordnet sind, wie in Fig. 11 gezeigt ist. Ein linearer Polarisator 63 ist vor den lichtemittierenden Dioden 66 angeordnet, und ein Filter 68 zum Abschneiden sichtbarer Wellenlängen ist vor dem Objektiv 65 angeordnet. Der lineare Polarisator 63 polarisiert das von den lichtemittierenden Dioden 66 emittierte Licht, das Filter zum Abschneiden sichtbarer Wellenlänge schneidet das von äußeren Beleuchtungen wie eine Leuchtstoffröhre emittierte sichtbare Licht ab. Ein Beleuchtungsgerät 62 ist an einer Position getrennt von der optischen Achse des Objektives 65 angeordnet. Das Beleuchtungsgerät 62 weist lichtemittierende Dioden 64 und einen linearen Polarisator 67, der vor demselben angeordnet ist, auf.
Die Kameraeinheit 60 weist drei Prismen 607, 608 und 609 auf. Eine wellenlängentrennende Ebene 610 ist zwischen den Prismen 607 und 608 gebildet und ein halbdurchlässiger Spiegel 611 ist zwischen den Prismen 608 und 609 angeordnet. Ein Polarisator 615 und ein CCD-Bildaufnahmeelement 612 sind der lichtemittierenden Oberfläche des Prismas 607 zugewandt angeordnet. Ein CCD-Bildaufnahmeelement 614 ist der lichtemittierenden Oberfläche des Prismas 608 zugewandt angeordnet, und ein Polarisator 616 und ein CCD-Bildaufnahmeelement 613 sind der lichtemittierenden Oberfläche des Prismas 609 zugewandt angeordnet. Die polarisierenden Oberflächen der Polarisatoren 615 und 616 schneiden senkrecht die vor den Beleuchtungsgeräten 61 und 62 vorgesehenen linearen Polarisatoren 63 und 67. Die Ausgangssignale der CCD. Bildaufnahmeelemente 613 und 614 werden einem Bildsubtraktionsmittel 617 zugeführt, in dem das von der Hornhaut reflektierte Bild extrahiert wird. Die Ausgangssignale der CCD-Bildaufnahmeelemente 612 und 613 werden einem Bildsubtraktionsmittel 618 zugeführt, in dem die Pupille extrahiert wird.
Fig. 13 ist ein Diagramm, das die optischen Eigenschaften der optischen Teile zeigt; die in der Ausführungsform der vorliegenden Erfindung verwendet werden. Nahes Infrarotlicht, das nicht durch die Augen von jemandem erfaßt werden kann, wird für die lichtemittierenden Dioden 64 und 66 benutzt, die in den in Fig. 10 gezeigten Beleuchtungsapparaten 61 und 62 verwendet werden. Bei dieser Ausführungsform beträgt die Wellenlänge λ1 der lichtemittierenden Diode 64 850nm, während die Wellenlänge λ2 der lichtemittierenden Diode 66 950nm beträgt. Die Wellenlängeneigenschaften der lichtemittierenden Dioden 64 und 66 sind durch eine 1 und durch 2 in Fig. 13 gezeigt. Die Eigenschaften des Filters 68 sind zum Abschneiden sichtbaren Lichtes, das vor dem Objektiv 65 vorgesehen ist, wird durch 4 in Fig. 13 dargestellt, und die Empfindlichkeit der CCDs 612, 613 und 614 ist durch eine 3 in Fig. 13 gezeigt. Wie aus Fig. 3 ersichtlich ist, ist die Halbwertsbreite der Wellenlänge bei jeder lichtemittierenden Diode 64 und 66 schmal, so daß das von den entsprechenden lichtemittierenden Dioden emittierte Licht nicht einander stört, wenn die Mittelwellenlänge der zwei um ungefähr mehr als 100nm differiert. Das Licht mit solch einer Wellenlänge kann nicht durch die Augen eines Menschen erfaßt werden. Falls das Licht durch die Augen eines Menschen erfaßt wird, kann die Wellenlänge des emittierten Lichtes so verschoben werden, daß sie länger ist. Die CCD-Bildaufnahmeelemente 612, 613 und 614, die aus Silizium gebildet sind, haben eine ausreichende Empfindlichkeit in diesem Wellenlängenbereich, wie in Fig. 13 gezeigt ist.
Fig. 14 ist eine perspektivische Ansicht, die einen Überblick über ein Beleuchtungsgerät zeigt, das lichtemittierende Dioden und einen Polarisator, die als eine Einheit vorgesehen sind, als ein Beispiel aufweist. Es wird Bezug genommen auf Fig. 14, lichtemittierende Dioden 72 sind auf einer Basisplatte 71 angebracht und ein Rahmen 74 zum Anbringen optischer Elemente ist an der Basisplatte 71 in einem vorgeschriebenen Abstand mittels eines Abstandshalters 73 angebracht. Optische Elemente 75 wie ein Polarisator, ein Filter, das visuelle Wellenlängen abschneidet und Infrarotlicht durchläßt, und ähnliches sind auf dem Rahmen 74 angebracht. Löcher für ein Kameraobjektiv sind in der Basisplatte 71 und in dem optischen Element 75 gebildet, und ein Zylinder 76 ist zum Verbinden dieser zwei Löcher vorgesehen.
Wie oben beschrieben wurde sind bei dem in Fig. 14 gezeigten Beispiel die optischen Elemente 75 durch einen Rahmen 74 so abgedichtet, daß die mechanische Festigkeit zum Verhindern von Verwindungen oder ähnliches der optischen Elemente 75 verstärkt wird. Diese Struktur ist insbesondere wichtig, wenn der Brechungsindex der optischen Elemente 75 eine Anisotropie aufweist und die Eigenschaften der Elemente sich in Abhängigkeit von der Wellenlänge ändern. Genauer gesagt, wenn das Element eine Verwindung aufweist, wenn es gestört oder gebogen ist, kann das vorgeschriebene Referenzucht nicht vorgesehen werden. Der Zylinder 76 verhindert den Eintritt von Referenzucht, das von der lichtemittierenden Diode 72 emittiert ist, direkt in das Objektiv. Insbesondere sind das Referenzlicht und das reflektierte Licht voneinander durch die Zylinder 76 getrennt.
Ein Betrieb einer Ausführungsform der vorliegenden Erfindung wird im folgenden unter Bezugnahme auf Fig. 10 beschrieben. Das von dem lichtemittierenden Dioden 64 und 66 der Beleuchtungsgeräte 61 und 62 wird durch die Polarisatoren 67 bzw. 63 zum Beleuchten einer Person polarisiert. Das davon reflektierte Licht tritt in das Prisma 607 durch das Filter 68 zum Abschneiden sichtbaren Lichtes und das Objektiv 65 ein. Das Licht mit der Wellenlänge Ä2 (950nm) wird durch den längenwellentrennenden Film 610 getrennt, so daß es in das CCD-Bildaufnahmegerät 612 durch den Polarisator 615 zum Bilden eines Bildes eintritt. Es sein angenommen, daß die Polarisation der Beleuchtung durch das Beleuchtungsgerät 62 in der Querrichtung ist, dann wird ein Bild mit der regulärreflektierten Komponente abgeschnitten, d.h. ein Bild mit der diffusen Reflektionskomponente wird auf der photoempfindlichen Oberfläche des CCD-Bildaufnahmeelementes 612 gebildet, wenn die Richtung der Polarisation des Polarisators 615 um 90º in die vertikale Richtung verschoben ist. Da die reguläre Reflektion auf glatten Oberflächen des Objektes stattfindet, werden die optischen Eigenschaften der Lichtquelle gut in den regulär reflektierten Komponenten erhalten.
Weiterhin wird die diffus reflektierte Komponente durch die Absorptiöns- und Reflektionseigenschaft des Objektes modifiziert. Damit Merkmalspunkte des Gesichtes und der Pupille und des dunklen Abschnittes des Auges extrahiert werden sollte das diffus reflektiere Bild bevorzugt in Hinblick auf Rauschverminderung und Verbesserung des Signalrauschverhältnisses S/N benutzt werden. Weiterhin geht das reflektierte Licht mit der Wellenlänge λ1 durch das Filter 78 zum Abschneiden visueller Wellenlänge, das Objektiv 65 und das Prisma 607 so daß es durch einen halbdurchlässigen Spiegel 611 aufgeteilt wird, der an der Schnittstelle zwischen den Prismen 608 und 609 vorgesehen ist. Ein Teil des geteilten Lichtes tritt in das CCD-Bildaufnahmeelement 613 durch den Polarisator 616 zum Bilden eines Bildes, der andere Teil des geteilten Lichtes tritt direkt in das CCD-Bildaufnahmeelement 614 zum Bilden eines Bildes. Daher ist ein Bild mit der regulär reflektierten Komponente und der diffusreflektieren Komponenten in den Ausgangssignalen von dem CCD-Bildaufnahmeelement 614 enthalten, während ein Bild, das nur die diffus refeflektierte Komponente enthält, in den Ausgangssignalen von dem CCD-Bildaufnahmeelement 613 enthalten ist. Da die Intensität des Lichtes, das durch die Polarisatoren 615 und 616 geht, 1/2 wird, ist das Teilungsverhältnis halbdurchlässigen Spiegels 611 auf 1:2 gesetzt, so daß die Intensitäten der Bilder von den CCD-Bildaufnahmeelementen 613 und 614 ungefähr die gleichen sind.
Fig. ISA zeigt ein diffusreflektiertes Bild, das von einer Ausführungsform der vorliegenden Erfindung aufgenommen ist, und Fig. 15B zeigt den Effekt des Extrahieren von Merkmalspunkten. Bei einer Ausführungsform der vorliegenden Erfindung wird ein Experiment zum Extrahieren von blauen Markierungen durchgeführt, die auf einem Gesicht einer Person als Merkmalspunkte angebracht sind, zum Bestätigen des Prinzipes dieser Erfindung. Zum Vergleich mit dem herkömmlichen Bildaufnahmeverfahren wird eine weiße Lichtquelle (Halogenlicht) und nicht lichtemittierende Dioden als die Lichtquelle benutzt, die zum Beleuchten des Objektes polarisiert. wird. Eine herkömmliche CCD- Dreifarbenkamera wird benutzt, und ein Polarisator, dessen Polarisationsrichtung senkrecht den Polarisator schneidet, der für die Beleuchtung eingesetzt wird, ist in die optische Achse der Bildformung eingesetzt. Fig. 15A zeigt ein Beispiel der Extrahierung der diffusen reflektierten Komponente aus dem von der Kamera eingefangenen reflektierten Licht gemäß dem oben beschriebenen Verfahrens. Fig. 15B zeigt Bilder, die durch Extrahieren von Gesichtsfarbkomponenten aus den Bildelementen von Fig. 15A vorgesehen werden und einem Schwellenwertprozeß unterworfen sind. Wenn Fig. 15B mit dem in Fig. 3B gezeigten herkömmlichen Beispiel verglichen wird, ist das Rauschen verringert, und die blauen Markierungen 77 sind effektiv als Merkmalspunkte extrahiert.
Die Extrahierung der von der Hornhaut reflektierten Bilder wird im folgenden beschrieben. Die von der Hornhaut reflektierten Bilder sind virtuelle Bilder die durch das Licht der Referenzlichtquelle gebildet werden, das regulär auf der Oberfläche der Hornhaut reflektiert wird. Daher sind in diesem Fall die regulär reflektierten Bilder die gewünschten Signale. Die Extrahierung der von der Hornhaut reflektierten Bilder wird realisiert durch Extrahieren der Differenz zwischen den Bildern auf den CCD-Bildaufnahmeelementen 613 und 614, wie in Fig. 10 durch das Bildsubtraktionsmittel 617 gezeigt ist. Ein Problem beim Extrahieren der von der Hornhaut reflektierten Bilder im Stand der Technik war das, daß das Licht von externen Oberflächen oder von der Sichtanzeige von der Hornhaut zum Bilden von Bildern reflektiert wird, die mit den von der Referenzlichtquelle abgeleiteten Bildern überlappen. Bei einer Ausführungsform der vorliegenden Erfindung jedoch ist das Licht von der lichtemiitierenden Diode 65 polarisiert, so daß die von der Hornhaut reflektierten Bilder, die durch Reflektion des Lichtes von der lichtemittierenden Diode 64 gebildet werden, durch den Polarisator 614, der senkrecht dazu steht, abgeschnitten werden, wobei die diffusreflektierten Bilder verbleiben. Daher kann das von der Hornhaut reflektierte Bild von dem Hintergrund durch das Bildsubtraktionsmittel 617 extrahiert werden, wie oben beschrieben wurde.
Da jedoch die externe Beleuchtung im allgemeinen nicht polarisiert ist, werden ähnliche Bilder durch die CCD-Bildaufnahmeelemente 613 und 614 aufgenommen, und es gibt keine Differenz zwischen den von diesen beiden Elementen aufgenommenen Bildern. Daher enthält das differenzielle Bild, das durch das Bildsubtraktionsmittel 617 vorgesehen wird, weniger Rauschen, wodurch die Extrahierung des von der Hornhaut reflektierten Bildes mit hohem Signalrauschverhältnis realisiert werden kann.
Fig. 16A bis 16C zeigen Beispiele der Extrahierung des von der Hornhaut reflektierten Bildes. Die in Fig. 16A bis 16C gezeigten Beispiele sind die Resultate eines Experimentes zum Extrahieren des von der Hornhaut reflektierten Bildes unter Benutzung des gleichen Bildaufnahmesystemes, wie es in Fig. 10 gezeigt ist, damit das oben beschriebene Konzept bestätigt wird. Fig 16V zeigt ein von dem CCD-Bildaufnahineelement 614 vorgesehenes Bild mit der regulär reflektierten Komponente und der diffus reflektierten Komponente. Fig. 16B zeigt die von dem CCD-Bildaufnahmeelement 613 vorgesehenen Bilder mit nur der diffus reflektierten Komponente. Das von dem Bildsubtraktionsmittel 614 ausgegebene subtrahierte Licht entspricht Fig. 16C, in dem die von der Hornhaut reflektierten Bilder klar von dem Hintergrund extrahiert sind.
Die Extrahierung der Pupille wird in dem folgenden beschrieben. Wie in Fig. 10 gezeigt ist, weist das erste Beleuchtungsgerät 61 lichtemittierende Dioden Ö6 auf, die um die optische Achse des Objektives 65 angeordnet sind, wie in Fig. 11 gezeigt ist. In dem reflektierten Bild, das von der Beleuchtung des Beleuchtungsgerätes 61 abgeleitet ist, d.h. das von dem CCC-Bildaufnahmeelement 612 ausgegebene Bild, ist die aufgenommene Pupille heller als der Hintergrund. Obwohl die Betonung der Pupille gegen den Hintergrund nicht ausreichend ist, kann die Pupille extrahiert werden, wenn der Anwendungsbereich begrenzt wird. Weiterhin ist das zweite Beleuchtungsgerät 62 entfernt von der optischen Achse des Objektives 65 angeordnet. Das reflektierte Bild, das von der Beleuchtung des Beleuchtungsgerätes 62 abgeleitet wird, d.h. das von dem CCD- Bildaufnahmeelement 613 oder 614 vorgesehene Bild ist die dunkelaufgenommene Pupille. Daher wird die Subtraktionstätigkeit zwischen dem von dem CCD-Bildaufnahmeelement 612 vorgesehenen Bild und dem von den CCD-Bildaufnahmeelement 613 vorgesehenen Bild oder durch die Subtraktionstätigkeit zwischen den von dem CCD-Bildaufnahmeelement 612 vorgesehenen Bild und dem von dem CCD-Bildaufnahmeelement 614 vorgesehenen Bild die Pupille weiter gegen den Hintergrund verstärkt, wodurch ihre Extrahierung erleichtert wird. Da die Bedingungen der Anbringung des zweiten Beleuchtungsgerätes 62 nicht sehr eng sind, wie oben beschrieben wurde, kann es durch eine externe Beleuchtung wie eine Leuchtstoffröhre ersetzt werden. In diesem Fall muß jedoch das reflektierte Licht der Beleuchtung das CCD-Bildaufnahmeelement 613 oder 614 erreichen, daher muß die externe Beleuchtung eine nahe Infrarotkomponente enthalten, oder das Filter zum Abschneiden der sichtbaren Wellenlänge muß entfernt werden.
Fig. 17, 18 und 19 stellen Anordnungen von Lichtquellen zum Aufnehmen der hellen Pupille dar.
Die Beziehung zwischen den Positionen der Lichtquellen und der Helligkeit der Pupille wird im einzelnen im folgenden unter Bezugnahme auf Fig. 17 beschrieben. Der Augapfel 80 kann als ein Modell einer zusammengesetzten Kugel betrachtet werden, bei dem transparente Kugeln mit verschiedenen Radien einander überlappen, wobei ihre Zentren in einem Abstand voneinander angeordnet sind. Es sei ein Fall angenommen, in dem der Augapfel 80, der auf der optischen Achse des Aufnahmeobjetives 86 liegt, beleuchtet wird und das davon reflektierte Licht aufzufangen ist. Ein Öffnungsabschnitt der Iris 81 des Augapfels 80 ist die Pupille 85. Das von einer Lichtquelle 81 emittierte Licht tritt in den Augapfel durch die Pupille 85 ein, wird an der Hornhaut reflektiert, geht durch die Pupille 85 und erreicht eine diffusreflektierende Oberfläche 82 entsprechend der Netzhaut. Ein Teil des Lichtes wird von den Netzhautzellen absorbiert. Der Rest des Lichtes wird diffusgemacht und dort reflektiert. Ein Teil des reflektierten Lichtes, das wieder durch die Pupille 85 gehen kann, kehrt ungefähr zu der Richtung der Lichtquelle zurück. Daher ist der Abschnitt, der der Pupille 85 entspricht, in dem aufgenommenen Bild hell, wenn das Aufnahmeobjektiv 86 in dieser Richtung zum Auffangen des reflektierten Lichtes angeordnet ist.
Wenn jedoch das Aufnahmeobjektiv 86 entfernt von der Lichtquelle 85 angeordnet ist, wird es schwierig, ausreichend das reflektierte Licht aufzufangen, und die Fläche, die in dem Abschnitt der Pupille 85 hell ist, weist eine eindeutige Form auf. Wie in Fig. 17 gezeigt ist, wird, wenn die Lichtquelle 87 nahe der optischen Achse des Aufnahmeobjektives 86 angeordnet ist, die helle Fläche in der Pupille 85 größer, wie in Fig. 188 gezeigt ist. Wenn jedoch die Lichtquelle von dem Aufnahmeobjetiv 86 entfernt ist, wie durch 88 dargestellt ist, ist die helle Fläche deutlich verformt, wie in Fig. 18A gezeigt ist. Das Zentrum der Pupille 85 kann nicht richtig vorgesehen werden, selbst wenn eine Schwellenwerttätigkeit durchgeführt wird, zum Finden des Zentrums, da die Helligkeit des Pupillenbildes nicht gleichförmig ist. Daher kann ein Fehler bei dem Augenverfolgen auftreten. Im Hinblick auf die Genauigkeit der Augenverfolgung ist es besonders wünschenswert, daß die Pupille 85 mit gleichförmiger Helligkeit aufgenommen wird.
Daher ist es bei einer Ausführungsform der vorliegenden Erfindung bevorzugt, daß die Lichtquellen 87 nah um die optische Achse des Aufnahmeobjetives 86 angeordnet sind. Fig. 18C zeigt schematisch das Pupillenbild, das unter Benutzung des in Fig. 11 gezeigten Beleuchtungsgerätes 61 aufgenommen wird. Die in Fig. 11 gezeigten lichtemittierenden Dioden 66 dienen zum Aufnehmen eines spezifischen Abschnittes der Pupille 85, wie in Fig. 18A gezeigt ist, hell. Das durch die Summe der Funktionen der lichtemittierenden Dioden 66 aufgenommene Pupillenbild, die um die optische Achse angeordnet sind, ist gleichförmig hell. Die Struktur mit den Lichtquellen 87, die nahe der optischen Achse des Objektives angeordnet sind, wird nur realisiert, wenn kompakte und effektive Lichtquellen wie lichtemittierende Dioden 66 benutzt werden.
Es wird Bezug genommen auf Fig. 19, Bedingungen zum Aufnehmen der Pupille mit gleichförmiger Helligkeit wird denn im folgenden beschrieben. Die Hauptparameter, die die Bedienungen der Bildaufnahme beeinflußen, sind wie folgt.
1 Positionen d, g des Augapfels, wobei die Position des Zentrums des Objektives eine Referenz ist, und Rotationswinkel ξ des Augapfels
1 Position der Lichtquelle
Von dem oben erwähnten Parametern wird der Parameter 1 durch die Umweltbedingungen definiert, in denen das Augenverfolgungsverfahren eingesetzt wird. Bei der Schnittstellenumgebung beträgt die Position d des Augapfels 50cm bis 200cm, die Position g des Augapfels beträgt ± 30cm und der Rotationswinkel ξ beträgt ±20º. Unter solchen Bedingungen wird die Bedingung der Anordnung der Lichtquellen zum Aufnehmen zumindestens eines Teiles der Pupille, wie in Fig. 18A und 18B gezeigt ist, auf helle Weise durch Experimente gefunden. Die Bedingung wird nämlich durch einen Winkel θ definiert, der durch ein Segment definiert wird, das entsprechende Lichtquellen mit dem Objekt, das aufzunehmen ist, verbindet und das Segment, das das Zentrum des Objektives mit dem Augapfel verbindet, wobei der Wert des Winkels θ gleich θth1 (5º) oder weniger ist.
Wenn der Winkel nicht weniger als θth2 (6º) ist, weist die Pupille keinen als hell aufgenommenen Abschnitt auf. Ob nämlich die Pupille hell oder dunkel aufgenommen wird, wird durch den Winkel θ bestimmt, wobei der Grenzwert 5º ist. Die Werte von θth1 und θth2 werden in Abhängigkeit der Bedingungen der Umgebung gesetzt. Daher sollten bei dem Beleuchtungsgerät 61 zum hellen Aufnehmen des Pupillenbildes die entsprechenden Lichtquellen um die optische Achse des Objektives in einem Winkel von nicht mehr als θth1 gesetzt werden. Bezüglich der Zahl der Lichtquellen, je mehr desto besser. Bevorzugt können drei oder mehr Lichtquellen benutzt werden.
Durch Benutzung des Referenzbildes, das durch die Subtraktion zwischen dem Bild, in dem die Pupille hell genommen wird, und dem Bild, in dem die Pupille dunkel genommen wird, vorgesehen wird, kann der Abschnitt der Pupille gegen den Hintergrund verstärkt werden.
Fig. 20A bis 20C zeigen Beispiele von durch das in Fig. 10 gezeigte Gerät aufgenommenen Bildern. Fig. 20A ist ein Bild, das durch das CCD-Bildaufnahrneelement 612 aufgenommen ist, während 20B das Bild ist, das durch das CCD- Bildaufnahmeelement 614 aufgenommen ist. Durch Unterwerfen des subtrahierten Bildes auf einer Schwellwerttätigkeit kann der Abschnitt der Pupille mit einem hohen Signalrauschverhältnis extrahiert werden, wie in Fig. 20C gezeigt ist.
Bei einer Ausführungsform der vorliegenden Erfindung wird die Pupille als hell aufgenommen, in dem das an der Netzhaut des Augapfels aus der Pupille herausreflektierte Licht aufgenommen wird. Diese Technik kann zum Extrahieren von Merkmalspunkten benutzt werden. Genauer, bei einem Verfahren zum Erfassen der Position und der Richtung des Gesichtes von jemanden durch Anbringen von Markierungen auf dem Gesicht und Extrahieren dieser Markierungen können durchsichtige Kugeln als die Markierungen benutzt werden.
Fig. 21 zeigt ein Beispiel einer Markierung, die an einem Gerät einer Ausführungsform der vorliegenden Erfindung angebracht ist. Es wird Bezug genommen auf Fig. 21, eine diffus reflektierende Schicht 91 wird durch Anbringen einer Beschichtung wie einer weißen Farbe auf einer Glaskugel 90 gebildet. Eine Beschichtung wie eine schwarze Farbe wird weiter darauf zum Vorsehen einer Lichtabsorbtionsschicht 92 aufgebracht. Das Licht tritt in die Glaskugel 90 durch einen Öffnungsabschnitt ein, wird an der Krümmung des Öffnungsabschnittes reflektiert und erreicht die diffusmachende Oberfläche. Obwohl kein Bild durch das einfallende Licht auf der diffusmachenden Oberfläche gebildet wird, wird das einfallende Licht kondensiert, wie in Fig. 21 gezeigt ist, da die Krümmung des Öffnungsabschnittes als Linse dient. Das auf der diffusmachenden Oberfläche reflektierte Licht wird ungefähr in die Richtung des einfallenden Lichtes reflektiert, da die Krümmung als die Linse dient, wenn das Licht durch den Öffnungsabschnitt geht.
Da die Richtung des reflektierten Lichtes nahe der Richtung des einfallenden Lichtes ist, wenn das reflektierende Licht von dem Bildaufnahmegerät der in Fig. 10 gezeigten Ausführungsform aufgenommen wird, wird der Öffnungsabschnitt heller als der Umfang in dem durch das CCD-Bildaufnahmeelement 612 aufgenommenen Bild aufgenommen. Da das reflektierte Licht, das von dem Licht des Beleuchtungsapparates 62, der in einem Abstand von dem Aufnahmeobjektiv 65 vorgesehen ist, abgeleitet wird, nicht von der Kamera 60 aufgenommen wird, wie es in dem Fall des Augapfels ist, wird der Öffnungsabschnitt dunkel in dem von den CCD-Bildaufnahrneelementen 613 und 614 aufgenommenen Bildern. Daher kann durch eine Subtraktionstätigkeit zwischen den zwei verschiedenen Bildern der Öffnungsabschnitt als der Merkmalspunkt extrahiert werden. Auf diese Weise kann der Öffnungsabschnitt der Glaskugel 90 auf ähnliche Weise wie das Extrahieren der Pupille extrahiert werden. Eine Glaskugel 90 mit dem Durchmesser von 3 bis Smm kann benutzt werden, die bevorzugt an einem Abschnitt des Gesichtes angebracht wird, an dem sich die Haut nicht viel bewegt, oder die Glaskugel kann in den Rahmen der Brille eingebettet werden.
Fig. 22 ist eine Querschnittsansicht, die ein anderes Beispiel der Markierung zeigt. Es wird Bezug genommen auf Fig. 22, die Markierung 93 ist ein Kreis mit dem Durchmesser von ungefähr 2 bis Smm, der durch Bearbeiten von Glas gebildet wird. Ein Film 94, der Licht mit der Wellenlänge von mehr als 9oonm durchläßt und Licht mit der Wellenlänge von nicht mehr als 9oonm reflektiert, ist auf der Oberfläche gebildet, und die hintere Oberfläche ist eine diffus reflektierende Oberfläche 95. Daher wird Licht mit einer Wellenlänge von mehr als 9oonm diffus gemacht, und von der hinteren Oberfläche reflektiert, so daß es von der Kamera aufgefangen werden kann. Licht mit der Wellenlänge von nicht mehr als 9oonm wird auf der Oberfläche der Markierung 93 reflektien. Wenn jedoch die Richtung der Reflektion von der Richtung des Aufnahmeobjektives verschieden ist, wird das Licht nicht aufgenommen. Da zusätzlich das Licht regulär reflektiert wird, kann es unter Benutzung eines Polarisators abgeschnitten werden. Bei dem von dem CCD-Bildaufnahmeelement 612, das in Fig. 10 gezeigt ist, aufgenommenen Bild wird der markierte Abschnitt hell. Bei dem von dem CCD-Bildaufnahmeelement 613 aufgenommenen Bild wird die Markierung dunkel. Daher kann durch Subtraktion dieser Bilder der markiefte Abschnitt als auch die Pupille extrahiert werden.
Fig. 23 zeigt eine Ausführungsform bei der die vorliegende Erfindung auf ein Bildaufnahmegerät mit einem elektrischen Verschluß angewendet wird. Es wird Bezug genommen auf Fig. 23, eine Kamera 101 mit elektrischem Verschluß weist ein Objektiv 102, einen elektrischen Verschluß 103, ein optisches Gerät 104 zum Trennen von Bildern entsprechend der Wellenlänge, ein Bildaufnahmeelement 105 zum Aufnehmen von Bildern mit der Wellenlänge λ1 und ein Bildaufnahmeelement 106 zum Aufnehmen von Bildern mit der Wellenlänge λ2 auf. Die Ausgangssignale von dem Bildaufnahmeelement 105 werden an einen Speicher 107 angelegt, während die Bildaufnahmeausgangssignale von dem Bildaufnahmeelement 106 an einen Speicher 108 angelegt werden. Die Speicher 107 und 108 speichern entsprechende Bildaufnahmeausgangssignale. Ein Bildverarbeitungsgerät 109 verarbeitet Bildausgangssignale, die in den entsprechenden Speichern 107 und 108 gespeichert sind, und gibt z.B. die Differenz zwischen ihnen aus. Der elektrische Verschluß 103 und die Bildaufnahmeelemente 105 und 106 werden durch eine Steuerung 110 gesteuert, die z.B. durch einen Mikrocomputer gebildet wird. Ein Belichtungsgerät 111 weist ein Belichtungsgerät 113, das Licht mit der Wellenlänge λ1 emittiert, und ein Belichtungsgerät 115, das Licht mit der Wellenlänge λ2 emittiert, auf, die durch Treiberschaltungen 112 bzw. 114 gesteuert durch die Steuerung 110 getrieben werden.
Fig. 24 und 25 zeigen Treiberzeitpunkte des Bildaufnahmegerätes und des Beleuchtungsgerätes, die in Fig. 23 gezeigt sind. Die Kamera 101 mit elektrischen Verschluß, die in Fig. 23 gezeigt ist, ist in der Lage, ein sich bewegendes Objekt ohne oder mit nur geringer Verwaschung aufzunehmen. Das Konzept der Kamera ist wie folgt. Der elektrische Verschluß 103 wird während einer kurzen Zeitdauer zum Belichten der Bildaufnahmeelemente 105 und 106 geöffnet. Bildsignale werden zeitweilig in dem Bildaufnahmeelement 105 und 106 während einer kurzen Zeitdauer 116, z.B. lmsec gespeichert, wie in Fig. 24(b) gezeigt ist. Danach werden zu dem in Fig. 24(a) gezeigten Zeitpunkt 117 die Bildsignale, die von den Bildaufnahmeelementen 105 und 106 ausgegeben werden, zu den Speichern 107 und 108 übertragen. An dem Ende der Signalübertragung wird der elektrische Verschluß 103 wieder geöffnet, die Bildaufnahmeelemente 105 und 106 werden belichtet und der Betrieb wiederholt. Bei der in Fig. 23 gezeigten Kamera 101 mit elektrischem Verschluß müssen Bildaufnahmeelemente mit hoher Empfindlichkeit als die Bildaufnahmeelemente 105 und 106 benutzt werden. Das Licht muß intensiver werden, je schneller die Belichtungszeit ist. Das Verwenden des Beleuchtungsapparates 111 bei solch einem Gerät sieht die folgenden Vorteile vor.
Die lichtemittierende Diode kann nämlich mit hoher Geschwindigkeit ein- und ausgeschaltet werden, ein großerer Strom kann durch im Vergleich mit dem kontinuierlichen Antrieb bei unterbrochener Treiberbedingung fließen, daher ist das durch die Diode vorgesehene Licht intensiver. Daher kann zu dem Zeitpunkt der Belichtung der Bildaufnahmeelemente 105 und 106 ausreichendes Licht emittiert werden. Auf diese Weise erfüllt das Belichtungsgerät 111, das lichtemittierende Dioden verwendet, die Anforderungen an die intensive Beleuchtung in einer kurzen Zeitdauer, was für eine Kamera 101 mit elektrischen Verschluß gewünscht wird.
Die Belichtungszeit einer Bildebene der Bildaufnahmeelemente 105 und 106 ist in dem Bereich von ungefähr 33msec bis 0,Smsec. Wenn wir einen Fall annehmen, in dem dreißig Bilder pro Sekunde mit der minimalen Belichtungszeit von lmsec oder 0,5msec aufgenommen werden, ist die Zeit der Beleuchtung nicht mehr als 1/1000 im Vergleich mit der kontinuierlichen Beleuchtung. In diesem Fall leitet eine lichtemittierende Diode, die ungefähr nur 50mA leitet, wenn sie kontinuierlich betrieben wird, mehrere A als Strom bei dem unterbrochenen Betrieb. Daher kann die für die Belichtung notwendige Beleuchtung sichergestellt werden.
Bei dem Bildaufnahmegerät der vorliegenden Erfindung sollte die externe Beleuchtung bevorzugt abgeschnitten werden, da sie Rauschen verursacht. Ein Effekt der Reduzierung der Belichtungszeit ist der, daß die Intensität der externen Beleuchtung relativ niedrig im Vergleich mit der Intensität des Beleuchtungsgerätes wird. Daher wird die von der externen Beleuchtung abgeleitete Reflektionskomponente relativ klein, und folglich wird die Rauschkomponente kleiner und das Signalrauschverhältnis verbessert. Da zusätzlich die Beleuchtung mit der notwendigen Intensität nur vorgesehen wird, wenn sie gebraucht wird, kann der Leistungsverbrauch verringert werden, und weniger Wärme wird erzeugt.
Als ein anderes Beispiel des unterbrochenen Betriebes wird ein Verfahren zum Entfernen reflektierter Komponenten, die von der externen Beleuchtung abgeleitet werden, im folgenden beschrieben.
Fig. 25 zeigt Zeitpunkte zum Treiben des Beleuchtungsgerätes. Bei diesem Beispiel wird die Bildaufnahme zeitgeteilt durchgeführt, wobei zwei Bilder als ein Satz angesehen werden. Die zum Aufnehmen einer Bildebene benötigte Zeit beträgt 33msec z.B., die durch A1 und A2 dargestellt ist. Zu der Zeit der Bildaufnahme A1 ist das Belichtungsgerät eingeschaltet. Zu der Zeit der Bildaufnahme A2 ist das Belichtungsgerät ausgeschaltet. Die zu den Zeiten A1 und A2 aufgenommenen Bilder sind beide durch die externe Beleuchtung beleuchtei. Angenommen, daß die Bedingung der externen Beleuchtung die gleiche zu den Zeiten A1 und A2 ist, kann das Bild, bei dem das Belichtungsgerät eingeschaltet ist, durch Subtrahieren des Bildes zu der Zeit A2 von dem zu der Zeit A1 aufgenommenen Bild extrahiert werden.
Ein Bildverarbeitungsgerät, in dem Merkmalspunkte eines Objektes, das aufzunehmen ist, in Echtzeit extrahiert wird, d.h. mit 30 Bildern/sec, wird im folgenden als eine Anwendung der vorliegenden Erfindung beschrieben. Wenn eine Bewegung einer Person in Echtzeit zu erfassen ist, muß das Verfahren zur Bildaufnahme, das die Extrahierung von Merkmalspunkten erleichtert, ausgewählt werden, wie das Anbringen von Markierungen aus dem Gesicht oder dem Körper oder das Vorsehen von Referenzlicht. Diese Auswahl ist jedoch nicht für die Echtzeiterfassung ausreichend. Der Hochgeschwindigkeitsbetrieb des Bildverarbeitungsgerätes ist wesentlich. Bei der vorliegenden Erfindung können die oben beschriebenen Merkmalspunkte leicht durch die Subtraktionstätigkeit zwischen zwei Bildern extrahiert werden.
Fig. 26A ist ein schematisches Blockschaltbild, das die gesamte Struktur eines Bildverarbeitungsgerätes zeigt, bei dem Merkmalspunkte in Echtzeit durch Einsetzten des Bildaufnahmegerätes der vorliegenden Erfindung erfaßt werden Fig. 26B ist ein spezielles Blockschaltbild des in Fig. 26A gezeigten Bildverarbeitungsgerätes.
Es wird Bezug genommen auf Fig. 26A, R-, G- und B-Bildsignale, die von Nahinfrarotkameras 121 und 122 aufgenommen sind, werden entsprechend an Bildverarbeitungsgeräte 123 und 124 angelegt, darin verarbeitet und an einen Hostcomputer 125 angelegt. Die Bildverarbeitungsgeräte 123 und 124 sind wie in Fig. 26B gezeigt ausgelegt. Das Bildverarbeitungsgerät 123 besteht nämlich im wesentlichen aus einem Modul 130, in dem ein Zeitpunktsignal für Pipelineverarbeitung aus den eingegebenen Signalen gebildet wird. Andere Eingangsmodule 131 und 132 und verschiedene Pipilineprozessormodule 153, 154, 155 und 156, die mit dem Modul 130 verbunden sind, arbeiten parallel zueinander. Die Nahinfrarotkamera 121 weist CCD-Bildaufnahmeelemente 612, 613 und 614 auf, von denen die Bildsignale getrennt an die entsprechenden Module 130 131 und 132 angelegt werden. Die Module 130, 131 und 132 wandeln die Bildsignale in Bildpunktdaten durch eine A/D-Umwandlung synchron zu den Ausgangssignalen von den entsprechenden CCD-Bildaufnahmeelementen 61 2, 613 und 614 um, und die Bildpunktdaten werden aufeinanderfolgend an die Pipilineprozessormodule 133, 134, 135 und 136 über Videobusse angelegt. Jedes der Pipelineprozessormodule 133, 134, 135 und 136 weist eine Mehrzahl von Eingängen auf. Zum Beispiel führt bei einer Subtraktionstätigkeit zwischen zwei Bildern das Pipelineprozessormodul 133 die Subtraktion in B-R und die Schwellenwerttätigkeit aus. Der Pipelineprozessor 134 führt eine Subtraktion B-G und den Schwellenwertvorgang aus. Der Pipilineprozessor 135 nimmt die von dem Pipelineprozessor 133 und 134 bearbeiteten Bildsignale auf, und der Pipelineprozessor 136 berechnet den Schwerpunkt der extrahierten Bildpunkte.
Die berechneten Schwerpunktskoordinaten werden durch einen Zwischenverstärker 138 zu dem Hostcomputer 125 zum Erfassen der Augenfixierung übertragen. Aus diese Weise werden A/D-gewandelte Bildpunktdaten durch eine Mehrzahl von Pipelineprozessormodulen 133-136 bearbeitet, während ein Bild genommen wird. Die zum Bearbeiten eines Bildes benötigte Zeit beträgt 33msec, in der der letzte Bildpunkt genommen wird, plus die Verzögerungszeit bei der Pipelineverarbeitung. Die Eingangsmodule 130, 131 und 132 können das Nehmen des nächsten Bildes sofort dann beginnen, wenn sie den letzten Bildpunkt zu dem Prozessor übertragen haben. Daher kann bei einer Bildverarbeitung, die durch einfach vier Regeln als die Aufgabe der vorliegenden Frfindung (Subtrahierungsvorgang zwischen Bildern) realisiert wird, die Echtzeitverarbeitung mit der Rate von 33/sec mit der Verzögerungszeit von 33msec = α realisiert werden.

Claims

1. Bild aufnahmegerät zum Extrahieren von Merkmalspunkten eines Objektes, mit:

einem Aufnahmeobjektiv (65) zum Aufnehmen eines Bildes des Objektes;

einem ersten Beleuchtungsmittel (61, 115) mit einer Mehrzahl von ersten Lichtquellen (66), die um eine optische Achse des Aufnahmeobjektives (65) vorgesehen sind, wobei jede der ersten Lichtquellen (66) so angeordnet ist, daß ein erster Winkel 0, der durch eine Linie, die jede der ersten Lichtquellen und das Objekt verbindet, und durch eine zweite Linie, die das Zentrum des Aufnahmeobjektives (65) und das Objekt verbindet, gebildet ist, kleiner als ein erster vorgeschriebener Wert θth1 ist;

einem zweiten Beleuchtungsmittel (62, 113) mit einer zweiten Lichtquelle (64), die in einem vorgeschriebenen Abstand von der optischen Achse des Objektives (65) angeordnet ist, wobei die zweite Lichtquelle (64) so angeordnet ist, daß ein zweiter Winkel, der durch eine Linie, der die zweite Lichtquelle (64) und das Objekt verbindet, und eine Linie, die das Zentrum des Objektives (65) und das Objekt verbindet, gebildet ist, nicht kleiner als ein zweiter vorgeschriebener Wert θth2 ist, wobei der erste vorgeschriebene Wert kleiner als der zweite vorgeschriebene Wert ist;

einem optischen System (104; 607, 608, 609) zum Bilden eines Bildes aus von dem Objekt durch das Aufnahmeobjektiv (65) reflektiertem Licht; und

einem Bilderfassungsmittel (105, 106; 112, 113), das auf dem Abbildungspunkt des optischen Systemes vorgesehen ist, zum Erfassen eines gebildeten Bildes; dadurch gekennzeichnet,

daß das optische System (104; 607, 608, 609) das von dem ersten Beleuchtungsmittel (61, 115) erhaltene und dem Objekt reflektierten Licht und das von dem zweiten Beleuchtungsmittel (62, 113) erhaltene und dem Objekt reflektierte Licht trennt und

daß ein differentielles Bild aus den so erhaltenen Bildern gebildet wird.

2. Bildaufnahmegerät nach Anspruch 1, bei dem die Mehrzahl von ersten Lichtquellen (66) und die zweite Lichtquelle (64) lichtemittierende Dioden aufweisen.

3. Bildaufnahmegerät nach Anspruch 1 oder 2, mit:

einem Treibermittel (110, 112, 114) zum Einschalten/Ausschalten des Beleuchtungsmitt eis;

bei dem das Treibermittel (110, 112, 114) ein Mittel zum unterbrochenen Treiben des Beleuchtungsmittels synchron zu dem Zeitpunkt der Erfassung des Biiderfassungsmittels (105, 106; 612, 613), wie es nötig ist, aufweist.

4. Bildaufnahmegerät nach Anspruch 1 oder 2, bei dem sich das Licht der ersten Lichtquelle (66) in der Wellenlänge von der des Lichtes von der zweiten Lichtquelle (64) unterscheidet.