DE112005002395T5

DE112005002395T5 - Sichtlinien-Detektionsverfahren

Info

Publication number: DE112005002395T5
Application number: DE200511002395
Authority: DE
Inventors: Dotan Knaan; Adi Shavit; Dana Shavit; Kazufumi Suzuki; Norio Ichihashi; Akio Wako Takahashi; Akihito Wako Kimata
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-09-29
Filing date: 2005-09-29
Publication date: 2007-09-27
Also published as: WO2006035890A1; US7717561B2; JP2006095008A; US20090015788A1

Abstract

Sichtlinienvektordetektionssystem umfassend:
eine Infrarotlichtquelle zum Beleuchten entweder eines Auges oder eines Gesichts;
eine Kamera zum Aufnehmen entweder des Auges oder des Gesichts; und
ein Computer zur Verarbeitung der aufgenommenen Bilddaten der Kamera zur Berechnung eines Sichtlinienvektors; worin:
der Computer einen wahren Luminanzpunkt und eine Mitte einer Pupille aus den aufgenommenen Bilddaten detektiert, um den Sichtlinienvektor zu errechnen.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Technik zum Erfassen einer Sichtlinie. Insbesondere ist die vorliegende Erfindung auf ein Sichtlinien-Detektionsverfahren und eine Sichtlinien-Detektionsvorrichtung für eine eine Brille tragende Person gerichtet.
Technischer Hintergrund
Herkömmlich sind technische Ideen zum Erfassen von Sichtlinien als Computereingabevorrichtungen entwickelt worden, die für behinderte Personen ausgestaltet sind, die ihre Hände oder ihre Finger nicht frei benutzen können. Auch sind Erfassungen von Sichtlinien als Fahrzeugunterstützungsmittel genutzt worden, während die Sichtlinien von Autofahrern überwacht werden. Jedoch sind herkömmliche Sichtliniendetektionsvorrichtungen ausgestaltet worden, um bestimmte Instrumente an Benutzern anzubringen, und diese technischen Sichtliniendetektionsideen behindern den Benutzer. Im Ergebnis gab es ein solches Problem, dass diese herkömmlichen Sichtliniendetektionsvorrichtungen nicht besonders Benutzerfreundlich sind. Um dieses Problem zu lösen, sind in jüngster Zeit technische Ideen, die Sichtlinien (LOS) detektieren können, unter Verwendung von Augapfelmodellen entwickelt worden.
Für den Fall, dass die Augapfelmodelle benutzt werden, werden korrekte Abstände von Kamerapositionen bis zu Gesichtsoberflächen durch einfache Verfahren in korrekter Weise berechnet, was zu einem Problem führt. Zum Beispiel entspricht die Vorrichtung, die in der japanischen Patentoffenlegungsschrift Nr. Hei-8-297019 beschrieben ist (Sichtlinienrichtungs-Messvorrichtung für Fahrzeugzwecke) (wird nachfolgend als „Patentschrift 1" bezeichnet) einer solchen Vorrichtung zum Detektieren einer Sichtlinie eines Autofahrers, während ein Abstandssensor als Mittel zum Detektieren eines Abstands von einer Position einer Kamera zu einer Gesichtsoberfläche des Fahrers genutzt wird. Als der Abstandssensor wird ein Ultraschallsensor und dergleichen verwendet. Wenn der Ultraschallsensor verwendet wird, treten die folgenden Probleme auf. Die gesamte Sichtliniendetektionsvorrichtung wird komplex; Die Abstandsdetektionspräzision wird verschlechtert, wenn der einfache Sensor verwendet wird; und wenn die Detektionspräzision erhöht wird, dann steigen die Kosten der gesamten Liniendetektionsvorrichtung.
Auch werden in Information Processing Research Report 2001-HI-93, Seiten 47 bis 54 (Sight Line Measuring System based upon Eyeball Shaped Model), und Eighth Image Sensing Symposium, Seiten 307 bis 312, 2002 (Sight Line Measuring Method based upon Eyeball Model) (werden nachfolgend als „Nicht-Patentschriften 1 und 2" bezeichnet) technische Ideen beschrieben, die in der Lage sind, die Richtungen als Sichtlinien (LOS) unter Verwendung von Augapfelmodellen zu detektieren. In den Vorrichtungen dieser Druckschriften muss ein Abstand von einer Kamera (andernfalls einer Punktlichtquelle) bis zu einer Gesichtsoberfläche gemessen werden, damit nahes Infrarotlicht von der Punktlichtquelle zu einer im Auge vorhandenen Hornhaut leuchtet, um die Koordinaten eines Reflektionsbilds zu erfassen („Purkinje-Bild" genannt). Bei diesem Abstandsmessverfahren wird der Abstand auf der Basis eines Fokussierungswerts gemessen, wenn eine Linse der Kamera auf eine solche Position fokussiert wird, dass eine Abmessung der Punktlichtquelle (nämlich die Abmessung des Purkinje-Bilds) auf einem von der Kamera aufgenommenen Bild minimal wird. Jedoch ist es praktisch sehr schwierig, so einzustellen, dass die Abmessung des Purkinje-Bilds korrekt minimal wird. In Folge dessen kann keine hoch präzise Abstandsmessung erwartet werden, sondern die Sichtlinienrichtung enthält durch die Nutzung dieses gemessenen Abstands Fehler, was zu einem anderen Problem führt. Der Anmelder der vorliegenden Erfindung hat bereits die Erfindung eingereicht, welche diese Probleme lösen kann (US Patentanmeldung Nr. 11/078,144 „LINE-OF-SIGHT DETECTING METHOD AND APPARATUS THEREFOR" eingereicht am 11. März 2005) (wird nachfolgend als „Patentschrift 2" bezeichnet).
Offenbarung der Erfindung
Von der Erfindung zu lösende Probleme
Jedoch sind die oben erläuterten herkömmlichen Techniken, die die Augapfelmodelle und die technische Idee anwenden, die in der Patentschrift 2 bestimmt sind, auf Personen abgestellt, die keine Brille tragen, und wenn daher diese herkömmlichen Techniken und diese offenbarte technische Idee direkt auf Personen angewendet wird, die eine Brille tragen, besteht ein Risiko, dass ein großer Fehler auftreten könnte. In anderen Worten, selbst wenn Infrarotlicht als Lichtquelle auf die im Auge enthaltene Hornhaut fällt, um ein Reflektionsbild zu erfassen, dann wird ein Teil des Infrarotlichts auf den Linsen oder Metallbauteilen der Brille reflektiert, so dass eine Mehrzahl von Luminanzpunkten in einem aufgenommenen Bild erscheinen, zusätzlich zu einem Luminanzpunkt, das durch Reflektion des Infrarotlichts auf dem Augapfel erzeugt wird. Auch könnte ein anderes Problem auftreten. Das heißt, Bilder, die durch die Brille hindurch getreten sind, werden abgelenkt, so dass die Pupillenmitten mit den Luminanzpunkten nicht zusammenfallen.
Die vorliegende Erfindung ist gemacht worden, um die oben erläuterten Probleme zu lösen, und hat daher als Aufgabe, ein Sichtlinienvektordetektionssystem vorzusehen, das auch bei einer eine Brille tragenden Person angewendet werden kann.
Mittel zur Lösung der Probleme
Die vorliegende Erfindung hat die unten erwähnten Anordnungen als Mittel zur Lösung der oben beschriebenen Probleme angewendet. Das heißt, ein erstes Sichtlinienvektordetektionssystem umfasst die Merkmale: eine Infrarotlichtquelle zum Beleuchten entweder eines Auges oder eines Gesichts; eine Kamera zum Aufnehmen entweder des Auges oder des Gesichts; und ein Computer zur Verarbeitung der aufgenommenen Bilddaten der Kamera zur Berechnung eines Sichtlinienvektors; worin: der Computer einen wahren Luminanzpunkt und eine Mitte einer Pupille aus den aufgenommenen Bilddaten detektiert, um den Sichtlinienvektor zu errechnen.
Auch hat ein zweites Sichtlinienvektordetektionssystem das Merkmal, dass in dem ersten Sichtlinienvektordetektionssystem die Fotokamera an einer Vorderansicht des Gesichts der aufzunehmenden Person und an einer tieferen Position als der Position des Auges installiert ist.
Auch hat ein drittes Sichtlinienvektordetektionssystem das Merkmal, dass, in dem ersten oder zweiten Sichtlinienvektordetektionssystem, die Infrarotlichtquelle an einer Position installiert ist, die von einer optischen Achse der Fotokamera getrennt ist, derart, dass ein Dunkle-Pupille-Effekt erzeugt wird.
Auch hat ein viertes Sichtlinienvektordetektionssystem das Merkmal, dass, in den ersten bis dritten Sichtlinienvektordetektionssystemen, die Infrarotlichtquelle an einer tieferen Position als die Fotokamera installiert ist.
Auch hat ein fünftes Sichtlinienvektordetektionssystem das Merkmal, dass, in den ersten bis vierten Sichtlinienvektordetektionssystem, die Infrarotlichtquelle an sowohl einer rechten Seite als auch einer linken Seite der optischen Achse der Fotokamera vorgesehen ist.
Auch hat ein sechstes Sichtlinienvektordetektionssystem das Merkmal, dass in dem ersten bis fünften Sichtlinienvektordetektionssystem, der Computer eine Bildverarbeitungseinheit zum Detektieren des wahren Luminanzpunkts und der Mitte der Pupille aus den aufgenommenen Bilddaten sowie eine Recheneinheit zum Errechnen des Sichtlinienvektors enthält; und worin: die Bildverarbeitungseinheit eine derartige Prozessoperation durchführt, dass die Bildverarbeitungseinheit einen Luminanzpunkt, der in der Lage ist, einem vorbestimmten Erfordernis zu genügen, als den wahren Luminanzpunkt unter den Luminanzpunkten, die die Pupillen an benachbarten Stellen aufweisen, bestimmt, eine Mitte der Pupillen errechnet und ferner eine Mitte einer Hornhautkugel unter Verwendung von Daten errechnet, die auf der Basis der Kenntnis der Morphologie erhalten sind.
Auch hat ein siebtes Sichtlinienvektordetektionssystem das Merkmal, dass in dem ersten bis sechsten Sichtlinienvektordetektionssystem, die Recheneinheit die Recheneinheit den Sichtlinienvektor auf der Basis der Mitte der Pupille und der Mitte der Hornhautkugel errechnet.
Auch hat ein achtes Sichtlinienvektordetektionssystem das Merkmal, dass in dem ersten bis siebten Sichtlinienvektordetektionssystem, der Computer ferner eine Vorverarbeitungseinheit zum Vorverarbeiten der aufgenommenen Bilddaten umfasst.
Auch hat ein erstes Sichtlinienvektordetektionsverfahren das Merkmal eines Sichtliniendetektionsverfahrens mit Anwendung eines Sichtlinienvektordetektionssystems, das mit einer Infrarotlichtquelle zum Beleuchten entweder eines Auges oder eines Gesichts, einer Kamera zum Aufnehmen entweder des Auges oder des Gesichts sowie einem Computer zum Verarbeiten aufgenommener Bilddaten der Kamera zur Berechnung eines Sichtlinienvektors ausgestattet ist, umfassend: einen Detektionsschritt zum Detektieren eines wahren Luminanzpunkts und einer Mitte einer Pupille aus den aufgenommenen Bilddaten; und einen Rechenschritt zum Errechnen eines Sichtlinienvektors.
Ein zweites Sichtlinienvektordetektionsverfahren hat das Merkmal, dass, in dem ersten Sichtlinienvektordetektionsverfahren, der Detektionsschritt umfasst: einen Schritt zur Bestimmung eines Luminanzpunkts, der in der Lage ist, einem vorbestimmten Erfordernis zu genügen, als den wahren Luminanzpunkt unter den Luminanzpunkten, die die Pupillen an benachbarten Stellen aufweisen, und zum Errechnen einer Mitte der Pupillen; und einen Schritt zur Errechnung einer Mitte einer Hornhautkugel unter der Verwendung von Daten, die auf der Basis der Kenntnis der Morphologie erhalten sind.
Ein drittes Sichtlinienvektordetektionsverfahren hat das Merkmal, dass, in dem zweiten Sichtlinienvektordetektionsverfahren, der Rechenschritt den Sichtlinienvektor auf der Basis der Mitte der Pupille und der Mitte der Hornhautkugel errechnet.
Ein viertes Sichtlinienvektordetektionsverfahren hat das Merkmal, dass in dem ersten Sichtlinienvektordetektionsverfahren vor dem Detektionsschritt ein Schritt zum Vorverarbeiten der aufgenommenen Bilddaten vorgesehen ist.
Gemäß der vorliegenden Erfindung liegt ein Vorteil darin, dass der Sichtlinienvektor innerhalb eines praktischen Bereichs in Bezug auf einem eine Brille tragenden Benutzer korrekt berechnet werden kann.
Kurzbeschreibung der Zeichnungen
[1] 1 zeigt eine Anordnung einer vorliegenden Ausführungsform (Sichtlinienvektordetektionssystem).
[2] 2A zeigt ein aufgenommenes Bild in dem Fall, wo eine aufzunehmende Person zu einer oberen linken Richtung hin ausgerichtet ist, wenn eine Infrarotlichtquelle an einer Position unterhalb einer Kamera installiert ist; 2B zeigt ein aufgenommenes Bild in dem Fall, wo die aufzunehmende Person zu einer oberen rechten Richtung ausgerichtet ist, wenn die Infrarotlichtquelle an der Position unterhalb der Kamera installiert ist; 2C zeigt ein aufgenommenes Bild in dem Fall, wo die aufzunehmende Person zur unteren linken Richtung hin ausgerichtet ist, wenn die Infrarotlichtquelle an der Position unterhalb der Kamera installiert ist; und 2D zeigt ein aufgenommenes Bild in dem Fall, wo die aufzunehmende Person zu einer unteren rechten Richtung ausgerichtet ist, wenn die Infrarotlichtquelle an der Position unterhalb der Kamera installiert ist.
[3] 3E zeigt ein aufgenommenes Bild in dem Fall, wo die aufzunehmende Person zu einer oberen linken Richtung hin ausgerichtet ist, wenn die Infrarotlichtquelle an der Position oberhalb der Kamera installiert ist; 3F zeigt ein aufgenommenes Bild in dem Fall, wo die aufzunehmende Person zu einer oberen rechten Richtung hin ausgerichtet ist, wenn die Infrarotlichtquelle an der Position oberhalb der Kamera installiert ist; 3G zeigt ein aufgenommenes Bild in dem Fall, wo die aufzunehmende Person zu einer unteren linken Richtung hin ausgerichtet ist, wenn die Infrarotlichtquelle an der Position oberhalb der Kamera installiert ist; und 3H zeigt ein aufgenommenes Bild in dem Fall, wo die aufzunehmende Person zu einer unteren rechten Richtung hin ausgerichtet ist, wenn die Infrarotlichtquelle an der Position oberhalb der Kamera installiert ist.
[4] 4 repräsentiert ein Bild zur Erläuterung einer Extraktion eines Hauptabschnitts.
[5] 5 ist ein Flussdiagramm zur Beschreibung sequenzieller Operationen, die von einer Bildverarbeitungseinheit eines Sichtlinienvektordetektionssystems ausgeführt werden.
[6] 6 ist ein Flussdiagramm zur Erläuterung sequenzieller Operationen zum Erfassen eines wahren Luminanzpunkts.
[7] 7 ist ein Diagramm zum Suchen des wahren Luminanzpunkts.

10: Aufzunehmende Personen
11: Brille
12: Fotokamera
13: Infrarotlichtquelle
14: Kameraachse
15: Computer
20: Brille
22: Linse
24: Iris
25: Pupille
30: Wahrer Luminanzpunkt
31: Falscher Luminanzpunkt
35: Luminanzpunkt
36: Suchbereich

Beste Art zur Ausführung der Erfindung
1 zeigt eine Struktur einer Ausführungsform, in der die vorliegende Erfindung unter besten Bedingungen verkörpert ist. In 1 ist eine aufzunehmende Person 10 z. B. ein User, der einen Personal Computer verwendet, oder ein Autofahrer, und entspricht einem Benutzer, der eine Brille 11 trägt. Eine Fotokamera 12 ist vor der aufzunehmenden Person angeordnet und im wesentlichen in Frontansicht an einer solchen Position, die tiefer ist als eine Höhenposition (horizontale Position) von Augen der aufzunehmenden Person 10. Der Grund für diese Positionierung wird wie folgt angegeben: Das heißt, wenn die Fotokamera 12 an einer anderen Position angeordnet ist, die die gleiche Höhe der Augen hat, oder höher ist als die Höhe der Augen, dann überlappen die Bilder der Augen mit den Bildern von „Augenwimpern". Im Ergebnis besteht ein Risiko, dass die Prozessoperationen dieser Bilder komplex werden (siehe 3E bis 3H).
Eine Lichtquelle 13 verwendet eine Lichtquelle, die aus einer Infrarotlicht emittierenden Diode (LED) aufgebaut ist. Eine Position der Lichtquelle 13 entspricht einer Position, die von einer optischen Achse 14 der Fotokamera 12 getrennt ist, und ist an einer tieferen Position als der Position der Fotokamera 12 angeordnet. In anderen Worten, wenn ein Abstand „d" von 1 klein ist, dann fluktuiert die Luminanz-Helligkeit einer Pupille derart, dass die Pupille unter hellem Zustand oder unter dunklem Zustand aufgenommen wird, und es daher schwierig ist, die Pupille aus einem aufgenommenen Bild zu bestimmen. In Folge dessen ist der Abstand „d" an einer solchen Position angeordnet, dass ein Dunkle-Pupille-Effekt auftritt. Auch ist die Position der Lichtquelle 13 an einer tieferen Position als der Position der Fotokamera 12 angeordnet. Der Grund für diese Positionierung wird wie folgt angegeben: Das heißt, ein „falscher Luminanzpunkt", der von einer Linsenebene der Brille reflektiert wird, wird leicht von einem „wahren Luminanzpunkt" unterschieden. Wenn die Position der Lichtquelle 12 tiefer gelegt wird, dann ist der wahre Luminanzpunkt innerhalb der Pupille auch in einem solchen Fall angeordnet, wo die Augen der aufzunehmenden Person 10 zu einer oberen Richtung und zu einer unteren Richtung ausgerichtet sind, wohingegen der falsche Luminanzpunkt nicht in der Nähe der Pupille erscheint (siehe 2A bis 2D).
2A bis 2D zeigen ein Beispiel von aufgenommenen Bildern in dem Fall, dass die Infrarotlicht emittierenden Dioden 13 an tieferen Positionen als die Fotokamera 12 installiert sind. 2A ist ein aufgenommenes Bild (eine Fotografie) in einem solchen Fall, dass die aufzunehmende Person 11 zu einer oberen linken Richtung ausgerichtet ist; 2B ist ein aufgenommenes Bild (eine Fotografie) in einem solchen Fall, dass die aufzunehmende Person 11 zu einer oberen rechten Richtung ausgerichtet ist; 2C ist ein aufgenommenes Bild (eine Fotografie), in einem solchen Fall, dass die aufzunehmende Person 11 zu einer unteren linken Richtung ausgerichtet ist; und 2D ist ein aufgenommenes Bild (eine Fotografie) in einem solchen Fall, dass die aufzunehmende Person 11 zu einer unteren rechten Richtung ausgerichtet ist. Wie aus den Zeichnungen ersichtlich wird, werden die jeweiligen wahren Luminanzpunkte innerhalb der Pupillen 25 erzeugt, und falsche Luminanzpunkte werden außerhalb der Pupillen 25 erzeugt.
Umgekehrt repräsentieren 3E bis 3H ein Beispiel von aufgenommenen Bildern in dem Fall, dass die Position der Lichtquelle 13 an einer höheren Position als der Position der Fotokamera 12 angeordnet ist. 3E ist ein aufgenommenes Bild (eine Fotografie) in einem solchen Fall, dass die aufzunehmende Person 11 in einer oberen linken Richtung ausgerichtet ist; 3F ist ein aufgenommenes Bild (eine Fotografie) in einem solchen Fall, dass die aufzunehmende Person 11 zu einer oberen rechten Richtung ausgerichtet ist; 3G ist ein aufgenommenes Bild (eine Fotografie) in einem solchen Fall, dass die aufzunehmende Person 11 zu einer unteren linken Richtung ausgerichtet ist; und 3H ist ein aufgenommenes Bild (eine Fotografie) in einem solchen Fall, dass die aufzunehmende Person 11 zu einer unteren rechten Richtung ausgerichtet ist. Wenn die aufzunehmende Person 11 zur oberen Richtung hin ausgerichtet ist, dann erscheinen, wie aus 3E und 3F ersichtlich, falsche Luminanzpunkte in der Nähe der Pupille 25 oder fallen mit der Pupille 25 zusammen, so dass entweder ein wahrer Luminanzpunkt oder die Pupille 25 kaum detektiert werden kann. Wenn die aufzunehmende Person 11 zur unteren Richtung ausgerichtet ist, werden, wie aus 3G und 3H ersichtlich, wahre Luminanzpunkte den Augenwimpern zu stark angenähert. Im Ergebnis gibt es einige Fälle, dass die Pupillen 25 kaum detektiert werden können.
Die Infrarotlicht emittierende Dioden 13 sind an beiden Seiten einer optischen Achse der Kamera vorgesehen. Dieser Grund wird wie folgt angegeben: Das heißt, wenn die Infrarotlicht emittierende Diode 13 an einer Seite der optischen Achse 14 vorgesehen ist (z. B. wenn die Infrarotlicht emittierende Diode 13 an der linken Seite vorgesehen ist) und dabei die aufzunehmende Person 11 zu einer solchen Seite hin ausgerichtet ist (nämlich zur rechten Seite), wo die Licht emittierende Diode 13 nicht vorgesehen ist, dann entsteht ein solches Problem, dass der wahre Luminanzpunkt von der Pupille 24 abweicht.
Ein Computer 15, der mit einem Ausgangsanschluss der Fotokamera 12 verbunden ist, enthält eine Vorverarbeitungseinheit 16, eine Bildverarbeitungseinheit 17 und eine Recheneinheit 18. Die Vorverarbeitungseinheit 16 führt eine Vorverarbeitungsoperation durch, um die Verarbeitungsoperationen der Bilddaten leicht auszuführen, z. B. die Einstellung der Luminanzhelligkeit, Einstellung des Kontrasts, Beseitigung von Rauschen, und dergleichen. Die Bildverarbeitungseinheit 17 detektiert einen wahren Luminanzpunkt in Bezug auf ein erfasstes Bild, führt eine Prozessoperation zur Berechnung einer Pupillenmitte durch und führt ferner eine Prozessoperation zur Berechnung der Mitte einer Hornhautkugel (nicht gezeigt) durch, durch Verwendung bekannter morphologischer Daten. Weil übrigens die Vorverarbeitungseinheit 16 die herkömmliche Technik anwendet und nicht im gesonderten Detail beschrieben ist, wird eine detaillierte Erläuterung davon weggelassen. Da ein Teil der Prozessoperationen, die durch die Bildverarbeitungseinheit 17 ausgeführt werden, mit den in der Patentschrift 2 beschriebenen Inhalten übereinstimmen, werden hauptsächlich die davon abweichenden Punkte beschrieben. Da die Prozessoperationen der Recheneinheit 18 mit den in der Patentschrift 2 beschriebenen Inhalten zusammen fallen, werden die oben beschriebenen Prozessoperationen kurz beschrieben.
4 zeigt ein Beispiel eines aufgenommenen Bilds von Teilen einer Brille 20, die von der aufzunehmenden Person 10 verwendet wird, und das Aufnahmebilddaten entspricht, in denen Hauptpunkte der vorliegenden Erfindung zur Darstellung extrahiert werden. In 4 ist die Brille 11 durch Rahmen 21 und Linsen 22 aufgebaut. Ein rechtes Auge 23R und ein linkes Auge 23L erscheinen innerhalb der Linsen 22. Während die Iris 24 (24R, 24L) innerhalb der weißen Augäpfel 26 (26R, 26L) der Augen 23 (23R, 23L) erscheinen, erscheinen die Pupillen 25 (25R, 25L) angenähert in der Mitte der Iris 24 (24R, 24L). Die Luminanzhelligkeit der Pupillen 25 ist dunkel, im Vergleich zu jener der Iris 24. Auch haben die weißen Augäpfel 26 eine weiße Farbe und haben eine große Luminanzhelligkeit. Die Iris 24 hat eine leicht violette Farbe (oder leicht braune Farbe), und hat eine größere Luminanzhelligkeit als jene der Pupillen 25 und eine geringere Luminanzhelligkeit als jene der weißen Augäpfel 26. Ferner erscheinen wahre Luminanzpunkte (Luminanzpunkte, die einer vorbestimmten Anforderung genügen, werden nämlich dazu benutzt, einen Sichtlinienvektor zu errechnen) innerhalb oder in der Nähe der Pupillen 25, und es erscheinen auch falsche Luminanzpunkte 31, die auf Teilen der Linsen 22 oder Teilen (Metallelementen) der Brille 20 reflektiert werden.
5 und 6 zeigen Flussdiagramme zur Beschreibung sequenzieller Prozessoperationen, die sowohl in der Bildverarbeitungseinheit 17 als auch der Rechnereinheit 18 ausgeführt werden. In 5, in Schritt S1 werden, um die Prozessoperationen des aufgenommenen Bilds leicht auszuführen (4), Vorverarbeitungsoperationen ausgeführt, z. B. eine Einstellung der Luminanzhelligkeit zum insgesamt aufgenommenen Bild; eine Kontrasteinstellung; und die Beseitigung von Rauschen. In Schritt S2 wird ein heller Punkt (oder ein kleiner Bereich), dessen Luminanzhelligkeit größer als oder gleich einem konstanten Wert ist, aus den aufgenommenen Bilddaten erfasst, um als Luminanzpunkt definiert zu werden, und danach werden alle Luminanzpunkte (30, 31) erfasst. In Schritt S3 wird ein wahrer Luminanzpunkt (30) aus den in Schritt S2 erfassten Luminanzpunkten beschrieben. Ein Schritt zum Erfassen eines wahren Luminanzpunkts ist in 6 angegeben, die später im Detail weiter beschrieben wird. In Schritt S4 wird die Mitte der Pupille (25) errechnet. Die Mitte der Pupille wird durch Verwendung eines derartigen Rechenergebnisses errechnet, dass eine Kontur der Pupille berechnet worden ist, wenn der wahre Luminanzpunkt in dem Schritt S2 erfasst wird.
In Schritt S5 wird ein Mittelpunkt der Hornhautkugel (nicht gezeigt) errechnet. Ein Verfahren zu Berechnung der Mitte einer Hornhautkugel ist im Detail in der Patentanmeldung (der Patentschrift 2) beschrieben, die vom vorliegenden Anmelder eingereicht wurde. Auch in dieser Ausführungsform ist genau das gleiche Verfahren angewendet worden. Das heißt, gemäß der in der Morphologie gegebenen Kenntnis sind (1) Abstände, gemessen vom rechten Auge und linken Auge zur Nase, einander gleich; und (2) ist ein Verhältnis eines Abstands zwischen den linken und rechten Augen zu einem Abstand von einem Auge zur Nase ein konstanter Wert (bekannter Wert). Ferner ist (3) ein Abstand zwischen den rechten und linken Augen bekannt; und (4) ist ein zentraler Radius einer Hornhautkugel ein konstanter Wert (bekannt). Auch kann alternativ bestimmt werden, dass eine Brennweite (f) der Kamera 12 und eine Kameraparametermatrix (k) bekannt sind (diese Daten können vor der Benutzung gemessen werden. In Folge dessen kann ein Abstand von der Bildebene der Fotokamera 12 bis zu den Augen (oder der Gesichtsoberfläche) der aufzunehmenden Person 10 auf der Basis dieser Bedingungen errechnet werden. Wenn die Licht emittierenden Punkte der Infrarotlichtquellen 13 ausreichend nahe an der Fotokamera 12 angeordnet sind, können sowohl die Koordinaten des Mittelpunkts der Hornhautkugel als auch die Koordinaten des Mittelpunkts der Pupille 25 durch Ausführung einer hoch präzisen Näherungsberechnung leicht erhalten werden. Um die oben erläuterte Berechnung auszuführen, wird angenommen, dass Änderungen in dem wahren Luminanzpunkt 30 auf dem aufgenommenen Bild und auch in der Mittelposition der Pupille 25 vernachlässigt werden können, während diese Änderungen dadurch hervorgerufen werden, dass die Brille benutzt wird.
In Schritt S6 wird ein Sichtlinienvektor (oder eine Sichtlinienrichtung) auf der Basis der Koordinaten des Mittelpunkts der Pupille 25 und der Koordinaten des Mittelpunkts der Hornhautkugel errechnet, die in Schritt S5 berechnet wurden.
6 zeigt sequenzielle Suchoperationen (ein Flussdiagramm) zum Erfassen eines wahren Luminanzpunkts. Als Erfordernis für einen wahren Luminanzpunkt, wird ein solcher Luminanzpunkt betrachtet, der die nachfolgend erwähnten Bedingungen erfüllen kann: (1) der Luminanzpunkt hat eine Luminanzhelligkeit, die größer als oder gleich einem vorbestimmten Wert ist; (2) die Abmessung des Luminenzpunkts ist kleiner als ein Kreis mit einem vorbestimmten Radius; (3) eine Pupille befindet sich in der Nähe des Luminanzpunkts, oder der Luminanzpunkt befindet sich innerhalb der Pupille; (4) ein Abstand zwischen einem rechten Luminanzpunkt und einem linken Luminanzpunkt ist innerhalb eines vorbestimmten Bereichs definiert. Unter der Annahme, dass die oben beschriebenen Anforderungen (1) und (2) bereits erfüllt worden sind, wird nun in 6 die Betrachtung von sequenziellen Operationen zum obigen Punkt (3) erläutert. In Schritt S11 wird ein solcher Luminanzpunkt, der nun in Betracht gezogen wird, aus einer Liste mehrerer Luminanzpunkte ausgewählt (z. B. den Luminanzpunkten (35a bis 35e von 7). In Schritt S12 werden Bereiche 36 (36a bis 36e), die eine derartige Abmessung haben, dass sie angenähert die Pupille 25 enthalten können, in Bezug auf die gewählten Luminanzpunkte bestimmt. In Schritt S13 wird eine Suchoperation durchgeführt, ob die Pupille 25 innerhalb der Bereiche 36 enthalten ist oder nicht. In diesem Fall ist die Luminanzhelligkeit der Pupille 25 kleiner als oder gleich einem vorbestimmten Wert, nämlich dunkel; ihr Radius befindet sich innerhalb eines vorbestimmten Bereichs; und ihre Form ist im wesentlichen ein Kreis.
In Schritt S14 wird eine Prüfung durchgeführt, ob die Pupille 25 vorhanden ist oder nicht. Falls die Pupille nicht vorhanden ist, wird die Pupille aus der Liste gelöscht (Schritt S15). Die Prüfoperation dazu, ob die Pupille 25 vorhanden ist oder nicht, wird wie folgt ausgeführt: Das heißt, zuerst wird ein dunkler Bereich gesucht, dessen Luminanzhelligkeit gering ist, und dann wird eine Bewertung durchgeführt, ob dieser Bereich ein Kreis ist oder nicht. Um den Kreis auszuwerten, wird eine herkömmliche Technik angewendet. Wenn z. B., während eine Grenze eines Bereichs abgesucht wird, Winkeländerungen in Tangenziallinienvektoren im wesentlichen gleichmäßig sind und ein Endpunkt mit einem Anfangspunkt in Übereinstimmung gebracht wird, dann ist es möglich zu bewerten, dass dieser Bereich ein Kreis ist. Wenn der Bereich als der Kreis gewertet wird, dann wird eine Prüfung durchgeführt, ob sich ein Durchmesser dieses Bereichs innerhalb eines vorbestimmten Bereichs befindet oder nicht. Falls die Pupille 25 vorhanden ist, wird eine andere Prüfung durchgeführt, ob ein nicht berücksichtigter Luminanzpunkt vorhanden ist oder nicht (Schritt S16). Wenn der nicht berücksichtigte Luminanzpunkt vorhanden ist, werden die Prozessoperationen von Schritt S11 bis Schritt S15 wiederholt ausgeführt. In Schritt S17 wird eine Betrachtung durchgeführt, ob andere Erfordernisse (z. B. das oben beschriebene vierte Erfordernis) erfüllt werden können oder nicht, und die Bestimmung eines wahren Luminanzpunkts wird bestätigt.
Während die Ausführungsart der vorliegenden Erfindung auf der Basis der Zeichnungen im Detail beschrieben worden ist, ist der technische Umfang der vorliegenden Erfindung nicht nur darauf beschränkt. Zum Beispiel sind die Erfordernisse zur Bestimmung des wahren Luminanzpunkts nicht nur auf die in der Ausführungsart beschriebenen beschränkt, sondern können alternativ durch andere Ausdrücke bestimmt werden, wenn die Inhalte dieser Ausdrücke im wesentlichen gleich den oben beschriebenen Erfordernissen sind. Obwohl ersichtlich wird, dass die vorliegende Ausführungsart nur auf jene Person beschränkt ist, die Brille trägt, kann die vorliegende Erfindung alternativ auch auf jede andere Person angewendet werden, die keine Brille trägt. In anderen Worten, wenn Luminanzpunkte als ein rechter Luminanzpunkt und ein linker Luminanzpunkt vorhanden sind und wahren Luminanzpunkten entsprechen, dann könnte gewertet werden, dass eine geprüfte Person eine solche Person ist, die keine Brille trägt, und es kann ein Sichtlinienvektor erfasst werden. Umgekehrt kann in einem solchen Fall, dass eine große Anzahl von Luminanzpunkten vorhanden ist, gewertet werden, dass die geprüfte Person eine Person ist, die eine Brille trägt.
Die vorliegende Patentanmeldung ist auf der Basis der japanischen Patentanmeldung (JP-2004-283456), eingereicht am 29. September 2004 angefertigt worden, deren Inhalte unter Bezugnahme hierin aufgenommen werden.
Zusammenfassung
In einem Sichtlinienvektordetektionssystem umfassend: eine Infrarotlichtquelle zum Beleuchten entweder eines Auges oder eines Gesichts; eine Kamera zum Aufnehmen entweder des Auges oder des Gesichts; sowie einen Computer zum Verarbeiten aufgenommener Bilddaten der Kamera, um einen Sichtlinienvektor zu berechnen, wobei der Computer eine Bildverarbeitungseinheit zum Detektieren des wahren Luminanzpunkts und der Mitte der Pupille aus den aufgenommenen Bilddaten sowie eine Recheneinheit zum Errechnen des Sichtlinienvektors enthält; und die Bildverarbeitungseinheit eine derartige Prozessoperation durchführt, dass die Bildverarbeitungseinheit einen Luminanzpunkt, der in der Lage ist, einem vorbestimmten Erfordernis zu genügen, als den wahren Luminanzpunkt unter Luminanzpunkten, die die Pupillen an benachbarten Stellen aufweisen, bestimmt, eine Mitte der Pupillen errechnet und ferner eine Mitte einer Hornhautkugel errechnet.

Claims

Sichtlinienvektordetektionssystem umfassend: eine Infrarotlichtquelle zum Beleuchten entweder eines Auges oder eines Gesichts; eine Kamera zum Aufnehmen entweder des Auges oder des Gesichts; und ein Computer zur Verarbeitung der aufgenommenen Bilddaten der Kamera zur Berechnung eines Sichtlinienvektors; worin: der Computer einen wahren Luminanzpunkt und eine Mitte einer Pupille aus den aufgenommenen Bilddaten detektiert, um den Sichtlinienvektor zu errechnen.
Sichtlinienvektordetektionssystem nach Anspruch 1, worin: die Fotokamera an einer Vorderansicht des Gesichts der aufzunehmenden Person und an einer tieferen Position als der Position des Auges installiert ist.
Sichtlinienvektordetektionssystem nach einem von Anspruch 1 und Anspruch 2, worin: die Infrarotlichtquelle an einer Position installiert ist, die von einer optischen Achse der Fotokamera getrennt ist, derart, dass ein Dunkle-Pupille-Effekt erzeugt wird.
Sichtlinienvektordetektionssystem nach einem von Anspruch 1 und Anspruch 3, worin: die Infrarotlichtquelle an einer tieferen Position als die Fotokamera installiert ist.
Sichtlinienvektordetektionssystem nach einem von Anspruch 1 und Anspruch 4, worin: die Infrarotlichtquelle an sowohl einer rechten Seite als auch einer linken Seite der optischen Achse der Fotokamera vorgesehen ist.
Sichtlinienvektordetektionssystem nach einem von Anspruch 1 und Anspruch 5, worin: der Computer eine Bildverarbeitungseinheit zum Detektieren des wahren Luminanzpunkts und der Mitte der Pupille aus den aufgenommenen Bilddaten sowie eine Recheneinheit zum Errechnen des Sichtlinienvektors enthält; und worin: die Bildverarbeitungseinheit eine derartige Prozessoperation durchführt, dass die Bildverarbeitungseinheit einen Luminanzpunkt, der in der Lage ist, einem vorbestimmten Erfordernis zu genügen, als den wahren Luminanzpunkt unter den Luminanzpunkten, die die Pupillen an benachbarten Stellen aufweisen, bestimmt, eine Mitte der Pupillen errechnet und ferner eine Mitte einer Hornhautkugel unter Verwendung von Daten errechnet, die auf der Basis der Kenntnis der Morphologie erhalten sind.
Sichtlinienvektordetektionssystem nach einem von Anspruch 1 und Anspruch 6, worin: die Recheneinheit den Sichtlinienvektor auf der Basis der Mitte der Pupille und der Mitte der Hornhautkugel errechnet.
Sichtlinienvektordetektionssystem nach einem von Anspruch 1 und Anspruch 7, worin: der Computer ferner eine Vorverarbeitungseinheit zum Vorverarbeiten der aufgenommenen Bilddaten umfasst.
Sichtliniendetektionsverfahren mit Anwendung eines Sichtlinienvektordetektionssystems, das mit einer Infrarotlichtquelle zum Beleuchten entweder eines Auges oder eines Gesichts, einer Kamera zum Aufnehmen entweder des Auges oder des Gesichts sowie einem Computer zum Verarbeiten aufgenommener Bilddaten der Kamera zur Berechnung eines Sichtlinienvektors ausgestattet ist, umfassend: einen Detektionsschritt zum Detektieren eines wahren Luminanzpunkts und einer Mitte einer Pupille aus den aufgenommenen Bilddaten; und einen Rechenschritt zum Errechnen eines Sichtlinienvektors.
Sichtliniendetektionsverfahren nach Anspruch 9, worin der Detektionsschritt umfasst: einen Schritt zur Bestimmung eines Luminanzpunkts, der in der Lage ist, einem vorbestimmten Erfordernis zu genügen, als den wahren Luminanzpunkt unter den Luminanzpunkten, die die Pupillen an benachbarten Stellen aufweisen, und zum Errechnen einer Mitte der Pupillen; und einen Schritt zur Errechnung einer Mitte einer Hornhautkugel unter der Verwendung von Daten, die auf der Basis der Kenntnis der Morphologie erhalten sind.
Sichtliniendetektionsverfahren nach Anspruch 10, worin: der Rechenschritt den Sichtlinienvektor auf der Basis der Mitte der Pupille und der Mitte der Hornhautkugel errechnet.
Sichtliniendetektionsverfahren nach Anspruch 9, worin ein Schritt zur Vorverarbeitung der aufgenommenen Bilddaten vor dem Detektionsschritt vorgesehen ist.