DE112019006700T5

DE112019006700T5 - Vorrichtung zur aufmerksamkeitsbestimmung, system zur aufmerksamkeitsbestimmung, verfahren zur aufmerksamkeitsbestimmung und programm

Info

Publication number: DE112019006700T5
Application number: DE112019006700.1T
Authority: DE
Inventors: Daichi Tsunemichi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2021-09-30
Also published as: JP6972393B2; US20220095972A1; CN113271852A; WO2020152732A1; JPWO2020152732A1

Abstract

Eine Vorrichtung zur Aufmerksamkeitsbestimmung (100) umfasst eine Bildverarbeitungseinheit (20), eine Pupillenabstandberechnungseinheit (30), eine Heterophorie-Erkennungseinheit (40) und eine Aufmerksamkeitsbestimmungseinheit (50). Die Bildverarbeitungseinheit (20) gibt erste Referenzkoordinaten, zweite Referenzkoordinaten, erste Pupillen-Koordinaten und zweite Pupillen-Koordinaten aus. Die Pupillenabstandsberechnungseinheit (30) berechnet mindestens eine Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten. Die Heterophorie-Erkennungseinheit (40) gibt ein Heterophorie-Erkennungsergebnis aus, das einen Zustand eines ersten Augapfels (S1) und eines zweiten Augapfels (S2) angibt. Die Aufmerksamkeitsbestimmungseinheit (50) bestimmt eine Aufmerksamkeit einer Person (H) entsprechend dem Heterophorie-Erkennungsergebnis.

Description

GEBIET DER TECHNIK
Die vorliegende Erfindung betrifft eine Vorrichtung zur Aufmerksamkeitsbestimmung, ein System zur Aufmerksamkeitsbestimmung, ein Verfahren zur Aufmerksamkeitsbestimmung und ein Programm.
STAND DER TECHNIK
Es ist eine Informationsdarstellungsvorrichtung vorgeschlagen worden, die eine ruckartige Augenbewegung auf Grundlage von Aufnahmen des Gesichts einer Person erkennt und ein Aufmerksamkeitsniveau (auch verkürzt als „Aufmerksamkeit“ bezeichnet) der Person auf Grundlage der Häufigkeit des Auftretens ruckartiger Augenbewegungen bestimmt (siehe zum Beispiel Patentliteratur 1).
BEZUGNAHME AUF DEN STAND DER TECHNIK
PATENTLITERATUR
Patentliteratur 1: Veröffentlichungsnr. 11-276461 der japanischen Patentanmeldung
ABRISS DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE AUFGABE
Die in Patentliteratur 1 beschriebene Informationsdarstellungsvorrichtung erkennt eine Sakkade, bei der es sich um eine schnelle Augenbewegung handelt, und bestimmt das Aufmerksamkeitsniveau eines Bedieners auf Grundlage der Häufigkeit des Auftretens der erkannten Sakkade. Um jedoch Bilder einer schnellen Augenbewegung wie der Sakkade zu erfassen, ist eine Kamera erforderlich, die in der Lage ist, Bilder mit einer hohen Bildrate zu erfassen. Dadurch erhöhen sich die Kosten für die Informationsdarstellungsvorrichtung.
Ein Ziel der vorliegenden Erfindung, die geschaffen wurde, um die vorstehend beschriebene Aufgabe zu lösen, besteht darin, die Aufmerksamkeit einer Person zu bestimmen, indem Bilder verwendet werden, die mit niedriger Bildrate erfasst werden.
MITTEL ZUR LÖSUNG DER AUFGABE
Eine Vorrichtung zur Aufmerksamkeitsbestimmung nach einem Aspekt der vorliegenden Erfindung ist eine Vorrichtung zur Aufmerksamkeitsbestimmung unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels einer Person, umfassend:

eine Bildverarbeitungseinheit zur Festsetzung erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild, zur Berechnung erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt, und zur Ausgabe der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten;
eine Pupillenabstandsberechnungseinheit zur Berechnung mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten;
eine Heterophorie-Erkennungseinheit zur Ausgabe eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, indem die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten verwendet werden; und
eine Aufmerksamkeitsbestimmungseinheit zur Bestimmung der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.

Eine Vorrichtung zur Aufmerksamkeitsbestimmung nach einem weiteren Aspekt der vorliegenden Erfindung ist eine Vorrichtung zur Aufmerksamkeitsbestimmung unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels einer Person, umfassend:

eine Bildverarbeitungseinheit zur Festsetzung erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild, zur Berechnung erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt, und zur Ausgabe der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten;
eine Pupillenabstandsberechnungseinheit zur Berechnung mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten;
eine Pupillenabstandskorrektureinheit zur Normierung der mindestens einen Positionskomponente der ersten Pupillen-Koordinaten und der mindestens einen Positionskomponente der zweiten Pupillen-Koordinaten und zur Ausgabe der normierten Werte als Pupillenabstandskorrekturwerte;
eine Heterophorie-Erkennungseinheit zur Ausgabe eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, unter Verwendung der Pupillenabstandskorrekturwerte; und
eine Aufmerksamkeitsbestimmungseinheit zur Bestimmung der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.

Ein System zur Aufmerksamkeitsbestimmung nach einem weiteren Aspekt der vorliegenden Erfindung umfasst die vorstehend beschriebene Vorrichtung zur Aufmerksamkeitsbestimmung.
Ein Verfahren zur Aufmerksamkeitsbestimmung nach einem weiteren Aspekt der vorliegenden Erfindung ist ein Verfahren zur Aufmerksamkeitsbestimmung unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels der Person, umfassend:

Festsetzen erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild;
Berechnen erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt;
Ausgeben der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten;
Berechnen mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten;
Ausgeben eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, indem die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten verwendet werden; und
Bestimmen der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.

Ein Verfahren zur Aufmerksamkeitsbestimmung nach einem weiteren Aspekt der vorliegenden Erfindung ist ein Verfahren zur Aufmerksamkeitsbestimmung unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels der Person, umfassend:

Festsetzen erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild;
Berechnen erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt;
Ausgeben der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten;
Berechnen mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten;
Normieren der mindestens einen Positionskomponente der ersten Pupillen-Koordinaten und der mindestens einen Positionskomponente der zweiten Pupillen-Koordinaten;
Ausgeben der normierten Werte als Pupillenabstandskorrekturwerte;
Ausgeben eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, unter Verwendung der Pupillenabstandskorrekturwerte; und
Bestimmen der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.

Ein Programm nach einem weiteren Aspekt der vorliegenden Erfindung ist ein Programm, das bewirkt, dass ein Computer ein Verfahren zur Aufmerksamkeitsbestimmung ausführt, das die Aufmerksamkeit einer Person unter Verwendung eines erfassten Bildes einschließlich eines ersten Augapfels und eines zweiten Augapfels der Person bestimmt, wobei das Programm bewirkt, dass der Computer ausführt:

WIRKUNG DER ERFINDUNG
Nach der vorliegenden Erfindung kann die Aufmerksamkeit einer Person durch Verwendung von Bildern, die mit niedriger Bildrate erfasst werden, bestimmt werden.
Figurenliste

1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Systems zur Aufmerksamkeitsbestimmung nach einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Flussdiagramm, das ein Beispiel eines Prozesses eines Verfahrens zur Aufmerksamkeitsbestimmung in der ersten Ausführungsform zeigt.
3 ist ein Diagramm, das eine Entsprechungsbeziehung zwischen Positionen eines ersten Augapfels, eines zweiten Augapfels und einer Nase einer Person und Positionen dieser Elemente in einem erfassten Bild darstellt.
4 ist ein Diagramm, das ein Verfahren zur Berechnung eines Pupillenabstands zeigt.
5A bis 5D sind Diagramme, die Beispiele einer Bewegung beider Augen einer Person zeigen.
6A bis 6D sind Diagramme, die Beispiele einer Bewegung nur eines Augapfels der Person, insbesondere einen Zustand der Heterophorie, zeigen.
7A ist ein Diagramm, das ein Beispiel einer Hardware-Konfiguration einer Vorrichtung zur Aufmerksamkeitsbestimmung darstellt.
7B ist ein Diagramm, das ein weiteres Beispiel der Hardware-Konfiguration der Vorrichtung zur Aufmerksamkeitsbestimmung darstellt.
8 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Systems zur Aufmerksamkeitsbestimmung nach einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
9 ist ein Flussdiagramm, das ein Beispiel eines Prozesses eines Verfahrens zur Aufmerksamkeitsbestimmung in der zweiten Ausführungsform zeigt.

WEG ZUR AUSFÜHRUNG DER ERFINDUNG
Erste Ausführungsform
1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Systems zur Aufmerksamkeitsbestimmung 101 nach einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
Das System zur Aufmerksamkeitsbestimmung 101 umfasst eine Bilderfassungseinheit 10 und eine Vorrichtung zur Aufmerksamkeitsbestimmung 100, die ein von der Bilderfassungseinheit 10 erfasstes Bild verwendet und einen ersten Augapfel S1 und einen zweiten Augapfel S2 einer Person H umfasst.
Die Vorrichtung zur Aufmerksamkeitsbestimmung 100 umfasst eine Bildverarbeitungseinheit 20, eine Pupillenabstandberechnungseinheit 30, eine Heterophorie-Erkennungseinheit 40 und eine Aufmerksamkeitsbestimmungseinheit 50. Die Vorrichtung zur Aufmerksamkeitsbestimmung 100 bestimmt die Aufmerksamkeit der Person H unter Verwendung des Bildes, das den ersten Augapfel S1 und den zweiten Augapfel S2 einschließt. Die Vorrichtung zur Aufmerksamkeitsbestimmung 100 kann ferner eine Ausgabevorrichtung 70 umfassen.
Das durch die Bilderfassungseinheit 10 erfasste Bild ist ein Bild, das zum Beispiel das Gesicht der Person H einschließt. Die Bilderfassungseinheit 10 erfasst ein Bild, einschließlich mindestens des ersten Augapfels S1 und des zweiten Augapfels S2 der Person H. Mit anderen Worten ist das von der Bilderfassungseinheit 10 erfasste Bild, das das Gesicht der Person H einschließt, ein Bild, das mindestens den ersten Augapfel S1 und den zweiten Augapfel S2 der Person H einschließt. In dieser Ausführungsform ist der erste Augapfel S1 das rechte Auge der Person H und der zweite Augapfel S2 ist das linke Auge der Person H. Das von der Bilderfassungseinheit 10 erfasste Bild kann ein Standbild oder ein Video mit Bewegtbildern sein.
Normalerweise erfasst die Bilderfassungseinheit 10 ein Bild, das den ersten Augapfel S1, den zweiten Augapfel S2 und eine Nase S3 der Person H einschließt. In diesem Fall ist das von der Bilderfassungseinheit 10 erfasste Bild, das das Gesicht der Person H einschließt, ein Bild, das den ersten Augapfel S1, den zweiten Augapfel S2 und die Nase S3 der Person H einschließt.
Der erste Augapfel S1 und der zweite Augapfel S2 sind Objekte, die einer Bestimmung durch die Aufmerksamkeitsbestimmungseinheit 50 unterzogen werden.
Das von der Bilderfassungseinheit 10 erfasste Bild wird als „erfasstes Bild A1“ bezeichnet. Die Bilderfassungseinheit 10 gibt das erfasste Bild A1 aus. In dieser Ausführungsform erfasst die Bilderfassungseinheit 10 das Bild, das das Gesicht der Person H einschließt, in Abständen oder durchgängig und gibt das erfasste Bild A1 in zeitlichen Abständen oder durchgängig aus.
Die Bilderfassungseinheit 10 kann einen Datenspeicher umfassen, der die erfassten Bilder A1 speichert. In diesem Fall ist die Bilderfassungseinheit 10 in der Lage, die erfassten Bilder A1 im Datenspeicher zu speichern und die erfassten Bilder A1 auszugeben, die im Datenspeicher gespeichert sind.
Die erfassten Bilder A1, die die Bilderfassungseinheit 10 ausgibt, werden an die Bildverarbeitungseinheit 20 weitergegeben.
2 ist ein Flussdiagramm, das ein Beispiel eines Prozesses im vorstehend genannten System zur Aufmerksamkeitsbestimmung 101 zeigt, der ein Verfahren zur Aufmerksamkeitsbestimmung betrifft, um die Aufmerksamkeit der Person H zu bestimmen.
In Schritt ST1 werden erste Referenzkoordinaten in Bezug auf den ersten Augapfel S1 und zweite Referenzkoordinaten in Bezug auf den zweiten Augapfel S2 im erfassten Bild A1 festgesetzt.
In Schritt ST2 werden erste Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille 24 (auch als erste Pupille einer rechten Pupille bezeichnet) des ersten Augapfels S1 im erfassten Bild A1 handelt, und zweite Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille 25 (auch als zweite Pupille einer linken Pupille bezeichnet) des zweiten Augapfels S2 im erfassten Bild A1 handelt, berechnet.
In Schritt ST3 werden die ersten Referenzkoordinaten, die zweiten Referenzkoordinaten, die ersten Pupillen-Koordinaten und die zweiten Pupillen-Koordinaten ausgegeben.
In Schritt ST4 werden mindestens eine Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten berechnet.
In Schritt ST5 wird ein Heterophorie-Erkennungsergebnis ausgegeben, das einen Zustand des ersten Augapfels S1 und des zweiten Augapfels S2 angibt, wobei die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten verwendet werden.
In Schritt ST6 wird die Aufmerksamkeit der Person H entsprechend dem Heterophorie-Erkennungsergebnis bestimmt.
In Schritt ST7 wird ein Aufmerksamkeitszustand E1 ausgegeben.
Das vorstehend beschriebene Verfahren zur Aufmerksamkeitsbestimmung wird weiter unten konkret beschrieben.
Die Bildverarbeitungseinheit 20 erhält das erfasste Bild A1. Die Bildverarbeitungseinheit 20 generiert Ausgabekoordinaten B1 unter Verwendung des erfassten Bildes A1 und gibt die generierten Ausgabekoordinaten B1 aus. Die Ausgabekoordinaten B1 sind Daten, die mindestens einen Satz Koordinaten umfassen, die von der Bildverarbeitungseinheit 20 berechnet werden. Die Ausgabekoordinaten B1 umfassen, zum Beispiel, mindestens einen Satz Referenzkoordinaten, die ersten Pupillen-Koordinaten Re (auch als rechte Pupillen-Koordinaten bezeichnet) und die zweiten Pupillen-Koordinaten Le (auch als linke Pupillen-Koordinaten bezeichnet). Die Ausgabekoordinaten B1 können ferner andere Koordinaten umfassen, etwa die Nasen-Koordinaten Nt.
3 ist ein Diagramm, das eine Entsprechungsbeziehung zwischen Positionen des ersten Augapfels S1, des zweiten Augapfels S2 und der Nase S3 der Person H und Positionen dieser Elemente im erfassten Bild A1 darstellt.
Im rechtwinkligen Koordinatensystem, das in 3 gezeigt ist, stellt eine x-Achsen-Richtung (x-Achse) eine seitliche Richtung im erfassten Bild A1 dar, und eine y-Achsen-Richtung (y-Achse) stellt eine Richtung dar, die senkrecht zur x-Achsen-Richtung ist, das heißt, eine Auf-Ab-Richtung im erfassten Bild A1.
In Schritt ST1 setzt die Bildverarbeitungseinheit 20 mindestens einen Satz Referenzkoordinaten im erfassten Bild fest (d. h. im erfassten Bild A1). In dieser Ausführungsform werden die Referenzkoordinaten in Bezug auf den ersten Augapfel S1 (auch als die ersten Referenzkoordinaten bezeichnet) und die Referenzkoordinaten in Bezug auf den zweiten Augapfel S2 (auch als die zweiten Referenzkoordinaten bezeichnet) im erfassten Bild A1 festgesetzt.
In dieser Ausführungsform wählt die Bildverarbeitungseinheit 20 Koordinaten eines Augeninnenwinkels 26 des ersten Augapfels S1 als Referenzkoordinaten in Bezug auf den ersten Augapfel S1 aus und setzt die Referenzkoordinaten in Bezug auf den ersten Augapfel S1 als erste Augeninnenwinkel-Koordinaten Rc fest. In ähnlicher Weise wählt die Bildverarbeitungseinheit 20 Koordinaten eines Augeninnenwinkels 27 des zweiten Augapfels S2 als Referenzkoordinaten in Bezug auf den zweiten Augapfel S2 aus und setzt die Referenzkoordinaten in Bezug auf den zweiten Augapfel S2 als zweite Augeninnenwinkel-Koordinaten Lc fest.
Zwar werden die ersten Augeninnenwinkel-Koordinaten Rc in dieser Ausführungsform als die Referenzkoordinaten in Bezug auf den ersten Augapfel S1 verwendet, es ist jedoch auch möglich, andere Koordinaten als Referenzkoordinaten in Bezug auf den ersten Augapfel S1 zu verwenden. In ähnlicher Weise werden zwar die zweiten Augeninnenwinkel-Koordinaten Lc in dieser Ausführungsform als die Referenzkoordinaten in Bezug auf den zweiten Augapfel S2 verwendet, es ist jedoch auch möglich, andere Koordinaten als Referenzkoordinaten in Bezug auf den zweiten Augapfel S2 zu verwenden. Es ist auch möglich, dieselben Koordinaten als die Referenzkoordinaten in Bezug auf den ersten Augapfel S1 und den zweiten Augapfel S2 zu verwenden.
Die ersten Augeninnenwinkel-Koordinaten Rc sind die Koordinaten des Augeninnenwinkels 26 des ersten Augapfels S1 im erfassten Bild A1 und die zweiten Augeninnenwinkel-Koordinaten Lc sind die Koordinaten des Augeninnenwinkels 27 des zweiten Augapfels S2 im erfassten Bild A1.
Die ersten Augeninnenwinkel-Koordinaten Rc sind zum Beispiel als Koordinaten (Rex, Rcy) dargestellt und die zweiten Augeninnenwinkel-Koordinaten Lc sind zum Beispiel als Koordinaten (Lcx, Lcy) dargestellt. Rcx stellt die x-Koordinate des Augeninnenwinkels 26, d. h. die Position des Augeninnenwinkels 26 auf der x-Achse dar. Rcy stellt die y-Koordinate des Augeninnenwinkels 26, d. h. die Position des Augeninnenwinkels 26 auf der y-Achse dar. Lcx stellt die x-Koordinate des Augeninnenwinkels 27, d. h. die Position des Augeninnenwinkels 27 auf der x-Achse dar. Lcy stellt die y-Koordinate des Augeninnenwinkels 27, d. h. die Position des Augeninnenwinkels 27 auf der y-Achse dar.
In Schritt ST2 berechnet die Bildverarbeitungseinheit 20 die ersten Pupillen-Koordinaten Re und die zweiten Pupillen-Koordinaten Le. Die ersten Pupillen-Koordinaten Re sind die Koordinaten der Pupille 24 des ersten Augapfels S1 im erfassten Bild A1. Die zweiten Pupillen-Koordinaten Le sind die Koordinaten der Pupille 25 des zweiten Augapfels S2 im erfassten Bild A1. Die Nasen-Koordinaten Nt sind die Koordinaten einer Nasenspitze 28 der Nase S3 im erfassten Bild A1. Die Nasenspitze 28 ist das äußerste Ende der Nase S3 in der y-Achsen-Richtung.
Die ersten Pupillen-Koordinaten Re sind zum Beispiel als Koordinaten (Rex, Rey) dargestellt, die zweiten Pupillen-Koordinaten Le sind zum Beispiel als Koordinaten (Lex, Ley) dargestellt und die Nasen-Koordinaten Nt sind zum Beispiel als Koordinaten (Ntx, Nty) dargestellt. Rex stellt die x-Koordinate der Pupille 24, d. h. die Position der Pupille 24 auf der x-Achse dar. Rey stellt die y-Koordinate der Pupille 24, d. h. die Position der Pupille 24 auf der y-Achse dar. Lex stellt die x-Koordinate der Pupille 25, d. h. die Position der Pupille 25 auf der x-Achse dar. Ley stellt die y-Koordinate der Pupille 25, d. h. die Position der Pupille 25 auf der y-Achse dar. Ntx stellt die x-Koordinate der Nasenspitze 28, d. h. die Position der Nasenspitze 28 auf der x-Achse dar. Nty stellt die y-Koordinate der Nasenspitze 28, d. h. die Position der Nasenspitze 28 auf der y-Achse dar.
In Schritt ST3 gibt die Bildverarbeitungseinheit 20 mindestens einen Satz Pupillen-Koordinaten und mindestens einen Satz Referenzkoordinaten als die Ausgabekoordinaten B1 aus. In dieser Ausführungsform gibt die Bildverarbeitungseinheit 20 die ersten Pupillen-Koordinaten Re, die zweiten Pupillen-Koordinaten Le, die ersten Referenzkoordinaten und die zweiten Referenzkoordinaten aus.
Wenn zum Beispiel die Bildverarbeitungseinheit 20 die ersten Augeninnenwinkel-Koordinaten Rc als die ersten Referenzkoordinaten und die zweiten Augeninnenwinkel-Koordinaten Lc als die zweiten Referenzkoordinaten festsetzt, gibt die Bildverarbeitungseinheit 20 die ersten Pupillen-Koordinaten Re, die zweiten Pupillen-Koordinaten Le, die ersten Augeninnenwinkel-Koordinaten Rc und die zweiten Augeninnenwinkel-Koordinaten Lc als die Ausgabekoordinaten B1 aus. In diesem Fall sind die Ausgabekoordinaten B1 zum Beispiel als eindimensionale Sequenz dargestellt (d. h. B1 = [Rex, Rey, Lex, Ley, Rcx, Rcy, Lcx, Lcy]).
4 ist ein Diagramm, das ein Verfahren zur Berechnung des Pupillenabstands zeigt.
Die Ausgabekoordinaten B1 werden an die Pupillenabstandsberechnungseinheit 30 weitergegeben. Unter Verwendung der Ausgabekoordinaten B1 berechnet die Pupillenabstandsberechnungseinheit 30 einen Pupillenabstand 31 (auch als erster Pupillenabstand bezeichnet), einen Pupillenabstand 32 (auch als zweiter Pupillenabstand bezeichnet), einen Pupillenabstand 33 (auch als dritter Pupillenabstand bezeichnet), einen Pupillenabstand 34 (auch als vierter Pupillenabstand bezeichnet), einen Pupillenabstand 35 (auch als fünfter Pupillenabstand bezeichnet) und einen Pupillenabstand 36 (auch als sechster Pupillenabstand bezeichnet).
Die Pupillenabstandsberechnungseinheit 30 berechnet die Pupillenabstände 31, 32, 33, 34, 35 und 36 in zeitlichen Abständen. Durch die Berechnung werden Zeitreihendaten von der Pupillenabstandsberechnungseinheit 30 erhalten.
Insbesondere berechnet die Pupillenabstandsberechnungseinheit 30 in zeitlichen Abständen mindestens eine Positionskomponente der ersten Pupillen-Koordinaten Re in Bezug auf die ersten Referenzkoordinaten im erfassten Bild A1 und mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten Le in Bezug auf die zweiten Referenzkoordinaten im erfassten Bild A1. In dieser Ausführungsform sind die Positionskomponenten der ersten Pupillen-Koordinaten Re die Pupillenabstände 31, 33 und 35 und die Positionskomponenten der zweiten Pupillen-Koordinaten Le sind die Pupillenabstände 32, 34 und 36.
Der Pupillenabstand 31 ist der Abstand von einer ersten Referenzposition zur Pupille 24. Im erfassten Bild A1 ist der Pupillenabstand 31 der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc als den ersten Referenzkoordinaten zu den ersten Pupillen-Koordinaten Re. In dieser Ausführungsform wird angenommen, dass der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc zu den ersten Pupillen-Koordinaten Re im erfassten Bild A1 R ist.
Der Pupillenabstand 32 ist der Abstand von einer zweiten Referenzposition zur Pupille 25. Im erfassten Bild A1 ist der Pupillenabstand 32 der Abstand von den zweiten Augeninnenwinkel-Koordinaten Lc als den zweiten Referenzkoordinaten zu den zweiten Pupillen-Koordinaten Le. In dieser Ausführungsform wird angenommen, dass der Abstand von den zweiten Augeninnenwinkel-Koordinaten Lc zu den zweiten Pupillen-Koordinaten Le im erfassten Bild A1 L ist.
Der Pupillenabstand 33 ist der Abstand von der ersten Referenzposition zur Pupille 24 in seitlicher Richtung. Im erfassten Bild A1 ist der Pupillenabstand 33 der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc als den ersten Referenzkoordinaten zu den ersten Pupillen-Koordinaten Re in seitlicher Richtung im erfassten Bild A1. In dieser Ausführungsform wird angenommen, dass der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc zu den ersten Pupillen-Koordinaten Re in seitlicher Richtung im erfassten Bild A1 Rh ist.
Der Pupillenabstand 34 ist der Abstand von der zweiten Referenzposition zur Pupille 25 in seitlicher Richtung. Im erfassten Bild A1 ist der Pupillenabstand 34 der Abstand von den zweiten Augeninnenwinkel-Koordinaten Lc als den zweiten Referenzkoordinaten zu den zweiten Pupillen-Koordinaten Le in seitlicher Richtung im erfassten Bild A1. In dieser Ausführungsform wird angenommen, dass der Abstand von den zweiten Augeninnenwinkel-Koordinaten Lc zu den zweiten Pupillen-Koordinaten Le in seitlicher Richtung im erfassten Bild A1 Lh ist.
Der Pupillenabstand 35 ist der Abstand von der ersten Referenzposition zur Pupille 24 in Auf-Ab-Richtung. Im erfassten Bild A1 ist der Pupillenabstand 35 der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc als den ersten Referenzkoordinaten zu den ersten Pupillen-Koordinaten Re in Auf-Ab-Richtung im erfassten Bild A1. In dieser Ausführungsform wird angenommen, dass der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc zu den ersten Pupillen-Koordinaten Re in Auf-Ab-Richtung im erfassten Bild A1 Rv ist.
Der Pupillenabstand 36 ist der Abstand von der zweiten Referenzposition zur Pupille 25 in Auf-Ab-Richtung. Im erfassten Bild A1 ist der Pupillenabstand 36 der Abstand von den zweiten Augeninnenwinkel-Koordinaten Lc als den zweiten Referenzkoordinaten zu den zweiten Pupillen-Koordinaten Le in Auf-Ab-Richtung im erfassten Bild A1. In dieser Ausführungsform wird angenommen, dass der Abstand von den zweiten Augeninnenwinkel-Koordinaten Lc zu den zweiten Pupillen-Koordinaten Le in Auf-Ab-Richtung im erfassten Bild A1 Lv ist.
Wenn die Bildverarbeitungseinheit 20 die ersten Augeninnenwinkel-Koordinaten Rc und die zweiten Augeninnenwinkel-Koordinaten Lc als die ersten Referenzkoordinaten bzw. die zweiten Referenzkoordinaten auswählt, wird der Abstand Rh als |Rcx - Rex| dargestellt, der Abstand Lh wird als | Lcx - Lex| dargestellt, der Abstand Rv wird als |Rcy - Rey| dargestellt und der Abstand Lv wird als |Lcy - Ley| dargestellt.
In diesem Fall wird der Abstand R durch den Ausdruck (1) dargestellt, indem der Abstand Rh und der Abstand Rv verwendet werden, und der Abstand L wird durch den Ausdruck (2) dargestellt, indem der Abstand Lh und der Abstand Lv verwendet werden. $R = \sqrt{R h^{2} + R v^{2}}$
$L = \sqrt{L h^{2} + L v^{2}}$
In Schritt ST4 gibt die Pupillenabstandsberechnungseinheit 30 die berechneten Abstände Rh, Lh, Rv, Lv, R und L als Pupillenabstandsausgabe C1 aus. Die Pupillenabstandsausgabe C1 ist zum Beispiel als eindimensionale Sequenz dargestellt (d. h. C1 = [Rh, Lh, Rv, Lv, R, L]).
Die Pupillenabstandsausgabe C1 wird an die Heterophorie-Erkennungseinheit 40 weitergegeben. Die Heterophorie-Erkennungseinheit 40 berechnet eine Schwankung der Position der Pupille 24 und eine Schwankung der Position der Pupille 25 in einem vorab bestimmten Zeitraum, unter Verwendung mindestens einer Positionskomponente der ersten Pupillen-Koordinaten Re und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten Le. Ferner bestimmt die Heterophorie-Erkennungseinheit 40 die Augapfelbewegung der Person H unter Verwendung eines Ergebnisses aus der Berechnung der Schwankung der Position der Pupille 24 und der Schwankung der Position der Pupille 25.
Mit anderen Worten bestimmt die Heterophorie-Erkennungseinheit 40 die Augapfelbewegung der Person H unter Verwendung der Schwankung der Komponenten der Pupillenabstandsausgabe C1 als Zeitreihendaten. Die Komponenten der Pupillenabstandsausgabe C1 sind die Abstände Rh, Lh, Rv, Lv, R und L.
Insbesondere bestimmt die Heterophorie-Erkennungseinheit 40, unter Verwendung der Komponenten der Pupillenabstandsausgabe C1, ob der Zustand beider Augen der Person H eine Bewegung beider Augen ist (auch als Zustand der Bewegung beider Augen bezeichnet) oder eine Bewegung nur eines Augapfels (z. B. ein Heterophorie-Zustand) der Person H ist. Wenn zum Beispiel sowohl die Schwankung der Position der Pupille 24 als auch die Schwankung der Position der Pupille 25 größer oder gleich einem Schwellenwert oder kleiner oder gleich einem Schwellenwert sind, bestimmt die Heterophorie-Erkennungseinheit 40, dass der Zustand beider Augen der Person H der Zustand der Bewegung beider Augen ist. Wenn hingegen eine, entweder die Schwankung der Position der Pupille 24 oder die Schwankung der Position der Pupille 25, größer oder gleich einem Schwellenwert ist und die andere kleiner als ein Schwellenwert ist, bestimmt die Heterophorie-Erkennungseinheit 40, dass einer, entweder der erste Augapfel S1 oder der zweite Augapfel S2, sich im Heterophorie-Zustand (d. h. in okularer Abweichung) befindet. Die Heterophorie-Erkennungseinheit 40 kann entweder einen Schwellenwert oder zwei oder mehr Schwellenwerte verwenden.
Die Schwankung einer Komponente der Pupillenabstandsausgabe C1 wird zum Beispiel als Varianz dargestellt.
Da die Heterophorie-Erkennungseinheit 40 bei der Bestimmung zwischen dem Zustand der Bewegung beider Augen und dem Heterophorie-Zustand unterscheidet, kann die Aufmerksamkeit der Person H entsprechend dem Ergebnis der Bestimmung zwischen dem Zustand der Bewegung beider Augen und dem Heterophorie-Zustand bestimmt werden.
5A bis 5D sind Diagramme, die Beispiele für die Bewegung beider Augen (d. h. Zustand der Bewegung beider Augen) der Person H zeigen.
5A zeigt einen Zustand okularer Fixierung. Der Zustand okularer Fixierung ist ein Zustand, bei dem der linke und der rechte Augapfel bewegungslos sind, und ein Zustand, in dem die Person H ihren Blick auf ein visuelles Ziel fixiert.
5B ist ein Diagramm, das einen Zustand einer Blickbewegung in seitliche Richtung zeigt.
Zum Beispiel wird, wenn sich der Abstand Rh erhöht und sich der Abstand Lh verringert, bestimmt, dass sich der Blick der Person H nach rechts richtet. Anders herum wird, wenn sich der Abstand Rh verringert und sich der Abstand Lh erhöht, bestimmt, dass sich der Blick der Person H nach links richtet.
5C ist ein Diagramm, das einen Zustand einer Blickbewegung in Auf-Ab-Richtung zeigt.
Zum Beispiel wird, wenn sich der Abstand Rv und der Abstand Lv erhöhen, bestimmt, dass sich der Blick der Person H nach oben richtet. Anders herum wird, wenn sich der Abstand Rv und der Abstand Lv erhöhen, bestimmt, dass sich der Blick der Person H nach unten richtet. Wenn sich der Abstand R und der Abstand L erhöhen, wird bestimmt, dass die Person H in eine schräge Richtung blickt.
5D ist ein Diagramm, das einen Zustand einer Konvergenzbewegung zeigt.
Die Konvergenzbewegung ist eine Bewegung, bei der sich beide Augen zur Nase bewegen. Das heißt, der Zustand der Konvergenzbewegung ist ein Zustand, in dem beide Augen der Person H die Konvergenzbewegung ausführen. Wenn sich zum Beispiel der Abstand Rh und der Abstand Lh verringern, wird der Zustand beider Augen der Person H als Zustand der Konvergenzbewegung bestimmt.
Der Zustand der Bewegung beider Augen der Person H ist nicht auf die in den 5A bis 5D dargestellten Beispiele beschränkt. Wenn sich zum Beispiel der Abstand Rh und der Abstand Lh erhöhen, wird bestimmt, dass beide Augen der Person H eine Divergenzbewegung ausführen. Die Divergenzbewegung ist eine Bewegung, bei der sich beide Augen in Richtung der Ohren bewegen.
6A bis 6D sind Diagramme, die Beispiele einer Bewegung nur eines Augapfels der Person H, insbesondere den Zustand der Heterophorie, zeigen.
Grundsätzlich gibt es hinsichtlich der Augenstellung des Menschen eine Stellung des binokularen Sehens, eine fusionsfreie Stellung, eine physiologische Ruhelage und eine absolute Ruhelage. In der Stellung des binokularen Sehens sind äußere und innere Augenmuskeln beansprucht, um das binokulare Sehen umzusetzen. In der fusionsfreien Stellung fällt die fusionale Konvergenz zur Fusion der Seheindrücke des linken und rechten Augapfels weg. Die physiologische Ruhelage tritt beispielsweise im Tiefschlaf auf, in dem der Stimulus, den die Augenmuskeln erhalten, auf ein Minimum reduziert ist. Die absolute Ruhelage tritt beispielsweise nach dem Tod ein, wenn die Augenmuskeln keinerlei Stimulus mehr erhalten.
Heterophorie bedeutet eine potentiell fusionsfreie Stellung, obwohl es in der Regel ein binokulares Sehen ist, indem die Augenmuskeln beansprucht werden, das heißt ein Zustand, der sich temporär der fusionsfreien Stellung annähert, wenn die Beanspruchung der Augenmuskeln unzureichend wird. Wenn die fusionale Konvergenz ausgehend vom Zustand, in dem das binokulare Sehen funktioniert, schrittweise verloren geht, tritt die okulare Abweichung in einem Auge als Heterophorie auf, bei der die Richtung des Blicks von Person zu Person unterschiedlich ist.
Wenn zum Beispiel ein Varianzwert σr, bei dem es sich um den Varianzwert des Abstands R handelt, kleiner ist als ein Schwellenwert Tr und ein Varianzwert σI, bei dem es sich um den Varianzwert des Abstands L handelt, größer oder gleich TI ist, kann die Heterophorie-Erkennungseinheit 40 bestimmen, dass sich die Person H (d. h. der erste Augapfel S1 und der zweite Augapfel S2) in einem der Heterophorie-Zustände befindet, die in 6A bis 6D abgebildet sind.
6A zeigt einen exophorischen Zustand. Der exophorische Zustand ist ein Zustand, in dem eine, entweder die Pupille des ersten Augapfels S1 oder die Pupille des zweiten Augapfels S2, in Richtung des Ohrs gerichtet ist. Wenn zum Beispiel der Abstand Rh gleich bleibt und sich der Abstand Lh erhöht, wie in 6A gezeigt, wird bestimmt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im exophorischen Zustand befinden. In ähnlicher Weise wird bestimmt, wenn sich der Abstand Rh erhöht und der Abstand Lh gleich bleibt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im exophorischen Zustand befinden.
6B zeigt einen esophorischen Zustand. Der esophorische Zustand ist ein Zustand, in dem eine, entweder die Pupille des ersten Augapfels S1 oder die Pupille des zweiten Augapfels S2, in Richtung des Nasenflügels gerichtet ist. Wenn zum Beispiel der Abstand Rh gleich bleibt und sich der Abstand Lh verringert, wie in 6B gezeigt, wird bestimmt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im esophorischen Zustand befinden. In ähnlicher Weise wird bestimmt, wenn sich der Abstand Rh verringert und der Abstand Lh gleich bleibt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im esophorischen Zustand befinden.
6C zeigt einen anaphorischen Zustand. Der anaphorische Zustand ist ein Zustand, in dem eine, entweder die Pupille des ersten Augapfels S1 oder die Pupille des zweiten Augapfels S2, nach oben gerichtet ist. Wenn zum Beispiel der Abstand Rv gleich bleibt und sich der Abstand Lv erhöht, wie in 6C gezeigt, wird bestimmt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im anaphorischen Zustand befinden. In ähnlicher Weise wird bestimmt, wenn sich der Abstand Rv erhöht und der Abstand Lv gleich bleibt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im anaphorischen Zustand befinden.
6D zeigt einen hypophorischen Zustand. Der hypophorische Zustand ist ein Zustand, in dem eine, entweder die Pupille des ersten Augapfels S1 oder die Pupille des zweiten Augapfels S2, nach unten gerichtet ist. Wenn zum Beispiel der Abstand Rv gleich bleibt und sich der Abstand Lv verringert, wie in 6D gezeigt, wird bestimmt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im hypophorischen Zustand befinden. In ähnlicher Weise wird bestimmt, wenn sich der Abstand Rv verringert und der Abstand Lv gleich bleibt, dass sich der erste Augapfel S1 und der zweite Augapfel S2 im hypophorischen Zustand befinden.
Der heterophorische Zustand ist nicht auf die in den 6A bis 6D dargestellten Beispiele beschränkt. Wenn zum Beispiel einer von dem exophorischen Zustand und dem esophorischen Zustand und einer von dem anaphorischen Zustand und dem hypophorischen Zustand gleichzeitig auftreten, wird für den ersten Augapfel S1 und den zweiten Augapfel S2 bestimmt, dass sie in einer schrägen Richtung heterophorisch sind.
Wenn die Heterophorie-Erkennungseinheit 40 den Zustand beider Augen der Person H bestimmt, berechnet die Heterophorie-Erkennungseinheit 40 die Varianzwerte σrh, σlh, σrv, σlv, σr und σl der Komponenten, die in der Pupillenabstandsausgabe C1 enthalten sind, zum Beispiel unter Verwendung von Zeitreihendaten. In diesem Fall sind die Zeitreihendaten die Pupillenabstandsausgabe C1, die in zeitlichen Abständen an die Heterophorie-Erkennungseinheit 40 weitergegeben wird.
Der Varianzwert σrh ist der Varianzwert des Abstands Rh, der in einem vorab festgelegten Zeitraum an die Heterophorie-Erkennungseinheit 40 weitergegeben wird. Der Varianzwert σlh ist der Varianzwert des Abstands Lh, der in dem vorab festgelegten Zeitraum an die Heterophorie-Erkennungseinheit 40 weitergegeben wird. Der Varianzwert σrv ist der Varianzwert des Abstands Rv, der in dem vorab festgelegten Zeitraum an die Heterophorie-Erkennungseinheit 40 weitergegeben wird. Der Varianzwert σlv ist der Varianzwert des Abstands Lv, der in dem vorab festgelegten Zeitraum an die Heterophorie-Erkennungseinheit 40 weitergegeben wird. Der Varianzwert σr ist der Varianzwert des Abstands R, der in dem vorab festgelegten Zeitraum an die Heterophorie-Erkennungseinheit 40 weitergegeben wird. Der Varianzwert σl ist der Varianzwert des Abstands L, der in dem vorab festgelegten Zeitraum an die Heterophorie-Erkennungseinheit 40 weitergegeben wird.
Die Heterophorie-Erkennungseinheit 40 vergleicht den Varianzwert jeder Komponente mit einem vorab festgelegten Schwellenwert (auch als „Schwankungsschwellenwert“ bezeichnet), der dem Varianzwert entspricht.
Der Schwellenwert, der dem Varianzwert σrh entspricht, ist ein Schwellenwert Trh. Der Schwellenwert, der dem Varianzwert σlh entspricht, ist ein Schwellenwert Tlh. Der Schwellenwert, der dem Varianzwert σrv entspricht, ist ein Schwellenwert Trv. Der Schwellenwert, der dem Varianzwert σlv entspricht, ist ein Schwellenwert Tlv. Der Schwellenwert, der dem Varianzwert σr entspricht, ist ein Schwellenwert Tr. Der Schwellenwert, der dem Varianzwert σl entspricht, ist ein Schwellenwert TI.
Jeder der Schwellenwerte Trh, Tlh, Trv, Tlv, Tr und TI ist ein vorab bestimmter Wert. Als jeweiligen Schwellenwert ist es möglich, den Varianzwert jeder Komponente, die in der Pupillenabstandsausgabe C1 in einem vorab festgelegten Zeitraum enthalten ist, oder einen Wert zu verwenden, der dadurch erhalten wird, dass ein aus Zeitreihendaten gewonnener Varianzwert im Zustand okularer Fixierung mit einem Gewicht gewichtet wird.
Zum Beispiel bestimmt die Heterophorie-Erkennungseinheit 40, ob Daten in Bezug auf den ersten Augapfel S1 eine erste Bedingung erfüllen (d. h. σrh < Trh, σrv < Trv und σr < Tr), und bestimmt, ob Daten in Bezug auf den zweiten Augapfel S2 eine zweite Bedingung erfüllen (d. h. σlh < Tlh, σlv < Tlv und σl < TI).
Wenn die erste Bedingung (d. h. σrh < Trh, σrv < Trv und σr < Tr) erfüllt ist, bestimmt die Heterophorie-Erkennungseinheit 40, dass sich der erste Augapfel S1 der Person H im Zustand okularer Fixierung befindet.
Wenn hingegen die erste Bedingung nicht erfüllt ist, bestimmt die Heterophorie-Erkennungseinheit 40, dass der erste Augapfel S1 der Person H nicht im Zustand okularer Fixierung ist. Das heißt, dass die Heterophorie-Erkennungseinheit 40 bestimmt, dass der erste Augapfel S1 sich in eine Richtung bewegt.
Wenn die zweite Bedingung (d. h. σlh < Tlh, σlv < Tlv und σl < TI) erfüllt ist, bestimmt die Heterophorie-Erkennungseinheit 40, dass sich der zweite Augapfel S2 der Person H im Zustand okularer Fixierung befindet.
Wenn hingegen die zweite Bedingung nicht erfüllt ist, bestimmt die Heterophorie-Erkennungseinheit 40, dass der erste Augapfel S1 der Person H nicht im Zustand okularer Fixierung ist. Das heißt, dass die Heterophorie-Erkennungseinheit 40 bestimmt, dass der zweite Augapfel S2 sich in eine Richtung bewegt.
Wenn die Daten in Bezug auf den ersten Augapfel S1 und den zweiten Augapfel S2 nicht sowohl die ersten Bedingung als auch die zweite Bedingung erfüllen, bestimmt die Heterophorie-Erkennungseinheit 40, dass der erste Augapfel S1 und der zweite Augapfel S2 eine Bewegung beider Augen ausführen, etwa eine Blickbewegung in Auf-Ab-Richtung, eine Blickbewegung in seitliche Richtung, eine Konvergenzbewegung oder eine Divergenzbewegung. Mit anderen Worten bestimmt, wenn die Daten in Bezug auf den ersten Augapfel S1 und den zweiten Augapfel S2 nicht sowohl die erste Bedingung als auch die zweite Bedingung erfüllen, die Heterophorie-Erkennungseinheit 40, dass der Zustand des ersten Augapfels S1 und des zweiten Augapfels S2 der Zustand der Bewegung beider Augen ist.
Wenn die Daten in Bezug auf den ersten Augapfel S1 und den zweiten Augapfel S2 nur eine, entweder die erste Bedingung oder die zweite Bedingung, erfüllen, bestimmt die Heterophorie-Erkennungseinheit 40, dass die okulare Abweichung eines Auges der Person H stattfindet. In diesem Fall bestimmt die Heterophorie-Erkennungseinheit 40, dass der Zustand der Person H der heterophore Zustand ist. Mit anderen Worten bestimmt die Heterophorie-Erkennungseinheit 40, dass einer, entweder der erste Augapfel S1 oder der zweite Augapfel S2, im heterophoren Zustand ist.
Indem das Verhalten beider Augen der Person H bestimmt wird, ist es möglich zu bestimmen, ob der erste Augapfel S1 und der zweite Augapfel S2 im Zustand der Bewegung beider Augen sind, oder ob einer, entweder der erste Augapfel S1 oder der zweite Augapfel S2, im heterophoren Zustand ist.
Die Heterophorie-Erkennungseinheit 40 muss nur bestimmen, ob der erste Augapfel S1 und der zweite Augapfel S2 im Zustand der Bewegung beider Augen sind, oder ob einer, entweder der erste Augapfel S1 oder der zweite Augapfel S2, im heterophoren Zustand ist. Das vorstehend beschriebene Bestimmungsverfahren der Heterophorie-Erkennungseinheit 40 ist nur ein Beispiel und es können verschiedene Bestimmungsbedingungen miteinander kombiniert werden.
In Schritt ST5 gibt die Heterophorie-Erkennungseinheit 40 das Ergebnis der Bestimmung als ein Heterophorie-Erkennungsergebnis D1 aus. Das Heterophorie-Erkennungsergebnis D1 gibt den Zustand des ersten Augapfels S1 und des zweiten Augapfels S2 an. Zum Beispiel gibt das Heterophorie-Erkennungsergebnis D1 an, ob der erste Augapfel S1 und der zweite Augapfel S2 im Zustand der Bewegung beider Augen sind oder ob einer, entweder der erste Augapfel S1 oder der zweite Augapfel S2, im heterophoren Zustand ist.
Das Heterophorie-Erkennungsergebnis D1 wird an die Aufmerksamkeitsbestimmungseinheit 50 weitergegeben. In Schritt ST6 bestimmt die Aufmerksamkeitsbestimmungseinheit 50 die Aufmerksamkeit der Person H entsprechend dem Heterophorie-Erkennungsergebnis D1 und generiert das Ergebnis der Bestimmung als den Aufmerksamkeitszustand E1.
Der Aufmerksamkeitszustand E1 ist zum Beispiel ein Zustand der Aufmerksamkeitsabnahme oder ein Zustand des Haltens der Aufmerksamkeit. In diesem Fall ist der Zustand der Aufmerksamkeitsabnahme ein Zustand, in dem die Aufmerksamkeit der Person H niedrig ist, und der Zustand des Haltens der Aufmerksamkeit ist ein Zustand, in dem die Aufmerksamkeit der Person H hoch ist.
Wenn zum Beispiel das Heterophorie-Erkennungsergebnis D1 den Zustand der Bewegung beider Augen angibt, bestimmt die Aufmerksamkeitsbestimmungseinheit 50, dass die Person H im Zustand des Haltens der Aufmerksamkeit ist, und generiert den Aufmerksamkeitszustand E1 als ein Signal, das den Zustand des Haltens der Aufmerksamkeit angibt. Wenn hingegen zum Beispiel das Heterophorie-Erkennungsergebnis D1 den heterophoren Zustand angibt, bestimmt die Aufmerksamkeitsbestimmungseinheit 50, dass die Person H im Zustand der Aufmerksamkeitsabnahme ist, und generiert den Aufmerksamkeitszustand E1 als ein Signal, das den Zustand der Aufmerksamkeitsabnahme angibt.
In Schritt ST7 gibt die Aufmerksamkeitsbestimmungseinheit 50 den Aufmerksamkeitszustand E1 aus. Der Aufmerksamkeitszustand E1 wird an die Ausgabevorrichtung 70, zum Beispiel einen Monitor, ein Headup-Display, einen Lautsprecher oder Vibrator, weitergegeben. Je nach Aufmerksamkeitszustand E1 gibt die Ausgabevorrichtung 70 mindestens eins von zum Beispiel einem Bild (z. B. Standbild oder Bewegtbild), Audio oder einer Vibration aus. Wenn der Aufmerksamkeitszustand E1 nicht der Zustand der Aufmerksamkeitsabnahme ist, muss die Ausgabevorrichtung 70 nichts ausgeben.
7A ist ein Diagramm, das ein Beispiel einer Hardware-Konfiguration der Vorrichtung zur Aufmerksamkeitsbestimmung 100 darstellt.
7B ist ein Diagramm, das ein weiteres Beispiel der Hardware-Konfiguration der Vorrichtung zur Aufmerksamkeitsbestimmung 100 darstellt.
Die Vorrichtung zur Aufmerksamkeitsbestimmung 100 besteht aus mindestens einem Prozessor 108a und mindestens einem Datenspeicher 108b, zum Beispiel. Der Prozessor 108a ist zum Beispiel eine zentrale Verarbeitungseinheit (CPU), die ein Programm ausführt, das im Datenspeicher 108b gespeichert ist. In diesem Fall sind die Funktionen der Vorrichtung zur Aufmerksamkeitsbestimmung 100 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software und die Firmware können im Datenspeicher 108b als Programme gespeichert sein. Bei dieser Konfiguration wird ein Programm zur Implementierung der Funktionen der Vorrichtung zur Aufmerksamkeitsbestimmung 100 (z. B. das Verfahren zur Aufmerksamkeitsbestimmung, das in dieser Ausführungsform beschrieben ist) durch einen Computer ausgeführt.
Der Datenspeicher 108b als computerlesbares Speichermedium ist zum Beispiel ein flüchtiger Speicher, ein nicht flüchtiger Speicher oder eine Kombination aus einem flüchtigen und einem nichtflüchtigen Speicher wie ein RAM (Random Access Memory) und ein ROM (Read Only Memory).
Die Vorrichtung zur Aufmerksamkeitsbestimmung 100 kann auch aus einer Verarbeitungsschaltkreisanordnung 108c als dedizierte Hardware bestehen, etwa einem einzelnen Schaltkreis oder einer Schaltkreis-Kombination. In diesem Fall sind die Funktionen der Vorrichtung zur Aufmerksamkeitsbestimmung 100 durch die Verarbeitungsschaltkreisanordnung 108c implementiert.
Wie vorstehend beschrieben erkennt die Vorrichtung zur Aufmerksamkeitsbestimmung 100 in dieser ersten Ausführungsform, ob die okulare Abweichung bei der Person H auftritt. Auf diese Weise ist die Vorrichtung zur Aufmerksamkeitsbestimmung 100 in der Lage, die Aufmerksamkeit durch Bilder, die mit niedriger Bildrate aufgenommen werden, zu bestimmen. Entsprechend benötigt die Vorrichtung zur Aufmerksamkeitsbestimmung 100 keine CPU mit hoher Verarbeitungsleistung im Vergleich zur Vorrichtung, die die Sakkade, also eine schnelle Augenbewegung, erkennt. Folglich lassen sich die Herstellungskosten der Vorrichtung zur Aufmerksamkeitsbestimmung 100 niedriger halten.
Das System zur Aufmerksamkeitsbestimmung 101 nach der ersten Ausführungsform umfasst die Vorrichtung zur Aufmerksamkeitsbestimmung 100. Entsprechend sind die Vorteile des Systems zur Aufmerksamkeitsbestimmung 101 dieselben wie die vorstehend genannten Vorteile der Vorrichtung zur Aufmerksamkeitsbestimmung 100.
Zweite Ausführungsform
8 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Systems zur Aufmerksamkeitsbestimmung 201 nach einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
9 ist ein Flussdiagramm, das ein Beispiel eines Prozesses im vorstehend genannten System zur Aufmerksamkeitsbestimmung 201 zeigt, der ein Verfahren zur Aufmerksamkeitsbestimmung betrifft, um die Aufmerksamkeit einer Person H zu bestimmen.
In Schritt ST1 werden die ersten Referenzkoordinaten in Bezug auf den ersten Augapfel S1 und die zweiten Referenzkoordinaten in Bezug auf den zweiten Augapfel S2 im erfassten Bild A1 festgesetzt.
In Schritt ST2 werden die ersten Pupillen-Koordinaten, bei denen es sich um die Koordinaten der Pupille des ersten Augapfels S1 im erfassten Bild A1 handelt, und die zweiten Pupillen-Koordinaten, bei denen es sich um die Koordinaten der Pupille des zweiten Augapfels S2 im erfassten Bild A1 handelt, berechnet.
In Schritt ST3 werden die ersten Referenzkoordinaten, die zweiten Referenzkoordinaten, die ersten Pupillen-Koordinaten und die zweiten Pupillen-Koordinaten ausgegeben.
In Schritt ST4 werden mindestens eine Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten berechnet.
In Schritt ST5 werden die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten normiert.
In Schritt ST6 werden die normierten Werte als Pupillenabstandskorrekturwerte ausgegeben.
In Schritt ST7 wird das Heterophorie-Erkennungsergebnis, das den Zustand des ersten Augapfels S1 und des zweiten Augapfels S2 angibt, unter Verwendung der Pupillenabstandskorrekturwerte ausgegeben.
In Schritt ST8 wird die Aufmerksamkeit der Person H entsprechend dem Heterophorie-Erkennungsergebnis bestimmt.
In Schritt ST9 wird der Aufmerksamkeitszustand E1 ausgegeben.
In der zweiten Ausführungsform werden in der Hauptsache Konfigurationen und Abläufe beschrieben, die von denen der ersten Ausführungsform abweichen.
Das System zur Aufmerksamkeitsbestimmung 201 nach der zweiten Ausführungsform umfasst eine Vorrichtung zur Aufmerksamkeitsbestimmung 200 anstelle der Vorrichtung zur Aufmerksamkeitsbestimmung 100. In der zweiten Ausführungsform verwendet die Vorrichtung zur Aufmerksamkeitsbestimmung 200 Bilder, einschließlich des ersten Augapfels S1, des zweiten Augapfels S2 und der Nase S3 der Person H, die von der Bilderfassungseinheit 10 erfasst werden.
Die Vorrichtung zur Aufmerksamkeitsbestimmung 200 umfasst die Bilderfassungseinheit 10, die Bildverarbeitungseinheit 20, die Pupillenabstandsberechnungseinheit 30, die Heterophorie-Erkennungseinheit 40, die Aufmerksamkeitsbestimmungseinheit 50 und eine Pupillenabstandskorrektureinheit 60. Anders ausgedrückt umfasst die Vorrichtung zur Aufmerksamkeitsbestimmung 200 nach der zweiten Ausführungsform die Pupillenabstandskorrektureinheit 60 zusätzlich zur Bilderfassungseinheit 10, Bildverarbeitungseinheit 20, Pupillenabstandsberechnungseinheit 30, Heterophorie-Erkennungseinheit 40 und Aufmerksamkeitsbestimmungseinheit 50, die in der ersten Ausführungsform beschrieben sind. Die Vorrichtung zur Aufmerksamkeitsbestimmung 200 kann ferner die Ausgabevorrichtung 70 umfassen.
Die Vorrichtung zur Aufmerksamkeitsbestimmung 200 bestimmt die Aufmerksamkeit der Person H unter Verwendung der Bilder, die den ersten Augapfel S1, den zweiten Augapfel S2 und die Nase S3 einschließen.
Die Hardware-Konfiguration der Vorrichtung zur Aufmerksamkeitsbestimmung 200 kann dieselbe sein wie die in der ersten Ausführungsform beschriebene Hardware-Konfiguration. In diesem Fall ist die Hardware-Konfiguration der Vorrichtung zur Aufmerksamkeitsbestimmung 200 die in 7A oder 7B gezeigte Hardware-Konfiguration.
In Schritt ST2 berechnet die Bildverarbeitungseinheit 20 ferner die ersten Augeninnenwinkel-Koordinaten Rc des ersten Augapfels S1, die zweiten Augeninnenwinkel-Koordinaten Lc des zweiten Augapfels S2 und der Nasenkoordinaten Nt, zusätzlich zu den ersten Pupillen-Koordinaten Re und den zweiten Pupillen-Koordinaten Le.
In Schritt ST3 gibt die Bildverarbeitungseinheit 20 mindestens einen Satz Pupillen-Koordinaten, die Nasen-Koordinaten Nt und mindestens einen Satz Referenzkoordinaten als Ausgabekoordinaten B2 aus. In dieser Ausführungsform gibt die Bildverarbeitungseinheit 20 die ersten Pupillen-Koordinaten Re, die zweiten Pupillen-Koordinaten Le, die Nasen-Koordinaten Nt, die ersten Referenzkoordinaten und die zweiten Referenzkoordinaten als die Ausgabekoordinaten B2 aus.
Wenn zum Beispiel die Bildverarbeitungseinheit 20 die ersten Augeninnenwinkel-Koordinaten Rc als die ersten Referenzkoordinaten und die zweiten Augeninnenwinkel-Koordinaten Lc als die zweiten Referenzkoordinaten festsetzt, ähnlich wie in der ersten Ausführungsform, gibt die Bildverarbeitungseinheit 20 die ersten Pupillen-Koordinaten Re, die zweiten Pupillen-Koordinaten Le, die Nasen-Koordinaten Nt, die ersten Augeninnenwinkel-Koordinaten Rc und die zweiten Augeninnenwinkel-Koordinaten Lc als die Ausgabekoordinaten B2 aus. In diesem Fall sind die Ausgabekoordinaten B2 zum Beispiel als eindimensionale Sequenz dargestellt (d. h. B2 = [Rex, Rey, Lex, Ley, Rcx, Rcy, Lcx, Lcy, Ntx, Nty]).
Die Ausgabekoordinaten B2 werden an die Pupillenabstandsberechnungseinheit 30 weitergegeben. In Schritt ST4 berechnet die Pupillenabstandsberechnungseinheit 30, unter Verwendung der Ausgabekoordinaten B2, in zeitlichen Abständen einen Augeninnenwinkelabstand 37 und einen Nasenstegabstand 38 zusätzlich zu den Pupillenabständen 31, 32, 33, 34, 35 und 36. Durch die Berechnung werden Zeitreihendaten von der Pupillenabstandsberechnungseinheit 30 erhalten.
Der Augeninnenwinkelabstand 37 ist der Abstand zwischen dem ersten Augapfel S1 und dem zweiten Augapfel S2. Insbesondere ist der Augeninnenwinkelabstand 37 der Abstand zwischen dem Augeninnenwinkel 26 des ersten Augapfels S1 und dem Augeninnenwinkel 27 des zweiten Augapfels S2. Im erfassten Bild A1 ist der Augeninnenwinkel 37 der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc zu den zweiten Augeninnenwinkel-Koordinaten Lc. In dieser Ausführungsform wird angenommen, dass der Abstand von den ersten Augeninnenwinkel-Koordinaten Rc zu den zweiten Augeninnenwinkel-Koordinaten Lc im erfassten Bild A1 D ist.
Der Nasenstegabstand 38 ist der Abstand zwischen einem Mittelpunkt P1 des Augeninnenwinkelabstands 37 und dem Ende der Nasenspitze 28. Im erfassten Bild A1 ist der Nasenstegabstand 38 der Abstand vom Mittelpunkt P1 bis zu den Nasen-Koordinaten Nt. In dieser Ausführungsform wird angenommen, dass der Abstand vom Mittelpunkt P1 bis zu den Nasen-Koordinaten Nt im erfassten Bild A1 N ist.
Der Abstand D wird durch den folgenden Ausdruck (3) dargestellt: $D = \sqrt{{(L c x + R c x)}^{2} + {(L c y - R c y)}^{2}}$
Der Abstand N wird durch den folgenden Ausdruck (4) dargestellt: $N = \sqrt{{((L c x + R c x) / 2 - N t x)}^{2} + {((L c y - R c y) / 2 - N t y)}^{2}}$
Die Pupillenabstandsberechnungseinheit 30 gibt die berechneten Abstände Rh, Lh, Rv, Lv, R, L, D und N als Pupillenabstandsausgabe C2 aus. Die Pupillenabstandsausgabe C2 ist zum Beispiel als eindimensionale Sequenz dargestellt (d. h. C2 = [Rh, Lh, Rv, Lv, R, L, D, N]).
Ferner kann die Pupillenabstandsberechnungseinheit 30 die berechneten Abstände D und N als Referenzwertausgabe G ausgeben. Die Referenzwertausgabe G wird zum Beispiel als eindimensionale Sequenz (d. h. G = [D, N]) dargestellt.
Die Pupillenabstandsausgabe C2 und die Referenzwertausgabe G werden an die Pupillenabstandskorrektureinheit 60 weitergegeben. In Schritt ST5 normiert die Pupillenabstandskorrektureinheit 60 den Pupillenabstand, das heißt mindestens eine Positionskomponente der ersten Pupillen-Koordinaten Re und mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten Le, unter Verwendung mindestens eines Zufallswertes.
In dieser Ausführungsform normiert die Pupillenabstandskorrektureinheit 60 den Pupillenabstand, das heißt mindestens eine Positionskomponente der ersten Pupillen-Koordinaten Re und mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten Le, unter Verwendung des Augeninnenwinkelabstands 37 (d. h. des Abstands D) oder des Nasenstegabstands 38 (d. h. des Abstands N).
Insbesondere normiert die Pupillenabstandskorrektureinheit 60 den Pupillenabstand 33 und den Pupillenabstand 34 unter Verwendung des Augeninnenwinkelabstands 37. Zum Beispiel wird der Pupillenabstand 33 durch Rh/D normiert und der Pupillenabstand 34 wird durch Lh/D normiert.
Die Pupillenabstandskorrektureinheit 60 normiert den Pupillenabstand 35 und den Pupillenabstand 36 unter Verwendung des Nasenstegabstands 38. Zum Beispiel wird der Pupillenabstand 35 durch Rv/N normiert und der Pupillenabstand 36 wird durch Lv/N normiert.
Die Pupillenabstandskorrektureinheit 60 aktualisiert den Pupillenabstand 31 unter Verwendung des normierten Pupillenabstands 35. Zum Beispiel wird der aktualisierte Abstand 31 durch den folgenden Ausdruck (5) dargestellt: $R = \sqrt{{(R h / D)}^{2} + {(R v / N)}^{2}}$
Die Pupillenabstandskorrektureinheit 60 aktualisiert den Pupillenabstand 32 unter Verwendung des normierten Pupillenabstands 36. Zum Beispiel wird der aktualisierte Abstand 32 durch den folgenden Ausdruck (6) dargestellt: $L = \sqrt{{(L h / D)}^{2} + {(L v / N)}^{2}}$
In Schritt ST6 gibt die Pupillenabstandskorrektureinheit 60 die normierten Werte (d. h. normierte Positionskomponenten) als Pupillenabstandskorrekturwerte F aus. Die Pupillenabstandskorrekturwerte F werden zum Beispiel als eindimensionale Sequenz dargestellt (d. h. F = [Rh/D, Lh/D, Rv/N, Lv/N, R, L]).
Die Pupillenabstandskorrekturwerte F werden an die Heterophorie-Erkennungseinheit 40 weitergegeben. In Schritt ST7 gibt die Heterophorie-Erkennungseinheit 40 das Heterophorie-Erkennungsergebnis, das den Zustand des ersten Augapfels S1 und des zweiten Augapfels S2 angibt, aus, unter Verwendung der Pupillenabstandskorrekturwerte F. Insbesondere bestimmt die Heterophorie-Erkennungseinheit 40 die Augapfelbewegung der Person H, das heißt den Zustand beider Augen der Person H, unter Verwendung der Schwankung in den Pupillenabstandskorrekturwerten F. Noch konkreter bestimmt die Heterophorie-Erkennungseinheit 40, ob der Zustand beider Augen der Person H die Bewegung beider Augen oder die Bewegung nur eines Augapfels der Person H ist, unter Verwendung der Schwankung in den Pupillenabstandskorrekturwerten F. Die Heterophorie-Erkennungseinheit 40 gibt das Ergebnis der Bestimmung als Heterophorie-Erkennungsergebnis aus.
Wenn die Heterophorie-Erkennungseinheit 40 den Zustand beider Augen der Person H bestimmt, berechnet die Heterophorie-Erkennungseinheit 40 die Varianzwerte der Komponenten, die in den Pupillenabstandskorrekturwerten F enthalten sind, zum Beispiel unter Verwendung von Zeitreihendaten. In diesem Fall sind die Zeitreihendaten die Pupillenabstandskorrekturwerte F, die in zeitlichen Abständen an die Heterophorie-Erkennungseinheit 40 weitergegeben werden.
Die Heterophorie-Erkennungseinheit 40 vergleicht den Varianzwert jeder Komponente mit einem vorab festgelegten Schwellenwert (auch als „Schwankungsschwellenwert“ bezeichnet), der dem Varianzwert entspricht.
Wie in der ersten Ausführungsform beschrieben, bestimmt die Heterophorie-Erkennungseinheit 40, ob Daten in Bezug auf den ersten Augapfel S1 die erste Bedingung erfüllen, bestimmt, ob Daten in Bezug auf den zweiten Augapfel S2 die zweite Bedingung erfüllen, und gibt das Ergebnis der Bestimmung als Heterophorie-Erkennungsergebnis D1 aus.
Das Heterophorie-Erkennungsergebnis D1 wird an die Aufmerksamkeitsbestimmungseinheit 50 weitergegeben. Ferner werden die Referenzwertausgabe G, das heißt die Zeitreihendaten des Augeninnenwinkelabstands 37 und des Nasenstegabstands 38 an die Aufmerksamkeitsbestimmungseinheit 50 weitergegeben. Im Beispiel, das in 8 gezeigt ist, wird die Referenzwertausgabe G von der Pupillenabstandsberechnungseinheit 30 an die Aufmerksamkeitsbestimmungseinheit 50 weitergegeben. Die Referenzwertausgabe G kann auch von einer Komponente, die nicht die Pupillenabstandsberechnungseinheit 30 ist (z. B. der Heterophorie-Erkennungseinheit 40 oder der Pupillenabstandskorrektureinheit 60), an die Aufmerksamkeitsbestimmungseinheit 50 weitergegeben werden.
In Schritt ST8 berechnet die Aufmerksamkeitsbestimmungseinheit 50 einen Varianzwert σd des Augeninnenwinkelabstands 37 unter Verwendung der Zeitreihendaten des Augeninnenwinkelabstands 37 und berechnet einen Varianzwert σn unter Verwendung der Zeitreihendaten des Nasenstegabstands 38. Die Aufmerksamkeitsbestimmungseinheit 50 vergleicht die berechneten Varianzwerte mit einem Schwankungsschwellenwert.
Insbesondere vergleicht die Aufmerksamkeitsbestimmungseinheit 50 den berechneten Varianzwert σd mit einem Schwankungsschwellenwert Td und vergleicht den berechneten Varianzwert σn mit einem Schwankungsschwellenwert Tn.
Der Schwankungsschwellenwert Td ist ein vorab bestimmter Wert. Zum Beispiel ist es als Schwankungsschwellenwert Td möglich, den Varianzwert des Augeninnenwinkelabstands 37 in einem vorab festgelegten Zeitraum oder einen Wert zu verwenden, der dadurch erhalten wird, dass ein aus den Zeitreihendaten gewonnener Varianzwert im Zustand okularer Fixierung mit einem Gewicht gewichtet wird. In ähnlicher Weise ist der Schwankungsschwellenwert Tn ein vorab bestimmter Wert. Zum Beispiel ist es als Schwankungsschwellenwert Tn möglich, den Varianzwert des Nasenstegabstands 38 in einem vorab festgelegten Zeitraum oder einen Wert zu verwenden, der dadurch erhalten wird, dass ein aus den Zeitreihendaten gewonnener Varianzwert im Zustand okularer Fixierung mit einem Gewicht gewichtet wird.
Wenn die Zeitreihendaten (insbesondere der Varianzwert σd in Bezug auf den Augeninnenwinkelabstand 37 und der Varianzwert σn in Bezug auf den Nasenstegabstand 38) eine Aufmerksamkeitsbedingung erfüllen (d. h. σd < Td und σn < Tn), ist die Änderung in der Gesichtsausrichtung der Person H gering. Wenn also die Zeitreihendaten die Aufmerksamkeitsbedingung erfüllen (d. h. σd < Td und σn < Tn), bestimmt die Aufmerksamkeitsbestimmungseinheit 50, dass die Person H im Zustand der Aufmerksamkeitsabnahme ist, und generiert den Aufmerksamkeitszustand E1, der den Zustand der Aufmerksamkeitsabnahme angibt.
Wenn hingegen der Varianzwert σd größer oder gleich dem Schwankungsschwellenwert Td ist, bewegt sich die Gesichtsausrichtung der Person H beträchtlich in der Neigungsrichtung (y-Achsen-Richtung in 3). Wenn der Varianzwert σn größer oder gleich dem Schwankungsschwellenwert Tn ist, bewegt sich die Gesichtsausrichtung der Person H beträchtlich in der Gierrichtung (x-Achsen-Richtung in 3).
Das heißt, wenn die Zeitreihendaten (insbesondere der Varianzwert σd in Bezug auf den Augeninnenwinkelabstand 37 und der Varianzwert σn in Bezug auf den Nasenstegabstand 38) die Aufmerksamkeitsbedingung nicht erfüllen (d. h. σd < Td und σn < Tn), bewegt sich die Gesichtsausrichtung der Person H in der Neigungsrichtung und in der Gierrichtung beträchtlich. In diesem Fall bestimmt die Aufmerksamkeitsbestimmungseinheit 50, dass die Person H ihre Umgebung ausreichend übersieht. Daher bestimmt, wenn die Zeitreihendaten die Aufmerksamkeitsbedingung nicht erfüllen, die Aufmerksamkeitsbestimmungseinheit 50, dass die Person H im Zustand des Haltens der Aufmerksamkeit ist, und generiert den Aufmerksamkeitszustand E1, der den Zustand des Haltens der Aufmerksamkeit angibt.
In Schritt ST9 gibt die Aufmerksamkeitsbestimmungseinheit 50 den Aufmerksamkeitszustand E1 aus.
Die Vorrichtung zur Aufmerksamkeitsbestimmung 200 in der zweiten Ausführungsform hat dieselben Vorteile wie die Vorrichtung zur Aufmerksamkeitsbestimmung 100 in der ersten Ausführungsform.
Ferner bestimmt die Vorrichtung zur Aufmerksamkeitsbestimmung 200 in der zweiten Ausführungsform die Aufmerksamkeit der Person H, indem der Augeninnenwinkelabstand 37 und der Nasenstegabstand 38 verwendet werden. Der Augeninnenwinkelabstand 37 und der Nasenstegabstand 38 können als feste Größen der Person H betrachtet werden. Daher kann, indem die Pupillenabstände (z. B. die Pupillenabstände 33, 34, 35 und 36) durch Verwendung des Augeninnenwinkelabstands 37 oder des Nasenstegabstands 38 normiert werden, der Einfluss der Schwankung bei den Pupillenabständen aufgrund einer winzigen Änderung in der Gesichtsausrichtung der Person H reduziert werden. Im Ergebnis kann erreicht werden, dass sich die Genauigkeit der Analyse der Zeitreihendaten der Pupillenabstände (z. B. der Pupillenabstände 33, 34, 35 und 36) erhöht.
Das System zur Aufmerksamkeitsbestimmung 201, einschließlich der Vorrichtung zur Aufmerksamkeitsbestimmung 200, hat dieselben Vorteile wie die vorstehend genannte Vorrichtung zur Aufmerksamkeitsbestimmung 200.
Merkmale der Ausführungsformen, die vorstehend beschrieben sind, lassen sich in geeigneter Weise miteinander kombinieren.
Bezugszeichenliste

10: Bilderfassungseinheit,
20: Bildverarbeitungseinheit,
30: Pupillenabstandsberechnungseinheit,
40: Heterophorie-Erkennungseinheit,
50: Aufmerksamkeitsbestimmungseinheit,
60: Pupillenabstandskorrektureinheit,
70: Ausgabevorrichtung,
100, 200: Vorrichtung zur Aufmerksamkeitsbestimmung,
101, 201: System zur Aufmerksamkeitsbestimmung.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 11276461 [0003]

Claims

Vorrichtung zur Aufmerksamkeitsbestimmung unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels einer Person, umfassend: eine Bildverarbeitungseinheit zur Festsetzung erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild, zur Berechnung erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt, und zur Ausgabe der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten; eine Pupillenabstandsberechnungseinheit zur Berechnung mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten; eine Heterophorie-Erkennungseinheit zur Ausgabe eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, wobei die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten verwendet werden; und eine Aufmerksamkeitsbestimmungseinheit zur Bestimmung der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.
Vorrichtung zur Aufmerksamkeitsbestimmung nach Anspruch 1, wobei die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten einen Abstand von den ersten Referenzkoordinaten zu den ersten Pupillen-Koordinaten einschließt; und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten einen Abstand von den zweiten Referenzkoordinaten zu den zweiten Pupillen-Koordinaten einschließt.
Vorrichtung zur Aufmerksamkeitsbestimmung nach Anspruch 1 oder 2, wobei die Heterophorie-Erkennungseinheit eine Schwankung einer Position der Pupille des ersten Augapfels und eine Schwankung einer Position der Pupille des zweiten Augapfels berechnet, wobei die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten verwendet werden, und den Zustand des ersten Augapfels und des zweiten Augapfels bestimmt, wobei ein Ergebnis der Berechnung der Schwankung der Position der Pupille des ersten Augapfels und der Schwankung der Position der Pupille des zweiten Augapfels verwendet wird.
Vorrichtung zur Aufmerksamkeitsbestimmung nach einem der Ansprüche 1 bis 3, wobei die Heterophorie-Erkennungseinheit bestimmt, dass der erste Augapfel und der zweite Augapfel sich in einer Bewegung beider Augen befinden, wenn sowohl die Schwankung einer Position der Pupille des ersten Augapfels als auch die Schwankung einer Position der Pupille des zweiten Augapfels größer oder gleich einem Schwellenwert oder kleiner oder gleich dem Schwellenwert sind, und die Heterophorie-Erkennungseinheit bestimmt, dass einer des ersten Augapfels oder des zweiten Augapfels sich in einem heterophoren Zustand befindet, wenn eine der Schwankung einer Position der Pupille des ersten Augapfels oder der Schwankung einer Position der Pupille des zweiten Augapfels größer oder gleich dem Schwellenwert ist und die andere kleiner als der Schwellenwert ist.
Vorrichtung zur Aufmerksamkeitsbestimmung nach einem der Ansprüche 1 bis 4, wobei das Heterophorie-Erkennungsergebnis angibt, ob der erste Augapfel und der zweite Augapfel in einem Zustand der Bewegung beider Augen sind oder ob einer des ersten Augapfels oder des zweiten Augapfels, in einem heterophoren Zustand ist.
Vorrichtung zur Aufmerksamkeitsbestimmung nach Anspruch 5, wobei die Aufmerksamkeitsbestimmungseinheit bestimmt, dass die Person in einem Zustand des Haltens der Aufmerksamkeit ist, wenn das Heterophorie-Erkennungsergebnis den Zustand der Bewegung beider Augen angibt; und die Aufmerksamkeitsbestimmungseinheit bestimmt, dass die Person in einem Zustand der Aufmerksamkeitsabnahme ist, wenn das Heterophorie-Erkennungsergebnis den heterophoren Zustand angibt.
Vorrichtung zur Aufmerksamkeitsbestimmung nach Anspruch 6, wobei die Aufmerksamkeitsbestimmungseinheit ein Signal ausgibt, das den Zustand der Aufmerksamkeitsabnahme oder den Zustand des Haltens der Aufmerksamkeit der Person angibt, entsprechend dem Heterophorie-Erkennungsergebnis.
Vorrichtung zur Aufmerksamkeitsbestimmung unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels einer Person, umfassend: eine Bildverarbeitungseinheit zur Festsetzung erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild, zur Berechnung erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt, und zur Ausgabe der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten; eine Pupillenabstandsberechnungseinheit zur Berechnung mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten; eine Pupillenabstandskorrektureinheit zur Normierung der mindestens einen Positionskomponente der ersten Pupillen-Koordinaten und der mindestens einen Positionskomponente der zweiten Pupillen-Koordinaten und zur Ausgabe der normierten Werte als Pupillenabstandskorrekturwerte; eine Heterophorie-Erkennungseinheit zur Ausgabe eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, unter Verwendung der Pupillenabstandskorrekturwerte; und eine Aufmerksamkeitsbestimmungseinheit zur Bestimmung der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.
System zur Aufmerksamkeitsbestimmung, umfassend: eine Bilderfassungseinheit zur Erfassung des erfassten Bildes, einschließlich des ersten Augapfels und des zweiten Augapfels der Person; und die Vorrichtung zur Aufmerksamkeitsbestimmung nach einem der Ansprüche 1 bis 8.
Verfahren zur Aufmerksamkeitsbestimmung zur Bestimmung der Aufmerksamkeit einer Person unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels der Person, wobei das Verfahren zur Aufmerksamkeitsbestimmung umfasst: Festsetzen erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild; Berechnen erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt; Ausgeben der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten; Berechnen mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten; Ausgeben eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, wobei die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten verwendet werden; und Bestimmen der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.
Verfahren zur Aufmerksamkeitsbestimmung zur Bestimmung der Aufmerksamkeit einer Person unter Verwendung eines erfassten Bildes, einschließlich eines ersten Augapfels und eines zweiten Augapfels der Person, wobei das Verfahren zur Aufmerksamkeitsbestimmung umfasst: Festsetzen erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild; Berechnen erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt; Ausgeben der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten; Berechnen mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten; Normieren der mindestens einen Positionskomponente der ersten Pupillen-Koordinaten und der mindestens einen Positionskomponente der zweiten Pupillen-Koordinaten; Ausgeben der normierten Werte als Pupillenabstandskorrekturwerte; Ausgeben eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, unter Verwendung der Pupillenabstandskorrekturwerte; und Bestimmen der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.
Programm, das bewirkt, dass ein Computer ein Verfahren zur Aufmerksamkeitsbestimmung ausführt, das die Aufmerksamkeit einer Person unter Verwendung eines erfassten Bildes einschließlich eines ersten Augapfels und eines zweiten Augapfels der Person bestimmt, wobei das Programm bewirkt, dass der Computer ausführt: Festsetzen erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild; Berechnen erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt; Ausgeben der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten; Berechnen mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten; Ausgeben eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, wobei die mindestens eine Positionskomponente der ersten Pupillen-Koordinaten und die mindestens eine Positionskomponente der zweiten Pupillen-Koordinaten verwendet werden; und Bestimmen der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.
Programm, das bewirkt, dass ein Computer ein Verfahren zur Aufmerksamkeitsbestimmung ausführt, das die Aufmerksamkeit einer Person unter Verwendung eines erfassten Bildes einschließlich eines ersten Augapfels und eines zweiten Augapfels der Person bestimmt, wobei das Programm bewirkt, dass der Computer ausführt: Festsetzen erster Referenzkoordinaten in Bezug auf den ersten Augapfel und zweiter Referenzkoordinaten in Bezug auf den zweiten Augapfel im erfassten Bild; Berechnen erster Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des ersten Augapfels im erfassten Bild handelt, und zweiter Pupillen-Koordinaten, bei denen es sich um Koordinaten einer Pupille des zweiten Augapfels im erfassten Bild handelt; Ausgeben der ersten Referenzkoordinaten, der zweiten Referenzkoordinaten, der ersten Pupillen-Koordinaten und der zweiten Pupillen-Koordinaten; Berechnen mindestens einer Positionskomponente der ersten Pupillen-Koordinaten in Bezug auf die ersten Referenzkoordinaten und mindestens einer Positionskomponente der zweiten Pupillen-Koordinaten in Bezug auf die zweiten Referenzkoordinaten; Normieren der mindestens einen Positionskomponente der ersten Pupillen-Koordinaten und der mindestens einen Positionskomponente der zweiten Pupillen-Koordinaten; Ausgeben der normierten Werte als Pupillenabstandskorrekturwerte; Ausgeben eines Heterophorie-Erkennungsergebnisses, das einen Zustand des ersten Augapfels und des zweiten Augapfels angibt, unter Verwendung der Pupillenabstandskorrekturwerte; und Bestimmen der Aufmerksamkeit der Person entsprechend dem Heterophorie-Erkennungsergebnis.