CN114947732A - 检测装置和用于控制检测装置的控制方法 - Google Patents

检测装置和用于控制检测装置的控制方法 Download PDF

Info

Publication number
CN114947732A
CN114947732A CN202210172233.4A CN202210172233A CN114947732A CN 114947732 A CN114947732 A CN 114947732A CN 202210172233 A CN202210172233 A CN 202210172233A CN 114947732 A CN114947732 A CN 114947732A
Authority
CN
China
Prior art keywords
pupil
observer
contour
image
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210172233.4A
Other languages
English (en)
Inventor
峰阳介
一宫敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN114947732A publication Critical patent/CN114947732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

本发明提供检测装置和用于控制检测装置的控制方法。进行考虑瞳孔的形状的视线检测。中央处理单元(CPU)从作为拍摄观察者的眼球的图像的结果而获得的眼球图像中检测瞳孔的轮廓坐标组，并且进行控制以考虑瞳孔的形状进行视线检测。

Description

检测装置和用于控制检测装置的控制方法
技术领域
本发明涉及包括视线检测单元的光学设备。
背景技术
传统地，讨论了所谓的视线检测装置，其检测光学设备的观察者观察观察面上的哪个位置。
例如，在日本特开61-172552中，来自光源的平行光束投射至观察者的眼球的前眼部上，并且使用来自角膜的反射光的角膜反射图像和瞳孔的图像形成位置来获得视轴。
日本专利3143490讨论了用于基于被认为与区域传感器所提取的瞳孔边缘相关的输出信号的水平/垂直位置的坐标来估计瞳孔圆、并且将瞳孔圆的中心坐标应用至视线检测的方法。该方法在许多观察点处估计圆，因此即使例如在沿着半圆或月牙圆的观察点处也可以很好地估计原始圆。
日本特开61-172552和日本专利3143490在瞳孔具有正圆形而没有缺失的情况下是有效的，但是没有考虑瞳孔形状是椭圆的情况或瞳孔的轮廓的一部分缺失的情况。因此，瞳孔中心的检测结果中可能出现误差，并且视线的检测精度可能降低。
发明内容
本发明旨在提供使得能够进行考虑瞳孔的形状的视线检测的视线检测装置，以及用于控制视线检测装置的控制方法。
根据本发明的一方面，包括：摄像单元，其被配置为拍摄观察者的眼球的图像；轮廓检测单元，其被配置为从获取自摄像单元的眼球的图像检测瞳孔的轮廓坐标组；计算单元，其被配置为从轮廓坐标组计算瞳孔中心位置；以及视线检测单元，其被配置为从瞳孔中心位置检测观察者的视线，并且所述计算单元被配置为从通过从检测单元所检测到的第一轮廓坐标组中排除一些坐标而获得的第二轮廓坐标组计算瞳孔中心位置，并且视线检测单元被配置为基于瞳孔中心位置来检测观察者的视线。
根据本发明的另一方面，包括：摄像单元，其被配置为拍摄观察者的眼球的图像；轮廓检测单元，其被配置为从获取自摄像单元的眼球的图像检测瞳孔的轮廓坐标组；计算单元，其被配置为从轮廓坐标组计算瞳孔中心位置；以及被配置为从瞳孔中心位置检测观察者的视线的单元，并且计算单元被配置为基于轮廓坐标组和预先存储的与瞳孔形状相关的信息来计算瞳孔中心位置。
根据本发明的又一方面，包括：摄像单元，其被配置为拍摄观察者的眼球的图像；被配置为从获取自摄像单元的眼球的图像检测瞳孔的轮廓坐标组的单元；第一计算单元，其被配置为从轮廓坐标组通过正圆近似来计算第一瞳孔中心位置；第二计算单元，其被配置为从轮廓坐标组通过椭圆近似来计算第二瞳孔中心位置；以及视线检测单元，其被配置为从根据判断单元的判断要使用的瞳孔中心位置来检测观察者的视线，并且被配置为根据瞳孔的轮廓的缺失来改变使用第一瞳孔中心位置还是使用第二瞳孔中心位置来检测由视线检测单元检测到的观察者的视线。
本发明的一方面提供一种检测装置，包括：摄像单元，其被配置为拍摄观察者的眼球的图像；检测单元，其被配置为根据从所述摄像单元获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，并且使用所述瞳孔中心位置来检测所述观察者的注视位置；以及判断单元，其被配置为判断所述瞳孔的轮廓被所述观察者的眼睑遮挡的程度，其中，在所述判断单元判断为所述程度是第一程度的情况下，所述检测单元使用通过将所述瞳孔的轮廓近似为第一圆而识别出的瞳孔中心位置来检测所述观察者的注视位置，以及其中，在所述判断单元判断为所述程度是小于所述第一程度的第二程度的情况下，所述检测单元使用通过将所述瞳孔的轮廓近似为比所述第一圆扁平的第二圆而识别出的瞳孔中心位置来检测所述观察者的注视位置。
本发明的另一方面提供一种检测装置，包括：摄像单元，其被配置为拍摄观察者的眼球的图像；检测单元，其被配置为根据从所述摄像单元获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，并且使用所述瞳孔中心位置来检测所述观察者的注视位置；以及判断单元，其被配置为判断所述观察者的瞳孔的轮廓是否缺失，其中，在所述判断单元判断为所述观察者的瞳孔的轮廓缺失的情况下，所述检测单元通过排除所述观察者的瞳孔的轮廓的一部分来检测所述观察者的注视位置。
本发明的又一方面提供一种用于控制检测装置的控制方法，所述控制方法包括：拍摄观察者的眼球的图像；根据在所述图像的拍摄中获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，以及使用所述瞳孔中心位置来检测所述观察者的注视位置；以及判断所述瞳孔的轮廓被所述观察者的眼睑遮挡的程度，其中，在判断为所述程度是第一程度的情况下，使用通过将所述瞳孔的轮廓近似为第一圆而识别出的瞳孔中心位置来检测所述观察者的注视位置，以及其中，在判断为所述程度是小于所述第一程度的第二程度的情况下，使用通过将所述瞳孔的轮廓近似为比所述第一圆扁平的第二圆而识别出的瞳孔中心位置来检测所述观察者的注视位置。
本发明的又一方面提供一种用于控制检测装置的控制方法，所述控制方法包括：拍摄观察者的眼球的图像；根据在所述图像的拍摄中获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，以及使用所述瞳孔中心位置来检测所述观察者的注视位置；以及判断所述观察者的瞳孔的轮廓是否缺失，其中，在判断为所述观察者的瞳孔的轮廓缺失的情况下，通过排除所述观察者的瞳孔的轮廓的一部分来检测所述观察者的注视位置。
从以下参考附图的实施例的描述，本发明的其他特征将变得明显。
附图说明
图1是根据本发明的实施例的摄像设备的外部示意图。
图2是根据本发明的实施例的摄像设备的框图。
图3是示出根据本发明的实施例的取景器中的视野的图。
图4A是透射至眼球图像传感器上的眼球图像的示意图，并且图4B是示出眼球图像的亮度分布的图。
图5是示出根据本发明的第一实施例的轮廓候选的排除范围的示例的图。
图6是根据本发明的第一实施例的视线检测的校准操作的流程图。
图7是根据本发明的第一实施例的摄像操作的流程图。
图8是根据本发明的第二实施例的视线检测的校准操作的流程图。
图9是示出根据本发明的第二实施例的轮廓信息的缺失的判断的图。
图10是根据本发明的第三实施例的视线检测的校准操作的流程图。
图11是根据本发明的第三实施例的视线检测操作的流程图。
图12是根据本发明的第四实施例的视线检测的校准操作的流程图。
图13是示出根据本发明的第四实施例的轮廓信息的缺失的判断的图。
图14A是示出在不存在轮廓坐标缺失的区域的情况下圆近似中的误差的图，并且图14B是示出存在轮廓坐标缺失的区域的情况下圆近似中的误差的图。
具体实施方式
下面将基于附图来详细描述本发明的实施例。以下描述的本发明的各实施例可以单独实现，或者在必要时或在单个实施例中来自各实施例的元件或特征的组合有益的情况下被实现为多个实施例或其特征的组合。
将描述本发明的第一实施例。图1是照相机的壳体的剖面图，并且是示出设置有根据本发明的第一实施例的视线检测单元的数字静态照相机1的结构的概略的图。
图1示出可更换镜头照相机中的摄像镜头1A。尽管在第一实施例中，为方便起见，由透镜101和透镜102这个两个透镜来表示摄像镜头1A的内部，但是已知摄像镜头1A实际包括更多透镜。图1示出照相机主体的壳体部1B。壳体部1B中所包括的单元的结构如下。图像传感器2布置于数字静态照相机1的摄像镜头1A的图像形成面上。数字静态照相机1包括控制整个照相机1的中央处理单元(CPU)3和记录由图像传感器2拍摄的图像的存储器单元4。在数字静态照相机1中，还布置有包括用于显示拍摄图像的液晶的显示元件10、驱动显示元件10的显示元件驱动电路11和用于观察显示元件10上所显示的被摄体图像的目镜透镜12。
光源13a和光源13b照射拍摄者的眼球14以基于通过来自单镜头反光式照相机中所使用的光源的角膜反射光获得的反射图像与瞳孔之间的关系来检测视线方向。光源13a和光源13b由红外发光二极管构成，并且布置在目镜透镜12附近。照射后的眼球14的眼球图像和通过来自光源13a和光源13b的角膜反射光获得的图像穿过目镜透镜12并被分束器15反射。然后，受光透镜16在眼球图像传感器17上形成图像，该眼球图像传感器17中以二维方式布置诸如互补金属氧化物半导体(CMOS)等的光电元件的列。受光透镜16以共轭图像形成关系来定位拍摄者的眼球14和眼球图像传感器17。基于在眼球图像传感器17上形成的眼球14的图像与通过来自光源13a和光源13b的角膜反射光获得的图像之间的位置关系，通过预定算法来检测出视线方向。
在摄像镜头1A中，设置有光圈111、光圈驱动装置112、镜头驱动马达113和由驱动齿轮构成的镜头驱动构件114。光电耦合器115检测与镜头驱动构件114连动的脉冲板116的转动并将检测到的转动发送至镜头焦点调整电路118。焦点调整电路118基于与检测到的转动相关的信息和与来自照相机1的镜头1A的驱动量相关的信息来以预定量驱动镜头驱动马达113，从而将摄像镜头1A移动至聚焦位置。安装触点117是在已知照相机与已知镜头之间的接口。
可替代地，可以采用不经由目镜透镜12和分束器15而由眼球图像传感器17和受光透镜16直接拍摄照射后的眼球14的图像的结构。在该情况下，可以在不与显示元件10干涉的位置处，以与眼球图像传感器17和受光透镜16的布置相对应的量来光学校正所获取的图像。
图2是示出内置于具有上述结构的数字静态照相机1中的电气结构的框图，并且与图1中相同的组件由相同的编号表示。视线检测电路201、测光电路202、自动焦点检测电路203、信号输入电路204、显示元件驱动电路11和照射光源驱动电路205连接至作为内置于照相机主体中的微计算机的CPU 3。CPU 3经由图1中所示的安装触点117，与布置于摄像镜头1A中的焦点调整电路118和光圈驱动装置112中所包括的光圈控制电路206通信信号。附接至CPU 3的存储器单元4具有用于存储来自图像传感器2和眼球图像传感器17的摄像信号的存储功能，以及用于存储用来校正视线中的个体差异的视线校正数据的存储功能。
视线检测电路201对通过形成来自眼球图像传感器17的眼球图像获得的输出进行模数(A/D)转换，并且将与该图像相关的信息发送至CPU 3。CPU 3根据预定算法来提取用于视线检测的眼球图像的特征点，并且进一步从特征点的位置计算出拍摄者的视线。
基于从还用作测光传感器的图像传感器2获得的信号，测光电路202放大与被摄场的明度相对应的亮度信号输出，然后对亮度信号输出进行对数压缩和A/D转换，并且将亮度信号输出作为被摄场亮度信息发送至CPU 3。
自动焦点检测电路203对来自图像传感器2的CMOS中所包括的并且用于相位差检测的多个像素的信号电压进行A/D转换，并且将信号电压发送至CPU 3。CPU 3从多个像素的信号计算距与焦点检测点相对应的被摄体的距离。这是被称为相位差自动聚焦(AF)的技术。
开关SW1连接至信号输入电路204，通过对快门释放按钮(未示出)的第一冲程来接通开关SW1并开始照相机1的测光操作、距离测量操作或视线检测操作。开关SW2也连接至信号输入电路204，通过对快门释放按钮的第二冲程来接通开关SW2并开始快门释放操作。上述信号输入至信号输入电路204并发送至CPU 3。
<用于进行视线检测的光学系统>
图3是示出视线检测方法的原理的图，并且等效于用于进行图1中的视线检测的光学系统的概要图。
在图3中，光源13a和光源13b是诸如发光二极管等的将不可见红外光发射至作为观察者的拍摄者的光源。光源13a和光源13b相对于受光透镜16的光轴大致对称地布置并照射观察者的眼球14。通过受光透镜16来收集由眼球14反射的照射光的一部分。
<视线检测操作的原理>
接下来，参考图4A和图4B来描述视线检测操作的原理。
图4A是示出从眼球图像传感器17获得的眼球图像的图。从眼球图像内部，检测来自光源13a和光源13b的光的角膜反射图像Pd和角膜反射图像Pe以及瞳孔中心c，并且可以从角膜反射图像角膜反射图像Pd和角膜反射图像Pe以及瞳孔中心c中计算眼球14的转动角θ。接下来，基于转动角θ和校准数据，获得显示元件10上的观察者的视线位置。
首先，描述角膜反射图像Pd和角膜反射图像Pe的检测方法。
在图4A中，水平方向是X轴，并且垂直方向是Y轴。此时，来自光源13a和光源13b的光的角膜反射图像Pd和角膜反射图像Pe形成的位置的坐标分别是坐标(Xa,Ya)和坐标(Xb,Yb)。
图4B是示出与图4A中的眼球图像的任意单个行(以下称之为“搜索行”)相关的亮度信息的图。
在图4B中的亮度信息中，在来自光源13a和光源13b的光的角膜反射图像Pd和角膜反射图像Pe形成的位置处，获得大于或等于亮度阈值TH2的处于极高水平的亮度。改变搜索行，并且顺次进行判断亮度的水平的处理，从而在整个眼球图像中检测亮度大于或等于阈值TH2的坐标，并且计算这些坐标的重心。这可以检测角膜反射图像Pd的坐标(Xa,Ya)和角膜反射图像Pe的坐标(Xb,Yb)。
<用于检测瞳孔中心位置的检测方法>
接下来，描述瞳孔141的瞳孔中心c的检测方法。
在图4B中的亮度信息中，瞳孔轮廓部的坐标为(Xc,Yc)和(Xd,Yd)。在瞳孔141的区域中，获得除了在坐标(Xa,Ya)和(Xb,Yb)的位置处之外的小于或等于亮度阈值TH1的处于低水平的亮度。相反地，在与瞳孔141外部的虹膜143的区域相对应的部分中，获得亮度阈值TH1与亮度阈值TH2之间的处于相对高水平的亮度。即，亮度在亮度阈值TH2或以下改变并且处于与亮度阈值TH1相同的亮度水平的具有像素坐标(Xc,Yc)和(Xd,Yd)的部分被判断为瞳孔轮廓部。搜索行和搜索列改变，并且顺次进行判断亮度的水平的处理。这可以在整个眼球图像中检测出瞳孔轮廓的坐标。多个瞳孔轮廓坐标对也被称为“瞳孔的轮廓坐标组”。瞳孔的轮廓坐标的检测也被称为“轮廓检测”。
通过使用瞳孔的轮廓坐标的正圆近似法，计算出瞳孔141的中心坐标c和半径r。
如果存在20对第一轮廓坐标、并且第一轮廓坐标由轮廓坐标(Xi,Yi)表示(其中i＝1至20)，则通过如下公式来计算瞳孔141的中心c的坐标(X0,Y0)和半径r。
Figure BDA0003518736790000081
Figure BDA0003518736790000082
Figure BDA0003518736790000083
Figure BDA0003518736790000084
接下来，计算眼球的成像倍率β。倍率β基于眼球14相对于受光透镜16的位置来确定，并且基本可以作为角膜反射图像Pd与角膜反射图像Pe之间的距离的函数来获得。
角膜反射图像Pd与角膜反射图像Pe之间的中点的坐标以及角膜142的曲率中心O的坐标几乎彼此匹配。因此，如果角膜142的曲率中心O与瞳孔141的中心c之间的标准距离是Oc，则可以通过如下公式来获得眼球14的光轴在Z-X平面中的转动角θx。
β*Oc*SINθx≈{(Xa+Xb)/2}-X0
图3示出在拍摄者的眼球14在垂直于Y轴的平面中转动的情况下计算转动角θx的示例。可以通过如下公式来获得拍摄者的眼球14在垂直于X轴的平面中转动的情况下的转动角θy。
β*Oc*SINθy≈{(Ya+Yb)/2}-Y0
使用计算出的转动角θx和转动角θy，获得显示元件10上观察者的视线的位置。如果注视点位置具有与显示元件10上的瞳孔141的中心c相对应的坐标(Hx,Hy)，则可以通过如下公式来计算坐标(Hx,Hy)。
Hx＝m×(θx-θx_cal)
Hy＝m×(θy-θy_cal)
此时，系数m是由照相机的取景器光学系统的结构确定的常数，并且是将转动角θx和转动角θy转换为与显示元件10上的瞳孔141的中心c相对应的位置坐标的转换系数。系数m预先确定并存储在存储器单元4中。θx_cal和θy_cal是在进行校准操作时计算出的转动角，并且在视线检测例程开始之前存储在存储器单元4中。
校准操作是用于存储偏移量的操作，该偏移量用来减小用户实际注视的位置与计算出的估计注视点之间由于人眼球形状的个体差异所导致的位置偏移。
在进行校准操作时，在显示元件10上显示校准图像。图像是拍摄者要注视的目标框，并且显示在显示元件10的中心部。获取此时的转动角θx_cal和转动角θy_cal并作为偏移量存储在存储器单元4中。
可以通过在多个位置处显示目标框并以多个位置处的转动角对多个位置进行插值来提升校准的精度。
这是视线检测操作的原理的描述。
参考图5至图7来描述根据第一实施例的视线检测操作。
<进行校准时的视线检测操作>
图6是示出视线检测的校准操作的流程图。通过CPU 3的控制来执行该流程图的操作。
在步骤S101中，在显示元件10上显示校准图像。
在步骤S102中，光源13a和光源13b将红外光发射至观察者的眼球14。由红外光照射的眼球14的眼球图像通过受光透镜16在眼球图像传感器17上形成并由眼球图像传感器17进行光电转换，并且眼球图像可以作为电信号来处理。
在步骤S103中，CPU 3接收由眼球图像传感器17获得的眼球图像信号。
在步骤S104中，基于与通过步骤S103的操作获得的眼球图像信号相关的信息，获得图3中所示的来自光源13a和光源13b的光的角膜反射图像Pd和Pe的坐标以及第一轮廓坐标。
在步骤S105中，通过正圆近似法，使用通过步骤S104的操作获得的瞳孔141的轮廓坐标作为第一轮廓坐标来计算瞳孔141的中心坐标c和半径r。
在步骤S106中，从与“第一轮廓坐标”与“从第一轮廓坐标计算出的中心坐标c和半径r”相关的信息中选择第二轮廓坐标。
在瞳孔141的上部，很可能由于眼睑而导致轮廓信息缺失。为此，在所获得的轮廓坐标中，预先移除在上部的轮廓坐标，从而可以减少基于缺失的有无的中心坐标中的误差。
图5是示出轮廓坐标的选择范围的示例的图。
排除在Y轴方向上距中心坐标r/2以上的阴影区域中所包括的坐标，并且选择除阴影区域中的坐标之外的坐标作为第二轮廓坐标。在该示例中，排除范围限制为r/2以上的区域，但是可以根据大小或图像形成位置来改变。
在步骤S107中，通过正圆近似法，从在步骤S106中所选择的第二轮廓坐标计算瞳孔141的中心坐标c’和半径r’。
在步骤S108中，计算眼球图像的成像倍率β。
在步骤S109中，计算眼球14的光轴在Z-X平面中的转动角θx和转动角θy。
在步骤S110中，将通过步骤S109的操作计算出的转动角θx和转动角θy作为校正后的值θx_cal和θy_cal存储在存储器单元4中。
<摄像操作>
在图6中所述的视线检测的校准操作之后，进行摄像操作。
图7是示出具有视线检测功能的照相机1的摄像操作的流程图。通过CPU3的控制来执行该流程图的操作。
如果照相机1被接通电源并开始流程，则在步骤S201中，驱动图像传感器2，并且开始图像的获取。CPU 3在显示元件10上显示所获取的图像。
在步骤S202中，判断照相机1是否被断开电源。如果照相机被断开电源(步骤S202中为“是”)，则流程结束。如果照相机1没有被断开电源(步骤S202中为“否”)，则处理进入步骤S203。
在步骤S203中，进行视线检测操作。在步骤S203中，进行与参考图6中的流程图所描述的校准操作中的步骤S102至S109的操作类似的操作。另外，在拍摄图像时的视线检测操作中，从通过排除眼球图像传感器17所获得的瞳孔轮廓的上部而计算出的瞳孔中心来计算眼球14的转动角θx和转动角θy。
在步骤S204中，校正通过步骤S203的操作所检测到的眼球14的转动角θx和转动角θy。读取步骤S110中在存储器单元4中存储的转动角θx和转动角θy和校正后的值θx_cal和θy_cal，并且计算出坐标值Hx和Hy并将其设置为注视点位置。
在步骤S205中，在显示元件10上的注视点位置处显示AF框。
在步骤S206中，判断是否由拍摄者按下快门释放按钮来接通开关SW1。如果开关SW1接通(步骤S206中为“是”)，则处理进入步骤S207。如果开关SW1没有接通(步骤S206中为“否”)，则处理返回至步骤S201。在步骤S201中，重复图像的显示和视线检测操作。
在步骤S207中，进行AF操作。
图像传感器2包括用于相位差检测的多个像素。通过作为已知技术的摄像面相位差AF，CPU 3从多个像素的信号中计算与步骤S205中所确定的AF框相对应的被摄体的焦点状态，并且控制并调整透镜101和透镜102的位置。
在步骤S208中，判断是否进一步按下快门释放按钮并接通开关SW2。如果开关SW2接通(步骤S208中为“是”)，则处理进入步骤S209。如果开关SW2没有接通(步骤S208中为“否”)，则处理返回至步骤S206。在步骤S206中，在相同位置处再次进行AF操作。
在步骤S209中，驱动图像传感器2，获取图像，并且将图像记录在记录介质(未示出)中。然后，处理返回至步骤S201的操作。
如上所述，通过图6中的步骤S106和S107的操作，排除了由于眼睑而可能缺失的轮廓的上部中的坐标，然后，进行正圆近似计算(步骤S106和S107)。
如果瞳孔是椭圆的，则排除轮廓的上部导致中心坐标偏移。为此，在进行校准操作时和在进行摄像操作时均进行相同的排除处理，从而可以抵消排除的影响。
在第一实施例中，给出了在眼睑的影响下假设轮廓坐标缺失的范围、并总是排除与该范围有关的轮廓信息的方法的描述。在第二实施例中，给出用于动态切换缺失范围的方法的描述。
根据本发明的第二实施例的照相机的结构和视线检测装置与第一实施例中的图1至图4A和图4B的照相机的结构和视线检测装置的结构类似，因此，不在此描述。
<进行校准时的视线检测操作>
图8是示出视线检测的校准操作的流程图。通过CPU 3的控制来执行流程图的操作。
步骤S301至S305的操作与图6中步骤S101至S105的操作类似，因此不描述。
在步骤S306中，从“第一轮廓坐标”和“从第一轮廓坐标计算出的中心坐标c和半径r”中检测缺失范围，并且选择第二轮廓坐标。
图9是示出根据第二实施例的轮廓坐标的选择范围的示例的图。
由“第一轮廓坐标”和“从第一轮廓坐标计算出的中心坐标c和半径r”形成的圆被划分为八个扇形区域(1)至区域(8)。对于区域(1)至区域(8)中的每一个，对轮廓坐标对的数量进行计数。从轮廓候选中排除被判断为轮廓坐标对的数量小于或等于预定数量的区域。在该情况下，区域(1)和区域(8)是排除对象，并且选择区域(2)至区域(7)中存在的坐标作为第二轮廓坐标。
在步骤S307中，通过正圆近似法，从在步骤S306中所选择的第二轮廓坐标计算出瞳孔141的中心坐标c’和半径r’。
在步骤S308中，计算眼球图像的成像倍率β。
在步骤S309中，获得眼球14的光轴的转动角θx和转动角θy。
在步骤S310中，将通过步骤S309的操作计算出的转动角θx和转动角θy作为校正后的值θx_cal和θy_cal存储在存储器单元4中。与步骤S306中所判断的区域相关的信息也存储在存储器单元4中。
<摄像操作>
在图8中所述的视线检测的校准操作之后，进行摄像操作。该摄像操作与图7中的流程图中的摄像操作类似，因此不描述。
如上所述，在进行校准时，检测出轮廓坐标缺失的区域，排除这些坐标，然后进行正圆近似计算。
如果瞳孔是椭圆的，则在进行校准时判断的缺失区域的排除导致中心坐标偏移。因此，在进行校准操作时和在进行摄像操作时均对相同的区域进行排除处理，由此可以抵消排除的影响。
如果不仅在眼睑的影响下、还在外部光的影响下不能够正常检测瞳孔轮廓，则可能不仅轮廓的上部缺失，轮廓的左部或右部也可能缺失。即使在这种情况下，也可以很好地进行视线检测操作。
在第三实施例中，使用所学习的瞳孔形状来进行椭圆近似，从而减小眼睑引起的缺失对视线的检测精度的影响。
已知瞳孔形状因人而异，并且存在瞳孔形状不是正圆而是椭圆的人。
图14A是示出从与瞳孔边缘相关的信息通过正圆近似检测到的椭圆瞳孔形状的中心坐标的图。虚线和“·”标记指示实际瞳孔轮廓和实际瞳孔轮廓的中心坐标，并且“×”标记指示基于区域传感器的输出信号判断出的瞳孔轮廓的坐标。实线和“+”标记指示基于瞳孔轮廓的坐标和近似圆的中心坐标通过正圆近似计算获得的近似圆。在图14A中，轮廓信息存在于瞳孔中心的上方、下方、左侧和右侧。因此，尽管瞳孔形状实际上是椭圆的，但是通过使用最小二乘法进行正圆近似计算，“·”标记和“+”标记几乎彼此匹配。
另一方面，图14B示出检测到与图14A中类似的椭圆瞳孔形状、但是轮廓的部分缺失且仅存在轮廓的下半部分的坐标的状态。事实上，在眼睑的影响下，瞳孔的上部经常缺失。
如上所述，如果仅对纵长椭圆的下半部分的轮廓边缘的坐标进行正圆近似计算，则重心从实际瞳孔中心在向下的方向偏移。
因此，在本实施例中，如上所述，使用所学习的瞳孔形状来进行椭圆近似，从而减小眼睑引起的缺失对视线的检测精度的影响。
根据第三实施例的照相机和视线检测装置的结构与第一实施例中图1至图4A和图4B中的照相机和视线检测装置的结构类似，因此，这里不描述。<通过椭圆近似的瞳孔中心位置的识别>
接下来，描述椭圆近似。
椭圆的通式表示如下。
Figure BDA0003518736790000141
X0、Y0：椭圆的中心坐标
θ：椭圆的倾斜度
a：椭圆在X轴方向的长度
b：椭圆在Y轴方向的长度
以上公式的展开和未知量的变量替换可以表示如下。
∑(Xi2+A*Yi2+B*Xi+C*Yi+D)2＝0 公式(1)
A至E的偏微分可以由如下矩阵表示。
Figure BDA0003518736790000142
基于A至E，通过如下公式来获得椭圆参数。
Figure BDA0003518736790000151
Figure BDA0003518736790000152
Figure BDA0003518736790000153
Figure BDA0003518736790000154
Figure BDA0003518736790000155
如果拍摄者没有在眼球14相对于数字静态照相机1倾斜的状态下看向数字静态照相机1(即，如果θ＝0)，则以上公式变换如下。
Figure BDA0003518736790000156
基于A至D，通过如下公式来获得椭圆参数。
Figure BDA0003518736790000157
Figure BDA0003518736790000158
Figure BDA0003518736790000159
Figure BDA00035187367900001510
Figure BDA00035187367900001511
应理解，A是与椭圆的扁率(a/b)等效的值。
此外，为了使得可能通过将标准化项添加至公式(1)中的最小二乘来获得所存储的椭圆的扁率u＝a/b，公式(1)变换如下。
∑(Xi2+A*Yi2+B*Xi+C*Yi+D)2+λ*(A-u2)2＝0
u：所存储的扁率(a/b)
λ：标准化项的影响度
A：椭圆的扁率(a/b)2
如果通过偏微分变换上述公式，
Figure BDA0003518736790000161
通过最小二乘法的以上公式来计算A至D，并且基于计算结果，通过如下公式来获得椭圆参数。
Figure BDA0003518736790000162
Figure BDA0003518736790000163
Figure BDA0003518736790000164
Figure BDA0003518736790000165
Figure BDA0003518736790000166
使用以上计算公式，可以减小基于眼睑引起的轮廓信息的缺失的有无的中心坐标的误差。
接下来，描述了使用以上计算公式的流程图。
<进行校准时的视线检测操作>
图10是示出包括椭圆形状的学习的视线检测的校准操作的流程图。通过CPU 3的控制来执行该流程图的操作。
步骤S401至S405的操作与图8中的步骤S301至S305的操作类似，因此不描述。
在步骤S406中，与图8中的步骤S306类似，从“第一轮廓坐标”和“从第一轮廓坐标计算出的中心坐标c和半径r”检测缺失范围。
与第二实施例类似地，对于图9中的区域(1)至区域(8)中的每一个，对轮廓坐标对的数量进行计数。如果存在判断为轮廓坐标对的数量小于或等于预定数量的区域，则判断为存在缺失范围。
在步骤S407中，如果判断为不存在缺失范围(步骤S407中为“否”)，则在步骤S408中，通过公式(2-1)至公式(2-6)来计算椭圆的中心c’和扁率u。将扁率u存储在存储器单元4中。
在步骤S409中，与步骤S308类似地，计算眼球图像的成像倍率β。
在步骤S410中，与步骤S309类似地，获得眼球14的光轴的转动角θx和转动角θy。如果不存在缺失范围，则使用在步骤S407中通过椭圆近似计算出的瞳孔141的中心c’。如果存在缺失范围，则使用在步骤S405中通过正圆近似计算出的瞳孔141的中心c。
在步骤S411中，与步骤S310类似地，将计算出的转动角θx和转动角θy作为校正后的值θx_cal和θy_cal存储在存储器单元4中。
<摄像操作>
在图10中所述的视线检测的校准操作之后，进行摄像操作。
除了步骤S203的处理之外，摄像操作也与图7中的流程图中的摄像操作类似，因此不描述。
<视线检测>
图11是图7中的步骤S203中的视线检测操作的流程图。通过CPU 3的控制来执行该流程图的操作。
步骤S501至S504的操作与图8中的步骤S301至S304的操作类似，因此不描述。
在步骤S505中，通过使用公式(3-1)至公式(3-6)的椭圆近似法，使用存储器单元4中所保持的扁率u和通过步骤S504的操作获得的作为第一轮廓坐标的瞳孔141的轮廓坐标来计算瞳孔141的中心坐标c’和扁率u’。
在步骤S506中，与图8中的步骤S306类似地，从“第一轮廓坐标”和“从第一轮廓坐标计算出的椭圆的中心坐标c’和在X轴方向的长度/在Y轴方向的长度”检测缺失范围。
对于图9中的区域(1)至区域(8)中的每一个，对轮廓坐标对的数量进行计数。如果存在被判断为轮廓坐标对的数量小于或等于预定数量的区域，则判断为存在缺失范围。
在步骤S507中，如果判断为不存在缺失范围(步骤S507中为“否”)，则在步骤S508中，计算存储器单元4中所存储的扁率u和步骤S505中所计算出的扁率u’的加权平均值，并且更新存储器单元4中所存储的扁率u。
在拍摄者直视前方时与在拍摄者通过转动瞳孔141来向上、向左和向右看时之间，瞳孔141的扁率改变。因此，可以检测出瞳孔位置相对于眼睑的边缘存在的位置，并且可以将各个位置处的扁率u存储在存储器单元4中。
此外，瞳孔141的直径的大小根据明度而改变。因此，可以相对于各个瞳孔直径的大小来将扁率u存储在存储器单元4中。
在步骤S509中，与步骤S308类似地，计算眼球图像的成像倍率β。
在步骤S510中，与步骤S309类似地，获得眼球14的光轴的转动角θx和转动角θy。在该情况下，使用在步骤S505中通过椭圆近似计算出的瞳孔141的中心c’。
如上所述，重复地学习瞳孔141的形状，并且进行使用学习结果的椭圆近似，从而，可以减小缺失的影响。
在第四实施例中，根据瞳孔轮廓的缺失程度来切换正圆近似和椭圆近似，从而减小眼睑引起的缺失对视线的检测精度的影响。
如上所述，已知瞳孔形状因人而异，并且存在瞳孔形状不是正圆而是椭圆的人。在任一瞳孔形状中，如果不存在缺失，则可以通过进行使用最小二乘法的椭圆近似计算来获得瞳孔141的中心坐标。
然而，如果轮廓的部分如图14B所示地缺失，则椭圆近似计算的自由度过高，以至于所计算出的椭圆可以是纵长或横长的。结果，与正圆近似中相比，中心坐标的结果可能更不正确。
为此，判断轮廓中的缺陷的有无，并且适当地切换正圆近似和椭圆近似，从而减小视线检测中的误差。
根据第四实施例的照相机和视线检测装置的结构与第一实施例中图1至图4A和图4B中的照相机和视线检测装置的结构类似，因此，这里不描述。
接下来，描述使用以上计算公式的流程图。
<进行校准时的视线检测操作>
图12是示出视线检测的校准操作的流程图。
通过CPU 3的控制来执行该流程图的操作。
步骤S601至S605的操作与图8中步骤S301至S305的操作类似，因此不描述
在步骤S606中，通过公式(2-1)至公式(2-5)来计算椭圆的中心c’。
在步骤S607中，从“第一轮廓坐标”和“从第一轮廓坐标计算出的中心坐标c’和半径r”检测缺失的有无。
图13是示出缺失的有无的检测示例的图。
从中心坐标在Y轴向上方向中的r/5以上的部分中对第一轮廓坐标对的数量进行计数。如果所计数的数量大于或等于预定数量，则判断为Y轴的向上方向中不存在缺失。类似地，判断Y轴的向下方向和X轴的向左和向右方向中是否存在缺失。如果四个方向的任意方向或全部方向中不存在缺失，则判断为不存在缺失。即，针对向上、向下、向左和向右方向的任意方向或全部方向设置阈值，并且判断轮廓的缺失。
瞳孔141的大小根据明度而改变。因此，针对所计数的数量的阈值可以根据瞳孔141的大小r而改变。
在步骤S608中，与步骤S308类似地，计算眼球图像的成像倍率β。
在步骤S609中，与步骤S309类似地，获得眼球14的光轴的转动角θx和转动角θy。如果不存在缺失范围，则使用在步骤S606中通过椭圆近似计算出的瞳孔141的中心c’。如果存在缺失范围，则使用在步骤S605中通过正圆近似计算出的瞳孔141的中心c。
<摄像操作的描述>
在图12中所述的视线检测的校准操作之后，进行摄像操作。
除了图7中的步骤S203的处理之外，摄像操作与图7中的流程图中的摄像操作类似，因此不描述。
在步骤S203中，进行与参考图12中的流程图所述的校准操作中的步骤S602至S609的操作类似的操作。另外，在拍摄图像时的视线检测操作中，根据瞳孔轮廓的缺失程度来切换正圆近似和椭圆近似。
如上所述，检测缺失的有无，并且根据检测结果来切换正圆近似和椭圆近似，从而可以减小缺失的影响。
如果频繁切换正圆近似和椭圆近似，则结果变化。因此，可以设置用于使得不大可能切换正圆近似和椭圆近似的滞后。例如，可以根据先前的缺失有无的判断结果来设置阈值r/5和针对所计数的数量的阈值。可替代地，如果缺失有无的相同判断结果持续预定数量或多于预定数量，则可以切换近似方法。
此外，在进行校准时判断为要对椭圆瞳孔进行正圆近似的情况下，并且如果在进行摄像操作时进行椭圆近似，则中心坐标偏移。因此，如果在进行校准时存在缺陷，则可以判断为在进行摄像操作时也要进行正圆近似。
<其他实施例>
CPU 3可以控制显示元件10以显示指示器，该指示器指示与作为上述实施例中进行视线检测的结果而检测到的视线相对应的注视位置。
在上述实施例中参考流程图描述的操作中，可以适当地改变要执行的步骤的顺序，以实现类似的目的。
只要设备具有视线检测功能，应用本实施例的设备不限于本实施例中所述的照相机。例如，本实施例可以应用至头戴式显示器。
尽管上面描述了本发明的实施例，但是本发明不限于这些实施例，并且可以在本发明的范围内以各种方式进行修改和改变。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管参考实施例描述了本发明，但是应理解，本发明不限于所公开的实施例。所附权利要求的范围将被给予最广泛的解释，以涵盖所有这样的修改和等效的结构和功能。

Claims (16)

1.一种检测装置，包括：
摄像单元，其被配置为拍摄观察者的眼球的图像；
检测单元，其被配置为根据从所述摄像单元获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，并且使用所述瞳孔中心位置来检测所述观察者的注视位置；以及
判断单元，其被配置为判断所述瞳孔的轮廓被所述观察者的眼睑遮挡的程度，
其中，在所述判断单元判断为所述程度是第一程度的情况下，所述检测单元使用通过将所述瞳孔的轮廓近似为第一圆而识别出的瞳孔中心位置来检测所述观察者的注视位置，以及
其中，在所述判断单元判断为所述程度是小于所述第一程度的第二程度的情况下，所述检测单元使用通过将所述瞳孔的轮廓近似为比所述第一圆扁平的第二圆而识别出的瞳孔中心位置来检测所述观察者的注视位置。
2.根据权利要求1所述的检测装置，其中，所述判断单元基于通过将指示所述瞳孔的轮廓的点近似为所述第一圆而识别出的瞳孔中心位置、通过将指示所述瞳孔的轮廓的点的数量与阈值进行比较来判断所述瞳孔的轮廓的状态。
3.根据权利要求2所述的检测装置，其中，所述阈值是基于第三圆的半径，所述第三圆通过将指示所述瞳孔的轮廓的点近似为所述第一圆而获得。
4.根据权利要求1所述的检测装置，其中，所述第一圆是正圆，并且所述第二圆是椭圆。
5.根据权利要求1所述的检测装置，其中，存储指示所述第二圆的扁率的信息，并且使用所述信息来识别所述瞳孔中心位置。
6.根据权利要求5所述的检测装置，其中，根据所述眼睑的位置和所述瞳孔中心位置来存储指示所述第二圆的扁率的所述信息。
7.一种检测装置，包括：
摄像单元，其被配置为拍摄观察者的眼球的图像；
检测单元，其被配置为根据从所述摄像单元获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，并且使用所述瞳孔中心位置来检测所述观察者的注视位置；以及
判断单元，其被配置为判断所述观察者的瞳孔的轮廓是否缺失，
其中，在所述判断单元判断为所述观察者的瞳孔的轮廓缺失的情况下，所述检测单元通过排除所述观察者的瞳孔的轮廓的一部分来检测所述观察者的注视位置。
8.根据权利要求7所述的检测装置，其中，在所述判断单元判断为所述观察者的瞳孔的轮廓缺失的情况下，所述检测单元通过排除在与缺失相对应的位置处检测到的所述观察者的瞳孔的轮廓来检测所述观察者的注视位置。
9.根据权利要求8所述的检测装置，其中，所述检测单元使用基于所述观察者的瞳孔的轮廓的所述瞳孔中心位置来将所述轮廓划分为多个区域，并且基于通过排除用于指示各区域中所包括的所述轮廓的点的数量小于或等于预定数量的区域而获得的所述观察者的瞳孔的轮廓来检测所述观察者的注视位置。
10.根据权利要求9所述的检测装置，其中，所述检测单元通过对所述观察者的瞳孔的轮廓进行圆近似来识别所述瞳孔中心位置。
11.根据权利要求7所述的检测装置，其中，基于预先存储的与瞳孔形状相关的信息，所述判断单元判断所述观察者的瞳孔的轮廓是否缺失。
12.根据权利要求11所述的检测装置，其中，与所述瞳孔形状相关的所述信息是瞳孔的垂直长度和水平长度、或所述垂直长度与所述水平长度之间的比。
13.根据权利要求11所述的检测装置，还包括存储器单元，所述存储器单元被配置为存储与所述瞳孔形状相关的所述信息，
其中，在所述判断单元判断为所述观察者的瞳孔的轮廓没有缺失的情况下，所述存储器单元存储与所述瞳孔形状相关的所述信息。
14.根据权利要求11所述的检测装置，其中，所述检测单元使用基于预先存储的与所述瞳孔形状相关的所述信息和与新计算出的瞳孔形状相关的信息的瞳孔中心位置来检测所述观察者的注视位置。
15.一种用于控制检测装置的控制方法，所述控制方法包括：
拍摄观察者的眼球的图像；
根据在所述图像的拍摄中获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，以及使用所述瞳孔中心位置来检测所述观察者的注视位置；以及
判断所述瞳孔的轮廓被所述观察者的眼睑遮挡的程度，
其中，在判断为所述程度是第一程度的情况下，使用通过将所述瞳孔的轮廓近似为第一圆而识别出的瞳孔中心位置来检测所述观察者的注视位置，以及
其中，在判断为所述程度是小于所述第一程度的第二程度的情况下，使用通过将所述瞳孔的轮廓近似为比所述第一圆扁平的第二圆而识别出的瞳孔中心位置来检测所述观察者的注视位置。
16.一种用于控制检测装置的控制方法，所述控制方法包括：
拍摄观察者的眼球的图像；
根据在所述图像的拍摄中获取的所述眼球的图像基于所述观察者的瞳孔的轮廓来识别瞳孔中心位置，以及使用所述瞳孔中心位置来检测所述观察者的注视位置；以及
判断所述观察者的瞳孔的轮廓是否缺失，
其中，在判断为所述观察者的瞳孔的轮廓缺失的情况下，通过排除所述观察者的瞳孔的轮廓的一部分来检测所述观察者的注视位置。
CN202210172233.4A 2021-02-26 2022-02-24 检测装置和用于控制检测装置的控制方法 Pending CN114947732A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-030209 2021-02-26
JP2021030209A JP2022131325A (ja) 2021-02-26 2021-02-26 視線検出装置、及びその制御方法

Publications (1)

Publication Number Publication Date
CN114947732A true CN114947732A (zh) 2022-08-30

Family

ID=80461670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210172233.4A Pending CN114947732A (zh) 2021-02-26 2022-02-24 检测装置和用于控制检测装置的控制方法

Country Status (4)

Country Link
US (1) US20220277590A1 (zh)
EP (1) EP4050575A3 (zh)
JP (1) JP2022131325A (zh)
CN (1) CN114947732A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61172552A (ja) 1985-01-28 1986-08-04 株式会社トプコン 視線方向検出装置
JP3143490B2 (ja) 1991-05-27 2001-03-07 キヤノン株式会社 視線検出装置
US8345922B2 (en) * 2008-09-03 2013-01-01 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
JP2016028669A (ja) * 2014-07-23 2016-03-03 株式会社Ｊｖｃケンウッド 瞳孔検出装置、および瞳孔検出方法
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
US10521659B2 (en) * 2016-11-21 2019-12-31 Yazaki Corporation Image processing device, image processing method, and image processing program

Also Published As

Publication number Publication date
US20220277590A1 (en) 2022-09-01
EP4050575A3 (en) 2022-12-28
JP2022131325A (ja) 2022-09-07
EP4050575A2 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
US7298414B2 (en) Digital camera autofocus using eye focus measurement
JP5171468B2 (ja) 撮像装置及び撮像装置の制御方法
JP7358530B2 (ja) 被写体認識装置及び被写体認識装置の制御方法
JPH07151950A (ja) カメラ
KR100224538B1 (ko) 시선검출장치(viewpoint detecting device)
JP2024003037A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN114947732A (zh) 检测装置和用于控制检测装置的控制方法
JP3184633B2 (ja) カメラ
US20240085979A1 (en) Recording device, image-capturing apparatus, control method, and recording system
US11829052B2 (en) Gaze detection apparatus, gaze detection method, and non-transitory computer readable medium
US20230186520A1 (en) Gaze detection apparatus
JP7358130B2 (ja) 電子機器およびその制御方法
US11632496B2 (en) Image pickup apparatus for detecting line-of-sight position, control method therefor, and storage medium
US20230179854A1 (en) Control apparatus, method of controlling control apparatus, control method, and storage medium
US20230125838A1 (en) Electronic apparatus and control method for electronic apparatus
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
JP2023074878A (ja) 視線検出装置、視線検出装置の制御方法およびプログラム
JP2023063760A (ja) 識別装置
JP2023006629A (ja) 制御装置およびその制御方法
JP2024003432A (ja) 電子機器
JP2023159741A (ja) 電子機器、電子機器の制御方法、プログラム、および記憶媒体
JPH05232374A (ja) 視線検出手段を有するカメラ
JPH06138376A (ja) 視線検出装置
JPH06138365A (ja) 視線検出装置を有するカメラ
JPH095834A (ja) 接眼部を備えた光学装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination