CN116248994A - 控制设备、控制设备的控制方法、控制方法和存储介质 - Google Patents

控制设备、控制设备的控制方法、控制方法和存储介质 Download PDF

Info

Publication number
CN116248994A
CN116248994A CN202211560612.7A CN202211560612A CN116248994A CN 116248994 A CN116248994 A CN 116248994A CN 202211560612 A CN202211560612 A CN 202211560612A CN 116248994 A CN116248994 A CN 116248994A
Authority
CN
China
Prior art keywords
eye
correction
user
indicators
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211560612.7A
Other languages
English (en)
Inventor
立石知宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116248994A publication Critical patent/CN116248994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及控制设备、控制设备的控制方法、控制方法和存储介质。一种控制设备，其能够快速且容易地减小每当使得拍摄者的眼睛接触取景器时发生的注视点的位置偏离。基于显示部上所显示的指示器的位置以及与该指示器的位置相关联的与用户的注视点相对应的位置，来估计和校正与用户的注视点相对应的位置。在第一模式下，基于第一数量的指示器的位置来进行校正，并且在第二模式下，基于小于第一数量的第二数量的指示器来进行校正。

Description

控制设备、控制设备的控制方法、控制方法和存储介质
技术领域
本发明涉及一种减小注视点的位置偏离的控制设备、控制设备、控制设备的控制方法、控制方法和存储介质。
背景技术
近年来，照相机的操作已经变得自动化，并且照相机已经变得智能化。日本特开2004-8323公开了一种照相机控制设备，其能够在无需手动输入被摄体位置的情况下基于与观察取景器的拍摄者的视线位置有关的信息来识别拍摄者预期的被摄体并控制焦点。当照相机如上所述检测到拍摄者的注视点位置(视线位置)时，拍摄者预期的注视点位置和由照相机识别的拍摄者的视线位置有时彼此偏离，并且在这种情况下，无法聚焦于拍摄者预期的被摄体。为了解决该问题，日本特开2004-8323中描述的设备在拍摄之前在取景器内显示指示器，并指示拍摄者注视所显示的指示器处。在拍摄者正在注视指示器的状态下检测拍摄者的注视点位置，并且检测与各个指示器的位置的偏离量。然后，当进行拍摄时，通过该偏离量来校正(校准)由照相机识别的检测到的拍摄者的注视点位置，由此可以检测校正位置作为拍摄者预期的注视点位置。此外，在日本特开2020-106552中描述的设备中，可以改变注视点位置，以由拍摄者在显示装置上进行调节。
在日本特开2004-8323中描述的设备中，在拍摄者预期的注视点位置和照相机检测到的注视点位置之间发生位置偏离的情况下，通过上述校准进行校正。然而，每当使得拍摄者的眼睛接触照相机的取景器时，接眼位置略微变化，并且因此由照相机检测到的注视点位置也根据接眼位置而变化。在这种情况下，每当使得拍摄者的眼睛接触取景器时，频繁地需要执行校准，并且结果，出现校准变得麻烦的问题。此外，在日本特开2020-106552中描述的设备中，当考虑到通过校准进行的校正的精度时，校准时的注视点位置优选是固定的而不是可变的。
发明内容
本发明提供了一种能够快速且容易地减小每当使得拍摄者的眼睛接触取景器时发生的注视点的位置偏离并且提高拍摄的便利性的控制设备、控制设备的控制方法、控制方法和存储介质。
在本发明的第一方面，提供了一种控制设备，其包括：至少一个处理器；以及存储器，其耦接到所述至少一个处理器，所述存储器具有指令，该指令在由所述处理器执行时作为以下单元进行操作：估计单元，其被配置为估计与用户的注视点相对应的位置；以及校正单元，其被配置为基于显示部上所显示的指示器的位置、以及与所述用户的注视点相对应且与所述指示器的位置相关联的位置，来校正与所述用户的注视点相对应的位置，其中，所述校正单元具有第一模式和第二模式，所述第一模式用于基于第一数量的指示器的位置进行所述校正，所述第二模式用于基于小于所述第一数量的第二数量的指示器进行所述校正。
在本发明的第二方面，提供了一种控制设备，其包括：至少一个处理器；以及存储器，其耦接到所述至少一个处理器，所述存储器具有指令，该指令在由所述处理器执行时作为以下单元进行操作：控制单元，其被配置为控制由显示单元进行的显示，所述显示单元显示用于针对用户的注视点的检测的校准的指示器，以及其中，所述控制单元使所述显示单元在第一校准中显示第一数量的指示器，并且在所述第一校准之后执行的第二校准中显示小于所述第一数量的第二数量的指示器。
在本发明的第三方面，提供了一种控制设备的控制方法，其包括：估计与用户的注视点相对应的位置；以及基于显示部上所显示的指示器的位置、以及与所述用户的注视点相对应且与所述指示器的位置相关联的位置，来校正与所述用户的注视点相对应的位置，其中，所述校正是在第一模式和第二模式其中至少之一下进行的，所述第一模式用于基于第一数量的指示器的位置进行所述校正，所述第二模式用于基于小于所述第一数量的第二数量的指示器进行所述校正。
在本发明的第四方面，提供了一种控制方法，其包括：控制由显示单元进行的显示，所述显示单元显示用于针对用户的注视点的检测的校准的指示器，其中，所述控制包括：使得所述显示单元在第一校准中显示第一数量的指示器，并且在所述第一校准之后执行的第二校准中显示小于所述第一数量的第二数量的指示器。
根据本发明，可以快速且容易地减小每当使得拍摄者的眼睛接触取景器时发生的注视点的位置偏离，并提高拍摄的便利性。
本发明进一步的特征将从以下(参考附图)对示例性实施例的描述中变得明显。
附图说明
图1A至图1C是用于说明数字静态照相机的外观的示意图。
图2是数字静态照相机的内部的示意图。
图3是数字静态照相机的框图。
图4A至图4C是各自示出取景器内视野(显示装置的图像显示状态)的图。
图5是示出利用来自光源的红外光照射眼球的状态的示意图。
图6是用于说明在图5所示的状态下检测视线位置(视线)的原理的图。
图7是视线检测处理的流程图。
图8A和图8B是各自示出取景器内视野(显示装置的图像显示状态)的图。
图9是第一实施例中的用于在第一校正和第二校正之间切换的处理的流程图。
图10是第二实施例中的用于在第一校正和第二校正之间切换的处理的流程图。
图11是第三实施例中的用于在第一校正和第二校正之间切换的处理的流程图。
图12是第四实施例中的用于在第一校正和第二校正之间切换的处理的流程图。
具体实施方式
现在将参考示出本发明的实施例的附图在下面详细描述本发明。然而，在以下实施例中的配置仅通过示例的方式描述，并且决不旨在限制本发明的范围。
首先，将参照图1A至图9描述第一实施例。
图1A至图1C是各自示出数字静态照相机的外观的示意图。图1A和图1B分别是数字静态照相机的前立体图和后立体图，图1C是包括在数字静态照相机中的操作杆在各个操作状态下的立体图的集。如图1A所示，由附图标记1表示的数字静态照相机(以下称为“照相机1”)是控制设备，其具有拍摄镜头1A和照相机主体1B。在照相机主体1B的上侧，布置有用于接收来自用户(拍摄者)的摄像操作的释放按钮5。此外，如图1B所示，在照相机主体1B的后侧，设置有目镜透镜12和操作构件41至43，其中，用户使用目镜透镜12以观察照相机1内部所布置的显示装置，并且操作构件41至43用于操作照相机1。操作构件41是触摸面板液晶显示器(操作构件α)，操作构件42是杆型操作构件(操作构件β)，并且操作构件43是按钮十字键(操作构件γ)。
图2是数字静态照相机的内部的示意图。如图2所示，拍摄镜头1A具有透镜101和透镜102。注意，尽管在本实施例中透镜的数量是两个，但这不是限制性的，而是例如可以是三个或多于三个。此外，拍摄镜头1A包括光阑111、光阑驱动单元112、透镜驱动马达113、透镜驱动构件114、光电耦合器115、脉冲板116、安装触点117和镜头焦点调节电路118。透镜驱动构件114包括驱动齿轮。光电耦合器115检测根据透镜驱动构件114旋转的脉冲板116的旋转，并将旋转信息通知给镜头焦点调节电路118。镜头焦点调节电路118基于该旋转信息和从照相机主体侧接收到的与透镜驱动量有关的信息，使透镜驱动马达113将透镜101驱动预定量。这样，可以将透镜101移动到聚焦位置。安装触点117是与照相机主体的接口。
在照相机主体1B中，布置有图像传感器(摄像部)2、CPU 3、存储器部4、显示装置(显示部)10、显示装置驱动电路11和目镜透镜12。此外，在照相机主体1B中，布置有光源(照明光源)13a、光源(照明光源)13b、分光器15、受光透镜16和眼球用图像传感器(眼球用摄像部)17。图像传感器2布置在照相机1的拍摄镜头1A的预期成像面上，并且能够对被摄体进行摄像。CPU 3是结合在照相机主体中的微计算机的中央处理单元(控制器)，并且用作被配置为控制照相机的整体操作(控制处理步骤、控制方法)的控制单元。此外，用于使CPU 3执行照相机1的组件和单元的操作(控制设备的控制方法)的程序被预先存储在与存储器部4不同的存储器(未示出)中。存储器部4记录由图像传感器2拍摄的图像。显示装置10包括形成具有矩形形状的显示画面的液晶层，并且能够根据来自显示装置驱动电路11的驱动控制来显示例如由图像传感器2进行摄像的被摄体的图像。目镜透镜12是当用户观察(视觉识别)显示装置10上所显示的被摄体图像时用户的眼睛所接触的目镜部分。光源13a和光源13b被设置为用于对用户的眼球14进行照明以基于眼球图像和从角膜反射的图像之间的关系来检测视线的方向，并且例如通过红外发光二极管来实现。光源13a和光源13b围绕目镜透镜12布置。来自眼球14的光和来自角膜的光透射通过目镜透镜12，由分光器15反射，并且分别由受光透镜16在眼球用图像传感器17上形成为眼球图像和反射图像。受光透镜16将用户的眼球14的瞳孔和眼球用图像传感器17设置为共轭成像关系。眼球用图像传感器17是由二维(以矩阵)布置的光电元件(诸如CCD等)形成的装置，并且拍摄用户的眼球14的图像。在照相机1中，可以基于在眼球用图像传感器17上成像的眼球14与反射图像之间的位置关系，通过使用下文描述的预定算法来检测视线方向。注意，存储器部4具有存储从图像传感器2和眼球用图像传感器17输出的图像信号的功能，以及存储下文所述的用于校正个体之间的视线差异(个体差异)的视线校正数据的功能。
图3是数字静态照相机的框图。如图3所示，视线检测电路201、测光电路202、自动焦点检测电路203、信号输入电路204、光源驱动电路205和显示装置驱动电路11电连接到CPU 3。视线检测电路201将来自进行眼球成像的眼球用图像传感器17的输出从模拟转换为数字，并将该输出的图像信息发送到CPU 3。CPU 3根据下文描述的预定算法提取检测视线所需的眼球图像的特征点，并基于特征点的位置计算用户的视线。基于从也用作测光传感器的图像传感器2获得的信号，测光电路202放大与视野的明度相对应的亮度信号，然后对放大的亮度信号进行对数压缩和模数转换，并将得到的信号作为视野亮度信息发送到CPU3。自动焦点检测电路203将来自包括在图像传感器2(CCD)中并用于相位差检测的多个像素的电压信号从模拟转换为数字，并将数字信号发送到CPU 3。CPU 3基于从多个像素获得的信号分别计算与焦点检测点相关联的到被摄体的距离。这是被称为摄像面相位差自动调焦(AF)的技术。在本实施例中，如图4所示，例如假设存在180个焦点检测点。开关SW1(未示出)和开关SW2(未示出)连接到信号输入电路204，其中开关SW1通过释放按钮5的第一行程而接通，开关SW2通过释放按钮5的第二行程而接通。当开关SW1接通时，开始照相机的测光、测距和视线检测操作等。当开关SW2接通时，开始释放操作。更具体地，通过操作释放按钮5而生成的信号经由信号输入电路204被发送到CPU 3。光源驱动电路205控制光源13a和光源13b的驱动(即开/关(ON/OFF))。此外，经由安装触点117在拍摄镜头1A内所布置的镜头焦点调节电路118及包括在光阑驱动电路112中的光阑控制电路206与照相机主体之间发送信号。
图4A至图4C是各自示出取景器内视野(显示装置的图像显示状态)的图。如图4A所示，在取景器内视野中，可以观察以叠加在显示装置10上所显示的直通图像上的状态显示的视野掩模300、焦点检测区域400和180个测距点指示器4001至4180。测距点指示器4001至4180布置在与图像传感器2的摄像面上的多个焦点检测点相对应的各个位置处。此外，测距点指示器4001至4180中的与当前的估计注视点位置相对应的指示器被显示为估计注视点A。尽管在本实施例中，估计注视点A由框形状表示，但这不是限制性的，而是例如，估计注视点A可以例如由点形状表示。
图5是示出利用来自光源的红外光照射眼球的状态的图。图6是用于说明在图5所示的状态下检测视线位置(视线)的原理的图。作为图6的上半部分的图6的(a)示意性地示出了投影到眼球用图像传感器上的眼球图像，并且作为图6的下半部分的图6的(b)示出了眼球图像的亮度分布。此外，在图5和图6中的各图中，X轴方向是水平方向，Y轴方向是垂直方向，并且Z轴方向是与X轴方向和Y轴方向正交的方向(受光透镜16的光轴方向)。
如图5所示，光源13a和光源13b相对于作为对称轴的受光透镜16的光轴而线对称地布置。注意，该布置被示出为与图1所示的布置不同，以使得容易理解检测视线位置的原理。红外光IF的光束(flux)分别从光源13a和光源13b朝向用户的眼球14发射。然后，从眼球14的角膜142反射的红外光IF的光束的一部分被受光透镜16聚光，以在眼球用图像传感器17上形成图像。更具体地，从角膜142的表面上的点Pd和Pe反射的红外光IF的光束的一部分被受光透镜16聚光，以分别在眼球用图像传感器17上形成图像(角膜反射图像)Pd’和图像(角膜反射图像)Pe’。此外，与此类似，从瞳孔141的端部(瞳孔端)141a和端部(瞳孔端)141b反射的光束也分别在眼球用图像传感器17上形成图像141a’和图像141b’。
如图6的(a)和(b)所示，图像Pd’、图像Pe’、图像141a’和图像141b’被包括在区域α中。图像Pd’在X轴方向上的坐标被定义为Xd，并且图像Pe’在X轴方向上的坐标被定义为Xe。此外，图像141a’在X轴方向上的坐标被定义为Xa，并且图像141b’在X轴方向上的坐标被定义为Xb。如图6的(b)所示，在坐标Xd和坐标Xe处检测到非常高水平的亮度。此外，在与瞳孔141的区域相对应的坐标Xa和坐标Xb之间的区域中，除了坐标Xd和坐标Xe处的亮度值之外，检测到非常低水平的亮度。此外，在与瞳孔141外部的虹膜143的区域相对应的小于坐标Xa的X轴方向上的区域和大于坐标Xb的X轴方向上的区域中，检测到中间水平亮度。因此，可以基于亮度水平来确定坐标Xd、坐标Xe、坐标Xa和坐标Xb。此外，眼球用图像传感器17上与瞳孔中心141c相对应的点在X轴方向上的坐标被定义为Xc。在眼球14的光轴相对于受光透镜16的光轴的旋转角度θx小的情况下，坐标Xc可以表示为Xc ≈(Xa+Xb)/2。由此，可以确定坐标Xc、坐标Xd和坐标Xe。
图7是视线检测处理的流程图。
在步骤S001中，CPU 3使光源驱动电路205操作以从光源13a和13b朝向用户的眼球14发射红外光。这样，通过受光透镜16在眼球用图像传感器17上形成用户的眼球14的图像。然后，眼球用图像传感器17进行光电转换，由此使眼球14的图像能够被处理为电信号(眼球图像信号)。在步骤S002中，视线检测电路201将眼球用图像传感器17所获得的眼球图像信号发送到CPU 3。在步骤S003中，CPU 3基于在步骤S002中接收到的眼球图像信号如上所述地确定坐标Xc、坐标Xd和坐标Xe。在步骤S004中，计算眼球图像的成像倍率β。基于眼球14相对于受光透镜16的位置来确定成像倍率β，并且实质上作为图像Pd’和图像Pe’之间的距离(Xd-Xe)的函数来计算成像倍率β。
在步骤S005中，CPU 3计算眼球14绕Y轴的旋转角度θx和眼球14绕X轴的旋转角度θy。这里，图像Pd’和图像Pe’之间的中点的X坐标和角膜142的曲率中心O的X坐标基本上彼此一致。因此，在假设角膜142的曲率中心O和瞳孔141的中心141c之间的一般距离由Oc表示的情况下，可以通过以下表达式(1)计算旋转角度θx。注意，可以类似地计算旋转角度θy。
β×Oc×SINθx≈((Xd+Xe)/2)–Xc…(1)
在步骤S006中，CPU 3读取存储器部4中所存储的视线校正系数Ax、视线校正系数Bx、视线校正系数Ay和视线校正系数By。视线校正系数Ax至By是用于校正用户视线中的个体差异的系数，并且通过下文描述的校准(校正)来确定。
在步骤S007中，CPU 3使用旋转角度θx和旋转角度θy来估计(计算)显示装置10上的用户视线的位置，即用户注视的点(下文中被称为“注视点”)的位置。在假设注视点由与显示装置10上的瞳孔141的中心141c相对应的坐标(Hx,Hy)表示的情况下，通过以下等式(2)计算坐标Hx，并且通过以下等式(3)计算坐标Hy：
Hx ＝ m × (Ax × θx + Bx) … (2)
Hy ＝ m × (Ay × θy + By) … (3)
注意，系数m是由照相机1的取景器光学系统的配置确定的常数，并且是用于将旋转角度θx和旋转角度θy转换成与显示装置10上的瞳孔141的中心141c相对应的位置坐标的转换系数。系数m预先存储在存储器部4中。此外，如上所述，视线校正系数Ax、视线校正系数Bx、视线校正系数Ay和视线校正系数By用于校正用户视线的个体差异，并且通过校准来确定。假设在开始视线检测处理之前，视线校正系数Ax至By被存储在存储器部4中。在步骤S008中，CPU 3将坐标(Hx,Hy)存储在存储器部4中。
如上所述，在本实施例中，CPU 3用作注视点位置估计单元(估计单元)，其被配置为基于由眼球用图像传感器17拍摄的眼球14的图像来估计与显示装置10上的用户注视点相对应的位置(估计步骤)。注意，在照相机1中，用作注视点位置估计单元的CPU可以与CPU3分开设置。
如上所述，在视线检测处理(视线检测例程)中，根据眼球图像信号来确定眼球14的旋转角度θx和旋转角度θy，并且通过执行用于将瞳孔中心141c的位置转换为显示装置10上的相应位置的坐标的计算来估计注视点位置。此外，眼球14的形状因个体而异，并且例如，在存在这样的因素的情况下，除非将视线校正系数Ax、视线校正系数Bx、视线校正系数Ay和视线校正系数By的值调节为针对各个用户的适当值，否则存在出现图4B所示的状态的可能性。在图4B所示的状态下，估计注视点C偏离用户实际正在注视的注视点(实际注视点)B。在这种情况下，尽管用户期望注视在注视点B处的人物，但是照相机1错误地估计为用户正在注视背景，并且不能进行适当的焦点检测和充分的调节。为了避免这种情况，优选地在照相机1进行摄像之前进行用于确定校正系数的适当值的校准。
在校准中，首先，在显示装置10上显示用户所要视觉识别的多个(第一数量的)第一指示器。然后，每当用户逐个视觉识别(注视)第一指示器时，进行视线估计。CPU 3基于显示装置10上的各个第一指示器与当用户视觉识别各个第一指示器时估计的估计注视点之间的位置关系来确定视线校正系数Ax至By。例如，如图4C所示，在显示装置10上显示第一指示器(c)-L、第一指示器(c)-R、第一指示器(c)-T和第一指示器(c)-B。第一指示器(c)-L布置在垂直方向(上下方向)上的中心部分中偏向显示装置10(显示画面)的左边缘的位置处。第一指示器(c)-R布置在垂直方向上的中心部分中偏向显示装置10的右边缘的位置处。第一指示器(c)-T布置在横向方向(左右方向)上的中心部分中偏向显示装置10的上边缘的位置处。第一指示器(c)-B布置在横向方向上的中心部分中偏向显示装置10的下边缘的位置处。当用户视觉识别第一指示器(c)-L时，检测与第一指示器(c)-L相对应的估计注视点，并且当用户视觉识别第一指示器(c)-R时，检测与第一指示器(c)-R相对应的估计注视点。然后，根据这些检测的结果来计算视线校正系数Ax和视线校正系数Bx。
更具体地，显示装置10上的第一指示器(c)-L的X坐标由Hx1表示，第一指示器(c)-R的X坐标由Hx2表示，注视第一指示器(c)-L时的眼球14的旋转角度由θx1表示，注视第一指示器(c)-R时的眼球14的旋转角度由θx2表示。注意，优选的是，旋转角度θx1和旋转角度θx2各自是考虑到偏差和噪声的值，诸如旋转角度中的关联旋转角度的多个确定值的平均值或中值等。通过以下等式(4)计算值Hx1，并且通过以下等式(5)计算值Hx2：
Hx1 ＝ m × (Ax × θx1 + Bx) … (4)
Hx2 ＝ m × (Ax × θx2 + Bx) … (5)
视线校正系数Ax和视线校正系数Bx可以由等式(4)和(5)确定。此外，与此类似，还可以通过使用第一指示器(c)-T和第一指示器(c)-B来确定视线校正系数Ay和视线校正系数By。视线校正系数Ax至By作为第一校正信息存储在存储器部4中。在照相机1中，通过执行使用第一校正信息的第一校准(即第一校正(第一模式下的校正))，使用户实际正在注视的注视点B和估计注视点C彼此一致。也就是说，可以准确地估计显示装置10上的用户的注视点位置。注意，尽管在本实施例中显示的第一指示器的数量被设置为4个，但是这不是限制性的，而是例如，优选地将第一指示器的数量设置为2～8的数量，并且更优选地将第一指示器的数量设置为4～5的数量。这样，可以准确地确定作为第一校正信息的视线校正系数。作为第一指示器的形状，尽管在本实施例中使用框形状，但这不是限制性的，而是例如可以使用点形状等。此外，在本实施例中，CPU 3还用作被配置为校正显示装置10上的与注视点相对应的位置的校正单元。基于显示装置10上所显示的指示器的位置以及与用户的注视点相对应并与指示器的这些位置相关联的位置来进行该校正。注意，在照相机1中，用作校正单元的CPU可以与CPU 3分开设置。
如上所述，通过使用第一校正信息进行第一校正，可以准确地估计显示装置10上的用户的注视点位置。然而，在相对于目镜透镜12的用户接眼位置例如由于用户的姿势的变化而变化的情况下，第一校正信息不能始终按原样用于检测变化后的视线。例如，考虑以下情况：作为接眼位置，存在第一接眼位置以及与第一接眼位置不同的第二接眼位置，在第一接眼位置处，当确定第一校正信息(进行使用第一校正信息的第一校正)时，使用户的眼睛接触目镜透镜12。在第一接眼位置处确定第一校正信息，并且因此如果第一校正信息按原样用于第二接眼位置处的视线检测，则存在难以准确地检测视线的可能性。为此，除非每当接眼位置变化时，中断拍摄并且对各个接眼位置执行校准以确定校正信息，否则假设注视点位置的估计精度不足。在这种情况下，频繁地执行校准(以下被称为“正常校准”)，这使得CPU 3的控制是麻烦的。鉴于这种不便利性，照相机1被配置为能够执行减少了控制的这种麻烦的校准(以下被称为“基于接眼的校准”)。下面将描述基于接眼的校准的配置和动作。
在照相机1中，基于眼球用图像传感器17是否拍摄到眼球图像来检测眼睛与目镜透镜12的接触。因此，眼球用图像传感器17还用作被配置为检测眼睛与目镜透镜12的接触的接眼检测单元。然后，在检测到眼睛与目镜透镜12的接触的情况下，CPU 3通过执行基于接眼的校准来进行校正(如下所述的使用第二校正信息的第二校正)。此外，在照相机1中，还可以根据由眼球用图像传感器17拍摄的眼球图像的位置来检测相对于目镜透镜12的用户接眼位置。因此，眼球用图像传感器17还用作能够检测第一接眼位置和第二接眼位置的接眼位置检测单元。然后，在检测到与第一接眼位置不同的第二接眼位置的情况下，CPU 3可以通过执行基于接眼的校准来进行校正。
为了考虑由于接眼位置的变化而生成的注视点位置的变化与上述计算注视点位置的方法之间的关系，将等式(2)变换为以下等式(6)，并且将等式(3)变换为以下等式(7)：
Hx/m ＝ Ax × θx + Bx … (6)
Hy/m ＝ Ay × θy + By … (7)
这里，显然，Hx/m表示校正后的旋转角度θx，并且作为将检测到的旋转角度θx用作变量、将视线校正系数Ax用作倾斜度且将视线校正系数Bx用作截距的线性函数来计算。此外，由于视线校正系数Ax是倾斜度，因此视线校正系数Ax可以通过以下等式(8)来计算：
Ax ＝ δ(Hx/m)/δθx … (8)
从等式(6)和(8)清楚地看出，视线校正系数Ax是针对检测到的旋转角度θx的位移量(单位变化量)的校正系数，并且视线校正系数Bx是针对检测到的旋转角度θx的相对位置的校正系数。此外，可以类似地考虑视线校正系数Ay和视线校正系数By。
顺便提及，由于接眼位置的变化引起的注视点位置的变化是指检测到的旋转角度θx和θy的相对变化。当结合各个视线校正系数的上述含义考虑这一点时，仅需要基于接眼的校准来仅确定(计算)视线校正系数Bx和视线校正系数By。也就是说，即使当接眼位置变化时，旋转角度θx和θy也几乎不变化(可以忽略)，因此尽管没有必要新计算视线校正系数Ax和Ay，但是仅需要通过视线校正系数Bx和By来调节接眼位置的变化量。因此，仅需要通过基于接眼的校准来确定视线校正系数Bx和By。这样，在基于接眼的校准中，对于视线校正系数Ax和Ay，可以按原样使用通过正常校准确定的视线校正系数，并且对于视线校正系数Bx和By，可以使用新确定的视线校正系数。
如上所述，在基于接眼的校准中，由于仅计算视线校正系数Bx和By，因此优选地预先执行了正常校准。这里，将给出在执行正常校准之后执行基于接眼的校准的示例的描述。图8A和图8B是各自示出取景器内视野(显示装置的图像显示状态)的图。
在基于接眼的校准中，在显示装置10上显示用户所要视觉识别的第一指示器、第二指示器。要显示的第二指示器的数量(第二数量)可以小于要显示的第一指示器的数量(第一数量)。例如，如图8A所示，在显示装置10上显示第二指示器(a)-C。第二指示器(a)-C布置在显示装置10(显示画面)上的中心部分中。然后，当用户视觉识别第二指示器(a)-C时，检测与第二指示器(a)-C相对应的估计注视点。在该检测中，尽管优选地在不使用存储在存储器部4中的值的情况下将值“0”代入视线校正系数Bx和By中，但这不是限制性的。例如，可以使用通过分别将下文中描述的在基于接眼的校准中计算出的视线校正系数与存储在存储器部4中的值进行合成而确定的值。然后，根据与第二指示器(a)-C相对应的估计注视点的位置(坐标)来确定视线校正系数Bx和视线校正系数By。
更具体地，假设显示装置10上的第二指示器(a)-C的坐标由(Hx3，Hy3)表示，并且在注视第二指示器(a)-C时的眼球14的旋转角度由θx3和θy3表示。注意，优选的是，旋转角度θx3和旋转角度θy3各自是考虑到偏差和噪声的值，诸如旋转角度中的关联旋转角度的多个确定值的平均值或中值等。值Hx3由以下等式(9)来计算，并且值Hy3由以下等式(10)来计算：
Hx3 ＝ m × (Ax × θx3 + Bx) … (9)
Hy3 ＝ m × (Ay × θy3 + By) … (10)
由于已经通过正常校准计算了视线校正系数Ax和Ay，因此可以通过等式(9)和(10)计算视线校正系数Bx和视线校正系数By。视线校正系数Bx和视线校正系数By作为第二校正信息存储在存储器部4中。在照相机1中，即使当接眼位置变化时，也可以通过针对各次接眼执行使用第二校正信息的第二校准(即，(第二模式下的)第二校正)来准确地估计显示装置10(显示单元)上的用户的注视点位置。注意，在照相机1中，以第一校正和第二校正的顺序进行第一校正和第二校正。此外，在基于接眼的校准中，要计算的视线校正系数的数量小于在正常校准中要计算的视线校正系数的数量，这可以减少CPU 3的控制的麻烦。
如上所述，通过使基于显示装置10上的第二指示器与在视觉识别第二指示器时由CPU 3估计的注视点之间的位置关系所确定的信息(视线校正系数Bx和视线校正系数By)反映在第一校正信息上，来形成第二校正信息。此外，在照相机1中，当校正注视点位置时，可以选择是进行使用第一校正信息的第一校正还是进行使用第二校正信息的第二校正。这样，可以快速且容易地减小基于接眼而发生的注视点的位置偏离。此外，不是通过用户的手动操作，而是通过CPU 3来选择是进行第一校正还是进行使用第二校正信息的第二校正。这提高了拍摄的便利性。
注意，尽管在本实施例中要显示的第二指示器的数量是1，但是仅要求第二指示器的数量小于要显示的第一指示器的数量，并且例如，第二指示器的数量优选地是1～4的数量，并且更优选地是1或2。这使得可以准确地确定作为第二校正信息的各个视线校正系数。此外，在要显示的第二指示器的数量是复数的情况下，与要显示的第二指示器的数量是1的情况类似，优选地，第二指示器位于偏向显示装置10的中心部分的位置。
如图8B所示，在显示装置10上以叠加在从图像传感器2输出的直通图像上的状态显示用于基于接眼的校准的第二指示器(b)-C。这样，即使正在进行拍摄时，也可以在不停止或中断拍摄的情况下执行基于接眼的校准，这提高了拍摄的便利性。此外，在照相机1中，可以将可以指示基于接眼的校准的开始/中断的快捷功能分配给例如操作构件42(参见图1C)。在这种情况下，例如，当操作构件42向左倾斜时(参见图1C中的中间图)，开始基于接眼的校准，并且当操作构件42向右倾斜时(参见图1C中的右图)，中断基于接眼的校准。这使得可以根据需要快速开始或中断基于接眼的校准。此外，还可以通过操作释放按钮5来中断基于接眼的校准。这样，在拍摄期间正在执行基于接眼的校准时出现快门释放机会的情况下，可以通过按压释放按钮5来快速中断校准并开始释放操作。
图9是第一实施例中的用于在第一校正和第二校正之间切换的处理的流程图。当照相机1已经通电并且本处理开始时，在步骤S101中，CPU 3使图像传感器2开始获取实时取景图像，并将实时取景图像的图像信号发送到CPU 3。此外，CPU 3使从图像传感器2接收的实时取景图像显示在显示装置10上。用户可以视觉识别显示装置10上所显示的实时取景图像中的被摄体。在步骤S102中，CPU 3判断电源是否已经关闭。如果CPU 3在步骤S102中判断为电源已经关闭，则立即终止本处理。另一方面，如果CPU 3在步骤S102中判断为电源尚未关闭，则处理进入步骤S103。在步骤S103中，CPU 3使眼球用图像传感器17操作以获取在步骤S101中已开始视觉识别被摄体的用户的眼球图像，并进行上述视线检测处理。在本实施例中，通过图7中的视线检测处理来确定显示装置10上的估计注视点的坐标(Hx,Hy)。在步骤S104中，CPU 3使显示装置10操作以显示通过将在步骤S103中确定的坐标(Hx,Hy)处的估计注视点叠加在实时取景图像上而生成的图像。此时，假设用户正在取景器内视觉识别例如处于图4B所示的状态的图像。然后，从照相机1向用户通知以叠加在实时取景图像上的状态显示的当前估计注视点C。在步骤S105中，CPU3等待预定时间段。
在步骤S106中，CPU 3判断是否已经从用户接收到用于开始基于接眼的校准的指令。如果CPU 3在步骤S106中判断为已经从用户接收到用于开始基于接眼的校准的指令，则处理进行到步骤S107。另一方面，如果CPU 3在步骤S106中判断为尚未从用户接收到用于开始基于接眼的校准的指令，则处理进行到步骤S200。如上所述，可以通过对操作构件42进行操作来提供用于开始基于接眼的校准的指令。在步骤S107中，CPU 3判断是否已经执行正常校准。如果CPU 3在步骤S107中判断为已经进行了正常校准，则处理进行到步骤S110。另一方面，如果CPU 3在步骤S107中判断为尚未执行正常校准，则处理在不开始基于接眼的校准的情况下进行到步骤S108。在步骤S108中，CPU 3在显示装置10上显示例如用于提示用户执行正常校准的消息。在执行步骤S108之后，处理进入步骤S200。
在步骤S110中，CPU 3隐藏显示在显示装置10上的估计注视点C，并且如图8B所示，以叠加在显示装置10上的实时取景图像上的状态显示用于基于接眼的校准的第二指示器(b)-C。在步骤S111中，CPU 3从以用户为单位存储有视线校正系数Ax至By的存储器部4读取与用户相关联地存储的视线校正系数Ax至By，并且将通过将“0”代入视线校正系数Bx和视线校正系数By而更新的系数存储在存储器部4中。在步骤S112中，CPU 3判断是否已经从用户接收到用于停止基于接眼的校准的指令。如果CPU 3在步骤S112中判断为已经从用户接收到用于停止基于接眼的校准的指令，则处理进行到步骤S113。另一方面，如果CPU 3在步骤S112中判断为尚未从用户接收到用于停止基于接眼的校准的指令，则处理进行到步骤S120。如上所述，可以通过对操作构件42进行操作或按压释放按钮5来提供用于停止基于接眼的校准的指令。在步骤S113中，CPU 3将在步骤S111中更新前的视线校正系数Ax、Bx、Ay和By存储在存储器部4中，并且处理进行到步骤S200。
在步骤S120中，CPU 3判断步骤S103中的视线检测是否已经完成预定次数。如果CPU 3在步骤S120中判断为视线检测已经完成预定次数，则处理进行到步骤S121。另一方面，如果CPU 3在步骤S120中判断为视线检测尚未完成预定次数，则处理进行到步骤S130。在步骤S130中，CPU 3使眼球用图像传感器17获取注视在步骤S101中显示的第二指示器(b)-C的用户的眼球图像，并进行上述视线检测处理。在本实施例中，通过进行图7中的视线检测处理，确定显示装置10上的估计注视点的坐标(Hx,Hy)。在执行步骤S130之后，处理返回到步骤S112。在步骤S121中，CPU 3计算通过进行预定次数的视线检测所确定的估计注视点的各个坐标(Hx,Hy)的预定数量的值的平均。在步骤S122中，CPU 3使用在步骤S121中计算出的平均的估计注视点的坐标(Hx,Hy)以及在步骤S111中获取的视线校正系数Ax和Ay，来执行基于接眼的校准。这样，计算用于基于接眼的校准的视线校正系数Bx和视线校正系数By。在步骤S123中，CPU 3将在步骤S111中从存储器部4读取的视线校正系数Ax和Ay以及在步骤S122中计算出的视线校正系数Bx和By存储在存储器部4中。在执行步骤S123之后，处理进入步骤S200。
在步骤S200中，CPU 3判断用户是否已按下释放按钮5以接通SW1。在用户同意在显示装置10上所显示的估计注视点的位置处进行聚焦的情况下，用户可以通过按压释放按钮5来接通SW1。如果CPU 3在步骤S200中判断为SW1已经接通，则处理进入步骤S201。另一方面，如果CPU 3在步骤S200中判断为SW1尚未接通，则处理返回到步骤S103，并且CPU 3再次进行视线检测。在步骤S201中，CPU 3在估计注视点的当前位置处执行测距操作，并在显示装置10上的实时取景图像上显示测距操作正在进行的信息。这使得用户能够掌握正在执行测距操作。注意，测距操作执行信息可以例如通过改变估计注视点的颜色来显示。在步骤S202中，CPU 3使镜头焦点调节电路118操作透镜驱动构件114以将透镜101移动到与在步骤S201中获取的测距结果相对应的聚焦位置。在步骤S203中，CPU 3判断用户是否已进一步按压释放按钮5以接通SW2。在用户同意在显示装置10上所显示的估计注视点处进行聚焦的情况下，用户进一步按压释放按钮5。这样，在步骤S203中，CPU 3可以将SW2移位到接通状态。如果CPU 3在步骤S203中判断为SW2已经接通，则处理进入步骤S204。另一方面，如果CPU 3在步骤S203中判断为SW2尚未被接通，则处理返回到步骤S200，并且CPU 3顺次执行其随后的步骤。在步骤S204中，CPU 3使图像传感器2操作以进行拍摄。这样，图像传感器2获取图像信号。此外，这些图像信号被发送到CPU 3并存储在存储器部4中。在执行步骤S204之后，处理进入步骤S205。在步骤S205中，CPU 3在显示装置10上显示所获取的图像并例如持续预定时间段，然后处理返回到步骤S102以使CPU 3顺次执行其随后的步骤。
如上所述，在照相机1中，在无需用户进行麻烦操作的情况下就可以校正可能基于接眼而发生的注视点位置的偏离。通过该校正，使用户正在实际注视的注视点和估计注视点彼此一致，由此在该注视点处实现聚焦，并且进行拍摄。这提高了用户拍摄的便利性。
下面将参考图10描述第二实施例。在上述第一实施例中，即使当通过将用户的眼睛放置在与执行了正常校准的接眼位置不同的接眼位置处来进行摄像时，也可以通过执行基于接眼的校准来计算进行摄像时的接眼位置处的适当视线校正系数，并从而估计注视点。顺便提及，在执行正常校准时的(第一接眼位置处的)第一接眼距离与在执行基于接眼的校准时的(第二接眼位置处的)第二接眼距离之间存在大的差异的情况下，有时优选再次执行正常校准。
本实施例中的“接眼距离”是指受光透镜16和眼球14之间的距离(实际距离)。该接眼距离和第一实施例中描述的成像倍率β通常成反比关系，因此接眼距离可以被确定为成像倍率β的函数。此外，如第一实施例中所述，成像倍率β可以被确定为角膜反射图像Pd’和角膜反射图像Pe’之间的距离(Xd-Xe)的函数，并且因此接眼距离可以类似地被确定为距离(Xd-Xe)的函数。
在本实施例中，照相机1设置有接眼距离检测单元，该接眼距离检测单元被配置为检测在用户的眼睛接触目镜透镜12的状态下的接眼距离。接眼距离检测单元没有特别限制，但是例如可以使用红外距离传感器。在接眼距离检测单元通过使用红外距离传感器实现的情况下，优选的是，将红外距离传感器布置在例如光源13a和光源13b之间。此外，接眼距离检测单元能够检测第一接眼距离和第二接眼距离。
在照相机1中，CPU 3计算第一接眼距离和第二接眼距离之间的差，并且如果该差大于预定值，则CPU 3判断为应该再次执行正常校准。然后，通过执行正常校准再次获取第一校正信息，并且在不进行第二校正的情况下进行使用所获取的第一校正信息的第一校正。注意，如下确定预定值：当设计照相机1时，测量接眼距离之间的差与实际注视点位置和估计注视点位置之间的一致率之间的关系，并且确定预定值，使得一致率变得等于或高于预定值。然后，预先将该预定值存储在存储器部4中。注意，预定值不限于唯一确定的值，而是优选地根据各种条件适当地确定预定值。此外，大小不同的多个预定值可以存储在存储器部4中。这使得可以根据接眼距离之间的差的大小来使校准不同。例如，在提供第一预定值和小于第一预定值的第二预定值的情况下，如果接眼距离之间的差大于第一预定值，则判断为应该再次执行正常校准。此外，如果接眼距离之间的差等于或小于第一预定值(等于或小于预定值)并且大于第二预定值，则判断为应该执行基于接眼的校准以进行使用该基于接眼的校准的第二校正。此外，如果接眼距离之间的差等于或小于第二预定值，则判断为不需要执行校准，并且按原样使用存储在存储器部4中的视线校正系数。
图10是第二实施例中的用于在第一校正和第二校正之间切换的处理的流程图。图10中的切换处理与图9中的切换处理的不同之处在于，添加了步骤S300至S303，并且其他步骤与图9中的切换处理相同。将给出步骤S300至S303和与这些步骤相关的步骤S107的以下描述，并且省略与图9中的切换处理的步骤相同的步骤的描述。
在步骤S107中，CPU 3判断是否已经执行正常校准。如果CPU 3在步骤S107中判断为已经执行正常校准，则处理进行到步骤S300。另一方面，如果在步骤S107中判断为尚未执行正常校准，则处理在不开始基于接眼的校准的情况下进行到步骤S108。
在步骤S300中，CPU 3读取存储在存储器部4中的作为接眼距离信息的第一接眼距离。在步骤S301中，CPU 3计算在步骤S103中确定的作为当前接眼距离的第二接眼距离信息与在步骤S300中获取的第一接眼距离之间的差。在步骤S302中，CPU 3判断该差是否大于第一预定值。如果CPU 3在步骤S302中判断为该差大于第一预定值，则处理进入步骤S108。另一方面，如果CPU3在步骤S302中判断为该差等于或小于第一预定值，则处理进行到步骤S303。在步骤S303中，CPU 3判断该差是否等于或小于第二预定值。如果CPU 3在步骤S303中判断为该差等于或小于第二预定值，则处理进入步骤S200。另一方面，如果CPU 3在步骤S303中判断为该差大于第二预定值，则处理进入步骤S110。在这种情况下，由于已经执行正常校准，因此判断为不需要执行校准，并且因此读出存储在存储器部4中的视线校正系数(第一校正信息)并按原样使用该视线校正系数。
根据上述处理，可以根据接眼距离的大小适当地选择正常校准或基于接眼的校准，这提高了拍摄的便利性。
下面将参考图11描述第三实施例。在第二实施例中，在接眼距离针对各次接眼而不同的情况下，根据接眼距离的大小来执行正常校准或基于接眼的校准，由此可以确定适当的视线校正系数并估计注视点。顺便提及，为了开始用于选择适当校准并再次计算视线校正系数的处理，需要用户的操作并且这可能是麻烦的。照相机1被配置为能够检测用户眼睛的接触。在本实施例中，在检测到接眼的情况下，第二实施例中所述，可以自动开始用于选择适当校准并再次计算视线校正系数的处理。
在本实施例中，即使在非接眼状态下也定期执行视线检测，并且在注视点的检测成功的情况下，判断为用户处于接眼状态，并且在没有检测到注视点的情况下，判断为非接眼状态继续。此外，用于检测接眼的配置不限于唯一地确定接眼的配置，而是优选地根据各种条件适当地确定接眼的检测。例如，可以通过使用例如接触传感器来进行接眼检测。
图11是第三实施例中的用于在第一校正和第二校正之间切换的处理的流程图。图11中的切换处理与图10中的切换处理的不同之处在于，添加了步骤S400和S401，步骤S106由步骤S410代替，并且其他步骤与图10中的切换处理中的步骤相同。将给出步骤S400、S401和S410以及与这些步骤相关的步骤S103至S105的以下描述，并且省略与图10中的切换处理的步骤相同的步骤的描述。
在步骤S103中，CPU 3使眼球用图像传感器17操作以获取在步骤S101中已开始视觉识别被摄体的用户的眼球图像。在获取该图像之后，CPU 3进行上述视线检测处理。在本实施例中，通过图7中的视线检测处理获取显示装置10上的估计注视点的坐标(Hx,Hy)。在执行步骤S103之后，处理进入步骤S400。
在步骤S400中，CPU 3判断在步骤S103中对估计注视点的坐标(Hx,Hy)的获取是否成功。如果CPU 3在步骤S400中判断为坐标(Hx,Hy)的获取成功，则处理进入步骤S104。另一方面，如果CPU 3在步骤S400中判断为对估计注视点的坐标(Hx,Hy)的获取已失败，则判断为用户处于非接眼状态，并且处理进行到步骤S401。在步骤S401中，CPU 3等待预定时间段，然后处理返回到步骤S103，以供CPU 3执行之后的步骤。在步骤S104和S105中，执行与图10的切换处理中的步骤S104和S105相同的处理操作。在执行步骤S105之后，处理进入步骤S410。在步骤S410中，CPU 3自动开始基于接眼的校准，并且处理进行到步骤S107。
根据上述处理，在检测到接眼的情况下，可以自动开始用于选择适当校准并再次计算视线校正系数的处理。
下面将参考图12描述第四实施例。在第三实施例中，可以在检测到接眼的情况下自动执行校准并计算视线校正系数。顺便提及，如第一实施例中所述，校准的目的是校正用户的个体差异。这里，考虑已经执行校准的用户(以下称为“第一用户”)和与第一用户不同的用户(以下称为“第二用户”)使用在他们之间共用的照相机1的情况。在这种情况下，根据第三实施例的配置，针对第二用户也自动执行校准。
为了避免这种情况，根据本实施例的照相机1设置有虹膜信息获取单元和一致度检测单元，虹膜信息获取单元被配置为获取与用户的虹膜有关的虹膜信息，一致度检测单元被配置为基于虹膜信息获取单元的获取结果来检测多个虹膜信息项之间的一致度。注意，在本实施例中，眼球用图像传感器17用作虹膜信息获取单元，CPU 3用作一致度检测单元。
在本实施例中，当执行校准时，虹膜信息也连同视线校正系数和接眼距离信息一起存储在存储器部4中。在本实施例中，虹膜信息包括第一虹膜信息和与第一虹膜信息不同的第二虹膜信息，并且这两者各自是通过从通过上述视线检测获得的眼球图像中提取虹膜部分而获得的虹膜图像。注意，虹膜信息不限于唯一确定的信息，而是优选地根据各种条件适当地确定虹膜信息。作为虹膜信息，可以使用例如通过卷积积分来扩展/压缩的图像、经受数字滤波的图像或通过将图像分割为区域而确定的特征量等。
此外，由一致度检测单元计算通过上述方法获取的两个虹膜信息项(即第一虹膜信息和第二虹膜信息)之间的一致度。一致度计算方法没有特别限制，但是例如可以使用SAD(绝对差值总和)方法。SAD是差的绝对值的总和，并且因此当两个虹膜信息项之间的一致度越高时，评价值越小，使得最小值等于0，最大值等于虹膜信息项之一的值的总和。注意，一致度计算方法不是唯一确定的，但是优选地根据诸如虹膜信息的形式和眼球图像的拍摄方法等的各种条件来确定一致度计算方法。然后，在第一虹膜信息和第二虹膜信息的评价值小于预先存储在存储器部4中的预定值的情况下，可以判断为两个虹膜是同一人物的虹膜。注意，预定值优选地基于足够的虹膜的样本数量来确定，更具体地，基于在诸如人物的数量、眼球角度、虹膜颜色和眼球图像拍摄时的明度值等的各种条件下获得的虹膜信息项来确定。
图12是第四实施例中的用于在第一校正和第二校正之间切换的处理的流程图。图12中的切换处理与图11中的切换处理的不同之处在于，添加了步骤S500至S502，并且其他步骤与图11中的切换处理相同。将给出步骤S500至S502以及与这些步骤相关的步骤S107的以下描述，并且省略与图11中的切换处理的步骤相同的步骤的描述。
在步骤S107中，CPU 3判断是否已经执行正常校准。如果CPU 3在步骤S107中判断为已经执行正常校准，则处理进行到步骤S500。另一方面，如果CPU 3在步骤S107中判断为尚未执行正常校准，则处理在不开始基于接眼的校准的情况下进行到步骤S108。
在步骤S500中，CPU 3读取存储在存储器部4中的虹膜信息。虹膜信息是指当如上所述已执行正常校准时获得的虹膜信息。在步骤S501中，CPU 3计算在步骤S103中获取的当前虹膜信息与在步骤S500中获取的虹膜信息之间的一致度。在上述SAD方法用于一致度的计算的情况下，当评价值较小时，两个虹膜信息项之间的一致度变得较高。在步骤S502中，CPU 3判断评价值是否等于或小于预定值(即，第一虹膜信息和第二虹膜信息之间的一致度是否等于或高于预定值)。如果CPU 3在步骤S502中判断为一致度等于或高于预定值，则处理进行到步骤S300。另一方面，如果CPU 3在步骤S502中判断为一致度低于预定值，则处理返回到步骤S108，并且CPU 2顺次执行之后的步骤。
根据上述配置，在执行校准的用户和其后的使得眼睛接触目镜的用户是同一人物的情况下，可以自动开始第三实施例中描述的处理。此外，在本实施例中，如果判断为第一虹膜信息和第二虹膜信息之间的一致度等于或高于预定值，则可以进行第二校正，并且如果判断为上述一致度低于预定值，则可以在不进行第二校正的情况下进行第一校正。这样，可以根据用户适当地切换校准，从而有助于注视点的高精度估计。
尽管给出了本发明优选实施例的说明书，但是用于视线检测的校准不仅可以适用于上述照相机，而且还可以适用于例如头戴式显示器、透视眼镜、车载照相机。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或设备，该系统或设备的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。
虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最广泛的解释，以便涵盖所有这样的修改以及等效的结构和功能。
本申请要求于2021年12月7日提交的日本专利申请2021-198715的权益，其全部内容通过引用结合于此。

Claims (17)

1.一种控制设备，包括：
至少一个处理器；以及
存储器，其耦接到所述至少一个处理器，所述存储器具有指令，该指令在由所述处理器执行时作为以下单元进行操作：
估计单元，其被配置为估计与用户的注视点相对应的位置；以及
校正单元，其被配置为基于显示部上所显示的指示器的位置、以及与所述用户的注视点相对应且与所述指示器的位置相关联的位置，来校正与所述用户的注视点相对应的位置，
其中，所述校正单元具有第一模式和第二模式，所述第一模式用于基于第一数量的指示器的位置进行所述校正，所述第二模式用于基于小于所述第一数量的第二数量的指示器进行所述校正。
2.根据权利要求1所述的控制设备，其中，所述校正单元以所述第一模式和所述第二模式的顺序进行所述校正。
3.根据权利要求1所述的控制设备，还包括：
目镜部，当所述用户观看所述显示部时，使所述用户的眼睛接触所述目镜部；以及
接眼检测单元，其被配置为检测眼睛与所述目镜部的接触，以及
其中，在所述接眼检测单元检测到眼睛的接触的情况下，所述校正单元进行所述校正。
4.根据权利要求1所述的控制设备，其中，在所述第一模式下，所述校正单元在所述显示部上显示所述第一数量的指示器并且使用第一校正信息，所述第一校正信息是基于所述显示部上的所述第一数量的指示器中的各个指示器与当所述用户视觉识别所述第一数量的指示器中的各个指示器时由所述估计单元估计的与所述注视点相对应的位置之间的位置关系而获得的；以及在所述第二模式下，所述校正单元在所述显示部上显示所述第二数量的指示器并且使用第二校正信息，所述第二校正信息是通过将基于所述显示部上的所述第二数量的指示器中的各个指示器与当所述用户视觉识别所述第二数量的指示器中的各个指示器时由所述估计单元估计的与所述注视点相对应的位置之间的位置关系所获得的信息反映在所述第一校正信息上而生成的。
5.根据权利要求4所述的控制设备，还包括：
目镜部，当所述用户观看所述显示部时，使所述用户的眼睛接触所述目镜部；以及
接眼位置检测单元，其被配置为检测所述目镜部的使所述用户的眼睛接触的接眼位置，以及
其中，所述接眼位置检测单元能够检测当进行使用所述第一校正信息的第一校正时使所述用户的眼睛接触的第一接眼位置、以及与所述第一接眼位置不同的第二接眼位置作为所述接眼位置，以及
其中，在所述接眼位置检测单元检测到所述第二接眼位置的情况下，所述校正单元进行使用所述第二校正信息的第二校正。
6.根据权利要求5所述的控制设备，还包括接眼距离检测单元，所述接眼距离检测单元被配置为检测在所述用户的眼睛接触所述目镜部的状态下的接眼距离，以及
其中，所述接眼距离检测单元能够检测所述第一接眼位置处的第一接眼距离和所述第二接眼位置处的第二接眼距离，以及
其中，在所述第一接眼距离与所述第二接眼距离之间的差大于第一预定值的情况下，所述校正单元进行所述第一校正而不进行所述第二校正。
7.根据权利要求6所述的控制设备，其中，在所述第一接眼距离与所述第二接眼距离之间的差等于或小于比所述第一预定值小的第二预定值的情况下，所述校正单元在进行所述第一校正时使用已获得的所述第一校正信息。
8.根据权利要求6所述的控制设备，其中，在所述第一接眼距离与所述第二接眼距离之间的差等于或小于所述第一预定值的情况下，所述校正单元进行所述第二校正。
9.根据权利要求5所述的控制设备，其中，所述存储器具有指令，该指令在由所述处理器执行时作为以下单元进行操作：
虹膜信息获取单元，其被配置为获取与所述用户的虹膜相关联的虹膜信息；以及
一致度检测单元，其被配置为检测多项所述虹膜信息之间的一致度，以及
其中，所述虹膜信息获取单元能够检测第一虹膜信息和与所述第一虹膜信息不同的第二虹膜信息作为所述虹膜信息，以及
其中，在所述一致度检测单元所检测到的所述第一虹膜信息和所述第二虹膜信息之间的一致度等于或高于预定值的情况下，所述校正单元进行所述第二校正，并且在所述一致度检测单元所检测到的一致度低于所述预定值的情况下，所述校正单元进行所述第一校正而不进行所述第二校正。
10.根据权利要求1所述的控制设备，其中，所述显示部包括具有矩形形状的显示画面，
其中，所述第一数量的指示器布置在偏向所述显示画面的边缘的各个位置处，以及
其中，所述第二数量的指示器各自布置在所述显示画面的中心部分。
11.根据权利要求1所述的控制设备，其中，所述第一数量是2～8的数量，以及
其中，所述第二数量是1～4的数量。
12.根据权利要求1所述的控制设备，还包括：
所述显示部；
摄像部，其被配置为拍摄被摄体的图像；以及
眼球用摄像部，其被配置为拍摄所述用户的眼球的图像。
13.一种控制设备，包括：
至少一个处理器；以及
存储器，其耦接到所述至少一个处理器，所述存储器具有指令，该指令在由所述处理器执行时作为以下单元进行操作：
控制单元，其被配置为控制由显示单元进行的显示，所述显示单元显示用于针对用户的注视点的检测的校准的指示器，以及
其中，所述控制单元使所述显示单元在第一校准中显示第一数量的指示器，并且在所述第一校准之后执行的第二校准中显示小于所述第一数量的第二数量的指示器。
14.一种控制设备的控制方法，包括：
估计与用户的注视点相对应的位置；以及
基于显示部上所显示的指示器的位置、以及与所述用户的注视点相对应且与所述指示器的位置相关联的位置，来校正与所述用户的注视点相对应的位置，
其中，所述校正是在第一模式和第二模式其中至少之一下进行的，所述第一模式用于基于第一数量的指示器的位置进行所述校正，所述第二模式用于基于小于所述第一数量的第二数量的指示器进行所述校正。
15.一种控制方法，包括：
控制由显示单元进行的显示，所述显示单元显示用于针对用户的注视点的检测的校准的指示器，
其中，所述控制包括：使得所述显示单元在第一校准中显示第一数量的指示器，并且在所述第一校准之后执行的第二校准中显示小于所述第一数量的第二数量的指示器。
16.一种非暂时性计算机可读存储介质，其存储有用于使计算机执行控制设备的控制方法的程序，
其中，所述控制方法包括：
估计与用户的注视点相对应的位置；以及
基于显示部上所显示的指示器的位置、以及与所述用户的注视点相对应且与所述指示器的位置相关联的位置，来校正与所述用户的注视点相对应的位置，
其中，所述校正是在第一模式和第二模式其中至少之一下进行的，所述第一模式用于基于第一数量的指示器的位置进行所述校正，所述第二模式用于基于小于所述第一数量的第二数量的指示器进行所述校正。
17.一种非暂时性计算机可读存储介质，其存储有用于使计算机执行控制方法的程序，
其中，所述控制方法包括：
控制由显示单元进行的显示，所述显示单元显示用于针对用户的注视点的检测的校准的指示器，
其中，所述控制包括：使得所述显示单元在第一校准中显示第一数量的指示器，并且在所述第一校准之后执行的第二校准中显示小于所述第一数量的第二数量的指示器。
CN202211560612.7A 2021-12-07 2022-12-07 控制设备、控制设备的控制方法、控制方法和存储介质 Pending CN116248994A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021198715A JP2023084503A (ja) 2021-12-07 2021-12-07 撮像装置、制御装置、撮像装置の制御方法、制御方法およびプログラム
JP2021-198715 2021-12-07

Publications (1)

Publication Number Publication Date
CN116248994A true CN116248994A (zh) 2023-06-09

Family

ID=86607177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211560612.7A Pending CN116248994A (zh) 2021-12-07 2022-12-07 控制设备、控制设备的控制方法、控制方法和存储介质

Country Status (3)

Country Link
US (1) US20230179854A1 (zh)
JP (1) JP2023084503A (zh)
CN (1) CN116248994A (zh)

Also Published As

Publication number Publication date
US20230179854A1 (en) 2023-06-08
JP2023084503A (ja) 2023-06-19

Similar Documents

Publication Publication Date Title
JP7358530B2 (ja) 被写体認識装置及び被写体認識装置の制御方法
US11650660B2 (en) Electronic device, control method, and non-transitory computer readable medium
JP2024003037A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN116248994A (zh) 控制设备、控制设备的控制方法、控制方法和存储介质
US11829052B2 (en) Gaze detection apparatus, gaze detection method, and non-transitory computer readable medium
JPH0556924A (ja) ビデオカメラ
US20240114228A1 (en) Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium
CN113676623A (zh) 电子设备及其控制方法
US20230186520A1 (en) Gaze detection apparatus
US11632496B2 (en) Image pickup apparatus for detecting line-of-sight position, control method therefor, and storage medium
US20240085979A1 (en) Recording device, image-capturing apparatus, control method, and recording system
JP2023045131A (ja) 検出装置、制御方法およびプログラム
JP7358130B2 (ja) 電子機器およびその制御方法
US20230346196A1 (en) Medical image processing device and medical observation system
JP2021064928A (ja) 電子機器
JP2022117239A (ja) 視線検出装置
CN116095452A (zh) 电子装置及其控制方法和存储介质
JP2023006629A (ja) 制御装置およびその制御方法
CN114947732A (zh) 检测装置和用于控制检测装置的控制方法
JP2022183552A (ja) 視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体
JP2023159741A (ja) 電子機器、電子機器の制御方法、プログラム、および記憶媒体
JP2023063023A (ja) 電子機器及び電子機器の制御方法
JP2023003735A (ja) 視線検出装置、撮像装置、視線検出方法、プログラム、および、記憶媒体
JP3548222B2 (ja) 視線検出装置を備えたビデオカメラ
JP3624030B2 (ja) 視線検出装置及び光学装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination