CN116437180A - 显示设备、取景器设备和摄像设备 - Google Patents

显示设备、取景器设备和摄像设备 Download PDF

Info

Publication number
CN116437180A
CN116437180A CN202310020603.7A CN202310020603A CN116437180A CN 116437180 A CN116437180 A CN 116437180A CN 202310020603 A CN202310020603 A CN 202310020603A CN 116437180 A CN116437180 A CN 116437180A
Authority
CN
China
Prior art keywords
display
image
optical system
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310020603.7A
Other languages
English (en)
Inventor
伊藤公一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116437180A publication Critical patent/CN116437180A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Viewfinders (AREA)
  • Lens Barrels (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及显示设备、取景器设备和摄像设备。根据本发明的显示设备包括：显示面板；用于观看显示面板的显示光学系统；用于拍摄观看显示面板的用户的眼睛的图像传感器，该图像传感器具有矩形的摄像面；以及用于在摄像面上形成眼睛的光学图像的摄像光学系统，其中该摄像光学系统具有与显示光学系统的光轴不平行的光轴，并且该显示光学系统的光轴在摄像面上的投影线与摄像面的长边大致平行。

Description

显示设备、取景器设备和摄像设备
技术领域
本发明涉及显示设备、取景器设备和摄像设备。
背景技术
已经提出了在取景器部分中装备有用于视线输入功能的配置(诸如用于拍摄用户的眼睛的眼球图像传感器等)的照相机。当用户凝视照相机的取景器时，作为取景器光学系统(用于使用户能够凝视取景器以看到被摄体的光学系统)的一部分的目镜(eye lens)与用户的眼球之间的距离通常不会保持恒定。考虑到这一点，为了视线输入功能将分光棱镜设置为取景器光学系统的一部分，其中眼球摄像光学系统(用于在眼球图像传感器的摄像面上形成眼睛的光学图像的光学系统)的光轴与取景器光学系统的光轴部分重合。日本特开平05-091394公开了一种用于检测注视位置(用户正在观看的位置)的摄像机。
假设如下：对于日本特开平05-091394所示的摄像机，试图在保留视线输入功能的同时，增加取景器光学系统的倍率或提高取景器光学系统的光学性能。在这种情况下，分光棱镜的存在将需要取景器部分的扩大和成本的显著增加。如果去除分光棱镜并使眼球摄像光学系统的光轴与取景器光学系统的光轴彼此独立，则可以避免取景器部分的扩大和显著的成本增加。
发明内容
然而，如果去除分光棱镜并使眼球摄像光学系统的光轴与取景器光学系统的光轴彼此独立，则将更难以用眼球图像传感器拍摄用户的眼睛。例如，随着用户的眼睛移动得远离目镜，眼球图像传感器所拍摄到的眼睛的图像中的瞳孔中心位置改变，并且用户的眼睛容易移出眼球图像传感器的摄像范围。
本发明提供了一种用于使得在不会导致设备大小或成本增加的情况下更容易拍摄用户的眼睛的技术。
本发明在其第一方面提供了一种显示设备，其包括：显示面板；显示光学系统，用于观看所述显示面板；图像传感器，用于拍摄观看所述显示面板的用户的眼睛，所述图像传感器具有矩形的摄像面；以及摄像光学系统，用于在所述摄像面上形成所述眼睛的光学图像，其中，所述摄像光学系统具有与所述显示光学系统的光轴不平行的光轴，以及所述显示光学系统的光轴在所述摄像面上的投影线与所述摄像面的长边大致平行。
本发明在其第二方面提供了一种取景器设备，其包括：上述显示设备；以及眼睛接近的目镜部。本发明在其第三方面提供了一种摄像设备，其包括：第二图像传感器，用于拍摄被摄体；以及上述显示设备，其能够显示所述第二图像传感器所拍摄到的被摄体的图像。
通过参考附图对示例性实施例的以下说明，本发明的进一步特征将变得明显。
附图说明
图1A和图1B是照相机的外观图；
图2是照相机的框图；
图3是照相机壳体的截面图；
图4是EVF单元的截面图；
图5是示出图4的一部分的断面图；
图6是示出EVF面板和视线检测系统的配置的图；
图7是示出G3透镜和视线检测系统的配置的图；
图8A和图8B是示出视线传感器图像的图；
图9A和图9B是示出视线传感器图像的图；以及
图10是视线检测操作的流程图。
具体实施方式
下面描述了本发明的实施例。
参考图1A和图1B描述了作为根据本实施例的摄像设备的照相机1(数字静态照相机或镜头可更换的照相机)的外观。图1A和图1B示出照相机1的外观。本发明适用于能够执行用于检测用户的视线(用户注视)的视线检测操作的任意电子设备。例如，用户看到诸如显示装置上所显示的图像或字符等的信息或通过目镜光学系统(显示光学系统)的光学图像。这样的电子设备例如可以包括移动电话、游戏机、平板电脑终端、个人计算机、手表型或眼镜型信息终端、头戴式显示器和双筒望远镜等。换句话说，用户的视线是显示装置中所显示的图像等中的用户的注视位置。
图1A为正面立体图，并且图1B为背面立体图。如图1A所示，照相机1包括拍摄镜头单元1A和照相机壳体1B。作为接受来自用户(摄影师)的拍摄操作的操作构件的释放按钮5被布置在照相机壳体1B上。
图1A所示的照相机壳体1B处于最基本的取向(标准取向)，即所谓的正常位置状态。将该状态下的拍摄镜头单元1A的光学系统的光轴定义为Z轴，并且将与Z轴正交的垂直向上的轴定义为Y轴。将与Y轴和Z轴各自正交的右手系的轴定义为X轴。
如图1B所示，在照相机壳体1B的背面布置了用于供用户凝视以看到包含在照相机壳体1B内部的稍后将描述的EVF面板6的目镜框121(目镜部)。目镜框121保持目镜窗13，并且从照相机壳体1B向外突出(到背面)。在照相机壳体1B的背面还布置了用于接受来自用户的各种操作的操作构件41至43。例如，操作构件41是用于接受触摸操作的触摸屏，操作构件42是可以以各个方向向下按压的操作杆，并且操作构件43是可以针对四个方向中的各个方向按压的四向键。操作构件41(触摸屏)包括诸如液晶面板等的显示面板411，并且提供用于在显示面板411上显示图像的功能。
参考图2描述照相机1内部的配置。图2是示出照相机1内部的配置的框图。
附图标记2表示例如用于拍摄被摄体的摄像元件(图像传感器)(诸如CCD或CMOS传感器等)。摄像元件2将通过拍摄镜头单元1A的光学系统在摄像元件2的摄像面上形成的光学图像转换为电信号，并且将所获取的模拟图像信号输出到A/D转换器(未示出)。A/D转换器将摄像元件2所获取的模拟图像信号转换为数字信号，并且将该信号作为图像数据输出。
拍摄镜头单元1A由包括变焦透镜、调焦透镜和光圈等的光学系统组成。在安装在照相机壳体1B中的状态下，镜头单元将来自被摄体的光引导到摄像元件2，并且在摄像元件2的摄像面上形成被摄体图像。光圈控制器518、焦点调整器519和变焦控制器520各自经由安装触点117接收来自CPU 3的指令信号，并且根据指令信号分别驱动和控制光圈、调焦透镜和变焦透镜。
装备在照相机壳体1B中的CPU 3从存储器单元4中的ROM中读出针对照相机壳体1B中的各个块的控制程序，并且在存储器单元4的RAM中展开和执行该程序。CPU 3由此控制照相机壳体1B中的各个块的动作。将视线检测器201、光测量单元202、自动调焦检测器203、信号输入单元204、光源驱动器205、目镜检测器208、距离计算器209和显示装置驱动器521等连接到CPU 3。CPU 3还经由安装触点117将信号发送到布置在拍摄镜头单元1A内部的光圈控制器518、焦点调整器519和变焦控制器520。在本实施例中，存储器单元4具有用于存储来自摄像元件2和视线图像传感器19的图像信号的功能。
视线图像传感器19例如是诸如CCD或CMOS传感器等的摄像元件或者用于拍摄观看EVF面板6的用户的眼睛的眼球图像传感器。
视线检测器201将在视线图像传感器19附近形成眼球图像(眼球的光学图像)的状态下的视线图像传感器19的输出(视线传感器图像)例如转换为数字信号，并且将结果发送到CPU 3。CPU 3根据后面将要描述的预定算法从视线传感器图像中提取视线检测所需的特征点，并且通过根据特征点的位置的计算来确定用户的视线(EVF面板6的显示面上的注视位置)。
光测量单元202对从同样兼用作光测量传感器的摄像元件2所获得的信号(具体是与被摄体场的亮度相对应的亮度信号)进行放大、对数压缩和A/D转换，并且将结果作为被摄体场亮度信息发送给CPU 3。
自动调焦检测器203将来自摄像元件2中所包含的并且用于相位检测的多个检测元件(多个像素)的信号的电压转换为数字信号，并且将该信号发送给CPU 3。CPU 3根据来自多个检测元件的信号来计算到位于各个焦点检测点的被摄体的距离。这是被称为摄像面相位检测自动调焦的已知技术。在本实施例的情况下，作为一个示例，存在与取景器内部的视场的图像(EVF面板6的显示面)上的180个点相对应的、在摄像面上的180个焦点检测点。
开关SW1和SW2连接到信号输入单元204。开关SW1用于开始照相机1的光测量、距离测量和视线检测操作，并且通过释放按钮5的第一行程(例如半按压)来接通。开关SW2用于开始拍摄操作，并且通过释放按钮5的第二行程(例如，全按压)来接通。将来自开关SW1和SW2的ON信号输入到信号输入单元204，并且发送到CPU 3。信号输入单元204还接受来自图1B所示的操作构件41(触摸屏)、操作构件42(操作杆)和操作构件43(四向键)的操作输入。
附图标记14表示作为用于利用红外光照射用户的眼球的光源的红外LED。光源驱动器205基于来自CPU 3的信号(指令)驱动红外LED 14。例如，光源驱动器205按照来自CPU3的指令驱动红外LED 14以发射具有预定发光强度的光。
图像处理器206对存储在存储器单元4的RAM中的图像数据进行各种图像处理。处理例如包括源于光学系统或摄像元件的像素缺陷的校正、去马赛克、白平衡调整、颜色插值和伽马校正等。
记录/输出单元207在诸如存储卡等的可移动记录介质中记录包括图像数据的数据，或经由外部接口将数据输出到外部设备。
附图标记50表示例如作为近红外传感器或电容传感器的目镜检测传感器。目镜检测器208将目镜检测传感器50的输出发送到CPU 3。CPU 3根据预定算法从目镜检测传感器50(目镜检测器208)的输出中判断用户的眼睛是否已接触(接近)目镜框121(目镜部)。
距离计算器209基于由视线图像传感器19拍摄到的图像(视线传感器图像)中的角膜反射图像(通过从红外LED 14发射的红外光在角膜上的正反射而形成的图像)的坐标，来计算从取景器到用户的眼球的距离。例如，距离计算器209计算从用于使用户看到EVF面板6的显示光学系统12(将在后面描述)的最终面(rearmost plane)到眼睛的距离。然后，距离计算器209将所计算出的距离发送到CPU 3。
显示装置驱动器521基于来自CPU 3的信号来驱动显示装置510。例如，显示装置驱动器521在显示装置510上显示由摄像元件2拍摄到的被摄体的图像以及各种信息。这里的显示装置510是指显示面板411或EVF面板6。
参考图3描述了照相机壳体1B的配置。图3是在由图1A所示的Y轴和Z轴做出的Y-Z面上进行切割所得到的照相机壳体1B的截面图，从而示出照相机壳体1B的配置的图解表示。这是从用户的左手侧观看的处于正常位置状态下的照相机壳体1B的截面图。
在照相机壳体1B中，快门7和摄像元件2沿拍摄镜头单元1A的光轴的方向对准。显示面板411设置在照相机壳体1B的背面。显示面板411示出用于照相机1的操作以及用于照相机1所获取的图像的观看和编辑的菜单和图像。显示面板411配置有具有背光的液晶面板或有机EL面板。在照相机壳体1B的上部设置有包括EVF面板6、显示光学系统12和视线检测系统20的EVF单元1C(取景器设备或取景器模块)。EVF面板6能够显示与显示面板411的画面相同的画面，并且配置有具有背光的液晶面板或有机EL面板。显示光学系统12和视线检测系统20将在后面更详细地描述。EVF单元1C可以可移除地附接到照相机壳体1B，或者可以不可移除地附接(可以作为照相机壳体1B的一部分而固定地附接)。
参考图4描述了EVF单元1C的配置。图4是在Y-Z面上进行切割所得到的EVF单元1C的截面图，从而示出EVF单元1C的配置的图解表示。
EVF面板6、显示光学系统12和目镜窗13沿作为显示光学系统12的光轴的显示光学系统的光轴23对准。
显示光学系统12布置在EVF面板6的显示面前方，并且通常由多个透镜组成以放大EVF面板6。在本实施例的情况下，显示光学系统12由G1透镜9、G2透镜10和G3透镜11这三个透镜组成。形成显示光学系统12的透镜的数量没有特别限制，并且可以存在四个或五个透镜。G1透镜9、G2透镜10和G3透镜11是用于透射可见光的、并且通过对光学玻璃或透明光学塑料的切割、研磨或成型而制造的光学透镜。
布置在显示光学系统12的更前方(跨显示光学系统12与EVF面板6的相对侧)的目镜窗13是具有能够透射可见光的部分的透明构件。显示在EVF面板6上的图像由显示光学系统12放大，并且由用户通过目镜窗13的透明部观察。
形成显示光学系统12的透镜以及目镜窗13没有必要一定完全是光学有效的形状或面(例如，透明面)。例如，形成显示光学系统12的透镜以及目镜窗13可以具有用于定位或加强目的的形状、或用于使操作人员在组装期间把持的形状、或提供用于利用附着剂固定的附着面的形状，或者可以包括照明孔，并且这些部件不需要是透明的。此外，从光学器件的角度来看不需要是透明的一些部件(例如，不应透射光的部件)可以具有阻挡光的涂装面或印刷面。
红外LED 14和红外透射窗16设置在目镜窗13的后方(在面对EVF面板6的一侧)。红外透射窗16是覆盖红外LED 14以使其从外部不可见的窗，并且由吸收可见光并透射红外光的树脂制成。
视线检测系统20也设置在目镜窗13的后方。视线检测系统20包括光圈17、视线光学系统18和视线图像传感器19，这些沿作为视线光学系统18的光轴的视线光学系统的光轴22对准。
光圈17是用于调节在视线图像传感器19中形成用户的眼睛(眼球21)的图像所需的光束的孔径。在本实施例中，光圈17设置有吸收可见光并透射红外光的过滤器，以检测从红外LED 14发射并被眼球21反射的光。
视线光学系统18是用于在视线图像传感器19的摄像面上形成眼球21的光学图像的光学系统(眼球摄像光学系统)，并且被配置有光学透镜等。虽然图4示出了一个透镜作为视线光学系统18，但是视线光学系统18可以包括多个透镜。
视线图像传感器19是用于拍摄眼球21的眼球图像传感器，并且输出包含红外分量的图像(视线传感器图像，例如用户的眼睛的拍摄图像)。视线图像传感器19的摄像面是矩形，并且因此视线传感器图像也是矩形。稍后将参考图8A和图8B详细描述视线传感器图像。
虽然视线检测系统20中的光圈17、视线光学系统18和视线图像传感器19在本实施例中是单独的组件，但是视线检测系统20作为替代可以是具有被集成为封装体的这些组件的小型模块照相机。
在本实施例中，视线光学系统的光轴22和显示光学系统的光轴23是非平行的，并且彼此以角度24相交。更具体地，当照相机壳体1B采取正常位置状态下的取向(预定取向)时，视线检测系统20在EVF单元1C中位于Y轴的下侧。视线光学系统的光轴22指向位于Y轴的上侧的显示光学系统的光轴23(Y-Z面中斜向上)。
在一些传统配置中，在视线光学系统的光轴22与显示光学系统的光轴23部分重合的情况下，显示光学系统12包括作为其一部分的分光镜或分光棱镜。与不使用分光镜或分光棱镜的配置相比，这样的配置使得极其难以在不增加EVF单元1C的大小的情况下提高EVF单元1C的光学性能。此外，分光棱镜通常昂贵，并导致成本增加。根据本实施例的配置具有并非平行配置的视线光学系统的光轴22和显示光学系统的光轴23，并且不使用分光镜或分光棱镜，使得可以在不导致大小或成本的增加的情况下提高EVF单元1C的光学性能。
在本实施例的情况下，视线光学系统的光轴22和显示光学系统的光轴23位于同一Y-Z面上。例如，这两个光轴不需要位于同一Y-Z面上，并且光轴之一可以在X轴的方向上偏移。也就是说，两个光轴可以相对彼此歪斜。
参考图5描述了视线光学系统的光轴22和显示光学系统的光轴23的优选配置。图5是示出图4的一部分的截面图。
在图5中，照相机壳体1B采取正常位置状态下的取向，其中用户的眼球21凝视位于显示光学系统的光轴23上的EVF单元1C。包括上眼睑27和下眼睑28的眼睑30覆盖眼球21。红外LED 14和红外透射窗16被布置为使得各自从显示光学系统的光轴23的上方和下方朝向眼球21发射红外光。
视线光学系统的光轴22(视线图像传感器19)布置得从显示光学系统的光轴23(显示光学系统12或EVF面板6)的下方(即，从存在用户的下眼睑28的方向)向上朝向眼球21。在大多数情况下，上眼睑27大于且厚于下眼睑28。因此，在视线光学系统的光轴22布置得从下眼睑28侧向上朝向眼球21的情况下，与视线光学系统的光轴22布置得从上眼睑27侧向下朝向眼球21的情况相比，更容易拍摄眼球21。更具体地，当视线图像传感器19拍摄眼球21时，可以减少由眼睑30阻挡眼球21引起的渐晕(vignetting)的发生。类似地，这种配置可以减少眼睑30阻挡从红外LED 14发射的红外光的正反射分量的主光束的图像(角膜反射图像、Purkinje图像或者Purkinje反射)的实例。角度24越小(即，视线光学系统的光轴22与显示光学系统的光轴23越接近平行或重合)，视线检测系统20可以越容易拍摄眼球21的图像。因此，角度24应优选是小的。
由于在使用时可以以各种方式把持照相机1，因此用户(眼球21)可以采取相对于照相机壳体1B的取向的各种取向(相对取向)。因此，在预期最频繁发生的照相机取向(具有照相机壳体1B、眼球21和眼睑30的取向或位置之间的关系)中，视线光学系统的光轴22的取向应优选被设置为从下眼睑28侧向上朝向眼球21。
参考图6和图7更详细地描述了视线检测系统20的配置。图6和图7示出了由多个组件组成的视线检测系统20作为一个模块或单元。图6示出在从眼球21观看时的EVF面板6和视线检测系统20的配置的示意图。
如图6所示，在从显示光学系统的光轴23上的眼球21观看时，EVF面板6具有作为水平矩形的显示面，该水平矩形具有比纵边6b(与垂直方向或上下方向大致平行的边)长的横边6a(与横方向或左右方向大致平行的边)。横边6a的长度和纵边6b的长度满足以下式1。即，横边6a(EVF面板6的显示面的长边)的长度的3倍是纵边6b(EVF面板6的显示面的短边)的长度的4倍或以上。例如，EVF面板6的显示面的长宽比(横边6a的长度：纵边6b的长度)大致为4：3。
3×{横边6a的长度}≥4×{纵边6b的长度}…(式1)
视线检测系统20布置得从具有显示面的EVF面板6下方朝向上。这样，如上所述，可以减少渐晕的发生。此外，EVF面板6的显示面在水平上长(具有短的纵边6b)使得视线光学系统的光轴22与显示光学系统的光轴23之间的角度24小，这更容易减少渐晕的发生。在假设EVF面板6的显示面具有恒定面积的情况下，长宽比(横边6a的长度/纵边6b的长度)越大，渐晕可以减少得越多。这并不意味着EVF面板6的显示面的形状限于满足式1的形状。
图7示出在从眼球21(从与显示光学系统的光轴23平行的方向)观看到的显示光学系统12的G3透镜11和视线检测系统20的配置的示意图。
G3透镜11是用于形成显示光学系统12的一部分的光学透镜，并且具有在透镜外周111内以较大比例显示EVF面板6所需的光学面，该透镜外周111是以显示光学系统的光轴23为中心的圆形形状的外周部分。以较大比例显示EVF面板6所需的光束不需要穿过G3透镜11的整个光学面，并且因此可以根据需要沿着直线或曲线部分地或整体地去除(切除)透镜外周111。在图7中，透镜外周111的下部沿着作为直线的切除线112被切除。视线检测系统20(视线图像传感器19)被布置成使得视线检测系统20(视线图像传感器19)被部分地包括在由透镜外周111的下部和切除线112包围的切除区域11b中。切除线112大致平行于EVF面板6的横边6a(图6)。这样，视线检测系统20可以被布置成甚至更接近显示光学系统的光轴23，使得视线光学系统的光轴22和显示光学系统的光轴23能够更接近平行(重合)。视线检测系统20(视线图像传感器19)可以整个位于切除区域11b内。切除线可以包括非直线部分和与EVF面板6的横边6a大致平行的直线部分。
由于包括G3透镜11的显示光学系统12的透镜是通过对光学玻璃或透明光学塑料的切割、研磨或成型而制作的，因此从加工成本和可靠的光学性能的观点来看，切除线112应优选是简单的直线。然而，切除线112不限于直线。例如，切除线112可以是部分包括直线的曲线，或切除线112可以是整个曲线。可以通过对透镜外周111进行钻孔(冲孔)加工而在透镜外周111中形成圆柱形孔，并且视线检测系统20可以被布置成使得视线光学系统的光轴22延伸穿过该圆柱形孔。在这种情况下，切除线112将是圆形形状或椭圆形形状。可以进行切割或成型以便形成弧形切除线112。
此外，切除区域可以仅设置到显示光学系统12的透镜中的一个透镜，或设置到多个透镜。在图4中，显示光学系统12的三个透镜中的两个透镜(G2透镜10和G3透镜11)各自具有切除区域10b或11b。视线检测系统20被布置成使得视线检测系统20在从与显示光学系统的光轴23平行的方向观看时被部分地包括在切除区域10b和11b中。
参考图9A、图9B和图10描述使用视线检测系统20检测视线的方法。图9A是示出由视线图像传感器19拍摄的图像(视线传感器图像)的示意图。图9A示出了在眼球图像被投影到视线图像传感器19的条件下获得的视线传感器图像。图9B是示出视线图像传感器19的输出强度(视线传感器图像的亮度)的图。图9B示出了图9A的区域α’的亮度信息(亮度分布)。图9B示出了X轴方向上的亮度分布，其中X轴方向是视线传感器图像的水平方向，并且Y轴方向是视线传感器图像的垂直方向。图10示出了视线检测操作的示意性流程图。
从沿X轴方向对准的两个红外LED 14发射的红外光照射用户的眼球21的角膜。如图9A所示，在视线传感器图像中的Pd和Pe处所示，由角膜的表面上所反射的红外光的一部分在视线图像传感器19附近形成两个角膜反射图像(与这两个红外LED 14相对应的两个角膜反射图像)。类似地，在视线图像传感器19附近形成的眼球21的瞳孔的光学图像表现为视线传感器图像中的瞳孔图像212。在视线图像传感器19附近形成的眼球21的虹膜的光学图像表现为视线传感器图像中的虹膜图像213。在下文中，瞳孔图像212在X轴方向上的两个端部应被称为瞳孔边缘图像212a和212b。角膜反射图像Pd和Pe出现在瞳孔图像212或虹膜图像213的内部。在该实施例中，视线光学系统的光轴22从Y轴的下侧向上指向显示光学系统的光轴23(视线光学系统的光轴22从下眼睑28侧向上指向眼球21)，使得瞳孔图像212和虹膜图像213表现为向上缩窄的形状。
随着视线检测操作的开始，在图10中的步骤S801处，红外LED 14发射红外光。例如，红外LED 14朝向用户的眼球21发射红外光。通过视线光学系统18在视线图像传感器19上形成用红外光照射的用户的眼球的光学图像，并且将该光学图像转换为电信号。因此，获得视线传感器图像的可处理的电信号。
在步骤S802处，视线检测器201将从视线图像传感器19获得的图像(视线传感器图像)发送到CPU 3。
在步骤S803处，CPU 3从在步骤S802处获得的视线传感器图像中确定与角膜反射图像和瞳孔中心相对应的点的坐标。
如图9B所示，在角膜反射图像Pd和Pe的坐标Xd和Xe处获得极高水平的亮度。在瞳孔图像212的区域(从与瞳孔边缘图像212a相对应的坐标Xa到与瞳孔边缘图像212b相对应的坐标Xb)中，除了坐标Xd和Xe之外，获得极低水平的亮度。在瞳孔图像212外部的虹膜图像213的区域中，获得上面两个水平的亮度之间的水平的亮度。可以从诸如图9B所示的亮度分布等的亮度分布中获得角膜反射图像Pd和Pe的x坐标Xd和Xe以及瞳孔边缘图像212a和212b的x坐标Xa和Xb。x坐标Xa和Xb之间的中点可以被计算为与瞳孔中心c相对应的x坐标Xc。
在步骤S804处，CPU 3计算眼球图像的成像倍率β。成像倍率β是由眼球21相对于视线光学系统18的位置(相对位置)确定的倍率，并且可以通过使用角膜反射图像Pd和Pe之间的距离(Xd-Xe)的函数来计算。
在步骤S805处，CPU 3计算眼球21的光轴相对于视线光学系统的光轴22的旋转角度。角膜反射图像Pd和Pe之间的中点的x坐标与角膜的曲率中心的x坐标大致一致。因此，眼球21在X-Z面中的旋转角度θx可以通过下面的式2来近似地计算，其中Oc表示从角膜的曲率中心到瞳孔中心的标准距离。类似地，也可以计算眼球21在Y-Z面中的旋转角度θy。
β×Oc×SINθx≈{(Xd+Xe)/2}-Xc…(式2)
在步骤S806处，CPU 3使用在步骤S805处计算出的旋转角度θx和θy来估计在EVF面板6的显示面上的用户的注视位置(注视点、用户的视线指向的位置、用户正在观看的位置)的坐标(Hx，Hy)。
在步骤S807处，CPU 3将所估计的注视位置的坐标(Hx，Hy)存储在存储器单元4中，并结束视线检测操作。
参考图8A和图8B描述视线传感器图像。眼球21相对于EVF单元1C不停留在一个位置。例如，根据用户是否佩戴眼镜、用户的健康状况或发型、或用户是否佩戴帽子，凝视在EVF面板6的用户的眼球21的位置变化。图4示出了位于显示光学系统的光轴23上的两个眼球21，其中眼球21a更接近EVF面板6并且眼球21b远离EVF面板6。图8A和图8B示出了彼此重叠的眼球21a和眼球21b的视线传感器图像211。
图8A示出了根据该实施例的视线传感器图像211，并且图8B示出了用于比较的一般视线传感器图像211。图8A和图8B的这两种情况使用相同的视线光学系统的光轴22和视线光学系统18，但是视线图像传感器19被不同地取向(摄像面的纵横)。
眼球图像221a是在视线图像传感器19附近形成的眼球21a的图像，并且眼球图像221b是在视线图像传感器19附近形成的眼球21b的图像。更不用说，实际的视线传感器图像将不示出眼球图像221a和眼球图像221b这两者，并且将仅示出眼球图像221a和眼球图像221b中的一个。附图标记223表示作为被投影到视线传感器图像211(视线图像传感器19的摄像面)上的显示光学系统的光轴23的直线的投影光轴。
视线图像传感器19的摄像面是矩形，并且视线传感器图像也是矩形。在图8A和图8B中，视线传感器图像211是具有长边211a和短边211b的矩形图像。长边211a的长度长于短边211b的长度。在图8A(本实施例)中，投影光轴223与视线传感器图像211的长边211a(视线图像传感器19的长边)大致平行。另一方面，在图8B(比较示例)中，投影光轴223与视线传感器图像211的短边211b大致平行(与长边211a大致垂直)。
从图8A和图8B之间的比较可以看出，眼球图像221b不被包括在图8B(比较示例)中的视线传感器图像211中，而在图8A(本实施例)中，眼球图像221b完全被包括在视线传感器图像211中。也就是说，虽然比较示例未能拍摄到眼球21b，但是本实施例成功地拍摄到眼球21b。
当凝视EVF单元1C时，用户调整眼球21的位置，使得眼球中心将更接近显示光学系统的光轴23。然而，如上所述，眼球21在显示光学系统的光轴23上的位置会变化。根据该实施例，投影光轴223与视线传感器图像211的长边211a(视线图像传感器19的长边)大致平行，这使得视线检测系统20能够从显示光学系统的光轴23上的较宽范围中检测眼球。因此，即使当眼球21定位得远离目镜窗13时，视线检测系统也可以拍摄眼球21。
虽然已经参考附图描述了本发明的优选实施例，但是本发明不限于上述实施例。上述实施例中的本发明可以被解释为适用于摄像设备，或适用于取景器设备。本发明可以适用于具有显示面板的任意设备，其中显示面板与观看该显示面板的眼睛之间的距离可能变化。例如，本发明可适用于诸如HMD(头戴式显示器)等的显示设备。在本发明适用于HMD的情况下，例如视线检测系统20用作HMD的用于右眼的视线检测系统和用于左眼的视线检测系统中的至少一个，使得HMD检测佩戴HMD的用户的视线(右眼和左眼中的至少一个的视线)。在一些HMD中，显示面板具有矩形显示面，该矩形显示面以一定取向设置，使得当HMD取向处于正常位置状态时，显示面的长边与上下方向大致平行。在这种情况下，视线检测系统也可以被布置成使得投影光轴与视线传感器图像的长边(视线图像传感器的长边)大致平行。例如，当HMD取向处于正常位置状态时，视线图像传感器19横向布置在纵向取向的EVF面板6的左侧或右侧。通过在本发明的主题的范围内适当地修改或改变上述实施例中的一些配置而获得的任意配置也包括在本发明中。
本发明使得在不导致设备大小或成本的增加的情况下更容易拍摄用户的眼睛。
虽然已经参考示例性实施例说明了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (11)

1.一种显示设备，包括：
显示面板；
显示光学系统，用于观看所述显示面板；
图像传感器，用于拍摄观看所述显示面板的用户的眼睛，所述图像传感器具有矩形的摄像面；以及
摄像光学系统，用于在所述摄像面上形成所述眼睛的光学图像，
其中，所述摄像光学系统具有与所述显示光学系统的光轴不平行的光轴，以及
所述显示光学系统的光轴在所述摄像面上的投影线与所述摄像面的长边大致平行。
2.根据权利要求1所述的显示设备，其中，
在所述显示设备处于预定取向的情况下，所述图像传感器布置得从所述显示光学系统的光轴下方朝向上。
3.根据权利要求2所述的显示设备，其中，
在所述显示设备处于所述预定取向的情况下，所述图像传感器布置得从所述显示面板下方朝向上。
4.根据权利要求3所述的显示设备，其中，
所述显示面板具有显示面，所述显示面是在所述显示设备处于所述预定取向的情况下具有与左右方向大致平行的长边的矩形。
5.根据权利要求4所述的显示设备，其中，
所述显示面具有长边和短边，其中所述长边的长度的三倍是所述短边的长度的四倍或更多倍。
6.根据权利要求1至5中任一项所述的显示设备，其中，
所述显示光学系统包括透镜，所述透镜具有通过在从与所述显示光学系统的光轴平行的方向观看时从圆形形状中去除该圆形形状的外周部分的一部分而获得的形状，以及
所述图像传感器被布置成使得所述图像传感器的至少一部分被包括在通过在从与所述显示光学系统的光轴平行的方向观看时去除所述外周部分的一部分而形成的区域中。
7.根据权利要求6所述的显示设备，其中，
所述透镜具有通过在从与所述显示光学系统的光轴平行的方向观看时切除所述外周部分的一部分而获得的形状。
8.根据权利要求7所述的显示设备，其中，
所述透镜具有通过沿着包括直线部分的切除线切除所述外周部分的一部分而获得的形状，其中所述直线部分在从与所述显示光学系统的光轴平行的方向观看时与所述显示面板的显示面的边大致平行。
9.根据权利要求1至5中任一项所述的显示设备，还包括：
检测器，其被配置为基于所述图像传感器所拍摄到的眼睛的图像来检测所述用户的注视。
10.一种取景器设备，包括：
根据权利要求1至9中任一项所述的显示设备；以及
目镜部，其中眼睛接近所述目镜部。
11.一种摄像设备，包括：
第二图像传感器，用于拍摄被摄体；以及
根据权利要求1至9中任一项所述的显示设备，其能够显示所述第二图像传感器所拍摄到的被摄体的图像。
CN202310020603.7A 2022-01-13 2023-01-06 显示设备、取景器设备和摄像设备 Pending CN116437180A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022003484A JP2023102822A (ja) 2022-01-13 2022-01-13 表示装置、ファインダ装置、および撮像装置
JP2022-003484 2022-01-13

Publications (1)

Publication Number Publication Date
CN116437180A true CN116437180A (zh) 2023-07-14

Family

ID=84569114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310020603.7A Pending CN116437180A (zh) 2022-01-13 2023-01-06 显示设备、取景器设备和摄像设备

Country Status (4)

Country Link
US (1) US20230224561A1 (zh)
EP (1) EP4215979A1 (zh)
JP (1) JP2023102822A (zh)
CN (1) CN116437180A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591394A (ja) 1991-09-26 1993-04-09 Canon Inc ビデオカメラ
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US11822714B2 (en) * 2020-05-15 2023-11-21 Canon Kabushiki Kaisha Electronic device and control method for capturing an image of an eye

Also Published As

Publication number Publication date
JP2023102822A (ja) 2023-07-26
EP4215979A1 (en) 2023-07-26
US20230224561A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US9092671B2 (en) Visual line detection device and visual line detection method
JP5151207B2 (ja) 表示装置
US10488917B2 (en) Gaze-tracking system and method of tracking user's gaze using reflective element
US11650660B2 (en) Electronic device, control method, and non-transitory computer readable medium
JP2014191386A (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US20230013134A1 (en) Electronic device
US20220329740A1 (en) Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium
US11822714B2 (en) Electronic device and control method for capturing an image of an eye
US20230224561A1 (en) Display apparatus, finder apparatus, and imaging apparatus
CN114650350A (zh) 注视检测设备、注视检测方法和计算机可读存储介质
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP7446898B2 (ja) 電子機器
US11971552B2 (en) Electronic device, method of controlling the same, and storage medium
WO2021085541A1 (ja) 撮像装置、電子機器、ファインダーユニット
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
JP2021064928A (ja) 電子機器
JP2021076832A (ja) 撮像装置、電子機器、ファインダーユニット
JP2021182736A (ja) 電子機器
JP2022124778A (ja) 電子機器
JP2023063023A (ja) 電子機器及び電子機器の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination