CN116095452A - 电子装置及其控制方法和存储介质 - Google Patents

电子装置及其控制方法和存储介质 Download PDF

Info

Publication number
CN116095452A
CN116095452A CN202211375184.0A CN202211375184A CN116095452A CN 116095452 A CN116095452 A CN 116095452A CN 202211375184 A CN202211375184 A CN 202211375184A CN 116095452 A CN116095452 A CN 116095452A
Authority
CN
China
Prior art keywords
display
optical system
eye
distance
eyepiece optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211375184.0A
Other languages
English (en)
Inventor
中道先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116095452A publication Critical patent/CN116095452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/10—Viewfinders adjusting viewfinders field
    • G03B13/14—Viewfinders adjusting viewfinders field to compensate for parallax due to short range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/24—Optical objectives specially designed for the purposes specified below for reproducing or copying at short object distances
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/04—Viewfinders of direct vision type, e.g. frame, sighting mark
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/10—Viewfinders adjusting viewfinders field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Viewfinders (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本发明涉及一种电子装置及其控制方法和存储介质。所述电子装置包括：显示器，其被配置为显示图像；目镜光学系统，用于观看显示器；以及控制单元，其被配置为控制显示器，以基于从目镜光学系统到查看目镜光学系统的用户的眼睛的距离来改变显示器的显示区域。

Description

电子装置及其控制方法和存储介质
技术领域
本发明涉及用于改变电子装置中所设置的显示器的显示区域的技术。
背景技术
诸如数字照相机和摄像机等的一些型号的摄像装置使用电子取景器(EVF)来从视觉上确认被摄体。电子取景器被配置成使得可以通过由多个透镜配置成的目镜光学系统放大地观看照相机的内部所设置的小显示器。用户可以通过查看该目镜光学系统来观看放大的显示图像。
最近，存在期望照相机的取景器的显示倍率更高的趋势。倍率越高，可以看到的图像越大，因此具有更容易确认聚焦的优点。另外，用户感觉更沉浸在具有大视野的取景器中，这使得拍摄图像更有趣。
然而，当从取景器到眼睛的距离增加时(例如，当用户在佩戴眼镜的情况下查看取景器时等)，如果显示区域太大，则将存在显示区域的一部分将被遮蔽的问题，这导致可视性较差并使取景更加困难。
作为针对该问题的一个对策，日本特开2010-016669公开了使得用户能够任意设置取景器的显示区域的技术。
然而，在日本特开2010-016669所公开的现有技术中，当改变取景器的显示区域时，需要从分级菜单进行操作。因此，存在如下的问题：对于有时在佩戴眼镜的情况下拍摄图像并且在其他时间在不佩戴眼镜的情况下拍摄图像的用户而言，用于改变显示区域的操作是麻烦的。
发明内容
本发明是考虑到上述问题而做出的，并且提供一种能够在针对用户而适当大小的显示区域中显示图像的电子装置。
根据本发明的第一方面，提供一种电子装置，包括：显示器，用于显示图像；目镜光学系统，用于观看所述显示器；以及控制部件，用于控制所述显示器，以基于从所述目镜光学系统到查看所述目镜光学系统的用户的眼睛的距离来改变所述显示器的显示区域。
根据本发明的第二方面，提供一种电子装置的控制方法，所述电子装置包括用于显示图像的显示器和用于观看所述显示器的目镜光学系统，所述控制方法包括：控制所述显示器，以基于从所述目镜光学系统到查看所述目镜光学系统的用户的眼睛的距离来改变所述显示器的显示区域。
根据本发明的第三方面，提供一种计算机可读存储介质，其存储有程序，所述程序用于使得计算机执行上述方法的各步骤。
通过以下参考附图对典型实施例的说明，本发明的进一步特征将变得明显。
附图说明
图1A和图1B是示出作为本发明的电子装置的第一实施例的镜头可更换数字照相机的外观的图。
图2是第一实施例的照相机的截面图。
图3是包括视线检测机构的光学系统的截面图。
图4A和图4B是包括视线检测机构的光学系统的立体图。
图5是在使用视线检测机构检测视线时的光路图。
图6是用于说明检测视野的方法的原理的示意图。
图7的(A)和图7的(B)是示出眼睛的图像的示意图。
图8是用于说明检测视线的操作的流程图。
图9是示出从目镜光学系统的最终面到眼睛的距离的示意图。
图10A和图10B是示出如何改变显示装置的显示区域的示意图。
图11A和图11B是示出基于从目镜光学系统的最终面到眼睛的距离来改变校准所使用的指标的显示的示意图。
图12是用于说明用于改变显示装置的显示区域的操作的流程图。
图13A和图13B是示出第二实施例中的如何改变显示装置的显示区域的示意图。
图14是用于说明第三实施例中的用于改变显示装置的显示区域的操作的流程图。
图15是用于说明第四实施例中的用于改变显示装置的显示区域的操作的流程图。
具体实施方式
在下文，将参考附图来详细说明实施例。注意，以下实施例并不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但没有限制成需要所有这些特征的发明，并且可以适当地组合多个这些特征。此外，在附图中，将相同的附图标记给予相同或类似的配置，并且省略了其冗余说明。
(第一实施例)
<配置的说明>
图1A和图1B是示出作为本发明的电子装置的第一实施例的镜头可更换数字照相机1(以下称为照相机)的外观的图。本发明中提到的电子装置不限于数字照相机，并且包括用于显示诸如图像和文本等的信息的装置、以及能够检测通过目镜光学系统观看光学图像的用户的视线的任何电子装置。这些电子装置可以包括例如移动电话、游戏机、平板终端、个人计算机、手表和眼镜型信息终端、头戴式显示器和双目镜等。
图1A是照相机1的正面立体图，并且图1B是照相机1的背面立体图。
如图1A所示，照相机1包括摄像镜头单元1A和照相机主体1B。照相机主体1B设置有释放按钮5，释放按钮5是用于接收来自用户(拍摄者)的摄像操作的操作构件。如图1B所示，照相机主体1B的背面设置有眼睛接近窗框121，其中用户查看眼睛接近窗框121以观看包括在照相机主体1B中并且后面将说明的显示装置6(参见图3)。
本实施例中的显示单元包括显示装置6。眼睛接近窗框121形成观看口13并且相对于照相机主体1B(从背面侧)向外突出。照相机主体1B的背面还设置有用于接收来自用户的各种操作的操作构件41至43。例如，操作构件41是接受用户的触摸操作的触摸面板，操作构件42是可以在各个方向上向下推动的操作杆，并且操作构件43是可以在四个方向中的各方向上推动的四方向键。操作构件41(触摸面板)设置有诸如液晶面板等的显示面板40(参见图3)，并且包括显示图像的功能。
图2是本实施例的照相机1的截面侧视图，并且是示出照相机1中的电气块配置的图。照相机主体1B包括用于拍摄被摄体图像的摄像元件2。摄像元件2是由例如CCD或CMOS传感器等配置成的摄像元件；由摄像镜头单元1A的光学系统在摄像元件2的摄像面上形成的光学图像被光电转换，并且所获得的模拟图像信号被A/D转换并被作为图像数据输出。
摄像镜头单元1A被配置为包括包含变焦透镜、调焦透镜和光阑等的光学系统，并且当安装在照相机主体1B上时，将来自被摄体的光束引导到摄像元件2，由此在摄像元件2的摄像面上形成被摄体的图像。光阑控制单元118、焦点调节单元119和变焦控制单元120各自通过安装触点单元117从CPU 3接收指示信号，并根据该指示信号分别驱动和控制光阑、调焦透镜和变焦透镜。
照相机主体1B中所设置的CPU 3从存储器单元4中所包括的ROM读取照相机主体1B中所设置的各个块所用的控制程序，在存储器单元4中所包括的RAM中展开这些程序，并执行这些程序。因此，CPU 3控制照相机主体1B中所设置的各个块的操作。CPU 3连接到视线检测单元201、测光单元202、自动焦点检测单元203、信号输入单元204、眼睛接近检测单元208、距离计算单元209、显示装置驱动单元210和光源驱动单元205等。此外，CPU 3通过安装触点单元117向摄像镜头单元1A中所设置的光阑控制单元118、焦点调节单元119和变焦控制单元120发送信号。在本实施例中，存储器单元4包括存储来自摄像元件2和视线检测传感器30的摄像信号的功能。
在视线检测传感器30(CCD-EYE)上形成眼球的图像的状态下，视线检测单元201对视线检测传感器30的输出(拍摄到眼球的眼睛的图像)进行A/D转换，并将该结果发送到CPU3。CPU 3根据后面将说明的预定算法从眼睛的图像中提取检测视线所需的特征点，并且根据特征点的位置计算用户的视线(视觉确认所用的图像中的注视点)。
此外，距离计算单元209计算从图9所示的目镜光学系统16的最终面到眼睛的距离32。距离计算单元209基于视线检测传感器30上的角膜反射图像的坐标来计算从目镜光学系统16的最终面到眼睛的距离32，并将输出值发送到CPU 3。距离计算单元209可以从如下的表等获得距离32，在该表中，基于角膜反射图像的坐标预先计算出了从目镜光学系统16的最终面到眼睛的距离32。
显示装置驱动单元210基于由距离计算单元209计算出的距离来确定显示装置6的显示区域，并进行显示。眼睛接近检测单元208将眼睛接近检测传感器50的输出发送到CPU3。CPU 3根据后面将说明的预定算法计算用户的眼睛是否已接近。光源驱动单元205根据来自CPU 3的命令将作为光源的红外LED 18至27驱动为预定发光强度。
测光单元202对从还用作测光传感器的摄像元件2获得的信号(更具体为亮度信号，其与视野的明度相对应)进行放大、对数压缩和A/D转换等，并将该结果作为视野亮度信息发送到CPU 3。
自动焦点检测单元203对来自包括在摄像元件2内的像素中且用于检测相位差的多个检测元件(多个子像素)的信号电压进行A/D转换，并将它们发送到CPU 3。CPU 3根据多个检测元件的信号计算与各焦点检测点相对应的到被摄体的距离。这是作为像平面相位差AF已知的已知技术。在本实施例中，作为示例，假定对取景器中的视野的图像(视觉确认所用的图像)进行分割，并且在摄像面上的通过分割所获得的180个位置中的各位置处存在焦点检测点。
图像处理单元206对存储器单元4内的RAM中所存储的图像数据进行各种图像处理。具体地，例如进行用于显像、显示和记录数字图像数据的各种图像处理，诸如由光学系统或摄像元件引起的像素的缺陷校正处理、去马赛克处理、白平衡校正处理、颜色插值处理和伽马处理等。
开关SW1和开关SW2连接到信号输入单元204，该开关SW1在释放按钮5的第一行程时变为接通(ON)，并且用于开始照相机1的测光、焦点检测和视线检测操作等，该开关SW2在释放按钮5的第二行程时变为接通，并且用于开始摄像操作。接通信号从开关SW1或SW2被输入到信号输入单元204，然后被发送到CPU 3。信号输入单元204还接收来自图1B所示的操作构件41(触摸面板)、42(按钮)和43(箭头键)的操作输入。
记录/输出单元207将包括图像数据的数据记录在诸如可移除存储卡等的存储介质上，或者将该数据经由外部接口输出到外部装置。
图3是包括本实施例的视线检测机构的光学系统的截面图，并且是通过在由图1A所示的Y轴和Z轴形成的YZ平面上切割照相机1所获得的图。
快门44和摄像元件2在摄像镜头单元1A的光轴方向上顺次布置。照相机主体1B的背面设置有显示面板40，该显示面板40用于操作照相机1、显示用于观看和编辑利用照相机1所获得的图像的菜单、以及显示图像。显示面板40由具有背光灯的液晶面板或者有机EL面板等配置成。
面板保持件7是用于保持由有机EL面板等配置成的显示装置6的面板保持件，接合并固定到显示装置6，并且配置成显示面板单元8。
第一光路分割棱镜9和第二光路分割棱镜10通过粘附接合，以配置成光路分割棱镜单元11(光路分割构件)。光路分割棱镜单元11将来自显示装置6的光束引导到用户的观看口13中所设置的目镜窗17，并且相反，将从眼睛(瞳孔)等反射并从目镜窗17引导的光引导到图4A和图4B所示的视线检测传感器30。显示面板单元8和光路分割棱镜单元11以掩模12在二者之间的状态固定，并且形成为一个单元。
目镜光学系统16由G1透镜13、G2透镜14和G3透镜15配置成。电子取景器被配置成使得通过目镜光学系统16放大地看到显示面板单元8，使得用户可以观看放大的显示图像。
目镜窗17是使可见光透过的透明元件。通过光路分割棱镜单元11、目镜光学系统16和目镜窗17观看显示面板单元8上所显示的图像。
照明窗20和21是用于使红外LED 18和19隐藏使得从外部不可见的窗，并且由吸收可见光并使红外光透过的树脂配置成。
除了能够作为典型的电子取景器(EVF)与显示面板40类似地显示菜单和图像之外，本实施例中的照相机主体1B中所设置的EVF被配置成能够检测看着EVF的用户的视线并将该检测的结果反映在照相机1的控制中。
与显示面板40类似，当用户正在查看取景器时，显示装置6用于显示用于操作照相机1以及观看和编辑由照相机1获得的图像的菜单，并且用于显示图像。显示装置6由具有背光灯的液晶面板或者有机EL面板等配置成。
图4A和图4B是包括本实施例的视线检测机构的光学系统的立体图和截面图。图4A是示出本实施例中的EVF的配置的立体图，并且图4B是EVF的光轴的横截侧视图。
目镜窗17是使可见光透过的透明元件。通过光路分割棱镜单元11、目镜光学系统16和目镜窗17观看显示面板6上所显示的图像。
红外LED 18、19、22、23、24、25、26和27被布置成从不同的位置和姿势朝向用户的观看口13照射红外光。照明窗20和21是用于使红外LED 18、19、22、23、24、25、26和27隐藏使得从外部不可见的窗，并且由吸收可见光并使红外光透过的树脂配置成。
红外LED 18、19、23和25是近距离照明所用的红外LED。红外LED 22、24、26和27是远距离照明所用的红外LED。包括光阑28和视线成像透镜29的视线检测光学系统进一步将由光路分割棱镜单元11从目镜窗17引导的反射红外光引导到视线检测传感器30。视线检测传感器30由诸如CCD或CMOS传感器等的固态摄像元件配置成。
眼睛接近检测传感器50由可以以比视线检测传感器30更低的电力驱动的光电二极管等配置成。用于检测视线的红外LED 22还用作用于检测眼睛的接近的红外LED。红外LED 22照射用户的眼睛，并且眼睛接近检测传感器50接收从用户漫反射的光。
在图4B中，查看目镜窗17的用户的已被红外LED照射的眼球的图像经由G3透镜15、G2透镜14和G1透镜13从第二面10a入射到第二光路分割棱镜10。该光路由31a表示。在第二光路分割棱镜的第一面10b上形成有用于反射红外光的分色膜。
被图4A所示的红外LED中的至少一个照射的眼球的图像被第一面10b朝向第二面10a反射。该反射光路由31b表示。通过了反射光路31b的红外光被第二面10a完全反射，通过成像光路31c，并且经由光阑28由视线成像透镜29在视线检测传感器30上形成图像。
为了检测视线，将由角膜所引起的红外LED的镜面反射形成的角膜反射图像与通过照射得到的眼球图像结合使用。图5示出从近距离照明所用的红外LED 18、19、23和25发射的光的从其被眼球的角膜611镜面反射起直到其由视线检测传感器30接收为止的光路的示例。
<用于检测视线的操作的说明>
将参考图6、图7的(A)、图7的(B)和图8来说明检测视线的方法。
图6是用于说明检测视线的方法的原理的图，并且是用于进行视线检测的光学系统的示意图。
如图6所示，光源601a和601b被布置成相对于受光透镜618(其与图4B中的视线成像透镜29相对应)的光轴基本上对称，并且照射用户的眼球610。从光源601a和601b发射并被眼球610反射的光中的一些光由受光透镜618会聚在视线检测传感器620(其与图4A、图4B和图5中的视线检测传感器30相对应)上。
图7的(A)是由视线检测传感器620拍摄到的眼睛图像(投影在视线检测传感器620上的眼球图像)的示意图，并且图7的(B)是示出视线检测传感器620中的摄像元件的输出强度的图。图8表示用于检测视线的操作的示意流程图。
当用于检测视线的操作开始时，在图8的步骤S801中，CPU 3使得光源601a和601b发光，从而朝向用户的眼球610照射视线检测所用的发光强度E2的红外光。被红外光照射的用户的眼球的图像通过受光透镜618形成在视线检测传感器620上，并且由视线检测传感器620进行光电转换。由此，获得了眼睛图像的可处理的电信号。
在步骤S802中，CPU 3使用视线检测单元201从视线检测传感器620获得眼睛图像(眼睛图像信号；眼睛图像的电信号)。
在步骤S803中，CPU 3从步骤S802中获得的眼睛图像获得与光源601a和601b的角膜反射图像Pd和Pe以及瞳孔中心c相对应的点的坐标。
从光源601a和601b发射的红外光照射用户的眼球610的角膜611。此时，由在角膜611的表面上反射的红外光中的一些红外光形成的角膜反射图像Pd和Pe被受光透镜618会聚并在视线检测传感器620上成像，由此成为眼睛图像中的角膜反射图像Pd'和Pe'。类似地，来自瞳孔612的端a和b的光束也在视线检测传感器620成像，由此成为眼睛图像中的瞳孔端图像a'和b'。
图7的(B)是示出图7的(A)的眼睛图像中的区域α'的亮度信息(亮度分布)的图。在图7的(B)中，眼睛图像的水平方向是X轴方向且垂直方向是Y轴方向，并且示出X轴方向上的亮度分布。在本实施例中，角膜反射图像Pd'和Pe'的X轴方向(水平)坐标是Xd和Xe，并且瞳孔端图像a'和b'的X轴方向坐标是Xa和Xb。
如图7的(B)所示，在角膜反射图像Pd’和Pe’的坐标Xd和Xe处获得极高水平的亮度。除坐标Xd和Xe以外，在与瞳孔612的区域(通过使来自瞳孔612的光束在视线检测传感器620上成像所获得的瞳孔图像的区域)相对应的从坐标Xa到坐标Xb的区域中获得极低水平的亮度。然后，在瞳孔612的外侧的虹膜613的区域(虹膜图像的区域，其在瞳孔图像的外侧并且是通过使来自虹膜613的光束成像所获得的)中，获得在上述两个类型的亮度中间的亮度。具体地，在X坐标(X轴方向上的坐标)小于坐标Xa的区域和X坐标大于坐标Xb的区域中，获得在上述两个类型的亮度中间的亮度。
可以从诸如图7的(B)所示等的亮度分布获得角膜反射图像Pd'和Pe'的X坐标Xd和Xe以及瞳孔端图像a'和b'的X坐标Xa和Xb。具体地，可以获得具有极高水平的亮度的坐标作为角膜反射图像Pd'和Pe'的坐标，并且可以获得具有极低水平的亮度的坐标作为瞳孔端图像a'和b'的坐标。此外，在眼球610的光轴相对于受光透镜618的光轴的转动角度θx小的情况下，通过使来自瞳孔中心c的光束在视线检测传感器30上成像所获得的瞳孔中心图像c'(瞳孔图像的中心)的坐标Xc可以被表示为Xc≈(Xa+Xb)/2。也就是说，可以根据瞳孔端图像a'和b'的X坐标Xa和Xb计算瞳孔中心图像c'的坐标Xc。这样，可以估计出角膜反射图像Pd'和Pe'的坐标以及瞳孔中心图像c'的坐标。
在步骤S804中，CPU 3计算眼球图像的成像倍率β。成像倍率β是由眼球610相对于受光透镜618的位置确定的倍率，并且可以使用角膜反射图像Pd'和Pe'之间的间隔(Xd-Xe)的函数来获得。
在步骤S805中，CPU 3计算眼球610的光轴相对于受光透镜618的光轴的转动角度。角膜反射图像Pd和角膜反射图像Pe的中点的X坐标与角膜611的曲率中心O的X坐标几乎一致。因此，当从角膜611的曲率中心O到瞳孔612的中心c的标准距离为Oc时，可以通过以下(式1)计算眼球610在Z-X平面(垂直于Y轴的平面)中的转动角度θx。眼球610在Z-Y平面(垂直于X轴的平面)中的转动角度θy也可以通过与计算转动角度θx的方法相同的方法来计算。
β×Oc×SINθx≈{(Xd+Xe)/2}-Xc...(式1)
在步骤S806中，CPU 3使用步骤S805中计算出的转动角度θx和θy来获得(估计)显示装置6上所显示的视觉确认所用的图像中的用户的注视点(视线末端的位置、用户正看着的位置)。如果注视点的坐标(Hx,Hy)是与瞳孔中心c相对应的坐标，则可以通过以下(式2)和(式3)计算注视点的坐标(Hx,Hy)。
Hx＝m×(Ax×θx+Bx)...(式2)
Hy＝m×(Ay×θy+By)...(式3)
(式2)和(式3)的参数m是由照相机1的取景器光学系统(诸如受光透镜618等)的配置确定的常数，是用于在视觉确认所用的图像中将转动角度θx和θy转换成与瞳孔中心c相对应的坐标的转换系数，并且假定是预先确定的且存储在存储器单元4中。参数Ax、Bx、Ay和By是校正视线中的个人差异的视线校正参数，是通过进行校准获得的，并且假定在用于检测视线的操作开始之前存储在存储器单元4中。
校准是获得用户的眼睛特征的处理，并且在根据转动角度计算注视点的坐标的情况下应用。基于在使用户聚焦于多个指标时的眼睛图像来计算用于校正灵敏度和视轴偏移的参数。灵敏度通过上述的参数Ax和Ay来校正，并且视轴偏移通过上述的参数Bx和By来校正。
在步骤S807中，CPU 3将注视点的坐标(Hx,Hy)存储在存储器单元4中，并且终止用于检测视线的操作。
图9是示出从目镜光学系统的最终面到眼睛的距离32的图。
从目镜光学系统16的最终面到眼睛的距离32可以使用角膜反射图像Pd’和Pe’的坐标或两个点之间的间隔的函数来获得。该函数是基于模拟或真实机器上的实际测量的结果所创建的。
图10A和图10B是示出改变显示器的显示区域的方法的图。
本实施例中的显示区域是指布置有有机发光二极管(OLED)的整个可显示区域中的OLED实际上照明的区域。基于从目镜光学系统16的最终面到用户的眼睛的距离32来改变显示器的显示区域。
如图10A所示，当用户的眼睛靠近目镜光学系统时，显示区域增大。图10A示出使用整个可显示区域进行显示的状态。相反，如图10B所示，当用户的眼睛远离目镜光学系统时，显示区域减小。在本实施例中，假定用户的眼睛与目镜光学系统之间的距离越短，显示区域的大小被设置得越大，并且该距离越远，该大小被设置得越窄。然而，可以进行切换，使得如果用户的眼睛与目镜光学系统之间的距离等于或小于预定阈值，则显示区域将增大(例如，增大到整个可显示区域)，并且如果该距离大于预定阈值，则显示区域将与在该距离等于或小于预定阈值的情况相比更小。此外，可以提供多个这样的阈值，以在阈值之前和之后以阶梯方式改变显示区域。
此外，在本实施例中，在改变显示器的显示区域时，改变OSD(屏幕菜单显示(OnScreen Display))显示和实时取景显示这两者。假定OSD显示显示了诸如摄像时的照相机设置(其包括光圈和快门速度)和电池剩余电量等的信息。
图11A和图11B是示出基于从目镜光学系统16的最终面到眼睛的距离32的对校准(CAL)所使用的指标的显示的变化的图。
在本实施例中，在视线检测所用的校准时，在用户正在看着中心处的指标时测量从目镜光学系统16的最终面到眼睛的距离32，并且基于该距离来改变校准内容。在视线检测所用的校准中，用户需要看着所指定的多个指标并持续固定时间段。
如图11A所示，如果用户的眼睛靠近目镜光学系统，则基于该距离来改变周边指标的布置。在校准中，周边指标相对于目镜光学系统16的光轴的像高越大，准确度将越高。如果从目镜光学系统16的最终面到眼睛的距离32短，则由于可以由用户稳定地观看的显示区域宽，因此周边指标可以如图11A所示对角地布置，这使得可以确保周边指标的像高。
如图11B所示，如果用户的眼睛远离目镜光学系统16，则基于该距离来改变周边指标的像高以使其减小。用户可以稳定地观看的显示区域根据所测量到的从目镜光学系统16的最终面到眼睛的距离32而改变。例如，如果该距离较短，则可以稳定地看到的区域将更宽；如果该距离较长，则可以稳定地看到的区域将更小。因此，将周边指标放置在该区域中使得可以确保用户看着周边指标。
图12是用于说明用于改变显示装置的显示区域的操作的流程图。该操作通过在步骤S1201中用户接通照相机1的电源而开始。
在步骤S1202中，CPU 3例如在显示面板40上显示询问用户是否进行校准的显示。
如果用户回答“进行校准”，则CPU 3使处理进入步骤S1203并进行校准。此时，计算从目镜光学系统16的最终面到眼睛的距离32。
在步骤S1204中，CPU 3基于步骤S1203中计算出的从目镜光学系统16的最终面到眼睛的距离32来确定显示器的用户优化的显示区域。
如果用户在步骤S1202中回答“不进行校准”，则CPU 3使处理进入步骤S1205。在步骤S1205中，CPU 3读出在先前进行校准时确定的显示区域。此时，用户需要选择用户特定的校准数据。
在步骤S1206中，CPU 3基于步骤S1205中读出的显示区域来确定显示区域。
在步骤S1207，CPU 3基于所确定的显示区域来实际改变显示装置6的显示区域。
如上所述，在本实施例中，在电子装置中，基于从目镜光学系统的最终面到眼睛的距离来改变显示单元的显示区域。具体地，在该距离较短的情况下，显示区域较大，并且在该距离较长的情况下，显示区域较小。因此，不需要麻烦的设置等，就可以在对于用户而言最佳的显示区域中显示图像。
此外，在本实施例中，使用角膜反射图像来计算从目镜光学系统的最终面到眼睛的距离。可以基于由视线检测传感器获得的图像的角膜反射图像的坐标来计算从目镜光学系统的最终面到眼睛的距离。因此，与单独提供视线检测部件和距离计算部件的配置相比，由于不特别需要用于计算距离的部件，因此可以防止装置变得复杂以及大小增加，这使得可以具有更便宜的配置。
此外，在本实施例中，在视线检测所用的校准时，根据从目镜光学系统的最终面到眼睛的距离来改变校准所使用的指标的显示。与不根据从目镜光学系统的最终面到眼睛的距离来改变校准所使用的指标的显示的配置相比，这允许更大的校准确定性和有效性。因此，预期视线检测的稳定性和准确性将提高。
此外，在本实施例中，当改变显示器的显示区域时，OSD显示和实时取景显示这两者都改变。因此，与仅改变实时取景显示并且OSD显示保持恒定的配置相比，不仅在实时取景显示中，而且在OSD显示中，都可以确保可视性。因此，用户在摄像时更容易确定诸如照相机设置和电池剩余电量等的信息。
此外，在本实施例中，在视线检测所用的校准时计算从目镜光学系统的最终面到眼睛的距离。因此，一旦获得并记录了用户特定的距离，从下次及下次之后起，就可以仅通过选择校准数据来容易地读出针对用户优化的显示区域。因此，用户可以快速转变到摄像。
(第二实施例)
在下文，将参考图13A和图13B来说明第二实施例。
在第一实施例中，当改变显示器的显示区域时，OSD显示和实时取景显示这两者都改变。相反，在第二实施例中，当改变显示区域时，仅实时取景显示改变，并且OSD显示维持恒定。
图13A示出眼睛靠近目镜光学系统的情况。图13B示出眼睛远离目镜光学系统的情况。
在本实施例中，不论眼睛相对于照相机的距离如何，OSD显示都是恒定的，并且仅实时取景显示的显示区域改变。因此，与OSD显示和实时取景显示这两者都改变的配置相比，可以在确保实时取景显示的可视性的同时，防止表示诸如照相机设置和电池剩余电量等的信息的字符的字体变小和难以看到。
(第三实施例)
在下文，将参考图14来说明第三实施例。
在第一实施例中，在视线检测所用的校准时计算从目镜光学系统16的最终面到眼睛的距离32。相反，在第三实施例中，在检测到眼睛的接近之后计算该距离。
在图14的步骤S1401中，CPU 3使用眼睛接近检测单元208来检测眼睛的接近。
在步骤S1402中，CPU 3判断从目镜光学系统16的最终面到眼睛的距离是否已稳定。这里，CPU 3判断由眼睛接近检测传感器50接收到的反射光量是否超过眼睛接近判断阈值而处于稳定。如果反射光量超过眼睛接近判断阈值而处于稳定，则判断为该距离已稳定，并且CPU 3使处理进入步骤S1403。另一方面，如果反射光量没有超过眼睛接近判断阈值或者不稳定，则CPU 3判断为该距离不稳定并且重复步骤S1402的处理，直到该距离稳定为止。
在步骤S1403中，CPU 3计算从目镜光学系统16的最终面到眼睛的距离。
在步骤S1404中，CPU 3基于步骤S1403中计算出的距离来确定显示器的显示区域。
在步骤S1405中，CPU 3基于步骤S1404中确定的显示区域来使显示器点亮。
在本实施例中，在检测到用户的眼睛接近了照相机之后，计算从目镜光学系统的最终面到眼睛的距离。因此，由于针对眼睛的接近的各实例来计算距离并且改变显示区域，因此可以在显示区域针对各实例中的用户查看取景器的方式而进行了优化的状态下进行显示。
(第四实施例)
以下将参考图15来说明第四实施例。
在第一实施例中，在视线检测所用的校准时计算从目镜光学系统16的最终面到眼睛的距离32。相反，在第四实施例中，在检测到用于改变显示器的显示区域的按钮的按下时计算该距离。在本实施例中，假定照相机主体1B的正面设置有用于改变显示器的显示区域的按钮。
在图15的步骤S1501中，CPU 3检测用于改变显示器的显示区域的按钮的按下。
在步骤S1502中，CPU 3计算从目镜光学系统16的最终面到眼睛的距离32。
在步骤S1503中，CPU 3基于步骤S1502中计算出的距离来确定显示器的显示区域。
在步骤S1504中，CPU 3基于步骤S1503中所确定的显示区域来改变显示器的显示区域。
在本实施例中，在检测到用于改变显示器的显示区域的按钮的按下时，计算从目镜光学系统的最终面到眼睛的距离。因此，可以再次计算距离并且当用户希望改变显示区域时，利用适当的显示区域进行显示。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种电子装置，包括：
显示器，用于显示图像；
目镜光学系统，用于观看所述显示器；以及
控制部件，用于控制所述显示器，以基于从所述目镜光学系统到查看所述目镜光学系统的用户的眼睛的距离来改变所述显示器的显示区域。
2.根据权利要求1所述的电子装置，其中，在从所述目镜光学系统到眼睛的距离是第一距离的情况下，所述控制部件将所述显示区域设置为第一大小，并且在从所述目镜光学系统到眼睛的距离是比所述第一距离长的第二距离的情况下，所述控制部件将所述显示区域设置为比所述第一大小小的第二大小。
3.根据权利要求1所述的电子装置，其中，所述控制部件根据从所述目镜光学系统到眼睛的距离来以阶梯方式改变所述显示区域。
4.根据权利要求1所述的电子装置，还包括：
获得部件，用于获得从所述目镜光学系统到眼睛的距离。
5.根据权利要求4所述的电子装置，其中，所述获得部件使用眼睛的角膜中的反射的图像来获得从所述目镜光学系统到眼睛的距离。
6.根据权利要求5所述的电子装置，其中，使用眼睛的角膜中的反射的图像包括：确定眼睛的特征点在角膜中的反射的图像中的坐标。
7.根据权利要求4所述的电子装置，还包括：
视线检测部件，用于检测视线，其中，所述获得部件在所述视线检测部件的校准时获得从所述目镜光学系统到眼睛的距离。
8.根据权利要求7所述的电子装置，其中，所述视线检测部件基于从所述目镜光学系统到眼睛的距离来改变校准所使用的指标的显示。
9.根据权利要求4所述的电子装置，其中，在检测到用户的眼睛接近了所述目镜光学系统的情况下，所述获得部件获得从所述目镜光学系统到眼睛的距离。
10.根据权利要求4所述的电子装置，其中，在所述显示器的显示区域已改变的情况下，所述获得部件获得从所述目镜光学系统到眼睛的距离。
11.根据权利要求1所述的电子装置，其中，在改变所述显示器的显示区域的情况下，所述控制部件改变OSD显示和实时取景显示这两者的显示区域。
12.根据权利要求1所述的电子装置，其中，在改变所述显示器的显示区域的情况下，所述控制部件仅改变实时取景显示并且维持OSD显示的显示区域恒定。
13.根据权利要求1所述的电子装置，还包括：
摄像部件，用于拍摄图像。
14.一种电子装置的控制方法，所述电子装置包括用于显示图像的显示器和用于观看所述显示器的目镜光学系统，所述控制方法包括：
控制所述显示器，以基于从所述目镜光学系统到查看所述目镜光学系统的用户的眼睛的距离来改变所述显示器的显示区域。
15.一种计算机可读存储介质，其存储有程序，所述程序用于使得计算机执行根据权利要求14所述的控制方法。
CN202211375184.0A 2021-11-05 2022-11-04 电子装置及其控制方法和存储介质 Pending CN116095452A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021181436A JP2023069526A (ja) 2021-11-05 2021-11-05 電子機器及びその制御方法、プログラム
JP2021-181436 2021-11-05

Publications (1)

Publication Number Publication Date
CN116095452A true CN116095452A (zh) 2023-05-09

Family

ID=84839606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211375184.0A Pending CN116095452A (zh) 2021-11-05 2022-11-04 电子装置及其控制方法和存储介质

Country Status (6)

Country Link
US (1) US11971552B2 (zh)
JP (1) JP2023069526A (zh)
KR (1) KR20230065893A (zh)
CN (1) CN116095452A (zh)
DE (1) DE102022129075A1 (zh)
GB (1) GB2614592B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160343A (ja) * 1994-12-05 1996-06-21 Olympus Optical Co Ltd 画像表示装置
US6816313B2 (en) 2000-12-21 2004-11-09 Canon Kabushiki Kaisha Display unit, display method, and display instrument employing the same
JP5078781B2 (ja) 2008-07-04 2012-11-21 オリンパス株式会社 画像表示装置及び撮像装置
US20160116740A1 (en) * 2014-10-24 2016-04-28 Seiko Epson Corporation Display device, control method for display device, display system, and computer program
JP6579899B2 (ja) * 2015-10-09 2019-09-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
EP3771967A3 (en) 2019-08-02 2021-06-02 Canon Kabushiki Kaisha Electronic device, control method, and computer readable medium

Also Published As

Publication number Publication date
US20230148300A1 (en) 2023-05-11
GB202216448D0 (en) 2022-12-21
US11971552B2 (en) 2024-04-30
JP2023069526A (ja) 2023-05-18
KR20230065893A (ko) 2023-05-12
DE102022129075A1 (de) 2023-05-11
GB2614592B (en) 2024-09-25
GB2614592A (en) 2023-07-12

Similar Documents

Publication Publication Date Title
US20230013134A1 (en) Electronic device
US20210034151A1 (en) Electronic device, control method, and non-transitory computer readable medium
CN114650350A (zh) 注视检测设备、注视检测方法和计算机可读存储介质
US20220329740A1 (en) Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium
US11822714B2 (en) Electronic device and control method for capturing an image of an eye
CN116095452A (zh) 电子装置及其控制方法和存储介质
JP7446898B2 (ja) 電子機器
JP2021125867A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
US12041339B2 (en) Observation system, control method of observation system, and control program of observation system
US20240114228A1 (en) Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium
EP4215979A1 (en) Display apparatus, finder apparatus, and imaging apparatus
JP2022124778A (ja) 電子機器
US12118747B2 (en) Gaze detection apparatus
JP2021182736A (ja) 電子機器
JP2022171084A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2024003432A (ja) 電子機器
JP2023083695A (ja) 電子機器
JP2021043368A (ja) 電子機器およびその制御方法
CN114631304A (zh) 摄像设备、电子装置、取景器单元
JPH0943494A (ja) 視線検出手段を有する光学機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination