CN118138869A - 电子设备及其控制方法和存储介质 - Google Patents

电子设备及其控制方法和存储介质 Download PDF

Info

Publication number
CN118138869A
CN118138869A CN202311624559.7A CN202311624559A CN118138869A CN 118138869 A CN118138869 A CN 118138869A CN 202311624559 A CN202311624559 A CN 202311624559A CN 118138869 A CN118138869 A CN 118138869A
Authority
CN
China
Prior art keywords
eye
line
detector
sight
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311624559.7A
Other languages
English (en)
Inventor
铃木康之
峰阳介
伊藤公一
内田武志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN118138869A publication Critical patent/CN118138869A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Exposure Control For Cameras (AREA)
  • Viewfinders (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供电子设备及其控制方法和存储介质。该电子设备包括:接近检测器,其被配置为检测物体向取景器的接近;视线检测器,其被配置为检测针对在所述取景器内部布置的第一显示单元的视线信息;判断单元,其被配置为基于所述视线检测器的检测结果来判断眼睛接近状态或眼睛不存在状态;控制单元,其被配置为在所述判断单元判断为所述眼睛不存在状态的情况下,开始驱动所述接近检测器,并且在所述接近检测器没有检测到所述物体的接近的情况下,停止驱动所述视线检测器。

Description

电子设备及其控制方法和存储介质
技术领域
实施例的一方面涉及一种电子设备及其控制方法和存储介质。
背景技术
一些传统电子设备包括被配置为检测眼睛接近或靠近的眼睛接近传感器(接近或靠近检测器)以及被配置为检测用户的视线的视线(或目光线)检测传感器(视线检测器)。该类型的电子设备可能由于从各个传感器发射的光(传感器光)的相互影响而导致误检测。日本特开2021-093624公开了如下的电子设备,该电子设备在眼睛接近检测器检测到眼睛接近的情况下驱动视线检测器并停止眼睛接近检测器,并且在视线检测器无法检测到视线的情况下停止视线检测器并驱动眼睛接近检测器。因而,控制眼睛接近检测器和视线检测器能够防止各个传感器光彼此影响。
日本特开2021-093624中公开的电子设备在判断用户眼睛的分离(眼睛分离、眼睛不存在或眼睛非接近)时,在眼睛略微移位到取景器的一旁的情况下无法检测到视线,因而判断为眼睛分离,停止视线检测器并驱动眼睛接近检测器。另外,在用户眨眼的情况下,该电子设备无法检测到视线,因而每当用户眨眼时,该电子设备重复地停止视线检测器并驱动眼睛接近检测器。结果,该电子设备无法稳定地检测视线。
发明内容
根据实施例的一个方面的电子设备包括:接近检测器,其被配置为检测物体向取景器的接近;视线检测器,其被配置为检测针对在所述取景器内部布置的第一显示单元的视线信息;判断单元,其被配置为基于所述视线检测器的检测结果来判断眼睛接近状态或眼睛不存在状态;控制单元,其被配置为在所述判断单元判断为所述眼睛不存在状态的情况下,开始驱动所述接近检测器,并且在所述接近检测器没有检测到所述物体的接近的情况下,停止驱动所述视线检测器。上述电子设备的控制方法也构成实施例的另一方面。
根据参考附图对实施例的以下描述,本公开的其他特征将变得明显。
附图说明
图1A和图1B是根据第一实施例的摄像设备的外观图。
图2是根据第一实施例的摄像系统的框图。
图3A和图3B是示出根据第一实施例的控制方法的流程图。
图4是第一实施例中的利用红外光对人物进行投射的眼球像。
图5是示出根据第二实施例的控制方法的流程图。
图6示出第二实施例中的眼球像与到眼球的距离之间的关系。
图7是示出根据第三实施例的控制方法的流程图。
具体实施方式
在下文中,术语“单元”可以是指软件上下文、硬件上下文、或软件上下文和硬件上下文的组合。在软件上下文中,术语“单元”是指功能性、应用、软件模块、功能、例程、指令集或可以由诸如微处理器、中央处理单元(CPU)或专门设计的可编程装置或控制器等的可编程处理器执行的程序。存储器包含指令或程序,该指令或程序在由CPU执行时,使得CPU进行与单元或功能相对应的操作。在硬件上下文中,术语“单元”是指硬件元件、电路、装配件、物理结构、系统、模块或子系统。根据具体实施例,术语“单元”可以包括机械、光学或电子组件、或者它们的任意组合。术语“单元”可以包括有源组件(例如晶体管)或无源组件(例如电容器)。术语“单元”可以包括具有基板和其他材料层的半导体装置,其中该其他材料层具有各种浓度的电导率。术语“单元”可以包括可以执行存储器中所存储的程序以进行特定功能的CPU或可编程处理器。术语“单元”可以包括由晶体管电路或任何其他开关电路实现的逻辑元件(例如,与(AND)、或(OR))。在软件上下文和硬件上下文的组合中,术语“单元”或“电路”是指如上所述的软件上下文和硬件上下文的任何组合。另外,术语“元件”、“装配件”、“组件”或“装置”也可以是指与封装材料集成或不与封装材料集成的“电路”。
现在将参考附图给出根据本公开的实施例的详细描述。在各个实施例中描述了多个特征,但并非所有这些特征都是必要的,并且可以任意组合这多个特征。在各图中,相应要素将由相同的附图标记表示,并且将省略重复描述。
第一实施例
现在将参考图1A和图1B给出作为根据第一实施例的电子设备的摄像设备(数字照相机、照相机主体)100的配置和功能的描述。图1A和图1B是摄像设备100的外观图。图1A示出摄像设备100的前立体图。图1B示出摄像设备100的后立体图。摄像设备100是能够拍摄静止图像或运动图像的数字照相机。
背面显示单元101是设置在取景器外的摄像设备100的后表面上的诸如液晶面板或有机EL面板等的显示装置,并且显示图像和各种信息使得用户可以识别它们。背面显示单元101具有回放已拍摄的静止图像、显示在记录期间的运动图像、以及显示实时取景图像的功能。触摸面板271设置在背面显示单元101上。触摸面板271是被配置为检测背面显示单元101的显示面(触摸面板271的操作面)上的接触(触摸操作)的触摸检测器。取景器外显示单元243是设置在照相机主体的顶面上的诸如液晶面板或有机EL面板等的显示装置,并且显示诸如快门速度和F值(光圈值)等的各种照相机设置。
快门按钮(SHUTTER BTN)102是用于指示摄像的推式按钮操作构件。模式开关103是用于在各种模式之间切换的拨盘型操作构件。模式开关103将系统控制单元201的操作模式切换到静止图像拍摄模式、运动图像记录模式和回放模式之一。静止图像拍摄模式例如包括作为针对各个摄像场景的摄像设置的自动摄像模式、自动场景判断模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)、程序自动曝光(AE)模式(P模式)、各种场景模式、程序AE模式、自定义模式等。模式开关103用于直接切换到静止图像拍摄模式中所包括的多个模式之一。可替代地,在模式开关103一旦切换到静止图像拍摄模式之后,可以使用其他操作构件将模式切换到静止图像拍摄模式中所包括的多个模式中的任一模式。类似地,运动图像记录模式和回放模式也可以包括多个模式。
端子盖104是保护用于经由诸如USB线缆等的线缆将外部装置和摄像设备100相连接的连接器(未示出)的盖构件。主电子拨盘105是下面将参考图2描述的操作(OPE)单元270中所包括的旋转操作构件,并且转动主电子拨盘105可以改变诸如快门速度和F值等的设置值。电源开关106是接通和断开摄像设备100的电源的操作构件。副电子拨盘107是使选择框移动和进给图像等的旋转操作构件。十字键108是通过按压由上、下、左和右组成的四个方向按钮中的任一个而可以与十字键108的按压部分相对应地操作的移动指示构件。
设置(SET)按钮109是主要用于确定选择项的推式按钮操作构件。记录按钮110是用于在静止图像拍摄模式下开启和关闭实时取景显示、并且在运动图像记录模式中指示开始或停止运动图像拍摄(记录)的推式按钮操作构件。放大按钮111是用于在实时取景期间开启和关闭放大显示、并且在放大显示期间改变放大率的推式按钮操作构件。放大按钮111还用于放大回放图像并增加回放模式中的放大率。在开启放大显示后,可以通过操作主电子拨盘105来放大或缩小实时取景图像。
AE锁定按钮112是可以在摄像待机状态下按压时固定曝光状态的推式按钮操作构件。回放按钮113是用于在摄像模式和回放模式之间切换的推式按钮操作构件。通过在摄像模式期间按压回放按钮113,模式变换到回放模式,并且记录在记录介质250上的图像中的最新图像可以显示在背面显示单元101上。菜单按钮114是在被按压时在背面显示单元101上显示具有各种设置的菜单画面的推式按钮操作构件。用户可以使用在背面显示单元101上所显示的菜单画面、十字键108和设置按钮109直观地进行各种设置。
背面显示单元(第二显示单元)101和(将在下面描述的)取景器内显示单元(位于取景器内部的第一显示单元)229用作电子取景器(EVF),并且它们的显示由系统控制单元201根据上述各种操作模式来控制。目镜单元216是窥视型目镜取景器。用户可以经由目镜单元216在视觉上识别取景器内显示单元229上所显示的图像,并且可以确认通过镜头设备200拍摄的被摄体图像的焦点和构图。眼睛接近检测器(EYE PRX)217布置在目镜单元216附近并且能够检测物体向目镜单元216的接近(物体向取景器的接近)。眼睛接近检测器217例如使用红外接近传感器。
通信端子210是摄像设备100与镜头设备200(参见图2)进行通信所通过的电触点。盖116是用于使槽打开和关闭以将记录介质250附接到摄像设备100和从摄像设备100拆卸的构件。把手部115被成形为使得用户能够在用户保持摄像设备100的情况下容易地用他的右手握持把手部115。快门按钮102和主电子拨盘105布置在用户通过用他右手的小指、无名指和中指握持把手部115来保持摄像设备100期间利用用户右手的食指可操作的位置。在相同状态下,副电子拨盘107布置在能够用右手拇指操作的位置处。
现在将参考图2给出根据该实施例的摄像系统10的内部配置的描述。图2是摄像系统10的框图。摄像系统10包括摄像设备(照相机主体)100和可附接到摄像设备100并且可从摄像设备100拆卸的镜头设备(可更换的镜头)200。然而,本实施例不限于该示例,并且也可以适用于照相机主体和镜头设备彼此集成的摄像设备。在图2中,与图1A和图1B中的组件相同的组件将由相同的附图标记来表示。
镜头设备200包括摄像光学系统207。尽管摄像光学系统207通常包括多个透镜,但是为了简单起见,这里仅示出单个透镜。通信端子206是镜头设备200与摄像设备100进行通信所通过的电触点。通信端子210是摄像设备100与镜头设备200进行通信所通过的电触点。镜头设备200经由通信端子206与系统控制单元201进行通信,并且内置镜头控制单元204控制光圈驱动电路202驱动孔径光阑205,并且控制AF驱动电路203改变摄像光学系统207的位置以用于聚焦。
焦平面快门221可以根据来自系统控制单元201的指示自由地控制摄像单元222的曝光时间。摄像单元222包括用于将被摄体图像转换成电信号的诸如CCD或CMOS等的图像传感器(摄像元件或光电转换元件)。A/D转换器223将从摄像单元222输出的单像素模拟信号转换成例如10位数字信号。图像处理单元224对来自A/D转换器223的数据或来自存储器控制单元215的数据进行预定的诸如像素插值和减少等的大小调整处理以及颜色转换处理。图像处理单元224使用拍摄图像数据进行预定的计算处理,并且系统控制单元201基于计算结果进行曝光控制和距离测量控制。因此,进行通过镜头(TTL)型自动调焦(AF)处理、AE处理和闪光灯预发光(EF)处理。图像处理单元224还使用拍摄图像数据进行预定的计算处理,并且基于计算结果进行TTL型自动白平衡(AWB)处理。
存储器控制单元215控制与A/D转换器223、图像处理单元224或存储器232的数据交换。从A/D转换器223输出的数字数据经由图像处理单元224和存储器控制单元215或者经由存储器控制单元215直接写入存储器232。存储器232存储从摄像单元222和A/D转换器223获得的图像数据、以及背面显示单元101或取景器内显示单元229上所要显示的图像显示数据。存储器232具有足以存储预定数量的静态图像、预定时段的运动图像和音频的存储容量。存储器232还用作图像显示存储器(视频存储器)。D/A转换器219将存储在存储器232中的图像显示数据转换成模拟信号,并将该模拟信号供给到背面显示单元101或取景器内显示单元229。
在存储器232中写入的显示用图像数据经由D/A转换器219显示在背面显示单元101和取景器内显示单元229上。背面显示单元101和取景器内显示单元229在显示装置上进行根据来自D/A转换器219的模拟信号的显示。因而,通过将存储在存储器232中的数字信号转换成模拟信号并且顺次传送并在背面显示单元101或取景器内显示单元229上进行显示,可以实现用于提供实时取景(LV)显示(通过图像显示)的EVF。经由取景器内显示单元(EFDU)驱动电路244,在取景器外显示单元243上显示诸如快门速度和孔径光阑等的照相机的各种设置值。
非易失性存储器(NVM)256电可擦除且可记录,诸如EEPROM等。非易失性存储器256存储用于系统控制单元201的操作的常数、程序等。这里,程序是用于执行下面描述的流程图的程序。系统控制单元201包括共同控制整个摄像设备100的CPU和MPU,并且执行存储在非易失性存储器256中的程序以实现下面描述的流程图中的各个处理。系统存储器252是RAM等,并且还用作用于存储用于系统控制单元201的操作的常数和变量、以及从非易失性存储器256读取的程序等的工作存储器。系统控制单元201还通过控制存储器232、D/A转换器219、背面显示单元101和取景器内显示单元229等来进行显示控制。
系统计时器253是测量各种控制的时间和内置时钟的时间的计时器。第一快门开关211和第二快门开关212向系统控制单元201输入以下操作指示。设置在摄像设备100上的快门按钮102被按压中途或半按压(摄像准备指示)的情况下,第一快门开关211接通并生成第一快门开关信号SW1。系统控制单元201接收第一快门开关信号SW1并使得图像处理单元224开始AF处理、AE处理、AWB处理、EF处理等。在快门按钮102的操作完成或完全按压(摄像指示)的情况下,第二快门开关212接通并生成第二快门开关信号SW2。系统控制单元201响应于第二快门开关信号SW2而开始从来自摄像单元222的读出信号到将图像数据写入记录介质250的一系列摄像处理。
操作单元270是用于接收来自用户的各种操作并向系统控制单元201通知指示的诸如各种开关或按钮等的操作构件。操作构件例如包括快门按钮102、模式开关103、主电子拨盘105、电源开关106、副电子拨盘107和十字键108。摄像构件包括设置按钮109、记录按钮110、放大按钮111、AE锁定按钮112、回放按钮113和菜单按钮114。电源控制单元280包括电池检测电路、DC-DC转换器和用于切换要通电的块的开关电路等,并且检测是否附接有电池、电池的类型和剩余电池电量。电源控制单元280基于来自系统控制单元201的检测结果和指示来控制DC-DC转换器,并且在所需时段向包括记录介质250的各个单元供给所需电压。电源单元230包括诸如碱性电池或锂电池等的一次电池;诸如NiCd电池、NiMH电池或锂离子电池等的二次电池;或AC适配器等。记录介质I/F 218是与诸如存储卡或硬盘驱动器等的记录介质250的接口。
记录介质250是诸如用于记录拍摄图像的存储卡等的记录介质,并且包括半导体存储器或磁盘等。通信单元(COMM)254经由无线天线或有线线缆可通信地连接到外部装置,并且发送和接收视频和音频。通信单元254还可以连接到无线局域网(LAN)和因特网。通信单元254可以将摄像单元222所拍摄的图像数据(包括实时取景图像)和记录在记录介质250上的图像文件发送到外部装置,并且还可以从外部装置发送图像数据和其他各种类型。通信单元254不限于无线LAN,并且可以使用诸如红外通信、Bluetooth(注册商标)(蓝牙)、Bluetooth(注册商标)Low Energy(蓝牙低功耗)或无线USB等的无线通信模块。可替代地,通信单元254可以使用诸如USB线缆、HDMI(注册商标)或IEEE1394等的有线连接单元。
姿势检测器(ORIDET)255检测摄像设备100相对于重力方向的姿势。基于姿势检测器255所检测到的姿势,可以判断摄像单元222所拍摄的图像是用水平保持的摄像设备100拍摄的图像还是用垂直保持的摄像设备100拍摄的图像。系统控制单元201可以将根据姿势检测器255所检测到的姿势的姿势信息添加到摄像单元222所拍摄的图像的图像文件,或者可以转动和记录图像。姿势检测器255例如包括加速度传感器或陀螺仪传感器。姿势检测器255还可以使用加速度传感器或陀螺仪传感器来检测摄像设备100的移动(平摇、俯仰、抬起、静止站立等)。
摄像设备100包括能够检测背面显示单元101上的触摸操作的触摸面板271作为操作单元270。触摸面板271与背面显示单元101可以集成。例如,触摸面板271被配置为使得触摸面板271的光透射率不会干扰背面显示单元101上的显示,并且附接到背面显示单元101的显示面的上层。触摸面板271上的输入坐标与背面显示单元101上的显示坐标相关联。由此,GUI可以被配置为仿佛用户可以直接操作背面显示单元101上所显示的画面。
系统控制单元201可以检测触摸面板271上的以下操作或状态。
(1)尚未触摸到触摸面板271的用户手指或笔对触摸面板271进行新触摸。即,触摸的开始(下文中被称为触及(touch-down))。
(2)正在用用户手指或笔对触摸面板271进行触摸(下文中被称为触摸持续(touch-on))。
(3)用户手指或笔在对触摸面板271进行触摸期间正在移动(下文中被称为触摸移动(touch-move))。
(4)已触摸到触摸面板271的手指或笔被释放。即,触摸的结束(下文中被称为触摸停止(touch-up))。
(5)没有东西触摸到触摸面板271(下文中被称为未触摸(touch-off))。
在检测到触及的情况下,同时也检测到触摸持续。在触及之后,除非检测到触摸停止,否则通常继续检测到触摸持续。在检测到触摸持续期间,也检测到触摸移动。即使检测到触摸持续,在触摸位置不移动的情况下也不会检测到触摸移动。在检测到触摸的所有手指和笔都已触摸停止之后,检测到未触摸。通过内部总线向系统控制单元201通知这些操作和状态以及手指或笔在触摸面板271上进行触摸的位置坐标。然后,系统控制单元201基于所通知的信息来判断在触摸面板271上进行了什么种类的操作(触摸操作)。
关于触摸移动,还可以基于位置坐标的改变针对触摸面板271上的各个垂直分量和水平分量来判断用户手指或笔在触摸面板271上的移动方向。在检测到触摸移动多于预定距离的情况下,判断为进行了滑动操作(拖动)。在用户手指对触摸面板进行触摸期间用户快速地将他的手指移动了一定距离、然后释放他的手指的操作将被称为“轻拂”。换句话说,轻拂是手指在触摸面板271上快速划过就仿佛拂过触摸面板271那样的操作。在检测到触摸移动以预定速度以上进行了多于预定距离、并且检测到触摸停止的情况下,可以判断为进行了轻拂(可以判断为在拖动之后发生了轻拂)。将同时触摸多个点(例如,两个点)并且使触摸位置彼此更接近的触摸操作称为捏合(pinch-in),并且使触摸位置彼此移开的触摸操作被称为捏分(pinch-out)。捏分和捏合将被统称为捏操作(或简称为捏)。
触摸面板271可以是诸如电阻膜型、电容型、表面声波型、红外型、电磁感应型、图像识别型和光学传感器型等的各种类型的触摸面板中的任一者。根据类型,存在使用与触摸面板的接触来检测触摸的方法以及使用用户手指或笔对触摸面板的接近来检测触摸的方法,但是可以使用任一方法。
眼睛接近检测器217检测相对于目镜单元216的物体(眼睛)的接近(眼睛接近)和眼睛(物体)的分离(眼睛不存在、分离、远离或非接近)(接近检测)。系统控制单元201根据眼睛接近检测器217所检测到的状态在显示(显示状态)与非显示(非显示状态)之间切换背面显示单元101和取景器内显示单元229。系统控制单元201至少在摄像模式下并且在显示目的地切换是自动的情况下,在眼睛不存在期间将显示目的地设置为背面显示单元101并且隐藏(不显示)取景器内显示单元229。
具体实现方法如下:在物体靠近的情况下,从眼睛接近检测器217的光发射器(未示出)发射的红外光被反射,并且反射光进入红外接近传感器的光接收器(未示出)。由此,可以检测物体对目镜单元216的靠近,并且可以基于红外接近传感器所接收的入射红外光量来确定物体距目镜单元216的距离(眼睛接近距离)。在检测到物体对目镜单元216的接近的情况下,将对目镜单元216的物体接近信息发送到系统控制单元201,并且系统控制单元201开始显示取景器内显示单元229。由此,在用户通过目镜单元216窥视的情况下,可以尽可能快地显示取景器内显示单元229。
在从系统控制单元201所判断的眼睛接近状态(靠近状态)、被检测到接近的物体远离了预定距离以上的情况下,将相对于目镜单元216的物体的分离信息发送到控制单元201。然后,系统控制单元201停止取景器内显示单元229上的显示并开始背面显示单元101上的显示。例如,用于检测眼睛接近的阈值和用于检测眼睛分离的阈值可以通过提供滞后而不同。在检测到眼睛接近之后,假设保持眼睛接近状态直到检测到眼睛不存在为止。在检测到眼睛不存在之后,假设保持眼睛不存在状态直到检测到眼睛接近状态为止。由此,系统控制单元201根据眼睛接近检测器217所检测到的眼睛接近状态或眼睛不存在状态来控制背面显示单元101上的显示和取景器内显示单元229上的显示。眼睛接近检测器217不限于红外接近传感器,并且可以使用其他传感器,只要可以检测可以被认为接近的眼睛或物体的靠近即可。
根据该实施例的摄像设备100包括视线检测设备(视线检测器)260,其被配置为检测在用户正在通过目镜单元216窥视的情况下的与用户视线(相对于取景器内显示单元229的视线位置)有关的信息。视线检测器260包括分色镜262、成像透镜263、视线(LOS)检测传感器264、视线检测电路265和红外光发射元件(IR EMT ELMT)266,并且不仅检测用户视线的有无,而且检测视线的位置和移动。
红外光发射元件266是用于发射红外光以检测取景器画面内的用户的视线位置的二极管,并且在目镜单元216的中心附近向用户的眼球(眼睛)261发射红外光。从红外光发射元件266发射的红外光被眼球(眼睛)261反射,并且被反射的红外光到达分色镜262。分色镜262具有仅反射红外光并透射可见光的功能,并且经由成像透镜263在视线检测传感器264的摄像面上对光路已改变的反射红外光进行成像。成像透镜263是构成视线检测光学系统的光学元件。
视线检测传感器264包括诸如CCD或CMOS等的图像传感器。视线检测传感器264将入射的反射红外光光电转换为电信号,并且将该电信号输出至视线检测电路265。视线检测电路265基于视线检测传感器264的输出信号从用户眼球(眼睛)261的移动和瞳孔位置检测用户的视线位置,并将所检测到的信息(检测结果)发送到系统控制单元201。视线检测传感器264可以检测人的眼睛的瞳孔,因而即使其他物体靠近或接触目镜单元216,也不会检测到正在输入人的视线。由此,目镜单元216具有作为视线操作单元的功能,但是视线检测器可以具有不同的配置。
视线检测器260可以在目镜单元216的眼睛接近状态下检测以下信息。
(1)输入到目镜单元216的瞳孔边缘161a和角膜反射像(Purkinje像=P像)161b中的至少一者的检测状态
(2)输入到目镜单元216的P像161b之间的距离、改变量和改变方向
通过内部总线向系统控制单元201通知这些信息,并且系统控制单元201基于从视线检测器260通知的信息来判断目镜单元216的眼睛接近状态或眼睛不存在状态。如上所述,由于使用来自光发射器的光(例如,红外光)测量眼球信息,因此在存在来自其他光源的光的情况下,可能无法正确地检测视线信息(视线位置)。因此,需要停止眼睛接近检测器217的发光。用户可以例如经由菜单画面设置视线检测器260对视线输入功能的启用和禁用。
在本实施例中,系统控制单元201包括判断单元201a和控制单元201b。判断单元201a基于视线检测器260的检测结果来判断眼睛接近状态或眼睛不存在状态(眼睛分离状态)。控制单元201b进行控制,使得在判断单元201a判断为眼睛不存在状态的情况下,从停止状态驱动眼睛接近检测器217,并且在眼睛接近检测器217未检测到物体的接近的情况下,视线检测器260停止驱动。
现在将参考图3A、图3B和图4给出根据该实施例的控制方法(眼睛接近检测处理和视线检测处理的排他控制)的描述。现在将给出与基于P像和瞳孔边缘的消失的眼睛不存在判断相对应的眼睛接近检测处理和视线检测处理的排他控制。图3A是示出根据该实施例的控制方法(眼睛接近检测处理和视线检测处理的排他控制)的流程图。图3B是示出图3A中的步骤S306(视线检测处理)的流程图。在摄像设备100通电时开始图3A和图3B中的处理,并且系统控制单元201将存储在非易失性存储器256中的程序加载到系统存储器252中并执行该程序以控制各个功能块。
首先,在图3A的步骤S301中,系统控制单元201将眼睛接近检测器217切换到可检测状态。系统控制单元201使得眼睛接近检测器217的红外光发射器向外部投射红外光,并且使得红外光接收传感器接收从物体反射的红外光。接下来,在步骤S302中,系统控制单元201基于眼睛接近检测器217的检测结果来判断用户是否相对于目镜单元216处于眼睛接近状态。在系统控制单元201判断为眼睛不存在状态的情况下,系统控制单元201重复步骤S302。另一方面,在系统控制单元201判断为眼睛接近状态的情况下,流程进行到步骤S303。
在步骤S303中,系统控制单元201(控制单元201b)停止(隐藏)背面显示单元101上的显示,并开始取景器内显示单元229上的显示。接下来,在步骤S304中,系统控制单元201判断是否启用视线输入功能。在启用视线输入功能的情况下,流程进行到步骤S305。另一方面,在未启用视线输入功能的情况下,流程返回到步骤S302。用户可以使用菜单按钮114(在菜单画面上)设置视线输入功能的启用和禁用。
在步骤S305中,系统控制单元201将眼睛接近检测器217设置为非检测状态并且停止驱动眼睛接近检测器217的红外光发射器和红外光接收传感器(关闭眼睛接近检测)。接下来,在步骤S306中,系统控制单元201进行视线检测处理。也就是说,在判断单元201a判断为眼睛接近状态的情况下,控制单元201b停止驱动眼睛接近检测器217,然后驱动视线检测器260。
现在将参考图3B给出视线检测处理的详细描述。首先,在步骤S3001中,系统控制单元201将视线检测器260设置为可检测状态。系统控制单元201使得视线检测器260的红外光发射元件266朝向目镜单元216照射红外光,并驱动视线检测传感器264以使其能够检测红外光。由此,来自红外光发射元件266的红外光经由目镜单元216到达用户的眼球,并且经由目镜单元216进一步到达视线检测传感器264。
现在将参考图4给出P像和瞳孔边缘的描述。图4是投射红外光的人的眼球像。在投射红外光的眼球上,被称为P像161b的一个或多于一个(图4中为两个)亮点表现为反射像。瞳孔是虹膜的中心处的孔,并且可以根据亮度差来检测瞳孔边缘161a。
在图3B的步骤S3002中,系统控制单元201使用视线检测传感器264获取用户的图像(瞳孔图像),并将所获取的图像输出到视线检测电路265。接下来,在步骤S3003中,系统控制单元201通过视线检测电路265获取用户的瞳孔边缘161a。接下来,在步骤S3004中,系统控制单元201通过视线检测电路265获取用户的P像161b。
接下来,在步骤S3005中,系统控制单元201根据瞳孔边缘161a计算瞳孔的中心位置,并且根据与P像161b的关系来计算(获取)视线位置(视线信息)。接下来,在步骤S3006中,系统控制单元201进行在视线位置处的各种设置改变。例如,各种设置改变是摄像条件的各种设置改变,诸如改变焦点位置使得摄像设备100聚焦于注视点(视线位置)。在步骤S3006的处理结束的情况下,视线检测处理结束,并且流程进行到图3A中的步骤S307。
在步骤S307中,系统控制单元201(判断单元201a)判断眼睛接近检测器217是否已检测到瞳孔边缘161a和P像161b中的至少一个。在检测到瞳孔边缘161a和P像161b中的至少一个的情况下,系统控制单元201判断为眼睛接近状态(用户处于眼睛接近),并且流程返回到步骤S305。该实施例基于是否检测到P像161b而进行判断,但是该判断不限于该示例,并且例如可以基于P像的数量进行判断。由此,在后续步骤中进行视线检测时,视线检测器260变得在不受从眼睛接近检测器217的红外光发射器发射的红外光影响的情况下可操作,并且视线检测器260可以防止在视线检测中的误检测。停止驱动眼睛接近检测器217的红外光发射器可以实现电力节省。
另一方面,如果在步骤S307中既未检测到瞳孔边缘161a也未检测到P像161b,则系统控制单元201判断为眼睛不存在状态(眼睛非接近状态),并且流程进行到步骤S308。在步骤S308中,系统控制单元201再次驱动眼睛接近检测器217的红外光发射器和红外光接收传感器,以将眼睛接近检测器217切换到可检测状态(开启眼睛接近检测)。接下来,在步骤S309中,系统控制单元201基于眼睛接近检测器217的检测结果来判断用户是否对于目镜单元216处于眼睛接近状态。在系统控制单元201判断为眼睛不存在状态的情况下,流程进行到步骤S310。另一方面,在系统控制单元201判断为眼睛接近状态的情况下,流程返回到步骤S305。
在步骤S310中,系统控制单元201将视线检测器260设置为非检测状态(关闭视线检测)。因此,系统控制单元201停止驱动红外光发射元件266和视线检测传感器264。由此,即使由于眨眼或眼睛向旁边移位而无法检测到视线,眼睛接近检测器217也能够检测眼睛接近状态。因此,系统控制单元201可以防止错误判断用户的眼睛不存在状态(眼睛分离状态)并且继续视线检测。
接着,在步骤S311中,系统控制单元201开始背面显示单元101上的显示,并停止取景器内显示单元229上的显示。接下来,在步骤S312中,系统控制单元201判断用户是否已断开电源开关106。在电源开关106持续接通的情况下,流程返回到步骤S302,并且系统控制单元201继续眼睛接近检测器217的检测状态。另一方面,在断开电源开关106的情况下,该流程结束。
该实施例在防止用于检测眼睛接近状态或眼睛不存在状态的光和用于检测视线位置的光影响相互的传感器的同时,即使用户眨眼或其眼睛向旁边移位也能够继续视线检测。在该实施例中,作为判断单元的系统控制单元201基于视线检测器260的检测结果(例如,瞳孔边缘161a和P像161b的有无)来判断眼睛接近状态或眼睛不存在状态(眼睛非接近状态)。由此,即使眼睛接近检测器217处于非检测状态也能够判断眼睛接近或不存在,并且由此能够排他地控制眼睛接近检测处理和视线检测处理。
即使用户认为他正在凝视在一点处,他的眼睛也略微移动。因此,视线检测结果也变得不稳定,因而通常使用过去视线检测历史进行平滑处理以抑制眼睛的略微移动。此时,如果每当用户眨眼或他的眼睛向旁边移位时视线检测传感器停止,则无法以稳定周期检测视线,用以抑制眼睛的略微移动的平滑处理变得不稳定,并且变得难以抑制视线检测中的略微移动。因此,该实施例在眼睛不存在状态下将最终判断委托给眼睛接近检测器217,并且由此即使由于眨眼或眼睛向旁边移位而无法检测到视线,也不停止地继续视线检测。由此,能够以稳定时段检测视线,并且能够稳定地抑制视线检测中的略微移动。
第二实施例
现在将参考图5给出第二实施例的描述。本实施例涉及在眼睛接近检测处理与视线检测处理的排他控制中基于P像之间的间隔的控制方法。图5是示出根据本实施例的控制方法(眼睛接近检测处理和视线检测处理的排他控制)的流程图。图5中的步骤S501至S506和S508至S512分别与图3A中的步骤S301至S306和S308至S312相同,并且将省略其描述。
在步骤S507中,系统控制单元201判断视线检测传感器264所获取的P像161b的两个点之间的间隔(P像间隔)是否大于阈值(P像间隔判断阈值)D。在P像间隔大于阈值D的情况下,系统控制单元201判断为眼睛接近状态,并且流程返回到步骤S505。另一方面,在P像间隔等于或小于阈值D的情况下,系统控制单元201判断为眼睛不存在状态,并且流程进行到步骤S508。步骤S508后续的处理与第一实施例中的处理类似,并且将省略其描述。
现在将参考图6给出步骤S507的处理(用于基于P像间隔判断眼睛不存在状态的方法)的描述。图6示出本实施例中眼球像与到眼球的距离(从眼球到摄像设备100的接近距离)之间的关系。图6的底部示出在放置目镜单元216时视线检测传感器264所获取的P像161b之间的间隔(P像间隔)相对于用户面部的位置的变化。
眼睛接近位置(i)是与目镜单元216相距65mm的位置,并且与眼睛接近检测器217判断为眼睛接近状态的边界相对应(位置边界条件)。例如,该位置处的P像161b之间的间隔(P像间隔)与值A一样窄。眼睛接近位置(iii)是与目镜单元216相距23mm的位置,其中,用户将其面部的一部分维持与目镜单元216接触。例如,该位置处的P像间隔与值C一样宽。假设眼睛接近位置(i)和眼睛接近位置(iii)之间的中间位置是眼睛接近位置(ii),则P像间隔的值B满足以下关系:
A<B<C
该实施例在防止用于检测眼睛接近状态或眼睛不存在状态的光和用于检测视线位置的光影响相互的传感器的同时,即使用户眨眼或其眼睛向旁边移位也能够继续视线检测。该实施例可以防止红外光的影响,并且基于P像间隔来判断眼睛接近状态或眼睛不存在状态。由此,即使眼睛接近检测器217处于非检测状态,也可以判断眼睛接近或不存在,并且由此可以排他地控制眼睛接近检测处理和视线检测处理。此外,该实施例在眼睛不存在状态下将最终判断委托给眼睛接近检测器217,并且即使由于眨眼或眼睛向旁边移位而无法检测到视线,也不停止地继续视线检测。由此,能够以稳定时段检测视线,并且能够稳定地抑制视线检测中的略微移动。
第三实施例
现在将参考图7给出第三实施例的描述。本实施例涉及在眼睛接近检测处理和视线检测处理的排他控制中基于从第一次进行眼睛不存在判断起的经过时间来控制是否继续视线检测的方法。图7是示出根据本实施例的控制方法(眼睛接近检测处理和视线检测处理的排他控制)的流程图。图7中的步骤S701至S708和S714至S716分别与图3A中的步骤S301至S308和S310至S312相同,因而将省略其描述。在图7中,可以插入图5中的步骤S507来代替步骤S707。
在步骤S709中,在步骤S707中进行眼睛不存在判断之后,系统控制单元201判断是否已在步骤S708中第一次重新驱动眼睛接近检测器217的红外光发射器和红外光接收传感器(是否第一次开启眼睛接近检测)。在这是第一次重新驱动的情况下,流程进行到步骤S710,并且系统控制单元201从系统计时器253获取重新驱动时间。在这是第二次以后重新驱动的情况下,流程进行到步骤S711。
在步骤S711中,系统控制单元201从系统计时器253获取当前时间,并且根据在步骤S710中获取的时间(重新驱动时间)计算经过时间(从第一次开启眼睛接近检测起的经过时间)。接下来,在步骤S712中,系统控制单元201基于眼睛接近检测器217的检测结果来判断用户是否对于目镜单元216处于眼睛接近状态。在系统控制单元201判断为眼睛接近状态的情况下,流程进行到步骤S713。另一方面,在系统控制单元201判断为眼睛不存在状态的情况下,流程进行到步骤S714。
在步骤S713中,系统控制单元201判断在步骤S711中获取的经过时间(从第一次开启眼睛接近检测起的经过时间)是否大于阈值(经过时间判断阈值)T。在经过时间大于阈值T的情况下,流程返回到步骤S705。另一方面,在经过时间等于或小于阈值T的情况下,流程进行到步骤S714。
在该实施例中,控制单元201b在判断为在判断单元201a判断为眼睛不存在状态之后、眼睛不存在状态持续了预定时段的情况下,停止驱动视线检测器260。因此,除了第一实施例或第二实施例的效果之外,本实施例可以在无法连续检测视线的状态下停止驱动视线检测传感器264,并且由此提供节能。
系统控制单元201所进行的各种上述控制可以由单个硬件进行,或者可以由多个硬件通过共享处理来进行,以控制整个设备。
其他实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参考实施例描述了本公开,但是应当理解,本公开不限于所公开的实施例。所附权利要求书的范围将被赋予最广泛的解释,以涵盖所有这样的修改以及等同的结构和功能。
各个实施例能够提供在防止眼睛接近检测器和视线检测器的传感器光彼此影响的同时能够进行稳定的视线检测的电子设备。

Claims (11)

1.一种电子设备,包括:
接近检测器,其被配置为检测物体向取景器的接近;
视线检测器,其被配置为检测针对在所述取景器内部布置的第一显示单元的视线信息;
判断单元,其被配置为基于所述视线检测器的检测结果来判断眼睛接近状态或眼睛不存在状态;
控制单元,其被配置为在所述判断单元判断为所述眼睛不存在状态的情况下,开始驱动所述接近检测器,并且在所述接近检测器没有检测到所述物体的接近的情况下,停止驱动所述视线检测器。
2.根据权利要求1所述的电子设备,其特征在于,在所述判断单元判断为所述眼睛接近状态已改变为所述眼睛不存在状态的情况下,所述控制单元开始驱动所述接近检测器。
3.根据权利要求1所述的电子设备,其特征在于,所述视线检测器的检测结果包括与瞳孔的边缘有关的信息。
4.根据权利要求1所述的电子设备,其特征在于,所述视线检测器的检测结果包括与角膜反射像的数量有关的信息。
5.根据权利要求1所述的电子设备,其特征在于,所述视线检测器的检测结果包括与角膜反射像之间的间隔有关的信息。
6.根据权利要求1所述的电子设备,其特征在于,在所述判断单元判断为在判断出所述眼睛不存在状态之后、所述眼睛不存在状态持续了预定时段的情况下,所述控制单元停止驱动所述视线检测器。
7.根据权利要求1所述的电子设备,其特征在于,在所述判断单元判断为所述眼睛接近状态的情况下,所述控制单元停止驱动所述接近检测器,然后驱动所述视线检测器。
8.根据权利要求1所述的电子设备,其特征在于,
在所述接近检测器检测到所述物体的接近的情况下,所述控制单元开始所述第一显示单元上的显示,并且停止在所述取景器外部布置的第二显示单元上的显示,以及
在所述接近检测器没有检测到所述物体的接近的情况下,所述控制单元停止所述第一显示单元上的显示,并且开始所述第二显示单元上的显示。
9.根据权利要求1至8中任一项所述的电子设备,其特征在于,所述电子设备是摄像设备。
10.一种用于电子设备的控制方法,所述电子设备包括接近检测器和视线检测器,所述接近检测器被配置为检测物体向取景器的接近,所述视线检测器被配置为检测针对在所述取景器内部布置的第一显示单元的视线信息,所述控制方法包括以下步骤:
基于所述视线检测器的检测结果来判断眼睛接近状态或眼睛不存在状态;
在判断为所述眼睛不存在状态的情况下,开始驱动所述接近检测器;以及
在所述接近检测器没有检测到所述物体的接近的情况下,停止驱动所述视线检测器。
11.一种非暂态计算机可读存储介质,其存储有程序,所述程序用于使得计算机执行根据权利要求10所述的控制方法。
CN202311624559.7A 2022-12-01 2023-11-30 电子设备及其控制方法和存储介质 Pending CN118138869A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022192659A JP2024079943A (ja) 2022-12-01 2022-12-01 電子機器、電子機器の制御方法、プログラム、および記憶媒体
JP2022-192659 2022-12-01

Publications (1)

Publication Number Publication Date
CN118138869A true CN118138869A (zh) 2024-06-04

Family

ID=88600536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311624559.7A Pending CN118138869A (zh) 2022-12-01 2023-11-30 电子设备及其控制方法和存储介质

Country Status (4)

Country Link
US (1) US20240187724A1 (zh)
EP (1) EP4380176A1 (zh)
JP (1) JP2024079943A (zh)
CN (1) CN118138869A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326747A (ja) * 1999-03-10 1999-11-26 Olympus Optical Co Ltd カメラ
JP7431567B2 (ja) 2019-12-10 2024-02-15 キヤノン株式会社 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP2021170699A (ja) * 2020-04-14 2021-10-28 キヤノン株式会社 電子機器

Also Published As

Publication number Publication date
JP2024079943A (ja) 2024-06-13
US20240187724A1 (en) 2024-06-06
EP4380176A1 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
CN112714247B (zh) 摄像设备和摄像设备的控制方法
CN113301247B (zh) 一种摄像设备、其控制方法以及存储介质
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
CN113364945A (zh) 电子装置、控制方法和计算机可读介质
US20240231189A1 (en) Electronic apparatus and method for performing control based on detection of user&#39;s sight line
US11381732B2 (en) Image-capturing controller and method for controlling same
CN112702507B (zh) 电子装置、电子装置的控制方法及存储介质
JP7465129B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
CN113726991A (zh) 电子装置、电子装置的控制方法和计算机可读存储介质
US20230018866A1 (en) Electronic device that displays a plurality of display items on a display and method for controlling electronic device
US11442244B2 (en) Imaging device
US11735181B2 (en) Voice input apparatus, control method thereof, and storage medium for executing processing corresponding to voice instruction
US11526208B2 (en) Electronic device and method for controlling electronic device
EP4380176A1 (en) Electronic apparatus, its control method, and program
CN112040095A (zh) 电子装置、电子装置的控制方法及存储介质
US20240251155A1 (en) Image pickup apparatus
US11985426B2 (en) Electronic apparatus capable of performing line-of-sight input, control method for electronic apparatus, and storage medium
CN112188080B (zh) 显示控制装置及其控制方法和存储介质
US11418715B2 (en) Display control apparatus and control method therefor
JP2024110461A (ja) 撮像装置
JP2022067578A (ja) 撮像装置及びその制御方法及びプログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication