CN104125418B - 节能的图像传感设备及其运行方法及眼部/视线跟踪系统 - Google Patents

节能的图像传感设备及其运行方法及眼部/视线跟踪系统 Download PDF

Info

Publication number
CN104125418B
CN104125418B CN201410178305.1A CN201410178305A CN104125418B CN 104125418 B CN104125418 B CN 104125418B CN 201410178305 A CN201410178305 A CN 201410178305A CN 104125418 B CN104125418 B CN 104125418B
Authority
CN
China
Prior art keywords
photosensitive region
image data
img
run
actm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410178305.1A
Other languages
English (en)
Other versions
CN104125418A (zh
Inventor
莫滕·斯科格
亨里克·琼森
M·O·卡尔森
M·卡得开普
J·埃尔韦舍
英格玛·M·卡尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobey Co
Original Assignee
Tobey Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobey Co filed Critical Tobey Co
Publication of CN104125418A publication Critical patent/CN104125418A/zh
Application granted granted Critical
Publication of CN104125418B publication Critical patent/CN104125418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Abstract

本发明涉及节能的图像传感设备及其运行方法及眼部/视线跟踪系统。一种具有光敏区域(110)和控制单元(120)的图像传感设备(100)。光敏区域(110)响应于进入的光的量来记录图像数据并且可运行于激活模式(ActM)和待机模式(StdBM)，在激活模式(ActM)中图像数据(Dimg)能够从所述光敏区域(110)中被读出，在待机模式(StdBM)中图像数据(Dimg)不能被读出。控制单元(120)产生控制信号(Ctrl)，以使得所述光敏区域(110)在运行时段(top)期间以循环的方式分别运行于所述激活模式(ActM)和所述待机模式(StdBM)，优选包括来自光敏区域(110)的图像数据(Dimg)的多个数据帧(DF)读数。

Description

节能的图像传感设备及其运行方法及眼部/视线跟踪系统
技术领域
本发明通常涉及用于记录图像数据的解决方案。本发明尤其涉及根据权利要求1的前序的图像传感设备、根据权利要求8的前序的眼部/视线跟踪系统以及根据权利要求9的前序的方法。本发明还涉及根据权利要求16的计算机程序产品和根据权利要求17的计算机可读介质。
背景技术
对于电池供电的便携式装置而言，节能极为重要。因此，当设计诸如移动电话或笔记本电脑的便携式电子设备时，最小化所需的能量始终是最主要的关注点。在这些设备中，任何所集成的摄像头往往是较大的能源消耗者之一。如果摄像头具有较大的图像传感器以及/或者所述摄像头被用于采集移动的图像(即，视频数据)，这一现象将尤为突出。此外，有在便携式装置中包括眼部跟踪系统的趋势。眼部/视线跟踪系统尤其被与高能耗要求联系在一起，这是因为高分辨率的视频数据采集通常必须与相对较高强度的数据处理任务相结合。
已知数种用于减少便携式装置中的能耗的解决方案。例如，US2010/0079508描述了一种具有视线检测能力的电子装置，其中采取了一种基于使用者的视线是否被检测到的功率管理方案。例如，显示器可在使用者未注视所述装置的情况下被关闭。
US2008/0111833描述了另一种眼部跟踪相关的解决方案。此处，根据估算的使用者视线将要处于的位置来调节显示器的亮度。因此，使得视线点周围的屏幕区域相对较亮，而其余的屏幕区域较暗。
US7，379，560公开了一种用于监控人类注意力的采取动态功率管理的解决方案。此处，图像采集装置被用于分析使用者的面部并且学习他/她的行为。当系统确定使用者未注意显示器时，系统中的一个或多个组件的能耗将被减小。
US6，526，159揭示了一种解决方案，其中，根据眼部跟踪对资源和功率进行管理。具体来时，眼部的方向被确定，并且操作系统在此基础上改变分配给显示设备的资源。
此外，众所周知是，摄像头可被设置为激活模式或待机模式，而待机模式与非常低的能耗相联系。相对于摄像头被完全关闭，当被所述摄像头设置为待机模式时，到摄像头可以开始采集图像数据为止的启动延迟非常低。因此，当摄像头在有限时段内需要被间歇性的临时关注时，所述待机模式是有益的。但是在连续运行中，激活模式是唯一的选择。
现有技术中的问题
因此，存在用于减少普通移动设备以及摄像头中的能耗的方法(例如，基于眼部跟踪)。然而，还没有有效的解决方案能像稳态运行模式那样降低眼部跟踪系统的能耗。
发明内容
本发明的目的在于解决以上问题，并且因此提出一种基本适合于低功率应用的图像传感设备。
本发明的目的还在于提供一种节能的眼部/视线跟踪系统。
根据本发明的一个方面，所述目的通过一开始说明的数据处理单元来实现，其中，控制单元被配置为产生控制信号以使得光敏区域在运行时段期间以循环的方式运行于所述激活模式和所述待机模式。
所述图像传感设备是有益的，因为其能够对光敏区域的使用进行调整，使得仅在指定的时刻传送数据，所述指定的时刻是指该数据被使用所述图像传感设备的应用所实际需要的时刻。因此，使得平均能耗非常低。
根据本发明此方面的一个优选实施例，所述图像传感设备具有输出接口，所述输出接口被配置为从所述光敏区域传送输出的图像数据。具体地，所述输出接口被布置为传送数据帧格式的图像数据，其中，一个数据帧代表在采集时间(或所谓的曝光)内读出的被所述光敏区域记录的图像数据。当采集视频数据时，其表示光敏区域被配置为通过所述输出接口以给定帧率馈送所述数据帧的序列，所述帧率例如为24Hz、30Hz或60Hz。此处，控制单元被配置为产生控制信号，使得所述运行时段延续至少一个所述采集时间(即，此时所述光敏区域运行于所述激活模式)和至少两个使光敏区域运行于所述待机模式的时段。因此，即使所述图像传感设备被使用连续运行方式来产生视频文件，其平均能耗变的远低于传统情况。
根据本发明此方面的另一优选实施例，所述运行时段延续至少两个所述采集时间，所述光敏区域在所述至少两个采集时间期间运行于所述激活模式。此外，所述至少两个采集时间被相应的延迟时段分隔开，所述光敏区域在所述延迟时段期间运行于所述待机模式。这种运行方案结合了低能耗的优点和高度的灵活性。
依然根据本发明此方面的另一优选实施例，光敏区域包含以矩阵的形式布置的一组光敏元件或像素，所述矩阵包含具有第一数量的列和具有第二数量的行。此外，所述光敏区域可被控制为：将被具有第一数量的列和/或具有第二数量的行的至少一个子集(例如，来自所谓的关注区域，ROI)记录的图像数据专用地读出至输出接口。所述控制单元被进一步配置为产生控制信号，以使得在所述光敏区域运行于激活模式时，图像数据的至少一个子集被馈送至所述输出接口。在其余时间，所述光敏区域优选地运行于待机模式。因此，可节省大量的能量。
根据本发明此方面的一个附加性的优选实施例，在运行时段之前，控制单元被配置为产生控制信号，以使得光敏区域在超过典型采集时间(所述典型采集时间与从光敏区域将图像数据完全读出相关联)的未中断的时间段期间运行于激活模式。因此不节能。但是，为了确定选择哪个区域作为上面所提及的子集，出于分析的原因有必要在最初记录所有帧数据。
类似地，例如如果眼部跟踪暂时丢失，则有必要重复这一搜索流程。因此根据本发明的实施例的另一优选实施例，在所述运行时段之后，所述控制单元被配置为产生控制信号以使得所述光敏区域在未中断的时间段期间运行于所述激活模式，所述未中断的时间段超过与从所述光敏区域将图像数据完全读出相关联的典型采集时间。
根据本发明的实施例的另一优选实施例，所述光敏区域包括一组光敏元件，所述一组光敏元件按照第一数量的列和第二数量的行来布置。此处，所述光敏区域可被控制为将图像数据以下述方式读出至所述输出接口，即，使得来自两个或更多个所述光敏元件的数据相互合并以形成共同的数据单元。馈送至所述输出接口的所述数据单元的总数小于所述第一数量与所述第二数量的乘积，例如将该产品分为两部分或四部分。
根据本发明的另一方面，所述目的通过一开始说明的眼部/视线跟踪系统来实现，其中，所述控制单元被配置为产生控制信号以使得所选择的图像数据子集代表对象的至少一个眼部的图像。因此，可实现高度节能的眼部/视线跟踪，此外这种眼部/视线跟踪还适合集成在便携式装置中，所述便携式装置例如为智能手机、笔记本电脑、超级本、一体化台式计算机或可佩带的眼部跟踪装置(具有靠近眼部的显示器和/或具有前置摄像头的数字眼镜，例如类似于谷歌眼镜)。所提出的眼部/视线跟踪系统还可集成在机动车辆中，例如集成在汽车中。
依然根据本发明的另一方面，所述目的通过一开始说明方法来实现，其中，产生控制信号以使得所述光敏区域在运行时段期间以循环的方式运行于所述激活模式和所述待机模式。通过上文中参考所提出的设备的讨论，该方法及其优选实施例的优点显而易见。
根据本发明的另一方面，所述目的通过一种计算机程序产品来实现，所述计算机程序产品可被加载到计算机的存储器中，并且所述计算机程序产品包括在所述计算机程序产品在计算机上被运行时适于执行上文提出的方法的软件。
根据本发明的另一方面，所述目的通过一种计算机可读介质来实现，所述计算机可读介质上记录有程序，当所述程序被加载到计算机中时，所述程序控制计算机完成上文中提出的方法。
本发明的进一步的优点、有益特征和应用将通过接下来的说明和从属权利要求来阐明。
附图说明
现在通过作为示例公开的优选实施例以及参考附图来更加周密地阐释本发明。
图1示出了根据与本发明相关的一个实施例的图像传感设备的元件；
图2通过图代表出了如何控制所提出的图像传感设备使其以循环的方式在激活模式和待机模式之间切换；
图3示出根据本发明的一个实施例的眼部/视线跟踪系统；
图4通过流程图示出了根据本发明的一般方法；以及
图5通过流程图示出了所提出的眼部/视线跟踪系统如何根据本发明来运行。
具体实施方式
首先参考图1，图1示出了根据本发明的一个实施例的图像传感设备。图2中包含的曲线图示出了作为时间t的函数的控制信号Ctrl的一个示例。
所提出的图像传感设备100包括光敏区域110、控制单元120并且优选包括输出接口130。
光敏区域110被配置为：响应于进入的光的量来记录图像数据Dimg。因此，举例而言，光敏区域110可应用在CMOS或CCD技术中(CMOS＝complementary metal–oxide–semi-conductor，互补金属氧化物半导体；CCD＝charge-couple device，电荷耦合器件)。光敏区域110包含一组光敏元件或像素，所述光敏元件或像素通常以矩阵的形式布置，所述矩阵包含具有第一数量的列和具有第二数量的行。纵横比表达了第一数量和第二数量之间的关系，并且光敏区域110中的光敏元件的总数量(即，第一数量与第二数量的乘积)被称为光敏区域110的分辨率。在现代的眼部跟踪解决方案中，分辨率通常相对较高，例如为5百万像素或更高。
现有技术的5百万像素的图像传感器在常规传感器操作摄像头应用(支持视频、预览以及快照)中通常损耗至少250mW，而VGA传感器以30帧/秒运行时一般仅损耗50mW。但是，从5百万像素的图像传感器读出VGA仍要损耗大约250mW。这当然是不令人满意的。
因此，根据本发明，光敏区域110可运行于激活模式ActM和待机模式StdBM，在所述激活模式ActM中图像数据Dimg可从所述光敏区域110中被读出，在待机模式StdBM中所述光敏区域110具有非常低的能耗。待机模式StdBM的特征在于：没有图像数据Dimg能够被从光敏区域110中读出。但是，光敏区域110进入激活模式ActM(激活模式能够实现所述读出)具有非常短的延迟。
控制单元120可与包含光敏区域110的传感器单元协同工作，或所述控制单元120可被集成在所述包含光敏区域110的传感器单元之中。在这种情况下，控制单元120可由外部信号源控制，使得响应于来自该信号源的信号读出图像信号Dimg并且随后光敏区域110自动进入待机模式StdBM。
控制单元120被配置为：产生控制信号Ctrl，所述控制信号Ctrl用于将光敏区域110设置为运行于激活模式ActM或待机模式StdBM。具体来说，根据本发明，控制单元120被配置为产生控制信号Ctrl，从而使光敏区域110在运行时段top期间以循环的方式运行于激活模式ActM和待机模式StdBM。此处，运行时段top对应于从几个数据帧周期到延续大量时段的图像传感设备100的稳态运行的任何时段，即，几分钟或数小时。
输出接口130被配置为传送被光敏区域110记录的输出图像数据Dimg。通常，图像数据Dimg以数据帧DF的形式读出，一数据帧代表在规定的采集时间Tframe或曝光时间内读出的被光敏区域110记录的图像数据Dimg。此外，输出接口130被配置为从光敏区域110馈送出所述数据帧的序列，所述数据帧代表给定帧率(例如，30Hz)下的视频序列的移动的图像数据。
优选地，控制单元120被配置为产生控制信号Ctrl，使得运行时段top延续至少一个采集时间Tframe(此时光敏区域110运行于激活模式ActM)和至少两个使光敏区域110运行于待机模式StdBM的时段。
在一些应用中，如果运行时段top延续至少两个采集时间Tframe(在采集时间Tframe期间，光敏区域110运行于激活模式ActM)并且所述采集时间Tframe被相应的延迟时段Tdelay(在延迟时段Tdelay期间，光敏区域110运行于待机模式StdBM)隔开，则是有益的。
在图2中，所见的示例中光敏区域110在运行时段top期间运行于激活模式ActM至少三次。这对应于单独地从光敏区域110的光敏元件的一个或多个子集ROI中读出图像数据Dimg。通常，光敏区域110包括一组以矩阵形式布置的光敏元件，所述矩阵有具有第一数量的列和具有第二数量的行。例如，在5百万像素的传感器(总共具有5090816个光敏元件)中，第一数量的列可为2608列并且第二数量的行可为1952行。
此处，光敏区域110可被控制为将图像数据Dimg读出至输出接口130，所述图像数据Dimg已经由至少一个子集ROI(即，光敏区域110的100行和200列)专用地记录。此外，控制单元120被配置为产生控制信号Ctrl，使得图像数据的至少一个子集ROI在光敏区域110运行于激活模式ActM时(例如，如图2的图表中的说明)被馈送至输出接口130。
为了便于选择至少一个合适的子集ROI，令人满意的是：在运行时段top之前，控制单元被配置产生控制信号Ctrl以使得光敏区域110在超过典型采集时间Tframe(所述采集时间Tframe与从光敏区域110将图像数据Dimg完全读出相关联)的未中断的时间段期间运行于激活模式ActM。因此，眼部跟踪期可从视频录制开始，其中图像数据Dimg从光敏区域110的一个相对较大的部分收集或从整个光敏区域110采集。在该数据的基础上，可设想到使用者的一个或多个眼部的图像可被识别。于是，子集ROI可被如此选择以致眼部的图像被包括在其中。有关眼部/视线跟踪如何根据本发明的实施例实现的细节将在下文中参考图5来说明。
自然地，在图像序列中识别出一个或多个眼部之后，可证明有必要在所记录的图像数据中搜索眼部。例如，跟踪由于使用者眼部和摄像头之间的障碍物而暂时丢失，则必须进行反复的搜索。
因此，运行时段top需要被中断。随后，控制单元120被配置产生控制信号Ctrl以使得光敏区域110在超过典型采集时间Tframe(所述采集时间Tframe与从光敏区域110将图像数据Dimg完全读出相关联)的未中断的时间段期间运行于激活模式ActM。
替代性地，光敏区域110可被控制为将图像数据Dimg以下述方式读出至输出接口130，所述方式即，使得来自两个或更多个光敏元件的数据相互合并以形成共同的数据单元(也被称为像素合并，binning)。例如，可将来自四个相邻光敏元件的数据合并以形成共同的数据单元。因此，光敏区域110的灵敏度可被显著增加，并且向输出接口130馈送的数据单元的总数被减少至一个低于所述第一数量与所述第二数量的乘积的数值(即，第一数量与所述第二数量乘积再除以四)。自然地，这进而有益于视点的带宽。
根据本发明的另一实施例，可设想各种形式的混合运行涉及在上述像素合并模式、子集ROI读出以及待机模式StdBM之间切换。例如，首先子集ROI被读出。随后，帧代表经像素合并的图像(通常大于子集ROI，并且可能覆盖整个光敏区域110)。之后，光敏区域110进入待机模式StdBM直到另外的子集再次被读出，并且像这样处于一种循环的方式。此处，子集ROI可包含代表一个或多个眼部的图像数据Dimg，而像素合并的图像可代表对象的整个面部。
替代性地，待机模式可被插入到子集ROI读出和像素合并图像读出之间。
图3示出根据本发明的一个实施例的眼部/视线跟踪系统300。所述眼部/视线跟踪系统300包括所提出的上述图像传感设备100，其中所述图像传感设备100被布置成采集眼部和/或视线被跟踪的对象S的图像数据Dimg。控制单元120在此处被配置产生控制信号Ctrl以使得图像数据的子集ROI代表对象S的至少一个眼部105的图像。
控制单元120进而可从数据处理单元310接收主控制信号CROI，所述数据处理单元310被配置为基于由图像传感设备产生的数据帧DF来计算更新后的眼部位置的估计值。通常，数据处理单元310还负责取得估计的视线数据及其更新。
优选地，控制单元120包含存储计算机程序产品PP的存储单元125，或控制单元120与所述存储单元125处于通信连接，所述计算机程序产品PP包含用于控制所述控制单元120以在所述计算机产品PP被在控制单元120上运行时执行上述过程的软件。
为了总结，现在将参考图4中的流程图来说明控制根据本发明的图像传感设备的一般方法。所述图像传感设备具有光敏区域110，所述光敏区域110被配置为响应于进入的光的量来记录图像数据Dimg。此外，响应于控制信号Ctrl，光敏区域100可被运行于激活模式ActM，其中图像数据Dimg可通过激活模式ActM读出，并且待机模式StdBM中没有图像数据Dimg可被读出。
在第一步骤410中，控制信号Ctrl被接收到。随后的步骤420检查是否控制信号指定光敏区域110将运行于激活模式ActM或待机模式StdBM。在控制信号指定光敏区域110将运行于激活模式ActM的情况下，接下来进行步骤430；并且在控制信号指定光敏区域110将运行于待机模式StdBM的情况下，过程跳转回步骤410。
在步骤430中，图像数据Dimg被从光敏区域110中读出。随后，过程跳转回步骤410。根据本发明，产生的控制信号使得光敏区域在运行时段top期间以循环的方式运行于激活模式ActM和待机模式StdBM，即过程通过步骤410至430循环重复若干次。因此，在运行时段top期间，光敏区域110被设置于激活模式ActM至少一次。
参考图5，将说明所提出的眼部/视线跟踪系统300如何根据本发明的一个实施例运行。
在步骤505中，在至少一个完整的数据帧DF中采集图像数据Dimg。这意味着，在运行时段top之前，控制信号被产生以使得光敏区域110在超过典型采集时间Tframe(所述采集时间Tframe与从光敏区域110将图像数据Dimg完全读出相关联)的未中断的时间段期间运行于激活模式ActM。其主要原因是使得眼部/视线跟踪系统300能够在图像数据Dimg中识别对象S的至少一个眼部105。
随后，步骤510检查所述至少一个眼部105的位置是否被确定。如果被确定，则接下来进行步骤515，若未确定，则过程跳转回步骤505。
假设光敏区域110包括一组光敏元件，所述一组光敏元件按照第一数量的列和第二数量的行来布置。此外，光敏区域110可被控制为读出图像数据Dimg，所述图像数据Dimg已经由所述第一数量的列和/或所述第二数量的行的至少一个子集ROI(即，图像传感器的子区域)专用地记录。在步骤515中，所述子区域被建立，所述子区域代表其位置在步骤510中被确定的所述至少一个眼部的图像。
随后，在步骤520中，控制信号Ctrl被产生以使得光敏传感器110运行于激活模式ActM。随后，在步骤525中，图像数据Dimg通过输出接口130被从所述子区域中读出。随后，在步骤530中，光敏区域110被控制成运行于StdBM模式以便节能，直到下一图像数据Dimg被读出。
为了确定何时所述图像数据Dimg将被记录，步骤535计算一个新的估计值，所述估计值描述所述至少一个眼部105的预期位置。优选地，就此而言，相应的视线数据也被计算。在与步骤535并行的情况下，在步骤540中，控制信号被产生以使得传感器依然处于待机模式StdBM。
在进入步骤540之后，步骤545反复检查是否延迟时段期满，所述延迟时段限定了直到该恢复光敏区域110为止的持续时间。如果延迟时段已经期满，接下来进行步骤550。否则，过程跳转回步骤540。
在步骤550中已经确定现在应该读出另一组图像数据Dimg，所述另一组图像数据Dimg代表所述至少一个眼部105的预期位置处的子区域。因此，在步骤550中，控制信号Ctrl被产生以使得光敏区域110再次运行于激活模式ActM。与此联系的是，所述子区域的坐标在接下来的步骤555中被更新。随后过程返回步骤525以重复图像数据Dimg的读出。
根据本发明的实施例，步骤535可在步骤530之前被执行。也就是说，在控制光敏区域110运行于待机模式StdBM之前计算更新的眼部位置。实际上，如果更新的眼部位置根据之前的图像被确定，步骤555甚至可在步骤535之前完成。
上面的参考图4和图5说明的所有流程步骤以及这些步骤的子序列，可通过已编程的计算机设备来控制。此外，尽管上面参考附图说明的本发明的实施例包括计算机设备以及计算机设备中执行的流程，但是本发明因此还拓展至适于将本发明付诸实践的计算机程序(尤其是载体上或载体中的程序)。所述程序可以是源代码、目标代码以及源代码和目标代码中间的代码(例如，部分编辑的形式)的形式，或适合用在根据本发明的流程的实施方式中的任何其它方式。所述程序即可以是操作系统的一部分也可以是单独的应用程序。所述载体可以是任何能够携带所述程序的实体和装置。举例而言，所述载体可包括存储介质，例如闪存、只读存储器(Read Only Memory，ROM)或磁记录介质，其中，只读存储器例如为数字多功能光盘(Digital Video/Versatile Disk，DVD)、光盘(Compact Disc，CD)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)，所述磁记录介质例如为软盘或硬盘。此外，所述载体可以是可传送的载体，例如可经由电缆或光缆或通过无线电或其它方式传输的电信号或光信号。当所述程序以可由电缆或其它装置或工具直接传输的信号实施时，所述载体可由该电缆或装置或工具构成。替代性地，所述载体可以是其中嵌入所述程序的集成电路，所述集成电路适于执行相关流程或适于使用在相关流程的执行中。
当术语“包括”使用在说明书中时，是为了列举存在的特征、整体、步骤或组成部分。但是，该术语不排除存在或附加一个或多个附加的特征、整体、步骤或组成部分或它们的群组。
本发明不限于附图中所述的实施例，但是可在权利要求的范围内自由地变化。

Claims (12)

1.一种图像传感设备(100)，包括：
光敏区域(110)，所述光敏区域(110)被配置为响应于进入的光的量来记录图像数据，所述光敏区域(110)可运行于激活模式(ActM)和待机模式(StdBM)，在所述激活模式(ActM)中所述图像数据(Dimg)能够从所述光敏区域110中被读出，在所述待机模式(StdBM)中所述图像数据(Dimg)不能被读出，以及
控制单元(120)，所述控制单元(120)被配置为产生控制信号(Ctrl)，所述控制信号(Ctrl)用于将所述光敏区域(110)设置为分别运行于所述激活模式(ActM)和所述待机模式(StdBM)，
其特征在于，所述控制单元(120)被配置为产生控制信号(Ctrl)，以使得所述光敏区域(110)在运行时段(top)期间以循环的方式运行于所述激活模式(ActM)和所述待机模式(StdBM)，
所述图像传感设备(100)进一步包括输出接口(130)，所述输出接口(130)被配置为从所述光敏区域(110)传送输出的图像数据(Dimg)，其中，
一个数据帧(DF)代表在采集时间(Tframe)内读出的被所述光敏区域(110)记录的图像数据(Dimg)，
所述光敏区域(110)被配置为通过所述输出接口(130)馈送所述数据帧(DF)的序列，
所述控制单元(120)被配置为产生所述控制信号(Ctrl)，使得所述运行时段(top)延续至少一个所述采集时间(Tframe)和至少两个使所述光敏区域(110)运行于所述待机模式(StdBM)的时段，所述光敏区域(110)在所述至少一个采集时间(Tframe)期间运行于所述激活模式(ActM)，并且
在所述运行时段(top)之前，所述控制单元(120)被配置为产生所述控制信号(Ctrl)，以使得所述光敏区域(110)在未中断的时间段期间运行于所述激活模式(ActM)，所述未中断的时间段超过与从所述光敏区域(110)将图像数据(Dimg)完全读出相关联的典型采集时间(Tframe)。
2.根据权利要求1所述的图像传感设备(100)，其中，所述运行时段(top)延续至少两个采集时间(Tframe)，所述光敏区域(110)在所述至少两个采集时间(Tframe)期间运行于所述激活模式(ActM)，所述至少两个采集时间(Tframe)被相应的延迟时段(Tdelay)分隔开，所述光敏区域(110)在所述延迟时段(Tdelay)期间运行于所述待机模式(StdBM)。
3.根据权利要求1或2所述的图像传感设备(100)，其中
所述光敏区域(110)包括一组光敏元件，所述一组光敏元件按照第一数量的列和第二数量的行来布置，
所述光敏区域(110)可被控制为将图像数据(Dimg)读出至所述输出接口(130)，所述图像数据(Dimg)已经由所述第一数量的列和/或第二数量的行的至少一个子集(ROI)专用地记录，并且
所述控制单元(120)被进一步配置为产生所述控制信号(Ctrl)，以使得在所述光敏区域(110)运行于所述激活模式(ActM)时，所述图像数据的至少一个子集(ROI)被馈送至所述输出接口(130)。
4.根据权利要求1或2所述的图像传感设备(100)，其中，在所述运行时段(top)之后，所述控制单元(120)被配置为产生所述控制信号(Ctrl)，以使得所述光敏区域(110)在未中断的时间段期间运行于所述激活模式(ActM)，所述未中断的时间段超过与从所述光敏区域(110)将图像数据(Dimg)完全读出相关联的典型采集时间(Tframe)。
5.根据权利要求1或2所述的图像传感设备(100)，其中，
所述光敏区域(110)包括一组光敏元件，所述一组光敏元件被按照第一数量的列和第二数量的行来布置，并且
所述光敏区域(110)可被控制为将图像数据(Dimg)读出至所述输出接口(130)，使得来自两个或更多个所述光敏元件的数据相互合并以形成共同的数据单元并且馈送至所述输出接口(130)的所述数据单元的总数小于所述第一数量与所述第二数量的乘积。
6.一种包括根据权利要求3所述的图像传感设备(100)的眼部/视线跟踪系统(300)，所述图像传感设备(100)被布置为采集眼部和/或视线被跟踪的对象(S)的图像数据，其特征在于，所述控制单元(120)被配置为产生控制信号(Ctrl)，以使得所述图像数据的至少一个子集(ROI)代表所述对象(S)的至少一个眼部(105)的图像。
7.一种控制图像传感设备(100)的方法，所述图像传感设备(100)具有被配置为响应于进入的光的量来记录图像数据(Dimg)的光敏区域(110)，所述光敏区域(110)可运行于激活模式(ActM)和待机模式(StdBM)，在所述激活模式(ActM)中所述图像数据(Dimg)能够从所述光敏区域(110)中被读出，在所述待机模式(StdBM)中所述图像数据(Dimg)不能被读出；
所述方法包括产生用于使所述光敏区域(110)分别运行于所述激活模式(ActM)和所述待机模式(StdBM)的控制信号(Ctrl)，
其特征在于，产生所述控制信号(Ctrl)以使得所述光敏区域(110)在运行时段(top)期间以循环的方式运行于所述激活模式(ActM)和所述待机模式(StdBM)，
所述图像传感设备(100)包括输出接口(130)，所述输出接口(130)配置为从所述光敏区域(110)传送输出的图像数据(Dimg)，并且所述方法进一步包括：
读出代表在采集时间(Tframe)期间被所述光敏区域(110)记录的图像数据(Dimg)的一个数据帧(DF)，
通过所述输出接口(130)从所述光敏区域(110)馈送出所述数据帧(DF)的序列，以及
产生所述控制信号(Ctrl)，以使得所述运行时段(top)延续至少一个所述采集时间(Tframe)和至少两个使所述光敏区域(110)运行于所述待机模式(StdBM)的时段，所述光敏区域(110)在所述至少一个采集时间(Tframe)期间运行于所述激活模式(ActM)，
其中，在所述运行时段(top)之前，产生所述控制信号(Ctrl)，以使得所述光敏区域(110)在未中断的时间段期间运行于所述激活模式(ActM)，所述未中断的时间段超过与从所述光敏区域(110)将图像数据(Dimg)完全读出相关联的典型采集时间(Tframe)。
8.根据权利要求7所述的方法，所述方法包括：产生所述控制信号(Ctrl)，以使得所述运行时段(top)延续至少两个采集时间(Tframe)，所述光敏区域(110)在所述至少两个采集时间(Tframe)期间运行于所述激活模式(ActM)，所述至少两个采集时间(Tframe)被相应的延迟时段(Tdelay)分隔开，所述光敏区域(110)在所述延迟时段(Tdelay)期间运行于所述待机模式(StdBM)。
9.根据权利要求7或8所述的方法，其中，所述光敏区域(110)包括一组光敏元件，所述一组光敏元件被按照第一数量的列和第二数量的行来布置，并且所述方法进一步包括：
从所述光敏区域(110)将图像数据(Dimg)读出至所述输出接口(130)，所述图像数据(Dimg)已经由所述第一数量的列和/或所述第二数量的行的至少一个子集(ROI)专用地记录，以及
产生所述控制信号(Ctrl)，以使得在所述光敏区域(110)运行于所述激活模式(ActM)时，所述图像数据的至少一个子集(ROI)被馈送至所述输出接口(130)。
10.根据权利要求7或8所述的方法，所述方法包括：在所述运行时段(top)之后，产生控制信号(Ctrl)，以使得所述光敏区域(110)在未中断的时间段期间运行于所述激活模式(ActM)，所述未中断的时间段超过与从所述光敏区域(110)将图像数据(Dimg)完全读出相关联的典型采集时间(Tframe)。
11.根据权利要求7或8所述的方法，其中，所述光敏区域(110)包括一组光敏元件，所述一组光敏元件被按照第一数量的列和第二数量的行来布置，并且所述方法进一步包括：
将图像数据(Dimg)读出至所述输出接口(130)，使得来自两个或更多个所述光敏元件的数据相互合并以形成共同的数据单元并且馈送至所述输出接口(130)的所述数据单元的总数小于所述第一数量与所述第二数量的乘积。
12.一种计算机可读介质(125)，所述计算机可读介质(125)上记录有程序，所述程序用于在被计算机运行时实现根据权利要求7-11中任一项所述的方法的步骤。
CN201410178305.1A 2013-04-29 2014-04-29 节能的图像传感设备及其运行方法及眼部/视线跟踪系统 Active CN104125418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1307724.3A GB2513579A (en) 2013-04-29 2013-04-29 Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
GB1307724.3 2013-04-29

Publications (2)

Publication Number Publication Date
CN104125418A CN104125418A (zh) 2014-10-29
CN104125418B true CN104125418B (zh) 2019-05-10

Family

ID=48627018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410178305.1A Active CN104125418B (zh) 2013-04-29 2014-04-29 节能的图像传感设备及其运行方法及眼部/视线跟踪系统

Country Status (6)

Country Link
US (3) US9509910B2 (zh)
EP (2) EP3570138B1 (zh)
KR (1) KR20140128885A (zh)
CN (1) CN104125418B (zh)
CA (1) CA2848641A1 (zh)
GB (1) GB2513579A (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513579A (en) * 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
WO2015190093A1 (ja) * 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
EP3465536A1 (en) 2016-05-27 2019-04-10 Jeff B. Pelz System and method for eye tracking
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11057581B2 (en) * 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
EP3949381A1 (en) * 2019-03-27 2022-02-09 Apple Inc. Sensor system architecture with feedback loop and multiple power states
CN113632453A (zh) 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1168833A2 (en) * 2000-06-21 2002-01-02 Matsushita Electric Industrial Co., Ltd. CCD imaging apparatus
CN1379585A (zh) * 2001-03-29 2002-11-13 三洋电机株式会社 摄影器件用的集成电路
CN101860682A (zh) * 2009-04-07 2010-10-13 佳能株式会社 摄像设备
CN102510450A (zh) * 2011-10-17 2012-06-20 北京瑞澜联合通信技术有限公司 图像传感器、摄像装置及图像数据生成方法
CN102567737A (zh) * 2011-12-28 2012-07-11 华南理工大学 一种眼球角膜定位的方法
CN102880292A (zh) * 2012-09-11 2013-01-16 上海摩软通讯技术有限公司 移动终端及其操控方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526159B1 (en) * 1998-12-31 2003-02-25 Intel Corporation Eye tracking for resource and power management
JP4265076B2 (ja) * 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7379560B2 (en) * 2003-03-05 2008-05-27 Intel Corporation Method and apparatus for monitoring human attention in dynamic power management
US7433590B2 (en) * 2005-04-19 2008-10-07 Accu-Sort Systems, Inc. Method of low intensity lighting for high speed image capture
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
WO2008136007A2 (en) * 2007-05-08 2008-11-13 Amihay Halamish Acquiring regions of interest at a high frame rate
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
ES2898981T3 (es) * 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
EP2712541B1 (en) * 2012-09-27 2015-12-30 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Tiled image based scanning for head and/or eye position for eye tracking
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
GB2513579A (en) * 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1168833A2 (en) * 2000-06-21 2002-01-02 Matsushita Electric Industrial Co., Ltd. CCD imaging apparatus
CN1379585A (zh) * 2001-03-29 2002-11-13 三洋电机株式会社 摄影器件用的集成电路
CN101860682A (zh) * 2009-04-07 2010-10-13 佳能株式会社 摄像设备
CN102510450A (zh) * 2011-10-17 2012-06-20 北京瑞澜联合通信技术有限公司 图像传感器、摄像装置及图像数据生成方法
CN102567737A (zh) * 2011-12-28 2012-07-11 华南理工大学 一种眼球角膜定位的方法
CN102880292A (zh) * 2012-09-11 2013-01-16 上海摩软通讯技术有限公司 移动终端及其操控方法

Also Published As

Publication number Publication date
US9846481B2 (en) 2017-12-19
EP2804074A3 (en) 2016-02-17
CA2848641A1 (en) 2014-10-29
EP3570138A1 (en) 2019-11-20
US20170045940A1 (en) 2017-02-16
CN104125418A (zh) 2014-10-29
US9509910B2 (en) 2016-11-29
KR20140128885A (ko) 2014-11-06
GB201307724D0 (en) 2013-06-12
GB2513579A (en) 2014-11-05
EP3570138B1 (en) 2024-03-27
US20180067551A1 (en) 2018-03-08
US10372208B2 (en) 2019-08-06
US20140320688A1 (en) 2014-10-30
EP2804074A2 (en) 2014-11-19

Similar Documents

Publication Publication Date Title
CN104125418B (zh) 节能的图像传感设备及其运行方法及眼部/视线跟踪系统
EP3628121B1 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
US8947553B2 (en) Image processing device and image processing method
CN105723697B (zh) 用于相机和光源同步的方法、装置、设备及存储介质
US11019273B2 (en) Generating static images with an event camera
EP3627821B1 (en) Focusing method and apparatus for realizing clear human face, and computer device
US10218913B2 (en) HDR/WDR image time stamps for sensor fusion
CN104488258A (zh) 用于双相机快门的方法和设备
CN105874776A (zh) 图像处理设备和方法
CN108093158B (zh) 图像虚化处理方法、装置、移动设备和计算机可读介质
US11399136B2 (en) Automated camera mode selection
KR20170125604A (ko) 전자 장치 및 그 제어 방법
CN109040523B (zh) 伪影消除方法、装置、存储介质及终端
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN109618102B (zh) 对焦处理方法、装置、电子设备及存储介质
US10728463B2 (en) Imaging apparatus, control method and program therefor, and storage medium
EP3109695B1 (en) Method and electronic device for automatically focusing on moving object
CN108521862A (zh) 用于跟踪拍摄的方法和设备
KR20170040963A (ko) 전자 장치의 영상 처리 방법 및 그 전자 장치
JP5329940B2 (ja) 画像処理装置、その制御方法、及び撮像装置
US10645306B2 (en) Method for producing media file and electronic device thereof
Dilmaghani et al. Optimization of Event Camera Bias Settings for a Neuromorphic Driver Monitoring System
KR102094944B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
CN109151306B (zh) 一种基于拍摄预览区域的拍照方法、移动终端及存储介质
CN106534666A (zh) 相位对焦方法、装置及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Sweden Danderyd

Applicant after: Tobey Co.

Address before: Sweden Danderyd

Applicant before: Tobii Technology AB

COR Change of bibliographic data
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant