CN101523895A - 通过注视方向选择对焦区域 - Google Patents

通过注视方向选择对焦区域 Download PDF

Info

Publication number
CN101523895A
CN101523895A CNA2007800368384A CN200780036838A CN101523895A CN 101523895 A CN101523895 A CN 101523895A CN A2007800368384 A CNA2007800368384 A CN A2007800368384A CN 200780036838 A CN200780036838 A CN 200780036838A CN 101523895 A CN101523895 A CN 101523895A
Authority
CN
China
Prior art keywords
image
video sequence
focusing
user
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800368384A
Other languages
English (en)
Other versions
CN101523895B (zh
Inventor
马丁·格雷普
奥拉·特恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101523895A publication Critical patent/CN101523895A/zh
Application granted granted Critical
Publication of CN101523895B publication Critical patent/CN101523895B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Abstract

本发明公开了一种设备(10)中的图像对焦方法和便携式设备，该设备(10)包括：第一图像记录装置(24a)，用于记录设备(10)的用户(50)的图像或视频序列；第二图像记录装置(24b)，包括用于记录设备(10)的周围环境的图像或视频序列的自动对焦装置；显示装置(22)，用于再现所记录的设备(10)的周围环境的图像或者视频序列，该方法包括以下步骤：由第二图像记录装置(24b)记录环境的图像或者视频序列；根据第一图像记录装置(24a)记录的图像或视频序列获得用户(50)的注视方向；根据获得的注视方向在由显示器(22)再现的图像或者视频序列中选择对焦区域；通过自动对焦装置对所记录的设备(10)的周围环境的图像或者视频序列进行对焦，使对焦区域内的一个或多个对象变得清晰。

Description

通过注视方向选择对焦区域
技术领域
本发明涉及包括成像系统的便携式设备领域。具体地说，本发明涉及一种用于在成像系统中选择图像中的对焦区域的方法和装置。
背景技术
对于便携式成像设备领域的技术人员来说公知的是，可以通过所谓的自动对焦装置来得到图像的正确对焦。对于大多数数字静态摄像机(DSC：Digital Still Camera)来说，自动对焦装置的速度和准确度优于图像对焦的手动调节。
自动对焦装置通常基于主动系统或被动系统。主动系统通常分两个步骤来工作。在第一步骤中执行与光学系统分离的距离测量(例如，基于超声波或红外光等)。在第二步骤中基于测得的距离执行光学系统的调焦。相比较而言，被动系统不依赖于从摄像机向待记录对象的(例如，电磁射线或声波等形式的)发射等。相反，这种系统利用由对象自然地反射的光。被动自动对焦可以通过例如相位检测或对比度测量来实现，这在本领域是公知的。
然而，由于整个图像不能同时对焦，所以必须确定图像中待对焦的部分。为此，已有的自动对焦系统利用取景器，该取景器具有必须瞄准图像要对焦的对象的对焦框等。如果对焦框瞄准别处，就不能保证期望对象在所记录的图像中对准了焦点。然而，由于对焦框通常设置在取景器的中央，因此难以使图像对焦于位于图像中央外部(即位于图像的外围)的对象上。
为了弥补这一点，一些取景器具有供选择的多个对焦框。图像对焦点例如可以设置在中间、右侧、左侧、上部或者下部等。然而，只能选择一种设置。该设置通常自动选择，并且对焦点通常设置在对焦区域中离摄像机最近的对象上。
鉴于以上情况，有益的是向便携式成像设备的用户提供一种以期望的景深对图像进行对焦的更为有效且灵活的方式。具体地说，有益的是提供一种简单、灵活且直观的对焦。更具体地说，有益的是提供这种改进的对焦方式而不必添加用来实现这一改进的辅助硬件。
发明内容
本发明旨在解决的问题是向便携式成像设备的用户提供一种将图像对焦在期望对焦区域上的有效且灵活的方式。具体地说，本发明想要解决的问题是提供一种简单、灵活且直观的对焦方式。
根据本发明的第一方面解决了上述问题中的至少一个，本发明的第一方面提供了一种用于对便携式设备中的图像或者视频序列进行对焦的方法，该设备包括：第一图像记录装置，其用于记录所述设备的用户的图像或者视频序列；第二图像记录装置，其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置；以及显示装置，其用于再现所记录的所述设备的周围环境的图像或者视频序列。
所述方法包括下述步骤：
-通过所述第二图像记录装置记录所述环境的图像或者视频序列；
-根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向；
-根据所获得的注视方向在由所述显示器再现的图像或者视频序列中选择对焦区域；
-通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
本发明的第二方面旨在提供一种包括第一方面的特征的方法，其特征在于获得朝向所述设备的周围环境和/或朝向所述设备的所述显示装置的注视方向。
本发明的第三方面旨在提供一种包括第一方面的特征的方法，其特征在于获得所述用户的面部的注视方向和/或所述用户的至少一个眼睛的注视方向。
本发明的第四方面旨在提供一种包括第三方面的特征的方法，其特征在于根据所获得的所述用户的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
本发明的第五方面旨在提供一种包括第一方面的特征的方法，其特征在于根据所获得的注视方向，在对焦区域的对焦栅格中选择对焦区域或者对可移动对焦框进行移动，以选择对焦区域。
本发明的第六方面旨在提供一种包括第五方面的特征的方法，其特征在于按照所述用户的命令来改变所述对焦栅格的形状或者所述对焦框的形状。
本发明的第七方面旨在提供一种包括第五方面或者第六方面的特征的方法，其中，所述对焦栅格或者对焦框对所述用户可见。
本发明的第八方面旨在提供一种包括第一方面的特征的方法，其中，所述便携式设备是便携式通信设备。
本发明的第九方面旨在提供一种包括第一方面的特征的方法，其中，所述第一成像装置在第一工作模式下记录所述用户的图像或者视频序列以获得所述用户的注视方向，并在第二工作模式下记录所述用户的图像或者视频序列以在视频通话期间提供所述用户的图像或者视频序列。
本发明的第十方面旨在提供一种包括第九方面的特征的方法，其中，所述便携式通信设备是蜂窝电话。
此外，根据本发明的第十一方面解决了上述问题中的至少一个，本发明的第十一方面提供了一种便携式设备，该便携式设备包括：第一图像记录装置，其用于记录所述设备的用户的图像或者视频序列；第二图像记录装置，其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置；显示装置，其用于再现所记录的所述设备的周围环境的图像或者视频序列；以及自动对焦控制器，其用于对所述设备中的图像或者视频序列进行对焦。
所述便携式设备的特征在于所述自动对焦控制器被设置为进行如下操作：根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向；根据所获得的注视方向在由所述显示器再现的所述图像或者视频序列中选择对焦区域；通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
本发明的第十二方面旨在提供一种包括第十一方面的特征的设备，其特征在于所述自动对焦控制器被设置为获得朝向所述设备的周围环境的注视方向。
本发明的第十三方面旨在提供一种包括第十一方面的特征的设备，其特征在于所述自动对焦控制器被设置为获得所述用户的面部的注视方向和/或所述用户的至少一个眼睛的注视方向。
本发明的第十四方面旨在提供一种包括第十三方面的特征的设备，其特征在于所述自动对焦控制器被设置为根据所获得的所述用户的面部的注视方向和所述用户的所述至少一个眼睛的注视方向二者来选择对焦区域。
本发明的第十五方面旨在提供一种包括第十一方面的特征的设备，其特征在于所述自动对焦控制器被设置为：根据所获得的注视方向，在对焦区域栅格中选择对焦区域或者对可移动对焦框进行移动，以标识对焦区域。
本发明的第十六方面旨在提供一种包括第十五方面的特征的设备，其特征在于所述自动对焦控制器被设置为按照所述用户的命令而改变所述对焦栅格的形状或者所述对焦框的形状。
本发明的第十七方面旨在提供一种包括第十五方面或者第十六方面的特征的设备，其特征在于所述对焦栅格或者对焦框对所述用户可见。
本发明的第十八方面旨在提供一种包括第十一方面的特征的设备，其特征在于所述便携式设备是便携式通信设备。
本发明的第十九方面旨在提供一种包括第十一方面的特征的设备，其特征在于所述第一成像装置被设置为在第一工作模式下记录所述用户的图像或者视频序列以获得所述用户的注视方向，并且被设置为在第二模式下记录所述用户的图像或者视频序列以在视频通话期间提供所述用户的图像或者视频序列。
本发明的第二十方面旨在提供一种包括第十九方面的特征的设备，其特征在于所述便携式通信设备是蜂窝电话。
本发明的第二十一方面旨在提供一种存储在计算机可用介质上并包括可读程序单元的计算机程序产品，该可读程序单元用于在所述程序单元被加载到便携式设备中时使得所述便携式设备执行多个步骤，所述便携式设备包括：第一图像记录装置，其用于记录所述设备的用户的图像或者视频序列；第二图像记录装置，其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置；显示装置，其用于再现所记录的所述设备的周围环境的图像或者视频序列；以及自动对焦控制器，其用于对所述设备中的图像或者视频序列进行对焦，
所述步骤包括：
-通过所述第二图像记录装置记录所述环境的图像；
-根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向；
-根据所获得的注视方向在由所述显示器再现的所述图像或者视频序列中选择对焦区域；
-通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
本发明的第二十二方面旨在提供一种记录有程序的计算机程序元件，其中所述程序用于在所述程序单元被加载到便携式设备中时使得所述便携式设备执行多个步骤，所述便携式设备包括：第一图像记录装置，其用于记录所述设备的用户的图像或者视频序列；第二图像记录装置，其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置；显示装置，其用于再现所记录的所述设备的周围环境的图像或者视频序列；以及自动对焦控制器，其用于对所述设备中的图像或者视频序列进行对焦，
所述步骤包括：
-通过所述第二图像记录装置记录所述环境的图像；
-根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向；
-根据所获得的注视方向在由所述显示器再现的所述图像或者视频序列中选择对焦区域；
-通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
本发明及其实施方式的更多优点将通过本发明的以下详细说明而显现。
应当强调的是，说明书中使用的术语“包括”用来指明存在所述特征、整体、步骤或部件，但并不排除存在或添加一个或更多个其它特征、整体、步骤、部件或它们的组。
还应当强调的是在不偏离本发明的情况下，所附权利要求所限定的方法可以按照与这些方法在权利要求中出现的顺序不同的另一顺序来执行。
附图说明
现在将结合附图更详细地描述本发明，在附图中：
图1示出了蜂窝电话形式的便携式通信设备的第一侧；
图2示出了图1中的便携式通信设备的第二侧；
图3示出了连接到蜂窝网络的图1至图2中的蜂窝电话；
图4示出了图1至图3中的蜂窝电话的相关部件的示意性框图；
图5示出了使用图1至图3中的蜂窝电话的用户；
图6a示出了转向大致正前方的用户50的头部；
图6b示出了转向用户50左侧的该用户的头部；
图6c示出了转向用户50右侧的该用户的头部；
图7a示出了显示器22上的对焦栅格，其中对焦点在该栅格的中央；
图7b示出了对焦点在栅格中的左边的情况下图7a中的对焦栅格；
图7c示出了对焦点在栅格中的右边的情况下图7a中的对焦栅格；
图8a示出了再现示例性和示意性图像的图1至图3中的蜂窝电话的显示器；
图8b示出了再现示例性和示意性图像的图1至图3中的蜂窝电话的显示器；
图9示出了执行根据本发明的一个优选实施方式的方法的方法流程图；
图10示出了其上具有用于执行根据本发明的方法的程序代码的CD-ROM。
具体实施方式
本发明涉及包括成像系统的便携式设备。具体地说，本发明涉及包括成像系统的便携式通信设备。然而，本发明绝不限于通信设备。而是可应用于包括合适的成像系统的任何合适的便携式设备。
图1至图2中示出了根据本发明一个优选实施方式的示例性便携式通信设备。优选地，该设备为适于根据3G技术(例如W-CDMA或者CDMA2000)或者可能根据2.5G技术(例如GPRS)或者类似技术工作的移动蜂窝电话10。例如在第3代合作伙伴计划(3GPP)的规范中可以找到关于3G技术和2.5G技术的信息，例如参见网站www.3gpp.org。
然而，应当强调的是，图1至图2中的蜂窝电话10仅仅是能够实现本发明的便携式设备的一个示例。此外，本发明例如能够用在PDA(个人数字助理)、掌上计算机、膝上计算机或智能电话，或者任何其他合适的便携式设备中。
图1示出了省略表示(i.a.)的包括键盘12、扬声器14和麦克风16的蜂窝电话10的第一侧。键盘12用于输入诸如功能选择之类的信息并对提示进行响应。键盘12可以具有任何适当的类型，包括但不限于带有适当的按键按钮或触摸按钮等和/或不同的适当按钮装置的组合的键盘。扬声器14用于向用户呈现声音，而麦克风16用于感测来自用户的语音。另外，蜂窝电话10包括用于经由网络与其他用户进行通信的天线。该天线内置在电话10中，因而在图1中没有示出。
另外，图1中所示的蜂窝电话10的第一侧包括用于向蜂窝电话10的用户显示功能和提示的显示器22。显示器22还用于呈现图像和/或视频序列。这里，应当强调的是，优选地将显示器22设置为呈现先前记录的图像和/或视频序列以及当前记录的图像。换句话说，优选的是，显示器22既能够充当取景器又能够充当先记录图像和/或视频序列的呈现装置。
此外，图1中所示的蜂窝电话10的第一侧包括第一摄像机装置24a，该装置使得蜂窝电话10能够以数字方式记录图像。优选地，第一摄像机24a包括透镜和/或透镜系统以及图像传感器，该图像传感器例如是构建在包含链接式或耦合式光敏电容器阵列等的集成电路上的CCD(电荷耦合器件)图像传感器。当然，可以设想采用其他图像传感器，例如构建在包含像素阵列的集成电路上的APS(有源像素传感器)，其中每个像素都包含光电检测器以及三个或更多个晶体管。APS能够通过普通的CMOS工艺来制造，并且其功耗小于传统CCD。第一摄像机24a通常是用于在视频通话期间记录蜂窝电话10的用户的图像和/或视频序列的视频通话摄像机，这对于本领域的技术人员而言是公知的。例如在索尼爱立信移动蜂窝电话P990i、W850i、K610i和Z610i中提供了视频通话摄像机功能等。
图2示出了包括第二摄像机装置24b的蜂窝电话10的第二侧。通常，第二摄像机24b包括与第一摄像机装置24a相同或者类似的基本结构和功能。然而，第二摄像机24b优选地为蜂窝电话10的主摄像机，因此优选的是，与第一摄像机24a相比，第二摄像机24b具有增强的性能，例如更高的分辨率。具体地说，第二摄像机24b具有用于获得待记录图像的正确对焦的自动对焦装置等。例如在索尼爱立信移动蜂窝电话P990i、W900i、K800i和W810i中提供了自动对焦功能。各种合适的自动对焦装置的基本结构和功能对于本领域的技术人员而言是公知的，因此无需赘述。
图3示出了经由基站32连接到蜂窝网络30的蜂窝电话10。网络30优选地为3G网络(例如WCDMA网络)，但它也可以是GPRS网络或者其他2.5G或2.75G网络。但是，该网络不一定是蜂窝网络，而可以是某种其他类型的网络，例如互联网、企业内部网络、LAN或无线LAN。
图4示出了蜂窝电话10内部的与本发明相关的部件。如前所述，优选的是，蜂窝电话10包括键盘12、扬声器14、麦克风16、显示器22、第一摄像机装置24a和第二摄像机装置24b。此外，蜂窝电话10优选地具有存储器装置18，用于存储例如系统文件和数据文件，特别是用于存储包括由第二摄像机装置24b生成的图像的文件。存储器18可以是便携式设备中所使用的任何适当的存储器或者存储器的组合。
此外，蜂窝电话10包括连接到射频电路36的天线34，使得能够与图3中的网络30进行无线电通信。射频电路36进而连接到事件处理单元19，该事件处理单元19用于处理例如是经由网络30发往和来自外部单元的出局及入局通信之类的事件，例如呼叫以及消息(例如SMS(短消息服务)和MMS(多媒体消息传送服务))。
此外，蜂窝电话10具有对蜂窝电话10的工作进行控制和监视的控制单元20。控制单元20可以通过硬件和/或软件来实现，并且它可以包括一个或几个硬件单元和/或软件模块，例如，具有或有权访问由蜂窝电话10执行的功能所需要的合适软件和硬件的一个或几个处理器单元，这是本领域技术人员所公知的。从图4中可以看出，优选的是，控制单元20连接到键盘12、扬声器14、麦克风16、事件处理单元19、显示器22、摄像机24a和24b、射频单元36和存储器18。这使得控制单元20能够控制这些单元并与它们进行通信，从而例如与这些单元交换信息和指令。
控制单元20所包括的自动对焦控制器40与本发明特别相关。作为控制单元20的一部分意味着自动对焦控制器40可以通过硬件和/或软件来实现，并且它可以包括一个或几个硬件单元和/或软件模块，例如，具有或者有权访问适于所需功能的软件和硬件的一个或几个处理器单元。自动对焦控制器40被设置为通过第一摄像机24a对用户50的面部进行记录来控制第二摄像机24b的自动对焦装置，这将在下面更详细地描述。
图5示出了使用根据本发明的一个实施方式的蜂窝电话10的用户50的头部。从图5可以看出，蜂窝电话10优选地保持位于用户50前方的操作位置。将操作位置选择为使得第一摄像机24a能够记录位于显示器22前方的用户50的头部的图像，显示器22在操作时再现由第二摄像机24b当前记录的场景。
自动对焦控制器40被设置为处理第一摄像机24a所记录的用户50的面部的图像，以获得用户50的面部的注视方向和/或用户50的眼睛的注视方向。这里，假设面部和/或眼睛朝向要由第二摄像机24b记录的对象。然而，应当补充的是，用户50的面部和/或眼睛也可以朝向蜂窝电话10的摄像机24a和显示器22。所获得的面部的注视方向和眼睛的注视方向可以相互补充，例如，如果所获得的面部方向或眼睛方向不确定，或者在用户斜视待记录的对象的情况下，即眼睛朝向待记录的对象而面部朝向其他方向，或者相反。
例如通过合适的面部识别方法等以及合适的眼睛追踪算法等可以获得面部方向和眼睛方向。为此，存在各种各样的公知的面部识别技术，用于检测所记录的图像中或者所记录的图像序列中用户的面部方向，参见公布的专利申请US 2001/0019620(Nagai等人)。类似地，存在各种各样的公知的眼睛追踪技术，用于检测用户的眼睛的注视方向，参见专利US6,152,563(Hutchinson等人)和公布的专利申请US2006/0110008A1(Vertegaal等人)和US 2006/0007396 A1(Clement等人)。受益于本公开的本领域技术人员会认识到存在适于通过第一摄像机24a的记录来追踪用户50的面部方向和眼睛的注视方向的类似或者等同方法。例如，可以通过被眼睛的外部和/或内部反射然后由第一摄像机装置24a记录的红外照明来执行用户50的眼睛的视线追踪。红外光从眼睛反射并被摄像机装置24a感测到。然后由自动对焦控制器40对信息进行分析，以根据反射的变化提取眼睛的转动。通常，角膜反射(第一浦肯雅(Purkinje)图像)和瞳孔中心可以用作随时间进行追踪的特征。更灵敏型的眼睛追踪器(双浦肯雅眼睛追踪器)利用了来自角膜前面的反射(第一浦肯雅图像)和晶状体背面的反射(第四浦肯雅图像)作为特征进行追踪。另一个更灵敏的追踪方法是对来自眼睛内部的特征(例如视网膜血管)进行成像，并随着眼睛转动而跟踪这些特征。
自动对焦控制器40进一步适于对第二摄像机24b的自动对焦装置进行控制，以便根据通过第一摄像机24a所记录的图像获得的用户50的面部方向和/或眼睛方向来改变将由第二摄像机24b记录的图像的对焦点。
如图6a至图6c中所示意性示出的，优选的是，自动对焦控制器40被设置为检测当用户50的面部转到大致正前方(如图6a中所示意性示出的)、转到左方(如图6b中所示意性示出的)和转到右方(如图6c中所示意性示出的)时用户50的至少一个面部方向。
如图7a至图7c中所示意性示出，电话10的显示器22可以划分为对焦栅格700，例如包括九个方形区域的栅格。对用户50而言栅格可以是可见的或者不可见的，并且，与图7a至图7c中示意性示出的相比，它可以包括更多或者更少的方块或其他适当限定的对焦区域。例如，栅格中的对焦区域还可以是矩形或者某种其他多边形，或者圆形或椭圆形或具有圆角或斜角的多边形。
栅格700与例如可以通过如上所述的公知的面部识别方法或者眼睛追踪算法等而获得的用户50的面部方向和/或用户50的眼睛方向相关。然而，当用户50的面部转向大致正前方时(如图6a中所示)，自动对焦控制器40将对显示器22上呈现的图像进行对焦，使得它在栅格700的中央方块中变得清晰，如图7a中圆圈示意性指示的。类似地，当用户50的面部转向左侧时(如图6b中所示)，自动对焦控制器40将对显示器22上呈现的图像进行对焦，使得它在栅格700的左边方块中变得清晰，如图7b中圆圈示意性指示的。当用户50的面部转向右侧时(如图6c中所示)，自动对焦控制器40将对显示器22上呈现的图像进行对焦，使得它在栅格700的右边方块中变得清晰，如图7c中圆圈示意性指示的。此外，自动对焦控制器40可以设置为检测用户50正在向上看还是向下看。在这种情况下，当用户50向下看时，经适当修正后(mutatis mutandis)，可以使用位于上述中间行下方的一行中的方块之一，而当用户50向上看时，经适当修正后，可以使用位于中间行上方的一行中的方块。对于用户50的眼睛方向，经适当修正后，以上方法同样适用。当用户已经注视一个方向达预定时段时可以选择并冻结对焦框。该预定时段例如可以是小于三秒、小于两秒、小于一秒、小于0.5秒、小于0.4秒、小于0.3秒、小于0.2秒或者小于0.1秒。
作为对焦栅格700中对焦区域的替代，蜂窝电话10可以利用如图8a至图8b中所指示的可移动对焦框400形式的可移动对焦区域而工作。则优选的是，可移动框400是可见的，使得用户50能够看到图像要对焦的对象。这给用户提供了对于对焦处理的改进的控制。对焦框400可以是方形或者矩形或者某种其他多边形。然而，显然可以设想到其他形状，例如圆形或椭圆形或具有圆角或斜角的多边形。进一步优选的是，对焦框400覆盖了显示图像的少于一半的面积，更优选的是覆盖了少于显示图像的25％的面积，还更优选的是覆盖了显示图像的少于10％的面积。
在可移动对焦框400的情况下，优选的是，自动对焦控制器40被设置为根据用户50的当前面部的注视方向和/或根据用户50的眼睛的注视方向将对焦框400等移到显示器22中的不同位置。如上所述，可以通过包括了用于对第一摄像机24a所生成的图像中的用户面部和眼睛进行分析的适当面部识别技术和眼睛追踪技术等的自动对焦控制器40而获得用户的面部方向和用户50的眼睛的注视方向。一旦对焦框400被定位，就可以通过由自动对焦控制器40控制的第二摄像机24b的自动对焦装置对显示器22上呈现的图像进行对焦，自动对焦控制器40以公知方式处理对焦框400内的一个或多个对象。
参照图8a和8b可以更清楚地描述可移动对焦框400，图8a和8b例示了呈现出示例性和示意性图像的图1中的蜂窝电话10的显示器22。该图像包括示意性示出的位于前景中较近位置处的人物P和示意性示出的位于背景中较远位置处的树木T。图8a示出了定位成覆盖人物P的面部的对焦框400，这意味着根据本发明的图像将被对焦成使人物P的面部清晰而背景中的树木T模糊。图8b示出了被移动从而覆盖了树木T的树冠的对焦框400，这意味着根据本发明的图像将被对焦成使树木T的树冠清晰而前景中的人物P模糊。因此，通过将覆盖了在显示器22上呈现的图像的一部分的框400移动到所呈现图像的不同位置，可以大致按期望对图像进行对焦。当然，如果将显示器22划分为如上所述的对焦栅格，经过适当修正后上述方法同样适用，即，图像将会对焦于根据用户50的面部的注视方向和/或用户50的眼睛的注视方向而选择的栅格的区域中。
本发明所提供的一个优点在于，便携式通信设备的用户感受到了改进的图像对焦控制。因此，用户不会受到传统自动对焦系统通常所需要的瞄准和操作的困扰，并且用户不一定限于从少量固定对焦框中进行手动选择。而是，根据上面讨论的实施方式，用户仅需要瞄准蜂窝手机10的主摄像机24b来拍摄待记录的图像。然后根据用户50的面部的注视方向和/或根据用户的眼睛的注视方向以简单、方便且有效的方式对所拍摄的图像进行对焦。
应当补充的是，可以通过来自用户50的命令(例如通过来自蜂窝电话10的键盘12上的按钮等的命令)来改变对焦栅格700的形状。例如，可以改变对焦区域的数量；可以改变对焦区域的形状；对焦区域的构成可以改变为代表不同图案，例如可以改变成彼此相邻地排列或者在空间上分离，改变成排列为圆形图案、或者三角形图案或者某种其他多边形图案等。这使得能够利用小的对焦区域而对焦于小的对象上，并且能够利用较大的对焦区域而对焦于大的对象或者几个小的对象上。简言之，这使得能够调节对焦区域的形式和大小，以适合于要对焦的一个或几个对象。
同样，可以通过来自用户50的命令(例如通过来自蜂窝电话10的键盘12上的按钮等的命令)来改变可移动对焦框400的形状。这使得能够利用小框而对焦于小的对象上，并且能够利用较大的框而对焦于大的对象或者几个小的对象上。简言之，这使得能够调节对焦框的大小，以适合于要对焦的一个或多个对象。简言之，这使得能够调节对焦框400的形式和大小，以便适合于要对焦的一个或多个对象。
在我们继续说明之前，应当强调的是，除了图3中所示的部件和单元之外，在蜂窝电话10中可以有其他部件和单元等。图3中所示的部件和单元还可以连接到比所例示的更多的部件和单元。
现在将注意力转向本发明的一个示例性实施方式的功能，将参照图1至图8b和图9对此进行描述，其中图9示出了根据本发明的方法的一个优选实施方式的流程图。
如前所述，根据本发明的一个实施方式的蜂窝电话10包括主要被设置用于对视频通话期间用户50的图像和/或视频序列进行记录的第一摄像机24a。此外，蜂窝电话10包括用于记录蜂窝电话10的周围环境的高质量图像的第二摄像机装置24b。具体地说，如下面将更详细地描述的，第二摄像机装置24b具有自动对焦装置，该自动对焦装置被设置为由对第一摄像机24a所作的用户50的面部和/或眼睛的记录进行操作的自动对焦控制器40进行控制。
本发明的有利实施方式使用具有两个摄像机的通信设备，例如，对于支持视频通话的蜂窝电话而言这是典型配置。
主要优点在于，通过两个摄像机在支持视频通话的通信设备中实现本发明不需要任何辅助硬件(至少不需要辅助摄像机)，即已经有了所需要的硬件。
现在参照图9中的示例性流程图来描述借助于第二摄像机24b的自动对焦装置对所拍摄的图像进行对焦的示例性方法的步骤，该自动对焦装置利用由第一摄像机24a对用户50的面部和/或眼睛所作的记录对可移动对焦框进行定位以覆盖显示器22上再现的拍摄图像的一部分。该方法优选地通过如图4中示意性例示的自动对焦控制器40来实现。
在根据本发明的一个实施方式的示例性方法的第一步骤S1中，对自动对焦控制器40所执行的对焦功能进行初始化。该初始化可以包括这样的动作：利用第一摄像机24a记录用户50的图像，利用第二摄像机24b记录蜂窝手机10的周围环境的图像，并通过显示器22再现所记录的周围环境的图像。此外，优选的是，该初始化包括对显示器22上的对焦栅格(通常对用户50不可见)进行分配，或者将可移动对焦框400置于显示器22中的起始位置处。
在该示例性方法的第二步骤S2中，通过被设置为对第一摄像机24a所记录的用户50的面部图像进行处理的自动对焦控制器40而获得用户50的面部方向和/或眼睛方向。优选地通过利用了先前所述的合适面部识别技术等和可能的合适眼睛追踪技术等的自动对焦控制器40对所记录的用户50的面部图像进行处理。这里，假设用户50使面部和眼睛朝向要由第二摄像机24b记录的对象。如果以图8a为例，用户50可以在人物P和树木T出现在蜂窝电话10的周围环境中时使面部和眼睛朝向人物P或者树木T。在任何情况下，已知的面部或眼睛追踪算法等至少能够检测用户50的面部可能还有眼睛是朝正前、朝左还是朝右，是朝上还是朝下。此外，已知的面部或眼睛追踪算法能够用于检测用户50的面部和/或眼睛是否朝向蜂窝电话10的摄像机24a和显示器22，还能够用于检测显示器22中用户50所注视的区域。因此，能够检测当人物P和树木T出现在蜂窝电话10的显示装置22上时用户50是注视人物P还是树木T。
在该示例性方法的第三步骤S3中，根据在上一步骤S2中获得的用户50的面部的注视方向和/或眼睛的注视方向来选择对焦区域。例如，如前所述参照示例性的图6a至图6c以及图7a至图7c相应地选择对焦栅格中的区域。类似地，如图8a和8b中所示，可以相应地移动对焦框400。
优选的是，通过自动对焦控制器40来选择对焦区域。然而，自动对焦控制器40还可以为另一硬件和/或软件单元提供所获得的用户50的面部方向和/或眼睛方向，该单元进而在显示器22所再现的图像内选择对焦区域。
在该示例性方法的第四步骤S4中，例如在用户按下了键盘12等上的按钮等的情况下，或者在用户仅仅是在短时间内停止移动面部和/或眼睛的情况下，选择由对焦区域所标识的关注对象。自动对焦控制器40利用图像中由对焦区域所限定的部分对图像进行对焦，使得该对焦区域内的一个或多个对象变得清晰。通常通过选择使得在对焦区域内呈现最佳清晰度的对焦设定来执行该操作，在具有传统自动对焦的几乎所有数码摄像机中都要例行地进行这项工作。为此，例如可以通过边缘检测算法来分析对焦区域内的图像，根据该算法，选择在对焦框内示出最多边缘的自动对焦设定对图像进行对焦，因为它代表最清晰的图像，参见例如已公布的专利申请US 2006/0062484 A1(Aas等人)。
通常，如前所述，优选的是，以一个或更多个处理器的形式来提供被设置为执行上述示例性方法的自动对焦控制器40，该一个或更多个处理器具有包含程序代码形式的适当软件的相应存储器。但是，该程序代码也可以设置在数据载体(如图8中所示的CD ROM盘46或可插入式记忆棒)上，该数据载体在被加载到计算机中或具有适当处理能力的电话中时将执行本发明。也可以从蜂窝网络外部的或内部的服务器远程下载该程序代码，或者经由与电话临时连接的类似PC的计算机来下载该程序代码。
作为一般说明，应当补充的是，上面所用的“图像”这一表述可以包括视频序列(如果这在本发明的一些实施方式中更恰当的话)。
至此已经参照示例性实施方式描述了本发明。然而，本发明并不限于这里描述的实施方式。相反，本发明的全部范围仅由所附权利要求的范围决定。

Claims (22)

1.一种用于对便携式设备(10)中的图像或者视频序列进行对焦的方法，该设备(10)包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像或者视频序列；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像或者视频序列的自动对焦装置；以及
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像或者视频序列，
该方法包括下述步骤：
-通过所述第二图像记录装置(24b)记录所述环境的图像或者视频序列；
-根据由所述第一图像记录装置(24a)记录的图像或者视频序列而获得所述用户(50)的注视方向；
-根据所获得的注视方向在由所述显示器(22)再现的图像或者视频序列中选择对焦区域；
-通过所述自动对焦装置对所记录的所述设备(10)的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
2.根据权利要求1所述的方法，其特征在于：获得朝向所述设备(10)的周围环境和/或朝向所述显示装置(22)的注视方向。
3.根据权利要求1所述的方法，其特征在于：获得所述用户(50)的面部的注视方向和/或所述用户(50)的至少一个眼睛的注视方向。
4.根据权利要求3所述的方法，其特征在于：根据所获得的所述用户(50)的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
5.根据权利要求1所述的方法，其特征在于：根据所获得的注视方向，在对焦区域的对焦栅格(700)中选择对焦区域或者对可移动对焦框(400)进行移动，以选择对焦区域。
6.根据权利要求5所述的方法，其特征在于：按照所述用户(50)的命令来改变所述对焦栅格(700)的形状或者所述对焦框(400)的形状。
7.根据权利要求5或6所述的方法，其中：所述对焦栅格(700)或者所述对焦框(400)对所述用户(50)可见。
8.根据权利要求1所述的方法，其中：所述便携式设备(10)是便携式通信设备。
9.根据权利要求1所述的方法，其中：所述第一成像装置(24a)在第一工作模式下记录所述用户(50)的图像或者视频序列以获得所述用户(50)的注视方向，并在第二工作模式下记录所述用户(50)的图像或者视频序列以在视频通话期间提供所述用户(50)的图像或者视频序列。
10.根据权利要求9所述的方法，其中：所述便携式通信设备是蜂窝电话(10)。
11.一种便携式设备(10)，其包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像或者视频序列；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像或者视频序列的自动对焦装置；
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像或者视频序列；以及
-自动对焦控制器(40)，其用于对所述设备(10)中的图像或者视频序列进行对焦，
其特征在于所述自动对焦控制器(40)被设置为进行如下操作：
-根据由所述第一图像记录装置(24a)记录的图像或者视频序列而获得所述用户(50)的注视方向；
-根据所获得的注视方向在由所述显示器(22)再现的所述图像或者视频序列中选择对焦区域；
-通过所述自动对焦装置对所记录的所述设备(10)的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
12.根据权利要求11所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为获得朝向所述设备(10)的周围环境的注视方向和/或朝向所述显示装置(22)的注视方向。
13.根据权利要求11所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为获得所述用户(50)的面部的注视方向和/或所述用户(50)的至少一个眼睛的注视方向。
14.根据权利要求13所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为根据所获得的所述用户(50)的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
15.根据权利要求11所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为：根据所获得的注视方向，在对焦区域的栅格中选择对焦区域或者对可移动对焦框(400)进行移动，以标识对焦区域。
16.根据权利要求15所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为按照所述用户(50)的命令而改变所述对焦栅格(700)的形状或者所述对焦框(400)的形状。
17.根据权利要求15或16所述的便携式设备(10)，其特征在于所述对焦栅格(700)或者所述对焦框(400)对所述用户(50)可见。
18.根据权利要求11所述的便携式设备(10)，其特征在于所述便携式设备(10)是便携式通信设备。
19.根据权利要求11所述的便携式设备(10)，其特征在于所述第一成像装置(24a)被设置为在第一工作模式下记录所述用户(50)的图像或者视频序列以获得所述用户(50)的注视方向，并且被设置为在第二模式下记录所述用户(50)的图像或者视频序列以在视频通话期间提供所述用户(50)的图像或者视频序列。
20.根据权利要求18所述的便携式设备(10)，其特征在于所述便携式通信设备是蜂窝电话。
21.一种存储在计算机可用介质上并包括可读程序单元的计算机程序产品，该可读程序单元用于在所述程序单元被加载到便携式设备(10)中时使得所述便携式设备(10)执行多个步骤，所述便携式设备(10)包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像或者视频序列；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像或者视频序列的自动对焦装置；
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像或者视频序列；以及
-自动对焦控制器(40)，其用于对所述设备(10)中的图像或者视频序列进行对焦，
所述步骤包括：
-通过所述第二图像记录装置(24b)记录所述环境的图像；
-根据由所述第一图像记录装置(24a)记录的图像或者视频序列而获得所述用户(50)的注视方向；
-根据所获得的注视方向在由所述显示器(22)再现的所述图像或者视频序列中选择对焦区域；
-通过所述自动对焦装置对所记录的所述设备(10)的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
22.一种记录有程序的计算机程序元件，其中所述程序用于在所述程序单元被加载到便携式设备(10)中时使得所述便携式设备(10)执行多个步骤，所述便携式设备(10)包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像或者视频序列；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像或者视频序列的自动对焦装置；
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像或者视频序列；以及
-自动对焦控制器(40)，其用于对所述设备(10)中的图像或者视频序列进行对焦，
所述步骤包括：
-通过所述第二图像记录装置(24b)记录所述环境的图像；
-根据由所述第一图像记录装置(24a)记录的图像或者视频序列而获得所述用户(50)的注视方向；
-根据所获得的注视方向在由所述显示器(22)再现的所述图像或者视频序列中选择对焦区域；
-通过所述自动对焦装置对所记录的所述设备(10)的周围环境的图像或者视频序列进行对焦，使得所述对焦区域内的一个或多个对象变得清晰。
CN2007800368384A 2006-10-02 2007-06-25 通过注视方向选择对焦区域 Expired - Fee Related CN101523895B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US11/537,844 2006-10-02
US11/537,844 US7860382B2 (en) 2006-10-02 2006-10-02 Selecting autofocus area in an image
EPPCT/EP2007/002408 2007-03-19
PCT/EP2007/002408 WO2008040398A1 (en) 2006-10-02 2007-03-19 Selecting autofocus area in an image
PCT/EP2007/056307 WO2008040575A1 (en) 2006-10-02 2007-06-25 Selecting focusing area by gaze direction

Publications (2)

Publication Number Publication Date
CN101523895A true CN101523895A (zh) 2009-09-02
CN101523895B CN101523895B (zh) 2012-06-27

Family

ID=38461752

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800368384A Expired - Fee Related CN101523895B (zh) 2006-10-02 2007-06-25 通过注视方向选择对焦区域
CN2007800368859A Expired - Fee Related CN101523896B (zh) 2006-10-02 2007-06-26 图像中的对焦区域

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2007800368859A Expired - Fee Related CN101523896B (zh) 2006-10-02 2007-06-26 图像中的对焦区域

Country Status (3)

Country Link
US (2) US7860382B2 (zh)
CN (2) CN101523895B (zh)
WO (3) WO2008040398A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246044A (zh) * 2012-02-09 2013-08-14 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN103248822A (zh) * 2013-03-29 2013-08-14 东莞宇龙通信科技有限公司 摄像终端的对焦方法及摄像终端
CN103297696A (zh) * 2013-05-24 2013-09-11 北京小米科技有限责任公司 拍摄方法、装置和终端
CN103338331A (zh) * 2013-07-04 2013-10-02 上海斐讯数据通信技术有限公司 一种采用眼球控制对焦的图像采集系统
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN103929583A (zh) * 2013-01-15 2014-07-16 北京三星通信技术研究有限公司 一种控制智能终端的方法及智能终端
CN104520799A (zh) * 2012-05-04 2015-04-15 索尼电脑娱乐美国公司 通过眼睛跟踪进行的用户输入处理
CN104572997A (zh) * 2015-01-07 2015-04-29 北京智谷睿拓技术服务有限公司 内容获取方法、装置及用户设备
CN104995905A (zh) * 2013-02-20 2015-10-21 索尼公司 图像处理设备、拍摄控制方法和程序
CN105700786A (zh) * 2015-12-30 2016-06-22 联想(北京)有限公司 信息处理方法、装置及电子设备
CN106133752A (zh) * 2014-02-25 2016-11-16 眼验股份有限公司 眼睛注视跟踪
CN106415442A (zh) * 2014-05-08 2017-02-15 索尼公司 便携式电子设备和控制便携式电子设备的方法
CN108391049A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 拍摄控制方法及相关设备

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US8571346B2 (en) * 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US9596401B2 (en) 2006-10-02 2017-03-14 Sony Corporation Focusing an image based on a direction of a face of a user
US7664384B2 (en) * 2006-11-07 2010-02-16 Sony Ericsson Mobile Communications Ab User defined autofocus area
US20080279454A1 (en) * 2007-05-07 2008-11-13 Lev Jeffrey A Slot in housing adapted to receive at least a portion of a printed paper item for optical character recognition
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8497928B2 (en) 2007-07-31 2013-07-30 Palm, Inc. Techniques to automatically focus a digital camera
US8289377B1 (en) 2007-08-31 2012-10-16 DigitalOptics Corporation MEMS Video mode hidden autofocus
SG150414A1 (en) * 2007-09-05 2009-03-30 Creative Tech Ltd Methods for processing a composite video image with feature indication
US20090110245A1 (en) * 2007-10-30 2009-04-30 Karl Ola Thorn System and method for rendering and selecting a discrete portion of a digital image for manipulation
EP2420913B1 (en) 2007-12-03 2017-09-06 Semiconductor Energy Laboratory Co. Ltd. Mobile phone
US7881595B2 (en) * 2007-12-21 2011-02-01 Aptina Imaging Corporation Image stabilization device and method
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8675091B2 (en) * 2008-12-15 2014-03-18 Nvidia Corporation Image data processing with multiple cameras
KR101595751B1 (ko) * 2008-12-19 2016-02-22 삼성전자주식회사 화상통화 중 데이터 저장 방법 및 시스템
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
JP4781440B2 (ja) * 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ， エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
US8111247B2 (en) * 2009-03-27 2012-02-07 Sony Ericsson Mobile Communications Ab System and method for changing touch screen functionality
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US8482626B2 (en) * 2009-04-07 2013-07-09 Mediatek Inc. Digital camera and image capturing method
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8416715B2 (en) * 2009-06-15 2013-04-09 Microsoft Corporation Interest determination for auditory enhancement
JP5450200B2 (ja) * 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
FR2964203A1 (fr) * 2010-08-24 2012-03-02 Franck Andre Marie Guigan Acquisition d'image par synthese progressive
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
WO2012138355A1 (en) * 2011-04-08 2012-10-11 Hewlett-Packard Development Company, L. P. System and method of modifying an image
WO2012146542A1 (en) * 2011-04-24 2012-11-01 Cielo Este S.L A photograph camera or a camcorder with simultaneous pictures clarity which have contents with different distances from the camera
US8705812B2 (en) * 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN102914932A (zh) * 2011-08-03 2013-02-06 浪潮乐金数字移动通信有限公司 一种利用摄像设备用户的眼睛来对焦的方法及摄像设备
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
KR101754750B1 (ko) * 2011-09-08 2017-07-10 인텔 코포레이션 상호작용 스크린 보기를 위한 장치, 매체 및 방법
JP5902444B2 (ja) * 2011-11-24 2016-04-13 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法
US20130286049A1 (en) * 2011-12-20 2013-10-31 Heng Yang Automatic adjustment of display image using face detection
US20130155309A1 (en) * 2011-12-20 2013-06-20 Research In Motion Limited Method and Apparatus for Controlling Camera Functions Using Facial Recognition and Eye Tracking
US9052502B2 (en) 2011-12-29 2015-06-09 Elwha Llc Corrective alignment optics for optical device
US8934166B2 (en) 2011-12-29 2015-01-13 Elwha Llc Customized user options for optical device
US9033497B2 (en) 2011-12-29 2015-05-19 Elwha Llc Optical device with interchangeable corrective elements
CN103188428A (zh) * 2011-12-30 2013-07-03 富泰华工业（深圳）有限公司 拍摄装置及方法
CN103188434B (zh) * 2011-12-31 2017-05-24 联想(北京)有限公司 一种图像采集方法和设备
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101897549B1 (ko) 2012-01-09 2018-09-12 삼성전자주식회사 휴대 단말기에서 카메라 뷰 영역을 표시하는 장치 및 방법
CN103425641A (zh) * 2012-05-14 2013-12-04 富泰华工业（深圳）有限公司 电子装置及该电子装置的图像管理方法
US8581929B1 (en) * 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
JP2013254432A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法
US9971400B2 (en) * 2012-06-29 2018-05-15 Symbol Technologies, Llc Device and method for eye tracking data trigger arrangement
KR101880636B1 (ko) * 2012-07-25 2018-07-20 삼성전자주식회사 디지털 촬영 장치 및 그의 제어 방법
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
KR101952684B1 (ko) * 2012-08-16 2019-02-27 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
WO2014051010A1 (ja) 2012-09-28 2014-04-03 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
KR101983288B1 (ko) * 2012-11-22 2019-05-29 삼성전자주식회사 카메라 촬영 제어장치 및 방법
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US8994834B2 (en) 2012-12-20 2015-03-31 Google Inc. Capturing photos
US9224036B2 (en) * 2012-12-20 2015-12-29 Google Inc. Generating static scenes
US9571726B2 (en) 2012-12-20 2017-02-14 Google Inc. Generating attention information from photos
US9116926B2 (en) 2012-12-20 2015-08-25 Google Inc. Sharing photos
CN103905709A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 一种控制电子设备的方法及电子设备
US20150331486A1 (en) * 2012-12-26 2015-11-19 Sony Corporation Image processing device, image processing method and program
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US20140340639A1 (en) * 2013-05-06 2014-11-20 Langbourne Rust Research Inc. Method and system for determining the relative gaze-attracting power of visual stimuli
KR102085766B1 (ko) * 2013-05-30 2020-04-14 삼성전자 주식회사 촬영 장치의 자동 초점 조절 방법 및 장치
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6701512B2 (ja) * 2013-09-24 2020-05-27 ソニー株式会社 撮影装置、撮影方法、およびプログラム
WO2015077978A1 (en) * 2013-11-29 2015-06-04 Intel Corporation Controlling a camera with face detection
CN104754202B (zh) * 2013-12-31 2019-03-29 联想(北京)有限公司 一种图像采集的方法及电子设备
JP6178987B2 (ja) * 2014-02-05 2017-08-16 パナソニックＩｐマネジメント株式会社 撮像装置
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US10015391B2 (en) 2014-02-13 2018-07-03 Sony Mobile Communications Inc. Method and system for adjusting camera settings using corneal reflection
US10078198B2 (en) 2014-08-08 2018-09-18 Samsung Electronics Co., Ltd. Photographing apparatus for automatically determining a focus area and a control method thereof
US9594970B2 (en) 2014-08-28 2017-03-14 Lenovo (Singapore) Pte. Ltd. Device with camera at or near junction of first panel and second panel
CN104460185A (zh) * 2014-11-28 2015-03-25 小米科技有限责任公司 自动对焦方法及装置
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP6463849B2 (ja) * 2015-03-13 2019-02-06 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 電子デバイス、撮影方法、および撮影装置
US9860452B2 (en) * 2015-05-13 2018-01-02 Lenovo (Singapore) Pte. Ltd. Usage of first camera to determine parameter for action associated with second camera
CN105049717A (zh) * 2015-07-02 2015-11-11 上海闻泰电子科技有限公司 用于数码相机的瞳孔控制自动对焦方法及系统
KR102429427B1 (ko) * 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
CN106470308A (zh) * 2015-08-18 2017-03-01 联想(北京)有限公司 图像处理方法以及电子设备
US10845511B2 (en) * 2016-06-30 2020-11-24 Hewlett-Packard Development Company, L.P. Smart mirror
US9990037B1 (en) * 2016-12-01 2018-06-05 Varjo Technologies Oy Display apparatus and method using portable electronic device
CN110520792B (zh) 2017-03-30 2022-04-26 瑞典爱立信有限公司 成像装置和隐形眼镜
KR102476757B1 (ko) * 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
WO2020164693A1 (en) * 2019-02-12 2020-08-20 Telefonaktiebolaget Lm Ericsson (Publ) Method, computer program, and devices for image acquisition
CN110177210B (zh) * 2019-06-17 2021-04-13 Oppo广东移动通信有限公司 拍照方法及相关装置
JP7321786B2 (ja) 2019-06-17 2023-08-07 キヤノン株式会社 電子機器およびその制御方法
CN110636218B (zh) * 2019-08-19 2021-05-07 RealMe重庆移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN112702506A (zh) * 2019-10-23 2021-04-23 北京小米移动软件有限公司 拍摄方法、拍摄装置及电子设备
EP4131923A4 (en) * 2020-03-30 2023-08-23 Sony Group Corporation IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
US20220377233A1 (en) * 2021-05-19 2022-11-24 David Michael Tillinghast Utilizing Changing Photographer Pupil Size Information To Determine Appropriate Camera Settings
US20230298197A1 (en) * 2022-03-17 2023-09-21 Motorola Mobility Llc Electronic device with gaze-based autofocus of camera during video rendition of scene

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333029A (en) * 1990-10-12 1994-07-26 Nikon Corporation Camera capable of detecting eye-gaze
US5252950A (en) * 1991-12-20 1993-10-12 Apple Computer, Inc. Display with rangefinder
US5604537A (en) * 1992-09-10 1997-02-18 Canon Kabushiki Kaisha Imaging apparatus having an automatic focusing means
EP0650292B1 (en) * 1993-10-04 2002-04-03 Canon Kabushiki Kaisha Image pickup apparatus
JPH07184089A (ja) 1993-12-21 1995-07-21 Canon Inc ビデオカメラ
JPH07199042A (ja) * 1993-12-28 1995-08-04 Canon Inc 視線検出機能付カメラ
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
GB2372663B (en) * 1998-05-08 2002-11-27 Orange Personal Comm Serv Ltd Mobile communications
JP4521071B2 (ja) * 1999-03-15 2010-08-11 富士フイルム株式会社 構図補助機能付きディジタル・スチル・カメラおよびその動作制御方法
JP2001183735A (ja) * 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
US20030071909A1 (en) * 2001-10-11 2003-04-17 Peters Geoffrey W. Generating images of objects at different focal lengths
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
EP1553872B1 (en) 2002-10-15 2010-01-13 Volvo Technology Corporation Method for interpreting a subjects head and eye activity
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP2004297751A (ja) * 2003-02-07 2004-10-21 Sharp Corp 合焦状態表示装置及び合焦状態表示方法
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
CN100461212C (zh) * 2004-06-04 2009-02-11 松下电器产业株式会社 显示控制方法及装置以及便携设备
US7532197B2 (en) * 2004-06-22 2009-05-12 Lenovo (Singapore) Pte Ltd. Method and system for automated monitoring of a display
KR101058009B1 (ko) * 2004-08-06 2011-08-19 삼성전자주식회사 디지털 촬영 장치에서의 자동 포커싱 방법, 및 이 방법을채용한 디지털 촬영 장치
US7343047B2 (en) * 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
EP1800464A1 (en) * 2004-09-27 2007-06-27 Agere System Inc. Mobile communication device having stereoscopic imagemaking capability
US7460150B1 (en) * 2005-03-14 2008-12-02 Avaya Inc. Using gaze detection to determine an area of interest within a scene
US7806604B2 (en) * 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
US7979059B2 (en) * 2006-02-06 2011-07-12 Rockefeller Alfred G Exchange of voice and video between two cellular or wireless telephones
US7657171B2 (en) * 2006-06-29 2010-02-02 Scenera Technologies, Llc Method and system for providing background blurring when capturing an image using an image capture device

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246044B (zh) * 2012-02-09 2017-03-22 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN103246044A (zh) * 2012-02-09 2013-08-14 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN104520799A (zh) * 2012-05-04 2015-04-15 索尼电脑娱乐美国公司 通过眼睛跟踪进行的用户输入处理
CN103929583A (zh) * 2013-01-15 2014-07-16 北京三星通信技术研究有限公司 一种控制智能终端的方法及智能终端
CN103929583B (zh) * 2013-01-15 2018-08-10 北京三星通信技术研究有限公司 一种控制智能终端的方法及智能终端
CN104995905A (zh) * 2013-02-20 2015-10-21 索尼公司 图像处理设备、拍摄控制方法和程序
CN104995905B (zh) * 2013-02-20 2019-05-31 索尼公司 图像处理设备、拍摄控制方法和程序
CN103248822A (zh) * 2013-03-29 2013-08-14 东莞宇龙通信科技有限公司 摄像终端的对焦方法及摄像终端
CN103248822B (zh) * 2013-03-29 2016-12-07 东莞宇龙通信科技有限公司 摄像终端的对焦方法及摄像终端
CN103297696A (zh) * 2013-05-24 2013-09-11 北京小米科技有限责任公司 拍摄方法、装置和终端
WO2014187222A1 (zh) * 2013-05-24 2014-11-27 小米科技有限责任公司 拍摄方法、装置和终端
CN103338331A (zh) * 2013-07-04 2013-10-02 上海斐讯数据通信技术有限公司 一种采用眼球控制对焦的图像采集系统
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN106133752A (zh) * 2014-02-25 2016-11-16 眼验股份有限公司 眼睛注视跟踪
CN106133752B (zh) * 2014-02-25 2019-08-30 眼验股份有限公司 眼睛注视跟踪
CN106415442A (zh) * 2014-05-08 2017-02-15 索尼公司 便携式电子设备和控制便携式电子设备的方法
US10216267B2 (en) 2014-05-08 2019-02-26 Sony Corporation Portable electronic equipment and method of controlling a portable electronic equipment
CN104572997A (zh) * 2015-01-07 2015-04-29 北京智谷睿拓技术服务有限公司 内容获取方法、装置及用户设备
CN105700786A (zh) * 2015-12-30 2016-06-22 联想(北京)有限公司 信息处理方法、装置及电子设备
CN108391049A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 拍摄控制方法及相关设备

Also Published As

Publication number Publication date
CN101523896A (zh) 2009-09-02
WO2008040576A1 (en) 2008-04-10
WO2008040398A1 (en) 2008-04-10
US20100134642A1 (en) 2010-06-03
US20080080846A1 (en) 2008-04-03
US7860382B2 (en) 2010-12-28
WO2008040575A1 (en) 2008-04-10
CN101523895B (zh) 2012-06-27
CN101523896B (zh) 2011-09-07
US8767082B2 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
CN101523895B (zh) 通过注视方向选择对焦区域
CN103595909B (zh) 移动终端及其控制方法
JP5967473B2 (ja) 撮像装置及び撮像システム
US9094597B2 (en) Imaging apparatus and imaging system
US9596401B2 (en) Focusing an image based on a direction of a face of a user
JP5991514B2 (ja) 撮像装置及び撮像システム
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
CN110266941A (zh) 一种全景拍摄方法及终端设备
CN111901524B (zh) 对焦方法、装置和电子设备
JP2010183200A (ja) 撮像機能を備えた携帯端末
CN109218481A (zh) 成像模组、终端设备及变焦方法
CN113572956A (zh) 一种对焦的方法及相关设备
JP2006060584A (ja) デジタルカメラ
CN110519503A (zh) 一种扫描图像的获取方法及移动终端
JP2010268128A (ja) 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム
CN112184722A (zh) 图像处理方法、终端及计算机存储介质
JP5096610B2 (ja) ガイド装置およびガイド方法
CN101442615B (zh) 摄像装置、摄像方法、图像检索装置以及图像检索方法
JP4849330B2 (ja) 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム
CN110163036B (zh) 一种图像识别方法及装置
CN105592249B (zh) 基于眼纹识别对照片中人物进行眼部修复的终端及方法
EP2080364B1 (en) Focused areas in an image
JP2010268127A (ja) 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム
EP2080365A1 (en) Selecting focusing area by gaze direction
CN117880634A (zh) 一种拍摄视频的方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120627

Termination date: 20190625

CF01 Termination of patent right due to non-payment of annual fee