CN101523896A - 图像中的对焦区域 - Google Patents

图像中的对焦区域 Download PDF

Info

Publication number
CN101523896A
CN101523896A CNA2007800368859A CN200780036885A CN101523896A CN 101523896 A CN101523896 A CN 101523896A CN A2007800368859 A CNA2007800368859 A CN A2007800368859A CN 200780036885 A CN200780036885 A CN 200780036885A CN 101523896 A CN101523896 A CN 101523896A
Authority
CN
China
Prior art keywords
image
focusing
zone
gaze
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800368859A
Other languages
English (en)
Other versions
CN101523896B (zh
Inventor
奥拉·特恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101523896A publication Critical patent/CN101523896A/zh
Application granted granted Critical
Publication of CN101523896B publication Critical patent/CN101523896B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种用于对设备(10)中的图像进行对焦的方法和便携式设备，该设备(10)包括：第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像；第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像的自动对焦装置；以及显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像，所述方法包括下述步骤：根据由所述第一图像记录装置(24a)记录的图像而获得所述用户(50)的多个注视方向；根据所获得的注视方向选择多个对焦区域；对环境的所述至少一个图像进行处理，以创建在由所述对焦区域限定的区域内对焦的最终图像。

Description

图像中的对焦区域
技术领域
本发明涉及包括成像系统的便携式设备的领域。具体地说，本发明涉及一种用于在成像系统中选择图像中的几个对焦区域的方法和装置。
背景技术
对于便携式成像设备领域的技术人员来说公知的是，可以通过所谓的自动对焦装置来得到图像的正确对焦。对于大多数数字静态摄像机(DSC：Digital Still Camera)来说，自动对焦装置的速度和准确度优于图像对焦的手动调节。
自动对焦装置通常基于主动系统或被动系统。主动系统通常分两步骤来工作。在第一步骤中执行与光学系统分离的测距(例如，基于超声波或红外光等)。在第二步骤中基于测得的距离执行光学系统的调焦。相比较而言，被动系统不依赖于从摄像机向待记录对象的(例如，电磁射线或声波等形式的)发射等。相反，这种系统利用由对象自然地反射的光。被动自动对焦可以通过例如相位检测或对比度测量来实现，这在本领域是公知的。
然而，由于整个图像不能同时对焦，所以必须确定图像中待对焦的部分。为此，已有的自动对焦系统利用取景器，该取景器具有必须瞄准图像要对焦的对象的对焦框等。如果对焦框瞄准别处，就不能保证期望对象在所记录的图像中是清晰的。然而，由于对焦框通常设置在取景器的中央，因此难以使图像对焦于位于图像中央外部(即位于图像的外围)的对象上。
为了弥补这一点，一些取景器具有供选择的多个对焦框。图像对焦点例如可以设置在中间、右侧、左侧、上部或者下部等。然而，只能选择一种设置。这一个设置通常自动选择，并且对焦点通常设置在对焦区域中离摄像机最近的对象上。
鉴于以上情况，有益的是向便携式成像设备的用户提供一种对图像进行对焦的更为有效且灵活的方式。具体地说，有益的是提供一种简单、灵活且直观的对焦。更具体地说，有益的是提供这种改进的对焦方式而不必添加用来实现这一改进的辅助硬件。
发明内容
本发明旨在解决的问题是向便携式成像设备的用户提供一种用于将图像对焦在多个对焦区域上的有效且灵活的方式。本发明的具体方面是要解决提供一种成本有效、简单、灵活且直观的对焦的问题中的至少一个。
根据本发明的第一方面解决了上述问题中的至少一个，本发明的第一方面提供了一种用于对便携式设备中的图像进行对焦的方法，该设备包括：第一图像记录装置，其用于记录所述设备的用户的图像；第二图像记录装置，其包括用于记录所述设备的周围环境的图像的自动对焦装置；以及显示装置，其用于再现所记录的所述设备的周围环境的图像。
所述方法包括下述步骤：
-通过所述第二图像记录装置记录环境的至少一个图像；
-根据由所述第一图像记录装置记录的图像而获得所述用户的多个注视方向；
-根据所获得的注视方向，在由所述显示器再现的所述图像中选择多个对焦区域；
-对环境的所述至少一个图像进行处理，以创建在由所述对焦区域限定的区域内对焦的最终图像。
获得多个注视方向并根据这些注视方向选择多个对焦区域，从而能够创建最终图像，在该最终图像中对用户有兴趣注视的不同部分和/或对象进行了对焦。
本发明的第二方面旨在提供一种包括第一方面的特征的方法，其特征在于：记录所述环境的多个图像，以及通过组合这样的图像来处理所述多个图像以创建在由所述对焦区域限定的区域内进行了对焦的最终图像，即与其他图像中由所述对焦区域限定的区域内的对焦相比，这些图像在相应区域内被更好地对焦。
本发明的第三方面旨在提供一种包括第二方面的特征的方法，其特征在于：所述第二图像记录装置包括自动对焦装置，并且其特征在于当对焦区域内的图像已经由所述自动对焦装置进行了对焦时记录所述环境的各图像。
本发明的第四方面旨在提供一种包括第一方面的特征的方法，其特征在于：记录所述环境的一个图像，以及通过数字图像处理对所述图像进行处理，使得所述图像在由所述对焦区域限定的区域内对焦，以创建在由所述对焦区域限定的区域内对焦的最终图像。
本发明的第五方面旨在提供一种包括第一方面的特征的方法，其特征在于：对在预定景深内对焦的所述环境的图像进行记录，以及通过至少使所述景深内的图像变模糊来处理所述图像，使得所述图像在由所述对焦区域限定的区域内保持对焦。
本发明的第六方面旨在提供一种包括第一方面的特征的方法，其特征在于：当在预定时段内注视方向保持稳定时选择对焦区域。
本发明的第七方面旨在提供一种包括第一方面的特征的方法，其特征在于：获得朝向所述设备的周围环境的注视方向和/或朝向所述显示装置的注视方向。
本发明的第八方面旨在提供一种包括第一方面的特征的方法，其特征在于：获得所述用户的面部的注视方向和/或所述用户的至少一个眼睛的注视方向。
本发明的第九方面旨在提供一种包括第八方面的特征的方法，其特征在于：根据所述用户的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
本发明的第十方面旨在提供一种包括第一方面的特征的方法，其特征在于：根据所获得的注视方向，在对焦区域的栅格中选择对焦区域或者对可移动对焦框进行移动，以标识出对焦区域。
本发明的第十一方面旨在提供一种包括第九方面或者第十方面的特征的方法，其特征在于：按照所述用户的命令来改变所述栅格的形状或者所述对焦框的形状。
本发明的第十二方面旨在提供一种包括第九方面或者第十方面或者第十一方面的特征的方法，并且其中所述对焦栅格或者对焦框对所述用户可见。
本发明的第十三方面旨在提供包括第一方面的特征的方法，并且其中所述便携式设备是便携式通信设备。
本发明的第十四方面旨在提供一种包括第一方面的特征的方法，所述第一成像装置在第一工作模式下记录所述用户的图像以获得所述用户的注视方向，并在第二工作模式下记录所述用户的图像以在视频通话期间提供所述用户的图像。
本发明的第十五方面旨在提供一种包括第十三方面的特征的方法，其中所述便携式通信设备是蜂窝电话。
此外，根据本发明的第十六方面解决了上述问题中的至少一个，本发明的第十六方面提供了一种便携式设备，该便携式设备包括：第一图像记录装置，其用于记录所述设备的用户的图像；第二图像记录装置，其包括用于记录所述设备的周围环境的至少一个图像的自动对焦装置；以及显示装置，其用于再现所记录的所述设备的周围环境的图像；以及自动对焦控制器，其用于对所述设备中的图像进行对焦。
所述便携式设备特征在于所述自动对焦控制器被设置为进行以下操作：根据由所述第一图像记录装置记录的图像而获得所述用户的多个注视方向；根据所获得的注视方向，在由所述显示器再现的所述图像中选择多个对焦区域；对所述环境的所述至少一个图像进行处理，以创建在对焦区域所限定的区域内对焦的最终图像。
本发明的第十七方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述自动对焦控制器被设置为进行以下操作：记录所述环境的多个图像，以及通过组合与其他图像中由所述对焦区域限定的区域内的对焦相比在相应区域内被更好地对焦的图像，来处理所述多个图像以创建在所述对焦区域限定的区域内对焦的最终图像。
本发明的第十八方面旨在提供一种包括第十六方面的特征的设备，其特征在于：所述自动对焦控制器被设置为命令所述第二图像记录装置当所述对焦区域内的图像已经由所述自动对焦装置进行了对焦时记录所述环境的图像。
本发明的第十九方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述自动对焦控制器被设置为命令所述第二图像记录装置记录所述环境的一个图像，以及通过数字图像处理对所述图像进行处理，使得所述图像在由所述对焦区域限定的区域内对焦，以创建在由所述对焦区域限定的区域内对焦的最终图像。
本发明的第二十方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述自动对焦控制器被设置为对在预定景深内对焦的所述环境的图像进行记录，以及通过至少使所述景深内的图像变模糊来处理所述图像，使得所述图像在由所述对焦区域限定的区域内保持对焦。
本发明的第二十一方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述自动对焦控制器被设置为当在预定时段内注视方向保持稳定时选择对焦区域。
本发明的第二十二方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述自动对焦控制器被设置为获得朝向所述设备的周围环境的注视方向和/或朝向所述显示装置的注视方向。
本发明的第二十三方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述自动对焦控制器被设置为获得所述用户的面部的注视方向和/或所述用户的至少一个眼睛的注视方向。
本发明的第二十四方面旨在提供一种包括第二十三方面的特征的设备，其特征在于所述自动对焦控制器被设置为根据所获得的所述用户的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
本发明的第二十五方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述自动对焦控制器被设置为根据所获得的注视方向，在对焦区域的栅格中选择对焦区域或者对可移动对焦框进行移动，以标识出对焦区域。
本发明的第二十六方面旨在提供一种包括第二十五方面的特征的设备，其特征在于所述自动对焦控制器被设置为按照所述用户的命令来改变所述栅格的形状或者所述对焦框的形状。
本发明的第二十七方面旨在提供一种包括第二十五或二十六方面的特征的设备，其特征在于所述对焦栅格或者所述对焦框对所述用户可见。
本发明的第二十八方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述设备是便携式通信设备。
本发明的第二十九方面旨在提供一种包括第十六方面的特征的设备，其特征在于所述第一成像装置被设置为在第一工作模式下记录所述用户的图像以获得所述用户的注视方向，并且被设置为在第二模式下记录所述用户的图像以在视频通话期间提供所述用户的图像。
本发明的第三十方面旨在提供一种包括第二十八方面的特征的设备，其特征在于所述便携式通信设备是蜂窝电话。
本发明的第三十一方面旨在提供一种存储在计算机可用介质上并包括可读程序单元的计算机程序产品，该可读程序单元用于在所述程序单元被加载到便携式设备中时使得所述便携式设备执行多个步骤，所述便携式设备包括：第一图像记录装置，其用于记录所述设备的用户的图像；第二图像记录装置，其包括用于记录所述设备的周围环境的图像的自动对焦装置；以及显示装置，其用于再现所记录的所述设备的周围环境的图像；以及自动对焦控制器，其用于对焦所述设备中的图像，
所述步骤包括：
-通过所述第二图像记录装置记录所述环境的至少一个图像；
-根据由所述第一图像记录装置记录的图像而获得所述用户的多个注视方向；
-根据所获得的注视方向，在由所述显示器再现的所述图像中选择多个对焦区域；
-对所述环境的所述至少一个图像进行处理，以创建在由所述对焦区域限定的区域内对焦的最终图像。
本发明的第三十二方面旨在提供一种记录有程序的计算机程序元件，其中所述程序用于在所述程序单元被加载到便携式设备中时使得所述便携式设备执行多个步骤，所述便携式设备包括：第一图像记录装置，其用于记录所述设备的用户的图像；第二图像记录装置，其包括用于记录所述设备的周围环境的图像的自动对焦装置；以及显示装置，其用于再现所记录的所述设备的周围环境的图像；以及自动对焦控制器，其用于对焦所述设备中的图像，
所述步骤包括：
-通过所述第二图像记录装置记录所述环境的至少一个图像；
-根据由所述第一图像记录装置记录的图像而获得所述用户的多个注视方向；
-根据所获得的注视方向，在由所述显示器再现的所述图像中选择多个对焦区域；
-对所述环境的所述至少一个图像进行处理，以创建在由所述对焦区域限定的区域内对焦的最终图像。
本发明及其实施方式的更多优点将通过本发明的以下详细说明而显现。
应当强调的是，说明书中使用的术语“包括”用来指明存在所述特征、整体、步骤或部件，但并不排除存在或添加一个或更多个其它特征、整体、步骤、部件或它们的组。
还应当强调的是在不偏离本发明的情况下，所附权利要求所限定的方法可以按照与这些方法在权利要求中出现的顺序不同的另一顺序来执行。
附图说明
现在将结合附图更详细地描述本发明，在附图中：
图1示出了蜂窝电话形式的便携式通信设备的第一侧；
图2示出了图1中的便携式通信设备的第二侧；
图3示出了连接到蜂窝网络的图1至2中的蜂窝电话；
图4示出了图1至3中的蜂窝电话的相关部件的示意性框图；
图5示出了使用图1至3中的蜂窝电话的用户；
图6a示出了转向大致正前方的用户50的头部；
图6b示出了转向用户50左侧的该用户的头部；
图6c示出了转向用户50右侧的该用户的头部；
图7a示出了显示器22上的对焦栅格，其中对焦点在该栅格的中央；
图7b示出了对焦点在栅格中的左边的情况下图7a中的对焦栅格；
图7c示出了对焦点在栅格中的右边的情况下图7a中的对焦栅格；
图8a示出了再现示例性和示意性图像的图1至3中的蜂窝电话的显示器；
图8b示出了再现示例性和示意性图像的图1至3中的蜂窝电话的显示器；
图9a示出了图7a至7c中的对焦栅格，其中，对焦区域在记录期间位于栅格的不同位置；
图9b示出了图8a至8b中的显示器，其中，对焦框位于显示器中的不同位置；
图10示出了根据本发明的一个实施方式的方法的流程图；
图11示出了根据本发明的另一个优选实施方式的方法的流程图；
图12示出了根据本发明的又一个实施方式的方法的流程图；
图13示出了其上具有用于执行根据本发明的方法的程序代码的CD-ROM。
具体实施方式
本发明涉及包括成像系统的便携式设备。具体地说，本发明涉及包括成像系统的便携式通信设备。然而，本发明绝不限于通信设备，而是可应用于包括合适的成像系统的任何合适的便携式设备。
图1至2中示出了根据本发明一个优选实施方式的示例性便携式通信设备。优选地，该设备为可以根据3G技术(例如W-CDMA或者CDMA2000)或者可能地根据2.5G技术(例如GPRS)或者类似技术而工作的移动蜂窝电话10。例如在第3代合作伙伴计划(3GPP)的规范中可以找到关于3G技术和2.5G技术的信息，例如参见网站www.3gpp.org。
然而，应当强调的是，图1至2中的蜂窝电话10仅仅是能够实现本发明的便携式设备的一个示例。此外，本发明例如还能够用在PDA(个人数字助理)、掌上计算机、膝上计算机或智能电话，或者任何其他合适的便携式设备中。
图1示出了省略表示(i.a.)的包括键盘12、扬声器14和麦克风16的蜂窝电话10的第一侧。键盘12用于输入诸如功能选择之类的信息并对提示进行响应。键盘12可以具有任何适当的类型，包括但不限于带有适当的按键按钮或触摸按钮等和/或不同的适当按钮装置的组合的键盘。扬声器14用于向用户呈现声音，而麦克风16用于感测来自用户的语音。另外，蜂窝电话10包括用于经由网络与其他用户进行通信的天线。该天线内置在电话10中，因而在图1中没有示出。
另外，图1中所示的蜂窝电话10的第一侧包括用于向蜂窝电话10的用户显示功能和提示的显示器22。显示器22还用于呈现图像。这里，应当强调的是，优选地将显示器22配置为呈现已记录的图像以及当前记录的图像。换句话说，优选的是，显示器22既能够充当取景器又能够充当在先记录图像的呈现装置。
此外，图1中所示的蜂窝电话10的第一侧包括第一摄像机装置24a，该装置使得蜂窝电话10能够以数字方式记录图像。优选地，第一摄像机24a包括透镜和/或透镜系统以及图像传感器，该图像传感器例如是构建在包含链接式或耦合式光敏电容器阵列等的集成电路上的CCD(电荷耦合器件)图像传感器。当然，可以设想采用其他图像传感器，例如构建在包含像素阵列的集成电路上的APS(有源像素传感器)，其中每个像素都包含光电检测器以及三个或更多个晶体管。APS能够通过普通的CMOS工艺来制造，并且其功耗小于传统CCD。第一摄像机24a通常是用于在视频通话期间记录蜂窝电话10的用户的图像和可能的视频序列的视频通话摄像机，这对于本领域的技术人员而言是公知的。例如在索尼爱立信移动蜂窝电话P990i、W850i、K610i和Z610i中提供了视频通话摄像机功能等。
图2示出了包括第二摄像机装置24b的蜂窝电话10的第二侧。通常，第二摄像机24b包括与第一摄像机装置24a相同或者类似的基本结构和功能。然而，第二摄像机24b优选地为蜂窝电话10的主摄像机，因此优选的是，与第一摄像机24a相比，第二摄像机24b具有增强的性能，例如更高的分辨率。具体地说，第二摄像机24b具有自动对焦装置等，用于获得待记录图像的正确对焦。例如在索尼爱立信移动蜂窝电话P990i、W900i、K800i和W810i中提供了自动对焦功能。各种合适的自动对焦装置的基本结构和功能对于本领域的技术人员而言是公知的，因此无需赘述。
图3示出了经由基站32连接到蜂窝网络30的蜂窝电话10。网络30优选地为3G网络(例如WCDMA网络)，但它也可以是GPRS网络或者其他2.5G或2.75G网络。但是，该网络不一定是蜂窝网络，而可以是某种其他类型网络，例如互联网、企业内部网络、LAN或无线LAN。
图4示出了蜂窝电话10内部的与本发明相关的部件。如前所述，优选的是，蜂窝电话10包括键盘12、扬声器14、麦克风16、显示器22、第一摄像机装置24a和第二摄像机装置24b。此外，蜂窝电话10优选地具有存储器装置18，用于存储例如系统文件和数据文件，特别是用于存储包括由第二摄像机装置24b生成的图像的文件。存储器装置18可以是便携式设备中所使用的任何适当的存储器或者存储器的组合。
此外，蜂窝电话10包括连接到射频电路36的天线34，使得能够与图3中的网络30进行无线电通信。射频电路36进而连接到事件处理单元19，该事件处理单元19用于处理例如是经由网络30发往和来自外部单元的出局及入局通信的事件，例如通话和消息(例如SMS(短消息服务)和MMS(多媒体消息传送服务))。
此外，蜂窝电话10具有对蜂窝电话10的工作进行控制和管理的控制单元20。控制单元20可以通过硬件和/或软件来实现，并且它可以包括一个或多个硬件单元和/或软件模块，例如，具有或有权访问由蜂窝电话10来执行的功能所需要的合适软件和硬件的一个或多个处理器单元，这是本领域技术人员所公知的。从图4中可以看出，优选的是，控制单元20连接到键盘12、扬声器14、麦克风16、事件处理单元19、显示器22、摄像机24a和24b、射频单元36和存储器18。这使得控制单元20能够控制这些单元并与它们进行通信，从而例如与这些单元交换信息和指令。
控制单元20所包括的自动对焦控制器40与本发明特别相关。作为控制单元20的一部分意味着自动对焦控制器40可以通过硬件和/或软件来实现，并且它可以包括一个或多个硬件单元和/或软件模块，例如，具有或者有权访问适于所需功能的软件和硬件的一个或多个处理器单元。自动对焦控制器40被设置为通过第一摄像机24a对用户50的面部进行记录来控制第二摄像机24b的自动对焦装置，这将在下面更详细地描述。
图5示出了使用根据本发明的一个实施方式的蜂窝电话10的用户50的头部。从图5可以看出，蜂窝电话10优选地保持在用户50前方的操作位置。将操作位置选择为使得第一摄像机24a能够记录位于显示器22前方的用户50的头部的图像，显示器22在操作时再现由第二摄像机24b当前记录的场景。
自动对焦控制器40被设置为处理第一摄像机24a所记录的用户50的面部的图像，以获得用户50的面部的注视方向和/或用户50的眼睛的注视方向。这里，假设面部和/或眼睛朝向要由第二摄像机24b记录的对象。然而，应当补充的是，用户50的面部或至少眼睛也可以朝向蜂窝电话10的摄像机24a和显示器22。所获得的用户50的面部的注视方向和眼睛的注视方向可以相互补充，例如，如果所获得的面部的方向或眼睛的方向不确定，或者在用户斜视待记录的对象的情况下，即眼睛朝向待记录的对象而面部朝向其他方向，或者相反。
例如通过合适的面部识别方法等以及合适的眼睛追踪算法等可以获得面部的方向和眼睛的方向。为此，存在各种各样的公知的面部识别技术，用于检测所记录的图像或者所记录的图像序列中用户的面部的方向，参见公布的专利申请US 2001/0019620(Nagai等人)。类似地，存在各种各样的公知的眼睛追踪技术，用于检测用户的眼睛的注视方向，参见专利US 6,152,563(Hutchinson等人)和公布的专利申请US 2006/0110008 A1(Vertegaal等人)和US 2006/0007396 A1(Clement等人)。受益于本公开的本领域技术人员会认识到存在适于通过第一摄像机24a的记录来追踪用户50的面部方向和眼睛的注视方向的类似或者等同方法。例如，可以通过被眼睛的外部和/或内部反射然后由第一摄像机装置24a记录的红外照明来执行用户50的眼睛的视线追踪。红外光从眼睛反射，并被摄像机装置24a感测到。然后由自动对焦控制器40对信息进行分析，以根据反射的变化提取眼睛的转动。通常，角膜反射(第一浦肯雅(Purkinje)图像)和瞳孔中心可以用作随时间进行追踪的特征。更灵敏类型的眼睛追踪器(双浦肯雅眼睛追踪器)利用了来自角膜前面的反射(第一浦肯雅图像)和晶状体背面的反射(第四浦肯雅图像)作为特征进行追踪。还更为灵敏的追踪方法是对来自眼睛内部的特征(例如视网膜血管)进行成像，并随着眼睛转动而跟踪这些特征。
自动对焦控制器40进一步适于对第二摄像机24b的自动对焦装置进行控制，以便根据通过第一摄像机24a所记录的图像获得的用户50的面部方向和/或眼睛的注视方向来改变将由第二摄像机24b记录的图像的对焦点。
如图6a至6c中所示意性示出，优选的是，自动对焦控制器40被设置为检测当用户50的面部转到大致正前方(如图6a中所示意性示出)、转到左方(如图6b中所示意性示出)和转到右方(如图6c中所示意性示出)时用户50的面部的至少一个方向。
如图7a至7c中所示意性示出，电话10的显示器22可以划分为对焦栅格700，例如包括九个方形区域的栅格。对用户50而言栅格700可以是可见的或者不可见的，并且，与图7a至7c中示意性示出的相比，它可以包括更多或者更少的方块或其他适当限定的对焦区域。例如，栅格中的对焦区域还可以是矩形或者某种其他多边形，或者圆形或椭圆形或具有圆角或斜角的多边形。
栅格700与例如可以通过如上所述的公知的面部识别方法或者眼睛追踪算法等而获得的用户50的面部的注视方向和/或眼睛的注视方向相关。然而，当用户50的面部转向大致正前方时(如图6a中所示)，自动对焦控制器40将对显示器22上呈现的图像进行对焦，使得它在栅格700的中央方块中变得清晰，如图7a中圆圈示意性指示的。类似地，当用户50的面部转向左侧时(如图6b中所示)，自动对焦控制器40将对显示器22上呈现的图像进行对焦，使得它在栅格700的左边方块中变得清晰，如图7b中圆圈示意性指示的。当用户50的面部转向右侧时(如图6c中所示)，自动对焦控制器40将对显示器22上呈现的图像进行对焦，使得它在栅格700的右边方块中变得清晰，如图7c中圆圈示意性指示的。此外，自动对焦控制器40可以设置为检测用户50正在向上看还是向下看。在这种情况下，当用户50向下看时，经适当修正后(mutatis mutandis)，可以使用位于上述中间行下方的一行中的方块之一，而当用户50向上看时，经适当修正后，可以使用位于中间行上方的一行中的方块。对于用户50的眼睛的方向，经适当修正后，以上方法同样适用。
作为对焦栅格700中对焦区域的替代，蜂窝电话10可以利用如图8a至8b中所指示的可移动对焦框400形式的可移动对焦区域而工作。则优选的是，可移动框400是可见的，使得用户50能够看到图像要对焦的对象。这给用户提供了对于对焦处理的改进的控制。对焦框400可以是方形或者矩形或者某种其他多边形。然而，显然可以设想到其他形状，例如圆形或椭圆形或具有圆角或斜角的多边形。进一步优选的是，对焦框400覆盖了显示图像的少于一半的面积，更优选的是覆盖了少于显示图像的25％的面积，还更优选的是覆盖了显示图像的少于10％的面积。
在可移动对焦框400的情况下，优选的是，自动对焦控制器40被设置为根据用户50的面部和/或眼睛的当前注视方向将对焦框400等移到显示器22中的不同位置。如上所述，可以通过包括了用于对第一摄像机24a所生成的图像中的用户面部和眼睛进行分析的适当面部识别技术和/或眼睛追踪技术等的自动对焦控制器40来获得用户50的面部的和/或眼睛的注视方向。一旦对焦框400被定位，就可以通过由自动对焦控制器40控制的第二摄像机24b的自动对焦装置来对焦显示器22上呈现的图像，自动对焦控制器40以公知方式处理对焦框400内的一个或多个对象。
参照图8a和8b可以更清楚地描述可移动对焦框400，图8a和8b例示了呈现出示例性和示意性图像的图1中的蜂窝电话10的显示器22。该图像包括示意性示出的位于前景中较近位置处的人物P和示意性示出的位于背景中较远位置处的树木T。图8a示出了定位成覆盖人物P的面部的对焦框400，这意味着根据本发明的图像将被对焦成使人物P的面部清晰而背景中的树木T模糊。图8b示出了被移动从而覆盖了树木T的树冠的对焦框400，这意味着根据本发明的图像将被对焦成使树木T的树冠清晰而前景中的人物P模糊。因此，通过将覆盖了在显示器22上呈现的图像的一部分的框400移动到所呈现图像的不同位置，可以大致按期望对图像进行对焦。当然，如果将显示器22划分为如上所述的对焦栅格，经过适当修正后上述方法同样适用，即，图像将会对焦于根据用户50的面部的注视方向和/或用户50的眼睛的注视方向而选择的栅格的区域中。
本发明所提供的一个优点在于，便携式通信设备的用户感受到了改进的图像对焦控制。因此，用户不会受到传统自动对焦系统通常所需要的瞄准和操作的困扰，并且用户不一定限于从少量固定对焦框中进行手动选择。而是，根据上面讨论的实施方式，用户仅需要瞄准蜂窝手机10的主摄像机24b来拍摄待记录的图像。然后根据用户50的面部的注视方向和/或眼睛的注视方向以简单、方便且有效的方式对所拍摄的图像进行对焦。
应当补充的是，可以通过来自用户50的命令(例如通过来自蜂窝电话10的键盘12上的按钮等的命令)来改变图7a至7c中的对焦栅格700的形状。例如，可以改变对焦区域的数量；可以改变对焦区域的形状；对焦区域的构成可以改变为代表不同图案，例如可以改变成彼此相邻地排列或者在空间上分离，改变成排列为圆形图案、或者三角形图案或者某种其他多边形图案等。这使得能够利用小的对焦区域而对焦于小的对象上，并且能够利用较大的对焦区域而对焦于大的对象或者几个小的对象上。简言之，这使得能够调节对焦区域的形式和大小，以适合于要对焦的一个或多个对象。
同样，可以通过来自用户50的命令(例如通过来自蜂窝电话10的键盘12上的按钮等的命令)来改变图8a至8b中的可移动对焦框400的形状。这使得能够利用小框而对焦于小的对象上，并且能够利用较大的框而对焦于大的对象或者几个小的对象上。简言之，这使得能够调节对焦框的大小，以适合于要对焦的一个或多个对象。简言之，这使得能够调节对焦框400的形式和大小，以便适合于要对焦的一个或多个对象。
现在将注意力转向图9a至9b。在图9a至9b中示意性例示的情景中，假设第二摄像机装置24b在记录时段期间记录了蜂窝电话10的周围环境的多个图像。类似地，假设第一摄像机装置24a在记录时段期间记录了用户50的头部和/或眼睛的多个图像，并且自动对焦控制器40根据这些图像获得用户50的面部和/或眼睛的注视方向。优选地，摄像机装置24a、24b在大致相同的记录时段期间记录其图像。还优选的是，第二摄像机24b记录的图像存储在蜂窝电话10的存储器装置18中，以便可供以后的处理进行检索。
在记录时段期间，自动对焦控制器40可以被设置为命令第二摄像机装置24b每当确定了用户50的面部和/或眼睛的注视方向时、每当确定了新的对焦区域时、以及每当对焦区域内的图像进行了对焦时，对环境的图像进行记录。所确定的注视方向表示用户50已经识别出在环境中用户50感兴趣的对象等。因此应当对该对象等进行对焦，并应当记录环境的图像。
作为替代，自动对焦控制器40可以被设置成命令第二摄像机装置24b每当在预定时段内对焦区域保持基本稳定(即在预定时段内用户50的注视方向保持基本稳定)和对焦区域内的图像已经进行了对焦时，对图像进行记录。注视方向的稳定性表示用户50已经识别出用户50特别感兴趣的对象等。因此，应当对该对象等进行对焦，并应当记录该环境的图像。该预定时段例如可以小于三秒、小于两秒、小于一秒、小于0.5秒、小于0.4秒、小于0.3秒、小于0.2秒或者小于0.1秒。
图9a示出了图7a至7c中的对焦栅格，其中，用圆圈示意性地指示了在记录时段期间由用户50的注视方向所确定的对焦区域。可以看出，与上部中央方块中的圆圈的数量相比，栅格700的中央方块和右上方块中有更多的圆圈。这是要示意性地例示：与上部中央方块相比，中央方块和右上方块已经被选作更长的时段内的对焦区域。如上所述，自动对焦控制器40可以命令第二摄像机装置24b每当栅格700的确定的对焦区域内的图像进行了对焦时，对环境的图像进行记录。因此，对于图9a中的每个圆圈，可以记录一个图像。或者，同样如上所述，自动对焦控制器40可以命令第二摄像机装置24b每当在预定时段内对焦区域保持稳定及每当对焦区域内的图像已经进行了对焦时，对环境的图像进行记录。这里，与其他对焦区域相比，对于在更长时段内被选作对焦区域的那些对焦区域，记录一个图像，即在图9a中，对于栅格700的中央方块中的圆圈的组以及右上方块中的圆圈，可以记录一个图像。
图9b示出了先前参照图8a至8b讨论的对焦框400和产生了图像的显示器22。在图9b中，假设在记录时段期间对焦框400位于图像的不同位置。可以看出，与图像的其他区域相比，人物P和树木T上有更多的框400。这是要示意性地例示：与图像的其他区域相比，对焦框400在人物P和树木T上停留了更长的时段。如上所述，自动对焦控制器40可以命令第二摄像机装置24b每当对焦框400内的图像进行了对焦时对环境的图像进行记录。或者，同样如上所述，自动对焦控制器40可以命令第二摄像机装置24b每当对焦框400已经在图像的大致相同的区域内保持了预定时段以及对焦区框400内的图像进行了对焦时对图像进行记录。
当第二摄像机装置24b已经记录了如上所述在不同区域内进行了对焦的多个环境图像时，优选的是所述自动对焦控制器40被设置为将所记录的图像进行组合，以创建由对焦区域所限定的所有区域都已对焦的单个合成图像。例如，图9b中位于人物P上的多个对焦框400可以得到如图8a所示的人物P清晰的图像，而图9b中位于树木T上的多个对焦框400可以得到如图8b所示的树木T清晰的图像。然后，可以通过自动对焦控制器40将图8a和8b中的图像组合起来，以便创建如图9b所示意性例示的人物P和树木T都清晰的单个合成图像，其中，人物P和树木T用实线绘出。
应当强调的是，可以通过将环境的整个图像8a和8b大致组合起来，或者例如通过利用环境的一个图像8a或8b然后将该图像与对焦区域所限定的(例如由如上所述的可移动对焦框400限定的)环境的其他图像中的至少大致对焦的区域组合起来，从而创建最终图像。
在继续下文之前应当强调的是，即使可能优选的是在对焦区域内的图像进行了对焦时第二摄像机装置24b记录了环境的图像，本发明的一些实施方式也可以使第二摄像机装置24b以不同的可能的等距对焦距离来记录环境的图像，而与对焦区域内的图像是否进行了对焦无关。然后可以通过选择由所述对焦区域限定的区域被最佳对焦的环境图像来创建环境的单个合成图像。
在继续下文之前还应当强调的是，本发明的一些实施方式可以仅记录单个环境图像。这种单个图像例如可以包括增加的景深，优选地具有整个或者至少大部分图像进行了对焦的效果。例如可以通过让自动对焦控制器40选择较小的光圈以传统的方式来实现增加的景深。还可以通过称为波前编码TM(Wavefront CodingTM)的技术来实现增加的景深，例如参见专利US 5,748,371(Cathey等)，其中，第二摄像机装置24b中的上述自动对焦装置对应于波前技术所要求的额外硬件，而该技术所要求的额外软件可以假设为设置在自动对焦控制器40中。与对单个图像的记录同时或者至少相联系，优选的是第一摄像机装置24a记录用户50的多个图像，以确定用户50的注视方向，如前所述。然后，优选的是，单个图像对焦在由通过用户50的注视方向所标识的对焦区域限定的区域内。在景深增加的单个图像的情况下，这可以通过简单地使未由对焦区域限定的区域变模糊来实现。在景深没有增加的单个图像的情况下，这可以通过将对焦区域限定的区域进行数字对焦来实现。例如这可以借助于图像处理系统(例如，如专利US 6,154,574(Paik等人)等中所述的系统)将对焦不准的图像进行数字对焦来实现。受益于本公开的本领域技术人员可以容易地辨别出适于目前所讨论的本发明的实施方式的目的的图像处理系统的范围和/或方法的范围。
利用如上所述的用户的面部和/或眼睛的注视方向是用于评估将光学透镜等的焦点放在何处(即，将待记录图像中的对焦区域放在何处)的一种好方法。此外，通过确定多个注视方向并提供对焦于通过由注视方向标识出的对焦区域所限定的区域处的环境图像，能够对焦该图像的感兴趣的部分，而使不感兴趣的部分变模糊。
在继续下文之前，应当强调的是，除了图3中所示的部件和单元之外，在蜂窝电话10还可能有其他部件和单元等。图3中所示的部件和单元还可以连接到比所例示的更多的部件和单元。
现在将注意力转向本发明的一个示例性实施方式的功能，这将参照图1至9b以及图10进行描述，其中图10示出了根据本发明的方法的一个优选实施方式的流程图。
如前所述，根据本发明的一个实施方式的蜂窝电话10包括主要被设置用于在视频通话期间记录用户50的图像和可能的视频序列的第一摄像机24a。此外，蜂窝电话10包括用于记录蜂窝电话10的周围环境的高质量图像的第二摄像机装置24b。具体地说，如下面将更详细地描述的，第二摄像机装置24b具有自动对焦装置，该自动对焦装置被设置为由对第一摄像机24a所作的用户50的面部和/或眼睛的记录进行操作的自动对焦控制器40进行控制。
本发明的有利实施方式使用具有两个摄像机的通信设备，例如，对于支持视频通话的蜂窝电话而言这是典型配置。主要优点在于，通过两个摄像机在支持视频通话的通信设备中实现本发明不需要任何辅助硬件(至少不需要辅助摄像机)，即已经有了所需要的硬件。
现在参照图10中的示例性流程图来描述通过利用用户50的面部和/或眼睛的注视方向在图像中提供几个对焦区域的示例性方法的步骤。该方法优选地通过如图4中示意性例示的自动对焦控制器40来实现。
在根据本发明的一个实施方式的示例性方法的第一步骤S1中，对自动对焦控制器40所执行的对焦功能进行初始化。该初始化可以包括这样的动作：利用第一摄像机24a记录用户50的图像，利用第二摄像机24b记录蜂窝手机10的周围环境的图像，并通过显示器22再现所记录的周围环境的图像。此外，优选的是，该初始化包括对显示器22上的对焦栅格(通常对用户50不可见)进行分配，或者将可移动对焦框400置于显示器22中的起始位置处。
在该示例性方法的第二步骤S2中，通过被设置为对第一摄像机24a所记录的用户50的面部图像和可能的视频序列进行处理的自动对焦控制器40而获得用户50的面部的注视方向和/或眼睛的注视方向。优选地通过利用了先前所述的合适面部识别技术等和可能的合适眼睛追踪技术等的自动对焦控制器40对所记录的用户50的面部图像进行处理。这里，假设用户50使面部和眼睛朝向要由第二摄像机24b记录的对象。如果以图8a为例，用户50可以在人物P和树木T出现在蜂窝电话10的周围环境中时使面部和眼睛朝向人物P或者树木T。在任何情况下，已知的面部或眼睛追踪算法等至少能够检测用户50的面部可能还有眼睛是朝正前、朝左还是朝右，是朝上还是朝下。此外，已知的面部或眼睛追踪算法能够用于检测用户50的面部和/或眼睛是否朝向蜂窝电话10的摄像机24a和显示器22，还能够用于检测显示器22中用户50所注视的区域。因此，能够检测当人物P和树木T出现在蜂窝电话10的显示装置22上时用户50是注视人物P还是树木T。
在该示例性方法的第三步骤S3中，根据在上一步骤S2中获得的用户50的面部的注视方向和/或眼睛的注视方向来选择在显示器22上产生的图像内的对焦区域。例如，如前参照示例性附图6a至6c和图7a至7c所述，相应地选择对焦栅格中的区域。类似地，如图8a和8b中所示，可以相应地移动对焦框400。
优选的是，通过自动对焦控制器40来选择对焦区域。然而，自动对焦控制器40还可以为另一硬件和/或软件单元提供所获得的用户50的面部的注视方向和/或眼睛的注视方向，该单元进而在显示器22所再现的图像内选择对焦区域。
在该示例性方法的第四步骤S4中，自动对焦控制器40利用图像中由对焦区域所限定的部分对图像进行对焦，使得该对焦区域内的一个或多个对象变得清晰。通常通过选择使得在对焦区域内呈现最佳清晰度的对焦设定来执行该操作，在具有传统自动对焦的几乎所有数码摄像机中都要例行地进行这项工作。为此，例如可以通过边缘检测算法来分析对焦区域内的图像，根据该算法，选择在对焦框内示出最多边缘的自动对焦设定对图像进行对焦，因为它代表最清晰的图像，参见例如已公布的专利申请US 2006/0062484A1(Aas等人)。
在该示例性方法的第五步骤S5中，由第二摄像机装置24b记录如步骤S4中所述地对焦的环境图像。然后将所记录的图像存储在存储装置(例如，存储器18)中。
在第六步骤S6中，检查是否应当记录更多的环境图像。这例如可能是假设第二摄像机装置24b在预定记录时段期间对图像进行记录并且该时段尚未结束时的情形。作为另一示例，这可能是假设第二摄像机装置24b记录预定数量的图像并且尚未记录这么多数量的图像时的情形。如果应当记录更多的图像，则该方法返回到步骤S2并从那里继续进行。然而，如果应当不再记录图像，则该方法进行到第七步骤S7。
在本示例性方法的第七步骤S7中，优选的是，将该方法反复执行步骤S3时所记录的环境图像组合起来，以创建其中对焦区域所限定的区域进行了对焦的单个合成图像。
下面参照图11中的示例性流程图来描述通过利用用户50的面部的注视方向和/或眼睛的注视方向在图像中提供几个对焦区域的另一示例性方法的步骤。
步骤S11中的初始化与上述步骤S1中的初始化相同或相似。
在该示例性方法的第一分支中的第一步骤S1.1中，优选的是通过第二摄像机装置24b记录多个环境图像。优选的是，当预定记录时段已经结束和/或已经记录了预定数量的图像时，该方法进行到最终步骤S22。将在后面描述最终步骤S22。
在该示例性方法的第二分支中的第一步骤S2.1中，优选的是，通过如上所述来自第一摄像机装置24a的图像而获得用户50的面部的注视方向和/或眼睛的注视方向。
在所述第二分支中的第二步骤S2.2中，优选的是，根据如上所述所获得的用户50的面部的注视方向和/或眼睛的注视方向来选择对焦区域。应当强调的是，某实施方式可以在该步骤中仅获得注视方向，而在另一后续步骤中选择环境图像中的相应对焦区域，该后续步骤例如是创建其中对焦区域所限定的区域进行了对焦的单个环境图像的最终步骤S22。
在第二分支中的第三步骤S2.3中，检查是否应当获得更多的对焦区域。这例如可能是第二摄像机装置24b仍然在记录图像时的情形。这还可能是在预定时段内对焦区域应当保持大致稳定并且该时段尚未结束时的情形。作为另一示例，这可能是应当选择预定数量的对焦区域并且尚未选择这么多数量的对焦区域时的情形。如果确定应当选择更多的对焦区域，则该方法返回步骤S2.1并从那里继续。然而，如果应当不再选择对焦区域，则该方法进行到最终步骤S22。
在最终步骤S22中，将步骤S1.1中记录的环境图像组合起来，以创建其中对焦区域所限定的区域进行了对焦的单个合成图像。如上所述，如果先前没有根据所获得的注视方向选择对焦区域，则可以在将环境图像进行组合之前在该步骤中选择对焦区域。例如，可以通过选择以下图像来创建环境的单个合成图像，其中该图像具有与所记录的其他环境图像中的对焦区域所限定的区域相比更好地进行了对焦的相应区域。
下面参照图12中的示例性流程图来描述通过利用用户50的面部的注视方向和/或眼睛的注视方向在图像中提供几个对焦区域的又一示例性方法的步骤。
步骤S11、S2.1、S2.2和S2.3优选地与参照图11的上述步骤相同。然而，用图12中的步骤S1.1’代替图11中的步骤S1.1，并用图12中的步骤S22’代替图11中的步骤S22。
在步骤S1.1’中仅记录了单个环境图像，即不象在图11中的步骤S1.1中那样记录多个图像。如前所述，在步骤S1.1’中记录的单个图像例如可以具有增加的景深，优选地具有整个或者至少大部分单个图像进行了对焦的效果。
在步骤S22’中，优选的是在步骤S1.1’中记录的单个图像对焦于如前所述由注视方向标识出的对焦区域所限定的区域上。在具有增加的景深的单个图像的情况下，这可以通过简单地使得未由所述对焦区域限定的区域变模糊来实现。在景深不增加的单个图像的情况下，这可以通过将对焦区域限定的区域进行数字对焦来实现。
通常，如前所述，优选的是，以一个或更多个处理器的形式来提供被设置为执行上述示例性方法的自动对焦控制器40，该一个或更多个处理器具有包含程序代码形式的适当软件的相应存储器。但是，该程序代码也可以设置在数据载体(如图11中所示的CD ROM盘46或可插入式记忆棒)上，该数据载体在被加载到计算机中或具有适当处理能力的电话中时将执行本发明。也可以从蜂窝网络外部的或内部的服务器远程下载该程序代码，或者经由与电话临时连接的类似PC的计算机来下载该程序代码。
作为一般说明，应当补充的是，上面所用的“图像”这一表述可以包括视频序列(如果这在本发明的一些实施方式中更恰当的话)。
作为另一个一般说明，可以补充的是，至少在对焦框所限定的环境图像的区域内可以对曝光进行测量。例如可以通过图像传感器的相应区域执行该测量。对于本领域的技术人员而言，通过数字摄像机中的图像传感器对曝光进行测量是公知的，因此无需赘述。对焦区域内的测量增加了以令人满意的曝光来记录感兴趣区域和/或对象的机会。
至此已经参照示例性实施方式描述了本发明。然而，本发明并不限于这里描述的实施方式。相反，本发明的全部范围仅由所附权利要求的范围决定。

Claims (32)

1.一种用于对便携式设备(10)中的图像进行对焦的方法，该设备(10)包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像的自动对焦装置；以及
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像，
所述方法包括下述步骤：
-通过所述第二图像记录装置(24b)记录环境的至少一个图像；
-根据由所述第一图像记录装置(24a)记录的图像而获得所述用户(50)的多个注视方向；
-根据所获得的注视方向，在由所述显示器(22)再现的所述图像中选择多个对焦区域；
-对环境的所述至少一个图像进行处理，以创建在由所述对焦区域限定的区域内对焦的最终图像。
2.根据权利要求1所述的方法，其特征在于：
-记录所述环境的多个图像，以及
-通过组合这样的图像来处理所述多个图像以创建在由所述对焦区域限定的区域内进行了对焦的最终图像，即与其他图像中由所述对焦区域限定的区域内的对焦相比，这些图像在相应区域内被更好地对焦。
3.根据权利要求2所述的方法，其特征在于所述第二图像记录装置(24b)包括自动对焦装置，并且其特征在于当对焦区域内的图像已经由所述自动对焦装置进行了对焦时记录所述环境的各图像。
4.根据权利要求1所述的方法，其特征在于：
-记录所述环境的一个图像，以及
-通过数字图像处理对所述图像进行处理，使得单个图像在由所述对焦区域限定的区域内对焦，以创建在由所述对焦区域限定的区域内对焦的最终图像。
5.根据权利要求1所述的方法，其特征在于：
-对在预定景深内对焦的所述环境的图像进行记录，以及
-通过至少使所述景深内的图像变模糊来处理所述图像，使得所述图像在由所述对焦区域限定的区域内保持对焦。
6.根据权利要求1所述的方法，其特征在于：当在预定时段内注视方向保持稳定时选择对焦区域。
7.根据权利要求1所述的方法，其特征在于：获得朝向所述设备(10)的周围环境的注视方向和/或朝向所述显示装置(22)的注视方向。
8.根据权利要求1所述的方法，其特征在于：获得所述用户(50)的面部的注视方向和/或所述用户(50)的至少一个眼睛的注视方向。
9.根据权利要求8所述的方法，其特征在于：根据所述用户(50)的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
10.根据权利要求1所述的方法，其特征在于：根据所获得的注视方向，在对焦区域的栅格(700)中选择对焦区域或者对可移动对焦框(400)进行移动，以标识出对焦区域。
11.根据权利要求9或11所述的方法，其特征在于：按照所述用户(50)的命令来改变所述栅格(700)的形状或者所述对焦框(400)的形状。
12.根据权利要求9到11中任意一项所述的方法，其中，所述对焦栅格(700)或者所述对焦框(400)对所述用户(50)可见。
13.根据权利要求1所述的方法，其中，所述便携式设备(10)是便携式通信设备。
14.根据权利要求1所述的方法，其中，所述第一成像装置(24a)在第一工作模式下记录所述用户(50)的图像以获得所述用户(50)的注视方向，并在第二工作模式下记录所述用户(50)的图像以在视频通话期间提供所述用户(50)的图像。
15.根据权利要求13所述的方法，其中，所述便携式通信设备是蜂窝电话(10)。
16.一种便携式设备(10)，其包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的至少一个图像的自动对焦装置；以及
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像；以及
-自动对焦控制器(40)，其用于对所述设备(10)中的图像进行对焦，
其特征在于所述自动对焦控制器(40)被设置为进行以下操作：
-根据由所述第一图像记录装置(24a)记录的图像而获得所述用户(50)的多个注视方向；
-根据所获得的注视方向，在由所述显示器(22)再现的所述图像中选择多个对焦区域；
-对所述环境的所述至少一个图像进行处理，以创建在所述对焦区域所限定的区域内对焦的最终图像。
17.根据权利要求16所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为进行以下操作：
-记录所述环境的多个图像，以及
-通过组合这样的图像来处理所述多个图像以创建在所述对焦区域限定的区域内对焦的最终图像，即与其他图像中由所述对焦区域限定的区域内的对焦相比，这些图像在相应区域内被更好地对焦。
18.根据权利要求16所述的便携式设备(10)，其特征在于：
所述自动对焦控制器(40)被设置为命令所述第二图像记录装置(24b)当所述对焦区域内的图像已经由所述自动对焦装置进行了对焦时记录所述环境的图像。
19.根据权利要求16所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为进行以下操作：
-命令所述第二图像记录装置(24b)记录所述环境的一个图像，以及
-通过数字图像处理对所述图像进行处理，使得单个图像在由所述对焦区域限定的区域内对焦，以创建在由所述对焦区域限定的区域内对焦的最终图像。
20.根据权利要求16所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为进行以下操作：
-对在一个景深内对焦的所述环境的图像进行记录，以及
-通过至少使所述景深内的图像变模糊来处理所述图像，使得所述图像在由所述对焦区域限定的区域内保持对焦。
21.根据权利要求16所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为当在预定时段内注视方向保持稳定时选择对焦区域。
22.根据权利要求16所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为获得朝向所述设备(10)的周围环境的注视方向和/或朝向所述显示装置(22)的注视方向。
23.根据权利要求16所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为获得所述用户(50)的面部的注视方向和/或所述用户(50)的至少一个眼睛的注视方向。
24.根据权利要求23的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为根据所获得的所述用户(50)的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
25.根据权利要求16所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为根据所获得的注视方向，在对焦区域的栅格(700)中选择对焦区域或者对可移动对焦框(400)进行移动，以标识出对焦区域。
26.根据权利要求25所述的便携式设备(10)，其特征在于所述自动对焦控制器(40)被设置为按照所述用户(50)的命令来改变所述栅格(700)的形状或者所述对焦框(400)的形状。
27.根据权利要求25到26中任意一项所述的便携式设备(10)，其特征在于所述对焦栅格(700)或者所述对焦框(400)对所述用户(50)可见。
28.根据权利要求16所述的便携式设备(10)，其特征在于所述便携式设备(10)是便携式通信设备。
29.根据权利要求16所述的便携式设备(10)，其特征在于所述第一成像装置(24a)被设置为在第一工作模式下记录所述用户(50)的图像以获得所述用户(50)的注视方向，并且被设置为在第二工作模式下记录所述用户(50)的图像以在视频通话期间提供所述用户(50)的图像。
30.根据权利要求28所述的便携式设备(10)，其特征在于所述便携式通信设备是蜂窝电话(10)。
31.一种存储在计算机可用介质上并包括可读程序单元的计算机程序产品，该可读程序单元用于在所述程序单元被加载到便携式设备(10)中时使得所述便携式设备(10)执行多个步骤，所述便携式设备(10)包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像的自动对焦装置；以及
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像；以及
-自动对焦控制器(40)，其用于对焦所述设备(10)中的图像，
所述步骤包括：
-通过所述第二图像记录装置(24b)记录所述环境的至少一个图像；
-根据由所述第一图像记录装置(24a)记录的图像而获得所述用户(50)的多个注视方向；
-根据所获得的注视方向，在由所述显示器(22)再现的所述图像中选择多个对焦区域；
-对所述环境的所述至少一个图像进行处理，以创建在由所述对焦区域限定的区域内对焦的最终图像。
32.一种记录有程序的计算机程序元件，其中所述程序用于在所述程序单元被加载到便携式设备(10)中时使得所述便携式设备(10)执行多个步骤，所述便携式设备(10)包括：
-第一图像记录装置(24a)，其用于记录所述设备(10)的用户(50)的图像；
-第二图像记录装置(24b)，其包括用于记录所述设备(10)的周围环境的图像的自动对焦装置；以及
-显示装置(22)，其用于再现所记录的所述设备(10)的周围环境的图像；以及
-自动对焦控制器(40)，其用于对焦所述设备(10)中的图像，
所述步骤包括：
-通过所述第二图像记录装置(24b)记录所述环境的至少一个图像；
-根据由所述第一图像记录装置(24a)记录的图像而获得所述用户(50)的多个注视方向；
-根据所获得的注视方向，在由所述显示器(22)再现的所述图像中选择多个对焦区域；
-对所述环境的所述至少一个图像进行处理，以创建在由所述对焦区域限定的区域内对焦的最终图像。
CN2007800368859A 2006-10-02 2007-06-26 图像中的对焦区域 Expired - Fee Related CN101523896B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US11/537,844 2006-10-02
US11/537,844 US7860382B2 (en) 2006-10-02 2006-10-02 Selecting autofocus area in an image
PCT/EP2007/002408 WO2008040398A1 (en) 2006-10-02 2007-03-19 Selecting autofocus area in an image
EPPCT/EP2007/002408 2007-03-19
PCT/EP2007/056307 WO2008040575A1 (en) 2006-10-02 2007-06-25 Selecting focusing area by gaze direction
EPPCT/EP2007/056307 2007-06-25
PCT/EP2007/056365 WO2008040576A1 (en) 2006-10-02 2007-06-26 Focused areas in an image

Publications (2)

Publication Number Publication Date
CN101523896A true CN101523896A (zh) 2009-09-02
CN101523896B CN101523896B (zh) 2011-09-07

Family

ID=38461752

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800368384A Expired - Fee Related CN101523895B (zh) 2006-10-02 2007-06-25 通过注视方向选择对焦区域
CN2007800368859A Expired - Fee Related CN101523896B (zh) 2006-10-02 2007-06-26 图像中的对焦区域

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2007800368384A Expired - Fee Related CN101523895B (zh) 2006-10-02 2007-06-25 通过注视方向选择对焦区域

Country Status (3)

Country Link
US (2) US7860382B2 (zh)
CN (2) CN101523895B (zh)
WO (3) WO2008040398A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914932A (zh) * 2011-08-03 2013-02-06 浪潮乐金数字移动通信有限公司 一种利用摄像设备用户的眼睛来对焦的方法及摄像设备
CN103188428A (zh) * 2011-12-30 2013-07-03 富泰华工业（深圳）有限公司 拍摄装置及方法
CN103188434A (zh) * 2011-12-31 2013-07-03 联想(北京)有限公司 一种图像采集方法和设备
CN103248822A (zh) * 2013-03-29 2013-08-14 东莞宇龙通信科技有限公司 摄像终端的对焦方法及摄像终端
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN104460185A (zh) * 2014-11-28 2015-03-25 小米科技有限责任公司 自动对焦方法及装置
CN104754202A (zh) * 2013-12-31 2015-07-01 联想(北京)有限公司 一种图像采集的方法及电子设备
CN105049717A (zh) * 2015-07-02 2015-11-11 上海闻泰电子科技有限公司 用于数码相机的瞳孔控制自动对焦方法及系统
CN106031147A (zh) * 2014-02-13 2016-10-12 索尼公司 用于使用角膜反射调整相机设置的方法和系统
CN109313291A (zh) * 2016-06-30 2019-02-05 惠普发展公司，有限责任合伙企业 智能镜件
CN109997067A (zh) * 2016-12-01 2019-07-09 阴影技术公司 使用便携式电子设备的显示装置和方法
CN110177210A (zh) * 2019-06-17 2019-08-27 Oppo广东移动通信有限公司 拍照方法及相关装置
CN110636218A (zh) * 2019-08-19 2019-12-31 RealMe重庆移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN112702506A (zh) * 2019-10-23 2021-04-23 北京小米移动软件有限公司 拍摄方法、拍摄装置及电子设备

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US8571346B2 (en) * 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US9596401B2 (en) 2006-10-02 2017-03-14 Sony Corporation Focusing an image based on a direction of a face of a user
US7664384B2 (en) * 2006-11-07 2010-02-16 Sony Ericsson Mobile Communications Ab User defined autofocus area
US20080279454A1 (en) * 2007-05-07 2008-11-13 Lev Jeffrey A Slot in housing adapted to receive at least a portion of a printed paper item for optical character recognition
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8497928B2 (en) 2007-07-31 2013-07-30 Palm, Inc. Techniques to automatically focus a digital camera
US8289377B1 (en) 2007-08-31 2012-10-16 DigitalOptics Corporation MEMS Video mode hidden autofocus
SG150414A1 (en) * 2007-09-05 2009-03-30 Creative Tech Ltd Methods for processing a composite video image with feature indication
US20090110245A1 (en) * 2007-10-30 2009-04-30 Karl Ola Thorn System and method for rendering and selecting a discrete portion of a digital image for manipulation
EP2071441A1 (en) * 2007-12-03 2009-06-17 Semiconductor Energy Laboratory Co., Ltd. Mobile phone
US7881595B2 (en) * 2007-12-21 2011-02-01 Aptina Imaging Corporation Image stabilization device and method
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8675091B2 (en) * 2008-12-15 2014-03-18 Nvidia Corporation Image data processing with multiple cameras
KR101595751B1 (ko) * 2008-12-19 2016-02-22 삼성전자주식회사 화상통화 중 데이터 저장 방법 및 시스템
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
JP4781440B2 (ja) * 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ， エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
US8111247B2 (en) * 2009-03-27 2012-02-07 Sony Ericsson Mobile Communications Ab System and method for changing touch screen functionality
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US8482626B2 (en) 2009-04-07 2013-07-09 Mediatek Inc. Digital camera and image capturing method
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8416715B2 (en) * 2009-06-15 2013-04-09 Microsoft Corporation Interest determination for auditory enhancement
JP5450200B2 (ja) * 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
FR2964203A1 (fr) * 2010-08-24 2012-03-02 Franck Andre Marie Guigan Acquisition d'image par synthese progressive
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US9160931B2 (en) * 2011-04-08 2015-10-13 Hewlett-Packard Development Company, L.P. Modifying captured image based on user viewpoint
WO2012146542A1 (en) * 2011-04-24 2012-11-01 Cielo Este S.L A photograph camera or a camcorder with simultaneous pictures clarity which have contents with different distances from the camera
US8705812B2 (en) * 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
EP2754028A4 (en) * 2011-09-08 2015-08-12 Intel Corp VISUALIZATION OF INTERACTIVE SCREEN
JP5902444B2 (ja) * 2011-11-24 2016-04-13 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法
US20130286049A1 (en) * 2011-12-20 2013-10-31 Heng Yang Automatic adjustment of display image using face detection
US20130155309A1 (en) * 2011-12-20 2013-06-20 Research In Motion Limited Method and Apparatus for Controlling Camera Functions Using Facial Recognition and Eye Tracking
US9052502B2 (en) 2011-12-29 2015-06-09 Elwha Llc Corrective alignment optics for optical device
US20130169928A1 (en) 2011-12-29 2013-07-04 Elwha LLC, a limited liability company of the State of Delaware Fabrication technique for replaceable optical corrective elements
US9033497B2 (en) 2011-12-29 2015-05-19 Elwha Llc Optical device with interchangeable corrective elements
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101897549B1 (ko) * 2012-01-09 2018-09-12 삼성전자주식회사 휴대 단말기에서 카메라 뷰 영역을 표시하는 장치 및 방법
CN103246044B (zh) * 2012-02-09 2017-03-22 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
CN103425641A (zh) * 2012-05-14 2013-12-04 富泰华工业（深圳）有限公司 电子装置及该电子装置的图像管理方法
US8581929B1 (en) * 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
JP2013254432A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法
US9971400B2 (en) * 2012-06-29 2018-05-15 Symbol Technologies, Llc Device and method for eye tracking data trigger arrangement
KR101880636B1 (ko) * 2012-07-25 2018-07-20 삼성전자주식회사 디지털 촬영 장치 및 그의 제어 방법
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
KR101952684B1 (ko) * 2012-08-16 2019-02-27 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
EP2907453B1 (en) * 2012-09-28 2018-11-21 JVC Kenwood Corporation Diagnosis assistance device and diagnosis assistance method
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
KR101983288B1 (ko) * 2012-11-22 2019-05-29 삼성전자주식회사 카메라 촬영 제어장치 및 방법
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9116926B2 (en) 2012-12-20 2015-08-25 Google Inc. Sharing photos
US9571726B2 (en) 2012-12-20 2017-02-14 Google Inc. Generating attention information from photos
US9224036B2 (en) * 2012-12-20 2015-12-29 Google Inc. Generating static scenes
US8994834B2 (en) * 2012-12-20 2015-03-31 Google Inc. Capturing photos
CN103905709A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 一种控制电子设备的方法及电子设备
EP2940985A4 (en) * 2012-12-26 2016-08-17 Sony Corp IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD AND PROGRAM
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
CN103929583B (zh) * 2013-01-15 2018-08-10 北京三星通信技术研究有限公司 一种控制智能终端的方法及智能终端
JP2014160982A (ja) 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US20140340639A1 (en) * 2013-05-06 2014-11-20 Langbourne Rust Research Inc. Method and system for determining the relative gaze-attracting power of visual stimuli
CN103297696B (zh) * 2013-05-24 2016-12-28 小米科技有限责任公司 拍摄方法、装置和终端
KR102085766B1 (ko) * 2013-05-30 2020-04-14 삼성전자 주식회사 촬영 장치의 자동 초점 조절 방법 및 장치
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
CN103338331A (zh) * 2013-07-04 2013-10-02 上海斐讯数据通信技术有限公司 一种采用眼球控制对焦的图像采集系统
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
US10440252B2 (en) * 2013-09-24 2019-10-08 Sony Corporation Apparatus and imaging method for setting a target of an image
KR20160065920A (ko) * 2013-11-29 2016-06-09 인텔 코포레이션 얼굴 검출을 이용한 카메라 제어
JP6178987B2 (ja) * 2014-02-05 2017-08-16 パナソニックＩｐマネジメント株式会社 撮像装置
MY180872A (en) * 2014-02-25 2020-12-10 Eyeverify Inc Eye gaze tracking
WO2015170142A1 (en) * 2014-05-08 2015-11-12 Sony Corporation Portable electronic equipment and method of controlling a portable electronic equipment
US10078198B2 (en) 2014-08-08 2018-09-18 Samsung Electronics Co., Ltd. Photographing apparatus for automatically determining a focus area and a control method thereof
US9594970B2 (en) 2014-08-28 2017-03-14 Lenovo (Singapore) Pte. Ltd. Device with camera at or near junction of first panel and second panel
CN104572997A (zh) * 2015-01-07 2015-04-29 北京智谷睿拓技术服务有限公司 内容获取方法、装置及用户设备
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
RU2686019C2 (ru) * 2015-03-13 2019-04-23 Хуавей Текнолоджиз Ко., Лтд. Электронное устройство, способ фотографирования и фотографическое устройство
US9860452B2 (en) * 2015-05-13 2018-01-02 Lenovo (Singapore) Pte. Ltd. Usage of first camera to determine parameter for action associated with second camera
KR102429427B1 (ko) * 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
CN106470308A (zh) * 2015-08-18 2017-03-01 联想(北京)有限公司 图像处理方法以及电子设备
CN105700786A (zh) * 2015-12-30 2016-06-22 联想(北京)有限公司 信息处理方法、装置及电子设备
WO2018177528A1 (en) * 2017-03-30 2018-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Imaging device and contact lens
KR102476757B1 (ko) * 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
CN108391049A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 拍摄控制方法及相关设备
WO2020164693A1 (en) * 2019-02-12 2020-08-20 Telefonaktiebolaget Lm Ericsson (Publ) Method, computer program, and devices for image acquisition
JP7321786B2 (ja) 2019-06-17 2023-08-07 キヤノン株式会社 電子機器およびその制御方法
WO2021200266A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 撮像装置、撮像装置の制御方法およびプログラム
US20220377233A1 (en) * 2021-05-19 2022-11-24 David Michael Tillinghast Utilizing Changing Photographer Pupil Size Information To Determine Appropriate Camera Settings
US20230298197A1 (en) * 2022-03-17 2023-09-21 Motorola Mobility Llc Electronic device with gaze-based autofocus of camera during video rendition of scene

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333029A (en) * 1990-10-12 1994-07-26 Nikon Corporation Camera capable of detecting eye-gaze
US5252950A (en) * 1991-12-20 1993-10-12 Apple Computer, Inc. Display with rangefinder
US5604537A (en) * 1992-09-10 1997-02-18 Canon Kabushiki Kaisha Imaging apparatus having an automatic focusing means
DE69430288T2 (de) * 1993-10-04 2002-10-02 Canon Kk Bildaufnahmegerät
JPH07184089A (ja) 1993-12-21 1995-07-21 Canon Inc ビデオカメラ
JPH07199042A (ja) * 1993-12-28 1995-08-04 Canon Inc 視線検出機能付カメラ
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
GB2372665B (en) * 1998-05-08 2002-11-27 Orange Personal Comm Serv Ltd Mobile communications
JP4521071B2 (ja) * 1999-03-15 2010-08-11 富士フイルム株式会社 構図補助機能付きディジタル・スチル・カメラおよびその動作制御方法
JP2001183735A (ja) * 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
US20030071909A1 (en) * 2001-10-11 2003-04-17 Peters Geoffrey W. Generating images of objects at different focal lengths
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
DE60330980D1 (de) 2002-10-15 2010-03-04 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP2004297751A (ja) * 2003-02-07 2004-10-21 Sharp Corp 合焦状態表示装置及び合焦状態表示方法
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
WO2005119591A1 (ja) * 2004-06-04 2005-12-15 Matsushita Electric Industrial Co., Ltd. 表示制御方法および装置、プログラム、並びに携帯機器
US7532197B2 (en) * 2004-06-22 2009-05-12 Lenovo (Singapore) Pte Ltd. Method and system for automated monitoring of a display
KR101058009B1 (ko) * 2004-08-06 2011-08-19 삼성전자주식회사 디지털 촬영 장치에서의 자동 포커싱 방법, 및 이 방법을채용한 디지털 촬영 장치
US7343047B2 (en) * 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
WO2006036145A1 (en) * 2004-09-27 2006-04-06 Agere Systems Inc. Mobile communication device having stereoscopic imagemaking capability
US7460150B1 (en) * 2005-03-14 2008-12-02 Avaya Inc. Using gaze detection to determine an area of interest within a scene
US7806604B2 (en) * 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
US7979059B2 (en) * 2006-02-06 2011-07-12 Rockefeller Alfred G Exchange of voice and video between two cellular or wireless telephones
US7657171B2 (en) * 2006-06-29 2010-02-02 Scenera Technologies, Llc Method and system for providing background blurring when capturing an image using an image capture device

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914932A (zh) * 2011-08-03 2013-02-06 浪潮乐金数字移动通信有限公司 一种利用摄像设备用户的眼睛来对焦的方法及摄像设备
CN103188428A (zh) * 2011-12-30 2013-07-03 富泰华工业（深圳）有限公司 拍摄装置及方法
CN103188434A (zh) * 2011-12-31 2013-07-03 联想(北京)有限公司 一种图像采集方法和设备
CN103248822A (zh) * 2013-03-29 2013-08-14 东莞宇龙通信科技有限公司 摄像终端的对焦方法及摄像终端
CN103248822B (zh) * 2013-03-29 2016-12-07 东莞宇龙通信科技有限公司 摄像终端的对焦方法及摄像终端
CN104754202B (zh) * 2013-12-31 2019-03-29 联想(北京)有限公司 一种图像采集的方法及电子设备
CN104754202A (zh) * 2013-12-31 2015-07-01 联想(北京)有限公司 一种图像采集的方法及电子设备
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN106031147A (zh) * 2014-02-13 2016-10-12 索尼公司 用于使用角膜反射调整相机设置的方法和系统
CN106031147B (zh) * 2014-02-13 2019-04-09 索尼公司 用于使用角膜反射调整相机设置的方法和系统
CN104460185A (zh) * 2014-11-28 2015-03-25 小米科技有限责任公司 自动对焦方法及装置
CN105049717A (zh) * 2015-07-02 2015-11-11 上海闻泰电子科技有限公司 用于数码相机的瞳孔控制自动对焦方法及系统
CN109313291A (zh) * 2016-06-30 2019-02-05 惠普发展公司，有限责任合伙企业 智能镜件
CN109997067A (zh) * 2016-12-01 2019-07-09 阴影技术公司 使用便携式电子设备的显示装置和方法
CN109997067B (zh) * 2016-12-01 2021-12-14 阴影技术公司 使用便携式电子设备的显示装置和方法
CN110177210A (zh) * 2019-06-17 2019-08-27 Oppo广东移动通信有限公司 拍照方法及相关装置
CN110177210B (zh) * 2019-06-17 2021-04-13 Oppo广东移动通信有限公司 拍照方法及相关装置
CN110636218A (zh) * 2019-08-19 2019-12-31 RealMe重庆移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN112702506A (zh) * 2019-10-23 2021-04-23 北京小米移动软件有限公司 拍摄方法、拍摄装置及电子设备

Also Published As

Publication number Publication date
CN101523895B (zh) 2012-06-27
WO2008040575A1 (en) 2008-04-10
WO2008040576A1 (en) 2008-04-10
US8767082B2 (en) 2014-07-01
CN101523895A (zh) 2009-09-02
US20100134642A1 (en) 2010-06-03
US7860382B2 (en) 2010-12-28
CN101523896B (zh) 2011-09-07
US20080080846A1 (en) 2008-04-03
WO2008040398A1 (en) 2008-04-10

Similar Documents

Publication Publication Date Title
CN101523896B (zh) 图像中的对焦区域
CN103595909B (zh) 移动终端及其控制方法
CN108399349B (zh) 图像识别方法及装置
US9596401B2 (en) Focusing an image based on a direction of a face of a user
CN109361865A (zh) 一种拍摄方法及终端
CN102377945A (zh) 摄像装置
CN110266941A (zh) 一种全景拍摄方法及终端设备
US20110187882A1 (en) Digital image capturing device providing photographing composition and method thereof
CN105025208B (zh) 摄像装置、照相机组件、远程操作装置、摄影方法、显示方法以及记录介质
CN109981976A (zh) 摄像设备及其控制方法和存储介质
JP2010183200A (ja) 撮像機能を備えた携帯端末
CN108965697A (zh) 一种拍摄控制方法、终端及计算机可读存储介质
JP2006060584A (ja) デジタルカメラ
CN101909153B (zh) 摄影装置、摄影方法以及再现方法
CN101867708A (zh) 摄影装置、显示装置、再现装置、摄影方法以及显示方法
CN108174109A (zh) 一种拍照方法及移动终端
JP4885792B2 (ja) ガイド装置及びガイド方法
CN106454087A (zh) 一种拍摄装置和方法
JP5096610B2 (ja) ガイド装置およびガイド方法
CN101442615B (zh) 摄像装置、摄像方法、图像检索装置以及图像检索方法
US20230019529A1 (en) Electronic Devices and Corresponding Methods for Automatically Performing Login Operations in Multi-Person Content Presentation Environments
CN101431640A (zh) 图像检索装置和图像检索方法和照相机
JP4849330B2 (ja) 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム
JP5540051B2 (ja) ガイド装置付きカメラおよびガイド付き撮影方法
CN105592249B (zh) 基于眼纹识别对照片中人物进行眼部修复的终端及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110907

CF01 Termination of patent right due to non-payment of annual fee