CN106031147B - 用于使用角膜反射调整相机设置的方法和系统 - Google Patents

用于使用角膜反射调整相机设置的方法和系统 Download PDF

Info

Publication number
CN106031147B
CN106031147B CN201480075366.3A CN201480075366A CN106031147B CN 106031147 B CN106031147 B CN 106031147B CN 201480075366 A CN201480075366 A CN 201480075366A CN 106031147 B CN106031147 B CN 106031147B
Authority
CN
China
Prior art keywords
camera
forward direction
visual field
electronic device
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480075366.3A
Other languages
English (en)
Other versions
CN106031147A (zh
Inventor
大卫·德利昂
L·马腾森
O·索恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106031147A publication Critical patent/CN106031147A/zh
Application granted granted Critical
Publication of CN106031147B publication Critical patent/CN106031147B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Studio Devices (AREA)

Abstract

一种相机系统包括对准前方场景的前向相机和对准与前方场景相反的后方场景的后向相机，操作该相机系统包括以下步骤：分析包含前方场景在相机系统的用户的眼睛的角膜中的反射的视频流，该视频流利用后向相机捕捉。分析包括：识别反射中的相对于前向相机的视场移动且被预测进入前向相机的视场的元素，以及识别元素的特性。根据被识别元素的特性调整前向相机的相机设置，调整后的相机设置被选择为改进利用前向相机捕捉包含该元素的照片或视频。

Description

用于使用角膜反射调整相机设置的方法和系统
技术领域
本公开的技术总体涉及电子装置，并且更具体地涉及基于从分析用户的角膜反射获取的信息来调整相机设置的电子装置和相关方法。
背景技术
许多现代电子装置支持摄影功能部件。例如，一些电子装置包括前向相机，该前向相机用于拍摄在前向相机的视场中的前方场景的一部分的照片和视频。前方场景是在电子装置的用户的前面的区域。另外，一些电子装置还包括后向相机，该后向相机用于拍摄在后向相机的视场中的后方场景的一部分的照片和视频。在电子装置的典型手持操作中，后向相机的视场包括用户。因此，后向相机通常用于自拍或实现视频电话。
拍摄清晰照片和视频取决于多种因素，包括多个相机设置。可能对图像质量有影响的示例性相机设置包括但不限于图像稳定性(例如，光学和/或数字系统)、光敏性设置(例如，光圈、快门速度等)、自动聚焦、色平衡、操作模式等。示例性操作模式是时移，其中，在一时间段(例如，两秒)内捕捉多个图像，并且分析图像以选择图像中的最佳图像，或组合图像以改进图像质量。
但是即使利用可以被调整以改进图像质量的多种设置，仍然存在改进的空间。例如，为了对设置进行自动改变或在时移模式下触发图像的捕捉，相机可以分析相机的视场内的场景的内容。该技术无法通过元素(item)的移动或通过相机相对于场景的移动来解释可能移动到相机的视场中的元素。这是因为不管用于评价由相机输出的预览视频流的分析技术如何，相机的视场外部的物体实际上都是未知的。
已经提出眼跟踪以改进相机性能。在该方法中，后向相机被用于跟踪用户的凝视并且调整前向相机的自动聚焦或其它设置。但是即使检测到用户正在看前向相机的视场外部的区域，用户正在看的元素的性质最多是推测的，并且无法有效地进行前向相机设置的改变。
发明内容
公开了改进图像质量的方法。后向相机被用于捕捉用户的眼睛的角膜中反射的前方场景的视频。分析前方场景的视频以检测可能进入前向相机的视场的一个或多个元素。该性质的元素可以包括例如移动物体(诸如人、动物、汽车等)。该性质的另一个元素可以包括相对亮的光或黑暗区域。前向相机的一个或更多个相机设置可以根据所检测的元素来调整，以改进图像质量。移动是相对于前向相机的视场的。因此，移动可以由相机相对于前方场景的移动或元素在前方场景内的移动或两者得到。
根据公开的一个方面，公开了一种操作相机系统的方法，该相机系统包括对准前方场景的前向相机和对准与所述前方场景相反的后方场景的后向相机。所述方法包括：分析包含所述前方场景在所述相机系统的用户的眼睛的角膜中的反射(reflection)的视频流，所述视频流利用所述后向相机来捕捉，并且所述分析包括识别所述反射中的相对于所述前向相机的视场移动并且被预测进入所述前向相机的视场的元素，并且识别所述元素的特性；以及根据被识别元素的特性调整所述前向相机的相机设置，选择调整后的相机设置，以改进利用所述前向相机捕捉包含所述元素的照片或视频。
根据该方法的一个实施方式，对所述前向相机的相机设置的调整与所述元素相对于所述前向相机的视场的移动结合(timed with)，以当所述元素进入所述前向相机的视场时起作用。
根据该方法的一个实施方式，被识别元素是物体，并且所述相机设置是所述前向相机的时移操作。
根据该方法的一个实施方式，所述时移操作与所述元素相对于所述前向相机的视场的移动结合，以当所述物体在所述前向相机的视场中时利用所述前向相机拍摄多个图像。
根据该方法的一个实施方式，被识别元素是物体或光源中的一个，并且识别所述特性包括：辨别所述元素是物体还是光源。
根据该方法的一个实施方式，被识别元素是物体，并且识别所述特性包括：检测针对所述元素的物体类型，调整后的相机设置取决于检测所述物体类型。
根据该方法的一个实施方式，被识别元素是物体，并且识别所述特性包括：辨别所述物体是人还是另一种物体，调整后的相机设置取决于所述辨别。
根据该方法的一个实施方式，被识别元素是光源，并且对所述相机设置的调整补偿所述光源。
根据该方法的一个实施方式，所述元素的特性是相对于所述前向相机的视场的移动速度、预测所述元素进入的所述前向相机的视场的部分、亮度、离所述前向相机的距离、或物体类型中的一个或更多个。
根据本公开的另一个方面，一种电子装置包括：前向相机，该前向相机对准前方场景；后向相机，该后向相机对准与所述前方场景相反的后方场景；以及控制电路，该控制电路执行逻辑指令以：分析包含前方场景在所述电子装置的用户的眼睛的角膜中的反射的视频流，所述视频流利用所述后向相机来捕捉，所述分析识别所述反射中的相对于所述前向相机的视场移动的、预测进入所述前向相机的所述视场的元素，并且识别所述元素的特性；并且根据被识别元素的特性调整所述前向相机的相机设置，选择调整后的相机设置，以改进利用所述前向相机捕捉包含所述元素的照片或视频。
根据该电子装置的一个实施方式，对所述前向相机的相机设置的调整与所述元素相对于所述前向相机的视场的移动结合，以当所述元素进入所述前向相机的视场时起作用。
根据该电子装置的一个实施方式，所述被识别元素是物体，并且所述相机设置是所述前向相机的时移操作。
根据该电子装置的一个实施方式，所述时移操作与所述元素相对于所述前向相机的视场的移动结合，以当所述物体在所述前向相机的视场中时利用所述前向相机拍摄多个图像。
根据该电子装置的一个实施方式，所述被识别元素是物体或光源中的一个，并且识别所述特性包括：辨别所述元素是物体还是光源。
根据该电子装置的一个实施方式，所述被识别元素是物体，并且识别所述特性包括：检测针对所述元素的物体类型，调整后的相机设置取决于检测所述物体类型。
根据该电子装置的一个实施方式，所述被识别元素是物体，并且识别所述特性包括：辨别所述物体是人还是另一种物体，调整后的相机设置取决于所述辨别。
根据该电子装置的一个实施方式，所述被识别元素是光源，并且对所述相机设置的调整补偿所述光源。
根据该电子装置的一个实施方式，所述元素的特性是相对于所述前向相机的视场的移动速度、所述元素被预测进入的所述前向相机的视场的部分、亮度、离所述前向相机的距离、或物体类型中的一个或更多个。
附图说明
图1是用于改进电子装置的前向相机的操作的在操作环境中的电子装置的示意图。
图2是来自电子装置的后向相机的图像信息的表示，该图像信息用于改进前向相机的操作。
图3是由电子装置实现的相机功能的流程图。
图4是电子装置的示意性框图。
图5是用于电子装置的通信环境的示意图。
具体实施方式
现在将参照附图描述实施方式，其中，类似附图标记自始至终用于指类似元件。将理解，附图不是必须按比例绘制。关于一个实施方式描述和/或示出的特征可以以相同方式或类似方式用于一个或更多个其它实施方式中和/或与其它实施方式的特征组合或代替其它实施方式的特征。
下面连同附图描述了电子装置和控制电子装置的相机操作的各种实施方式。电子装置通常但不是必须是便携式电子装置，并且可以采用任意形状因数，形状因数包括但不限于移动电话、平板计算装置、膝上型计算机、游戏装置、相机或媒体播放器。附图中所示的电子装置是移动电话，但是本发明的多个方面的可应用性不限于移动电话。
最初参照图1，电子装置10包括保持后向相机12和前向相机14的壳体。前向相机14(有时称为“主相机”)通常用于拍摄用户前面的场景(称为前方场景)的图片和视频。后向相机12(有时称为“聊天相机”)通常用于包括用户的后方场景的图片或视频，诸如用于自拍或实现视频电话。如这里使用的，术语前向、在前面、前方场景、后向、后方场景等是相对于用户的。因此，完成前向和后向任务的相机组件可能取决于电子装置相对于用户的取向。同样地，在本公开中使用的术语前向相机和后向相机是指在捕捉照片和视频时相机的角色，而不是指它们作为“主相机”或“聊天相机”的主要功能。换言之，在一个实施方式中，主相机可以用于捕捉前方场景，并且聊天相机可以用于捕捉用户的角膜中的反射，而在另一个实施方式中，聊天相机可以用于捕捉前方场景，并且主相机可以用于捕捉用户的角膜中的反射。
在用于改进利用这里所述的前向相机14的摄影的技术中，后向相机12被用于捕捉包含用户的眼睛18的角膜16中反射的前方场景的内容的视频流。基于所反射的前方场景的内容的分析，对前向相机14的相机设置或操作进行调整。该技术可应用至利用前向相机14拍摄静态照片和拍摄视频。而且，该技术可应用至配置多种相机类型(包括标准相机、全光镜头相机、立体相机、多阵列相机等)的设置。
另外参照图2，左边示出了利用后向相机12拍摄的用户的眼睛18的代表性图像。该图像是由后向相机12输出的视频流的一部分。如将描述的，对该视频流进行后向相机12的输出的分析。为了描述的目的，示出了静态图像。图2中右边示出了来自左边图像的用户的角膜16的放大版本。
如可以看到的，用户的眼睛18的角膜16与后向相机12的组合形成具有前方场景的非常宽视场的反射折射(反射镜加透镜)成像系统。视场在图1中由附图标记20表示，并且由点划线箭头限制。由于角膜的弯曲(固定离心率和尺寸的椭圆体)，该视场20相对大。而且，视场20是充当用于反射折射成像系统的探测器(probe)的用户的角膜16的视场，而不是如由用户感知的视场或后向相机12的视场。
由用户的角膜16反射并且由后向相机12捕捉的是前向相机18对准的前方场景的内容的角膜反射22。引起反射22的视场20大于前向相机14的视场24。前向相机14的代表性视场24在图1中被示出为由长虚线/短虚线箭头来限制。由于前向相机14的视场24和视场20的尺寸的相对差(例如，如由实心锥角测量的)，比利用前向相机14捕捉的图像中更多的前方场景将出现在反射22中。为了比较，图2中的框26表示利用前向相机14捕捉的前方场景的部分。然而，将认识到，利用后向相机12捕捉的反射22是镜像，并且通过角膜16相对于利用前向相机14捕捉的图像的弯曲变形。
在图2的示例性说明中，前方场景是如通过具有水平百叶窗的窗户观看的建筑物和周围风景的前方场景。将认识到，前方场景事实上可以是用户采用电子装置10的任何场景。为了说明性描述的目的，我们假设用户移动电子装置10，以将前向相机14的视场24移动至用户的左边。这与在图2中所示的前方场景的反射版本中的朝向右边的移动相关。我们进一步假设太阳位于该方向上。因此，当移动前向相机14时，将存在眩光或光照条件的对应增加。但是分析前向相机14的输出将由于它受限的视场24导致很慢地检测到光照变化。在所公开的技术中，可以分析反射22，以在可以通过分析来自前向相机14的输出检测到进入到前向相机14的视场24中的更亮光之前检测该更亮光。进入元素相对于前向相机14的视场的速度、方向以及位置(例如，在该示例性情况下，是更亮光条件)可以通过(例如，使用加速计)跟踪电子装置10的相对动作和/或(例如，使用视频处理)跟踪一个或更多个元素在反射22内的动作来确定。使用该信息，可以在适当时刻及时地改变前向相机14的相机设置，以改进利用前向相机14拍摄图片或视频。例如，对前向相机22的相机设置的调整可以与元素相对于前向相机14的视场24的移动结合，以当元素进入前向相机14的视场24时起作用。而且，对相机设置的调整可以考虑元素被预测进入的前向相机14的视场24的部分(例如，左手侧、右上角或其它部分)作出。下面将连同可检测元素、这些元素的特性、以及对前向相机14的设置的对应改变的另外示例一起进行所公开技术的更多描述。
另外参照图3，示出了表示可以由电子装置10执行以根据这里所述的技术操作相机12、14(例如，作为相机系统28)的步骤的示例性流程图。在一个实施方式中，该方法的部分通过执行相机控制软件应用程序30(图4)来实现。虽然以逻辑进展示出，但是所示出的框可以以其它顺序实现和/或在两个或更多个框之间同时发生。因此，所示出的流程图可以改变(包括省略步骤)和/或可以以面向对象的方式或以面向状态的方式来实现。
逻辑流程可以开始于框32，在框32中，响应于对电子装置10的用户行为，电子装置10发起前向相机14的操作。发起前向相机14的操作的用户行为可以包括从电子装置10的显示器34上显示的图形用户界面选择图标，或者按压相机操作按钮。发起前向相机14的操作可以包括启动前向相机14并且利用前向相机14输出视频流。在一个实施方式中，视频流被显示在电子装置10的显示器34上，以帮助用户组成照片或视频。同样地，显示器34在相机操作期间充当电子取景器。
除了发起前向相机14的操作之外，电子装置10可以启动后向相机12，聚集调整前向相机14的设置的信息，以改进利用前向相机14拍摄的照片或视频的质量。为了该目的，后向相机12输出视频流。在一个实施方式中，来自后向相机12的视频流具有相对高帧速率(例如，每秒24个或更多帧)。为了允许高帧速率，如果需要，可以牺牲分辨率。
在框36中，分析来自后向相机12的视频流，以识别用户的一只眼睛18的角膜16。为了该目的，可以采用面部特征识别技术。人脸和面部特征技术相对好理解，并且为了简短起见，这里将不进行详细描述。
一旦识别出视频流中包含角膜16的部分，就分析该区域以识别前方场景的反射22。而且，可以跟踪视频流中的角膜16的圆形区域的位置，以便连续监测反射22。
分析反射22以创建前方场景的环境映射。从环境映射可以导出前方场景的图像(例如，为视频图像的形式)。如何创建可以导出前方场景的图像的环境映射的示例性说明在2004年哥伦比亚大学计算机科学系NISHINO,Ko等人的“Eyes for Relighting”中找到。为了视频图像的目的，导出前方场景的操作可以被应用至视频流的每个帧。
然后，使用前方场景的视频图像，可以识别前方场景中的元素。更具体地，可以识别正在相对于前向相机14的视场24移动的元素，以检测可能进入前向相机14的视场24的元素。该性质的元素可以包括例如移动物体(诸如人、动物、汽车等)。该性质的另一个元素可以包括光源(例如，高亮度区域)或黑暗区域(例如，低亮度区域)。
为了确定元素是否可能进入前向相机14的视场24，可以将来自前向相机14的视频流与表示反射22的视频图像进行比较。因为反射22是前方场景的镜像，所以可以水平地翻转来自前向相机14的视频流或表示反射22的视频图像中的一个，以便于比较。可以确定这两个视频流共有的物体和/或光源的相对位置和移动，并且视频流中的共有物体和/或光源的相对位置可以用于确定反射22中的对应于前向相机14的视场24的部分。分析反射22中的对应于前向相机14的视场24的部分外部的反射22的区域，以找到可能进入前向相机14的视场24的元素。
在框38中，作出关于元素被预测是否进入前向相机14的视场24的确定。如果作出肯定确定，则逻辑流程可以进行到框40，在框40中，调整前向相机14的相机设置，以改进利用前向相机14拍摄优质照片或视频，其中，照片或视频包含作为在框38中的确定的主题的元素。在一个实施方式中，设置的调整与元素在前向相机14的视场24中的预测到达结合。在这种情况下，调整的定时(timing)可以基于元素相对于前向相机14的视场24的速度和位置。
在框40中，基于被识别元素的至少一个特性调整用于前向相机14的相机设置。由此，反射22的分析可以包括确定元素的一个或更多个特性。将描述示例特性以及对相机设置的对应改变。将想到，所述示例不是详尽的，并且可以评估其它特性和/或可以进行其它调整。查找表可以用于存储将针对不同类型的特性进行的调整(在一些实施方式中，为特性的量化(例如，光强度、移动速度等))。在一些情况下，可以针对元素识别多于一个特性，和/或可以基于一个或多于一个被识别特性调整多于一个设置。而且，根据元素的移动信息，可以确定元素将出现在前向相机14的视场24中的位置，并且调整可以取决于前向相机14的视场24内的所确定位置。
如果被识别元素是物体，则对相机设置的调整可以是对快门速度或其它曝光设置的改变以与物体的移动速率一致。另一种调整可以是调整自动聚焦，以基于相对于视场24的位置和/或物体离前向相机14的距离针对物体的到达预先调整前向相机14的焦距。相机设置的另一种调整可以是在物体被预测为在前向相机14的视场24中时开启时移模式并且捕捉多个图像(例如，在2至50张照片的范围内)。另一种调整可以是开启闪光灯，调整闪光灯的亮度，调整闪光灯的持续时间，或关掉闪光灯。在另一个实施方式中，另一种调整为是否使用高动态范围(HDR)成像，并且如果使用，则要如何配置或使用HDR(例如，减少鬼影效应)。
不管物体的性质如何，都可以进行调整。在其它实施方式中，分析包括针对普通类型的物体(诸如人、动物或汽车)的物体识别。在另一个实施方式中，分析可以辨别人与其它类型的物体(例如，非人)。在这些实施方式中，相机设置调整可以取决于物体识别分析的结果(例如，物体识别分析的结果是元素的特性)。物体识别可以采用传统物体和人识别技术，诸如人脸检测、轮廓检测、形状分析等。另外，物体的速度可以用于通过不考虑其它可能物体便于物体类型的确定。例如，不同类型的物体通常能够在相对于前向相机14的视场24的不同速度范围内移动。相对快物体可能是参与体育活动的人或汽车。相对慢物体可能是参与更日常活动的人。
如果识别出物体的类型，则可以基于物体的类型进行对相机设置的调整。代替或除了针对物体的其它特性进行的调整(例如，基于相对于视场24的物体速度对快门速度的改变，开启时移模式，基于物体的位置和/或范围改变焦距，调整闪光灯操作等)，基于物体类型的调整可以被作出。例如，如果物体被识别为人，则对应相机设置调整可以是对为了肤色的优质成像优化的色平衡或其它设置。
如果确定元素是光源(例如，相对于前向相机14的视场24的内容的光照特性明亮的区域)，则可以作出一个或更多个相机设置，以补偿进入前向相机14的视场24的光源。这些设置可以包括例如曝光设置、光圈大小、焦距、色平衡、闪光灯操作等。另一个可能的元素是相对于前向相机14的视场24的内容的光照特性的黑暗区域。该条件还可以被解释为离开前向相机14的视场24的相对亮区域或由离开前向相机14的视场24的相对亮区域得到。在相对于前向相机14的视场24的内容的光照特性的黑色区域进入前向相机14的视场24的情况下，可以调整适当设置，诸如光圈大小、焦距、色平衡、闪光灯操作、HDR等。
在框40之后或在框38中的否定确定之后，逻辑流程可以进行到框42。在框42中，可以作出关于用户是命令拍摄照片还是命令记录视频的确定。如果是这样，则在框44中捕捉图像或视频中的适当一个。否则，逻辑流程可以返回到框36，以继续监测被预测进入前向相机14的视场24的元素。在一些实施方式中，框42和框44的操作可以被自动化或不可应用。例如，在视频的摄影期间，可以实现框36、框38以及框40的功能，并且在拍摄视频时作出对相机设置的调整。在另一个示例中，诸如当相对快移动的元素接近前向相机14的视场24时，可以假定用户想要捕捉照片中的元素，并且自动地启动时移模式，以当快速移动元素将在前向相机14的视场24中时在预测时间期间捕捉多个图像。
另外参照图2，示出了作为移动电话的示例性形式的电子装置10的示意性框图。电子装置10包括负责电子装置10的整体操作的控制电路46，包括根据所公开的技术控制相机12和14。为了该目的，控制电路46包括执行操作系统50和各种应用程序52的处理器48。
如所指示的，电子装置10还可以包括具体实现所公开的相机操作功能的相机应用程序30。在其它实施方式中，相机控制功能是操作系统50的部分或由专用相机控制处理器执行的另一个应用程序的部分。操作系统50、应用程序52以及相机应用程序30连同与操作系统50、应用程序30、52关联的所存储数据54、以及用户文件(包括利用相机12、14中的一个或两个拍摄的照片和视频)一起存储在存储器56上。操作系统50和应用程序30、52被具体实现为存储在电子装置10的非暂时性计算机可读介质(例如，存储器56)上的可执行逻辑例程(例如，代码行、软件程序等)的形式，并且由控制电路46执行。所描述操作可以被认为是由电子装置10实现的方法。
控制电路46的处理器48可以是中央处理单元(CPU)、微控制器或微处理器。处理器48执行控制电路46内的存储器(未示出)和/或单独存储器(诸如存储器56)中存储的代码。存储器56例如可以是缓冲器、闪存、硬盘驱动器、可移动媒体、易失性存储器、非易失性存储器、随机存取存储器(RAM)或其它合适装置中的一个或更多个。在典型结构中，存储器56包括用于长期数据存储的非易失性存储器和用作用于控制电路46的系统存储器的易失性存储器。存储器56可以通过数据总线与控制电路46交换数据。存储器56与控制电路46之间的随附控制线和地址总线也可以存在。存储器56被认为是非暂时性计算机可读介质。
电子装置10包括使得电子装置10能够建立各种无线通信连接的通信电路。在示例性实施方式中，通信电路包括无线电电路58。无线电电路58包括一个或更多个射频收发器和天线组件(或多个组件)。在电子装置10是能够使用多于一个标准和/或在多于一个射频带上通信的多模式装置的情况下，无线电电路58表示一个或多于一个无线电收发器、一个或多于一个天线、调谐器、阻抗匹配电路、以及各种支持频带和无线电接入技术所需的任何其它组件。无线电电路58还表示用于诸如通过蓝牙接口与电子装置直接局部无线通信的任何无线电收发器和天线。
电子装置10还包括用于向用户显示信息的显示器34。显示器34可以由将视频数据转换成用于驱动显示器34的视频信号的视频电路60联接到控制电路46。视频电路60可以包括任何适当缓冲器、解码器、视频数据处理器等。
电子装置10可以包括用于接收用于控制电子装置10的操作的用户输入的一个或更多个用户输入部62。示例性用户输入部包括但不限于叠加针对触摸屏功能的显示器34、一个或更多个按钮、动作传感器(例如，陀螺仪传感器、加速计)等的触摸输入部。
电子装置10还可以包括用于处理音频信号的声音电路64。联接到声音电路64的是使能够进行利用电子装置10实现的音频操作(例如，进行电话呼叫、输出声音、捕捉用于利用相机12或14拍摄的视频的音频等)的扬声器66和麦克风68。声音电路64可以包括任何适当缓冲器、编码器、解码器、放大器等。
电子装置10还可以包括一个或更多个输入/输出(I/O)接口70。I/O接口70可以是典型电子装置I/O接口的形式，并且可以包括用于经由线缆将电子装置10可操作地连接到另一个装置(例如，计算机)或附件(例如，个人免提(PHF)装置)的一个或更多个电连接器。进一步地，操作电力可以通过I/O接口70来接收，并且对电子装置10内的电源单元(PSU)72的电池充电的电力可以通过I/O接口70来接收。PSU 72可以供电，以在没有外部电源时操作电子装置10。
电子装置10还可以包括各种其它组件。作为示例，位置数据接收器74(诸如全球定位系统(GPS)接收器)可以存在，以帮助确定电子装置10的位置。电子装置10还可以包括容纳SIM卡78的用户身份模块(SIM)卡槽76。槽76包括任何适当连接器和接口硬件，以在电子装置10与SIM卡78之间建立可操作连接。
参照图5，示意性地示出了用于电子装置10的通信环境。在该通信环境中，电子装置10可以实现无线通信。为了进行无线通信，电子装置10与一个或更多个网络建立网络连接。通常，作出到服务电子装置10的物理地理位置的用户网络80的连接。网络80可以提供到电子装置10的互联网接入。在大多数情况下，网络80是由各个蜂窝服务电话公司操作的蜂窝网络。用于网络12的示例性网络接入技术通常是蜂窝电路切换网络技术，并且包括但不限于全球移动通信系统(GSM)、码分多址(CDMA)、宽带CDMA(WCDMA)以及这些标准的高级或另选版本。网络可以支持通用分组无线业务(GPRS)、通用移动通信系统(UMTS)、3G、4G长期演进(LTE)或其它标准。
网络80支持诸如但不限于语音通信(例如，电话呼叫)、视频通信(例如，视频电话)、短消息(例如，即时消息、文本和多媒体消息、以及电子邮件消息)、数据传送、以及互联网浏览等的通信。为了支持电子装置10的通信活动，网络80可以包括服务器82(或多个服务器)。服务器82可以被配置为用于实现服务器功能的典型计算机系统，并且可以包括被配置为执行包含具体实现服务器82的功能的逻辑指令的软件的处理器和存储这种软件和相关数据的存储器。
电子装置10与用户网络80之间的通信可以通过用户网络80的传输介质(未具体示出)建立。传输介质可以是任何合适装置或组件，但是通常是通信基站的布置(例如，还称为“蜂窝”塔的蜂窝服务塔)。
在一些情况下，电子装置10可以使用分组交换协议(诸如IEEE 802.11a、IEEE802.11b、IEEE 802.11g或IEEE 802.11n(通常称为WiFi))经由局域网(LAN)的接入点86与互联网84通信。其它基于LAN的协议是可以的，诸如IEEE 802.16下的WiMax。接入点86通常但不必须是无线路由器。
虽然示出并且描述了特定实施方式，但是将理解，落在所附权利要求的范围内的等同物和修改将在阅读并且理解本说明书时由本领域技术人员想到。

Claims (18)

1.一种操作相机系统的方法，所述相机系统包括对准前方场景的前向相机和对准与所述前方场景相反的后方场景的后向相机，所述方法包括：
分析包含所述前方场景在所述相机系统的用户的眼睛的角膜中的反射的视频流，所述视频流利用所述后向相机来捕捉，并且所述分析包括：识别所述反射中的相对于所述前向相机的视场移动且被预测进入所述前向相机的所述视场的元素，以及识别所述元素的特性；以及
根据被识别元素的特性调整所述前向相机的相机设置，选择调整后的相机设置以改进利用所述前向相机捕捉包含所述元素的照片或视频，
其中，至少所述前方场景的所述反射的第一部分对应于所述前方场景的在所述前向相机的视场之外的部分，并且所述反射中的元素在所述反射的所述第一部分中。
2.根据权利要求1所述的方法，其中，对所述前向相机的相机设置的调整与所述元素相对于所述前向相机的所述视场的移动结合，以当所述元素进入所述前向相机的所述视场时起作用。
3.根据权利要求1所述的方法，其中，所述被识别元素是物体，并且所述相机设置是所述前向相机的时移操作。
4.根据权利要求3所述的方法，其中，所述时移操作与所述元素相对于所述前向相机的所述视场的移动结合，以当所述物体在所述前向相机的所述视场中时利用所述前向相机拍摄多个图像。
5.根据权利要求1所述的方法，其中，所述被识别元素是物体或光源中的一个，并且识别所述特性包括辨别所述元素是物体还是光源。
6.根据权利要求1所述的方法，其中，所述被识别元素是物体，并且识别所述特性包括检测针对所述元素的物体类型，调整后的相机设置取决于检测所述物体类型。
7.根据权利要求1所述的方法，其中，所述被识别元素是物体，并且识别所述特性包括辨别所述物体是人还是另一种物体，所述调整后的相机设置取决于所述辨别。
8.根据权利要求1所述的方法，其中，所述被识别元素是光源，并且对所述相机设置的调整补偿所述光源。
9.根据权利要求1所述的方法，其中，所述元素的特性是相对于所述前向相机的所述视场的移动速度、所述元素被预测进入的所述前向相机的所述视场的部分、亮度、离所述前向相机的距离、或物体类型中的一个或更多个。
10.一种电子装置，所述电子装置包括：
前向相机，所述前向相机对准前方场景；
后向相机，所述后向相机对准与所述前方场景相反的后方场景；以及
控制电路，所述控制电路执行逻辑指令以：
分析包含所述前方场景在所述电子装置的用户的眼睛的角膜中的反射的视频流，所述视频流利用所述后向相机来捕捉，所述分析识别所述反射中的相对于所述前向相机的视场移动的、被预测进入所述前向相机的所述视场的元素，并且识别所述元素的特性；以及
根据被识别元素的特性调整所述前向相机的相机设置，选择调整后的相机设置以改进利用所述前向相机捕捉包含所述元素的照片或视频，
其中，至少所述前方场景的所述反射的第一部分对应于所述前方场景的在所述前向相机的视场之外的部分，并且所述反射中的元素在所述反射的所述第一部分中。
11.根据权利要求10所述的电子装置，其中，对所述前向相机的所述相机设置的调整与所述元素相对于所述前向相机的所述视场的移动结合，以当所述元素进入所述前向相机的所述视场时起作用。
12.根据权利要求10所述的电子装置，其中，所述被识别元素是物体，并且所述相机设置是所述前向相机的时移操作。
13.根据权利要求12所述的电子装置，其中，所述时移操作与所述元素相对于所述前向相机的所述视场的移动结合，以当所述物体在所述前向相机的所述视场中时利用所述前向相机拍摄多个图像。
14.根据权利要求10所述的电子装置，其中，所述被识别元素是物体或光源中的一个，并且识别所述特性包括辨别所述元素是物体还是光源。
15.根据权利要求10所述的电子装置，其中，所述被识别元素是物体，并且识别所述特性包括检测针对所述元素的物体类型，所述调整后的相机设置取决于检测所述物体类型。
16.根据权利要求10所述的电子装置，其中，所述被识别元素是物体，并且识别所述特性包括辨别所述物体是人还是另一种物体，所述调整后的相机设置取决于所述辨别。
17.根据权利要求10所述的电子装置，其中，所述被识别元素是光源，并且对所述相机设置的调整补偿所述光源。
18.根据权利要求10所述的电子装置，其中，所述元素的特性是相对于所述前向相机的所述视场的移动速度、所述元素被预测进入的所述前向相机的所述视场的部分、亮度、离所述前向相机的距离、或物体类型中的一个或更多个。
CN201480075366.3A 2014-02-13 2014-02-13 用于使用角膜反射调整相机设置的方法和系统 Expired - Fee Related CN106031147B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/058983 WO2015121707A1 (en) 2014-02-13 2014-02-13 Method and system for adjusting camera settings using corneal reflection

Publications (2)

Publication Number Publication Date
CN106031147A CN106031147A (zh) 2016-10-12
CN106031147B true CN106031147B (zh) 2019-04-09

Family

ID=50336367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480075366.3A Expired - Fee Related CN106031147B (zh) 2014-02-13 2014-02-13 用于使用角膜反射调整相机设置的方法和系统

Country Status (4)

Country Link
US (1) US10015391B2 (zh)
EP (1) EP3105916A1 (zh)
CN (1) CN106031147B (zh)
WO (1) WO2015121707A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) * 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
EP3799778A1 (en) 2019-10-03 2021-04-07 Nokia Technologies Oy Alerts based on corneal reflections
CN110995992B (zh) * 2019-12-04 2021-04-06 深圳传音控股股份有限公司 补光装置、补光装置的控制方法及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523896A (zh) * 2006-10-02 2009-09-02 索尼爱立信移动通讯有限公司 图像中的对焦区域
EP2309307A1 (en) * 2009-10-08 2011-04-13 Tobii Technology AB Eye tracking using a GPU
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012049651A (ja) * 2010-08-24 2012-03-08 Ricoh Co Ltd 撮像装置及び撮像方法
DE102011006570A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren und Steuergerät zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs
KR101965136B1 (ko) * 2012-05-24 2019-04-03 난트 홀딩스 아이피, 엘엘씨 이벤트 아카이빙 시스템 및 방법
EP2879109B1 (en) * 2012-07-27 2022-02-09 Clarion Co., Ltd. Vehicle-mounted surrounding environment recognition device
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9685001B2 (en) * 2013-03-15 2017-06-20 Blackberry Limited System and method for indicating a presence of supplemental information in augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523896A (zh) * 2006-10-02 2009-09-02 索尼爱立信移动通讯有限公司 图像中的对焦区域
EP2309307A1 (en) * 2009-10-08 2011-04-13 Tobii Technology AB Eye tracking using a GPU
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Estimating Focused Object using Corneal Surface Image for Eye-based Interaction》;Kentaro Takemura ET AL;《URL：http://2013.petmei.org/wp-content/uploads/2013/09/petmei2013_session3_3》;20130925;第1页第1栏-第2栏第2行，第3页第2栏倒数第2行-第4页第1栏第4行
Eyes for Relighting;NISHINO K ET AL;《ACM TRANSACTIONS ON GRAPHICS(TOG)》;20040831;第23卷(第3期);第一页

Also Published As

Publication number Publication date
US20160014332A1 (en) 2016-01-14
WO2015121707A1 (en) 2015-08-20
US10015391B2 (en) 2018-07-03
CN106031147A (zh) 2016-10-12
EP3105916A1 (en) 2016-12-21

Similar Documents

Publication Publication Date Title
CN106031147B (zh) 用于使用角膜反射调整相机设置的方法和系统
KR102385841B1 (ko) 촬영 이동 단말
CN106226976B (zh) 一种双摄像头拍摄方法、系统及终端
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
KR102207633B1 (ko) 촬영 장치 및 그 제어 방법
JP2012529831A (ja) フラッシュを用いた写真撮影のためのカメラシステムおよび方法
EP3162047A1 (en) Flash collision detection, compensation, and prevention
US11032483B2 (en) Imaging apparatus, imaging method, and program
CN113810590A (zh) 图像处理方法、电子设备、介质和系统
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6810299B2 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP2024023712A (ja) 撮像装置、撮像方法、撮像プログラム、及び記録媒体
CN110177207B (zh) 逆光图像的拍摄方法、移动终端及计算机可读存储介质
CN116471480A (zh) 对焦方法及装置、电子设备、存储介质
CN107820025B (zh) 进行拍照处理的方法和装置
CN110300268A (zh) 摄像头切换方法及设备
JP2024036370A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
WO2016074414A1 (zh) 一种图像的处理方法和装置
JP7339939B2 (ja) 撮影プレビュー画像を表示する方法、装置及び記憶媒体
CN107707819B (zh) 图像拍摄方法、装置及存储介质
WO2016003623A1 (en) Flash collision detection, compensation, and prevention
CN116055855B (zh) 图像处理方法及其相关设备
RU2785789C1 (ru) Фотографирование с использованием обработки режима ночной съемки и пользовательский интерфейс
JP7321187B2 (ja) 画像処理方法及び装置、カメラアセンブリ、電子機器、記憶媒体
CN111225158B (zh) 图像生成方法及装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190409

Termination date: 20210213

CF01 Termination of patent right due to non-payment of annual fee