CN112492170A - 基于视场的遮挡的相机选择 - Google Patents

基于视场的遮挡的相机选择 Download PDF

Info

Publication number
CN112492170A
CN112492170A CN202011402564.XA CN202011402564A CN112492170A CN 112492170 A CN112492170 A CN 112492170A CN 202011402564 A CN202011402564 A CN 202011402564A CN 112492170 A CN112492170 A CN 112492170A
Authority
CN
China
Prior art keywords
image capture
capture systems
image data
image
data generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011402564.XA
Other languages
English (en)
Other versions
CN112492170B (zh
Inventor
R.盖斯
R.卢科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112492170A publication Critical patent/CN112492170A/zh
Application granted granted Critical
Publication of CN112492170B publication Critical patent/CN112492170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)

Abstract

一种示例方法，涉及：(a)接收由多个图像捕获系统中的每一个生成的图像数据，其中所述多个图像捕获系统全部排列在给定设备上并且全部面向基本上相同的方向，(b)由计算系统分析由图像捕获系统中的一个或多个生成的图像数据以从具有基本上未被非故意的元素遮挡的图像捕获系统中的至少一个选择图像数据，以及(c)存储选择的图像数据。

Description

基于视场的遮挡的相机选择
本申请是申请日为2014年12月04日、申请号为201480066267.9、发明名称为“基于视场的遮挡的相机选择”的PCT发明专利申请的分案申请。
技术领域
本申请涉及选择图像数据的方法、装置以及计算机可读介质。
背景技术
通常，成像可以指的是捕获并且以数字格式和/或胶片格式(例如，在照片和/或动态视频中)表示真实世界环境的颜色和亮度特征。存在很多种类的图像捕获设备，从而向消费者提供很多方式来捕获图像数据。
随着诸如相机的图像捕获设备变得更普及，这种设备可以被采用作为独立的硬件设备或被合并到多种其他类型的设备中。例如，静止和视频相机现在经常包括在无线通信设备(例如，移动电话)、平板计算机、膝上型计算机、视频游戏接口、家庭自动化设备以及甚至汽车及其他类型的车辆中。
发明内容
示例实施例可以采取设备的形式，由设备实现，或与设备有关，该设备诸如包括面向相同方向并且相隔一定距离的两个或更多相机系统的移动电话。在示例实施例中，设备可以从多个相机获取场景的图像数据，并且评估场景的不同图像以检测相机的镜头的遮挡在何时已经发生。通过这样做，设备可以避免捕获、使用和/或存储这样的图像：例如，用户已经无意中用他们的手指覆盖了相机的镜头或阻挡了镜头的场景视场，并且因此部分地或完全地遮挡他们想要捕获的场景。更一般地，可以实现示例方法以避免由除了用户的手指之外的物体遮挡想要的对象。例如，示例实施例可以有助于聪明地避免由接近或在设备的相机中的一个的镜头上的对象造成的遮挡，诸如相机的镜头上的灰尘或指纹。示例实施例还可以被实现为避免由阻挡镜头和想要的对象之间的视线的、其他类型的非故意的元素造成的遮挡。
在一个方面，示例方法涉及一种计算系统:(a)接收由多个图像捕获系统中的每一个生成的图像数据，其中所述多个图像捕获系统全部排列在给定设备上并且全部面向基本上相同的方向，(b)分析由一个或多个图像捕获系统生成的图像以从具有基本上未由非故意的元素遮挡的视场的图像捕获系统中的至少一个中选择图像数据，以及(c)存储被选择的图像数据。
在另一方面，一种装置包括多个图像捕获系统，其中所述图像捕获系统的镜头全部排列在装置的第一表面上并且面向基本上相同的方向。所述装置进一步包括控制系统，被配置为:(a)接收由所述多个图像捕获系统中的两个或更多中的每一个生成的图像数据，(b)分析由图像捕获系统中的一个或多个生成的图像数据以从具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个中选择图像数据，以及(c)存储被选择的图像数据。
在还一方面，非临时的计算机可读介质具有存储在其中的可由计算设备运行以致使计算设备执行如下功能的指令，包括:(a)接收由多个图像捕获系统中的每一个生成的图像数据，其中所述多个图像捕获系统全部排列在给定设备上并且全部面向基本上相同的方向，(b)分析由图像捕获系统中的一个或多个生成的图像数据以从具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个中选择图像数据，以及(c)存储被选择的图像数据。
在还一方面，一种系统包括，(a)用于接收由多个图像捕获系统中的每一个生成的图像数据的装置，其中所述多个图像捕获系统全部排列在给定设备上并且全部面向基本上相同的方向，(b)用于分析由图像捕获系统中的一个或多个生成的图像数据以从具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个中选择图像数据的装置，以及(c)用于存储被选择的图像数据的装置。
这些以及其他方面、优点和替换将通过阅读以下参考附图的详细描述中对本领域普通技术人员变得清楚。此外，应当理解，在发明内容部分以及在这文档的其它地方提供的描述意图是以举例方式示出要求的主题而非以限制的方式。
附图说明
图1A描绘根据示例实施例的数字相机设备的前视图、右视图和后视图。
图1B示出根据示例实施例的、具有面向相同方向的四个相机的排列的数字相机设备。
图1C示出根据示例实施例的、具有面向相同方向的四个相机的排列的另一数字相机设备。
图1D示出根据示例实施例的、具有面向相同方向的六个相机的排列的数字相机设备。
图1E示出根据示例实施例的、具有多个相机排列的另一数字相机设备。
图2是示出可以包括相机部件的示例计算设备的一些部件的简化框图。
图3是示出根据示例实施例的方法的流程图。
图4是示出根据示例实施例的另一方法的流程图。
具体实施方式
本文描述方法和系统的示例。应当理解，词“示例性”、“示例”和“例示”在本文中用于意味着“用作示例、实例或例示”。本文描述为“示例性”、“示例”或“例示”的任何实施例或特征不一定被理解为比其他实施例或特征更优的或有利。此外，本文描述的示例性实施例不意味着限制。将容易理解地是，公开的系统和方法的特定方面可以以各式各样的不同配置被排列和组合，其所有都在本文中被预期。
I.概述
出于多个服务目的的许多计算设备，诸如智能电话和平板计算机，现在包括相机。当相机被包括在不是仅仅专门用于成像的设备(诸如智能电话) 中时，设备供相机之用的人机工程学可能少于所期望的。
例如，考虑到专用的傻瓜相机(point-and-shoot)和DSLR相机的壳体经常被成形为使得携带者可以在舒适的位置容易地握住相机以用于捕获静止图像和/或视频。此外，这种相机的壳体一般被成形为使得当用户以舒适的方式握住相机时，用户的手将自然地在相机的镜头的视场之外。相反，诸如许多智能电话之类的某些设备的又薄又平的形状可能无法提供如专门设计的成像设备那样的人机工程学的好处。此外，因为典型的智能电话可能难以在合适的位置被握住供作为相机之用，用户可能无意中用他们的手指阻挡镜头和/或当试图拍照或拍视频的时候掉落设备。
示例方法可以通过包括面向相同方向并且通过相隔一定距离的两个或更多相机系统的设备来实现。当用户(例如，通过按下快门按钮)拍照时，控制系统可以评估通过设备的相机系统中的每一个捕获的用户的环境的视角以确定想要的图像的对象是否被部分地或全部遮挡。设备然后可以利用具有未被遮挡的想要的对象的视图的相机(或可能地，多个相机)来捕获图像。
可替换地，设备可以利用多个相机捕获场景的图像，然后仅保存基本上不受遮挡(或至少具有比其他(多个)图像更少的遮挡)的图像(或可能地，多个图像)。在此情况下，在其中检测到遮挡的任何图像可以被丢弃。
设备可以使用多种技术来检测遮挡，并且在这种情况下，可以使用各种类型的遮挡指示符。例如，设备可以比较由不同相机捕获的场景的图像的清晰度(sharpness)。更具体地，当图像捕获近场遮挡物，诸如手指或镜头上的灰尘时，近场遮挡物一般将失焦。因而，场景的未被遮挡图像将一般总体上比由近场遮挡物模糊的场景的图像更清晰。因此，如果设备检测到在相同场景的不同相机的图像之间存在清晰度方面的显著差异，则设备可以保存或使用最清晰的一个图像或多个图像。
注意在本文中，“相机系统”或“图像捕获系统”可以指的是图像捕获设备或相机、相机之内的系统、通信地耦接到相机的单独的系统、或相机与一个或多个其他系统的组合。此外，为简单起见，本文描述的示例可以被归于特定功能和/或特征化为“相机”或“相机设备”。应当理解，多数情况下，属于相机或相机设备的功能和/或特征可以同样也归于相机系统，即使当这未被明确地陈述时。
II.示例性系统
图像捕获设备的物理部件可以包括光通过其进入的光圈，用于捕获由光表示的图像的记录面，以及位于光圈前面以将图像的至少一部分对焦在记录面上的镜头。光圈可以是固定尺寸或可调整的。在模拟相机中，记录面可以是感光胶片。在数字相机中，记录面可以包括用于将捕获的图像传送和/或存储在数据储存单元(例如存储器)中的电子图像传感器(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)。
快门可以耦接到镜头或记录面，或者靠近镜头或记录面。快门可以处于关闭位置，在该位置它阻挡光到达记录面，或者处于开启位置，在该位置光被允许到达记录面。快门的位置可以由快门按钮控制。例如，快门可以默认处于关闭位置。当快门按钮被触发(例如，按下)时，快门可以在一时间段期间从关闭位置改变为开启位置，被称为快门周期。在快门周期期间，图像可以被捕获在记录面上。在快门周期结束时，快门可以变回到关闭位置。
可替换地，快门过程可以是电子的。例如，在CCD图像传感器的电子快门被“开启”时，传感器可以被重置为除去它的光电二极管中的任何残留信号。当电子快门保持开启时，光电二极管可以累积电荷。当快门关闭时或在快门关闭之后，这些电荷可以被传送到长期数据存储器。机械和电子快门的组合也是可能的。
与类型无关，快门可以被除了快门按钮之外的某物激活和/或控制。例如，快门可以通过软键、定时器、或其它的触发器来激活。本文中，术语“图像捕获”可以指的是导致一个或多个照片被记录的任何机械和/或电子快门过程，而与快门过程如何被触发或控制无关。
A.具有多个图像捕获系统的设备
如先前指出地，数字相机可以是独立的设备或与其他设备结合。作为一个例子，图1A示出数字相机设备100的形成因素。例如，数字相机设备100 可以是移动电话、平板计算机或可穿戴计算设备。然而，其他实施例是可能的。数字相机设备100可以包括多种元件，诸如壳体102、前置相机104、多元件显示器106、快门按钮108、及其他按钮110。前置相机104可以位于在操作的时候一般面对用户的壳体102的一侧上，或在与多元件显示器106 相同侧上。
数字相机设备100还可以包括两个后置相机112A和112B。后置相机 112A和112B可以位于与前置相机104相对的壳体102的一侧。注意地是，将相机称作前置或后置是任意的，并且数字相机设备100可以包括位于壳体 102的各侧上的多个相机。此外，后置相机112A和112B的镜头被排列在数字相机设备100的背面上的上部角处，并且面向基本上相同的方向。(注意地是，在本文中，将相机称作面向相同方向将被理解为相机的镜头指向基本上相同的方向。)
应当理解，其他多种相机排列是可能的。特别地，全部面向基本上相同的方向的两个或更多相机的镜头可以在电话的表面上以不同的形式被排列。例如，在本文中根据图1B到图1E描述了若干其他多种相机排列。
特别地，图1B示出的移动设备120具有面向相同方向的四个相机122A 到122D的排列，包括处于移动设备的上部角的两个相机122A和122B(类似于图1A)，以及位于移动设备120的下部角的两个附加相机122C和122D。此外，图1C示出具有面向相同方向的四个相机的另一排列。特别地，图1C 中的排列包括处于设备140的每个角处的一个相机144A到144D。
更进一步，图1D示出具有面对相同方向的六个相机166A到166F的排列。在图1D中，六个相机166A到166F以无结构化、“有组织的(organic)”的排列位于移动设备160的背面。注意地是，具有三个或更多相机的排列可以在不同对的相机之间提供多个基线。例如，诸如图1D中示出的六个相机排列可以提供多达15个不同的基线，例如，用于立体成像。一般地说，朝向基本上相同方向的n个相机的排列可以提供多达C(n，k)条基线。
在另一变化中，图1E示出具有面对相同方向的九个相机182A到182I 的排列。在图1E中，九个相机182A到182I沿着两个轴184X和184Y位于移动设备180的背面。因此，可以从相机182A到182I中选择不同对的相机以沿两个轴184X和184Y提供多个不同基线，以及多个不同离轴基线。
预期地是，其他多种相机排列可以包括比图1A到图1E中示出的更多或很少的相机。此外，在多种相机排列中的镜头可以相对于镜头排列在其上的表面而面向不同角度。还进一步，应当理解，多种相机排列可以实现在数字相机设备的其他侧。对附图中示出的多种相机排列方面的其他变化也是可能的。
多元件显示器106可以表示阴极射线管(CRT)显示器、发光二极管 (LED)显示器、液晶(LCD)显示器、等离子显示器、或本领域公知的任何其他类型的显示器。在一些实施例中，多元件显示器106可以显示由前置相机104和/或后置相机112A和112B中的一个或两个捕获的当前图像、或者可以显示由这些相机中的任何一个或任意组合捕获或最近捕获的图像的数字表示。因此，多元件显示器106可以用作任一相机的取景器。多元件显示器106还可以支持触摸屏和/或能够调整数字相机设备100的任何方面的设置和/或配置的呈现敏感(presence-sensitive)功能。
前置相机104可以包括图像传感器以及关联的诸如镜头的光学元件。前置相机104可以提供变焦能力或可以具有固定焦距。在其他实施例中，可互换镜头可以被用于前置相机104。前置相机104可以具有可变的机械光圈以及机械和/或电子快门。前置相机104还可以被配置为捕获静止图像、视频图像或两者。此外，前置相机104可以表示单视点、立体或多视点相机。后置相机112A和112B可以类似地或不同地排列。此外，前置相机104，每个后置相机112A和112B，或这些相机的任何组合可以事实上是一个或多个相机的阵列(或将光引导到公共图像传感器上的镜头的阵列)。
前置相机104以及后置相机112A和112B的任何一个或任何组合可以包括提供光场以照射目标对象的照明元件或与该照明元件相关联。例如，照明元件可以提供闪光或目标对象的恒定亮度。照明元件还可以被配置为提供包括结构光、偏振光和具有特定光谱含量的光中的一个或多个的光场。已知并用于从物体恢复三维(3D)模型的其他类型的光场在本文的实施例的上下文之内是可能的。
前置相机104以及后置相机112A和112B中的任何一个或任何组合包括环境光传感器或与环境光传感器相关联，该环境光传感器可以包括连续地或不时地确定相机可以捕获的场景的环境亮度。在一些设备中，环境光传感器可用于调整与相机相关联的屏幕(例如，取景器)的显示亮度。当确定的环境亮度较高时，屏幕的亮度级可以被增加以使屏幕便于观看。当确定的环境亮度较低的时，屏幕的亮度级可以被降低，也使屏幕便于观看以及潜在地节省电力。此外，环境光传感器的输入可以被用于确定关联的相机的曝光设置，或在此确定中有所帮助。
数字相机设备100可以被配置为使用多元件显示器106以及或者前置相机104、或者后置相机112A和112B中的一个或两个来捕获目标对象的图像。捕获的图像可以是多个静止图像或视频流。图像捕获可以通过激活快门按钮 108、按下多元件显示器106上的软键、或通过其它的机制被触发。取决于实现，图像可以以特定时间间隔被自动地捕获，例如，当按下快门按钮108 时，当目标对象的照明条件合适时，当数字相机设备100移动了预定距离时，或根据预定捕获计划。
B.说明性设备部件
如上所述，数字相机设备100(或另一类型的数字相机)的功能可以合并到计算设备中或采取计算设备的形式，诸如移动电话、平板计算机、膝上型计算机等等。为了示例，图2是示出可以包括相机部件224的示例计算设备200的一些部件的简化框图。相机部件224可以包括多个相机，诸如相机 112A和相机112B。
举例来说而没有限制，计算设备200可以是蜂窝移动电话(例如，智能电话)、静止图像相机、摄像机、传真机、计算机(诸如桌上型电脑、笔记本、平板电脑或便携计算机)、个人数字助理(PDA)、家庭自动化部件、数字视频录像机(DVR)、数字电视、遥控器、可穿戴计算设备、或配备有至少一些图像捕获和/或图像处理能力的其它类型的设备。应当理解，计算设备 200可以表示诸如数字相机的物理相机设备、相机应用以软件的形式在其上操作的特定物理硬件平台、或被配置为实现相机功能的硬件和软件的其他组合。
如图2中所示，计算设备200可以包括通信接口202、用户接口204、处理器206、数据储存器208、以及相机部件224，所有这些可以通过系统总线、网络或其他连接机制210通信地链接在一起。
通信接口202可以作用为使用模拟或数字调制允许计算设备200与其他设备、接入网络和/或转送网络通信。因此，通信接口202可以便利电路交换和/或分组交换通信，诸如普通老式电话业务(POTS)通信和/或因特网协议 (IP)或其他分组通信。例如，通信接口202可以包括被排列用于与无线接入网络或接入点进行无线通信的芯片组和天线。此外，通信接口202可以采取有线线路接口的形式，或包括有线线路接口，诸如以太网、通用串行总线(USB)、或高清晰度多媒体接口(HDMI)端口。通信接口202还可以采取无线接口的形式，或包括无线接口，诸如Wifi、
Figure BDA0002812933020000081
全球定位系统(GPS)、或广域无线接口(例如，WiMAX或3GPP长期演进(LTE))。然而，其他形式的物理层接口及其他类型的标准或专用的通信协议可以在通信接口202 上使用。此外，通信接口202可以包括多个物理通信接口(例如，Wifi接口、
Figure BDA0002812933020000082
接口和宽域无线接口)。
用户接口204可以起作用以允许计算设备200与人类或非人类用户交互，诸如从用户接收输入以及向用户提供输出。因此，用户接口204可以包括输入部件，诸如键区、键盘、触摸敏感或呈现敏感面板、计算机鼠标、跟踪球、控制杆、麦克风、等等。用户接口204还可以包括一个或多个输出部件，诸如显示屏幕，例如，其可以与呈现敏感面板组合。显示屏幕可以基于 CRT、LCD和/或LED技术，或者现在已知或稍后开发的其他技术。用户接口204还可以被配置为经由扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机、和/或其他类似设备生成(多个)听觉输出。
在一些实施例中，用户接口204可以包括显示器，其用作用于由计算设备200支持的静止相机和/或摄像机功能的取景器。此外，用户接口204可以包括便利相机功能的配置和对焦以及图像的捕获(例如，捕获照片)的一个或多个按钮、开关、旋钮和/或拨号盘。可能地是，这些按钮、开关、旋钮和 /或拨号盘中的一些或全部被实现为呈现敏感面板上的功能。
处理器206可以包括一个或多个通用处理器(例如，微处理器)和/或一个或多个专用处理器(例如，数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器、或专用集成电路(ASIC))。在有些情况下，连同其它可能一道，专用处理器可以能够进行图像处理、图像对齐、以及合并图像。数据储存器208可以包括一个或多个易失性和/或非易失性存储部件，诸如磁性存储器、光学存储器、闪存、或有机存储器，并且可以被完全或部分地与处理器206合并。数据储存器208可以包括可移除和/或不可拆卸的部件。
处理器206可以能够运行存储在数据储存器208中的程序指令218(例如，被编译或非编译的程序逻辑和/或机器代码)以实现本文描述的多个功能。因此，数据储存器208可以包括具有在其上存储的程序指令的非临时的计算机可读介质，当由计算设备200运行该程序指令时致使计算设备200实现在此说明书和/或附图中公开的方法、过程或功能中的任何一个。由处理器206 运行程序指令218可以导致处理器206使用数据212。
举例来说，程序指令218可以包括安装在计算设备200上的操作系统222 (例如，操作系统核心、(多个)设备驱动器和/或其他模块)以及一个或多个应用程序220(例如，相机功能、地址薄、电子邮件、网络浏览器、社交网络和/或游戏应用)。类似地，数据212可以包括操作系统数据216和应用数据214。操作系统数据216可以主要对于操作系统222可访问，并且应用数据214可以主要对于应用程序220中的一个或多个可访问。应用数据214 可以安排在计算设备200的用户可见或对其隐藏的文件系统中。
应用程序220可以通过一个或多个应用编程接口(API)与操作系统222 通信。例如，这些API可以便利应用程序220读取和/或写入应用数据214、经由通信接口202发送或接收信息、接收和/或在用户接口204上显示信息，等等。
在一些术语中，应用程序220可以被简称为“app”。此外，应用程序220 可以通过一个或多个在线应用商店或应用市场下载到计算设备200。然而，应用程序还可以以其它方式安装在计算设备200上，诸如经由网络浏览器或通过计算设备200上的物理接口(例如，USB端口)。
相机部件224可以包括，但是不局限于，光圈、快门、记录面(例如，感光胶片和/或图像传感器)、镜头和/或快门按钮。相机部件224可以至少部分地通过处理器206运行的软件来控制。此外，相机部件224可以包括多个相机系统，其每个包括光圈、快门、记录面、镜头、图像传感器、处理器和 /或快门按钮。
当多个相机系统被包括时，可以存在一些在系统之间共享的部件，及其它不共享的部件。例如，每个相机可以包括它自己的光圈、镜头和图像传感器，同时共享诸如处理器和快门按钮的其他部件。作为另一示例，每个相机可以包括它自己的镜头，但是共享相同的图像传感器。可替换地，每个相机系统的部件可以仅被用于该相机系统，而不是与其他相机系统共享。
C.数字图像
静止相机可以在每次图像捕获被触发时捕获一个或多个图像。只要图像捕获保持被触发(例如，当快门按钮被保持向下时)，摄像机可以以特定速率(例如，24幅图像(或帧)每秒)连续地捕获图像。一些数字静止相机可以在相机设备或应用被激活时开启快门，并且快门可以保持在此位置直到相机设备或应用被停用。当快门开启时，相机设备或应用可以捕获并且在取景器上显示场景的表示。当图像捕获被触发时，可以捕获当前场景的一个或多个不同的数字图像。
捕获的数字图像可以被表示为像素的一维、二维或多维的阵列。每个像素可以通过可以编码各自的像素的颜色和/或亮度的一个或多个值表示。例如，一个可能的编码使用YCbCr颜色模型(其也可以被称为YUV颜色模型)。在此颜色模型中，Y颜色信道可以表示像素的亮度，并且Cb(U)和Cr(V) 颜色信道可以分别表示像素的蓝色色度和红色色度。例如，这些颜色信道中的每一个可以取0到255中的值(即，单个8比特字节可以提供的色调范围)。因此，如果像素是黑色或接近黑色，则像素的亮度可以通过0或接近零的值表示，以及如果像素是白色或接近白色则像素的亮度可以通过255或接近 255的值表示。然而，值255是非限制的参考点，并且一些实现可以使用不同数目的比特(例如，10、12等等)以用于像素值表示。
尽管如此，YCbCr颜色模型仅仅是一个可能的颜色模型，诸如红绿蓝(RGB)颜色模型或青-洋红-黄-黑(CMYK)的其他颜色模型可以与本文的实施例一起使用。此外，图像中的像素可以表示为多种文件格式，包括原始 (未压缩)格式，或诸如联合图像专家组(JPEG)、便携式网络图像格式 (PNG)、图形交换格式(GIF)等等的压缩格式。
D.自动对焦
通常，自动对焦(AF)系统可以包括一些种类的传感器、自动地确定焦点设置的控制系统、以及根据焦点设置调整相机的机械构件(例如，镜头) 的致动器。由传感器提供的数据可以被用于评估环境被图像传感器记录或将被图像传感器记录的方式，并且响应地控制可以改变相机的焦点的电-机系统(例如，通过使用致动器来移动镜头的部件和/或改变光圈的大小)。各种类型的自动对焦技术可以由诸如数字相机设备100的图像捕获设备利用。
许多消费者相机包括被动自动对焦系统，其通过被动地分析进入光学系统的图像来将镜头对焦在对象上(例如，它们不将受控的光束引导在对象上以便对焦)。典型的被动自动对焦技术包括“相位检测”自动对焦(PD-AF) 以及“对比检测”自动对焦(CD-AF)，其也可以被称为“对比度测量”自动对焦。
被动自动对焦过程一般涉及计算系统(例如，处理器)操作机械镜头系统来调整镜头的(多个)焦距设置(例如，改变镜头的对焦元件与传感器之间的距离)，然后分析来自自动对焦传感器的结果图像是否在焦点上。如果结果图像不令人满意地清晰，则计算系统再次调整焦距设置并且评估结果图像中的特征。在一些实现中，对焦距设置的每个调整可以基于图像焦点未对准的程度(或图像的特定部分焦点未对准的程度)的一些测量来确定。在其他实现中，调整可以被预先确定。但不论是哪种情况，可以重复此过程直到结果图像被认为是令人满意的清晰。
如上所述，诸如DSLR的一些相机可以包括专用的自动对焦系统，其可以包括专用于自动对焦的一个或多个传感器。为了自动对焦的目的，这种相机一般不使用被用于捕获图像的图像传感器。此外，这种相机一般包括 PD-AF系统，其中通过镜头接收到的光被拆分成一对图像。该对中的两个图像然后可以被引导到自动对焦传感器上并且被分析以确定镜头是否在焦点上。镜头的焦点位置然后可以被调整直到检测到适当的焦点。
一个通用系统PD-AF系统是通过镜头(through-the-lens)、二次图像配准(second-image-registration)、相位检测(SIR PD-AF)系统。SIR PD-AF 系统利用光束分离器将进入光引导朝向自动对焦传感器。更具体地，位于镜头的相对侧的微透镜可以将来自镜头的相对侧的光引导朝向自动对焦传感器，其有效地创建测距器，其中两个图像被投射在自动对焦传感器上。通过两个微透镜形成的图像然后被比较以确定分离误差，该分离误差被评估以确定镜头是否被准确地对焦。如果分离误差指示对象是焦点未对准的(例如，如果分离误差不是零或距离零一定阈值之内)，则可以基于分离误差计算对于焦距设置的调整，并且镜头可以根据调整的设置被移动(例如，通过移动镜头组或镜头元件接近或远离传感器)。
当在设备的设计中部件的大小和/或成本很重要时，设备可以利用不包括单独的自动对焦系统的相机系统。许多移动电话和/或平板计算机的情况也是如此，该移动电话和/或平板计算机经常包括对于自动对焦和图像捕获两者都使用相同的图像传感器的相机系统。多数情况下，在诸如移动电话和平板电脑的便携式设备中的相机为了对焦的目的使用CD-AF。
虽然CD-AF系统可以使用专用于自动对焦的单独的传感器，但是大部分CD-AF系统对于图像捕获和自动对焦两者使用相同的图像传感器。CD-AF 系统通过测量在传感器上检测到的图像中的对比度来确定对象是否是焦点对准的。为此，CD-AF系统可以在图像中的多个点处评估对比度方面的改变，其中高对比度被解释为更清晰图像的指示。
更具体地，相较于当图像对象是焦点未对准时，传感器的相邻像素之间的强度方面的差异在相邻像素中捕获的对象在焦点对准时通常更大。此外， CD-AF系统可以在特定像素处测量对比度，或确定特定组的像素上的平均值。两种情况下，CD-AF系统都可以然后调整焦距设置直到阈值对比度被检测到(并且可能地直到最大对比度被检测到)。例如，说明性的CD-AF系统可以使图像数据穿过高通滤波器，并且调整镜头的焦点直到来自滤波器的输出超过阈值(并且可能地直到滤波器的输出在其最高级别处)。
此外，对于场景的焦距设置可以被定义为或指示镜头的对焦元件与得到适当焦点的传感器(例如，焦点位置)之间的距离。此外，焦点位置一般与到聚焦的场景的对象或区域的距离成比例(或至少是其函数)。注意本文中，镜头与特定对象或物体之间的距离可以在本文被称作“物距”。因而，在设备上的计算系统可以基于焦点位置确定物距。
在说明性的实施例中，诸如图1A到图1E中示出的那些的多相机设备可以使用自动对焦过程来帮助检测其相机中的一个何时被诸如手指或脏镜头之类的近场遮挡物遮挡。特别地，并且如将在下面更详细描述的，当在相同设备上的第二相机能够适当地聚焦于相同场景时，第一相机不能适当地聚焦于场景或者适当地聚焦于场景的能力下降可以指示第一相机的镜头被遮挡。
III.说明性的方法
图3是示出根据示例实施例的方法300的流程图。方法300可以通过包括面向相同方向的两个或更多相机的设备实现，其中每个相机与其他相机相隔一定距离，诸如图1A到图1E中示出的设备。这种设备可以实现方法300 以便动态地选择和使用来自至少一个相机的图像数据，所述至少一个相机提供未被非故意的元素遮挡或模糊的场景的视场(或至少由比设备的其他一个或多个相机更少被遮挡的相机捕获)。
特别地，如通过块302所示，方法300涉及计算设备接收由面向基本上相同方向的多个图像捕获系统中的每一个生成的图像数据。计算设备然后可以分析由一个或多个图像捕获系统生成的图像数据以从具有基本上未被非故意的物体遮挡的视场的图像捕获系统中的至少一个选择图像数据，如块 304所示。计算设备然后可以存储被选择的图像数据，如块306所示。
注意地是，如果同时在两个或更多图像捕获设备中检测到没有遮挡，则计算设备可以随机地或基于一些其他标准从两个图像捕获系统中的一个中选择图像数据。或者，如果计算设备确定多个图像未被遮挡，则计算设备可以存储和/或使用(例如，通过组合)由多个未被遮挡的图像捕获系统捕获的场景的多个图像。
此外，注意到当两个图像捕获系统的镜头的视场指向基本上相同方向时，该两个图像捕获系统将被认为面向基本上相同方向，以使得两个图像捕获系统可以捕获基本上相同场景的图像而不必须较大地旋转或重新定位设备。因而，当除了镜头之外的部件，诸如传感器、电机等等未面向相同方向时，两个图像捕获系统将被认为面向基本上相同的方向。
A.从具有基本上未被遮挡的视场的图像捕获系统中选择图像数据
此外，在块304中，计算设备可以使用多种技术来选择图像捕获系统。在一些实施例中，在块304中，计算设备可以分析和比较来自多个图像捕获系统的图像数据以便选择特定的图像捕获系统。例如，计算设备可以分析由两个或更多图像捕获系统中的每一个生成的图像数据，并且确定对于来自每个设备的图像数据的个体的遮挡指示。计算设备然后可以至少部分地基于确定的对于图像捕获系统的遮挡指示的比较从图像捕获系统中的一个选择图像数据。
可以在示例方法中利用各种类型遮挡指示。现在将更详细地描述遮挡指示的一些示例。
i.清晰度作为近场遮挡的指示
在一些实施例中，计算设备可以使用图像清晰度作为来自特定相机的图像数据是否被靠近镜头的物体遮挡的指示。图像的清晰度可以指示各种类型的遮挡，诸如脏镜头或镜头基本上被靠近镜头定位的用户的手指或另一物体覆盖。
在这种实施例中，计算设备可以确定对于由两个或更多图像捕获系统中的每一个捕获的图像数据的单独的清晰度测量。计算设备然后可以比较分别确定的清晰度测量，并且基于比较，选择由两个或更多图像捕获系统中的一个捕获的图像数据。例如，如果由至少一个其他图像捕获系统捕获的场景的图像基本上比由给定图像捕获系统捕获的相同场景的图像更清晰，则计算设备可以确定给定图像捕获系统的镜头被遮挡。注意地是，遮挡可以基于在由相同设备上的不同相机捕获的图像的总清晰度方面的相当大的差异被检测到，或者可以基于在图像帧的特定区域中的清晰度方面的相当大的差异被检测到(例如，指示镜头的部分遮挡)。
在一些实施例中，为了比较清晰度，计算设备可以比较由不同相机捕获的场景的图像的空间频率内容。例如，计算设备可以确定每个图像的各自的频域表示(例如，通过确定每个图像的傅里叶变换)。计算设备然后可以比较相应于两个或更多图像捕获系统的各自的频域表示，以确定由设备上的图像捕获系统中的一个捕获的图像的频域表示是否指示基本上比来自设备上的一个或多个其他图像捕获系统中的一个或多个图像更少量的高频和/或中频。如果来自图像捕获系统中的给定一个的图像数据的频域表示指示基本上更少量的高频和/或中频，则此图像相机系统的镜头可以被认为具有近场遮挡。并且，当图像相机中的一个或多个被确定为具有这种近场遮挡时，可以选择来自其他图像捕获系统中的一个的图像数据。
否则，如果在频域表示中的高频的量在由全部图像捕获系统捕获的图像之间基本上相同，则这可以指示图像捕获系统当中没有一个具有被遮挡的镜头。在此情况下，计算设备可以随机地选择来自设备上的两个或更多图像捕获系统中的一个的图像数据，或基于其他标准选择来自图像捕获系统中的一个的图像数据。在任一情况下，被选择的图像数据都可以被存储或使用，诸如通过将图像数据与其他选择的图像数据组合以生成立体图像。
注意地是，实际上，当镜头干净并且未被靠近镜头或镜头上的物体遮挡时，由镜头捕获的图像将一般具有大量的高频内容。更具体地，脏镜头一般导致捕获图像中的模糊，其降低这种图像的频域表示中的高频的量。此外，作为比镜头的最小聚焦距离更接近镜头的结果，诸如用户的手指的近场遮挡物一般是焦点未对准的。这种焦点未对准的图像的频域表示也具有更少量的高频内容(至少在遮挡物存在于其中的图像帧的范围内)。此外，近场遮挡物经常与剩余的场景光亮完全不同；要么暗得多，诸如当手指靠在镜头上时，或者亮得多，诸如当接近镜头的手指被闪光灯照亮并且阻止来自闪光灯的相当大部分的光照射剩余的场景时。这种亮区域或暗区域一般导致饱和像素 (或者暗或者亮)，其随后导致这种图像的频域表示中的更少量的高频。因此，当图像利用脏镜头和/或利用被，例如，用户的手指头遮挡的镜头捕获时，通过识别图像捕获系统何时捕获具有相对更少量的高频内容的图像，计算设备可以能够避免使用图像，和/或避免以更永久的方式存储图像(诸如在用户的相簿中)。
注意地是，计算设备还可以通过搜索在由设备上的不同相机捕获的图像之间的低频率内容中的不匹配来检测近场遮挡物，诸如在镜头上的手指。特别地，当近场遮挡物存在于场景的一个图像中，但不在相同场景的另一图像中时，具有近场遮挡物的图像将与没有近场遮挡物的图像具有基本上不同的内容。结果，当在较低的空间频率中在图像之间存在显著的(例如，大于阈值)不匹配时可以检测近场遮挡物。
此外，注意地是，虽然以上清晰度的比较被描述为在频域中实行时，但是这种清晰度比较也可以在空域中执行。例如，可以通过向图像应用边缘检测处理(例如，基于对比度)来确定图像清晰度的空域测量，然后确定平均边缘的像素密度。在还一方面，边缘检测技术可以仅仅或额外在图像的一个或多个低分辨率版本上执行，以便测量较低的空间频率中的对比度。还进一步，在边缘检测的上下文中，可以在整个图像上或仅仅在图像的特定部分或多个部分之内测量对比度并且基于对比度检测边缘。
用于确定和/或比较清晰度的其他技术也是可能的。此外，存在在空域以及在频域中确定清晰度的本领域公知的许多技术。预期任一这种技术可以被利用。此外，注意到如果清晰度比较实现在空域中，则可以期望在评估清晰度之前将图像之一的内容与其他内容配准(register)。
ii.在对象方面的差异作为遮挡的指示
在一些实施例中，来自相同设备上的两个或更多图像捕获系统中的每一个的图像数据可以被分析以确定来自两个系统之一的图像数据是否包括诸如手指的被认为非故意的元素的一个物体或多个物体。在这种实施例中，可以以二元方式测量遮挡；例如，通过确定非故意的元素存在于或者不存在于来自相机的图像数据中。因此，块304还可以涉及识别在来自一个或多个图像捕获设备的图像数据中的非故意的元素或对象(以及确定非故意的元素或对象未包括在来自设备上的一个或多个其他图像捕获系统的图像数据中)。
可以以多种方式完成非故意的元素的识别。例如，当非常接近的物体遮挡给定相机的视场，诸如当手指在给定相机的镜头上时，很可能地是来自给定相机的图像将包括较大对象(例如，手指)，其在来自另一相机的图像数据中丢失或占据来自另一相机的图像数据中的帧的少得多的部分。因此，可以通过比较来自两个或更多相机的图像数据来将对象分类为非故意的。
例如，当计算设备确定由图像捕获系统中的第一图像捕获系统生成的图像数据包括未包括在来自图像捕获系统中的一个或多个其他图像捕获系统的图像数据中的第一对象(其或许至少占据预定百分比的图像帧)时，它可以选择由(多个)图像捕获系统中的另一个图像捕获系统所捕获的不包括第一对象的图像数据。
在有些情况下，可以以更多粒度方式检测非故意的元素，诸如通过确定由非故意的元素或对象占据的图像帧的百分比。在这种实施例中，相较于通过设备的其他图像捕获系统中的一个或多个捕获的图像，计算设备可以选择遮挡指示符指示被非故意的元素最少遮挡的视场(以及希望指示什么遮挡都没有)的图像捕获系统。
iii.自动对焦结果作为遮挡的指示符
在一些实施例中，图像捕获系统聚焦于场景上的能力可以作为遮挡指示。特别地，当诸如手指头的物体覆盖或非常接近图像捕获系统的镜头时，图像捕获系统可能难以或不能获得适当的焦点。因此，不能使用特定图像捕获系统聚焦可以被解释为图像捕获系统的镜头被遮挡的指示。
因此，在块304中，相同设备上的两个或更多相机中的每一个可以在基本上相同的时间在努力聚焦于场景的过程中单独地实现自动对焦过程。然后，如果相机中给定的一个相机不能获得适当的焦点，而一个或多个其他相机能够获得适当聚焦于相同场景，这可以被解释为给定相机的镜头被非故意的元素遮挡的指示。类似地，如果相机中的给定的一个相机聚焦于场景，但是(相较于设备上的其他相机的焦距设置)对给定相机的焦距设置存在低得多的置信水平，这也可以被解释为给定相机的镜头被非故意的元素遮挡的指示。因此，来自另一设备的图像数据可以被选择和存储在块306中。
此外，在一些实施例中，在任一图像数据被捕获之前，自动对焦结果可以被用作对于遮挡的初步试验。例如，计算设备可以首先在设备的相机的一些或全部上运行自动对焦测试，并且仅利用能够获得适当地聚焦于场景的相机捕获场景的图像数据。在这种情况下可以来自于设备的两个或更多相机系统中的子集的被捕获的图像然后可以，例如，通过比较被捕获图像的频域表示来评估，以便选择和存储未被遮挡的图像数据。
注意地是，上面描述的实施例及其他实施例，当仅未被遮挡的图像数据被捕获和/或存储时功耗可以降低。更具体地，如果被遮挡相机被迅速地识别，诸如当实现自动曝光或AF过程的同时，则此相机可以被关机，其随后可以保存电池电力。
iv.自动曝光结果作为遮挡的指示符
在一些实施例中，两个不同图像捕获系统的自动曝光结果中的差异可以指示图像捕获系统中的一个的镜头被遮挡。特别地，当在诸如手指头的物体覆盖图像捕获系统的镜头的同时图像被捕获时，镜头被覆盖的图像的部分可以较暗，这可以导致其中在可接受的曝光范围中的像素的百分比可能降低的图像。因此，如果由设备的相机中的给定的一个相机捕获的场景的图像具有比由设备的相机中的另一个捕获的相同场景的图像更坏和/或显著不同的曝光(例如，如通过来自每个相机的场景的图像数据的各自的直方图指示的)，则这可以被解释为指示给定相机的镜头被遮挡。
因此，在块304中，相同设备上的两个或更多相机中的每一个可以实现相同的自动曝光以确定在基本上相同的时间对于场景的曝光。自动曝光过程可以提供被适当曝光的像素的百分比的指示(例如，在可接受的曝光范围之内)。因此，如果由设备的相机中的给定的一个相机适当地曝光的像素的百分比由设备的其他相机中的一个或多个适当地曝光的像素的百分比少了至少阈值百分比的差异，则给定相机可以被认为被遮挡。
此外，在一些实施例中，在任何图像数据被捕获之前，曝光比较可以被用作对于遮挡的初步测试。例如，计算设备可以首先在设备的相机的一些或全部上运行自动曝光过程，并且仅利用基于由不同相机获得的曝光的比较被认为未被遮挡的相机来捕获场景的图像数据。在这种情况下可以来自于设备的两个或更多相机系统中的子集的被捕获图像然后可以，例如，通过比较被捕获图像的频域表示来评估，以便选择和存储未被遮挡的图像数据。
v.考虑多个因素以检测遮挡
在还一方面，多相机设备可以在努力选择未被近场物体遮挡的图像捕获系统(和/或来自其中的图像数据)的过程中考虑组合两个或更多因素。例如，多相机设备可以考虑两个或更多遮挡指示符，诸如:(a)来自不同相机系统的图像数据的频域表示中的(多个)差异(例如，当图像具有基本上更少的高频内容时识别遮挡)，(b)来自不同相机系统的图像数据的空域表示中的 (多个)差异，(c)在由设备上的不同图像捕获系统捕获的场景图像之间的对象中的(多个)差异，(d)设备上的不同相机的自动对焦结果，和/或(e) 由设备上的不同相机获得的场景的曝光中的差异。其他因素也可以被考虑。
在还一方面，当来自两个相机的自动曝光、自动对焦、和/或对比度检测处理具有显著不同的结果时，如果不存在额外的相机以使得外行人可以识别，则可能难以断定哪个相机被遮挡。在此情景中，当两个相机具有由自动曝光、自动对焦和/或对比度检测处理引起的显著不同时，可以考虑其他因素以便选择未被遮挡(或被更少遮挡)的相机。例如，为了确定两个相机中的哪个未被遮挡，设备然后可以比较来自不同相机系统的图像数据的频域表示中的(多个)差异(例如，当图像具有基本上更少的高频内容时识别遮挡)，来自不同相机系统的图像数据的空域表示的(多个)差异，或由两个相机捕获的图像数据的直方图的差异。其他示例也是可能的。
B.相机系统的迭代评估
上面描述的方法300的示例通常涉及计算设备从设备的相机中的两个或更多接收场景的图像数据，并且通过比较由不同相机捕获的图像数据的多种特征来检测遮挡。在其他实现中，计算设备可以每次迭代地分析来自一个相机的图像数据，并且从设备确定其视场未被遮挡(或可能地是，确定其视场被遮挡得少于一定阈值量)的第一相机选择图像数据。在这种实施例中，作为默认，计算设备可以试图使用第一相机，并且仅当第一相机被遮挡时求助于另一相机的使用。
例如，图4是示出根据示例实施例的方法400的另一流程图。方法400 可以由具有多个相机系统的计算设备实现，以对于遮挡迭代地测试它的图像捕获系统并且选择和存储来自第一未被遮挡的图像捕获系统的图像数据。
更具体地，在块402中，在方法400的第一迭代期间，具有n个相机系统(CSi＝1到n)的计算设备可以接收由第一相机系统CS1生成的图像数据。此外，在第一迭代的块404中，计算设备可以分析来自第一相机系统CS1的图像数据以确定第一相机系统的视场是否基本上被非故意的元素遮挡(例如，诸如手指的近场对象)。如果第一相机系统CS1的视场未基本上被非故意的元素遮挡，则来自第一相机系统的图像数据可以被选择和存储，如块406所示。
否则，如果第一相机系统CS1的视场被认为被遮挡，则计算设备可以对于其他相机系统CS2到CSn一次地一个重复块402和404，直到来自图像捕获系统CS2到CSn中的一个的图像数据被确定具有基本上未被非故意的元素遮挡的视场。可替换地，即使第一相机系统CS1的视场被认为被充分地遮挡从而额外的相机系统将被评估，来自CS1的图像数据也可以被保持，至少直到在方法400的后续迭代中另一相机系统被认为被更少地遮挡。
C.选择用于立体成像的相机对
在一些实现中，诸如方法300或方法400的示例方法可以被实现为从相同设备上的三个或更多相机中选择一对相机，利用该对相机捕获立体图像数据。例如，在方法300的块304中，计算设备分析来自图像捕获系统中的两个或更多的图像数据以选择一对图像捕获系统，这两个单独的图像捕获系统都具有基本上未被非故意的元素遮挡的视场。然后，在块306中，计算设备可以操作被选择的一对图像捕获系统以捕获立体图像数据。
例如，诸如图1D或图1E中示出的设备可以利用其后置相机中的三个或更多(例如，相机166A到166F中的三个或更多，或者相机182A到182I 中的三个或更多)来捕获场景的图像。设备然后可以使用多种技术，诸如上面根据块304描述的那些技术来识别哪个图像(如果有的话)被遮挡。该设备然后可以评估未被遮挡的图像对以选择将存储或使用(例如，通过组合) 的立体图像对。
注意地是，如果只有场景的两个图像未被遮挡，则这两个图像可以是可以被存储作为立体图像对的仅有图像。然而，如果场景的三个或更多图像未被遮挡，则可以由未被遮挡的图像形成两个或更多立体图像对。在此情况下可以考虑附加因素来选择未被遮挡的图像的给定对。例如，设备可以确定到场景中的物体的(多个)距离，并且从在确定的(多个)距离处提供最适于捕获物体的立体成像的基线的相机选择图像对。额外或者可替换地，设备可以尝试从其基线尽可能接近于与地面平行的一对相机选择图像。其他因素也可以被用于选择未被遮挡的图像的特定对以形成立体图像对。
IV.结论
以上的说明参考附图描述了公开的系统、设备和方法的多种特征和功能。在附图中，类似符号一般标识类似部件，除非上下文指示有相反情况。在详细说明中描述的说明性的实施例、附图和权利要求不意味着限制。其他实施例可以被利用，并且其他改变可以被做出，而不脱离本文给出的主题的范围。将容易理解地是，如本文通常描述的，并且在附图中示出的本公开的方面可以以多种的不同配置被排列、替代、组合、分离和设计，其所有在本文中被明确地预期。
关于在附图以及本文讨论的附图中的消息流图、情景和流程图的任一或全部、每个步骤、块和/或通信可以根据示例实施例表示信息的处理和/或信息的传输。替换实施例包括在这些示例实施例的范围内。在这些替换实施例中，例如，被描述为步骤、块、传输、通信、请求、响应和/或消息的功能可以取决于涉及的功能而与示出或论述的无次序的地运行，包括基本上并发的或颠倒次序。此外，更多或更少的步骤、块和/或功能可以和本文论述的消息流图、情景以及流程图中的任何一个一起使用，并且这些消息流图、情景以及流程图可以部分地或完全彼此组合。
表示信息的处理的步骤或块可以相应于可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路。可替换地或额外地，表示信息的处理的步骤或块可以相应于程序代码的模块、程序段或部分(包括相关数据)。程序代码可以包括可由处理器运行以用于实现在该方法或技术中的特定逻辑功能或动作的一个或多个指令。程序代码和/或相关数据可以存储在任一类型的计算机可读介质上，诸如存储设备，包括磁盘驱动器、硬盘或其他存储介质。
计算机可读介质还可以包括非临时的计算机可读介质，诸如类似寄存器存储器、处理器高速缓存、和/或随机存取存储器(RAM)的短时间内存储数据的计算机可读介质。计算机可读介质还可以包括长期存储程序代码和/ 或数据的非临时的计算机可读介质，诸如二次或永久性长期储存器，类似只读存储器(ROM)、光盘或磁盘、和/或只读光盘存储器(CD-ROM)、例如。计算机可读介质还可以是任一其他的易失性或非易失性存储系统。计算机可读介质可以被认为是计算机可读存储介质，例如，或有形的存储设备。
此外，表示一个或多个信息传输的步骤或块可以相应于在相同物理设备中的软件和/或硬件模块之间的信息传输。然而，其他信息传输可以在不同物理设备中的软件模块和/或硬件模块之间。
虽然已经在本文中公开了多个方面和实施例，但是其他方面和实施例将对本领域技术人员是明显的。本文公开的多个方面和实施例是为了例示的目的，而不意指限制，其真实范围通过以下权利要求指示。

Claims (17)

1.一种用于选择图像数据的方法，包括：
由计算系统接收由多个图像捕获系统中的每一个生成的图像数据，其中所述多个图像捕获系统全部排列在给定设备上并且全部面向基本上相同的方向；
由计算系统分析由图像捕获系统中的两个或多个生成的图像数据以从具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个中选择图像数据；以及
存储被选择的图像数据；
其中分析由两个或更多图像捕获系统所生成的图像数据以从图像捕获系统中的至少一个中选择图像数据包括:
确定由所述两个或更多图像捕获系统中的每一个生成的图像数据的各自的频域表示；
比较相应于所述两个或更多图像捕获系统的各自的频域表示以确定频域表示当中低频率内容中的不匹配是否大于阈值不匹配；
如果低频率内容中的不匹配大于阈值不匹配，则基于低频率内容中的不匹配选择来自所述两个或更多图像捕获系统中的一个的图像数据；以及
否则，从所述两个或更多图像捕获系统中的一个选择图像数据。
2.如权利要求1所述的方法，其中所述非故意的元素是至少一个手指或手的至少一部分。
3.如权利要求1所述的方法，其中所述非故意的元素是一根或多根毛发。
4.如权利要求1所述的方法，其中分析由两个或更多图像捕获系统所生成的图像数据以从图像捕获系统中的至少一个中选择图像数据还包括:
(a)对于所述两个或更多图像捕获系统中的每一个，分析由图像捕获系统生成的图像数据以确定遮挡指示符；以及
(b)基于对于所述两个或更多图像捕获系统分别确定的遮挡指示符的比较，选择由所述两个或更多图像捕获系统中的一个生成的图像数据。
5.如权利要求1所述的方法，其中分析由两个或更多图像捕获系统所生成的图像数据以从图像捕获系统中的至少一个中选择图像数据还包括:
确定对于所述两个或更多图像捕获系统中的每一个的清晰度测量；
比较对于所述两个或更多图像捕获系统分别确定的清晰度测量；以及
基于分别确定的清晰度测量的比较，选择由所述两个或更多图像捕获系统中的一个生成的图像数据。
6.如权利要求1所述的方法，其中基于对于图像捕获系统确定的遮挡指示符从所述两个或更多图像捕获系统中的一个中选择图像数据还包括:
选择所述两个或更多图像捕获系统中的、其遮挡指示符指示未被任何非故意的元素遮挡的视场的一个图像捕获系统。
7.如权利要求1所述的方法，其中基于对于图像捕获系统确定的遮挡指示符从所述两个或更多图像捕获系统中的一个中选择图像数据还包括:
相较于所述两个或更多图像捕获系统中的一个或多个其它图像捕获系统，选择所述两个或更多图像捕获系统中的、其遮挡指示符指示被非故意的元素遮挡最少的视场的一个图像捕获系统。
8.如权利要求1所述的方法，其中分析由图像捕获系统中的两个或多个生成的图像数据以选择具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个包括:
确定由图像捕获系统中的第一图像捕获系统生成的图像数据包括第一对象，该第一对象未被包括在来自图像捕获系统中的一个或多个其他图像捕获系统的图像数据中；以及
选择所述其他图像捕获系统中的一个，其中来自所述其他图像捕获系统的图像数据不包括第一对象。
9.如权利要求1所述的方法，其中分析由图像捕获系统中的两个或多个生成的图像数据以选择具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个包括:
(a)分析由图像捕获系统中的第一图像捕获系统生成的图像数据以确定第一图像捕获系统的视场是否基本上被非故意的元素遮挡；
(b)如果第一图像捕获系统的视场基本上未被非故意的元素遮挡，则选择第一图像捕获系统；以及
(c)否则，对于图像捕获系统中的下一图像捕获系统重复功能(a)到(c)。
10.如权利要求1所述的方法，其中所述多个图像捕获设备包括三个或更多个图像捕获设备，所述方法还包括:
分析由图像捕获系统中的两个或更多生成的图像数据以选择一对图像捕获系统，所述一对图像捕获系统中的每一个具有基本上未被非故意的元素遮挡的视场；以及
操作被选择的一对图像捕获系统以捕获立体图像数据。
11.一种用于选择图像数据的装置，包括：
多个图像捕获系统，其中所述图像捕获系统的镜头全部排列在装置的第一表面上并且面向基本上相同的方向，
控制系统，被配置为:
(a)接收由所述多个图像捕获系统中的两个或更多中的每一个生成的图像数据；
(b)分析由图像捕获系统中的两个或多个生成的图像数据以从具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个选择图像数据；以及
(c)存储被选择的图像数据；
其中，为了分析由所述两个或更多图像捕获系统生成的图像数据以从图像捕获系统中的至少一个中选择图像数据，所述控制系统被配置为:
确定由所述两个或更多图像捕获系统中的每一个生成的图像数据的各自的频域表示；
比较相应于所述两个或更多图像捕获系统的各自的频域表示以确定频域表示当中低频率内容的不匹配是否大于阈值不匹配；
如果低频率内容中的不匹配大于阈值不匹配，则基于低频率内容中的不匹配选择来自所述两个或更多图像捕获系统中的一个的图像数据；以及
否则，从所述两个或更多图像捕获系统中的一个选择图像数据。
12.如权利要求11所述的装置，其中所述非故意的元素是至少一个手指或手的至少一部分。
13.如权利要求11所述的装置，其中分析由两个或更多图像捕获系统生成的图像数据以从图像捕获系统中的至少一个中选择图像数据还包括:
(a)对于所述两个或更多图像捕获系统中的每一个，分析由图像捕获系统生成的图像数据以确定遮挡指示符；以及
(b)基于对于所述两个或更多图像捕获系统分别确定的遮挡指示符的比较，选择由所述两个或更多图像捕获系统中的一个生成的图像数据。
14.如权利要求11所述的装置，其中选择由所述两个或更多图像捕获系统中的一个生成的图像数据还包括:
确定对于所述两个或更多图像捕获系统中的每一个的清晰度测量；
比较对于所述两个或更多图像捕获系统分别确定的清晰度测量；以及
基于分别确定的清晰度测量的比较，选择由所述两个或更多图像捕获系统中的一个生成的图像数据。
15.一种存储有指令的非临时的计算机可读介质，所述指令可由计算设备运行以导致计算设备执行功能，所述功能包括:
接收由多个图像捕获系统中的每一个生成的图像数据，其中所述多个图像捕获系统全部排列在给定设备上并且全部面向基本上相同的方向；
分析由图像捕获系统中的两个或多个生成的图像数据以从具有基本上未被非故意的元素遮挡的视场的图像捕获系统中的至少一个选择图像数据；以及
存储被选择的图像数据；
其中分析由两个或更多图像捕获系统所生成的图像数据以从图像捕获系统中的至少一个中选择图像数据包括:
确定由所述两个或更多图像捕获系统中的每一个生成的图像数据的各自的频域表示；
比较相应于所述两个或更多图像捕获系统的各自的频域表示以确定频域表示当中低频率内容的不匹配是否大于阈值不匹配；
如果低频率内容中的不匹配大于阈值不匹配，则基于低频率内容中的不匹配选择来自所述两个或更多图像捕获系统中的一个的图像数据；以及
否则，从所述两个或更多图像捕获系统中的一个选择图像数据。
16.如权利要求15所述的非临时的计算机可读介质，其中所述非故意的元素是至少一个手指或手的至少一部分。
17.如权利要求15所述的非临时的计算机可读介质，其中分析由所述两个或多个图像捕获系统生成的图像数据以从图像捕获系统中的至少一个中选择图像数据包括:
确定对于图像捕获系统中的两个或更多中的每一个的清晰度测量；
比较对于两个或更多图像捕获系统分别确定的清晰度测量；以及
基于分别确定的清晰度测量的比较，选择由所述两个或更多图像捕获系统中的一个生成的图像数据。
CN202011402564.XA 2013-12-06 2014-12-04 一种用于选择图像数据的方法、装置及计算机可读介质 Active CN112492170B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/098,796 US9154697B2 (en) 2013-12-06 2013-12-06 Camera selection based on occlusion of field of view
US14/098,796 2013-12-06
PCT/US2014/068504 WO2015085034A1 (en) 2013-12-06 2014-12-04 Camera selection based on occlusion of field of view
CN201480066267.9A CN105794194A (zh) 2013-12-06 2014-12-04 基于视场的遮挡的相机选择

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480066267.9A Division CN105794194A (zh) 2013-12-06 2014-12-04 基于视场的遮挡的相机选择

Publications (2)

Publication Number Publication Date
CN112492170A true CN112492170A (zh) 2021-03-12
CN112492170B CN112492170B (zh) 2022-06-28

Family

ID=53272404

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011402564.XA Active CN112492170B (zh) 2013-12-06 2014-12-04 一种用于选择图像数据的方法、装置及计算机可读介质
CN201480066267.9A Pending CN105794194A (zh) 2013-12-06 2014-12-04 基于视场的遮挡的相机选择

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480066267.9A Pending CN105794194A (zh) 2013-12-06 2014-12-04 基于视场的遮挡的相机选择

Country Status (5)

Country Link
US (1) US9154697B2 (zh)
EP (1) EP3078187A4 (zh)
KR (1) KR102240659B1 (zh)
CN (2) CN112492170B (zh)
WO (1) WO2015085034A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271471A1 (en) * 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
DE102015003537B4 (de) 2014-03-19 2023-04-27 Htc Corporation Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras
CN105227947B (zh) * 2014-06-20 2018-10-26 南京中兴软件有限责任公司 污垢检测方法及装置
WO2016004422A1 (en) * 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
CN105425527B (zh) * 2014-09-03 2018-03-20 深圳富泰宏精密工业有限公司 多镜头摄像装置
CN105511336A (zh) * 2014-09-26 2016-04-20 鸿富锦精密工业（深圳）有限公司 电子装置控制方法
JP2016213677A (ja) 2015-05-08 2016-12-15 キヤノン株式会社 遠隔コミュニケーションシステム、その制御方法、及びプログラム
JP6594025B2 (ja) * 2015-05-08 2019-10-23 キヤノン株式会社 コミュニケーションシステム、その制御方法及びプログラム
JP2016213674A (ja) 2015-05-08 2016-12-15 キヤノン株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
US9749543B2 (en) 2015-07-21 2017-08-29 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras
JP6552315B2 (ja) * 2015-07-27 2019-07-31 キヤノン株式会社 撮像装置
JP6648916B2 (ja) * 2015-07-27 2020-02-14 キヤノン株式会社 撮像装置
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
GB2544970B (en) 2015-11-27 2018-01-24 Sony Interactive Entertainment Inc Image capture apparatus
US10003738B2 (en) * 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) * 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
FR3046014A1 (fr) * 2015-12-21 2017-06-23 Orange Procede de gestion de ressources sur un terminal
CN105915785A (zh) * 2016-04-19 2016-08-31 奇酷互联网络科技（深圳）有限公司 双摄像头被遮挡的确定方法、确定装置和终端
CN105828067A (zh) * 2016-04-19 2016-08-03 奇酷互联网络科技（深圳）有限公司 双摄像头被遮挡的确定方法、确定装置和终端
CN105828068A (zh) * 2016-05-06 2016-08-03 北京奇虎科技有限公司 一种对摄像头进行遮挡检测的方法、装置及终端设备
CN106056081B (zh) 2016-05-30 2018-03-27 广东欧珀移动通信有限公司 一种解锁控制方法及终端设备
CN107465912A (zh) * 2016-06-03 2017-12-12 中兴通讯股份有限公司 一种成像差异检测方法和装置
US10198818B2 (en) * 2016-10-12 2019-02-05 Intel Corporation Complexity reduction of human interacted object recognition
CN106572349B (zh) * 2016-11-18 2019-04-12 维沃移动通信有限公司 一种摄像头清洁度的检测方法及移动终端
KR20180092495A (ko) 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
CN107105162A (zh) * 2017-04-28 2017-08-29 努比亚技术有限公司 一种图像采集方法及移动终端
US10547801B2 (en) * 2017-10-26 2020-01-28 International Business Machines Corporation Detecting an image obstruction
US10122969B1 (en) 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods
US10558873B2 (en) * 2017-12-14 2020-02-11 Waymo Llc Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
WO2019144262A1 (en) * 2018-01-23 2019-08-01 Sony Mobile Communications Inc. Smudge detection method and apparatus and mobile electronic device
WO2019167044A1 (en) * 2018-02-28 2019-09-06 Rail Vision Ltd System and method for built in test for optical sensors
US10706556B2 (en) 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
EP3598389A1 (en) 2018-07-19 2020-01-22 Thomson Licensing Method for detecting occlusions in an image, corresponding device and computer program product
CN109104602A (zh) * 2018-09-26 2018-12-28 成都工业学院 一种立体场景拍摄装置
CN109151336B (zh) * 2018-10-15 2020-11-13 长沙智能驾驶研究院有限公司 摄像头的同步方法、装置、系统、存储介质及计算机设备
US10867201B2 (en) * 2019-01-15 2020-12-15 Waymo Llc Detecting sensor occlusion with compressed image data
KR102648912B1 (ko) 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
CN110266914B (zh) * 2019-07-23 2021-08-24 北京小米移动软件有限公司 图像拍摄方法、装置及计算机可读存储介质
CN110458826B (zh) * 2019-08-09 2022-06-03 百度在线网络技术（北京）有限公司 环境亮度检测方法和装置
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN111080571B (zh) * 2019-11-15 2023-10-20 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
CN111582196B (zh) * 2020-02-13 2021-05-04 牧今科技 用于确定相机视场内的遮挡的方法和系统
US11006039B1 (en) 2020-02-13 2021-05-11 Mujin, Inc. Method and system for determining occlusion within a camera field of view
US11796377B2 (en) * 2020-06-24 2023-10-24 Baker Hughes Holdings Llc Remote contactless liquid container volumetry
KR20220083889A (ko) 2020-12-11 2022-06-21 박규섭 운전자 상태 모니터링 방법과 복합 사고예방 메커니즘 및 시스템
US11683598B1 (en) * 2022-02-24 2023-06-20 Omnivision Technologies, Inc. Image sensor with on-chip occlusion detection and methods thereof

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0202467D0 (en) * 2002-02-02 2002-03-20 Qinetiq Ltd Sensor with obscurant detection
JP2003018479A (ja) * 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法ならびに画像撮像装置
US20080240496A1 (en) * 2007-03-26 2008-10-02 Senior Andrew W Approach for resolving occlusions, splits and merges in video images
US20090174773A1 (en) * 2007-09-13 2009-07-09 Gowdy Jay W Camera diagnostics
US20090190030A1 (en) * 2008-01-30 2009-07-30 Zoran Corporation Video signal motion detection
US20110242286A1 (en) * 2010-03-31 2011-10-06 Vincent Pace Stereoscopic Camera With Automatic Obstruction Removal
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
US20130113888A1 (en) * 2010-06-30 2013-05-09 Fujifilm Corporation Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
US20130156343A1 (en) * 2011-12-20 2013-06-20 Harman International Industries, Incorporated System for communicating relationship data associated with image characteristics
CN103400129A (zh) * 2013-07-22 2013-11-20 中国科学院光电技术研究所 一种基于频域显著性的目标跟踪方法
US20130314507A1 (en) * 2011-02-01 2013-11-28 Sharp Kabushiki Kaisha Image capturing device and data processing method

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272855A (ja) 1998-03-23 1999-10-08 Leben:Kk 撮像の障害物除去方法
JP4069855B2 (ja) 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US20050129324A1 (en) 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
CN100477739C (zh) * 2004-12-16 2009-04-08 松下电器产业株式会社 复眼摄像装置
US7986343B2 (en) * 2004-12-16 2011-07-26 Panasonic Corporation Multi-eye imaging apparatus
US7688379B2 (en) * 2005-12-09 2010-03-30 Hewlett-Packard Development Company, L.P. Selecting quality images from multiple captured images
JP4789695B2 (ja) 2006-05-15 2011-10-12 オリンパスイメージング株式会社 カメラ、合成画像撮影方法およびプログラム
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
KR101436327B1 (ko) 2008-07-31 2014-09-01 삼성전자주식회사 배경 우선 촬상 방법 및 촬상 장치
JP5104709B2 (ja) * 2008-10-10 2012-12-19 ソニー株式会社 情報処理装置、プログラム、および情報処理方法
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
EP3220180A1 (en) 2009-06-16 2017-09-20 INTEL Corporation Camera applications in a handheld device
US20110010626A1 (en) * 2009-07-09 2011-01-13 Jorge Fino Device and Method for Adjusting a Playback Control with a Finger Gesture
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2012002039A1 (ja) 2010-06-29 2012-01-05 富士フイルム株式会社 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
JP2013253995A (ja) 2010-09-30 2013-12-19 Panasonic Corp ステレオ撮影装置
US8964025B2 (en) 2011-04-12 2015-02-24 International Business Machines Corporation Visual obstruction removal with image capture
US8723824B2 (en) 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018479A (ja) * 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法ならびに画像撮像装置
GB0202467D0 (en) * 2002-02-02 2002-03-20 Qinetiq Ltd Sensor with obscurant detection
US20080240496A1 (en) * 2007-03-26 2008-10-02 Senior Andrew W Approach for resolving occlusions, splits and merges in video images
US20090174773A1 (en) * 2007-09-13 2009-07-09 Gowdy Jay W Camera diagnostics
US20090190030A1 (en) * 2008-01-30 2009-07-30 Zoran Corporation Video signal motion detection
US20110242286A1 (en) * 2010-03-31 2011-10-06 Vincent Pace Stereoscopic Camera With Automatic Obstruction Removal
US20130113888A1 (en) * 2010-06-30 2013-05-09 Fujifilm Corporation Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
US20120013708A1 (en) * 2010-07-14 2012-01-19 Victor Company Of Japan, Limited Control apparatus, stereoscopic image capturing apparatus, and control method
US20130314507A1 (en) * 2011-02-01 2013-11-28 Sharp Kabushiki Kaisha Image capturing device and data processing method
US20130156343A1 (en) * 2011-12-20 2013-06-20 Harman International Industries, Incorporated System for communicating relationship data associated with image characteristics
CN103400129A (zh) * 2013-07-22 2013-11-20 中国科学院光电技术研究所 一种基于频域显著性的目标跟踪方法

Also Published As

Publication number Publication date
EP3078187A1 (en) 2016-10-12
CN105794194A (zh) 2016-07-20
KR102240659B1 (ko) 2021-04-15
WO2015085034A1 (en) 2015-06-11
US20150163400A1 (en) 2015-06-11
US9154697B2 (en) 2015-10-06
KR20160095060A (ko) 2016-08-10
EP3078187A4 (en) 2017-05-10
CN112492170B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN112492170B (zh) 一种用于选择图像数据的方法、装置及计算机可读介质
US11210799B2 (en) Estimating depth using a single camera
US9918065B2 (en) Depth-assisted focus in multi-camera systems
US9253375B2 (en) Camera obstruction detection
CN108028895B (zh) 有缺陷的图像传感器元件的校准
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
EP3053332B1 (en) Using a second camera to adjust settings of first camera
US9066017B2 (en) Viewfinder display based on metering images
US9100589B1 (en) Interleaved capture for high dynamic range image acquisition and synthesis
US9117134B1 (en) Image merging with blending
US9247152B2 (en) Determining image alignment failure
WO2014093048A1 (en) Determining an image capture payload burst structure
US20230033956A1 (en) Estimating depth based on iris size

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant