CN106101522A - 使用非光场成像设备获得光场数据的方法和设备 - Google Patents

使用非光场成像设备获得光场数据的方法和设备 Download PDF

Info

Publication number
CN106101522A
CN106101522A CN201610284979.9A CN201610284979A CN106101522A CN 106101522 A CN106101522 A CN 106101522A CN 201610284979 A CN201610284979 A CN 201610284979A CN 106101522 A CN106101522 A CN 106101522A
Authority
CN
China
Prior art keywords
image
capture
scene
interest
subimage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610284979.9A
Other languages
English (en)
Inventor
瓦尔特·德拉日奇
贝诺特·范达姆
阿尔诺·舒伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106101522A publication Critical patent/CN106101522A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提出了一种用于从场景的图像序列获得场景的光场数据的方法，使用非光场图像捕获设备在不同视点捕获每个图像。该方法包括：获得参考视点的场景的参考图像，场景的感兴趣区域包括在参考图像中，并且在所述捕获设备的参考本地坐标系中参考位置(x0，y0)与所述感兴趣区域相关联；对于在当前视点的场景的当前图像：在当前图像中识别场景的所述感兴趣区域；在参考本地坐标系中确定在当前图像中识别的所述感兴趣区域的当前位置(xc，yc)；将当前位置与参考位置进行比较；基于当前位置与参考位置之间的比较结果，提供捕获引导指示符，所述捕获引导指示符适于引导所述捕获设备向所述感兴趣区域的相对定位。

Description

使用非光场成像设备获得光场数据的方法和设备
技术领域
本公开的领域涉及光场成像。更具体地，本公开属于用于获取并处理光场数据的技术。
更具体地，本公开涉及一种用于利用传统(非光场)图像捕获设备获得光场数据的方法和设备。与能够从若干视点一次捕获光场数据的光场捕获设备相对，本文中将传统图像捕获设备限定为能够从单个视点捕获场景的二维图像的任何成像设备。
背景技术
该部分意在向读者介绍可能与下面描述和/或请求保护的本发明的各方面相关的领域的各方面。这个讨论被认为是有助于向读者提供背景信息，以促进对本发明的各个方面进行更好地理解。因此，应当理解，这些陈述应当据此阅读，而并非作为对现有技术的认可。
传统图像捕获设备将三维场景渲染到二维传感器上。在操作期间，传统捕获设备捕获表示到达设备内的光电传感器(或光电检测器)上的每个点的光量的二维(2D)图像。然而，该2D图像不包含关于到达光电传感器的光线的方向分布(可以被称为光场)的信息。例如，深度在获取期间丢失。因此，传统捕获设备不存储关于场景的光分布的大部分信息。
光场捕获设备(也被称为“光场数据获取设备”)已被设计为通过从场景的不同视点捕获光来测量场景的四维(4D)光场。因此，通过测量沿与光电传感器交叉的每个光束行进的光量，这些设备能够捕获附加光学信息(关于光线的方向分布的信息)以通过后处理提供新的成像应用。通过光场捕获设备获取/获得的信息被称为光场数据。本文中将光场捕获设备限定为能够捕获光场数据的任何设备。
光场数据处理显著地包括但不限于：产生场景的重新聚焦图像，产生场景的透视图，产生场景的深度图，产生扩展深度场(EDOF)图像，产生立体图像，和/或上述任何组合。
存在若干类型的光场捕获设备。
第一种类型的光场捕获设备(也被称为“全光器件”)使用布置在图像传感器与主透镜之间的微透镜阵列，如文献US 2013/0222633和WO 2013/180192所述。这种设备能够对来自场景的光线场中的光分布和光方向进行采样。基于该信息，有用的应用是，能够利用增加的焦深和/或数字重新聚焦来收集图像。此外，存在从位于不同焦平面的原始光场数据产生图像并在多个位置估计场景的深度场的几种算法。然而，全光器件遭受以下缺点：所使用的微透镜的数量从本质上限制了这些全光器件的有效分辨率。由该设备获取的空间信息和角度信息也因此受限。
另一种类型的光场捕获设备使用均具有其自己的透镜和图像传感器的多个独立控制的相机或者在单个共享图像传感器上进行成像的相机阵列(参见例如文献WO2014149403)。然而，这些设备要求相机的非常精确的布置和方位，这使得它们的制造通常复杂且代价高。
捕获光场数据的另一种方式是：通过使用传统手持相机获取从不同视点拍摄的场景的2D图像序列，并处理由此捕获的图像以获得光场数据。在这种技术中，通常，由用户沿空间的不同方向移动相机，并且相机进行操作以依次捕获一组图像，之后，该组图像能够被组合以获得光场数据。然而，为了获得可利用的光场数据，在捕获期间，无论采用什么视点，用户必须朝场景的相同兴趣点精确地定位相机。但是，不存在使用户能够捕获适于获取可靠光场数据的一组图像的装置。用户错误会导致在后处理中不可利用的光学信息。
因此，感兴趣的是，向传统捕获设备的用户提供指令和引导以有助于/便于捕获设备的适当捕获操作，从而获取允许获得光场数据的图像。
发明内容
说明书中对“一个实施例”、“实施例”、“示例实施例”的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括所述特定特征、结构或特性。此外，这种短语不必指代相同实施例。此外，当结合实施例描述特定特征、结构或特性时，应认为，在本领域技术人员的知识内，结合其他实施例影响这种特征、结构或特性，而不论是否明确地描述。
本发明的特定实施例提出了一种用于从场景的图像序列获得场景的光场数据的方法，通过使用非光场图像捕获设备在不同视点捕获每个图像，所述方法由所述非光场图像捕获设备执行并且包括：
获得参考视点的场景的参考图像，场景的感兴趣区域包括在参考图像中，并且在所述捕获设备的参考本地坐标系中参考位置与所述感兴趣区域相关联；
对于在当前视点的场景的当前图像：
在当前图像中识别场景的所述感兴趣区域；
在参考本地坐标系中确定在当前图像中识别的所述感兴趣区域的当前位置；
将当前位置与参考位置进行比较；
基于当前位置与参考位置之间的比较结果，提供捕获引导指示符，所述捕获引导指示符适于引导所述捕获设备朝所述感兴趣区域的相对定位。
因此，本发明提供了一种用于使用传统(非光场)图像捕获设备促进光场数据的获取的方法。本发明的原理在于向用户提供捕获引导指示符，从而以将能够捕获场景的多个图像以适合于被开发作为光场数据的方式引导捕获设备的定位。为了获得光场数据，不论用户采用什么视点，需要在移动捕获设备的同时将捕获设备定向到场景的同一感兴趣区域。为此，根据本发明的方法包括：在参考本地坐标系中将参考位置分配给场景的感兴趣区域，并将该参考位置与在当前图像中识别的感兴趣区域的当前位置进行比较，以向用户提供反馈，使得用户能够基于所述比较适当地调整设备向感兴趣区域的相对位置，以用于捕获当前图像。由此，这种方法改进了捕获处理。通过处理包括参考图像和至少一个当前图像的图像序列来获得光场数据。
根据特定特征，所述方法还包括：在当前位置与参考位置之间的距离在预定阈值以下时，捕获所述当前图像。
这允许在当前位置与参考位置之间的距离在特定容忍阈值以下时捕获场景。以这种方式，确保了用于使用传统捕获设备获取优质光场数据的适当图像捕获操作。应当注意的是，所述捕获的动作可以是自动的或手动的。可以从属于包括以下项的组的计算来计算所述距离：
欧几里得距离计算；
堪培拉距离计算；
曼哈顿距离计算；
闵可夫斯基距离计算。
根据特定特征，通过执行以下操作在参考图像和当前图像中识别所述感兴趣区域：
相位差检测型自动聚焦操作；和/或
对比度检测型自动聚焦操作。
因此，本发明的优势在于设备的自动聚焦功能，以在形成在设备传感器上的图像中连续识别场景中的感兴趣区域。自动聚焦功能基于确定将对视场中的何处进行聚焦的算法。
根据特定特征，在所述获得参考图像中，使用一组至少一个自动聚焦传感器识别所述感兴趣区域，每个自动聚焦传感器在参考本地坐标系中具有给定位置，并且其中参考位置与所述至少一个自动聚焦传感器在参考本地坐标系中的给定位置相关联。
由于一个或多个自动聚焦传感器(还被称为“准直器”)，设备将焦点自动锁定在场景的感兴趣区域上，从而连续跟踪形成在设备的图像传感器上的图像中的所述感兴趣区域。例如，由取景窗口(取景器或显示面板)中的方形表示的自动聚焦传感器可以分布在预定布置中，所述预定布置取决于设备中集成的自动聚焦系统以及由用户设置的自动聚焦模式以用于捕获图像序列。
在一个示例中，对于识别感兴趣区域，可以仅激活一个自动聚焦传感器。那么与所述感兴趣区域相关联的参考位置是所述自动聚焦传感器在参考本地坐标系中的位置。这种模式适合于场景的小对象。
在另一示例中，对于识别感兴趣区域，可以激活多个自动聚焦传感器。在这种情况下，与所述感兴趣区域相关联的参考位置是激活的每个自动聚焦传感器在参考本地坐标系中的位置或者激活的自动聚焦传感器组的几何中心(诸如重心)在参考本地坐标系中的位置。这种模式适合于场景的大对象。
根据一个变型，通过执行基于尺度不变特征变换的特征检测操作，在参考图像和当前图像中识别所述感兴趣区域。
尺度不变特征变换(SIFT)是用于找到图像部分之间的对应性的特征检测算法，从而允许在多个图像中检测和识别一个或多个对象或感兴趣区域。
根据特定特征，所述方法包括：获得由包括在所述捕获设备中的参考惯性单元提供的惯性数据。
因此，用户可以使用这些附加数据提高在捕获处理期间设备的定位精度。实际上，惯性数据能够知晓设备相对于本地参考的相对位置和方位。
根据特定特征，所述方法还包括：获得由包括在所述捕获设备中的全球定位系统(GPS)单元提供的全球定位系统数据。
这些附加数据可以用在光场数据处理中。
根据特定特征，获得参考图像包括：获得利用不同曝光参数连续捕获的参考子图像的集合，并且捕获当前图像包括：获得利用不同曝光参数连续捕获的当前子图像的集合。
对于场景的每个捕获视点，这能够获得高动态范围成像信息。
根据特定特征，所述方法还包括：
对于所述参考子图像的集合：
基于在所述参考子图像的集合中识别的至少一个特征点来对准连续捕获的参考子图像；
融合对准的所述参考子图像以获得参考高动态范围图像；
以及对于所述当前子图像的集合：
基于在所述当前子图像的集合中识别的至少一个特征点来对准连续捕获的所述当前子图像；
融合对准的所述当前子图像以获得当前高动态范围图像。
因此，所述方法提供了用于在连续捕获的子图像的情况下补偿由设备的任意运动引起的误对准的步骤，以获得高动态范围成像信息。
所述方法还可以提供用于补偿在连续子图像之间在场景中运动的对象的处理，以避免融合处理期间的伪影。
根据特定特征，连续捕获的所述参考子图像的集合包括N个子图像，2≤N≤5，并且其中，连续捕获的所述当前子图像的集合包括M个子图像，2≤M≤5。
根据特定特征，所述捕获引导指示符是经由人机界面指示为了捕获场景的当前图像而定位所述捕获设备所沿的方向的箭头图像。
所述人机界面可以是不同类型的。例如，它可以是电子取景器或可视显示面板。
在另一实施例中，本发明属于一种包括程序代码指令的计算机程序产品，其中，当所述程序在计算机或处理器上被执行时，所述程序代码指令实现上述方法(在其不同实施例中的任何一个实施例中)。
在另一实施例中，本发明属于一种存储如下程序的非暂时性计算机可读载体介质，所述程序在由计算机或处理器执行时使计算机或处理器执行上述方法(在其不同实施例中的任何一个实施例中)。
在另一实施例中，本发明提出了一种被配置为从场景的图像序列获得场景的光场数据的非光场图像捕获设备，其中，在不同视点捕获每个图像。这种非光场图像捕获设备包括：
获得单元，被配置为获得参考视点的场景的参考图像，并获得当前视点场景的至少一个当前图像，场景的感兴趣区域包括在参考图像中，并且在所述捕获设备的参考本地坐标系中参考位置与所述感兴趣区域相关联；
识别单元，被配置为在当前视点在场景的当前图像中识别场景的所述感兴趣区域；
确定单元，被配置为在参考本地坐标系中确定在当前图像中识别的所述感兴趣区域的当前位置；
比较单元，被配置为将当前位置与参考位置进行比较；
提供单元，被配置为考虑由比较单元提供的结果来提供捕获引导指示符，所述捕获引导指示符适于引导所述捕获设备朝所述感兴趣区域的相对定位。
有利地，在其各种实施例中的任何一个实施例中，所述设备包括用于实现在如上所述的获得方法中执行的步骤的装置。
附图说明
根据通过示意和非详尽示例的方式给出的以下描述以及根据附图，本发明实施例的其他特征和优点将是清楚的，其中：
图1是本发明的用于获得光场数据的方法的特定实施例的流程图；
图2A至图2C示出了根据本发明的特定实施例的在有助于光场数据捕获的图像捕获设备的显示器上设置的用户界面的示例；
图3A至图3C示出了根据本发明的特定实施例的用于实现所述方法的本地参考坐标系的示例；
图4示出了根据本发明的特定实施例的用于实现所述方法的图像捕获设备的结构的示例。
具体实施方式
在本文档的所有附图中，相同的元件和步骤由相同的参考标号表示。
图1示出了根据本发明的特定实施例的获得光场数据的方法。所述方法由传统(非光场)设备100实施，以下结合图4详细描述其原理。
这里指出的是，本文中将传统图像捕获设备限定为能够从单个视点捕获场景或对象的二维图像的任何成像设备。
本发明的总体原理是，帮助传统图像捕获设备的用户更好地调整其设备相对于感兴趣对象或场景的位置，以获取适于获得与感兴趣对象或场景相对应的光场数据的2D图像序列。用户沿空间的不同方向移动设备，并进行操作以捕获图像序列，从而捕获在不同视点的图像，图像可以被组合以获得光场数据。
应当注意的是，这里在下面描述的捕获处理可以由用户通过以下操作来执行：连续捕获通过扫动或扫描感兴趣场景所获得的一组连续图像(例如，“视频模式”或“扫描模式”)，或者在空间中的不同位置离散(非连续)捕获一组图像(“拍摄模式”)。
当用户希望获取光场数据时，其将设备100放置在将被捕获的场景前方，接通电源开关以对设备100上电，并将设备100置于光场捕获模式。这对应于步骤105，并能够使图1的算法初始化。
在步骤110，用户在第一视点捕获场景的第一图像。在整个算法/方法中，所述第一图像限定了参考图像。
为了查看在捕获处理期间所捕获的图像，设备100配备有人机界面。人机界面可以是不同类型。图2A和图2B示出了使用通常在捕获设备中可用的电子取景器200来查看将被捕获的场景或对象(即，形成在图像传感器上的场景或对象)。图2A示出了参考图像220，图2B示出了在设备100的电子取景器200中显示的当前图像230。
当捕获了参考图像时，设备100将对象210识别为感兴趣的场景区域。该感兴趣的区域210表示场景的“参考支点”，必须围绕该“参考支点”执行图像序列的捕获以获取期望光场数据。之后，设备100将识别的对象210与设备100的参考本地坐标系中的参考位置相关联。图3A中示出了与参考图像相对应的参考本地坐标系300的示例。它是在设备的光电传感器的焦平面上定义的正交参考坐标系。坐标系300的中心点“O”对应于设备的焦平面的中心，即，与相机相关联的光学系统的光轴的通道点。分配给对象210的参考位置310对应于对象210的中心在参考坐标系300中的坐标(x0，y0)。
可以根据不同方法识别该感兴趣对象210。例如，如图2C和图3C所示，设备100使用由设备100内的电子聚焦模块实现的自动聚焦系统。设备100使用自动聚焦机制确定将对视场中的哪个区域进行聚焦，聚焦的区域在图像中被识别为针对所述方法的进一步步骤将考虑的场景的感兴趣区域。因此，所述方法的优势在于由设备100实现的自动聚焦机制，以限定针对不同图像的获取将考虑场景的哪个区域。因此，设备100锁定感兴趣对象210，并将焦点保持于该对象210上，犹如该对象是在将被捕获的后续图像中跟踪的已知目标。
通过准直器(自动聚焦传感器)阵列240的方式实施该识别步骤。每个准直器在参考本地坐标系300中具有关联位置。因此，与感兴趣对象210相关联的参考位置对应于已被用于对感兴趣对象210进行聚焦的准直器的位置。如图3C的情况所示，突出的准直器245已被用于对感兴趣对象210进行聚焦，参考位置(x0，y0)对应于准直器245在参考本地坐标系300中的位置。
当一组准直器已被用于对感兴趣对象210进行聚焦时，参考位置对应于例如参考本地坐标系300中的与所述多个准直器相关联的点的重心。
所使用的自动聚焦机制可以基于在技术文献中广泛描述的各种技术。例如，可以通过执行相位差检测型自动聚焦或对比度检测型自动聚焦或它们的组合来识别感兴趣对象。
这里示出的准直器的数量仅仅是非限制性示例，以用于教学描述的目的。当然，在不脱离本发明的范围的情况下，可以使用更少数量或更多数量的准直器。为了覆盖更大的视场，例如，更多数量的准直器应是必需的。另外，可以通过聚焦模块提出不同的自动聚焦模式。在一个示例性实施例中，为了捕获图像，设备100通过自动选择它认为聚焦所必需的准直器或准直器组来执行聚焦。在另一示例性实施例中，设备100使用自动聚焦或由用户之前选择的一组至少一个准直器来执行自动聚焦。
在图像捕获处理期间，在已经捕获参考图像之后，用户沿空间的一个或多个方向相对于感兴趣对象210移动设备100，以获取与感兴趣对象210相对应的光场数据。必要条件是，设备100总是指向感兴趣对象210，而不论在捕获处理期间用户采用什么视点。
在指向感兴趣对象210的同时，用户可以沿竖直方向(即，从上到下或从下到上)、沿水平方向(沿从左到右的方向或从右到左的方向)或它们的组合来移动设备100。应当注意的是，设备沿深度(沿从前到后的方向或从后到前的方向)的移动也是在与上述竖直移动和/或水平移动结合时不能排除的可能性，但是其对于获得光场数据基本上不是必需的。必须在围绕感兴趣对象210的横向运动中执行期望的主要获取。例如，扫描方向包括沿从左到右方向上的水平轴(“x-轴”)的扫描路径，同时指向感兴趣对象210。因此，扫描方向包括通常围绕垂直轴(“y-轴”)的旋转分量，即，与由x-轴和y-轴形成的平面不共线。
在步骤120，对于在给定视点捕获的当前图像，由于由设备100的电子聚焦模块实现的自动聚焦机制，设备100将随后识别之前在步骤110识别出的感兴趣对象。当检测到设备100的状态改变(例如，设备的位置或角度方位改变)时执行该步骤120。通过图3A所示的取景器200表示当前图像的示例。
在步骤130，设备100在参考本地坐标系300中确定在当前图像中识别的感兴趣区域的位置(坐标(xc，yc)，下文中被称为当前位置。图3B表示与当前图像相对应的参考本地坐标系300。元素320是由设备100在坐标系300中确定的感兴趣对象210的当前位置。看上去好像在移动设备100之后感兴趣对象210在取景器200中不再位于同一位置。所以需要向用户指明他必须移动设备100的方向是必需的，以获取优质光场数据。
在步骤140，设备100将感兴趣对象210的当前位置(xc，yc)与参考位置(x0，y0)进行比较。
在步骤150，设备100随后提供捕获引导指示符250，所述捕获引导指示符250适于以将当前位置(xc，yc)320与参考位置(x0，y0)310进行匹配的方式来引导设备100的定位。因此，基于步骤140的结果，例如，在取景器200的背部屏幕上向用户提供捕获引导指示符250，以促使用户在关于场景的感兴趣对象的捕获处理期间重新调整设备100的相对位置。图2B中示出的捕获引导指示符250是指示将在当前图像中定位感兴趣对象210所沿的方向的箭头(指向左的箭头)。通常，在由设备100之前确定的参考位置与当前位置之间设置箭头250。
可选地，可以设想提供指出了将定位设备100所沿的方向以在扫描设备的同时将感兴趣对象210在当前图像中保持在相同位置的箭头(指向右的箭头)。
捕获引导指示符250可以是除了直箭头之外的图像，诸如弯箭头(顺时针旋转或逆时针旋转)、双箭头或者用于指出或指示方向的其他符号。
另外，基于比较步骤140，捕获引导指示符250可以具有不同颜色或者可以具有可变大小。例如，当设备100正被移动时，人机界面200可以提供大小随着本地参考坐标系300中的参考位置与当前位置之间的距离而变化的捕获引导指示符：引导指示符越小，设备100相对于感兴趣对象210的定位越精确。当参考位置和当前位置完美匹配时或者当计算的这两个位置之间的距离在预定容忍阈值(下文中标为T)以下时，指示符可以消失。距离是位置相距多远的数字描述。
根据特定方法，可以基于欧几里得距离计算来设置预定容忍阈值T。考虑到设备100的光电传感器在宽度上具有W个像素并在高度上具有H个像素，将数字N定义如下：N＝min(W，H)。因此，例如，如果设备包括24兆像素光电传感器，其中，W＝6000像素，H＝4000像素，则数字N等于4000像素。预定容忍阈值T可以设置在例如数字N的2％，即T＝0.02xN。
现在考虑两个点A和B，A对应于正交坐标系中的坐标为(x0，y0)的参考位置，B对应于正交坐标系中的坐标为(xc，yc)的当前位置。点A和点B之间的欧几里得距离dAB，由以下等式来给出：
d A B = ( x c - x 0 ) 2 + ( y c - y 0 ) 2
之后，设备100将把当前欧几里得距离dAB与预定容忍阈值T(这里T＝0.02xN)进行比较。只要当前欧几里得距离dAB等于或大于预定容忍阈值T(dAB≥T)，就保持视觉指示符250。当设备100计算的当前距离dAB在预定容忍阈值T以下(dAB＜T)时，视觉指示符250消失。
当前距离dAB＝0的特定情况表示参考位置和当前位置完美吻合。
当然，在不脱离本发明的范围的情况下，可以实现其他公知的距离计算。可以设想例如，基于曼哈顿距离、堪培拉距离或闵可夫斯基距离来进行计算。可以设想例如，基于以下公式进行计算：
dAB＝max(|xc-x0|，|yc-y0|)
预定容忍阈值设置在例如0.02xN。
可选地，可以设想使用瞄准图案作为捕获引导指示符。将把瞄准图案设置在取景器200的背部屏幕上的与参考坐标系300中的参考位置相对应的固定位置处，以使用户能够以感兴趣对象210与瞄准图案匹配的方式调整设备100的位置。例如，当设备100相对于感兴趣对象210没有被准确定位时，该瞄准图案是红色，当调整设备100相对于感兴趣对象210的位置(对象210包括在瞄准图案中或与瞄准图案重叠)并能够在当前视点在最佳条件下获得光场数据时，瞄准图案是绿色。
此外，针对以上在其各种实施例的任何一个实施例中所描述的视觉捕获引导指示符，可以设想使用集成到设备100中的扬声器，当设备100正被移动时，所述扬声器可以发出具有时钟率的声音信号，其中，时钟率根据本地参考坐标系300中的参考位置与当前位置之间的距离而变化：声音信号的时钟率越快，设备100相对于感兴趣对象210的定位越精确。连续声音信号反应在当前视点的设备100的恰当定位。相反，具有缓慢时钟率的声音信号反应设备100的错误定位(相对于感兴趣对象210的不可接受的设备方位)。
在特定实施例中，设备100可以被配置为仅当由用户进行的设备100的定位对于获得光场数据是可接受的时(即，仅当当前位置(xc，yc)310匹配参考位置(x0，y0)320时)允许捕获当前图像。这确保了用于获取光场数据的最佳捕获条件。
接着，在步骤160执行测试以确定图像捕获处理是否结束，诸如用户激活捕获处理的停止。可选地，捕获处理可以自动结束，诸如设备100确定设备100的移动与扫描或扫动捕获不一致(例如，通过针对预定持续时间检测设备的移动的停止或者设备的方位显著改变)。如果捕获处理已经结束，则设备100进行步骤170以处理在捕获处理期间所获取的图像，从而获得光场数据。一旦图像被处理，则算法/方法停止。如果捕获处理没有结束，则设备100返回到步骤120以重复步骤120至160，直到图像捕获处理在步骤170确实结束。
所述方法还可以包括获得由包括在设备100中的参考惯性单元70提供的惯性数据的步骤。可以使用惯性数据使能以知晓在本地参考中在捕获处理期间设备的相对位置(维度坐标、经度坐标和高度坐标)及其方位(相对于本地参考的当前倾斜角度)。由于这些数据，可以例如通过在取景器中和/或在显示面板上显示电子水平仪来帮助用户校正设备100的倾斜度。例如，可以使用加速计或陀螺仪来引导设备100的扫描/扫动速度(理想情况下其必须是恒定的)，同时保持设备100的恒定高度(惯性单元的三轴的倾斜度必须相对于针对参考图像所获得的倾斜度尽可能长时间地保持恒定)。还可以显示附加视觉指示符以促使用户基于由惯性单元70确定的设备100的移动速度实时调整设备100的扫描/扫动速度。还可以显示另一附加视觉指示符以促使用户基于由惯性单元70确定的设备100的当前高度实时调整设备100的高度。
在一个变型中，根据本公开的一个实施例的每个图像(参考图像和当前图像)的捕获可以与由包括在所述捕获设备100内的GPS单元提供的全球定位系统数据(例如，GPS坐标)相关联。
此外，代替对于给定视点仅捕获一个图像(参考图像或当前图像)，可以设想获得利用不同曝光参数连续捕获的参考子图像的集合(这种技术被叫做分类技术(bracketingtechnique)并且属于HDR(其代表“高动态范围”)技术家族)。对于场景的每个捕获视点，这提供了可以有利地用于光场数据处理的高动态范围成像信息。因此，通过使用本技术，可以利用传统(非光场)图像捕获设备获得高动态范围光场数据。因此，用于获得高动态范围光场数据的本技术可以被视为在2009年的信号恢复与合成会议论文集中出版的T.Georgiev等的文献“Hi gh Dynamic Range Image Capture with Plenoptic 2.0 Camera(利用全光2.0相机的高动态范围图像捕获)”中描述的技术的替代技术。
在该背景下，子图像的对准是必需的，以避免获得模糊的HDR图像。为此，提供了基于在子图像的集合中识别的至少一个特征点对准连续捕获的子图像的步骤(也被称为配准步骤)。这可以基于尺度不变特征变换(SIFT)方法，在融合所述子图像以产生HDR图像之前，采用SIFT方法在连续捕获的子图像中搜索预定义的关键点(或预定义的特征点)。例如，该方法可以在假定场景固定的情况下对准所捕获的子图像。这补偿了由设备的任意运动引起的误对准。此外，该方法可以包括用于补偿在连续子图像之间在场景中运动的对象的处理，以避免融合处理期间的伪影。在子图像融合步骤之前或者在子图像融合步骤期间执行该处理。因此，除了防止由设备抖动引起的图像模糊之外，根据本发明的方法提供了能够在图像内补偿在两个连续子图像之间运动的对象的处理。
例如，参考子图像或当前子图像的数量包括2至5，这确保了用户获得无模糊的HDR图像。
上述方法基于自动聚焦机制以在多个图像中识别和跟踪对象或感兴趣区域。在不脱离本发明的范围的情况下，可以提出执行相同功能的各种方法，诸如基于自相关计算或尺度不变特征变换(SIFT)的方法。
现在参照图4，描述根据本发明的特定实施例的图像捕获设备100的示例。设备100包括：
-图像传感器10，例如，使用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术；
-处理器20，能够执行用于实现本文参照图1描述的算法步骤的至少一部分的程序代码指令；
-非易失性存储器30，例如，只读存储器(ROM)或硬盘；
-易失性存储器40，例如，随机存取存储器(RAM)；
-人机界面50，例如，电子取景器或触摸屏显示面板，适于查看将被捕获的图像(“预览图像”)或者捕获的图像并且在捕获处理期间通过设备定位来引导用户；
-物镜60，可以包括一个或多个光学透镜；
-参考惯性单元70，提供惯性数据。
非易失性存储器30是非暂时性计算机可读载体介质。它存储由处理器20执行以实现上述方法的可执行程序代码指令。在初始化时，程序代码指令从非易失性存储器30被传送到易失性存储器40以由处理器20执行。同样地，易失性存储器40包括用于存储所述执行所需的变量和参数的寄存器。
根据特定实施例，可以如下实现本方法的步骤：
-对于步骤110，通过被配置为通过图像传感器捕获(或获得)图像的捕获(或获得)单元，在参考图像中识别场景的感兴趣区域，并在参考本地坐标系中将参考位置与感兴趣区域相关联；
-对于步骤120，通过惯性单元在当前图像中识别在参考图像中识别出的感兴趣对象210；
-对于步骤130，通过确定单元在参考本地坐标系中确定在当前图像中识别的感兴趣区域的当前位置；
-对于步骤140，通过比较单元将当前位置与参考位置进行比较；
-对于步骤150，通过提供单元提供捕获引导指示符，所述捕获引导指示符适于考虑由比较单元提供的结果来引导捕获设备对于感兴趣区域的相对定位；
-对于步骤170，通过获得单元从捕获的图像获得光场数据。
可以将前述单元集成到处理器20中。
本领域技术人员应当认识到，本发明原理的各方面可以被实现为系统、方法或计算机可读介质。因此，本发明原理的各方面可以采用完全硬件实施例的形式、完全软件实施例(包括固件、固有软件、微代码等)的形式或组合了软硬件方面的实施例的形式，它们可在本文中一般地被称为“电路”、“模块”或“系统”。
当本发明原理由一个或多个硬件组件实现时，应当注意的是，硬件组件包括为集成电路的处理器(诸如中央处理器)和/或微处理器和/或专用集成电路(ASIC)和/或专用指令集处理器(ASIP)和/或图形处理单元(GPU)和/或物理处理单元(PPU)和/或数字信号处理器(D SP)和/或图像处理器和/或协处理器和/或浮点单元和/或网络处理器和/或音频处理器和/或多核处理器。此外，硬件组件还可以包括基带处理器(包括例如存储器单元和固件)和/或接收或发送无线电信号的无线电电子电路(可以包括天线)。在一个实施例中，硬件组件与一个或多个标准兼容，诸如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/EC MA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、全球平台(即，安全元件)。在一个变型中，硬件组件是射频识别(RFID)标签。在一个实施例中，硬件组件包括启用蓝牙通信和/或Wi-Fi通信和/或ZigBe e通信和/或USB通信和/或火线通信和/或NFC(用于近场)通信的电路。
此外，本发明原理的方面可采用计算机可读存储介质的形式。
可利用一个或多个计算机可读存储介质的任意组合。
计算机可读存储介质可采用计算机可读程序产品的形式，所述计算机可读程序产品实现为一个或多个计算机可读介质，并且其中实现有可由计算机执行的计算机可读程序代码。本文中所使用的计算机可读存储介质被认为是非暂时性存储介质，这是因为考虑到其具有用来在其中存储信息的内在能力以及从中提供对信息的取回的内在能力。计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体系统、装置或设备或前述任意合适组合。应认识到，在提供本发明原理可以应用到的计算机可读存储介质的更多具体示例时，如本领域普通技术人员容易理解的，以下仅是说明性的而非详尽列表：便携式计算机磁盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式致密盘只读存储器(CD-ROM)；光学存储设备；磁性存储设备；或者前述任意合适组合。
因此，例如，本领域技术人员将理解的是，本文中所呈现的框图表示实现本发明的原理的说明性系统组件和/或电路的概念图。类似地，将理解的是，任意流图、流程图、状态转变图、伪码等表示可在计算机可读存储介质中充分表示并由计算机或处理器如此执行的各种处理，而不管是否明确地示出了这种计算机或处理器。
虽然已经参照一个或多个示例描述了本公开，但是本领域技术人员将认识到，在不脱离本公开和/或权利要求的范围的情况下，可以进行形式和细节上的改变。

Claims (14)

1.一种用于从场景的图像序列获得场景的光场数据的方法，每个图像是通过使用非光场图像捕获设备在不同视点捕获的，所述方法由所述非光场图像捕获设备执行并且其特征在于包括：
获得(110)参考视点处的场景的参考图像，场景的感兴趣区域包括在参考图像中，并且在所述捕获设备的参考本地坐标系中参考位置(x0，y0)与所述感兴趣区域相关联；
对于在当前视点处的场景的当前图像：
在当前图像中识别(120)场景的所述感兴趣区域；
在参考本地坐标系中确定(130)在当前图像中识别的所述感兴趣区域的当前位置(xc，yc)；
将当前位置与参考位置进行比较(140)；
基于当前位置与参考位置之间的比较结果，提供(150)捕获引导指示符，所述捕获引导指示符适于引导所述捕获设备向所述感兴趣区域的相对定位。
2.根据权利要求1所述的方法，还包括：在当前位置与参考位置之间的距离在预定阈值以下时，捕获所述当前图像。
3.根据权利要求1至2中任一项所述的方法，其中，通过执行以下操作在参考图像和当前图像中识别所述感兴趣区域：
相位差检测型自动聚焦操作；和/或
对比度检测型自动聚焦操作。
4.根据权利要求3所述的方法，其中，在所述获得参考图像中，使用一组至少一个自动聚焦传感器识别所述感兴趣区域，每个自动聚焦传感器在参考本地坐标系中具有给定位置，并且其中参考位置与所述至少一个自动聚焦传感器在参考本地坐标系中的给定位置相关联。
5.根据权利要求1所述的方法，其中，通过执行基于尺度不变特征变换的特征检测操作，在参考图像和当前图像中识别所述感兴趣区域。
6.根据权利要求1至5中任一项所述的方法，还包括：获得由所述捕获设备中包括的参考惯性单元提供的惯性数据。
7.根据权利要求1至6中任一项所述的方法，还包括：通过所述捕获设备中包括的全球定位系统GPS单元获得全球定位系统数据。
8.根据权利要求1至7中任一项所述的方法，其中，获得参考图像包括：获得利用不同曝光参数连续捕获的参考子图像的集合，并且捕获当前图像包括：获得利用不同曝光参数连续捕获的当前子图像的集合。
9.根据权利要求8所述的方法，包括：
对于所述参考子图像的集合：
基于在所述参考子图像的集合中识别的至少一个特征点来对准其间连续捕获的参考子图像；
融合对准的所述参考子图像以获得参考高动态范围图像；
以及对于所述当前子图像的集合：
基于在所述当前子图像的集合中识别的至少一个特征点来对准其间连续捕获的所述当前子图像；
融合对准的所述当前子图像以获得当前高动态范围图像。
10.根据权利要求1至9中任一项所述的方法，其中，所述参考子图像的集合包括N个子图像，2≤N≤5，并且其中，所述当前子图像的集合包括M个子图像，2≤M≤5。
11.根据权利要求1至10中任一项所述的方法，其中，所述捕获引导指示符是经由人机界面指示为了捕获场景的当前图像而定位所述捕获设备所沿的方向的箭头图像。
12.一种计算机程序产品，其特征在于，所述计算机程序产品包括：程序代码指令，用于当所述程序在计算机或处理器上执行时，执行根据权利要求1至11中的至少一个权利要求所述的方法。
13.一种非瞬时性计算机可读载体介质，存储根据权利要求12所述的计算机程序产品。
14.一种非光场图像捕获设备，被配置为从场景的图像序列获得场景的光场数据，每个图像是在不同视点捕获的，其特征在于，所述非光场图像捕获设备包括：
获得单元，被配置为获得参考视点处的场景的参考图像，并获得当前视点处的场景的至少一个当前图像，场景的感兴趣区域包括在参考图像中，并且在所述捕获设备的参考本地坐标系中参考位置与所述感兴趣区域相关联；
识别单元，被配置为在当前视点处的场景的当前图像中识别场景的所述感兴趣区域；
确定单元，被配置为在参考本地坐标系中确定在当前图像中识别的所述感兴趣区域的当前位置；
比较单元，被配置为将当前位置与参考位置进行比较；
提供单元，被配置为考虑由比较单元提供的结果来提供捕获引导指示符，所述捕获引导指示符适于引导所述捕获设备向所述感兴趣区域的相对定位。
CN201610284979.9A 2015-04-30 2016-04-29 使用非光场成像设备获得光场数据的方法和设备 Pending CN106101522A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305661.9 2015-04-30
EP15305661.9A EP3089449B1 (en) 2015-04-30 2015-04-30 Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium

Publications (1)

Publication Number Publication Date
CN106101522A true CN106101522A (zh) 2016-11-09

Family

ID=53177304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610284979.9A Pending CN106101522A (zh) 2015-04-30 2016-04-29 使用非光场成像设备获得光场数据的方法和设备

Country Status (5)

Country Link
US (1) US10165254B2 (zh)
EP (1) EP3089449B1 (zh)
JP (1) JP2016213825A (zh)
KR (1) KR20160129779A (zh)
CN (1) CN106101522A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995999A (zh) * 2019-03-14 2019-07-09 Oppo广东移动通信有限公司 场景识别方法、装置、电子设备及存储介质
CN110268449A (zh) * 2017-04-26 2019-09-20 惠普发展公司有限责任合伙企业 在对象上定位感兴趣区域
CN110992394A (zh) * 2018-10-03 2020-04-10 Fei 公司 使用图像分割的对象跟踪
CN111034192A (zh) * 2017-06-29 2020-04-17 皇家飞利浦有限公司 用于生成图像的装置和方法
CN111095348A (zh) * 2017-09-08 2020-05-01 苹果公司 基于摄像头的透明显示器
CN111213181A (zh) * 2017-07-07 2020-05-29 Time2市场公司 用于节点向量化的方法和系统
CN111527518A (zh) * 2017-11-15 2020-08-11 交互数字Ce专利控股公司 基于超射线表示的使用来处理光场视频的方法
CN111862098A (zh) * 2019-04-30 2020-10-30 曜科智能科技（上海）有限公司 基于光场语义的个体匹配方法、装置、设备和介质
CN112513931A (zh) * 2018-08-13 2021-03-16 R-Go机器人有限公司 用于创建单视角合成图像的系统和方法
CN113484873A (zh) * 2020-03-16 2021-10-08 中国海洋大学 一种水下光场干预成像方法
CN113508394A (zh) * 2019-03-01 2021-10-15 康诺特电子有限公司 用于检测车辆表面上的物体的方法和系统
CN113614779A (zh) * 2019-03-19 2021-11-05 捷豹路虎有限公司 图像处理系统和方法
CN113632447A (zh) * 2018-12-28 2021-11-09 高通股份有限公司 用于更正相机的角度和位置的装置和方法
CN114745498A (zh) * 2018-06-14 2022-07-12 谷歌有限责任公司 捕获子区及通知是否被相机移动所更改的方法和系统
CN115428433A (zh) * 2020-04-27 2022-12-02 高通股份有限公司 采用相位检测自动聚焦(pdaf)光学系统的方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
KR20170029978A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
US10341568B2 (en) * 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10432412B2 (en) * 2016-11-17 2019-10-01 General Electric Company Process control device using power over ethernet with configurable analog and digital interface
CN107302658B (zh) 2017-06-16 2019-08-02 Oppo广东移动通信有限公司 实现人脸清晰的对焦方法、装置和计算机设备
CN107346536B (zh) * 2017-07-04 2020-08-11 广东工业大学 一种图像融合的方法与装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
CN103004178B (zh) * 2010-06-30 2017-03-22 富士胶片株式会社 拍摄装置、程序及拍摄方法
US8933996B2 (en) * 2010-06-30 2015-01-13 Fujifilm Corporation Multiple viewpoint imaging control device, multiple viewpoint imaging control method and computer readable medium
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
US9191649B2 (en) * 2011-08-12 2015-11-17 Qualcomm Incorporated Systems and methods to capture a stereoscopic image pair
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
US9870517B2 (en) * 2011-12-08 2018-01-16 Excalibur Ip, Llc Image object retrieval
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP6168794B2 (ja) 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8773502B2 (en) 2012-10-29 2014-07-08 Google Inc. Smart targets facilitating the capture of contiguous images
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
IL226751A (en) * 2013-06-04 2014-06-30 Elbit Systems Ltd A method and system for coordinating imaging sensors
US20170086791A1 (en) * 2014-06-25 2017-03-30 Samsung Electronics Co., Ltd. Apparatus and method for supporting acquisition of area-of-interest in ultrasound image

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110268449A (zh) * 2017-04-26 2019-09-20 惠普发展公司有限责任合伙企业 在对象上定位感兴趣区域
CN110268449B (zh) * 2017-04-26 2023-06-16 惠普发展公司，有限责任合伙企业 在对象上定位感兴趣区域的方法、装置及机器可读介质
CN111034192B (zh) * 2017-06-29 2022-03-29 皇家飞利浦有限公司 用于生成图像的装置和方法
CN111034192A (zh) * 2017-06-29 2020-04-17 皇家飞利浦有限公司 用于生成图像的装置和方法
CN111213181A (zh) * 2017-07-07 2020-05-29 Time2市场公司 用于节点向量化的方法和系统
US11720996B2 (en) 2017-09-08 2023-08-08 Apple Inc. Camera-based transparent display
CN111095348A (zh) * 2017-09-08 2020-05-01 苹果公司 基于摄像头的透明显示器
CN111527518A (zh) * 2017-11-15 2020-08-11 交互数字Ce专利控股公司 基于超射线表示的使用来处理光场视频的方法
CN111527518B (zh) * 2017-11-15 2023-09-05 交互数字Ce专利控股公司 基于超射线表示的使用来处理光场视频的方法
CN114745498B (zh) * 2018-06-14 2024-05-31 谷歌有限责任公司 捕获子区及通知是否被相机移动所更改的方法和系统
CN114745498A (zh) * 2018-06-14 2022-07-12 谷歌有限责任公司 捕获子区及通知是否被相机移动所更改的方法和系统
CN112513931A (zh) * 2018-08-13 2021-03-16 R-Go机器人有限公司 用于创建单视角合成图像的系统和方法
CN110992394A (zh) * 2018-10-03 2020-04-10 Fei 公司 使用图像分割的对象跟踪
CN113632447A (zh) * 2018-12-28 2021-11-09 高通股份有限公司 用于更正相机的角度和位置的装置和方法
CN113508394A (zh) * 2019-03-01 2021-10-15 康诺特电子有限公司 用于检测车辆表面上的物体的方法和系统
CN109995999A (zh) * 2019-03-14 2019-07-09 Oppo广东移动通信有限公司 场景识别方法、装置、电子设备及存储介质
CN113614779A (zh) * 2019-03-19 2021-11-05 捷豹路虎有限公司 图像处理系统和方法
US11993208B2 (en) 2019-03-19 2024-05-28 Jaguar Land Rover Limited Image processing system and method
CN111862098B (zh) * 2019-04-30 2023-11-24 曜科智能科技（上海）有限公司 基于光场语义的个体匹配方法、装置、设备和介质
CN111862098A (zh) * 2019-04-30 2020-10-30 曜科智能科技（上海）有限公司 基于光场语义的个体匹配方法、装置、设备和介质
CN113484873A (zh) * 2020-03-16 2021-10-08 中国海洋大学 一种水下光场干预成像方法
CN113484873B (zh) * 2020-03-16 2023-12-26 中国海洋大学 一种水下光场干预成像方法
CN115428433A (zh) * 2020-04-27 2022-12-02 高通股份有限公司 采用相位检测自动聚焦(pdaf)光学系统的方法和装置

Also Published As

Publication number Publication date
EP3089449A1 (en) 2016-11-02
EP3089449B1 (en) 2020-03-04
JP2016213825A (ja) 2016-12-15
KR20160129779A (ko) 2016-11-09
US10165254B2 (en) 2018-12-25
US20160323557A1 (en) 2016-11-03

Similar Documents

Publication Publication Date Title
CN106101522A (zh) 使用非光场成像设备获得光场数据的方法和设备
CN105659580B (zh) 一种自动对焦方法、装置及电子设备
US10334151B2 (en) Phase detection autofocus using subaperture images
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
JP2017022694A (ja) ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
CN103907341A (zh) 图像生成装置和图像生成方法
CN103907340A (zh) 图像生成装置和图像生成方法
EP3093822B1 (en) Displaying a target object imaged in a moving picture
KR102621115B1 (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
CN103108121A (zh) 基于图像的移动传感器、多功能摄像系统及其电子装置
KR102082300B1 (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
US20160156844A1 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
WO2013149866A2 (en) Method and device for transforming an image
JP2012015642A (ja) 撮像装置
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
Oliveira et al. Lenslet light field panorama creation: A sub-aperture image stitching approach
JP5209137B2 (ja) 撮像装置
US8994846B2 (en) Image processing apparatus and image processing method for detecting displacement between images having different in-focus positions
JP4752685B2 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161109