CN107787507B - 获得表示图像的锐度级别的配准误差图的装置和方法 - Google Patents

获得表示图像的锐度级别的配准误差图的装置和方法 Download PDF

Info

Publication number
CN107787507B
CN107787507B CN201680034570.XA CN201680034570A CN107787507B CN 107787507 B CN107787507 B CN 107787507B CN 201680034570 A CN201680034570 A CN 201680034570A CN 107787507 B CN107787507 B CN 107787507B
Authority
CN
China
Prior art keywords
image
registration error
error map
interest
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680034570.XA
Other languages
English (en)
Other versions
CN107787507A (zh
Inventor
朱利安·弗勒罗
皮埃尔·赫利尔
贝诺特·范达姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Priority to CN202111493581.3A priority Critical patent/CN114155233A/zh
Publication of CN107787507A publication Critical patent/CN107787507A/zh
Application granted granted Critical
Publication of CN107787507B publication Critical patent/CN107787507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明总体上涉及一种用于获得表示图像的锐度级别的配准误差图的装置和方法。已知基于对目标的3D模型的知识以及相机的固有参数来确定相机相对于目标的位置的许多方法。然而，无论使用何种视觉伺服技术，在图像空间中都不存在控制，并且在伺服期间对象可能离开相机视场。这些方法使用不同属性的视觉信息。提出了获得与感兴趣对象的图像相关的配准误差图，所述配准误差图是通过计算根据所述感兴趣对象的3D模型获得的再聚焦面与基于获取的与所述感兴趣对象相关的四维光场数据的焦栈的交集而产生的。

Description

获得表示图像的锐度级别的配准误差图的装置和方法
技术领域
本公开总体上涉及用于根据四维光场数据获得配准误差图的装置和方法，这种配准误差图可以用于视觉伺服应用，例如表面的视觉引导或质量控制。
背景技术
视觉伺服是一种使用视觉反馈信息来控制诸如机器人等终端用户的运动(或者在某些情况下，人的运动)的技术。该视觉反馈信息是从连接到机器人或者嵌入在机器人中视觉传感器(例如相机)接收的，或者显示在属于终端用户的设备(例如移动电话或平板电脑)的屏幕上。
如在“Path Planning for 3D Visual Servoing：for aWheeled mobile Robot”，H.Mekki&M.Letaiel，IEEE 2013International Conference on Individual andCollective Behaviours in Robotics中所公开的，在视觉伺服中存在两种方法，第一种是基于图像的控制或IBC，第二种是基于位置的控制或PBC。
在IBC中，直接在图像中定义视觉反馈。但是，IBC存在稳定性和收敛性问题。
在PBC(也称为3D视觉伺服)中，在笛卡尔空间中计算控制误差函数，并且从图像中提取图像特征。使用目标的理想模型来确定目标相对于相机框架的位置。已知基于对目标的3D或2D模型的知识以及相机的固有参数来确定相机相对于目标的位置的许多方法。这些方法使用不同属性的视觉信息，例如点、线等。
然而，无论是视觉伺服技术，无论是IBC还是PBC，在图像空间中都不存在控制，并且在伺服期间对象可能离开相机视场，使得难以确定相机和相机的相对姿态。
发明内容
根据本发明的第一方面，提供了一种用于获得被称作配准误差图的图的装置，所述配准误差图表示图像的多个像素的锐度级别，所述装置包括：处理器，被配置为获得与感兴趣对象的图像相关的配准误差图，所述配准误差图是通过计算根据所述感兴趣对象的三维模型获得的再聚焦面与基于获取的与所述感兴趣对象相关的四维光场数据的焦栈(focal stack)的交集而产生的。
根据本发明的实施例，处理器被配置为通过计算感兴趣对象设置在参考位置中时的三维模型的距离图来确定再聚焦面。
根据本发明的实施例，处理器被配置为通过针对要被再聚焦的图像的每个像素确定与构成焦栈的图像中的一个图像相对应的距预定再聚焦面的再聚集距离，计算再聚焦面与焦栈的交集。
根据本发明的实施例，处理器被配置为基于与再聚焦的图像的像素的锐度级别相关的信息，产生要被显示的配准误差图的外观。
根据本发明的实施例，处理器被配置为在装置的显示设备上显示获得的配准误差图。
本发明的另一方面涉及一种用于获得被称为配准误差图的图的方法，所述配准误差图表示图像的多个像素的锐度级别，所述方法包括：获得与感兴趣对象的图像相关的配准误差图，所述配准误差图是通过计算根据所述感兴趣对象的三维模型获得的再聚焦面与基于获取的与所述感兴趣对象相关的四维光场数据的焦栈的交集而产生的。
根据本发明的一个实施例，确定再聚焦面包括计算感兴趣对象设置在参考位置中时的三维模型的距离图。
根据本发明的一个实施例，计算再聚焦面与焦点叠栈的交集包括：针对要被再聚焦的图像的每个像素确定与构成焦栈的图像中的一个图像相对应的距预定再聚焦面的再聚集距离。
根据本发明的一个实施例，所述方法包括：基于与再聚焦的图像的像素的锐度级别相关的信息，产生要被显示的配准误差图的外观。
根据本发明的一个实施例，该方法包括：将所获得的配准误差图显示在显示设备上。
由本公开的元件实现的一些处理可以是计算机实现的。相应地，这样的元件可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合了软件和硬件方面的实施例的形式，其可以在本文中通常被称为“电路”，“模块”或“系统”。此外，这些元件可以采取体现在任何有形表现介质中的计算机程序产品的形式，任何有形表现介质中体现有计算机可用程序代码。
由于本公开的元件可以用软件来实现，因此本公开可以体现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储设备等的存储介质。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号等信号，例如微波或RF信号。
本公开的目的和优点将通过权利要求中特别指出的元件和组合来实现和获得。
应该理解的是，以上一般性描述和以下描述都是示例性的和解释性的，而不是对所要求保护的本发明的限制。
附图说明
图1A示意性地表示全光相机，
图1B表示多阵列相机，
图2示意性地示出了布置在光场相机的图像传感器的感测面上的传感器区域的平面图，
图3示出了包括理想的完美薄透镜模型的示意性光场相机，
图4是示出根据本公开实施例的用于获得表示图像的模糊度级别的配准误差图的装置示例的示意性框图，
图5是用于解释根据本公开实施例的用于获得表示图像的模糊度级别的配准误差图的处理的流程图，
图6表示从数字图像导出的距离图，
图7表示根据获取的4D光场数据计算出的焦栈，
图8示出了根据本公开实施例的通过执行用于获得表示图像的模糊度级别的配准误差图的处理而获得的配准误差图，
图9表示根据本公开实施例的配准误差图。
具体实施方式
如本领域技术人员将理解的，本公开原理的方面可以实现为系统，方法或计算机可读介质。因此，本公开原理的方面可以采取完全硬件实施例、完全软件实施例(包括固件，驻留软件，微代码等等)，或者组合了软件和硬件方面的在本文通常被称为“电路”、“模块”或“系统”的实施例的形式。此外，本公开原理的各方面可以采取计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质(a)的任何组合。
通过在主透镜和传感器之间布置微透镜阵列，全光相机能够测量沿着与传感器相交的每束光线传播的光量。这样的相机获取的数据被称为光场数据。可以对这些光场数据进行处理以根据不同视点重建场景的图像。可以使用光场数据来产生焦栈，焦栈包括各自具有不同的再聚焦深度的图像的集合。结果，用户可以改变图像的焦点。与传统相机相比，全光相机可以获得附加的光信息分量，以通过后处理实现根据不同视点和再聚焦深度的场景图像重建。
因此，能够在视觉伺服和视觉引导的上下文中使用光场数据的这些特定性，其中任何有助于找到感兴趣对象的正确位置的附加信息是有用的。
图1A是示意性地表示全光相机100的图。光场相机能够记录四维(或4D)光场数据。全光相机100包括主透镜101、微透镜阵列102和图像传感器104。
图1B表示多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。
在如图1A所示的全光相机100的示例中，主透镜101接收来自主透镜101的物场中的对象(图中未示出)的光，并使光穿过主透镜101的像场。微透镜阵列102包括以二维阵列布置的多个微透镜103。
可以对由光场相机捕获的数据进行后处理，以从不同视点重建场景的图像。由于光场相机能够从略微改变的视点获取同一场景的部分视图的集合，所以能够通过组合这些不同的部分视图来创建具有定制焦平面的图像。
图2是示意性地示出布置在光场相机的图像传感器的感测面上的传感器区域示例的平面图。如图2所示，图像传感器200包括布置成二维阵列的多个像素201，并且通过微透镜阵列202接收来自对象的光。微透镜阵列202的每个微透镜203具有将光引导到图像传感器200上的圆形区域204的透镜属性。圆形区域204的外轮廓可以表示在图像传感器200上形成并获取的微透镜图像的形状，该形状取决于微透镜的形状203。在图像传感器200上的所有像素201中，仅实质上位于圆形区域204内部的像素201有助于成像。换句话说，有助于成像的每个像素201的像素区域(或感测区域)实质上位于圆形区域204的内部。
光场相机的图像传感器200记录包括布置在二维(或2D)图像内的2D微透镜图像的集合在内的图像。微透镜阵列202的每个微透镜203形成由圆形区域204表示的微透镜图像。传感器200上的像素201的坐标由图像传感器200的表面上的x-y坐标系中的有序对(x，y)指示，如图2所示。距离p是两个连续微透镜图像之间的距离。微透镜203被选择为使得距离p大于像素201的大小。距离w是两个连续的微透镜图像之间的视差距离。如图2所示，微透镜图像通过它们在图像传感器200的表面上的i-j坐标系中的各自坐标(i，j)来指示。
如上所述，仅实质上位于圆形区域204内部的像素201通过微透镜203接收光。微透镜间空间可已被掩蔽以防止光子穿到微透镜203的外部。如果微透镜203具有正方形形状并且不形成微透镜间空间，则不需要这种掩蔽。
微透镜图像(i，j)的中心位于x-y坐标系中的坐标(xi，j，yi，j)处的图像传感器200上。θ表示像素201的方形点阵与微透镜204的方形点阵之间的角度。微透镜图像的中心的坐标(xi，j，yi，j)可以通过考虑(x0，0，y0，0)为微透镜图像(0，0)的像素坐标的以下方程(1)而推导出：
Figure BDA0001506000180000061
以像素为单位给出距离p和w。它们通过乘以像素大小δ(以米为单位)：W＝δw和P＝δp，而分别被转换成距离的物理单位，例如米，P和W。这些距离取决于光场相机的特性。
这里，将参照图3来讨论光场相机的示例性光属性，图3示出了包括理想的完美薄透镜模型的示意性光场相机。
主透镜301具有焦距F和孔径Φ。微透镜阵列302包括具有焦距f的微透镜303。微透镜阵列302的间距是φ。微透镜阵列302位于距主透镜301的距离D处并且距传感器304的距离d处。对象(图中未示出)位于距主透镜301的距离z处。该对象被主透镜301聚焦在距主透镜301的距离z′处。图3示出了D>z′的情况。在这种情况下，根据d和f，微透镜图像可以在传感器304上聚焦。
视差W随对象与主透镜301之间的距离z而变化。W和z之间的关系的建立依赖于薄透镜方程(2)和泰勒斯定律方程(3)
Figure BDA0001506000180000062
Figure BDA0001506000180000063
然后，通过混合方程(2)和(3)来推导以下方程(4)
Figure BDA0001506000180000064
W和z之间的关系不假设微透镜图像是聚焦的。根据以下薄透镜方程，微透镜图像严格聚焦：
Figure BDA0001506000180000071
光场相机的主要属性是能够计算二维再聚焦图像，再聚焦距离可以在图像拍摄后可自由调整。
尺寸为[Nx，Ny](其中Nx和Ny分别表示沿着x轴和y轴的像素的数目)的4D光场图像L通过移位和缩放微透镜图像被投影到2D图像中，然后将它们相加成2D图像。微透镜图像的移位量控制再聚焦距离。由以下方程来定义从4D光场图像L中的坐标(x，y，i，j)的像素到再聚焦的2D图像坐标(X，Y)的投影：
Figure BDA0001506000180000072
其中s控制2D再聚焦图像的大小，g控制再聚焦图像的聚焦距离。通过考虑方程(1)，该方程(6)可以被重写为方程(7)：
Figure BDA0001506000180000073
参数g可以表示为如方程(8)中的p和w的函数。参数g表示必须对微透镜图像执行的缩放，使用微透镜图像的中心作为参考，使得相同对象的各种缩放视图被叠加。
Figure BDA0001506000180000074
方程(7)变为：
Figure BDA0001506000180000075
图4是示出了根据本公开实施例的用于获得表示图像的模糊度级别的配准误差图的装置示例的示意性框图。
装置400包括通过总线406连接的处理器401、存储单元402、输入装置403、显示设备404和接口单元405。当然，计算机装置400的组成元件可以通过除总线连接以外的连接而连接。
处理器401控制装置400的操作。存储单元402存储要由处理器401执行的至少一个程序，以及各种参数，包括由光场相机获取和提供的4D光场图像的数据，由处理器401执行的计算所使用的参数，由处理器401执行的计算的中间数据等等。处理器401可以由任何已知和合适的硬件或软件或硬件和软件的组合形成。例如，处理器401可以由诸如处理电路等专用硬件形成，或者由诸如执行其存储器中存储的程序的CPU(中央处理单元)的可编程处理单元形成。
存储单元402可以由能够以计算机可读方式存储程序、数据等的任何合适的存储器或装置形成。存储单元402的示例包括诸如半导体存储器设备之类的非暂时性计算机可读存储介质以及加载到读取和写入单元中的磁、光或磁光记录介质。该程序使得处理器401执行如下文参照图5所描述的用于获得表示根据本公开实施例的图像的模糊度级别的配准误差图的处理。
输入设备403可以由键盘，诸如鼠标之类的指点设备等形成以供用户使用以输入命令，使用户对感兴趣对象的三维(或3D)模型的选择用于定义再聚焦面。输出设备404可以由显示设备形成，以例如显示图形用户界面(GUI)、根据本公开的实施例产生的图像。例如，输入设备403和输出设备404可以由触摸屏面板一体地形成。
接口单元405提供装置400和外部装置之间的接口。接口单元405可以通过有线或无线通信与外部装置进行通信。在实施例中，外部装置可以是光场相机。在这种情况下，由光场相机获取的4D光场图像的数据可以通过接口单元405从光场相机输入到装置400，然后存储在存储单元402中。
在该实施例中，示例性地讨论了装置400与光场相机分离，并且它们可以经由有线或无线通信彼此通信，然而应当指出，装置400可以与这种光场相机集成在一起。在该后一种情况下，例如装置400可以是便携式设备，例如嵌入光场相机的平板电脑或智能手机。
图5是用于解释根据本公开实施例的用于获得表示图像的模糊度级别的误差配准图的处理的流程图。
在用于获得误差配准图的处理的第一阶段Ph1中，根据感兴趣对象的三维模型确定再聚焦面。第一阶段Ph1包括步骤501至503。
在步骤501期间，处理器401在装置400的显示器404上执行GUI功能。该GUI功能允许装置400的用户从装置400的存储单元402中存储的感兴趣对象的多个3D模型中选择感兴趣对象的3D模型。用户在显示器404上的GUI上选择3D模型可以通过使用指点设备指向与感兴趣对象相对应的3D模型来进行。在本公开的另一个实施例中，例如通过解码与对象或场景相关联的多维码来自动选择感兴趣对象的3D模型。多维码例如由嵌入在装置400中的相机获取，或者经由有线或无线通信从外部装置发送。在后一种情况下，多维码的解码可以由外部装置执行，并且将解码的结果发送到装置400。然后，将所选择的3D模型存储在存储单元402中。
一旦选择了感兴趣对象的3D模型，则在步骤502中选择对象的视点。在本公开的实施例中，可以在与感兴趣对象相关联的多维码中指定该视点或参考位置。在本公开的另一个实施例中，装置400的用户可以使用例如指点设备自己选择视点，并将3D模型定位在他所选择的位置。然后将与所选择的观点相关的信息存储在装置400的存储单元402中。
在步骤503中，计算所选择的感兴趣对象的3D模型被设置在参考位置中时的距离图。参照图6，距离图60是数字图像61的导出表示。距离图60用到最近的障碍像素的距离63标记数字图像61的每个像素62。最常见类型的障碍像素是二值图像61中的边界像素。距离图60由装置400的处理器401计算。
回到图5，在用于获得误差配准图的处理的第二阶段Ph2中，基于与感兴趣对象有关的4D光场数据和在第一阶段Ph1期间确定的再聚焦面来计算感兴趣对象的图像，并且根据该再聚焦图像获得配准误差图。第二阶段Ph2包括步骤504至509。
在步骤504中，由装置400获取与感兴趣对象相关的4D光场数据。在本公开的实施例中，4D光场数据由诸如光场相机等外部装置获取。在本实施例中，4D光场数据可以通过接口单元405从光场相机输入到装置400，然后存储在存储单元402中。在本公开的另一个实施例中，装置400嵌入了光场相机。在这种情况下，4D光场数据由设备400的光场相机获取，然后存储在存储单元402中。
在步骤505中，处理器401根据所获取的与感兴趣对象相关的4D光场数据来计算焦栈。参照图7，焦栈70是定义了图像立方体的N个再聚焦图像R_n(其中n∈[1，N])的集合，其中N是用户选择的图像数目。对应于由方程(4)和(8)定义的z_min和z_max之间的聚焦距离的范围，针对在g_min和g_max之间线性变化的g，计算N个再聚焦图像。另一种选择是对应于由方程(4)定义的z_min和z_max之间的聚焦距离的范围，计算焦栈，其中w从w_min到w_max线性变化。g或w的最小最大边界由用户定义，以便包含聚焦距离在z_min和z_max内的再聚焦图像。
本实施例中描述的焦栈70的计算是假定由具有透镜阵列和可选地主透镜的单个图像传感器记录4D光场数据。然而，焦栈70的计算不限于由这种类型的光场相机记录的4D光场数据，因此应该注意的是，能够基于任何类型的光场相机记录的4D来计算再聚焦图像的焦栈。
返回图5，在步骤506中，处理器401计算在第一阶段Ph1期间确定的再聚焦面与在步骤505期间计算的焦栈70的交集。
参照图8，对于要被再聚焦的图像的坐标(x，y)的每个像素80，处理器401在步骤506期间确定距在步骤503期间计算的距离图的聚焦距离z。实际上，对于图像的每个像素(x，y)，对应的距离图关联距离信息Z。因此，对于要被再聚焦的图像81的每个像素(x，y)，通过查阅与距离图的像素(x，y)相关联的距离信息Z，从距离图中检索聚焦距离z。再聚焦距离z对应于构成焦栈82的图像Rn中的一个。
然后返回图5，在步骤507中的，处理器401通过组合属于焦栈与再聚焦面的交集的坐标(x，y，z)的所有像素来产生再聚焦图像。
在步骤608中，装置400的处理器401计算配准误差图。如图9所示，配准误差图90用与所述像素92的模糊度级别相关的信息93来标记数字图像92的每个像素91。例如，与模糊度相关的信息93可以是包括在0和1之间的值，0表示模糊度的最高级别，1表示锐度的最高级别(或模糊度的最低级别)，对像素的模糊度级别加以指示的值的增量例如是0.25。换句话说，指示像素的模糊度级别的值可以取以下值：0、0.25、0.5、0.75或1，值0指示模糊度的最高值，值1指示模糊度的最低值。因此，在图9上表示的图像92的左上角是锐化的，这是由于表示与图像92的左上角的像素91相关联的模糊度级别的信息93的值等于1。相反，图像92的右下角是模糊的，这是由于表示与图像92的右下角的像素91相关联的模糊度级别的信息93的值等于0。
返回图5，在步骤509中，处理器401触发在装置400的输出设备404上显示配准误差图。输出设备404上显示的配准误差图可以采取不同的外观。在本公开的实施例中，配准误差图采取再聚焦图像本身的外观；也就是说，装置400的终端用户看到输出装置404上显示的再聚焦图像，再聚焦图像的一些部分可以依赖于对像素的模糊度级别加以指示的信息的值而可以显现为模糊或锐化。
在本公开的另一个实施例中，配准误差图可以采取双色图像的外观。例如，如果与模糊度相关的信息的值是0，则对应的像素显现为红色，并且如果与模糊度相关的信息的值是1，则对应的像素显现为蓝色。对于具有与0和1之间的模糊度相关的信息的值的像素，所述像素依赖于其模糊度级别，以混合的红色阴影或蓝色的混合阴影显现。在本公开的该实施例中，装置400的处理器401基于与模糊度级别相关的信息的值来确定与图像的每个像素相关联的颜色，并且然后产生配准误差图的外观以显示在装置400的输出设备404上。
如上所述用于获得配准误差图的方法的优点在于，其依赖于使用能够产生在诸如3D面等复合再聚焦面上再聚焦的图像的4D光场数据。一旦确定了复合再聚焦面，通过计算再聚焦面与根据所获得的4D光场数据计算出的焦栈的交集来获得再聚焦图像。对于每个像素获得与所述像素的模糊度级别相关的再聚焦图像信息，使得能够计算配准误差图。由于再聚焦面是复面，所以配准误差图反映出在正确视点下当前没有观看到感兴趣对象，即配准误差图向装置400的终端用户给出与如何终端用户应当相对于感兴趣对象围绕初始点如何移位他的视点有关的指导信息，以获得感兴趣对象的锐化图像。
因此，只要装置400在输出设备404上显示感兴趣对象的锐化图像，或者一旦配准误差图指示对应于感兴趣对象的像素是锐化的，终端用户就知道感兴趣对象是在正确的视点下观看到的。
这种方法提供了一种简单和用户友好的视觉引导解决方案。
如上所述的用于获得配准误差图的方法的应用是终端用户是人或机器人的视觉引导。
在本公开的一个实施例中，终端用户是拥有嵌入了光场相机的装置400(例如平板电脑)的人。
视觉引导在以下情况下是有用的：终端用户必须关于感兴趣对象(例如博物馆中的雕像)而精确地定位，此时关于雕像的适当定位触发在装置400的输出设备404上显示与雕像相关的信息。
首先，感兴趣对象的3D模型应当是可用的。例如，感兴趣对象的这种3D模型可以已经存储在装置400的存储单元402中，因为终端用户例如下载了由收藏有雕像的博物馆开发的应用程序。在另一个示例中，感兴趣对象的3D模型在发生触发事件之后从服务器下载并存储在存储单元402上。这样的触发事件例如是对由装置400的相机获取的与感兴趣对象相关的多维码的解码，多维码嵌入了能够从中下载感兴趣对象的3D模型信息，例如，URL(统一资源定位符)。
然后由装置400的处理器401执行根据本公开实施例的用于获得配准误差图的方法的第一阶段Ph1。在本公开的实施例中，用于获得配准误差图的方法的第一阶段Ph1由外部装置执行。然后，在第一阶段Ph1期间获得的距离图通过接口单元405从外部装置输入到装置400，然后被存储在存储单元402中。
当获取到与感兴趣对象相关的4D光场数据时，执行根据本公开实施例的用于获得配准误差图的方法的第二阶段Ph2，并且在装置400的输出装置404上显示感兴趣对象的配准误差图。
如果在装置400的输出设备404上显示的配准误差图显现为模糊图像，则意味着装置400的终端用户关于感兴趣对象没有正确定位，即，感兴趣对象不是根据确定再聚焦面的视点而观看的。
基于这种视觉反馈，终端用户移位他的视点，直到在装置400的输出设备404上当前显示的配准误差图是锐化的为止，意味着适当的感兴趣对象是在适当视点下观看的，即是根据确定再聚焦面的视点而观看的。
输出设备404上显示的配准误差图的模糊度的强度和形状，或者指示模糊度级别的颜色红或蓝的量有助于终端用户确定他应该在哪个方向上移动装置400以移位当前观看到感兴趣对象的视点。
当终端用户是机器人时，处理器401可以通过装置400的接口单元405将与数字图像的像素的模糊度级别相关的信息发送到控制机器人的运动的装置。
基于与数字图像的像素的模糊度相关的这些信息，控制机器人的运动的装置可以确定机器人必须在哪个方向上移动以获得感兴趣对象的锐化图像。
此外，可以使用诸如GPS(全球定位系统)之类的定位系统或任何室内定位系统来帮助终端用户找到观看感兴趣对象的适当位置。
在本发明的实施例中，为了增加视觉引导效果，配准误差图的模糊度可以在配准误差图的某些区域中有意地被夸大。因此，基于这种视觉反馈，终端用户知道装置400在哪个方向上移动以到达参考位置。
如上所述用于获得配准误差图的方法的另一个应用是在由终端用户是人或机器人执行的质量控制过程期间检查表面。
在本公开的实施例中，终端用户是拥有嵌入光场相机的装置400(例如平板电脑)的人。
在终端用户必须检查感兴趣对象的表面(例如飞机机翼的一部分)的情况下，将图像再聚焦在再聚焦面上可能是有用的。
感兴趣的飞机机翼部分的3D模型应当是可用的。例如，要检查的飞机机翼部分的这种3D模型可以已经存储在装置400的存储单元402中。
然后由装置400的处理器401执行根据本公开实施例的用于获得配准误差图的方法的第一阶段Ph1。在本公开的实施例中，用于产生配准误差图的方法的第一阶段Ph1由外部装置执行。然后，在第一阶段Ph1中获得的距离图通过接口单元405从外部装置输入到装置400，然后被存储在存储单元402中。
当获取与要检查的飞机机翼部分相关的4D光场数据时，执行根据本公开实施例的用于产生配准误差图的方法的第二阶段Ph2，并且将要检查的飞机机翼部分的配准误差图显示在装置400的输出设备404上。
如果在装置400的输出设备404上显示的配准误差图显现为模糊图像，则意味着飞机机翼的表面具有缺陷。事实上，当被检查的飞机机翼部分的表面与无缺陷的再聚焦面的3D模型相比有缺陷时，被检查的飞机机翼部分的表面的缺陷在装置400的输出设备404上显示的配准误差图上被指示为模糊。
在这个实施例中，假设是终端用户正在根据适当视点来观看被检查的飞机机翼部分，因此由配准误差图表示的模糊度是由于飞机机翼部分的表面的缺陷引起的。例如，终端用户可以使用诸如GPS之类的定位系统或者任何室内定位系统来找到适当位置来观看感兴趣对象。
在本公开的实施例中，为了使终端用户更容易地检测到缺陷，配准误差图所指示的模糊度可以在配准误差图的某些区域中有意地被夸大。
尽管以上参考具体实施例描述了本公开，但是本公开不限于特定实施例，并且对于本领域技术人员来说，落入本公开范围内的修改将是显而易见的。
在参考以上说明性实施例之后，本领域技术人员将进行许多进一步的修改和变化，所述说明性实施例仅以示例的方式给出，并不意在限制本公开的范围，其仅由所附权利要求确定。具体地，来自不同实施例的不同特征可以在适当的情况下互换。

Claims (10)

1.一种用于获得被称为配准误差图的图的装置，所述配准误差图表示图像的多个像素的锐度级别，所述装置包括处理器，所述处理器被配置为：
通过计算感兴趣对象设置在参考位置中时的三维模型的距离图来确定再聚焦面；以及
通过计算所述再聚焦面与焦栈的交集来获得与所述感兴趣对象的图像相关的配准误差图，所述焦栈是根据获取的与所述感兴趣对象相关的四维光场数据生成的。
2.根据权利要求1所述的装置，其中所述处理器被配置为通过针对要被再聚焦的图像的每个像素，确定与构成焦栈的图像中的一个图像相对应的距预定再聚焦面的再聚集距离，来计算再聚焦面与焦栈的交集。
3.根据前述权利要求1或2所述的装置，其中，所述处理器被配置为基于与再聚焦的图像的像素的锐度级别相关的信息，产生要显示的配准误差图的外观。
4.根据前述权利要求1或2所述的装置，其中所述处理器被配置为在所述装置的显示设备上显示获得的配准误差图。
5.一种用于获得被称为配准误差图的图的方法，所述配准误差图表示图像的多个像素的锐度级别，所述方法包括：
通过计算感兴趣对象设置在参考位置中时的三维模型的距离图来确定再聚焦面；以及
通过计算所述再聚焦面与焦栈的交集来获得与所述感兴趣对象的图像相关的配准误差图，所述焦栈是根据获取的与所述感兴趣对象相关的四维光场数据生成的。
6.根据权利要求5所述的方法，其中，计算再聚焦面与焦栈的交集包括：针对要被再聚焦的图像的每个像素，确定与构成焦栈的图像中的一个图像相对应的距预定再聚焦面的再聚集距离。
7.根据权利要求5或6所述的方法，还包括：基于与再聚焦的图像的像素的锐度级别相关的信息，产生要被显示的配准误差图的外观。
8.根据权利要求5或6所述的方法，包括：在显示设备上显示所获得的配准误差图。
9.一种处理器可读介质，其中存储有用于使处理器执行根据权利要求5至8中任一项所述的用于获得表示图像的锐度级别的配准误差图的方法的指令。
10.一种非临时性存储介质，承载程序代码的指令，所述指令在所述程序在计算设备上执行时执行根据权利要求5至8中任一项所述的用于获得表示图像的锐度级别的配准误差图的方法。
CN201680034570.XA 2015-06-17 2016-06-16 获得表示图像的锐度级别的配准误差图的装置和方法 Active CN107787507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111493581.3A CN114155233A (zh) 2015-06-17 2016-06-16 获得表示图像的锐度级别的配准误差图的装置和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305939.9A EP3106912A1 (en) 2015-06-17 2015-06-17 An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
EP15305939.9 2015-06-17
PCT/EP2016/063937 WO2016202946A1 (en) 2015-06-17 2016-06-16 An apparatus and a method for obtaining a registration error map representing a level of sharpness of an image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111493581.3A Division CN114155233A (zh) 2015-06-17 2016-06-16 获得表示图像的锐度级别的配准误差图的装置和方法

Publications (2)

Publication Number Publication Date
CN107787507A CN107787507A (zh) 2018-03-09
CN107787507B true CN107787507B (zh) 2021-12-28

Family

ID=53724143

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111493581.3A Pending CN114155233A (zh) 2015-06-17 2016-06-16 获得表示图像的锐度级别的配准误差图的装置和方法
CN201680034570.XA Active CN107787507B (zh) 2015-06-17 2016-06-16 获得表示图像的锐度级别的配准误差图的装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111493581.3A Pending CN114155233A (zh) 2015-06-17 2016-06-16 获得表示图像的锐度级别的配准误差图的装置和方法

Country Status (6)

Country Link
US (2) US10818020B2 (zh)
EP (3) EP3106912A1 (zh)
JP (2) JP7013244B2 (zh)
KR (2) KR102595397B1 (zh)
CN (2) CN114155233A (zh)
WO (1) WO2016202946A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107084794B (zh) * 2017-04-10 2021-06-22 东南大学 基于光场分层成像技术的火焰三维温度场测量系统及其方法
US10699374B2 (en) 2017-12-05 2020-06-30 Microsoft Technology Licensing, Llc Lens contribution-based virtual reality display rendering
CN110349132B (zh) * 2019-06-25 2021-06-08 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
CN103471715A (zh) * 2013-09-02 2013-12-25 北京航空航天大学 一种共光路组合式光场光谱成像方法及装置
CN104641399A (zh) * 2012-02-23 2015-05-20 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2428325B (en) * 2003-10-09 2007-08-01 Univ York Image Recognition
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2011022796A (ja) * 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR101756910B1 (ko) * 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US20140176592A1 (en) 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
JP2012205111A (ja) 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor
US8941722B2 (en) 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
CN103366356A (zh) 2012-04-06 2013-10-23 北京三星通信技术研究有限公司 通用标定系统和方法及其集成成像重构系统和方法
EP2842077A4 (en) 2012-04-26 2016-04-20 Univ Columbia SYSTEMS, METHODS AND MEDIA FOR INTERACTIVE REFOCUSING OF PICTURES
CN104303493A (zh) 2012-05-09 2015-01-21 莱特洛公司 用于改进的光场捕获和操作的光学系统的优化
EP2675173A1 (en) 2012-06-15 2013-12-18 Thomson Licensing Method and apparatus for fusion of images
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
JP6047025B2 (ja) 2013-02-01 2016-12-21 キヤノン株式会社 撮像装置及びその制御方法
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
US9224194B2 (en) * 2014-01-21 2015-12-29 Adobe Systems Incorporated Joint video deblurring and stabilization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
CN104641399A (zh) * 2012-02-23 2015-05-20 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
CN103471715A (zh) * 2013-09-02 2013-12-25 北京航空航天大学 一种共光路组合式光场光谱成像方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Partial Light Field Tomographic Reconstruction From a Fixed-Camera Focal Stack;Antoine Mousnier等;《arXiv》;20150306;第2页左栏第2-3段、第2页右栏3段、第4页左栏2-3段、图8，第6页右栏A-B节 *

Also Published As

Publication number Publication date
KR20230152168A (ko) 2023-11-02
US20180189965A1 (en) 2018-07-05
EP3311214A1 (en) 2018-04-25
CN114155233A (zh) 2022-03-08
EP4235257A1 (en) 2023-08-30
JP7013244B2 (ja) 2022-01-31
WO2016202946A1 (en) 2016-12-22
JP2022058658A (ja) 2022-04-12
JP2018519733A (ja) 2018-07-19
US10818020B2 (en) 2020-10-27
US20210012515A1 (en) 2021-01-14
KR102595397B1 (ko) 2023-10-27
CN107787507A (zh) 2018-03-09
US11694349B2 (en) 2023-07-04
EP3311214B1 (en) 2023-05-24
EP3106912A1 (en) 2016-12-21
JP7204021B2 (ja) 2023-01-13
KR20180018563A (ko) 2018-02-21

Similar Documents

Publication Publication Date Title
US11170569B2 (en) System and method for virtual modeling of indoor scenes from imagery
US10740975B2 (en) Mobile augmented reality system
US10334168B2 (en) Threshold determination in a RANSAC algorithm
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
TW201709718A (zh) 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品
JP2019075082A (ja) 深度値推定を用いた映像処理方法及び装置
US9361731B2 (en) Method and apparatus for displaying video on 3D map
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
EP3296952A1 (en) Method and device for blurring a virtual object in a video
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
US20180322671A1 (en) Method and apparatus for visualizing a ball trajectory
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN111105351B (zh) 一种视频序列影像拼接方法及装置
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
Fallqvist Automatic Volume Estimation Using Structure-from-Motion Fused with a Cellphone's Inertial Sensors
Edwin et al. Application 3D Reconstruction with HIS Method and Voxel Cube
KR20230165545A (ko) 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치
WO2017145755A1 (ja) 情報処理装置および情報処理方法
CN116433848A (zh) 屏幕模型生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190522

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant