CN108174179A - 用于对成像设备进行建模的方法、相应的计算机程序产品以及计算机可读承载介质 - Google Patents

用于对成像设备进行建模的方法、相应的计算机程序产品以及计算机可读承载介质 Download PDF

Info

Publication number
CN108174179A
CN108174179A CN201711214075.XA CN201711214075A CN108174179A CN 108174179 A CN108174179 A CN 108174179A CN 201711214075 A CN201711214075 A CN 201711214075A CN 108174179 A CN108174179 A CN 108174179A
Authority
CN
China
Prior art keywords
optical system
imaging device
characterisitic parameter
parameter
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711214075.XA
Other languages
English (en)
Other versions
CN108174179B (zh
Inventor
沃特尔·德拉茨克
劳伦·布朗德
保罗·克尔比里欧
奥利维尔·布瑞勒尔
纪尧姆·波伊森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108174179A publication Critical patent/CN108174179A/zh
Application granted granted Critical
Publication of CN108174179B publication Critical patent/CN108174179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及用于对成像设备进行建模的方法、相应的计算机程序产品以及计算机可读承载介质。成像设备包括图像传感器和光学系统，该光学系统包括限定光学系统的入瞳的孔径光阑，针对成像设备的给定配置，该方法包括以下步骤：‑估计(21)成像设备的特征特性参数的集合，该特征特性参数的集合包括：表示所述像面与相对于光学系统与图像传感器共轭的传感器共轭平面之间的距离的第一特性参数、表示传感器共轭平面与入瞳之间的距离的第二特性参数、表示光学系统的放大率的第三特性参数；‑确定(22)分别作为第一和第三特性参数以及第二和第三特性参数的函数的第一和第二建模数据；‑建立(23)作为第二和第三建模数据的函数的成像设备的模型。

Description

用于对成像设备进行建模的方法、相应的计算机程序产品以 及计算机可读承载介质
技术领域
本公开涉及成像设备建模。
本公开涉及用于对成像设备进行建模的方法，尤其但非排他地，用于尺寸测量应用和立体渲染。
出于本公开的目的，“成像设备”或“照相机”应该指包括图像传感器和光学系统的、用于将场景的图像形成到光传感器上的光学成像系统。
背景技术
本部分向各领域读者介绍了与以下所描述和/或所请求保护的本原理的各个方面相关的内容。相信该讨论有助于向读者提供辅助对本原理的各个方面的更好理解的背景信息。因此，应当理解，将从这方面解读这些声明，而不应被认为是对现有技术的承认。
最近十年，存在对于计算机图形和虚拟现实应用的三维(3D)内容的重要需求。基于图像的3D重建是一种使得从真实物体或真实场景的不同观察点获取的一组图像中获得真实物体或真实场景的3D表示(即，3D模型)成为可能的技术。更一般地，目的在于从该组图像确定在3D真实空间参考中的这些图像上的可见点的二维(2D)坐标。
因为传统的图像捕捉设备获取作为从3D场景到2D平面(图像传感器)的投影的图像，所以深度信息在获取过程期间被丢失。对应于给定图像点的3D点被约束到位于视线上。因此，从单个图像看，不可能确定该线上的哪个点对应于像点。如果从不同观察点获取的两个图像是可用的，则可以发现3D点的位置是两条投影射线的交叉点。因此，为了获得3D表示，通常使用立体成像设备，例如，一对数码相机。
从多个图像创建场景的3D表示(反向投影过程)是从真实场景获得2D图像(“正向投影过程”)的逆过程。因此，需要理解如何针对每个相机将3D场景映射到2D图像，从而从由这些相机获取的2D图像中推断出该场景的3D表示。这是为什么需要每个相机的图像形成过程的精确描述的原因。这被称为相机校准(camera calibration)。
相机校准包括确定场景的3D点的3D坐标与它们在图像中的投影(被称为像点)的2D坐标之间的关系。这是基于图像的3D重建过程的起点。相机校准是从所获取的图像中获得精确的度量信息(尤其是对于尺寸测量应用来说)的重要步骤。实际上，相机的光学系统(一般也被称为“主透镜”)是基于光学透镜的特定部署的复杂的多透镜系统，并且必须考虑由这种光学系统引入的缺陷(例如，几何失真)。
为了对相机的图像形成过程进行建模，已经提议了不同的已知校准模型。在这些模型中，存在针孔模型(也称为中心投影模型)、薄透镜模型、以及厚透镜模型。
使用针孔模型执行校准，包括估计用于将物体参照中的场景的3D坐标点P(x3d,y3d,z3d)转换到与图像参照中表示的该点相关联的图像2D坐标I(x2d,y2d)的变换。该变换可以被表示为包括该模型的参数的多维矩阵的形式。
相机的校准模型由相机的特征特性参数限定。对于尺寸测量应用，还必须知道外部参数，即，物体坐标系统中的相机位置和定向。
但是，针孔模型是基于图像传感器平面的虚拟位置。因此，从所获取的图像中重新映射物点云的后向投影过程，需要知道物面与虚拟图像传感器平面之间的距离。该模型不能遵从成像系统几何结构(传感器-透镜-物体三元组的几何结构)，使得后向投影过程不可靠。
提议了使用七个特性参数的集合的另一已知的校准模型，以提高模型精确性。这种已知的校准模型考虑与相机的孔径光阑(aperture iris diaphragm)(一般也被称为孔径光圈)相关联的入瞳和出瞳的位置。通常情况下，孔径光阑限制通过光学系统的光束的大小。光瞳是光学系统的孔径光阑的共轭。其对应于由孔径光阑限制的表面，光束借助于该表面通过光学系统。光瞳是在物体空间中所谓的“入瞳”(entrance pupil)，并且对应于通过光学系统的上游部分的孔径光阑的图像。光瞳是在图像空间中所谓的“出瞳”(exitpupil)，并且对应于通过光学系统的下游部分的孔径光阑的图像。
针对该已知模型所需的七个参数的集合是：光学系统的主要主平面和辅助主平面的位置、入瞳和出瞳的位置、入瞳和出瞳的大小、以及辅助主平面和像面之间的距离。该模型需要手动确定大量的参数，这些参数中的一些难以精确评估(例如，主要主平面和辅助主平面的位置)。无论光学系统的光学公式是什么，这种模型在实际中的实现都很复杂。
因此，需要改善成像设备的建模过程。
发明内容
在说明书中提到“一个实施例”、“实施例”、以及“示例的实施例”指示所描述的实施例可以包括特定特点、结构、或特征，但不是每个实施例都必须包括该特定特点、结构、或特征。此外，这些短语不一定指代相同的实施例。此外，当结合实施例描述特定特点、结构、或特征时，本领域技术人员可以结合被明确描述或未被明确描述的其他实施例来理解这些特点、结构、或特征。
本原理的特定实施例提议了一种用于对包括图像传感器和光学系统的成像设备进行建模的方法，该图像传感器被布置在光学系统的像面中，该光学系统包括限定光学系统的入瞳的孔径光阑，针对所述成像设备的给定配置，该方法包括以下步骤：
-估计所述成像设备的特征特性参数的集合，包括：
*表示所述像面与相对于光学系统与图像传感器共轭的传感器共轭平面之间的距离的第一特性参数；
*表示所述传感器共轭平面与入瞳之间的距离的第二特性参数；
*表示所述光学系统的放大率的第三特性参数；
-确定作为所述第一和第三特性参数的函数的第一建模数据；
-确定作为所述第二和第三特性参数的函数的第二建模数据；
-建立作为所述第二和第三建模数据的函数的成像设备的模型。
因此，该特定实施例提供了用于对成像设备进行建模的简单且精确的方法。该方法依赖于考虑成像设备的有限数量的特征特性参数的精准方法，使得模型建立方法比现有方法更加简单。
根据特定特点，第一建模数据包括被限定在所述像面与布置于所述成像设备的光轴上的第一不变投影点之间的第一不变距离，所述第一不变距离满足以下公式：
其中，Z是所述像面与所述传感器共轭平面之间的距离；M是所述光学系统的放大率。
根据特定特点，第二建模数据是限定在所述像面与位于所述成像设备的光轴上的第二不变投影点之间的第二不变距离，所述第二不变距离满足以下公式：
其中，D是所述传感器共轭平面与入瞳之间的距离；M是光学系统的放大率。
根据特定特点，所述第二特性参数通过校准被估计。
根据特定特点，所述第二特性参数被作为所述特征特性参数的集合中的第四特性参数和第一特性参数的函数被估计得出，该第四特性参数表示所述像面与入瞳之间的距离。
根据特定特点，所述特征特性参数的集合还包括表示光轴相对于像面的位置的第五特性参数。
根据特定特点，所述特征特性参数的集合还包括表示入瞳的尺寸的第六参数。
根据特定特点，所述成像设备的给定配置包括属于包括以下各项的群组的设置：焦点的设置、光学系统的主平面与所述像面之间的距离的设置。
通过语言，光学系统的主平面与像面之间的距离通常被称为“焦距”。但是，仅当光学系统被聚焦到无限远时，该距离才对应于焦距。
在另一实施例中，本原理涉及一种包括程序代码指令的计算机程序产品，用于当所述程序在计算机或处理器上被执行时，(在其不同实施例中的任意实施例中)实现上述方法。
在另一实施例中，本原理涉及一种存储程序的非暂态计算机可读承载介质，当该程序被计算机或处理器执行时使得(在其不同实施例中的任意实施例中)计算机或处理器执行上述方法。
在另一实施例中，本原理涉及一种用于对包括图像传感器和光学系统的成像设备进行建模的建模设备，该图像传感器被布置在光学系统的像面(IP)中，该光学系统包括限定该光学系统的入瞳的孔径光阑，该设备的特征在于，针对所述成像设备的给定配置，包括：
-被配置为估计所述成像设备的特征特性参数的集合的估计单元，该特征特性参数的集合包括：
*表示所述像面与相对于光学系统与图像传感器共轭的传感器共轭平面之间距离的第一特性参数；
*表示所述传感器共轭平面与入瞳之间的距离的第二特性参数；
*表示所述光学系统的放大率的第三特性参数；
-被配置为确定作为所述第一和第三特性参数的函数的第一建模数据的确定单元；
-被配置为确定作为所述第二和第三特性参数的函数的第二建模数据的确定单元；
-被配置为建立作为所述第二和第三建模数据的函数的成像设备的模型的建立单元。
有利的是，在其各种实施例中的任意实施例中，该设备包括用于实现在上述建模过程中执行的步骤的装置。
在另一实施例中，本原理涉及，在其各种实施例中的任意实施例中，根据以上描述的方法而建立的成像设备的模型的使用，以确定由所述成像设备成像的场景的度量信息。
附图说明
通过说明性的而非穷举的示例的方式并根据附图的以下描述中，本原理的实施例的其他特点和优点将对于本领域技术人员来说是显然的，其中：
图1示出了传统成像设备的结构的简化示例；
图2是根据本公开的建模方法的特定实施例的流程图；
图3和图4是示出根据本公开的特定实施例的成像设备的投影模型的建立的原理的简化示意图；
图5示出了根据本公开的特定实施例的处理单元的简化结构。
具体实施方式
在本文档的所有附图中，相同的元件由相同的参考标号指示。
如随后将参考附图被更详细地描述的，本公开一方面中提议了对成像设备进行建模。但是，本公开可以被体现以许多替代的形式，并且不应该被理解为限制于本文所列出的实施例。因此，尽管可以对本公开做出各种修改和替代形式，但是其具体的实施例通过附图中的示例被示出并将在此被详细描述。然而应该理解，并不意在将本公开限制于所公开的特定形式，相反地，本公开意在覆盖落入由权利要求限定的本公开的精神和范围内的所有修改、等同物、以及替代。贯穿附图的描述，相似的标号指代相似的元件。
还应当理解，尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不应该受这些术语的限制。这些用语仅用于将一个元件与其他元件彼此区别。例如，在不偏离本公开的教导的情况下，第一元件可以被称为第二元件，类似地，第二元件可以被称为第一元件。
尽管没有明确描述，但是可以在任意组合或子组合中使用这些实施例和变形。
尽管已经参考一个或多个示例描述了本公开，但是本领域技术人员将认识到，在不偏离本公开和/或所附权利要求的范围的情况下，可以做出形式和细节方面的改变。
如图1中示意地示出的，成像设备100包括光学系统10(也称为“主透镜”)和图像传感器20。
图像传感器20被布置在光学系统10的像面IP中，并且使用例如，CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术。
光学系统10包括根据沿光学系统10的光轴OA的特定部署而布置的一个或多个光学透镜，来将3D真实场景的图像形成到图像传感器10上。基于图1的示例，光学系统10包括一组四个透镜。本文示出的透镜的数量仅是用于教学说明的目的的非限制性的示例。当然，在不偏离本原理的范围的情况下，可以使用更少或更多数量的透镜。每种透镜部署还可以在不偏离本原理的范围的情况下使用。
光学系统10还包括限定光学系统的入瞳EP的孔径光阑30。被称为OP的平面是光学系统10的物面。
图2描绘了根据本公开的特定实施例的用于对于成像设备进行建模的方法。该方法由处理单元执行，下面结合图2详细描述该方法的原理。
在特定实施例中，该方法的目的在于，建立成像设备100的双重不变点投影模型。根据有限数量的校准参数精准地建立该模型，并且该模型尊重光学系统的几何结构。该模型允许对场景的3D坐标点与它们在成像设备100的图像传感器20上的投影的2D坐标点之间进行关联(也称为“前向投影过程”)。
为了更好地理解本原理，下面结合图3描述该方法，图3示出了该方法的实现原理的示意图。
在开始该方法之前，首先根据给定的成像配置来设置成像设备100。该配置的特征在于一组设置，例如：对焦距离、光学系统的主平面与传感器平面之间的距离(也被称为“焦距”)。
在步骤21处，针对成像设备的给定配置，处理单元获得该成像设备100的以下特征特性参数的集合：
-表示像面IP与传感器共轭平面CP之间的距离的特性参数(本文称为“Z”)；
-表示传感器共轭平面CP与入瞳EP之间的距离的特性参数(本文称为“D”)；
-表示光学系统10的放大率的特性参数(本文称为“M”)。
以上讨论的传感器共轭平面CP是相对于光学系统10与图像传感器20共轭的平面。
距离参数D通过常用校准技术(例如，基于被布置在不同位置的校准图(具有例如，棋盘图案)的图像的获取)来估计。
放大率参数M通过常用校准技术(例如，基于已知尺寸的参考对象的图像的获取)来估计。放大率被定义为物体的尺寸与通过光学系统10的该物体的图像之间的比例。
距离参数Z由遥测技术测量。作为替代，距离参数Z可以使用以下公式被估计：
Z＝D+E
其中，D是表示传感器共轭平面CP与入瞳EP之间距离的距离特性参数；E是表示像面IP与入瞳EP之间的距离的特性参数(通过常用校准技术而被估计)。
因此，所获得的该特性参数的集合(Z、D、M、以及可能的E)与所述给定配置相关联。
根据第一特定实施例，成像设备100本身被配置为包括用于获取该特性参数的集合的装置，该特性参数的集合随后通过有线或无线传输装置被自动提供给处理单元。
根据第二特定实施例，当通过校准而获取以后，由用户(例如，通过人机界面的装置)手动地将该特性参数的集合提供给处理单元。
在步骤22处，处理单元使用在步骤21获取的特性参数来确定第一建模数据和第二建模数据。
第一建模数据
设备首先基于以下公式确定到像面IP的第一不变距离(下文中称为Px)：
其中，Z是像面IP与传感器共轭平面CP之间的距离；M是光学系统10的放大率。
第一不变距离Px被包括在像面IP与被布置在成像设备的光轴OA上的第一特征点px(称为“第一不变投影点”)之间。确定第一不变距离Px，以得知第一不变投影点px相对于像面IP(传感器平面)的位置。
第二建模数据
设备基于以下公式来确定到像面IP的第二投影距离(下文中称为Pα)：
其中，D是传感器共轭平面CP与入瞳EP之间的距离；M是光学系统10的放大率。
第二不变距离Pα被包括在像面IP与被布置在成像设备的光轴OA上的第二特征点pα(称为“第二不变投影点”)之间。确定第二不变距离Pα，以得知第二不变投影点pα相对于像面IP(传感器平面)的位置。
应该注意，处理单元同时地或顺序地确定第一和第二不变距离。
在步骤23，处理单元建立作为第一和第二不变距离的函数的成像设备100的模型。该模型允许在场景的物点与通过给定配置的成像设备100投影到图像传感器上的相关像点之间建立对应关系。
为了在空间中定位并参考模型的不同元素，我们将成像设备100设置在图3所示的坐标系统(O；x,y,z)中。中心O位于光轴OA与像面IP的交叉点处。
考虑对被布置在平面OP中的物点Q0进行投影以在像面IP上形成像点I0(前向投影过程)的情境。物点Q0的坐标是(x0,y0,z0)，像面IP中的像点Ic的坐标是(xc,yc,zc)。
为了简化说明，像面IP被设置在zc＝0处。因此，像面IP位于z＝zc＝0处，物面OP位于z＝z0处，并且传感器共轭平面CP位于z＝z1处。因为在前向投影过程期间深度信息被丢失，所以物面OP被任意设置在z＝z0的某处。此外，第一不变点位于z＝px处(因为zc＝0，所以等于Px)，第二不变点位于z＝pα处(因为zc＝0，所以等于Pα)。现在，在坐标系统(O；x,y,z)中标出第一和第二不变点。
为了重建物体空间中的视场，给出对来自物点Q0(x0,y0,z0)的射线进行重建的示例，该射线在位置(xc,yc)的像点Ic处击中像面IP(反向投影过程)。该重建分两个阶段执行，涉及第一不变投影点pα的第一阶段，和涉及第二不变投影点pα的第二阶段。
对于第一阶段，通过像点Ic(xc,yc)和第一不变投影点pα的射线(由图3中的实线示出)，在坐标(x1,y1,z1)的点Q1处与传感器共轭平面CP相交。第一阶段可以表示为以下公式：
然后，对于第二阶段，通过点Q1并且具有与通过像点Ic(xc,yc)和第二不变投影点pα的射线方向(由图3中的虚线示出)相同的方向的射线，在坐标(x0,y0,z0)的点Q0处与物面OP相交。该第二阶段可以表示为以下公式：
从以上公式(1)和(2)，可以获得后向投影公式：
当然，可以对后向投影公式进行反转，以获得前向投影公式：
应当注意，对于本说明，因为在前向投影过程期间深度信息丢失，所以物面OP被任意设置在z＝z0的某处。
因此，如可以看到的，针对后向或前向投影的投影公式是第一和第二不变投影点(pα,px)相对于像面IP的位置、与传感器共轭平面CP(z1)相对于像面IP的位置的函数。
由于两个不变点px和pα，基于前向投影公式的投影模型得到在每个物点Q0(x0,y0,z0)与图像传感器20上的每个相关像点Ic(xc,yc)之间的对应关系。图4示出了使用本公开的模型的在物点Q0′(x0′,y0′,z0′)与其相关像点Ic′(xc′,yc′,zc′)之间的对应关系的另一示例。
随后，可以简单地对前向投影模型进行反转，以用于尺寸测量应用和三维渲染，如下面结合步骤24所讨论的。
最终，应当注意，如果成像设备100的新的成像配置(例如，对焦距离的新值和/或焦距的新值)被执行，则需要上述步骤21至23的新迭代。
在步骤24，处理单元使用在前一步骤23建立的模型，来确定场景的度量信息。例如，可能感兴趣得知坐标系统(O；x,y,z)中的场景的物体的深度。
考虑基于一对数码相机(C1,C2)的立体成像设备的情境。每个相机包括诸如成像设备100中包括的光学系统和图像传感器之类的光学系统和图像传感器。
对于给定图像传感器(例如，相机C1的图像传感器)的每个像点Ic，将重点放在确定已经在像点Ic处成像的相应物点Q0(x0,y0,z0)上。
下文中，在不偏离本公开的范围的条件下，将像点Ic被认为是像素或预定的像素的群组。
当使用一对相机时，可以确定在使用一个相机的获取过程期间被丢失的深度信息。
通过使用视差计算(例如，通过现有技术中已知的匹配算法的方法)，来计算相机C1和C2中每个相机的深度图是可能的。该深度图是例如，3D场景的2D表示，其中，每一个坐标为(xc,yc)的像点Ic与深度信息z0相关联。对于给定相机(例如，相机C1)，可以如下表示深度信息z0：
其中，z0是与所述像点Ic相关联的、场景的物点的深度信息，其表示该物点相对于像面IP的距离；z1是所述给定相机的像面IP与传感器共轭平面CP之间的距离；b是包括在相机C1的光学中心与相机C2的光学中心之间(或相机C1的第一不变点px与相机C2的第一不变点px之间)的距离；d是针对所述像点Ic所评估的视差。
该深度图包括表示物点相对于像面IP的距离的深度信息。其可以被存储为数字文件或任意格式的表格。
在这个阶段，对于每个相机，处理单元具有基于后向投影公式的投影模型(如上所述，被建立为所述相机的特征特性参数的函数)以及与所述相机相关联的深度图。因此，针对所述相机的传感器的每个像点Ic(xc,yc)及其相关联的深度信息z0，处理单元能够通过应用以下公式来确定场景中物点Q0的相应点：
然后，处理单元可以基于该公式执行尺寸测量。
因此，可以根据所获取的图像，相对于图像传感器的真实位置确定坐标系统中场景的物点云。因此，与根据相对于图像传感器的虚拟位置确定物点云的现有方法(针孔模型)相反，根据本公开的方法能够提供遵从成像系统几何结构(传感器-透镜-物体三元组的几何结构)的精确的基于图像的渲染。
因此，该方法依赖于能够考虑成像设备的有限数量的特征特性参数的精准方法，使得模型建立方法比现有技术的传统方法更简单。
根据特定特点，该特征特性参数的集合还包括表示光轴相对于像面的位置的附加特性参数。该附加特性参数是通过传统校准而获得的，以提供光轴OA相对于像面IP的位置。实际上，光学系统的光轴不一定通过传感器中心。然后，可以通过考虑该附加特性参数(例如，通过以像素数量表示的相对于图像传感器20的光学中心的偏移的方式)来建立该模型。该特定特点使得所建立的模型更加准确。
根据另一特定特点，该特征特性参数的集合还包括表示入瞳E的尺寸的附加特性参数。该附加特性参数是通过传统校准而获得的，以提供入瞳E的尺寸(例如，光瞳直径)。然后，尤其是在使用光束表示(而不是射线表示)来建立模型时，可以考虑该附加特性参数来建立该模型，(实际上，光瞳直径是限制光学系统中的输入光束的大小的几何参数)。
图5示出了根据本公开的特定实施例的处理单元(或建模设备)500的简化结构，其中，该处理单元执行图2中所示方法的步骤21至24。
处理单元500包括非易失性存储器530，该非易失性存储器是非暂态计算机可读承载介质。其存储可执行程序代码指令，该可执行程序代码指令在被处理器510执行时使得以上所述修改后的多视图内容获取方法的实现方式能够实现。在初始化时，这些程序代码指令被从非易失性存储器530传输到易失性存储器520，以被处理器510执行。易失性存储器520包括用于存储执行所需要的变量和参数的寄存器。
根据该特定实施例，处理单元500接收成像设备的特征特性参数(Z距离参数501、D距离参数502、M放大率参数503)作为输入。处理单元500生成以上所述的双重不变点投影模型(505)作为输出。
如本领域技术人员将理解的，本原理的各个方面可以体现为系统、方法、或者计算机可读介质。因此，本原理的各个方面可以采取在本文可以被统称为“电路”、“模块”、或“系统”的完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或者结合了软件和硬件的实施例的形式。
当本原理由一个或多个硬件组件实现时，可以注意的是硬件组件包括作为集成电路的处理器，该集成电路是例如，中央处理单元、和/或微处理器、和/或专用集成电路(ASIC)、和/或专用指令集处理器(ASIP)、和/或图形处理单元(GPU)、和/或物理处理单元(PPU)、和/或数字信号处理器(DSP)、和/或图像处理器、和/或协处理器、和/或浮点单元、和/或网络处理器、和/或音频处理器、和/或多核处理器。此外，硬件组件还可以包括接收或发送无线电信号的基带处理器(包括例如，存储器单元和固件)和/或无线电电子电路(可以包括天线)。在一个实施例中，硬件组件可以遵循一个或多个标准，这些标准是例如，ISO/IEC18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、GlobalPlatform(即，安全元件)。一种变形中，硬件组件是射频识别(RFID)标签。在一个实施例中，硬件组件包括使能Bluetooth(蓝牙)通信、和/或Wi-Fi通信、和/或Zigbee通信、和/或USB通信、和/或火线通信、和/或NFC(近场)通信的电路。
此外，本原理的各个方面可以采取计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任意组合。
计算机可读存储介质可以采取体现在一个或多个计算机可读介质中的并且其上体现有由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。本文使用的计算机可读存储介质被认为是非暂态存储介质，由于非暂态存储介质具有在其中存储信息的固有能力和提供从其获取信息的固有能力。计算机可读存储介质可以是例如但不限于，电、磁、光、电磁、红外、或半导体系统、装置、或设备、或者它们的任意合适的组合。应当理解，提供了可以应用本原理的计算机可读存储介质的更具体示例的以下内容仅仅是说明性的而不是穷举的，本领域普通技术人员很容易地想到以下各项：便携式计算机磁盘、硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、便携式压缩盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或者它们的任意合适的组合。
因此，例如，本领域技术人员将理解，本文呈现的框图表示体现本公开原理的说明性系统组件和/或电路的概念性视图。类似地，应该理解，任意流程图、流程示意图、状态转换图、伪代码等表示基本能够被表示在计算机可读存储介质中并因此由计算机或处理器执行的各种进程(不论这样的计算机或处理器是否被明确示出)。
尽管已经参照一个或多个示例描述了本公开，但是本领域技术人员将认识到，可以在形式和细节上进行改变而不偏离本公开和/或所附权利要求的范围。
当然，本公开不限于前面描述的实施例。
本文描述的实现方式可以被实现为例如，方法或进程、装置、计算机程序产品、数据流、或者信号。即使仅在单独的实现方式的情况下讨论(例如，仅作为一种方法或设备进行讨论)，所讨论的特点的实现方式也可以以其他形式被实现(例如，程序)。装置可以被实现在例如，适当的硬件、软件、以及固件中。方法可以被实现在诸如处理器的装置中，该处理器通常指代包括例如计算机、微处理器、集成电路、或者可编程逻辑器件在内的处理设备。处理器还包括通信设备，例如，智能电话、平板电脑、计算机、移动电话、便携/个人数字助理(PDA)、以及辅助终端用户之间的信息通信的其他设备。
本文描述的各种处理和特点的实现方式可以被体现为各种不同设备或应用，具体地例如，与数据编码、数据解码、视图生成、纹理处理、以及图像的其他处理和相关纹理信息、和/或深度信息相关联的设备或应用。这种设备的示例可以包括编码器、解码器、处理来自解码器的输出的后置处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA、以及其他通信设备。应该清楚，该设备可以是移动的甚至可以被安装在移动车辆中。
此外，该方法可以由被处理器执行的指令实现，并且这些指令(和/或由实现方式产生的数据值)可以被存储在处理器可读介质上，该处理器可读介质是例如，集成电路、软件载体或者其他存储设备(例如，硬盘、压缩盘(CD)、光盘(例如，通常被称为数字多功能光盘或数字视频盘的DVD)、随机存取存储器(RAM)、或只读存储器(ROM))。这些指令可以形成被有形地体现在处理器可读介质上的应用程序。指令可以位于例如，硬件、固件、软件、或它们的组合中。指令可以被建立在例如，操作系统、单独应用、或者它们二者的组合中。因此，处理器可以被特征化为例如，包括被配置为执行进程的设备和包括具有用于执行进程的指令的处理器可读介质的设备(例如，存储设备)二者。此外，处理器可读介质除可以存储指令以外，还可以存储实现方式产生的数据值，或存储实现方式产生的数据值以替代指令。
本领域技术人员显而易见的是，实现方式可以产生被格式化为携带可以被例如存储或发送的信息的各种信号。该信息可以包括例如，用于执行方法的指令、或者由所描述实现方式中的一个产生的数据。例如，信号可以被格式化为携带作为数据的用于写入或读取所描述实施例的语法的规则、或者携带作为数据的由所描述实施例写入的实际语法值。这种信号可以被格式化为例如，电磁波(例如，使用频谱的射频部分)或者基带信号。格式化可以包括例如，对数据流进行编码并且利用编码后的数据流对载波进行调制。信号携带的信息可以是例如，模拟或数字信息。如已知的，信号可以在各种不同的有线或无线链路上被发送。信号可以被存储在处理器可读介质上。
已经描述了多种实现方式。然后，将理解的是，可以做出各种修改。例如，可以结合、补充、修改、或者移除不同实现方式的元件，以产生其他实现方式。此外，本领域普通技术人员将理解的是，可以用其他结构和进程来代替所公开的结构和进程，并且作为结果的实现方式将以与所公开的实施例(一个或多个)基本相同的方式来执行至少(一个或多个)基本相同的功能，以实现(一个或多个)至少基本形同的结果。因此，这些和其他实现方式是本申请可预见到的。

Claims (19)

1.一种用于对成像设备进行建模的方法，该成像设备包括图像传感器(20)和光学系统(10)，所述图像传感器被布置在所述光学系统的像面(IP)中，所述光学系统包括限定所述光学系统的入瞳的孔径光阑，所述方法的特征在于，针对所述成像设备的给定配置，所述方法包括：
-确定(21)所述成像设备的特征特性参数的集合，包括：
*表示所述像面(IP)与相对于所述光学系统与所述图像传感器共轭的传感器共轭平面(CP)之间的距离的第一特性参数(Z)；
*表示所述传感器共轭平面(CP)与所述入瞳(EP)之间的距离的第二特性参数(D)；
*表示所述光学系统的放大率的第三特性参数(M)；
-确定(22)作为所述第一和第三特性参数(Z,M)的函数的第一建模数据(Rx)；
-确定(22)作为所述第二和第三特性参数(D,M)的函数的第二建模数据(Pα)；
-基于作为所述第二和第三建模数据(Px,Pα)的函数获得的所述成像设备的模型，至少映射至少与所述图像传感器(20)上的像点相关联的3D点。
2.如权利要求1所述的方法，其中，所述第一建模数据包括被限定在所述像面(IP)与布置于所述成像设备的光轴(OA)上的第一不变投影点(px)之间的第一不变距离Px，所述第一不变距离Px满足以下公式：
其中，Z是所述像面(IP)与所述传感器共轭平面(CP)之间的距离；M是所述光学系统的放大率。
3.如权利要求1所述的方法，其中，所述第二建模数据是被限定在所述像面(IP)与位于所述成像设备的光轴(OA)上的第二不变投影点(pα)之间的第二不变距离Pα，所述第二不变距离Pα满足以下公式：
其中，D是所述传感器共轭平面(CP)与所述入瞳(EP)之间的距离；M是所述光学系统的放大率。
4.如权利要求1至3中任一项所述的方法，其中，所述第二特性参数(D)通过校准被估计。
5.如权利要求1至3中任一项所述的方法，其中，所述第二特性参数(D)被估计作为所述特征特性参数的集合中的第四特性参数(E)和所述第一特性参数(Z)的函数，所述第四特性参数表示所述像面(IP)与所述入瞳(EP)之间的距离。
6.如权利要求2至3中任一项所述的方法，其中，所述特征特性参数的集合还包括表示所述光轴(OA)相对于所述像面(IP)的位置的第五特性参数。
7.如权利要求1至3中任一项所述的方法，其中，所述特征特性参数的集合还包括表示所述入瞳(EP)的尺寸的第六参数。
8.如权利要求1至3中任一项所述的方法，其中，所述成像设备的给定配置包括属于包括以下各项的群组的设置：焦点的设置、所述光学系统的主平面与所述像面(IP)之间的距离的设置。
9.一种包括程序代码指令的计算机程序产品，当所述程序在计算机或处理器上被执行时，用于实现根据权利要求1至3中至少一项所述的方法。
10.一种存储如权利要求9的计算机程序产品的非暂态计算机可读承载介质。
11.一种用于对成像设备进行建模的设备，该成像设备包括图像传感器和光学系统，所述图像传感器被布置在所述光学系统的像面(IP)中，所述光学系统包括限定所述光学系统的入瞳的孔径光阑，所述设备的特征在于，针对所述成像设备的给定配置，该设备包括：
-估计单元，被配置为估计所述成像设备的特征特性参数的集合，该特征特性参数的集合包括：
*表示所述像面(IP)与相对于所述光学系统与所述图像传感器共轭的传感器共轭平面(CP)之间的距离的第一特性参数(z1)；
*表示所述传感器共轭平面(CP)与所述入瞳(EP)之间的距离的第二特性参数(D)；
*表示所述光学系统的放大率的第三特性参数(M)；
-确定单元，被配置为确定作为所述第一和第三特性参数(Z,M)的函数的第一建模数据(Px)；
-确定单元，被配置为确定作为所述第二和第三特性参数(D,M)的函数的第二建模数据(Pα)；
-映射单元，被配置为基于作为所述第二和第三建模数据(Px,Pα)的函数获得的所述成像设备的模型，至少映射至少与所述图像传感器(20)上的像点相关联的3D点。
12.如权利要求11所述的设备，其中，所述第一建模数据包括被限定在所述像面(IP)与布置于所述成像设备的光轴(OA)上的第一不变投影点(px)之间的第一不变距离Px，所述第一不变距离Px满足以下公式：
其中，Z是所述像面(IP)与所述传感器共轭平面(CP)之间的距离；M是所述光学系统的放大率。
13.如权利要求11所述的设备，其中，所述第二建模数据是被限定在所述像面(IP)与位于所述成像设备的光轴(OA)上的第二不变投影点(pα)之间的第二不变距离Pα，所述第二不变距离Pα满足以下公式：
其中，D是所述传感器共轭平面(CP)与所述入瞳(EP)之间的距离；M是所述光学系统的放大率。
14.如权利要求11至13中任一项所述的设备，其中，所述第二特性参数(D)通过校准被估计。
15.如权利要求11至13中任一项所述的设备，其中，所述第二特性参数(D)被估计作为所述特征特性参数的集合中的第四特性参数(E)和所述第一特性参数(Z)的函数，所述第四特性参数表示所述像面(IP)与所述入瞳(EP)之间的距离。
16.如权利要求12至13中任一项所述的设备，其中，所述特征特性参数的集合还包括表示所述光轴(OA)相对于所述像面(IP)的位置的第五特性参数。
17.如权利要求11至13中任一项所述的设备，其中，所述特征特性参数的集合还包括表示所述入瞳(EP)的尺寸的第六参数。
18.如权利要求11至13中任一项所述的设备，其中，所述成像设备的给定配置包括属于包括以下各项的群组的设置：焦点的设置、所述光学系统的主平面与所述像面(IP)之间的距离的设置。
19.一种使用根据权利要求1至3中任一项所述的方法而建立的成像设备的模型，用于确定被所述成像设备成像的场景的度量信息。
CN201711214075.XA 2016-11-28 2017-11-28 用于对成像设备进行建模的方法和计算机可读存储介质 Active CN108174179B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306565.9A EP3327481B1 (en) 2016-11-28 2016-11-28 Method for modelling an imaging device, corresponding computer program product and computer-readable carrier medium
EP16306565.9 2016-11-28

Publications (2)

Publication Number Publication Date
CN108174179A true CN108174179A (zh) 2018-06-15
CN108174179B CN108174179B (zh) 2021-06-01

Family

ID=57517828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711214075.XA Active CN108174179B (zh) 2016-11-28 2017-11-28 用于对成像设备进行建模的方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US10489933B2 (zh)
EP (1) EP3327481B1 (zh)
JP (1) JP2018164249A (zh)
KR (1) KR20180061021A (zh)
CN (1) CN108174179B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9703175B2 (en) * 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
CN109697737B (zh) * 2018-11-30 2021-08-17 Oppo广东移动通信有限公司 摄像头标定方法、装置、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572363A (en) * 1994-11-28 1996-11-05 Fergason; James L. Retro-reflector based in-line viewing system
WO2000077558A1 (en) * 1999-06-15 2000-12-21 Dimensional Media Associates, Inc. Lenticular imaging system, method, and apparatus
CN1356575A (zh) * 2000-10-10 2002-07-03 佳能株式会社 多光束扫描光学系统、多光束扫描光学设备及成像设备
US6480338B1 (en) * 1999-11-16 2002-11-12 Minolta Co., Ltd. Eyepiece optical system and image display apparatus
CN103716538A (zh) * 2013-12-16 2014-04-09 天津大学 一种基于dmd的成像前处理装置和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1319188C (en) * 1989-08-24 1993-06-15 Marc Rioux Three dimensional imaging device
US5661667A (en) * 1994-03-14 1997-08-26 Virtek Vision Corp. 3D imaging using a laser projector
US7612870B2 (en) * 1998-02-25 2009-11-03 California Institute Of Technology Single-lens aperture-coded camera for three dimensional imaging in small volumes
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
DE10359415A1 (de) * 2003-12-16 2005-07-14 Trimble Jena Gmbh Verfahren zur Kalibrierung eines Vermessungsgeräts
US20080278572A1 (en) * 2007-04-23 2008-11-13 Morteza Gharib Aperture system with spatially-biased aperture shapes and positions (SBPSP) for static and dynamic 3-D defocusing-based imaging
EP2502208A2 (en) * 2009-11-19 2012-09-26 Ocali Bilisim Teknolojileri Yazilim Donanim San. Tic. A.S. Direct 3-d drawing by employing camera view constraints
WO2014107434A1 (en) * 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
US20170094251A1 (en) * 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572363A (en) * 1994-11-28 1996-11-05 Fergason; James L. Retro-reflector based in-line viewing system
WO2000077558A1 (en) * 1999-06-15 2000-12-21 Dimensional Media Associates, Inc. Lenticular imaging system, method, and apparatus
US6480338B1 (en) * 1999-11-16 2002-11-12 Minolta Co., Ltd. Eyepiece optical system and image display apparatus
CN1356575A (zh) * 2000-10-10 2002-07-03 佳能株式会社 多光束扫描光学系统、多光束扫描光学设备及成像设备
CN103716538A (zh) * 2013-12-16 2014-04-09 天津大学 一种基于dmd的成像前处理装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUMAR AVINASH等: "On the Equivalence of Moving Entrance Pupil and Radial Distortion for Camera Calibration", 《2015 INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 *

Also Published As

Publication number Publication date
EP3327481B1 (en) 2019-07-03
CN108174179B (zh) 2021-06-01
JP2018164249A (ja) 2018-10-18
US20180150975A1 (en) 2018-05-31
EP3327481A1 (en) 2018-05-30
US10489933B2 (en) 2019-11-26
KR20180061021A (ko) 2018-06-07

Similar Documents

Publication Publication Date Title
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
CN110021069B (zh) 一种基于网格形变的三维模型重建方法
CN108225216A (zh) 结构光系统标定方法及装置、结构光系统及移动设备
CN108288292A (zh) 一种三维重建方法、装置及设备
CN104541127B (zh) 图像处理系统以及图像处理方法
CN111291584B (zh) 识别二维码位置的方法及其系统
US8917317B1 (en) System and method for camera calibration
CN109978984A (zh) 人脸三维重建方法及终端设备
CN103839227B (zh) 鱼眼图像校正方法和装置
JP2019086294A (ja) ３次元測定装置、３次元測定方法及びプログラム
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
CN106415604B (zh) 具有埃尔米特对称性的经译码光图案
JP2018124939A (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
US10255664B2 (en) Image processing device and method
CN115035235A (zh) 三维重建方法及装置
US20110175900A1 (en) System and method for mesoscopic geometry modulation
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
CN107469355A (zh) 游戏人物形象创建方法及装置、终端设备
CN114152217A (zh) 基于监督学习的双目相位展开方法
CN108174179A (zh) 用于对成像设备进行建模的方法、相应的计算机程序产品以及计算机可读承载介质
KR20180000696A (ko) 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
CN112529006B (zh) 全景图片的检测方法、装置、终端及存储介质
CN107464278B (zh) 全视向的球体光场渲染方法
CN114463408A (zh) 自由视点图生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190522

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: The French Yixilaimu Leo City

Applicant before: Thomson Licensing SA

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant