CN105790836B - 应用全光照相机的表面属性的推定 - Google Patents

应用全光照相机的表面属性的推定 Download PDF

Info

Publication number
CN105790836B
CN105790836B CN201610015490.1A CN201610015490A CN105790836B CN 105790836 B CN105790836 B CN 105790836B CN 201610015490 A CN201610015490 A CN 201610015490A CN 105790836 B CN105790836 B CN 105790836B
Authority
CN
China
Prior art keywords
pixel
sub
super
light image
full light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610015490.1A
Other languages
English (en)
Other versions
CN105790836A (zh
Inventor
L.孟
L.陆
K.伯克纳
I.托西克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN105790836A publication Critical patent/CN105790836A/zh
Application granted granted Critical
Publication of CN105790836B publication Critical patent/CN105790836B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种实装在计算机系统上的用于推定对象的表面属性的方法，包括：对由点光源所照明的对象的全光图像进行访问的步骤，所述全光图像包括多个超像素，各超像素对从所述对象的预定区域所反射的光进行捕捉，各超像素包括多个子像素，各子像素对传播方向的预定范围内所反射的光进行捕捉；及对所述子像素进行处理以对所述对象的表面属性进行推定的步骤。

Description

应用全光照相机的表面属性的推定
技术领域
本发明一般地涉及一种基于对象(object)的全光图像(plenoptic image)对该对象的表面属性进行推定的技术。
背景技术
光度立体(photometric stereo)技术是一种在各种照明角度下通过观察对象的反射光而对该对象的表面法线及三维结构进行推定的计算机视觉技法。在通常的光度立体技术中，采用各种照明条件在时间上逐个地捕捉对象的多个画像。对象的表面一般被假定为朗伯体(Lambertian)表面(即，完美的扩散反射体)。然而在现实中，许多对象的表面并不是朗伯体表面，而是具有一些镜面反射。就对可进行镜面反射的表面或没有任何纹理的表面的表面属性的推定而言，在光度立体技术中仍是一个困难的课题。近年来尽管一些技法已被应用至镜面反射的问题，但仍需获取大量的画像。这不仅需要花费大量的时间，还需要非常复杂的硬件，很难应用于视频(例如，对于运动的对象而言)。
所以，为了推定(estimate)对象的表面属性，需要一种更好的方法。
发明内容
在本发明的各种实施方式中，通过使用全光照相机对由点光源所照明(优选为准直照明(collimated illumination))的对象的全光图像进行捕捉，从而突破了现有技术的极限。全光图像是一种从对象反射的四维光场的抽样(sampling)。全光图像由超像素(superpixel)构成，每个超像素由子像素构成。每个超像素对来自对象的预定区域(即，具有x，y空间座标的范围)的光进行捕捉，超像素内的子像素对预定方向的范围(即，u，v空间方向的范围)内所传播的光进行捕捉。所以，通过仅对一个全光图像进行处理，就可提供光学属性的推定、表面法线的再建、深度/高度的推定、及三维描绘(3D rendering)。在一种方法中，全光图像用于对对象表面的双向反射率分布函数(BRDF:bidirectionalreflectance distribution function)进行推定。
另外，为了对所述推定进行改善，可通过使用不同的照明来对多个全光图像进行捕捉。再有，因为表面属性可根据一个全光图像进行推定，所以这些技法也可应用于具有全光图像帧的视频。
另一方面，还包括与上述相关的零部件、装置、系统、改良、方法、工艺、应用、及其他技术。
附图概述
通过与附图一起参考下面的详细说明及添附的权利要求书，所公开的技术的优点和特征将会变得更加容易理解。
图1是全光成像系统(现有技术)的示意图。
图2A～2C是基于准直光源的轴上或轴外照明的示意图。
图3A是由室内灯所照明的对象的未加工的全光图像。
图3B是由准直光源所照明的相同对象的未加工的全光图像。
图4A～4C是关于不同表面方向的模拟超像素的示意图。
图5A～5B是关于不同材料的超像素的示意图。
图6是沃德BRDF模型的示意图。
图7是关于规尺卡(ruler card)的未加工的全光图像的示意图。
图8A～8E是规尺卡的各种属性的伪彩色画像。
图9A是规尺卡的伪彩色的高度图。
图9B是规尺卡的三维描绘。
图10A是25美分硬币的画像。
图10B是对应的伪彩色的高度图。
图11是凹面镜的伪彩色的高度图。
本发明的实施方式
下面参考附图对本发明的实施方式进行说明。
图1是全光成像系统(现有技术)的一个例子的示意图。全光成像系统110包括：主成像光学系统112(图1中仅由一个透镜表示)、副成像阵列114(图像形成要素的阵列115)、及传感器阵列180。副成像阵列114也被称为微成像阵列。副成像阵列114和传感器阵列180这两个陈列也被称为全光传感器模块。这些零部件如图1中的子系统1和子系统2所示可形成两个重叠的成像子系统。
为了方便，成像光学系统112在图1中仅被描绘为一个物镜，但应可理解，其也可包括多个要素。物镜112可在图像平面IP上形成对象150的光学图像155。微成像阵列114位于图像平面IP上，各微透镜将成像子系统1的孔径(aperture)在传感器阵列180上进行成像。即，孔径和传感器阵列位于共轭面SP及SP'上。微成像阵列114的例子包括：微透镜阵列、小孔(pinhole)阵列、微镜阵列、棋盘网格(checkerboard grid)、及波导/通道阵列。微成像阵列114可为长方形阵列、六边形阵列、或其他类型的阵列。传感器阵列180也示于图1。
图1的下部提供了更详细的图示。在该例子中，微成像阵列115为3×3的正方形微透镜阵列。对象150被分割为与标注了1～9的区域相对应的3×3的阵列。区域1～9的每个都由物镜112在一个微透镜114上进行了成像。图1中由虚线所示的光线示出了区域5向其对应的中央微透镜所进行的成像。
每个微透镜对这些光线在传感器阵列180的相对应的部分上进行成像。传感器阵列180被示为12×12的长方形阵列。传感器阵列180可被再细分为标注了A～I的超像素，每个超像素与一个微透镜相对应，所以也与对象150的某个区域相对应。图1中，超像素E与中央微透镜相对应，中央微透镜与对象的区域5相对应。即，超像素E内的诸传感器对来自对象的区域5的光进行捕捉。
每个超像素可再被细分为子像素。该例子中，每个超像素具有4×4的子像素阵列。超像素内的每个子像素对来自对象的相同区域但传播角度不同的光进行捕捉。例如，超像素E内的左上的子像素E1对来自区域5的光进行捕捉，超像素E内的右下的子像素E16也同样。但是，这两个子像素却是对来自对象的沿不同方向传播的光进行捕捉。这可通过图1中实线所示的光线看出。三个实线所示的光线尽管都是由相同对象点发出的，但却被不同的子像素所捕捉。其原因在于，各实线所示的光线从对象开始沿不同的方向进行了传播。
换言之，对象150生成了四维光场L(x,y,u,v)。这里，L为从空间位置(x,y)发出的沿方向(u,v)传播的光线的振幅、强度、或其他测量值。传感器阵列内的每个子像素对来自四维光场的某体积的光进行捕捉。子像素对该四维光场进行抽样(sampling)。
在某种全光成像系统的设计中，样本(sample)体积为超立方体。即，超像素内的所有传感器都对来自相同长方形(x,y)区域的光进行捕捉，而超像素内的每个子像素则对来自长方形(u,v)区域的光进行捕捉。但是，也并不总是这样。为了方便，超像素被记述为对来自对象的预定区域的光进行捕捉(尽管该超像素内的子像素也可能对来自稍微不同的区域的光进行捕捉)，而子像素则被记述为对来自预定范围的传播方向的光进行捕捉(该范围尽管对不同的子像素而言可能不同，或者，尽管对由相同子像素所捕捉的不同的(x,y)点而言也可能不同)。与这些细节无关地，全光成像系统通过将(x,y)空间位置和(u,v)传播方向映射至阵列180内的传感器，可形成全光图像170。这可与将(x,y)空间的位置映射至传感器但却丢失了(u,v)传播方向的信息的传统的图像形成鲜明的对比。
全光图像170包括在某种照明条件下由对象所产生的四维光场的信息，所以可通过进行基于处理模块190的处理，来对表面法线、镜面反射、扩散反射、及表面粗糙度这样的对象表面属性195进行推定。
图2A～2C示出了特殊照明的例子。在这些例子中，对象由准直光源进行照明。图2A中，为了使照明在轴上进行、即、与对象垂直地进行，使用了分光器210。图2B～2C中，准直照明为轴外照明。准直光源(即、位于无限远的点光源)仅为一例，还可使用其他点光源。
图3A～3B是表示基于点光源照明的不同结果的照片。图3A示出了由一般室内光进行了照明的对象的未加工的全光图像。下面的画像是上面画像的长方形内区域的扩大图。下面的画像内的每个圆都是不同的超像素。由于主物镜具有圆形孔径，这些超像素都形成为圆形。需要说明的是，这些超像素被进行了非常均匀的照明。对照地，图3B示出了由准直光源进行了照明的对象的未加工的全光图像。这里，下面的画像也是上面的画像的长方形内区域的扩大图。每个超像素都具有由准直照明的镜面反射所引起的明亮的光点。如后所述，这将是表面法线和三维再建的重要线索。
准直照明的一个优点是对象的每个点都可被来自单一且已知方向的光进行照明。这样，反射光就成为了对象表面属性的一个良好的指征(indicator(指示特征))。其不会被由不同角度入射的照明光所引起的不同应答(response)所「弄乱(smear)」。图3B中，各超像素中的亮点为该超像素的镜面反射的指征，该指征可用于对表面法线、镜面反射的强度等进行推定。图3A可被认为是好像大量的亮点，每个亮点都是由不同角度入射的光所产生的。这样，由于亮点互相之间发生了移动，每个亮点都看不见了，并且，哪个亮点是由哪个入射光线所生成的也不清楚。
全光照相机用于对从对象表面反射的光的角度信息进行捕捉。对象表面具有一定的双向反射率分布函数(BRDF)属性。也就是说，从对象表面反射的光沿不同传播方向会呈现出不同的强度。在一般的照相机中，传播方向的信息通常会消失。但是，在全光照相机中，反射光束传播方向的信息会被保存。在点光源照明中，每个子像素都会沿特定传播方向对对象表面的BRDF特性进行取样。
图4～图5对此进行了进一步的说明。超像素内的不同子像素所捕捉的光依存于对象表面的方向。图4A～4C示出了关于各种表面方向(即，不同表面法线)的模拟超像素。表面法线沿不同方向旋转时，由于镜面反射方向会发生变化，所以，超像素的应答也会发生变化。在该例子中，超像素内的亮点的位置为镜面反射的指征，该指征是表面法线的指征。
超像素的应答也依存于其他参数。图5A～5B示出了准直照明下的相对于两个不同材料的超像素应答。图5A为塑料卡。图5B为白铜(copper-nickel)。白铜对象与塑料卡相比，其所引起的应答的范围更宽。
在一种方法中，系统应答通过对材料的表面法线和光学属性这两方面进行考虑而被模型化。一般可使用沃德(Ward)BRDF模型，但是也可使用其他BRDF模型。沃德BRDF模型可定义如下。
如图6所示，向量n和l为表面法线和照明方向的单位向量，ri,m为第m个超像素的第i个子像素的光场观察方向的单位向量，ρd及ρs为扩散反射系数和镜面反射系数，β为表面粗糙度，θi和θr为照明和照相机的观角(viewing zenith angle)，δ为n与照明方向和观察方向之间的中间向量h之间的角度(即，n与h之间的角度)。式(1)中，n、l、ri,m向量没有被明示。当然，θi、θr、及δ可基于下述这些向量进行计算。
θi＝arccos(l·n) (2)
θr＝arccos(ri,m·n) (3)
δ＝arccos(h·n) (5)
在沃德模型中，l、ri,m向量是基于系统构成的已知参数。ρd、ρs、β、及n为未知参数。表面向量n内的三个成分nx、ny、及nz中的两个为自由度，这样，需求解的未知参数合计为五个。
ri,m向量对第m个超像素的第i个子像素所捕捉的光场方向信息进行编码。如前所述，这可为从光场向检测器的映射。在某些设计中，ri,m向量针对所有超像素都相同。但是，也不总是如此。在一种方法中，从光场向检测器的映射由校准(calibration)来确定，这样，就可以把各种类型的偏差(aberration)都考虑进来。在另一种方法中，映射还可由系统模拟来确定。
在对象表面或对象表面的一部分的焦点没对准的情况下，会导入出现基于不同视野(view)的子像素间的视差(disparity)，并对光场和子像素之间的映射产生影响。所以，作为执行后述的式(6)所示的最优化之前的前处理步骤，首先希望采用光学或数字方法对照相机的焦点(焦距)进行重调，以消除该视差。就照相机的焦距重调而言，可首先进行对象的视差或深度的确定。对象的视差或深度可通过手动测定、基于计算机的计算进行推定、或作为图像表面(例如CAD模型)的先验知识而被给定。可根据不同视野间的视差、图像的锐度(sharpness)等，可采用各种方法对视差或深度进行自动计算。一旦获得了对象的视差或深度，就可在此基础上采用光学或数字方法对图像的焦点进行重调，以保证每个超像素都会对来自相同对象区域的光线进行收集。焦点(焦距)重调了的面称为参考面。其将在后述的高度图的推定中被使用。在平面对象的情况下，根据该过程可获得参考平面。在照相机具有一定的变形(distortion)、像场弯曲(field curvature)、或其他偏差(aberration)的情况下，使用上述校准，可找出与给定的光学系统相对应的参考面。因此，参考面可依存于对象、依存于光学系统、或依存于两者的组合。
每个超像素包括很多子像素，每个子像素具有不同的ri,m向量。所以，子像素的处理是一种其中具有很多用于确定BRDF的数据点的方法。在一种方法中，通过使用强力(brute force)算法来求解式(1)的未知数。当然也可使用非线性最优化算法。一个可能的目的函数如下式。
这里，Ii,m是第m个超像素的第i个子像素的测定值。对所有的超像素进行反复进行该最优化过程，可生成表面法线、扩散反射系数、镜面反射系数、及表面粗糙度。另一种方法为首先实施分割(segmentation)或材料分类，然后再对各个分类进行表面参数的推定。
根据所推定的表面法线，可对对象表面的高度图进行复原。高度图一般地被定义为对象表面上的诸点相对于参考面的距离。为了进行高度图的再建，一种方法是对下式进行最小化，以根据所推定的表面法线nx、ny、及nz获得各像素的高度图z(x,y)。
还可使用其他根据表面法线对高度图进行再建的方法，例如，基于傅立叶变换的诸方法等。深度图也可通过对参考面的深度和所推定的高度图进行组合来进行计算。
图7～图11示出了几个例子。图7～图9为使用油墨所打印的规尺卡(ruler card)的例子，该油墨具有如千分尺所测得的大约5～10微米的厚度。规尺卡在轴上被进行了照明。图7示出了规尺卡的未加工的全光图像。上面的画像为整体的全光图像，下面的画像为上面的画像中的长方形内区域的扩大图像。在下面的画像中，为了明确起见，各超像素被围成圆状，并可看到由镜面反射所引起的亮点。
图8A～8E示出了根据图7的全光图像再建的各种属性。图8A～8E的各画像大约为12mm×8mm。图8A～8C分别示出了扩散反射系数ρd、镜面反射系数ρs、及表面粗糙度β。表面法线向量[nx,ny,nz]被变换为极座标，如图8D～8E所示，分别使用顶角及方位角θn、φn来表示。根据这些量，如图9A所示，可对卡的高度图进行再建。另外，如图9B所示，还可生成三维描绘。由于高度和表面BRDF特性都为已知，所以可达成现实的三维描绘。例如，通过在三维空间对表面方向或照明方向进行改变，还可对表面的反射进行改变。
图10A示出了美国马里兰州的一个25美分硬币的例子，图10B示出了所对应的再建高度图。从图10B的高度图中可观察到表面损伤1010。所以该方法可用于进行表面检查。
图11示出了一种无特征凹面镜的再建高度图。图示的长方形区域为大约6mm×4mm。其示出了，在对象不具备纹理和/或特征的情况下、或者在对象被镜面反射所支配的情况下，也可使用该方法。这里需要说明的是，再建具有大约0.11度的平均表面法线误差和大约0.3微米的平均深度误差。
在上述的例子中，为了对各种表面属性进行再建，仅使用了一个(single)全光图像。该方法的一个优点在于，由于视频的各帧都是如上所述可被处理的单一画像，所以可对视频进行处理。因此，使用该技法，可对运动对象的表面属性进行推定。
另外，也可使用多个全光图像。为了求解再建问题，多个全光图像可生成更多的数据点。在一种方法中，沿时间顺序逐个地捕捉多个全光图像。各全光图像可与不同的照明条件相对应，例如，可与不同角度入射的准直光源相对应。这里，对上述全光图像进行访问(access)可包括：对基于不同的点光源的几何构成(geometry)而被照明的上述对象的多个全光图像进行访问。对上述子像素进行处理包括：对来自上述多个全光图像的上述子像素进行处理，以对上述对象的上述表面属性进行推定。在另一种方法中，不同的全光图像还可被进行分光编码(spectally coded)或者通过其他方法被进行编码。例如，不同位置的红色、绿色、及蓝色准直光源可同时地对对象进行照明。传感器阵列也可在不同传感器上具有各种滤色镜(color filter)，例如，拜尔模板(bayer pattern)。这样，可针对不同照明条件同时地进行捕捉。或者，在全光成像系统中，还可使用分光编码孔径(spectally codedaperture)，其原因在于，其位于与传感器阵列共轭的位置。另外，一个例子中，上述多个全光图像优选为包括至少三个全光图像。
上述详细说明中尽管包含了很多个别事项，但是，它们并非用于限定本发明的范围，应该仅被解释为对各种例子和侧面进行例解的事项。另外，应该理解的是，本发明的范围还可包括在上面没有被进行详细论述的其他实施方式。例如，上述技法可与用于对深度进行推定的其他方法相组合。全光成像系统例如可基于视差提取出深度。在一种方法中，也可采用平场(flatfield)/房间照明来对对象进行照明，并对对象的全光图像进行处理，进而获得基于深度的大致的深度推定值。接下来，通过采用使用了对象的点光源/准直照明的上述的基于BRDF的方法，可对其进行精处理以获得更佳的分辨率。这两种方法可在给定了深度分辨标准的条件下反复进行使用。例如，首先使用BRDF法。在没有提取出深度变化的情况下，切换为视差法。接下来，在某深度平面上进行焦点重调，并基于BRDF来进行深度推定。或者，也可先使用视差法。另外，其他类型的焦点重调也可与BRDF法组合使用。
在其他诸实施方式中，本发明的诸侧面也可通过计算机硬件、固件、软件和/或其组合来实现。装置可通过保存在用于由可编程处理器执行的非临时性机器可读存储装置内的计算机程序产品来进行实装。方法的各步骤可通过具有针对输入数据进行处理可生成输出的功能的程序的实行来实现，该程序可通过处理器来执行。诸实施方式可在包括数据存储系统、至少一个输入装置、及至少一个输出装置的可执行程序的系统上通过实装一个或多的计算机程序来实现。各计算机程序可通过各种高级编程语言、对象指向编程言语、或各种低级编程语言(例如汇编语言等)来实现。处理器可包括通用处理器和专用处理器，并可从ROM或RAM等读取数据。计算机包括用于对数据和文件进行存储的一个或多个大容量存储装置。这样的存储装置可包括各种内藏式硬盘和可拆卸式磁盘、光盘、磁光盘等，例如，可包括挥发性和不挥发性的EPROM、EEPROM、及闪存等半导体存储装置等。上述各种均可通过ASIC(特定用途集成电路)及其他形式的硬件等来进行实装或者被嵌入其中。
以上对本发明的较佳实施方式进行了详细叙述，但是，本发明并不限定于上述特定的实施方式，在权利要求书记载的权利要求的技术范围内，可进行各种各样的变形和变更。

Claims (19)

1.一种实装在计算机系统上的、用于推定对象的表面属性的方法，包括：
对由点光源所照明的对象的全光图像进行访问的步骤，所述全光图像包括多个超像素，各超像素对从所述对象的预定区域所反射的光进行捕捉，各超像素包括多个子像素，各子像素对传播方向的预定范围内所反射的光进行捕捉；及
对多个超像素，对所述超像素中的子像素进行处理以对用于对应于所述超像素的所述对象的区域的表面属性进行推定的步骤，所述处理基于由所述子像素捕捉的传播方向的所述范围。
2.根据权利要求1所述的方法，其中：
所述表面属性包括
所述对象的不同区域的表面法线、所述对象的不同区域的镜面反射、及所述对象的不同区域的表面粗糙度中的至少一个。
3.根据权利要求1所述的方法，其中：
对所述子像素进行处理包括
对所述子像素进行处理以对所述对象的双向反射率分布函数进行推定。
4.根据权利要求1所述的方法，其中：
对所述子像素进行处理包括
通过使用从所述对象至对应的子像素的、诸区域和传播方向的映射来对所述子像素进行处理。
5.根据权利要求4所述的方法，其中：
从所述对象至对应的子像素的、诸领域和传播方向的所述映射依存于所述点光源的照明几何构成，
所述照明几何构成和从所述对象至所述子像素的所述映射的这两者在对所述子像素进行处理前都为已知。
6.根据权利要求4所述的方法，还包括：
通过对用于捕捉所述全光图像的全光成像系统进行校准以确定从所述对象至所述子像素的所述映射的步骤。
7.根据权利要求1所述的方法，其中：
所述点光源为准直光源。
8.根据权利要求1所述的方法，还包括：
对所述对象的至参考面的深度进行推定的步骤，其中，
对所述对象的所述表面属性进行推定包括
对相对于所述参考面的所述对象的所述表面属性进行推定。
9.根据权利要求8所述的方法，其中：
基于用于捕捉所述全光图像的所述全光成像系统的光学设计，对所述对象的至参考面的深度进行推定。
10.根据权利要求8所述的方法，其中：
基于对所捕捉的所述全光图像进行处理，对所述对象的至参考面的深度进行推定。
11.根据权利要求8所述的方法，还包括：
将用于捕捉所述全光图像的所述全光成像系统的焦距重调至所推定的所述深度的步骤；及
使用焦距被重调至了所推定的所述深度的所述全光成像系统对所述全光图像进行捕捉。
12.根据权利要求1所述的方法，其中：
对所述子像素进行处理包括
对来自一个全光图像的所述子像素进行处理以对所述对象的所述表面属性进行推定。
13.根据权利要求1所述的方法，其中：
对所述全光图像进行访问的步骤包括
对基于不同的点光源的几何构成而被照明的所述对象的多个全光图像进行访问；及
对所述子像素进行处理包括
对来自所述多个全光图像的所述子像素进行处理以对所述对象的所述表面属性进行推定。
14.根据权利要求13所述的方法，其中：
所述多个全光图像包括至少三个全光图像，
所述表面属性包括所述对象的不同区域的表面法线、镜面反射、表面粗糙度、及扩散反射。
15.根据权利要求13所述的方法，其中：
所述多个全光图像被分光编码，所述多个全光图像被同时捕捉。
16.根据权利要求1所述的方法，还包括：
根据所述全光图像和/或所推定的所述表面属性生成所述对象的高度图的步骤。
17.根据权利要求1所述的方法，还包括：
根据所述全光图像和/或所推定的所述表面属性生成所述对象的三维描绘的步骤。
18.根据权利要求1所述的方法，其中：
对所述全光图像进行访问的步骤包括
对具有按时间顺序逐个捕捉的全光图像的帧的视频进行访问；及
对所述子像素进行处理包括
对所述子像素进行处理以对所述视频的各帧的表面属性进行推定。
19.一种用于推定对象的表面属性的系统，包括：
全光成像系统，对由点光源所照明的对象的全光图像进行捕捉，所述全光图像包括多个超像素，各超像素对从所述对象的预定区域所反射的光进行捕捉，各超像素包括多个子像素，各子像素对传播方向的预定范围内所反射的光进行捕捉；及
处理器，对多个超像素，对所述超像素中的子像素进行处理以对用于对应于所述超像素的所述对象的区域的表面属性进行推定，所述处理基于由所述子像素捕捉的传播方向的所述范围。
CN201610015490.1A 2015-01-09 2016-01-11 应用全光照相机的表面属性的推定 Expired - Fee Related CN105790836B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/594,017 2015-01-09
US14/594,017 US9797716B2 (en) 2015-01-09 2015-01-09 Estimating surface properties using a plenoptic camera

Publications (2)

Publication Number Publication Date
CN105790836A CN105790836A (zh) 2016-07-20
CN105790836B true CN105790836B (zh) 2018-10-23

Family

ID=56367332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610015490.1A Expired - Fee Related CN105790836B (zh) 2015-01-09 2016-01-11 应用全光照相机的表面属性的推定

Country Status (3)

Country Link
US (1) US9797716B2 (zh)
JP (1) JP6319329B2 (zh)
CN (1) CN105790836B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10098529B2 (en) * 2015-10-28 2018-10-16 Ricoh Company, Ltd. Optical design of a light field otoscope
US20170119237A1 (en) * 2015-10-28 2017-05-04 Ricoh Company, Ltd. Optical Design of a Light Field Otoscope
AU2017250112B2 (en) 2016-04-12 2020-09-17 Quidient, Llc Quotidian scene reconstruction engine
FR3051584B1 (fr) * 2016-05-20 2019-11-01 Safran Procede de reconstruction tridimensionnelle a l'aide d'une camera plenoptique.
CN106768891B (zh) * 2016-12-28 2023-05-26 大连鉴影光学科技有限公司 一种基于反射图像方法检测物体表面法线误差的专用设备
US10304172B2 (en) * 2017-06-01 2019-05-28 Ricoh Company, Ltd. Optical center detection in plenoptic imaging systems
CN107392234A (zh) * 2017-07-05 2017-11-24 北京航空航天大学 一种基于单张4d光场图像的物体表面材质类型识别方法
FR3069467B1 (fr) * 2017-07-28 2019-08-30 Safran Procede de rivetage pour aeronef
CN107545586B (zh) * 2017-08-04 2020-02-28 中国科学院自动化研究所 基于光场极线平面图像局部的深度获取方法及系统
WO2019051301A1 (en) * 2017-09-08 2019-03-14 Arizona Board Of Regents On Behalf Of The University Of Arizona POLARIZING AND PHASE CONTRAST MICROSCOPE
US10235797B1 (en) * 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
EP3493155A1 (en) * 2017-12-01 2019-06-05 Thomson Licensing Surface color segmentation
US11762169B2 (en) * 2017-12-03 2023-09-19 Lumus Ltd. Optical device alignment methods
CN108680126A (zh) * 2018-04-27 2018-10-19 上海集成电路研发中心有限公司 一种检测管道内壁粗糙度的装置及方法
EP3788595A4 (en) 2018-05-02 2022-01-05 Quidient, LLC CODEC FOR PROCESSING SCENES WITH ALMOST UNLIMITED DETAILS
EP3939246A4 (en) 2019-03-12 2022-10-26 Lumus Ltd. IMAGE PROJECTOR
FR3105530B1 (fr) * 2019-12-24 2021-12-03 Safran Système et procédé de détermination du profil tridimensionnel d’une surface par caméra plénoptique et éclairage structuré
EP4248172A4 (en) 2020-11-18 2024-05-15 Lumus Ltd. OPTICAL VALIDATION OF INTERNAL FACET ORIENTATIONS
CN112967268B (zh) * 2021-03-24 2022-08-09 清华大学 基于光场的数字光学层析方法和装置
WO2024075385A1 (ja) * 2022-10-05 2024-04-11 住友重機械工業株式会社 表面粗さ計算装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825666A (en) * 1995-06-07 1998-10-20 Freifeld; Daniel Optical coordinate measuring machines and optical touch probes
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
DE102006007764A1 (de) * 2006-02-20 2007-08-23 Sick Ag Optoelektronische Vorrichtung und Verfahren zu deren Betrieb
WO2007142649A1 (en) * 2006-06-09 2007-12-13 Thomson Licensing Method and system for color correction using three-dimensional information
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
JP5354254B2 (ja) 2008-08-28 2013-11-27 株式会社ニコン 形状測定装置及び方法、並びにプログラム
JP2011085521A (ja) 2009-10-16 2011-04-28 Kaneka Corp シート状物の表面欠陥検査装置
WO2012030815A2 (en) 2010-08-30 2012-03-08 University Of Southern California Single-shot photometric stereo by spectral multiplexing
JP2013047658A (ja) 2011-08-29 2013-03-07 Tsuru Gakuen 光検出装置
JP5881002B2 (ja) 2011-10-11 2016-03-09 大和製罐株式会社 表面欠損検査装置およびその方法
CN103297677B (zh) * 2012-02-24 2016-07-06 卡西欧计算机株式会社 生成重构图像的图像生成装置以及图像生成方法
JP2013179402A (ja) * 2012-02-28 2013-09-09 Sony Corp 端末装置、情報処理装置、表示方法、及び表示制御方法
JP2014086968A (ja) 2012-10-25 2014-05-12 Ricoh Co Ltd 画像処理装置、画像処理方法及びプログラム
US9153026B2 (en) 2012-11-26 2015-10-06 Ricoh Co., Ltd. Calibration of plenoptic imaging systems
KR20140094395A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6101176B2 (ja) 2013-08-30 2017-03-22 富士フイルム株式会社 光学特性測定装置及び光学特性測定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825666A (en) * 1995-06-07 1998-10-20 Freifeld; Daniel Optical coordinate measuring machines and optical touch probes
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统

Also Published As

Publication number Publication date
US9797716B2 (en) 2017-10-24
JP6319329B2 (ja) 2018-05-09
CN105790836A (zh) 2016-07-20
US20160202048A1 (en) 2016-07-14
JP2016128816A (ja) 2016-07-14

Similar Documents

Publication Publication Date Title
CN105790836B (zh) 应用全光照相机的表面属性的推定
US11869139B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
US10502556B2 (en) Systems and methods for 3D surface measurements
US9747719B2 (en) Method for producing photorealistic 3D models of glasses lens
US7769205B2 (en) Fast three dimensional recovery method and apparatus
JP4324238B2 (ja) 画像処理システム、方法及び装置
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US20140307100A1 (en) Orthographic image capture system
CN106595528A (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
JP6580761B1 (ja) 偏光ステレオカメラによる深度取得装置及びその方法
Ciortan et al. A practical reflectance transformation imaging pipeline for surface characterization in cultural heritage
JP6479666B2 (ja) 視野の深度を推定する能力があるパッシブシングルチャネルイメージャの設計方法
US11410378B1 (en) Image processing for generating three-dimensional shape and spatially-varying reflectance of the object using a deep neural network
Xie Three-dimensional reconstruction based on multi-view photometric stereo fusion technology in movies special-effect
Georgoulis et al. Tackling shapes and brdfs head-on
Pintus et al. Practical free-form RTI acquisition with local spot lights
Meng et al. Single-shot specular surface reconstruction with gonio-plenoptic imaging
JP2019022147A (ja) 光源方向推定装置
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
Riess Physical Integrity
JP7463697B2 (ja) 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
US20240144591A1 (en) System and method for surface properties reconstruction and positioning of digitized 3d objects
De Zeeuw et al. Scanning Iridescent Reflectance
Uranishi et al. Three-dimensional measurement system using a cylindrical mirror
KR20230071539A (ko) 단일 촬상형 tsom 검사 방법 및 그에 적합한 tsom 검사 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181023

Termination date: 20210111

CF01 Termination of patent right due to non-payment of annual fee