CN100550053C - 确定数字照相机图像中的场景距离 - Google Patents

确定数字照相机图像中的场景距离 Download PDF

Info

Publication number
CN100550053C
CN100550053C CNB2006800037616A CN200680003761A CN100550053C CN 100550053 C CN100550053 C CN 100550053C CN B2006800037616 A CNB2006800037616 A CN B2006800037616A CN 200680003761 A CN200680003761 A CN 200680003761A CN 100550053 C CN100550053 C CN 100550053C
Authority
CN
China
Prior art keywords
distance
scene
digital
digital camera
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006800037616A
Other languages
English (en)
Other versions
CN101111867A (zh
Inventor
E·B·金德尔
A·C·加拉赫尔
A·D·恩格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mau new gate Venture Capital Co., Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN101111867A publication Critical patent/CN101111867A/zh
Application granted granted Critical
Publication of CN100550053C publication Critical patent/CN100550053C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/30Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种用于为由数字照相机所捕获的数字图像产生场景距离值的距离图的方法包括:在第一照明条件下捕获场景的第一数字图像,其中该第一数字图像包括多个像素,并且该场景包括位于距该数字照相机的不同距离处的多个场景对象;在不同于第一照明条件的第二照明条件下捕获该场景的第二数字图像;以及使用第一和第二数字图像来产生具有多个场景距离值的距离图,其中每一个场景距离值与该数字照相机到相应的场景对象之间的距离相关。

Description

确定数字照相机图像中的场景距离
技术领域
本发明一般而言涉及数字图像处理的领域,特别涉及对由数字照相机所捕获的数字图像中的场景内的不同位置的距离检测。
背景技术
场景对象几何形状(即几何分布和关系)对于自然场景照相来说是有价值的信息,其可以被用来处理由数字照相机所产生的数字图像。特别地,如果知道照相机与场景对象沿着从照相机到对象的视线的分开距离,则可以计算该场景内的对象与对象之间的分开距离。
在这一领域中存在半手动和自动的现有技术的例子。在“Multiple View Geometry in Computer Vision Second Edition(计算机视觉中的多视图几何学第二版)”(Cambridge University Press,2004年3月)中,R.Hartley等人公开了几种用于从2D图像确定3D信息(从而确定距离信息)的方法。一种方法是通过从不同的视角几次捕获一个场景来实现的。通过在把几何结构分配给图像中的某些特征的过程中的用户干预,可以导出所述场景的欧几里德3D几何形状。据Hartley所写,通过使用投影几何学的技术,在许多情况下有可能从单个图像重建场景。在关于所成像的场景不做一些假设的情况下无法实现这一点(例如应当知道至少两个所成像的点之间的物理距离)。这种技术还没有可能完全自动化。然而,可以把投影几何知识内建在一个系统中,该系统允许对场景进行用户引导的单视图重建。Hartley所描述的另一种方法要求所述场景的所有点在所有图像中都是可见的。
现有的距离测量方法的一个显著问题在于,它们需要进行相当多的处理来确定距离。这些方法常常需要用户干预以及针对图像捕获的特定设置。另外,这些方法常常在计算上非常密集且复杂。
发明内容
本发明的一个目的是产生位于距照相机的不同距离处的场景对象的距离图。
该目的是通过一种用于为由数字照相机所捕获的数字图像产生场景距离值的距离图的方法来实现的,该方法包括:
a)在第一照明条件下捕获场景的第一数字图像,其中该第一数字图像包括多个像素,并且该场景包括位于距该数字照相机的不同距离处的多个场景对象;
b)在不同于第一照明条件的第二照明条件下捕获该场景的第二数字图像;以及
c)使用第一和第二数字图像来产生具有多个场景距离值的距离图,其中每一个场景距离值与该数字照相机到相应的场景对象之间的距离相关。
本发明的一个特征在于,它提供了一种改进的、自动的并且在计算上高效的方式来确定与场景内的不同位置距数字照相机的距离相关的场景距离值。该特征是通过用单个数字照相机捕获场景的多个图像来实现的。所述多个图像是利用不同的光源捕获的。在产生所述距离图的过程中有利地使用了闪光照明光源对距离的反平方律依赖性。
附图说明
图1是描绘适于实践本发明的计算机系统的方框图;
图2是示出原始场景、数字照相机和两个光源的图像捕获情形的功能方框图;以及
图3是距离计算所需的图像处理的方框图。
具体实施方式
在下面的描述中将描述本发明的一个优选实施例,其一般将被实现为软件程序。本领域技术人员将容易认识到,也可以用硬件来构造这种软件的等效方案。由于图像处理算法和系统是公知的,因此本描述将特别针对形成根据本发明的系统和方法的一部分或者与其更直接协作的算法和系统。可以从本领域中已知的所述系统、算法、组件和元件当中选择未在此专门示出或描述的这种算法和系统的其他方面(以及用于产生并且以其他方式处理所涉及的图像信号的硬件或软件)。在下面的材料中给出根据本发明所述的系统的情况下,未在此专门示出、提出或描述的可用于实现本发明的软件是常规的,并且在本领域技术人员的理解范围之内。
更进一步,如在此所用的计算机程序可以被存储在计算机可读存储介质中,其例如可以包括:诸如磁盘(比如硬盘驱动器或软盘)或磁带之类的磁存储介质;诸如光盘、光带或机器可读条形码之类的光存储介质;诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备;或者被采用来存储计算机程序的任何其他物理设备或介质。
在描述本发明之前,为了便于理解,应当注意到本发明被优选地使用在任何公知的计算机系统上,比如个人计算机。因此,在此将不详细讨论所述计算机系统。注意到所述图像被直接输入到该计算机系统中(例如通过数字照相机)或者在输入到该计算机系统中之前被数字化(例如通过扫描诸如卤化银胶片之类的原始图像)也是有益的。
参考图1,其中示出了一个用于实现本发明的计算机系统110。虽然出于说明一个优选实施例的目的示出了该计算机系统110,但是本发明并不限于所示出的该计算机系统110,而是可以被用在任何电子处理系统上,比如存在于家用计算机、信息站、零售或批发式照相洗印加工中的电子处理系统,或者用于处理数字图像的任何其他系统。该计算机系统110包括一个基于微处理器的单元112,其用于接收和处理软件程序以及用于执行其他处理功能。显示器114被电连接到该基于微处理器的单元112,以用于例如通过图形用户界面来显示与所述软件相关联的用户相关信息。键盘116也被连接到该基于微处理器的单元112,以用于允许用户向所述软件输入信息。作为对于使用键盘116进行输入的替换方案,可以使用鼠标118以用于在显示器114上移动选择器120,并且用于选择该选择器120所覆盖的项目,正如本领域中所公知的。
把通常包括软件程序的光盘只读存储器(CD-ROM)124插入到所述基于微处理器的单元内,以用于提供一种向该基于微处理器的单元112输入软件程序和其他信息的方式。另外,软盘126也可以包括软件程序,并且被插入到该基于微处理器的单元112中以用于输入该软件程序。所述CD-ROM 124或软盘126可以替换地被插入到位于外部的盘驱动器单元122中,该位于外部的盘驱动器单元122被连接到所述基于微处理器的单元112。更进一步,正如本领域中所公知的那样,该基于微处理器的单元112可以被编程以用于在内部存储所述软件程序。该基于微处理器的单元112还可以具有到外部网络(比如局域网或因特网)的网络连接127(比如电话线)。打印机128也可以被连接到该基于微处理器的单元112,以用于打印来自所述计算机系统110的输出的硬拷贝。
还可以通过个人计算机卡(PC卡)130在所述显示器114上显示图像,如以前所知的那样,该个人计算机卡130例如是包含数字化的图像的PCMCIA卡(基于个人计算机存储卡国际协会的规范),所述数字化的图像被电子地包含在该PC卡130中。该PC卡130最终被插入到所述基于微处理器的单元112中,以便允许在该显示器114上对图像进行视觉显示。可选择地,所述PC卡130可以被插入到与该基于微处理器的单元112相连的位于外部的PC卡读取器132中。还可以通过所述CD-ROM 124、软盘126或者网络连接127输入图像。存储在所述PC卡130、软盘126或CD-ROM 124中的任何图像或者通过网络连接127输入的任何图像可以是已经通过多种来源所获得的,所述来源例如是数字照相机(未示出)或扫描仪(未示出)。还可以通过连接到所述基于微处理器的单元112的照相机对接端口136从数字照相机134直接输入图像,或者通过到该基于微处理器的单元112的电缆连接138直接从数字照相机134输入图像,或者通过到该基于微处理器的单元112的无线连接140直接输入图像。
根据本发明,所述算法可以被存储在以上所提到的任何存储设备中,并且被应用于图像以便确定与场景内的不同位置距所述数字照相机的距离相关的值。
图2描绘了涉及到数字照相机134的典型的成像情形。通过环境光源170来照明包括多个场景对象的原始场景160。该数字照相机134可以被用来以数字图像的形式记录该原始场景160。因此,该三维原始场景160被捕获并且被表示为二维数字图像。在本发明中,数字照相机134被用来捕获两个数字图像,每个数字图像是利用一个不同的光源(即不同的照明条件)来采集的。假设通过环境光源170来照明该原始场景160。对于室内照相来说,该环境光源170可以是荧光灯泡或白炽灯泡。对于户外照相来说,该环境光源170可以是直接的日光或者来自云层的漫射日光。通过利用该环境光源170进行第一次捕获所产生的数字图像是非闪光数字图像201。电子闪光单元被用作第二光源,其被称作闪光光源180。利用所述数字照相机134进行第二次捕获得到第二数字图像,其被标记为闪光数字图像202。
优选地,在所述闪光数字图像202之前的1/15与1/30秒之间捕获所述非闪光数字图像201,以便减小这两次捕获之间的场景改变。
假设所述环境光源170还被用于捕获所述闪光数字图像202。因此,该环境光源170可以被视为用于捕获所述非闪光数字图像201的第一光源,并且该环境光源170和闪光光源180在一起的组合可以被视为用于捕获所述闪光数字图像202的第二光源。还应当注意到,该附加光源(即如上所述的闪光光源180)不必由电子闪光单元产生。例如,被固定于所述数字照相机134的第二白炽灯泡可以被用作该附加光源。因此,对于第二次图像捕获来激活该附加光源。单个光源或者多个光源的组合限定一种照明条件。
假设所述数字照相机134相对于所述原始场景160的位置对于两次捕获来说是近似相同的。本发明使用这两个数字图像来计算所述闪光数字图像202的每个像素的场景距离值,该场景距离值对应于沿着视线从该照相机到该原始场景160内的某一位置的分开距离。所计算的各场景距离值构成用于所述数字照相机134到原始场景160的图像捕获情形的距离图像或距离图203(图3中示出)。因此,为该距离图203的每个像素计算场景距离值。随后可以对该距离图203进行分析,以便确定场景对象(例如树或墙壁)与所述数字照相机的单点透视的距离。例如,可以对被记录在该距离图203中的对应于一棵树的各场景距离值求平均,以便确定照相机到树的距离。
所述原始场景160包括位于距所述数字照相机134的不同距离处的多个场景对象。例如,一个室内场景可以包括地板、墙壁、天花板、家具以及甚至所述环境光源。虽然在概念上可以把每一个所述项目视为一个场景对象,但是也有可能把一个对象的每一部分视为一个场景对象。例如,房间的天花板可以被视为一个对象,但是也可以把该天花板的近处部分或远处部分视为一个对象。所述非闪光数字图像201和闪光数字图像202都包括多个像素。这两个数字图像的每个像素对应于一个场景对象的一部分。因此,所捕获的数字图像的每个像素都具有相应的场景对象,该相应的场景对象与所述数字照相机具有可测量的距离。从该处开始测量所述距离的该数字照相机134上的实际点可以被任意地选择成前透镜的中心,或者例如被用于捕获数字图像的电子传感器的中心照相位置。因此,距离图203包括多个场景距离值(像素值),其中每个场景距离值与该数字照相机134到相应的场景对象或场景位置之间的距离相关。虽然确实该距离图203的每个像素都具有相应的场景位置或场景对象,但是一般来说,并不是每个场景对象都具有相应的所计算出的场景距离值。例如,如果一把椅子面向该数字照相机134,则该椅子的背面不可能具有到该照相机的视线,因此并未被看到。然而,所述原始场景内的确实具有到该数字照相机134的视线的每个位置或场景对象都可以具有可测量的场景距离值。
假设所述环境光源170均匀地照明所述原始场景160的各场景对象。对于大多数所照相的场景来说,这都是有效的近似。因此,具有不同的材料反射率值的两个场景对象在所得到的所捕获数字照相机图像中将导致不同的像素值,其中具有较低材料反射率的该场景对象看起来更暗(像素值更低)。具有大约相同的材料反射率值的两个场景对象在所述非闪光数字图像201中将具有近似相同的相应像素值。即使两个场景对象处在距所述数字照相机134的不同距离处,这一点也是成立的。因此,对于利用所述环境光源170捕获的所述非闪光数字图像201来说,像素值的差主要是由材料反射率的改变导致的。虽然这对于与直接由该环境光源170照明的场景对象相对应的像素来说一般是成立的,但是这对于与不直接由该环境光源照明的阴影区域相对应的像素来说是不成立的。因此,从利用该环境光源170捕获的数字图像取得的像素值差是由材料反射率的差异所导致的。
对于所述闪光数字图像202,只有当具有相同材料反射率值的两个场景对象处在距所述数字照相机134的大约相同的距离处时,与所述对象相对应的像素值才将是相同的。如果这两个场景对象处在距该数字照相机134的不同距离处,则更远的对象将从所述闪光光源180接收到更少的光。因此,该闪光数字图像202中的相应的像素值在数值上将小于(表明接收到更少的光)与更近的该场景对象相关联的相应像素值。由所述原始场景160内的场景对象接收到的光强度与所述闪光光源180到该场景对象之间的距离的平方近似成反比。如果该闪光光源180被固定于所述数字照相机134,则场景对象到光源的距离与场景对象到照相机的距离近似相同。对于具有不同材料反射率值的两个场景对象来说,当两个对象处在距该闪光光源180的相同距离处时,相应的像素值将是不同的。因此,在利用该闪光光源180捕获的数字图像内的像素值变化可以由照相机到场景对象的距离变化或者材料反射率变化导致。
本发明利用了所述闪光光源180的固有的反平方距离关系和所述环境光源170的固有的距离独立关系来导出所述非闪光数字图像201或所述闪光数字图像202的像素的场景距离值。这是通过利用以下事实来实现的:场景对象的材料反射率差异对于所述非闪光数字图像201和闪光数字图像202来说是近似相同的。假设所述闪光光源180的角度敏感性是各向同性的,即与关于所述数字照相机134的三个主轴的指向角度无关。一些电子闪光光源可能具有角度依赖性。本领域技术人员将认识到,可以在所述计算当中包括一个补偿项,这是由于所捕获的数字图像的每个像素将具有相对于所述照相机的系统角度。
对于所述非闪光数字图像201,假设所述原始场景160是利用所述环境光源170产生的。在数学上,该非闪光数字图像201的像素值aij可以由(1)表示:
aij=AijMRij(1)
其中,Aij表示对应于第ij个像素的场景对象的环境光源照明度,并且MRij表示对应于第ij个像素的所成像的场景对象的材料反射率。对于所述闪光数字图像202,假设所述原始场景160的产生包括所述环境光源170和闪光光源180。在数学上,所述像素数据可以被表示为(2):
bij=(Aij+Fij)MRij    (2)
其中,bij表示所述闪光数字图像202的第ij个像素值,并且Fij表示对应于第ij个像素的场景对象的闪光光源照明度。
仅仅由所述闪光照明源形成的数字图像可以通过从所述闪光数字图像202的像素值减去所述非闪光图像201的像素值而获得,正如由(3)所给出的那样:
cij=FijMRij(3)
其中,cij表示所计算的该仅有闪光的数字图像的第ij个像素值。可以通过用表达式(3)除以(1)而从等式中除去所述材料反射率值MRij,从而形成(4):
qij=cij/aij=Fij/Aij(4)
其中,qij表示仅有闪光的像素值与环境像素值的比值。如果所述环境光源170可以用一个常数A0来近似(即空间上不变的分布),则该项qij将与所述闪光光源180的空间变化成比例,这是由所述场景距离值Dij或照相机到场景对象的距离来确定的,正如由(5)所给出的那样。项F0是与由所述闪光光源180所发射的功率和所述数字照相机透镜系统的F数相关的一项:
Fij=Fo/Dij 2(5)
利用这一近似,可以如由(6)所给出的那样计算所述场景距离值Dij
D ij = F o / ( A o q ij ) - - - ( 6 ) .
可以通过确定所述环境照明源常数A0来计算经过校准的场景距离值Dij。一种计算A0的方式是如由(7)所给出的那样对所述环境非闪光数字图像201中的各值求平均:
Ao=5.5∑ij aij    (7)
其中,所述常数5.5近似地是0.18(即平均材料反射率值M Rij)的倒数。还可以使用所述照相机透镜焦距Df作为参考距离来校准所述场景距离值。该数量Df表示“焦点对准”的照相机到场景对象距离。所述照相机透镜子系统自身应当被校准。假设所述照相机视场的中心对应于第mn个图像像素位置,并且所述照相机透镜被聚焦在对应于该第mn个图像像素的场景对象上,则所述场景距离值Dij由(8)给出:
D ij = K o / q ij - - - ( 8 )
其中该常数K0由(9)给出:
K0=qmnD2 f    (9).
图3示出作为所述基于微处理器的单元112(图1中示出)的一部分的图像处理器200的功能方框图。还应当注意到,该图像处理器200还可以被实现为所述数字照相机134的一部分。距离计算器210接收所述非闪光数字图像210和闪光数字图像202,并且通过执行在上述表达式(1)到(9)中概述的计算来产生距离图203。因此,该距离图203包括对应于所述非闪光数字图像201和闪光数字图像202中的第ij个像素的场景距离值Dij。在该图像处理器200内,转换模块220接收该距离图203和该闪光数字图像202,并且使用所述场景距离值来产生增强的数字图像204。
上述的表达式(1)到(9)的推导是利用一般项来公式化的。也就是,这些表达式可以被用来描述任何类型的图像像素数据的场景距离值Dij的计算。例如,如果所述数字照相机134产生包括红色、绿色和蓝色(RGB)像素值的彩色数字图像,则可以利用来自所述非闪光数字图像201和闪光数字图像202的红色像素值来单独地计算所述场景距离值。类似地,还可以仅仅使用绿色或者仅仅使用蓝色像素值来计算场景距离值Dij。因此,可以从三种单独的彩色像素值分别产生三组场景距离值。一些数字照相机利用关于青色、品红色和黄色的三种彩色像素值来产生数字图像。类似地,还可以仅仅使用青色、品红色或者仅仅使用黄色像素值(CMY)来计算场景距离值Dij。对于由数字照相机产生的单色(黑白)数字图像,可以利用单色像素值来计算场景距离值Dij。以类似的方式,可以按照(10)来计算亮度像素值:
Lij=0.30Rij+0.59Gij+0.11Bij(10)
其中,各项Rij、Gij和Bij分别表示第ij个红色、绿色和蓝色像素值,并且Lij表示第ij个亮度像素值。一种特别有用的实现方式仅仅使用绿色像素值Gij来计算所述场景距离值Dij。该实现方式更快并且特别可用于照相机内的应用,这是由于不必计算亮度像素值。
应当注意到,应当在计算所述场景距离值之前配准所述非闪光数字图像201和闪光数字图像202。配准两个图像是为了对准所述图像并且除去由于定位错误所造成的(例如由手抖动所导致的)总像素位移。例如,找到两个数字图像之间的归一化互相关的最大值表明一个图像相对于另一个图像的像素偏移量。当所述场景中的对象在捕获所述闪光数字图像202和捕获所述非闪光数字图像201之间的时间间隔内可能已经发生了移动时,则可以使用其他的局部配准技术,比如光流或者块匹配技术。
参考图3,所述转换模块220使用所述距离图203的场景距离值从所述非闪光数字图像201或闪光数字图像202产生增强的数字图像204。例如,所述场景距离值Dij可以被用来调制一个模糊空间滤波器,该模糊空间滤波器被应用于该闪光数字图像202的各像素。表达式(11)描述了一般化的空间滤波操作:
p′ij=∑kαmnpmn(11)
其中,该项p′ij表示第ij个处理后的像素值,pmn表示第ij个像素周围的局部邻域内的像素值,并且αmn表示该pmn像素值的空间加权因子。因此,该空间加权因子αmn可以被形成为场景距离值Z′ij的函数,正如由(12)和(13)所给出的那样:
α mn = e ( ( m - i ) 2 + ( n - j ) 2 ) / 2 σ 2 - - - ( 12 )
当t1<=Z′ij>=τ2时σ=0.5(13)
当t1>Z′ij或Z′ij<τ2时σ=2.0
其中,τ1和τ2表示距离阈值,并且σ表示确定所述模糊操作的空间范围的控制参数。所述数字照相机134提供照相机透镜焦距Df,其对应于所述照相机透镜被设置来捕获所述闪光数字图像202的距离。按照(14),所述距离阈值基于所述照相机透镜聚焦设置参数而被设置:
t1=Df-ε(14)
t2=Df
其中,ε表示容限值。对于具有处于该ε容限值之外的相应的场景距离值Df的各像素,所述增强的数字图像204的所述像素将被显著模糊。
虽然表达式(12)到(14)描述了一种作为所计算的场景距离值的函数来改变空间滤波器的方法,但是本领域技术人员将认识到,可以结合本发明使用其他的函数形式。例如,所述控制参数σ可以作为所述场景距离值Dij的解析函数而被公式化。类似地,σ的形式可以具有为之执行少得多的模糊的多于一个的距离范围。这可以通过具有第二组距离阈值参数来实现。在这种情形中,对应于靠近或远离所述照相机的场景对象的图像像素招致非常少的模糊或者没有模糊,而对应于处在近处与远处之间的场景对象的图像像素被显著模糊。表达式(15)描述了这一近-远情形:
当t1<=Z′ij>=τ2时σ=0.5(15)
当Z′ij>=τ3时σ=0.5
否则σ=2.0
如由表达式(12)到(14)所描述的那样,基于所述距离图203来调制模糊操作的操作产生了增强的数字图像204,其看起来像是由具有不同的F数的数字照相机所捕获的。特别地,该增强的数字图像204看起来将像是利用更低的F数所拍摄的。当所述模糊操作是基于表达式(12)、(14)和(15)时,经过处理的增强的数字图像204并不容易地对应于可以利用常规照相机产生的物理上可实现的效果。
在本发明的(多个)优选实施例中所公开的所述距离检测算法可以被采用在多种用户情境和环境中。示例性的情境和环境包括(而没有限制):批发式数字照相洗印加工(其涉及到诸如胶片输入、数字处理、照片输出之类的示例性过程步骤或阶段)、零售式数字照相洗印加工(胶片输入、数字处理、照片输出)、家庭打印(家庭扫描的胶片或数字图像、数字处理、照片输出)、桌面软件(对数字照片应用算法以使其更好或者甚至仅仅是进行改变的软件)、数字实施(来自介质或通过web的数字图像输入、数字处理、介质上的数字形式的图像输出、通过web的数字形式的图像输出或者在硬拷贝照片上打印的图像输出)、信息站(数字或扫描的输入、数字处理、数字或扫描的输出)、移动设备(例如可以被用作处理单元、显示单元或者给出处理指令的单元的PDA或蜂窝电话)以及作为通过万维网所提供的服务。
在所有情况下,所述距离检测算法可以是独立的,或者可以是更大的系统解决方案的组成部分。此外,与所述算法的接口(例如扫描或输入、数字处理、向用户的显示(如果需要的话)、输入用户请求或处理指令(如果需要的话)、输出)可以分别处在相同或不同的设备和物理位置上,并且各设备和位置之间的通信可以是通过公共或私有网络连接或者基于介质的通信。在与本发明的前述公开内容一致的情况下,所述算法本身可以是完全自动化的,其可以具有用户输入(完全或部分手动的),可以具有用户或操作员检查以接受/拒绝结果,或者可以由元数据进行辅助(可以由用户提供、由测量设备(例如在照相机中)提供或者由算法确定的元数据)。此外,所述算法可以与多种工作流用户接口方案相接口。
在此根据本发明公开的距离检测算法可以具有使用各种数据检测和缩减技术(例如面部检测、眼睛检测、皮肤检测、闪光检测)的内部组成部分。
一种计算机程序产品可以包括一个或多个存储介质,例如:诸如磁盘(比如软盘)或磁带之类的磁存储介质;诸如光盘、光带或机器可读条形码之类的光存储介质;诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备;或者被采用来存储计算机程序的任何其他物理设备或介质,所述计算机程序具有用于控制一个或多个计算机来实践根据本发明的方法的指令。
部件列表
110计算机系统
112基于微处理器的单元
114显示器
116键盘
118鼠标
120选择器
122盘驱动器单元
124光盘只读存储器(CD-ROM)
126软盘
127网络连接
128打印机
130个人计算机卡(PC卡)
132PC卡读取器
134数字照相机
136照相机对接端口
138电缆连接
140无线连接
160原始场景
170环境光源
180闪光光源
200图像处理器
201非闪光数字图像
202闪光数字图像
203距离图
204增强的数字图像
210距离计算器
220转换模块

Claims (3)

1、一种用于为由数字照相机所捕获的数字图像产生距离图并且使用这种距离图来增强所述数字图像的方法,包括:
a)在由不同光源造成的不同照明条件下使用该数字照相机来捕获一个场景的两个数字图像,其中该场景包括位于距该数字照相机的不同距离处的多个场景对象,其中所述其中一种照明条件是环境光,另一种照明条件是由环境光和来自附着于该数字照相机的光源的光的组合所导致的;
b)通过从在所述另一种照明条件下捕获的数字图像的像素值减去在所述一种照明条件下捕获的数字图像的像素值来产生差值数字图像;
c)使用所述两个数字图像来产生场景距离值的距离图,其中所述场景距离值的平方与所述差值数字图像的像素值和在所述一种照明条件下捕获的数字图像的像素值的比值成反比,以及每一个场景距离值与该数字照相机到相应的场景对象之间的距离相关;以及
d)使用所述距离图来增强所述两个数字图像中的任何一个。
2、根据权利要求1所述的方法,其中,所述两个数字图像被转换到记录空间中。
3、根据权利要求2所述的方法,包括:使用所述场景内的像素的已知参考距离来校准所述场景距离值。
CNB2006800037616A 2005-02-01 2006-01-18 确定数字照相机图像中的场景距离 Expired - Fee Related CN100550053C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/048,463 US7389041B2 (en) 2005-02-01 2005-02-01 Determining scene distance in digital camera images
US11/048,463 2005-02-01

Publications (2)

Publication Number Publication Date
CN101111867A CN101111867A (zh) 2008-01-23
CN100550053C true CN100550053C (zh) 2009-10-14

Family

ID=36499454

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006800037616A Expired - Fee Related CN100550053C (zh) 2005-02-01 2006-01-18 确定数字照相机图像中的场景距离

Country Status (5)

Country Link
US (2) US7389041B2 (zh)
EP (1) EP1844441A1 (zh)
JP (1) JP4938690B2 (zh)
CN (1) CN100550053C (zh)
WO (1) WO2006083639A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7389041B2 (en) * 2005-02-01 2008-06-17 Eastman Kodak Company Determining scene distance in digital camera images
JP4657052B2 (ja) * 2005-07-29 2011-03-23 イーストマン コダック カンパニー デジタルカメラ、撮影方法、および撮影制御プログラム。
US7623780B2 (en) * 2006-03-17 2009-11-24 Nikon Corporation Image capturing apparatus with color compensation
US20080231835A1 (en) * 2007-03-23 2008-09-25 Keigo Iizuka Divergence ratio distance mapping camera
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
CN101685194A (zh) * 2008-09-26 2010-03-31 鸿富锦精密工业(深圳)有限公司 自动对焦装置及方法
DE102009017694B3 (de) * 2009-04-15 2010-12-02 Göpel electronic GmbH Anordnung einer rotatorischen Bildaufnahmeeinheit für die Abbildung von Objekten auf Leiterplatten unter einem polaren Betrachtungswinkel von 45°
US8289300B2 (en) * 2009-07-17 2012-10-16 Microsoft Corporation Ambient correction in rolling image capture system
US8391789B2 (en) 2010-04-19 2013-03-05 Nokia Corporation Apparatus for facilitating peripheral device selection
CN102298470B (zh) * 2010-06-25 2013-09-04 原相科技股份有限公司 影像感测模块
US8351653B2 (en) 2010-08-26 2013-01-08 Honda Motor Co., Ltd. Distance estimation from image motion for moving obstacle detection
US8315674B2 (en) 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
FR2966257A1 (fr) * 2010-10-13 2012-04-20 St Microelectronics Grenoble 2 Procede et dispositif de construction d'une image en relief a partir d'images en deux dimensions
KR101180027B1 (ko) * 2011-03-10 2012-09-06 디나스트 광센서 및 이를 이용한 감지 방법
US9307134B2 (en) 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
US8611642B2 (en) 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
US20130129192A1 (en) * 2011-11-17 2013-05-23 Sen Wang Range map determination for a video frame
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
US9489743B2 (en) 2013-03-13 2016-11-08 Mecommerce, Inc. Determining dimension of target object in an image using reference object
JP5862635B2 (ja) * 2013-10-11 2016-02-16 カシオ計算機株式会社 画像処理装置、立体データ生成方法、及びプログラム
US9426568B2 (en) 2014-04-15 2016-08-23 Harman International Industries, LLC Apparatus and method for enhancing an audio output from a target source
WO2015172115A1 (en) * 2014-05-08 2015-11-12 Glasses.Com Inc. Systems and methods for scaling an object
US10019648B2 (en) 2015-12-09 2018-07-10 Adobe Systems Incorporated Image classification based on camera-to-object distance
US10049456B2 (en) 2016-08-03 2018-08-14 International Business Machines Corporation Verification of business processes using spatio-temporal data
JP2018092007A (ja) * 2016-12-02 2018-06-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
WO2019013807A1 (en) * 2017-07-14 2019-01-17 Archit System Inc. METHOD AND SYSTEM FOR ACQUIRING A TEHRHERTZ-GIGAHERTZ IMAGE
US10574876B2 (en) * 2017-10-17 2020-02-25 Motorola Mobility Llc Photography environment control
US10469723B2 (en) 2017-10-17 2019-11-05 Motorola Mobility Llc Photography lighting control
CN108168713B (zh) * 2017-12-22 2019-08-23 福建和盛高科技产业有限公司 输电线路红外热成像防山火系统
US10999088B2 (en) * 2018-11-20 2021-05-04 Dell Products, L.P. Proximity and context-based telepresence in collaborative environments
CN109862209B (zh) * 2019-01-04 2021-02-26 中国矿业大学 一种基于光线逆追踪技术还原井下图像的方法
WO2021150741A1 (en) * 2020-01-21 2021-07-29 Proprio, Inc. Methods and systems for augmenting depth data from a depth sensor, such as with data from a multiview camera system
CN111829484B (zh) * 2020-06-03 2022-05-03 江西江铃集团新能源汽车有限公司 基于视觉的目标距离测算方法
EP4013037B1 (en) * 2020-12-11 2023-05-03 Axis AB Space mapping illumination in image system
US11962912B2 (en) * 2021-06-16 2024-04-16 Aptiv Technologies AG Object detection via comparison of synchronized pulsed illumination and camera imaging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09181913A (ja) * 1995-12-26 1997-07-11 Olympus Optical Co Ltd カメラシステム
JP3410919B2 (ja) * 1997-01-31 2003-05-26 株式会社東芝 画像抽出装置
JP3695930B2 (ja) * 1998-02-05 2005-09-14 株式会社東芝 画像監視装置
US6856355B1 (en) * 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
US6363223B1 (en) * 2000-03-29 2002-03-26 Terry Gordon Photographic firearm apparatus and method
JP4530571B2 (ja) * 2001-04-16 2010-08-25 Hoya株式会社 3次元画像検出装置
US7102683B2 (en) * 2002-04-17 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Single lens 3D camera
US6792205B2 (en) * 2002-04-17 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Method for generating a textured range image
US7389041B2 (en) * 2005-02-01 2008-06-17 Eastman Kodak Company Determining scene distance in digital camera images

Also Published As

Publication number Publication date
WO2006083639A1 (en) 2006-08-10
US7389041B2 (en) 2008-06-17
US20080192115A1 (en) 2008-08-14
EP1844441A1 (en) 2007-10-17
US8073318B2 (en) 2011-12-06
JP2008529166A (ja) 2008-07-31
US20060171566A1 (en) 2006-08-03
JP4938690B2 (ja) 2012-05-23
CN101111867A (zh) 2008-01-23

Similar Documents

Publication Publication Date Title
CN100550053C (zh) 确定数字照相机图像中的场景距离
CN108140130B (zh) 图像处理方法及非暂时性计算机可读介质
KR102565513B1 (ko) 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치
EP3134850B1 (en) Method for controlling a camera based on processing an image captured by other camera
CN101103635B (zh) 数码相机图像中的白平衡校正
CN101375610B (zh) 生成数字彩色图像的方法
CN101322153B (zh) 调节数字图像的曝光和色标
US9571819B1 (en) Efficient dense stereo computation
CN106993112A (zh) 基于景深的背景虚化方法及装置和电子装置
KR20170019359A (ko) 국부적 적응형 히스토그램 등화
CN102484721A (zh) 四通道滤色片阵列图案
CN105765967A (zh) 使用第二相机来调节第一相机的设置
CN101652798A (zh) 使用全色像素的边缘映射
JP2007536801A (ja) デジタルカメラ画像における赤目の特定
US8811729B2 (en) Illuminant estimation
JP5740147B2 (ja) 光源推定装置及び光源推定方法
US11417019B2 (en) Detection of a calibration object for modifying image parameters
CN108701700A (zh) 被配置用于双模式操作的图像传感器
CN114760422A (zh) 一种逆光检测方法及系统、电子设备及存储介质
US20090021810A1 (en) Method of scene balance using panchromatic pixels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130409

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130409

Address after: Nevada, USA

Patentee after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Patentee before: Eastman Kodak Co.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180518

Address after: Texas, USA

Patentee after: Mau new gate Venture Capital Co., Ltd.

Address before: Nevada, USA

Patentee before: Gaozhi 83 Foundation Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091014

Termination date: 20200118

CF01 Termination of patent right due to non-payment of annual fee