CN101729778A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN101729778A
CN101729778A CN200910146541A CN200910146541A CN101729778A CN 101729778 A CN101729778 A CN 101729778A CN 200910146541 A CN200910146541 A CN 200910146541A CN 200910146541 A CN200910146541 A CN 200910146541A CN 101729778 A CN101729778 A CN 101729778A
Authority
CN
China
Prior art keywords
picture frame
standard drawing
frame
drawing picture
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910146541A
Other languages
English (en)
Other versions
CN101729778B (zh
Inventor
任宰均
玉贤旭
朴炳冠
李性德
姜周泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101729778A publication Critical patent/CN101729778A/zh
Application granted granted Critical
Publication of CN101729778B publication Critical patent/CN101729778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像处理设备和方法。利用关于场景的光场数据产生一个标准图像帧和至少一个参考图像帧。利用所述产生的一个标准图像帧和所述至少一个参考图像帧复原高分辨率图像。

Description

图像处理设备和方法
本申请要求于2008年10月10日提交的第10-2008-0099611号韩国专利申请以及于2008年12月3日提交的第10-2008-0121864号韩国专利申请的权益，所述申请的公开内容通过引用被全部结合于此。
技术领域
以下描述涉及一种摄影器件，更具体地讲，涉及一种利用光场数据来处理图像的设备和方法。
背景技术
在目前使用的摄影系统中，一个拍摄操作仅能使一个图像被观看。但是，近来已经进行研究具有聚焦重组功能的全光照相机(plenoptic camera)。也被称为光场照相机的全光照相机利用微透镜阵列(通常是微粒透镜(lenticulerlens)阵列)或者光编码孔板(light coded mask)捕获关于场景的4维光场信息。这种全光照相机为用户提供在一个拍摄操作之后再聚焦和视角改变的功能，所述再聚焦改变焦平面，所述视角改变能使场景从不同的角度被观看。
同时，在很多领域，例如，监控摄像机、用于精确诊断的计算断层摄影术(CT)图像、用于模式识别的计算机视觉、地质勘查卫星图像等中需要高分辨率图像。为了获得这种高分辨率图像，正在研究利用信号处理技术从一系列低分辨率图像中重建高分辨率图像的方法。
发明内容
下面的描述涉及一种图像处理设备和方法，所述图像处理设备通过将光场数据限定为在高分辨率复原中使用的低分辨率图像，并在所述限定的低分辨率数据上采用高分辨率图像复原方法来产生高分辨率图像。
根据示例性的一方面，提供了一种图像处理设备，该图像处理设备包括：图像帧确定器，用于利用关于场景的光场数据确定一个标准图像帧和至少一个参考图像帧；点扩展函数确定器，基于所述标准图像帧和所述至少一个参考图像帧之间的子像素位移来确定点扩展函数；图像插值器，用于将所述标准图像帧插值为具有比标准图像帧高的分辨率的高分辨率标准图像帧；图像复原器，通过利用产生的所述高分辨率标准图像帧、点扩展函数和所述至少一个参考图像帧更新高分辨率标准图像帧，来复原高分辨率图像。
这里，所述子像素位移可以是构成所述标准图像帧的至少一个光场数据与分别对应于所述至少一个光场数据的每个参考图像帧的光场数据之间的位置差。
所述图像帧确定器可以将利用光场数据产生并从至少一个角度显示的图像帧中的一个图像帧确定为标准图像帧，并且将从至少一个角度显示的所述产生的图像帧中除了被确定为标准图像帧的图像帧之外的至少一个图像帧确定为所述至少一个参考图像帧。或者，所述图像帧确定器可以将利用光场数据中的每子孔径所获得的光场数据的总值产生的图像帧确定为标准图像帧，并且将利用在产生标准图像帧中使用的每子孔径的光场数据产生的至少一个图像帧确定为所述至少一个参考图像帧。
点扩展函数确定器可以将基于标准图像帧和每个参考图像帧之间的子像素位移的每个2维高斯函数确定为点扩展函数。所述图像插值器可以利用双线性插值方法或者双三次插值方法插值。
所述图像复原器可包括：残值(residual value)产生器，利用所述产生的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考图像帧和标准图像帧的点扩展函数来产生残值；图像更新器，利用所述残值来更新所述高分辨率标准图像帧。这里，所述残值可以是所述一个参考图像帧减去高分辨率标准图像帧与点扩展函数的卷积所得的值。    
此外，当所述高分辨率标准图像帧被更新时，所述残值产生器可以利用更新后的高分辨率标准图像帧、另一个参考图像帧以及基于所述另一个参考图像帧和标准图像帧的点扩展函数来产生残值。这里，所述残值可以是所述另一个参考图像帧减去更新的高分辨率标准图像帧与点扩展函数的卷积所得的值。
所述图像处理设备还可包括光场数据捕获器，所述光场数据捕获器包括：第一光学单元，用于形成物体的图像；光敏元件阵列，用于捕获光线；第二光学单元，定位在主透镜和光敏元件之间，基于光线的方向分离光线，并且将光线引导向所述光敏元件。
根据另一示例性的方面，提供了一种图像处理方法，所述方法包括：利用关于场景的光场数据确定一个标准图像帧和至少一个参考图像帧；基于所述标准图像帧和所述至少一个参考图像帧之间的子像素位移来确定点扩展函数；将所述标准图像帧插值为具有比所述标准图像帧的分辨率更高的分辨率的高分辨率标准图像帧；通过利用产生的所述高分辨率标准图像帧、点扩展函数和所述至少一个参考图像帧更新高分辨率标准图像帧，来复原高分辨率图像。
本发明的其它方面将在以下描述中进行阐述，一部分从描述中变得清楚，或者通过本发明的实施可以了解到。
应该理解，上述概括性描述和下面具体的描述是示例性和解释性的，并且目的在于对权利要求限定的本发明的进一步解释。
附图说明
附图示出了本发明的示例性实施例，附图被包括以提供对本发明的进一步理解，并且附图被结合其中并构成说明书的一部分，附图与描述一起用于解释本发明的各方面。
图1是显示根据示例性实施例的图像处理设备的结构的图示。
图2是显示全光照相机的方向分辨率(directional resolution)、空间分辨率和光敏元件像素大小之间的关系的图示。
图3A至图3C是显示根据示例性实施例的高分辨率图像重建概念的图示。
图4是显示根据示例性实施例的图像处理设备的结构的框图。
图5A和图5B是显示根据示例性实施例选择标准图像帧和参考图像帧的技巧的图示。
图6A至图6C是显示根据示例性实施例的基于光场数据相对于标准图像帧的子像素位移的图示。
图7是显示根据示例性实施例的基于标准图像帧产生高分辨率图像帧的图示。
图8是显示根据示例性实施例的基于标准图像帧计算点扩展函数(PSF)的一个示例的图示。
图9是显示根据示例性实施例的利用光场数据产生高分辨率图像的方法的流程图。
具体实施方式
以下，将参照附图更加全面地描述本发明，本发明的示例性实施例在附图中被示出。但是，本发明可以以很多不同的形式被实现，并且不应该被解释为局限于在此阐述的示例性实施例。相反，提供这些示例性实施例使得公开彻底，并且将本发明的范围更加完整地传达给本领域技术人员。附图中相同的标号表示相同的元件。
图1是显示根据示例性实施例的图像处理设备的结构的图示。
图像处理设备包括：光场数据捕获器140，具有用于形成物体图像的主透镜110、光敏元件(photosensor))阵列130和微透镜阵列120，该微透镜阵列120基于光线的方向来分离穿过主透镜110的光线，并将所述光线引导向光敏元件阵列130；数据处理器150，处理捕获的光场数据。在这种情况下，微透镜阵列120和光敏元件阵列130可实现为图像传感器160。使用这种图像处理设备，可以获取被再聚焦图像或者从多个角度观看的图像群(换句话说，可以调整图像的视角)。
来自成像场景中的物体105上的一点的光线可以到达微透镜阵列120的焦平面中的单个会聚点。在该会聚点的微透镜122基于光的方向分离光线，并且在微透镜122之后的光敏元件上产生主透镜110的孔径的聚焦图像。
光敏元件阵列130检测入射到其上的光，并产生利用多个元件中的至少一个处理过的输出。例如，当产生包括物体105、106和107的场景的图像时，输出的光数据和关于提供数据的每个光敏元件的位置信息一起被传送到数据处理器150。
数据处理器150可以实现为(例如)由一个公共组件(比如一个芯片)或者不同组件选择性地构成的计算机或者一些其它处理电路。数据处理器150的一部分可以实现在光场数据捕获器140中，而另一部分实现在外部计算机中。数据处理器150被实现为处理图像数据并计算包括物体105、106和107的场景的图像。
当利用检测的光或者检测的光的特征以及(利用每个光敏元件的已知位置计算的)到达微透镜阵列的光的已知方向产生可以再聚焦/校正的图像时，数据处理器150选择性地再聚焦和/或校正数据。
根据应用以多个不同的方式实现图像处理设备。例如，微透镜阵列120被示出为多个可辨别的微透镜，但是，阵列通常由很多(例如，几千或者几万)的微透镜构成。只要穿过主透镜110的光线基于它们的方向被分离，就可以按照其它形式(例如，光编码孔板)替代微透镜阵列120来实现。本领域普通技术人员将了解到，主透镜110和微透镜阵列120可以利用目前可用的或者将来研发的各种透镜和/或微透镜阵列来实现。
光敏元件阵列130通常针对微透镜阵列120中的每个微透镜具有多个光敏元件。光敏元件阵列1 30的每个像素的大小(即，间距)相对小于微透镜阵列120的间距。而且，微透镜阵列120中的微透镜和光敏元件阵列130中的光敏元件可以被布置成使得朝着光敏元件阵列传播通过每个微透镜的光不与传播通过相邻的微透镜的光重叠。
主透镜110具有沿着光轴水平地运动的能力，以便以主透镜110和示意性的拍摄物体105之间示出的期望的深度“d”来聚焦感兴趣的物体。因此，主透镜110能够基于获得的光场数据使光束再聚焦到期望的位置上。
例如，示出了来自物体105的一点的光线以对其进行解释。这些光线可以到达微透镜阵列120的焦平面中的微透镜122上的单个会聚点。微透镜122基于光线的方向来分离这些光线，并且在微透镜之后的像素阵列中的像素集合(pixel set)上产生对应于主透镜的孔径的聚焦图像并产生聚焦图像的光场数据。
考虑到图像处理设备100内的2-平面光场“L”，光场数据L(u，v，s，t)表示沿着与主透镜110相交于(u，v)并且与微透镜阵列120的平面相交于(s，t)的光线传播的光。例如，光场数据L(u，v，s，t)代表穿过主透镜110的子孔径的位置(u，v)且穿过微透镜的位置(s，t)的光束的强度值。这里，子孔径表示主透镜110的方向分辨率的数量。例如，当子孔径的数量是196时，每个微透镜阵列120对应于196个像素。
光敏元件阵列130中的每个光敏元件可实现为提供表示穿过主透镜110和微透镜阵列120并被引导向该光敏元件的光线集合的值。也就是说，每个光敏元件响应于入射到该光敏元件上的光产生输出，并且每个光敏元件相对于微透镜阵列120的位置被用于提供关于入射光的方向信息。
数据处理器150可利用光场数据，即L(u，v，s，t)产生再聚焦图像。此时，数据处理器150可利用每个光敏元件相对于微透镜的位置确定每个光敏元件上的光的方向。此外，数据处理器150可确定检测的光束在其中扩散的场景内的物体的景深，并使用检测的光的方向和景深来计算聚焦在不同焦平面中的合成图像。
同时，在微透镜阵列120中的特定微透镜122之后形成的图像指示关于拍摄平面中的位置的系统方向分辨率。主透镜110可以有效地位于距离微透镜的无穷光程外，光敏元件阵列130可以位于微透镜的焦深处的一个平面中，以便于使微透镜聚焦。主透镜110和微透镜阵列120之间的分隔距离“s”可以在微透镜的景深内选择，以实现清晰图像。
可选择主透镜110的孔径大小和微透镜阵列120中的微透镜的孔径大小(例如，透镜中开口的有效尺寸)以适应图像处理设备100的特定应用。通过匹配主透镜和微透镜的f数(焦距比：透镜的有效焦距与孔径之比)，可以容易地确定主透镜110的孔径大小和微透镜的孔径大小。
图2是显示全光照相机的方向分辨率、空间分辨率和光敏元件像素大小之间的关系的图示。
照相机的空间取采样率和方向采样率被分别定义为Δx和Δu。照相机的传感器的宽度被定义为Wx，透镜孔径的宽度被定义为Wu。假设这些定义，光敏元件的空间分辨率Nx＝Wx/Δx，光场照相机的方向分辨率Nu＝Wu/Δu。
为了在期望的距离执行再聚焦，需要满足下面的式子1。
(式子1)
Δx · N u ≥ | F - F L | F L · W u
F表示主透镜的焦距，FL表示根据再聚焦的期望范围到物体的焦距。也就是说，F和FL表示能够进行精确再聚焦的焦深的范围。
例如，当Wu＝20mm，F＝80mm且用于再聚焦的物体的距离直达1m时，带入上述式子1得到Δx·Nu≥1.59mm。在由4145×4145个像素构成的传感器中，当图像的目标空间分辨率是1400×1400时，大约3(4145/1400)个像素能够表示方向分辨率。
但是，当再聚焦范围被设置成1m到∞，且传感器的一个像素的间距是9μm时，需要的方向分辨率Nu至少是58(1.59mm/(3像素×9μm))。也就是说，当再聚焦范围是1m到∞时，无法获得1400×1400的空间分辨率。因此，需要改变再聚焦范围或者目标空间分辨率。
下面的表列出了在上述假定条件下相对于目标空间分辨率，表示方向分辨率所必需的允许的Δx和需要的Nu。
(表1)
目标空间分辨率   1400×1400   700×700   350×350   300×300
允许的Δx 27μm(3像素) 54μm(6像素) 108μm(12像素) 126μm(14像素)
需要的Nu 58 30 15 13
参照表1，当再聚焦范围被设置成1m到∞，且空间分辨率被设置成300×300时，方向分辨率13×13是可以的，并且上面的再聚焦范围能够得到保证。也就是说，当传感器尺寸被固定时，难以保证期望的空间分辨率，为了获得期望的空间分辨率，需要更大的传感器。
根据一个示例性实施例，为了获取高分辨率图像，光场数据被设置为空间子采样数据(spatially sub-sampled data)并且被定义为用于提高分辨率的低分辨率数据。此外，通过相对于低分辨率数据中的标准低分辨率图像的位置定义子采样低分辨率图像的位置的子像素位移(sub-pixel displacement)，能够执行低分辨率数据的配准(registration)和重建。因此，通过对产生的光场数据进行信号处理能够改善空间分辨率。
图3A至图3C是显示根据示例性实施例的高分辨率图像重建概念的图示。
如图3A中所示，光场数据被捕获。如上所述，当利用光场数据获得图像时，与利用相同的光敏元件阵列的普通摄影装置相比，获得具有降低了的空间分辨率的多个低分辨率图像或者子采样图像。根据示例性实施例，多个低分辨率图像中的一个图像可以被确定为标准图像帧，并且可以选择除了该标准图像帧之外的子采样低分辨率图像帧可被选择并确定为至少一个参考图像帧。
图3B示出了在高分辨率(HR)网格(grid)上记录光场数据的结果。
图3B是显示构成根据示例性实施例选择的标准图像帧和参考图像帧的光场数据在HR网格上的记录的图示。在图3B中，●、×、△和*表示关于物体上的一点的光场数据，每个符号表示穿过主透镜的不同位置的光场数据。根据示例性实施例，当利用由●表示的包括点311和312的光场数据形成的图像帧是标准图像帧时，其可以如图3B所示记录在HR网格上。
如图3C所示，高分辨率图像帧被重建。根据示例性实施例，可以通过利用关于物体上的一点的光场数据在构成标准图像帧的光场数据之间插值来增加标准图像帧的分辨率。例如，利用包括在图3B的HR网格上的区域310中的光场数据，在光场数据311与光场数据312之间的HR网格上的值321可以被插值。
图4是显示根据示例性实施例的图像处理设备的结构的框图。
参照图4，根据示例性实施例的图像处理设备包括光场数据捕获器140和数据处理器150。可以参照图1所述地构造光场数据捕获器140。光场数据捕获器140可包括：第一光学单元，用于形成物体图像；光敏元件阵列，捕获光线；第二光学单元，位于主透镜和光敏元件阵列之间，基于光线的方向分离光线并朝着光敏元件阵列引导光线。
以下，将详细描述数据处理器150的结构。
数据处理器150包括图像帧确定器410、点扩展函数(point spreadfunction)确定器420、图像插值器430和图像复原器440。
图像帧确定器410利用关于场景的光场数据确定一个标准图像帧和至少一个参考图像帧，并且可包括标准图像帧确定器412和参考图像帧确定器414。
根据示例性实施例，标准图像帧确定器412可确定利用光场数据产生的并从至少一个角度显示的图像帧中的一个图像帧作为标准图像帧。参考图像帧确定器414可将从至少一个角度显示的至少一个产生的图像帧(不包括被确定为标准图像帧的图像帧)确定为至少一个参考图像帧。
根据另一示例性实施例，标准图像帧确定器412可将利用光场数据中的每子孔径所得的光场数据的总值产生的图像帧确定为标准图像帧。参考图像帧确定器414可将利用在产生标准图像帧的过程中使用的每子孔径的光场数据产生的至少一个图像帧确定为至少一个参考图像帧。
点扩展函数(PSF)确定器420可基于标准图像帧和每个参考图像帧之间的子像素位移确定点扩展函数。子像素位移可以是构成标准图像帧的至少一个光场数据与参考图像帧的分别对应于所述至少一个光场数据的光场数据之间的位置差。子像素位移可以是根据关于物体的每个点的光场数据在主透镜上的透射位置或者根据光场数据捕获器140的结构设置的值，并且子像素位移可以是根据与物体之间的距离而改变的值。
根据示例性实施例，PSF确定器420可以将基于标准图像帧和每个参考图像帧之间的子像素位移的每个2维高斯函数确定为点扩展函数。相对于标准图像帧，对于每个参考图像帧不同地确定PSF，并且通过对应于每个预定的参考图像帧的子像素位移来确定PSF，而与标准图像帧的更新无关。
图像插值器430将标准图像帧插值为具有比标准图像帧更高的分辨率的高分辨率标准图像帧。图像插值器430可利用双线性插值方法或者双三次插值方法来插值。
图像复原器440可通过利用产生的高分辨率图像帧、点扩展函数和至少一个参考图像帧更新高分辨率标准图像帧来复原高分辨率图像。图像复原器440可执行用于利用多个低分辨率图像帧产生高分辨率图像帧的多种高分辨率图像处理方法。
根据示例性实施例，图像复原器440可包括残值产生器442和图像更新器444。
残值产生器442利用产生的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考图像帧和标准图像帧的点扩展函数来产生残值。这里，残值可以是一个参考图像帧(观测图像)减去高分辨率标准图像帧与点扩展函数的卷积(convolution)(估计图像)得到的值。图像更新器444利用残值(即，从观测图像减去估计图像而获得的图像)更新高分辨率标准图像帧。
此外，当高分辨率标准图像帧被更新时，残值产生器442可利用更新后的高分辨率标准图像帧、另一个参考图像帧以及基于所述另一个参考图像帧和标准图像帧的点扩展函数来产生残值。这里，残值可以是所述另一个参考图像帧减去更新的高分辨率标准图像帧与点扩展函数的卷积得到的值。图像更新器444利用该残值更新高分辨率标准图像帧。
这些操作可以被重复地执行，直到对多个参考图像帧中的每个都执行过为止。例如，当存在10个参考图像帧时，执行十次上述的更新操作。如上所述的利用产生的残值更新高分辨率标准图像帧的方法可采用各种高分辨率图像复原技巧，例如，凸集投影(POCS)。
此外，可重复地执行高分辨率标准图像帧更新操作，直到复原后的高分辨率图像的质量达到期望的质量为止。例如，在利用10个参考图像帧完成更新操作之后，可重复地执行利用10个参考图像帧和PSF更新产生的高分辨率图像的操作，直到残值小于特定的临界值为止。
图5A和图5B是显示根据示例性实施例选择标准图像帧和参考图像帧的技巧的图示。
图5A显示了在捕获能够进行精确再聚焦的光场数据的情况下的光场数据捕获器的结构，图5B显示了在捕获不能够进行精确再聚焦的光场数据的情况下的光场数据捕获器的结构。
如图5A所示，根据示例性实施例，当相对于物体上的一点在方向分辨率上精确的再聚焦可行时，图像帧确定器410可将利用光场数据产生的并且从至少一个角度观看的多个图像帧中的一个图像帧确定为标准图像帧，并且将从至少一个角度观看的至少一个产生的图像帧(不包括被确定为标准图像帧的图像帧)确定为至少一个参考图像帧。
如图5B所示，根据示例性实施例，当精确的再聚焦不可行时，图像帧确定器410可将利用光场数据中的每子孔径所得的光场数据的总值产生的图像帧确定为标准图像帧。此外，图像帧确定器410可将利用在产生标准图像帧的过程中使用的每子孔径的光场数据形成的至少一个图像帧确定为至少一个参考图像帧。这里，利用在产生标准图像帧的过程中使用的每子孔径的光场数据产生的至少一个图像帧可以与参照图5A所描述的包括标准图像帧和至少一个参考图像帧的图像帧对应。
图6A至图6C是显示根据示例性实施例的基于光场数据的相对于标准图像帧的子像素位移的图示。
图6A显示了来自场景610的物体611和612的穿过具有9个子孔径的主透镜620的光信号和穿过主透镜620的每子孔径并入射到光传感器630中的对应于子孔径的数量的光像素(light pixel)上的光信号。参考标号640表示在低分辨率(LR)网格的位置中限定的感测数据。在图6A中，在第五光传感器中感测到的感测值(即，强度)被显示在LR网格上，但是在剩余的光传感器的像素中感测到的强度也被限定在LR网格上。
图6B显示了感测的LR数据(即，光场数据)是已经穿过主透镜620的子孔径的数据。在图6A和图6B中，为了便于描述，主透镜620的子孔径的布置和光传感器630的像素的布置呈直线，但是子孔径的布置和像素布置可以具有多个不同的形式。
图6C是显示了相对于标准图像帧的参考图像帧的子像素位移的示例的图示。
如图6C所示，穿过主透镜的子孔径的数据可限定相对于标准图像帧的子像素位移的量。在图6C中，假定由穿过第五子孔径的光场数据构成的图像帧被确定为标准图像帧，则穿过第一子孔径的光场数据与穿过第九子孔径的光场数据之间的排列差(arrangement difference)是1个像素，且子像素位移与主透镜透射位置成比例，如图6C所示。在这种情况下，当maxx被定义为0.5时，由穿过第六子孔径的光场数据构成的图像帧可被确定为相对于标准图像帧具有0.125的像素偏移。
图7是显示根据示例性实施例的基于光场数据产生高分辨率图像帧的图示。
为了将标准图像帧形成为高分辨率图像，确定将要提高的分辨率的大小，并且通过信号处理(例如，通过例如双线性插值或者双三次插值的差值方法)将标准图像帧放大到所确定的分辨率大小。
参考标号710表示感测的光场数据，参考标号720表示在LR网格上显示的标准图像帧的数据，参考标号730表示在HR网格上显示的标准图像帧的高分辨率处理过的数据的示例。●表示标准图像帧的数据，○表示利用原始的标准图像帧的数据插值的数据。
图8是显示根据示例性实施例的基于标准图像帧计算PSF的一个示例的图示。
在图8的左侧显示的光场数据示出了解释计算PSF的方法所需要的光场数据的简要形式。●、▲和■表示关于物体上的一个点的光场数据。
根据示例性实施例，PSF可以按照下面被定义。
(式子2)
PSF ( σ ) = exp ( - ( YY - R _ YY ) 2 + ( XX - R _ XX ) 2 2 · σ 2 )
例如，■位置XX表示在标准的▲(u，v)域中的点位置上沿着x轴方向定义的子像素位移的总值。R XX表示PSF的高斯函数的峰值(peak)的中心位置为圆心(round)(XX)。此外，■位置YY表示在标准▲(u，v)域中的点位置上沿着y轴方向定义的子像素位移的总值。R YY表示PSF的高斯函数的峰值的中心位置为圆心(YY)。也就是说，PSF可以基于光场位置被定义。PSF的高斯包络根据子像素位移的程度而改变。
图9是显示根据示例性实施例的利用光场数据产生高分辨率图像的方法的流程图。
捕获关于场景的光场数据(S910)。利用捕获的光场数据确定标准图像帧和至少一个参考图像帧(S920)。基于标准图像帧和至少一个参考图像帧之间的子像素位移确定点扩展函数(S930)。
将标准图像帧插值为具有比标准图像帧的分辨率高的分辨率的高分辨率标准图像帧(S940)。通过利用产生的高分辨率图像帧、点扩展函数和至少一个参考图像帧更新高分辨率标准图像帧来复原高分辨率图像(S950)。
可以重复地执行高分辨率图像的复原操作，直到对于每个参考图像都执行过为止。根据示例性实施例，POCS方法可用于产生子像素单元高分辨率图像。
本发明可以被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括能够存储计算机可读数据的所有类型的记录介质。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存贮器(RAM)、光盘(CD)-ROMs、磁带、软盘和光数据存储装置。此外，记录介质可以载波的形式被实现(例如互联网传输)。另外，计算机可读记录介质可分布在其中计算机可读取编码以分布的方式被存储和执行的网络的计算机系统上。
本领域技术人员应该清楚，在不脱离本发明的精神或者范围的情况下，可以对本发明进行各种修改和改变。因此，本发明的目的在于覆盖由权利要求及其等同物限定的本发明的范围内的各种修改和改变。

Claims (20)

1.一种图像处理设备，包括：
图像帧确定器，用于利用关于场景的光场数据确定一个标准图像帧和至少一个参考图像帧；
点扩展函数确定器，基于所述标准图像帧和所述至少一个参考图像帧之间的子像素位移来确定点扩展函数；
图像插值器，用于将所述标准图像帧插值为具有比标准图像帧高的分辨率的高分辨率标准图像帧；
图像复原器，通过利用产生的所述高分辨率标准图像帧、点扩展函数和所述至少一个参考图像帧更新高分辨率标准图像帧，来复原高分辨率图像。
2.如权利要求1所述的图像处理设备，其中，所述子像素位移是构成所述标准图像帧的至少一个光场数据与每个参考图像帧的分别对应于所述至少一个光场数据的光场数据之间的位置差。
3.如权利要求1所述的图像处理设备，其中，所述图像帧确定器将利用光场数据产生并从至少一个角度显示的图像帧中的一个图像帧确定为标准图像帧，并且将从至少一个角度显示的所述产生的图像帧中除了被确定为标准图像帧的图像帧之外的至少一个图像帧确定为所述至少一个参考图像帧。
4.如权利要求1所述的图像处理设备，其中，所述图像帧确定器将利用光场数据中的每子孔径所获得的光场数据的总值产生的图像帧确定为标准图像帧，并且将利用在产生标准图像帧的过程中使用的每子孔径的光场数据产生的至少一个图像帧确定为所述至少一个参考图像帧。
5.如权利要求1所述的图像处理设备，其中，点扩展函数确定器将基于标准图像帧和每个参考图像帧之间的子像素位移的每个2维高斯函数确定为点扩展函数。
6.如权利要求1所述的图像处理设备，其中，所述图像插值器利用双线性插值方法或者双三次插值方法插值。
7.如权利要求1所述的图像处理设备，其中，所述图像复原器包括：
残值产生器，利用产生的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考图像帧和标准图像帧的点扩展函数来产生残值；
图像更新器，利用所述残值来更新所述高分辨率标准图像帧。
8.如权利要求7所述的图像处理设备，其中，所述残值是所述一个参考图像帧减去高分辨率标准图像帧与点扩展函数的卷积所得的值。
9.如权利要求7所述的图像处理设备，其中，当所述高分辨率标准图像帧被更新时，所述残值产生器利用更新后的高分辨率标准图像帧、另一个参考图像帧和基于所述另一个参考图像帧和标准图像帧的点扩展函数来产生残值。
10.如权利要求9所述的图像处理设备，其中，所述残值是所述另一个参考图像帧减去更新的高分辨率标准图像帧与点扩展函数的卷积所得的值。
11.如权利要求1所述的图像处理设备，还包括光场数据捕获器，
其中，所述光场数据捕获器包括：
第一光学单元，用于形成物体的图像；
光敏元件阵列，用于捕获光线；
第二光学单元，定位在主透镜和光敏元件之间，基于光线的方向分离光线，并且将光线引导向所述光敏元件。
12.一种图像处理方法，包括：
利用关于场景的光场数据确定一个标准图像帧和至少一个参考图像帧；
基于所述标准图像帧和所述至少一个参考图像帧之间的子像素位移来确定点扩展函数；
将所述标准图像帧插值为具有比所述标准图像帧的分辨率更高的分辨率的高分辨率标准图像帧；
通过利用产生的所述高分辨率标准图像帧、点扩展函数和所述至少一个参考图像帧更新高分辨率标准图像帧，来复原高分辨率图像。
13.如权利要求12所述的方法，其中，所述子像素位移是构成所述标准图像帧的至少一个光场数据与每个参考图像帧的分别对应于所述至少一个光场数据的光场数据之间的位置差。
14.如权利要求12所述的方法，其中，利用光场数据确定一个标准图像帧和至少一个参考图像帧的步骤包括：
将利用光场数据产生并从至少一个角度显示的图像帧中的一个图像帧确定为标准图像帧；
将从至少一个角度显示的所述产生的图像帧中除了被确定为标准图像帧的图像帧之外的至少一个图像帧确定为所述至少一个参考图像帧。
15.如权利要求12所述的方法，其中，利用光场数据确定一个标准图像帧和至少一个参考图像帧的步骤包括：
将利用光场数据中的每子孔径所获得的光场数据的总值产生的图像帧确定为标准图像帧；
将利用在产生标准图像帧的过程中使用的每子孔径的光场数据产生的至少一个图像帧确定为所述至少一个参考图像帧。
16.如权利要求12所述的方法，其中，确定点扩展函数的步骤包括：
将基于标准图像帧和每个参考图像帧之间的子像素位移的每个2维高斯函数确定为点扩展函数。
17.如权利要求12所述的方法，其中，将所述标准图像帧插值为高分辨率标准图像帧的步骤包括：
利用双线性插值方法或者双三次插值方法插值。
18.如权利要求12所述的方法，其中，复原高分辨率图像的步骤包括：
利用产生的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考图像帧和标准图像帧的点扩展函数来产生残值；
利用所述残值来更新所述高分辨率标准图像帧。
19.如权利要求18所述的方法，其中，所述残值是所述一个参考图像帧减去高分辨率标准图像帧与点扩展函数的卷积所得的值。
20.如权利要求18所述的方法，其中，当所述高分辨率标准图像帧被更新时，利用更新后的高分辨率标准图像帧、另一个参考图像帧以及基于所述另一个参考图像帧和标准图像帧的点扩展函数来产生残值。
CN200910146541.4A 2008-10-10 2009-06-03 图像处理设备和方法 Active CN101729778B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20080099611 2008-10-10
KR10-2008-0099611 2008-10-10
KR1020080121864A KR101563729B1 (ko) 2008-10-10 2008-12-03 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
KR10-2008-0121864 2008-12-03

Publications (2)

Publication Number Publication Date
CN101729778A true CN101729778A (zh) 2010-06-09
CN101729778B CN101729778B (zh) 2014-05-07

Family

ID=42216698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910146541.4A Active CN101729778B (zh) 2008-10-10 2009-06-03 图像处理设备和方法

Country Status (2)

Country Link
KR (1) KR101563729B1 (zh)
CN (1) CN101729778B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519259A (zh) * 2013-09-26 2015-04-15 联想(北京)有限公司 一种数据获取方法及电子设备
CN105222730A (zh) * 2015-08-31 2016-01-06 中国人民解放军信息工程大学 一种基于图像复原的工业ct几何尺寸测量方法
CN105651939A (zh) * 2015-12-29 2016-06-08 重庆大学 电子鼻系统中基于凸集投影的浓度检测精度校正方法
CN106803892A (zh) * 2017-03-13 2017-06-06 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法
CN107888837A (zh) * 2012-02-28 2018-04-06 株式会社尼康 图像处理装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR102049456B1 (ko) 2013-04-05 2019-11-27 삼성전자주식회사 광 필드 영상을 생성하는 방법 및 장치
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
KR101801841B1 (ko) * 2015-11-11 2017-11-27 서울대학교산학협력단 영상 처리 장치 및 방법
CN116363012B (zh) * 2023-04-11 2024-01-30 河海大学 一种抑制场景光源扰动的水下图像恢复方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3746739B2 (ja) 1992-04-14 2006-02-15 オリンパス株式会社 電子カメラ
CN1206613C (zh) * 2001-11-27 2005-06-15 三星电子株式会社 对定向内插器节点的关键值数据编码和译码的方法和装置
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
CN100399797C (zh) * 2005-08-08 2008-07-02 扬智科技股份有限公司 影像增显系统
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888837A (zh) * 2012-02-28 2018-04-06 株式会社尼康 图像处理装置
CN107888837B (zh) * 2012-02-28 2020-03-27 株式会社尼康 图像处理装置
CN104519259A (zh) * 2013-09-26 2015-04-15 联想(北京)有限公司 一种数据获取方法及电子设备
CN104519259B (zh) * 2013-09-26 2018-11-09 联想(北京)有限公司 一种数据获取方法及电子设备
CN105222730A (zh) * 2015-08-31 2016-01-06 中国人民解放军信息工程大学 一种基于图像复原的工业ct几何尺寸测量方法
CN105222730B (zh) * 2015-08-31 2017-10-24 中国人民解放军信息工程大学 一种基于图像复原的工业ct几何尺寸测量方法
CN105651939A (zh) * 2015-12-29 2016-06-08 重庆大学 电子鼻系统中基于凸集投影的浓度检测精度校正方法
CN106803892A (zh) * 2017-03-13 2017-06-06 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法
CN106803892B (zh) * 2017-03-13 2019-12-03 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法

Also Published As

Publication number Publication date
KR20100040643A (ko) 2010-04-20
CN101729778B (zh) 2014-05-07
KR101563729B1 (ko) 2015-10-27

Similar Documents

Publication Publication Date Title
CN101729778B (zh) 图像处理设备和方法
CN102656878B (zh) 图像处理设备和方法
CN102957863B (zh) 摄像设备、图像处理设备和图像处理方法
CN102685378B (zh) 图像拾取设备和图像拾取光学系统
JP5499778B2 (ja) 撮像装置
CN103109158B (zh) 一种生成深度数据的方法、装置及系统
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
CN103516983B (zh) 图像处理装置、摄像装置以及图像处理方法
Ng et al. Digital correction of lens aberrations in light field photography
CN102783161A (zh) 用于3d tv的视差分布估计
CN108234989B (zh) 一种基于棋盘格标定板的会聚式集成成像拍摄方法
US20140168371A1 (en) Image processing apparatus and image refocusing method
JP4631812B2 (ja) 多視点映像表示装置、多視点映像撮像装置、及び多視点映像生成装置
EP3035284A1 (en) Method and apparatus for generating an adapted slice image from a focal stack
JP2006162945A (ja) 立体視表示装置
JP6418770B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JPWO2013051186A1 (ja) 撮像装置、撮像装置を用いたシステム及び測距装置
US11132586B2 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
CN103491296A (zh) 一种高速摄像的实现方法
US20220270210A1 (en) Method and device for restoring image obtained from array camera
CN115086550B (zh) 元成像系统
CN112822442B (zh) 热度图生成方法、装置及电子设备
CN104137532A (zh) 图像处理装置
CN104471924A (zh) 拍摄装置
KR101613682B1 (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant