CN109636860A - 图像的光照分布估计与重现方法及装置 - Google Patents

图像的光照分布估计与重现方法及装置 Download PDF

Info

Publication number
CN109636860A
CN109636860A CN201810012424.8A CN201810012424A CN109636860A CN 109636860 A CN109636860 A CN 109636860A CN 201810012424 A CN201810012424 A CN 201810012424A CN 109636860 A CN109636860 A CN 109636860A
Authority
CN
China
Prior art keywords
pixel
illumination
input picture
image
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810012424.8A
Other languages
English (en)
Inventor
马惠岷
邢冠宇
刘艳丽
马榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810012424.8A priority Critical patent/CN109636860A/zh
Publication of CN109636860A publication Critical patent/CN109636860A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像的光照分布估计与重现方法及装置。该方法包括：确定输入图像中多个像素分别对应的像素值，以及确定多个像素分别对应的法向信息，并确定多个像素分别对应的材质系数；以及确定输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；根据方向向量集合、多个像素分别对应的像素值、多个像素分别对应的法向信息以及多个像素分别对应的材质系数，确定输入图像在所述多个方向上分别对应的光照强度，从而得到所述输入图像所处场景的光照分布。本发明实施例能够从单幅图像中估计图像中的光照分布，并能够通过估计的光照分布再现图像所处场景的光照分布，适用于图像处理领域尤其适用于智能拍摄领域。

Description

图像的光照分布估计与重现方法及装置
技术领域
本发明涉及图像处理、计算机视觉领域，尤其涉及图像的光照分布估计与重现。
背景技术
随着生活水平的提高，人们越来越追求高质量的娱乐生活。为了获得更好的娱乐体验，人们会将自己的照片加入新的背景图像，以生成全新的照片，而为了得到高质量的合成图像，估计以及重现图像的光照分布非常重要。
图像的光照分布估计，顾名思义，是指根据一副图像估计拍摄该图像时的光照分布情况。
现有的一种图像的光照分布估计方法是，基于阴影的图像光照分布估计图像的光照分布。该方法用离散的平行光源模拟空间光照分布，在景物几何属性和材质属性已知的情况下，根据朗伯或其他更复杂的光照模型建立方程组。由于阴影的存在，图像中不同区域所受到的光照条件不同，因此对所得到的方程组求解，便可获取场景的光照分布。
然而，此种图像的光照分布估计方法需要场景中包含明显的阴影。对于不含有阴影或者阴影不明显的图像则无法估计其光照分布。并且此种图像的光照分布估计方法，还需要已知场景的准确几何属性和材质属性。然而，对于任意一幅图像准确重建其几何和材质是一项极为困难的工作，目前还缺乏实用、有效的技术。
现有的另一种图像的光照分布恢复方法是，基于用户交互的单幅图像光照分布估计方法。该方法是假设场景位于一个立方体内，场景中的物体均为理想漫反射几何体，用户通过交互方式重建场景的粗略几何并且指定场景内光源的位置。在此基础上，算法根据用户的交互信息恢复场景材质，并求解光源亮度。此种方法需要用户交互指定场景几何、光源位置等信息，而不能自动估计光源方向和光源位置。并且此种方法需要场景满足算法的假设，即需要场景位于一个立方体内，进而限定了该方法的应用范围。
综上所述，目前需要一种不依赖于图像是否存在阴影，也不需要用户指定场景的几何、光源位置信息的图像光照分布识别方法。
发明内容
本发明提供了一种图像的光照分布估计与重现方法及装置，实现了自动估计图像的光照分布规律。
第一方面，本发明实施例提供了一种图像的光照分布估计方法。确定输入图像中多个像素分别对应的像素值，以及确定所述多个像素分别对应的法向信息，并确定所述多个像素分别对应的材质系数；以及确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，从而得到所述输入图像所处场景的光照分布。
在一个示例中，所述确定所述多个像素分别对应的法向信息，具体为：对所述输入图像采用单幅图像几何重建算法，得到所述输入图像的多个像素分别对应的法向向量。
在一个示例中，所述确定所述多个像素分别对应的材质系数，具体为：对所述输入图像采用本征图像分解算法，得到所述输入图像的多个像素分别对应的材质系数。
在一个示例中，所述确定输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合，具体为：在三维空间中均匀采样多个方向，得到所述多个方向分别对应的方向向量，从而组成方向向量集合。
在一个示例中，所述根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，具体为：所述多个像素分别对应的像素值为，相应像素在所述方向向量集合中的各方向分别对应的像素值之和；其中，所述各方向分别对应的像素值与所述相应像素在相应方向上对应的光照强度有关。
在一个示例中，所述根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，具体为：对所述多个像素的第一像素，在所述方向向量集合的各方向上分别对应的像素值求和，将所述求和得到的值作为所述第一像素的像素值，从而建立一个以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程；采样所述输入图像的多个像素，从而得到一个以所述多个方向分别对应的光照强度为未知数的线性方程组，通过求所述线性方程组得到所述多个方向分别对应的光照强度。
在一个示例中，所述以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程为：
其中，所述p为所述第一像素；c为R、G、B通道；Ip为所述第一像素的像素值；Nd为所述方向向量集合；q为所述方向向量集合中的一个方向向量；Lq为q方向向量对应的光照强度；Ap为所述第一像素的材质系数；np为所述第一像素的法向向量；<q,np>为对q、np求内积运算。
在一个示例中，在所述确定所述多个方向分别对应的光照强度之后，包括：根据所述多个方向分别对应的光照强度以及所述图像的材质信息、所述图像的几何信息，构建图像；将所述构建的图像的各像素与所述输入图像的相应像素做比较，去掉差值绝对值大于阈值的像素，根据剩余像素重新确定所述输入图像在多个方向分别对应的光照强度。
第二方面，本发明实施例提供了一种图像的光照分布再现方法。确定输入图像中多个像素分别对应的像素值，以及确定所述多个像素分别对应的法向信息，并确定所述多个像素分别对应的材质系数；以及确定所述图像的多个方向分别对应的方向向量，得到相应的方向向量集合；根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述多个方向分别对应的光照强度；将所述多个方向分别对应的光照强度通过环境映照图表示；对所述环境映照图进行分割，并使所述各分割块与拍摄场景的一个光源相对应；根据所述环境映照图以及所述分割块，计算所述相应分割块的亮度和/或色温；根据所述分割块的亮度和/或色温，确定所述分割块对应的光源的亮度和/或色温。
在一个示例中，所述环境映照图为高动态范围图。
在一个示例中，根据所述拍摄场景的光源的数目和/或方位对所述环境映照图进行分割。
第三方面，本发明实施例提供了一种图像的光照分布估计装置。所述图像的光照分布估计装置包括场景分析模块和光照分布计算模块。所述场景分析模块用于确定输入图像中多个像素分别对应的法向信息，以及确定所述多个像素分别对应的材质系数。所述光照分布计算模块用于确定输入图像中多个像素分别对应的像素值，并确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；以及用于根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度。
在一个示例中，所述场景分析模块具体用于：对所述输入图像采用单幅图像几何重建算法，得到所述输入图像的多个像素分别对应的法向向量。
在一个示例中，所述场景分析模块具体用于：对所述输入图像采用本征图像分解算法，得到所述输入图像的多个像素分别对应的材质系数。
在一个示例中，所述光照分布计算模块具体用于：对所述多个像素的第一像素，在所述方向向量集合的各方向上分别对应的像素值求和，将所述求和得到的值作为所述第一像素的像素值，从而建立一个以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程；采样所述输入图像的多个像素，从而得到一个以所述多个方向分别对应的光照强度为未知数的线性方程组，通过求所述线性方程组得到所述多个方向分别对应的光照强度。
在一个示例中，所述以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程为：
其中，所述p为所述第一像素；c为R、G、B通道；Ip为所述第一像素的像素值；Nd为所述方向向量集合；q为所述方向向量集合中的一个方向向量；Lq为q方向向量对应的光照强度；Ap为所述第一像素的材质系数；np为所述第一像素的法向向量；<q,np>为对q、np求内积运算。
在一个示例中，所述图像的光照分布估计装置还包括光照环境优化模块。所述光照环境优化模块用于：根据所述多个方向分别对应的光照强度以及所述图像的材质信息、所述图像的几何信息，构建图像；以及用于将所述构建的图像的各像素与所述输入图像的相应像素做比较，去掉差值绝对值大于阈值的像素，根据剩余像素重新确定所述输入图像在多个方向分别对应的光照强度。
第四方面，本发明实施例提供了一种图像的光照分布再现装置。所述图像的光照分布再现装置包括场景分析模块、光照分布计算模块、光照信息转化模块。所述场景分析模块用于确定输入图像中多个像素分别对应的法向信息，以及确定所述多个像素分别对应的材质系数。所述光照分布计算模块用于确定输入图像中多个像素分别对应的像素值，并确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；以及用于根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度。所述光照信息转化模块用于将所述多个方向分别对应的光照强度通过环境映照图表示；并用于对所述环境映照图进行分割，且得到的各分割块与拍摄场景的一个光源相对应；以及用于根据所述环境映照图及所述分割块，计算所述相应分割块的亮度和/或色温，根据所述分割块的亮度和/或色温，确定所述分割块对应的光源的亮度和/或色温。
在一个示例中，所述环境映照图为高动态范围图。
在一个示例中，所述光照信息转化模块根据所述拍摄场景的光源的数目和/或方位对所述环境映照图进行分割。
本发明实施例通过对输入图像采样多个方向得到方向向量集合，并将该多个方向分别对应的像素值之和作为相应像素的像素值，从而得到该多个方向分别对应的光照强度。以及根据该多个方向对应的光照强度重现拍摄所述图像的光照场景。本发明实施例能够从单幅图像中识别出图像中的光照分布规律，并能够通过所识别出的光照分布再现图像所处场景的光照分布，进而调节拍摄场景的灯光参数。
附图说明
图1为本发明实施例提供的一种图像的光照分布识别与再现系统框图；
图2为本发明实施例提供的一种图像的光照分布识别与再现的方法流程图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
图1是本发明实施例提供的一种图像的光照分布估计与再现系统框图。
图1中，图像接收模块110接收输入图像，例如，接收一副红绿蓝(Red Green Blue，RGB)图像。
RGB图像是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各种颜色的图像。R、G、B分别代表红、绿、蓝三个通道的颜色。
光照分布估计装置120包括场景分析模块121、光照分布计算模块122、光照环境优化模块123。
场景分析模块121对该输入图像进行分析，得到该输入图像对应场景的几何信息，即得到该输入图像对应场景的三维属性。例如，该输入图像的三维属性为该输入图像的深度信息和法向信息。
在本发明的一个实施例中，场景分析模块121通过单幅图像的几何重建算法，得到该输入图像对应场景的几何信息。
此外，场景分析模块121还会根据该输入图像得到该输入图像的材质图像和光照图像。
在本发明的一个实施例中，场景分析模块121通过本征图像分解算法，将输入的图像分解为材质图像和光照图像。
材质图像又称为本征图像或者反射图像，其是指在变化的光照条件下能够维持不变的图像部分。也就是说，材质图像对应的是与光照无关的图像部分。光照图像又称为照射图或高光图，是反映原图像(即输入图像)光照情况的图像。
该输入图像的材质图像包含该输入图像的各像素对应的材质系数。该输入图像的光照图像包含该输入图像的各像素的光照强度。
光照分布计算模块122接收来自场景分析模块121的该输入图像的材质图像和该输入图像的三维属性。该输入图像的材质图像包含该输入图像的各像素的材质系数。该输入图像的三维属性包括该输入图像的各像素的法向向量。
光照分布计算模块122对该输入图像均匀采样多个像素，并根据该输入图像，得到该多个像素分别对应的像素值。
光照分析估计模块122根据该输入图像的材质图像，得到该采样的多个像素分别对应的材质系数。
光照分布计算模块122还会在三维空间中均匀采样多个方向，得到该多个方向的方向向量集合Nd。
光照分布计算模块122根据该多个像素分别对应的像素值、该方向向量集合Nd、该多个像素分别对应的法向向量、该多个像素分别对应的材质系数，确定该输入图像在该多个方向上分别对应的光照强度，从而得到该输入图像所处场景的光照分布。
具体地，光照分布计算模块122根据下面公式(1)，得到该输入图像所处场景的光照分布：
其中，p为对该输入图像采样的多个像素中的一个像素；c为R、G、B通道；Ip为像素p的像素值；Ip(c)为像素p在c通道上的像素值；Nd为方向向量集合；q为方向向量集合中的一个方向向量；Lq为q方向向量对应的光照强度；Lq(c)为q方向向量在c通道上的光照强度；Ap为p像素的材质系数，又称像素p的漫反射系数；Ap(c)表示材质图像A中像素p在c通道的值；np为p像素的法向向量；<q,np>为对q、np求内积运算；。
在公式(1)中，max(0,<q,np>)取正数的目的是去除光照时的背光情况。Lq(c)Ap(c)·max(0,<q,np>)表示像素p在q方向向量的像素值。则表示像素p在采样的各方向上的像素值之和。因此，上述公式(1)的原理是，对于该输入图像中的任意像素的像素值，其等于均匀采样的各方向向量的像素值之和。
基于上述原理，将对该输入图像均匀采样得到的多个像素分别对应的像素值，代入公式(1)中得到一个以Lq(c)为未知数的线性方程组；其中，Lq(c)中的方向向量q取值为多个，并属于方向向量集合Nd；q、Nd均由光照分布计算模块122通过采样三维空间而得到；像素p的材质系数Ap由场景分析模块121得到；像素p的法向向量np也由场景分析模块121得到；C分别取RGB通道的R、G、B。因此，通过求解该以Lq(c)为未知数的线性方程组，能够得到该不同采样方向的光照强度，即获得该输入图像的场景光照分布。
在本发明的一个实施例中，为了计算求解公式(1)，光照分布计算模块122对该输入图像进行像素采样的数量大于等于其对三维空间采样方向的方向向量的数量，即采样像素的数量大于等于方向向量集合中方向向量的数量。
光照环境优化模块123接收来自光照分布计算模块122的该输入图像的多个不同采样方向的光照强度，以及接收来自光照分布计算模块122(或者来自光照分析模块121)的该输入图像的材质信息、三维属性信息。光照环境优化模块123根据该输入图像的多个不同采样方向的光照强度、该输入图像的材质信息、三维属性信息，重新构建一副图像。
光照环境优化模块123将该构建的图像的各像素与该输入图像的相应像素做比较，去除误差较大的像素，使用剩余的像素确定该输入图像在多个方向分别对应的光照强度；其中，该剩余的像素是指，光照分布计算模块122经采样得到的多个像素，去掉误差较大的像素，而得到的剩余像素。
例如，光照环境优化模块123将该构建图像的各像素的像素值与该输入图像的相应像素的像素值做差值，将差值绝对值大于阈值的像素剔除，使用剩余的像素确定输入图像在多个方向分别对应的光照强度。
本发明实施例通过该光照环境优化模块123去除误差较大的像素点，使用剩余像素得到该输入图像的多个采样方向的光照强度，更加精确。
光照环境优化模块123和/或光照分布计算模块122将该输入图像的多个方向的光照强度，用高动态范围(HighDynamic Range，HDR)图像记录。
HDR图像是一种亮度范围很广的图像，它比其它格式的图像有着更大亮度的数据贮存。图像表面上任一点的入射光信息可通过查找HDR图而得到。HDR图的特点是其每个像素对应的值是一个浮点数，即传统图像中只能存储0,1,2，……255这样256个数值，传统图像没有办法存储567.2这样的像素值，而HDR图则可以存储像素值567.2。
光照信息转化模块130接收HDR图像，且该HDR图像记录了该输入图像的多个采样方向的光照强度。
光照信息转化模块130将该HDR图像进行分割，且该分割得到的各分割块与拍摄场景的一个光源相对应。
一个应用场景为，在拍摄影棚中，用户希望将该输入图像作为背景模板图像(以下简称为背景图像)，并使被摄者与作为背景的该输入图像无缝融合。那么，光照信息转化模块130将根据该影棚系统中光源布置的数目、位置等，对该HDR图像进行分割，使该分割得到的每一个分割块与该影棚中的一个光源相对应。例如，假设该影棚中有n个光源，根据该n个光源的入射方向，分别确定该n个光源在HDR图像中对应的像素位置。方便起见，将该n个像素称之为种子像素，之后根据HDR图像中的像素与该n个种子像素的距离实现对于HDR图像的分割。即，若像素p距离1号种子像素的距离在该n个种子像素中最近，则将该像素p就划分为该1号种子像素对应的分割块。
光照信息转化模块130根据该HDR图像以及该分割块，计算该分割块的亮度和/或色温。光照信息转化模块130根据该分割块的亮度和/或色温，确定该分割块对应的光源的亮度和/或色温。光照信息转化模块130将其计算得到的光源的亮度和/或色温发送给灯光控制系统，以便该灯光控制系统控制光源，如影棚中的灯。
具体地，光照信息转化模块130根据该HDR图像中的该分割块中所有像素，计算该分割块的亮度和/或色温。例如，该分割块的亮度的一种计算方法为：将该分割块中的每个像素的RGB三个通道按照0.3*R+0.6*G+0.1*B方式求加权平均值，得到相应像素的亮度值；然后再将该分割块中所有像素的亮度值求平均，从而得到该分割块的亮度值。该分割块的色度值的一种计算方法为：通过查询现有的RGB同色温转换关系表，得到该分割块中每个像素的RGB值对应的色度值，然后求该分割块中所有像素的色度的平均值，从而得到该分割块的色温。
图2是本发明实施例提供的一种图像的光照分布识别与再现的方法流程图。
步骤201，对输入图像进行分析，得到该输入图像对应场景的几何信息，以及该输入图像的材质图像和光照图像。
该输入图像对应场景的几何信息，即该输入图像对应场景的三维属性，例如，该输入图像的深度信息和法向信息。该输入图像的法向信息包括该输入图像各像素的法向向量。
材质图像对应的是与光照无关的图像部分，光照图像是反映该输入图像光照情况的图像。该材质图像包含该输入图像的各像素对应的材质系数。该光照图像包含该输入图像的各像素的光照强度。
在本发明的一个实施例中，通过图像的场景几何重建算法得到该输入图像对应场景的法向信息等三维属性；以及通过本征图像分解算法得到该输入图像的材质图像和光照图像。其中，该材质图像包含输入图像的各像素的材质信息。
步骤202，在三维空间中均匀采样多个方向，得到该多个方向的方向向量集合Nd。
本领域技术人员可以理解，上述步骤201、步骤202没有先后顺序关系。也就是说，可以先执行步骤201再执行步骤202，也可以先执行步骤202再执行步骤201。
步骤203，根据该多个像素分别对应的像素值、该方向向量集合Nd、该多个像素分别对应的法向向量、该多个像素分别对应的材质系数，确定该输入图像在该多个方向(即方向向量集合Nd各方向向量)分别对应的光照强度，从而得到该输入图像所处场景的光照分布。
在本发明的一个实施例中，通过求解以Lq(c)为未知数的方程得到不同采样方向的光照强度。
具体地，将对该输入图像均匀采样得到的多个像素分别对应的像素值，代入公式中，得到一个以Lq(c)为未知数的线性方程组，通过求解该以Lq(c)为未知数的线性方程组，得到该不同采样方向的光照强度，即获得该输入图像的场景光照分布。其中，Lq(c)中的方向向量q取值为多个，并属于方向向量集合Nd；q、Nd通过采样三维空间而得到；像素p的材质系数Ap通过对该输入图像分析(参见上述步骤201)而得到；像素p的法向向量np也通过对该输入图像的分析(参见上述步骤201)而得到；C分别取RGB通道的R、G、B。
步骤204，根据该输入图像的多个不同采样方向的光照强度、该输入图像的材质信息、三维属性信息，重新构建一副图像。
步骤205，将该构建的图像的各像素与该输入图像的相应像素做比较，去除误差较大的像素点，使用剩余的像素确定该输入图像在多个方向分别对应的光照强度；其中，该剩余的像素是指，对输入图像采样得到的多个像素，去掉误差较大的像素，从而得到的剩余像素。
例如，将该构建图像的各像素的像素值与该输入图像的相应像素的像素值做差值，将差值绝对值大于阈值的像素剔除，使用剩余的像素确定输入图像在多个方向分别对应的光照强度。
具体地，根据该剩余像素的像素值、法向信息、材质信息，并通过上述公式(1)，计算求解得到该输入图像的多个采样方向的光照强度，从而得到该输入图像对应场景的光照分布。
本领域技术人员可以理解，上述步骤204、步骤205是为了进一步提高该输入图像所处场景的光照分布的准确性，是本发明实施例的一个可选步骤。
步骤206，将该输入图像的多个采样方向的光照强度用HDR图像记录。HDR图像是一种亮度范围很广的图像，它比其它格式的图像有着更大亮度的数据贮存。图像表面上任一点的入射光信息可通过查找HDR图而得到。
步骤207，将该HDR图像进行分割，并使该分割得到的各分割块与拍摄场景的一个光源相对应。
一个应用场景为，在拍摄影棚中，用户希望将该输入图像作为背景图像，并使被摄者与作为背景的该输入图像无缝融合。那么，将根据该影棚系统中光源布置的数目、位置等，对该HDR图像进行分割，使该分割得到的每一个分割块与该影棚中的一个光源相对应。详细分割方法参见前面对光照信息转化模块130对HDR图像的分割方法。
步骤208，根据该HDR图像以及该分割块，计算该分割块的亮度和/或色温。根据该分割块的亮度和/或色温，确定该分割块对应的光源的亮度和/或色温。
具体地，根据该HDR图像中的该分割块中所有像素，计算该分割块的亮度和/或色温。例如，该分割块的亮度的一种计算方法为：将该分割块中的每个像素的RGB三个通道按照0.3*R+0.6*G+0.1*B方式求加权平均值，得到相应像素的亮度值；然后再将该分割块中所有像素的亮度值求平均，从而得到该分割块的亮度值。该分割块的色度值的一种计算方法为：通过查询现有的RGB同色温转换关系表，得到该分割块中每个像素的RGB值对应的色度值，然后求该分割块中所有像素的色度的平均值，从而得到该分割块的色温值。将该分割块的亮度值作为该分割块对应光源的亮度值，将该分割块的色温值作为该分割块对应光源的色温值。
步骤209，将计算得到的各光源的亮度和/或色温发送给灯光控制系统，以便灯光控制系统调节相应光源的亮度和/或色度。
一个应用场景为，在拍摄影棚中，用户希望将该输入图像作为背景图像，并使被摄者与作为背景的该输入图像无缝融合。那么，根据该拍摄影棚中的灯的数量、位置等，将该输入图像进行分割，且每个分割块对应该拍摄影棚中的一个灯。然后，计算该输入图像的各分割块的亮度值和/或色温值，并将各分割块的亮度值作为相应灯的亮度值，将个分割块的色温值作为相应灯的色温值。然后再将计算得到的各灯的亮度值和/或色温值，发送给灯光控制系统，以便该灯光控制系统控制该拍摄影棚的灯的亮度和/或色温。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种图像的光照分布估计方法，其特征在于，包括：
确定输入图像中多个像素分别对应的像素值，以及确定所述多个像素分别对应的法向信息，并确定所述多个像素分别对应的材质系数；以及确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；
根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，从而得到所述输入图像所处场景的光照分布。
2.如权利要求1所述的方法，其特征在于，所述确定所述多个像素分别对应的法向信息，具体为：
对所述输入图像采用单幅图像几何重建算法，得到所述输入图像的多个像素分别对应的法向向量。
3.如权利要求1所述的方法，其特征在于，所述确定所述多个像素分别对应的材质系数，具体为：
对所述输入图像采用本征图像分解算法，得到所述输入图像的多个像素分别对应的材质系数。
4.如权利要求1所述的方法，其特征在于，所述确定输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合，具体为：
在三维空间中均匀采样多个方向，得到所述多个方向分别对应的方向向量，从而组成方向向量集合。
5.如权利要求1所述的方法，其特征在于，所述根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，具体为：
所述多个像素分别对应的像素值为，相应像素在所述方向向量集合中的各方向分别对应的像素值之和；其中，所述各方向分别对应的像素值与所述相应像素在相应方向上对应的光照强度有关。
6.如权利要求1所述的方法，其特征在于，所述根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，具体为：
对所述多个像素的第一像素，在所述方向向量集合的各方向上分别对应的像素值求和，将所述求和得到的值作为所述第一像素的像素值，从而建立一个以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程；
采样所述输入图像的多个像素，从而得到一个以所述多个方向分别对应的光照强度为未知数的线性方程组，通过求所述线性方程组得到所述多个方向分别对应的光照强度。
7.如权利要求6所述的方法，其特征在于，所述以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程为：
其中，所述p为所述第一像素；c为R、G、B通道；Ip为所述第一像素的像素值；Nd为所述方向向量集合；q为所述方向向量集合中的一个方向向量；Lq为q方向向量对应的光照强度；Ap为所述第一像素的材质系数；np为所述第一像素的法向向量；<q,np>为对q、np求内积运算。
8.如权利要求7所述的方法，其特征在于，在所述确定所述多个方向分别对应的光照强度之后，包括：
根据所述多个方向分别对应的光照强度以及所述图像的材质信息、所述图像的几何信息，构建图像；
将所述构建的图像的各像素与所述输入图像的相应像素做比较，去掉差值绝对值大于阈值的像素，根据剩余像素重新确定所述输入图像在多个方向分别对应的光照强度。
9.一种计算机可读存储介质，其特征在于，包括指令，当其在设备上运行时，使得该设备执行如权利要求1至8中任一项所述的方法。
10.一种图像的光照分布再现方法，其特征在于，所述方法包括：
确定输入图像中多个像素分别对应的像素值，以及确定所述多个像素分别对应的法向信息，并确定所述多个像素分别对应的材质系数；以及确定所述图像的多个方向分别对应的方向向量，得到相应的方向向量集合；
根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述多个方向分别对应的光照强度；
将所述多个方向分别对应的光照强度通过环境映照图表示；
对所述环境映照图进行分割，并使所述各分割块与拍摄场景的一个光源相对应；
根据所述环境映照图以及所述分割块，计算所述相应分割块的亮度和/或色温；根据所述分割块的亮度和/或色温，确定所述分割块对应的光源的亮度和/或色温。
11.如权利要求10所述的方法，其特征在于，所述环境映照图为高动态范围图。
12.如权利要求10所述的方法，其特征在于，根据所述拍摄场景的光源的数目和/或方位对所述环境映照图进行分割。
13.一种计算机可读存储介质，其特征在于，包括指令，当其在设备上运行时，使得该设备执行如权利要求10至12中任一项所述的方法。
14.一种图像的光照分布估计装置，其特征在于，包括：
场景分析模块，用于确定输入图像中多个像素分别对应的法向信息，以及确定所述多个像素分别对应的材质系数；
光照分布计算模块，用于确定输入图像中多个像素分别对应的像素值，并确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；以及用于根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度。
15.如权利要求14所述的装置，其特征在于，所述场景分析模块具体用于：对所述输入图像采用单幅图像几何重建算法，得到所述输入图像的多个像素分别对应的法向向量。
16.如权利要求14所述的装置，其特征在于，所述场景分析模块具体用于：对所述输入图像采用本征图像分解算法，得到所述输入图像的多个像素分别对应的材质系数。
17.如权利要求14所述的装置，其特征在于，所述光照分布计算模块具体用于：对所述多个像素的第一像素，在所述方向向量集合的各方向上分别对应的像素值求和，将所述求和得到的值作为所述第一像素的像素值，从而建立一个以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程；
采样所述输入图像的多个像素，从而得到一个以所述多个方向分别对应的光照强度为未知数的线性方程组，通过求所述线性方程组得到所述多个方向分别对应的光照强度。
18.如权利要求17所述的装置，其特征在于，所述以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程为：
其中，所述p为所述第一像素；c为R、G、B通道；Ip为所述第一像素的像素值；Nd为所述方向向量集合；q为所述方向向量集合中的一个方向向量；Lq为q方向向量对应的光照强度；Ap为所述第一像素的材质系数；np为所述第一像素的法向向量；<q,np>为对q、np求内积运算。
19.如权利要求18所述的装置，其特征在于，所述装置还包括光照环境优化模块，所述光照环境优化模块用于：根据所述多个方向分别对应的光照强度以及所述图像的材质信息、所述图像的几何信息，构建图像；以及用于将所述构建的图像的各像素与所述输入图像的相应像素做比较，去掉差值绝对值大于阈值的像素，根据剩余像素重新确定所述输入图像在多个方向分别对应的光照强度。
20.一种图像的光照分布再现装置，其特征在于，包括：
场景分析模块，用于确定输入图像中多个像素分别对应的法向信息，以及确定所述多个像素分别对应的材质系数；
光照分布计算模块，用于确定输入图像中多个像素分别对应的像素值，并确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；以及用于根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度；
光照信息转化模块，用于将所述多个方向分别对应的光照强度通过环境映照图表示；并用于对所述环境映照图进行分割，且得到的各分割块与拍摄场景的一个光源相对应；以及用于根据所述环境映照图及所述分割块，计算所述相应分割块的亮度和/或色温，根据所述分割块的亮度和/或色温，确定所述分割块对应的光源的亮度和/或色温。
21.如权利要求20所述的装置，其特征在于，所述环境映照图为高动态范围图。
22.如权利要求20所述的装置，其特征在于，所述光照信息转化模块根据所述拍摄场景的光源的数目和/或方位对所述环境映照图进行分割。
CN201810012424.8A 2018-01-05 2018-01-05 图像的光照分布估计与重现方法及装置 Withdrawn CN109636860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810012424.8A CN109636860A (zh) 2018-01-05 2018-01-05 图像的光照分布估计与重现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810012424.8A CN109636860A (zh) 2018-01-05 2018-01-05 图像的光照分布估计与重现方法及装置

Publications (1)

Publication Number Publication Date
CN109636860A true CN109636860A (zh) 2019-04-16

Family

ID=66066257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810012424.8A Withdrawn CN109636860A (zh) 2018-01-05 2018-01-05 图像的光照分布估计与重现方法及装置

Country Status (1)

Country Link
CN (1) CN109636860A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096231A (zh) * 2021-03-18 2021-07-09 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115371804A (zh) * 2022-08-23 2022-11-22 广州磐碟塔信息科技有限公司 基于虚拟现实技术采光方法、头戴式电子设备及存储介质
CN116609332A (zh) * 2023-07-20 2023-08-18 佳木斯大学 新型组织胚胎病理切片全景扫描系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103831A1 (en) * 2007-10-17 2009-04-23 Yusuke Nakamura Image processing apparatus, image processing method, and program therefor
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
US20170116755A1 (en) * 2015-10-27 2017-04-27 Imagination Technologies Limited Systems and Methods for Processing Images of Objects Using Global Lighting Estimates

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103831A1 (en) * 2007-10-17 2009-04-23 Yusuke Nakamura Image processing apparatus, image processing method, and program therefor
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
US20170116755A1 (en) * 2015-10-27 2017-04-27 Imagination Technologies Limited Systems and Methods for Processing Images of Objects Using Global Lighting Estimates

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢冠宇 等: "单幅RGB-D图像本征图像交互分解方法", 《计算机辅助设计与图形学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096231A (zh) * 2021-03-18 2021-07-09 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113096231B (zh) * 2021-03-18 2023-10-31 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115371804A (zh) * 2022-08-23 2022-11-22 广州磐碟塔信息科技有限公司 基于虚拟现实技术采光方法、头戴式电子设备及存储介质
CN116609332A (zh) * 2023-07-20 2023-08-18 佳木斯大学 新型组织胚胎病理切片全景扫描系统
CN116609332B (zh) * 2023-07-20 2023-10-13 佳木斯大学 新型组织胚胎病理切片全景扫描系统

Similar Documents

Publication Publication Date Title
Nuutinen et al. CVD2014—A database for evaluating no-reference video quality assessment algorithms
Froehlich et al. Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays
CN100361153C (zh) 用于产生与装置的缺陷相关的信息的方法和系统
Bishop et al. Assessing the visual impact of development proposals: the validity of computer simulations
Reinhard et al. Calibrated image appearance reproduction.
JP4649532B2 (ja) 認知光源とハイライトとを利用した照明色度変換装置及びそのための方法並びにそのためのプログラムを記録したコンピュータが読める記録媒体
JP3962588B2 (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
Phillips et al. Camera image quality benchmarking
Rizzi et al. Color correction between gray world and white patch
TWI538522B (zh) 使用雜訊最佳化準則以計算場景白色點
Matusik et al. Progressively-Refined Reflectance Functions from natural Illumination.
CN101322153A (zh) 调节数字图像的曝光和色标
CN109636860A (zh) 图像的光照分布估计与重现方法及装置
LeGendre et al. Practical multispectral lighting reproduction
CN102067582A (zh) 颜色调整
CN109741285B (zh) 一种水下图像数据集的构建方法及系统
Peters et al. Using moments to represent bounded signals for spectral rendering
Debevec et al. High dynamic range imaging
Shen et al. Color enhancement algorithm based on Daltonization and image fusion for improving the color visibility to color vision deficiencies and normal trichromats
CN103155545A (zh) 在胶片上制作视频存档的方法和系统
MacDonald Representation of cultural objects by image sets with directional illumination
Jia et al. Colour Recognition Algorithm Based on Colour Mapping Knowledge for Wooden Building Image
CN113012254B (zh) 基于像素级自监督训练的水下图像合成方法
Lakshmi et al. Analysis of tone mapping operators on high dynamic range images
US9007587B1 (en) Determining true surface color from multiple camera images providing conflicting color information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190416

WW01 Invention patent application withdrawn after publication