CN106256122A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN106256122A
CN106256122A CN201580021217.3A CN201580021217A CN106256122A CN 106256122 A CN106256122 A CN 106256122A CN 201580021217 A CN201580021217 A CN 201580021217A CN 106256122 A CN106256122 A CN 106256122A
Authority
CN
China
Prior art keywords
image
information
subject
configuration information
illumination configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580021217.3A
Other languages
English (en)
Other versions
CN106256122B (zh
Inventor
土场健太郎
平泽康孝
半田正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106256122A publication Critical patent/CN106256122A/zh
Application granted granted Critical
Publication of CN106256122B publication Critical patent/CN106256122B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

一种被摄体信息获取单元12从拍摄的图像中获取表示与被摄体的照明相关的属性的摄像被摄体信息。预设信息选择单元21根据用户操作选择预设信息，所述预设信息作为用于设置照明环境的照明设置信息。照明设置信息调整单元基于由所述被摄体信息获取单元获取的摄像被摄体信息，将由所述照明设置信息选择单元选择的照明设置信息进行调整，使得照明设置信息对应于所述被摄体。例如，在仅仅选择所述预设信息的情况下，可以容易设置照明环境。

Description

图像处理设备和图像处理方法
技术领域
本技术涉及一种图像处理设备和一种图像处理方法，其有助于设置照明环境，用于重光照(relighting)。
背景技术
通常，称为重光照的图像处理计算用于图像处理等中，以产生与在图像拍摄时不同的照明环境，并且再次进行照明和绘画过程。
重光照所需要的信息大概分成被摄体的形状、被摄体的反射特征以及光源的位置。这些与用于绘画一般三维计算机图形的元素相同。例如，使用通过使用多个相机进行立体匹配来估计被摄体的深度的方法，获得被摄体的形状，并且根据对应于像素的三维坐标的集合体重构模型。例如，为了获得被摄体的反射特征和光源的位置，提出了在球面镜上使用光源的反射的方法。
此外，为了生成合适的重光照图像，需要通过合适的方式设置参数，例如，光源的数量、以及光源的类型、位置以及光强度。例如，专利文档1公开了仅仅自动调整光源的强度。此外，专利文档2公开了列出随机生成的光，并且这些光用于在低频区域内渲染(rendering)。
引用列表
专利文档
专利文档1：日本专利申请公开号2009-223906
专利文档2：日本专利申请公开号2003-296750
发明内容
本发明要解决的问题
为了生成合适的重光照图像，需要通过合适的方式设置参数，例如，光源的数量、以及光源的类型、位置以及光强度。然而，在专利文档1和2中公开的技术不适用于建立任意照明环境(不仅包括光源的光强度，而且包括光源的位置)。
因此，本技术的目标在于，提供一种图像处理设备和一种图像处理方法，其有助于设置照明环境，用于重光照。
问题的解决方案
本技术的第一方面在于一种图像处理设备，包括：
被摄体信息获取单元，用于从拍摄的图像中获取表示与用于被摄体的照明相关的属性的摄像被摄体信息；
照明设置信息选择单元，用于根据用户操作选择照明设置信息；以及
照明设置信息调整单元，用于基于通过所述被摄体信息获取单元获取的所述摄像被摄体信息，将通过所述照明设置信息选择单元选择的所述照明设置信息调整为对应于所述被摄体的照明设置信息。
根据本技术，所述被摄体信息获取单元在不同的视角位置，从由图像获取单元获取的拍摄的图像中获取与被摄体的照明相关的属性，例如，被摄体的三维形状和反射特征。
所述照明设置信息选择单元显示与所述照明设置信息相关联的设置选择图像，并且将对应于用户选择的设置选择图像的照明设置信息设置为所选的照明设置信息。例如，所述照明设置信息选择单元基于所述照明设置信息，将预设信息显示为设置选择图像，并且将对应于用户选择的预设信息的照明设置信息设置为所选的照明设置信息。可替换地，所述照明设置信息选择单元将预设图像显示为设置选择图像，并且从用户选择的预设图像中获取照明设置信息。更可替换地，所述照明设置信息选择单元将与所述照明设置信息相关联的元数据显示为设置选择图像，并且将对应于用户选择的元数据的照明设置信息设置为所选的照明设置信息。此外，所述照明设置信息选择单元选择照明设置信息，包括与所述被摄体信息获取单元所获取的关于被摄体的摄像模式信息匹配的摄像模式信息。
照明设置信息调整单元基于由所述被摄体信息获取单元获取的摄像被摄体信息，将由所述照明设置信息选择单元选择的照明设置信息调整为对应于所述被摄体的照明设置信息。例如，使用预设坐标系，生成所述照明设置信息。通过使所述坐标系与所述被摄体对应，照明设置信息调整单元将所述照明设置信息调整为对应于所述被摄体的照明设置信息。所述照明设置信息具有：光源信息，其包括关于光源和照明光的位置的信息；以及参考被摄体信息，其包括关于由所述光源信息表示的光源所照明的参考被摄体的尺寸和位置的信息。所述照明设置信息调整单元使所述坐标系与所述被摄体对应，使得所述参考被摄体的尺寸和位置与在所述拍摄的图像内的被摄体的尺寸和位置匹配。所述照明设置信息调整单元还调整所述照明设置信息，使得通过使用所述摄像被摄体信息和调整之后的照明设置信息执行绘画过程所获得的被摄体图像不饱和。
图像生成单元基于所述被摄体信息获取单元所获取的摄像被摄体信息以及所述照明设置信息调整单元所调整的照明设置信息，执行绘画过程，从而在用户选择的照明环境中获得被摄体的图像。
本技术的第二方面在于一种图像处理方法，包括以下步骤：
通过被摄体信息获取单元从拍摄的图像中获取表示与用于被摄体的照明相关的属性的摄像被摄体信息；
通过照明设置信息选择单元根据用户操作选择照明设置信息；以及
通过照明设置信息调整单元基于由所述被摄体信息获取单元获取的所述摄像被摄体信息，将由所述照明设置信息选择单元选择的照明设置信息调整为对应于所述被摄体的照明设置信息。
本发明的效果
根据本技术，被摄体信息获取单元从拍摄的图像中获取表示与被摄体的照明相关的属性的被摄体信息。此外，照明设置信息选择单元根据用户操作选择照明设置信息。照明设置信息调整单元基于摄像被摄体信息，执行将选择的照明设置信息调整为对应于所述被摄体的照明设置信息的过程。即，在用户选择照明设置信息时，将选择的照明设置信息调整为对应于所述被摄体的照明设置信息。因此，通过在调整之后使用照明设置信息执行绘画过程，可以生成图像，犹如在期望的照明环境中获取一样。这有助于设置照明环境，用于重光照。要注意的是，在本文中描述的有利效果仅仅是实例，没有限制性，并且可以提供任何其他额外效果。
附图说明
图1是示出根据第一实施方式的图像处理设备的配置的示图；
图2是描述用于获取被摄体的三维形状的方法的示图；
图3是描述用于确定视差的方法的示图；
图4是示出球面镜的示图；
图5是在球面镜由立体相机拍摄时示意性示出亮点的示图；
图6是描述在球面镜上的亮点与光源的方向之间的关系的示图；
图7是预设信息的元素的列表；
图8是示出光源信息的示图；
图9是示出预设信息的具体实例的示图；
图10是示出图标图像的示图；
图11是描述用于调整照明设置信息的过程的示图；
图12是在第一实施方式中的操作的流程图；
图13是描述选择预设信息的活动的示图；
图14是示出第二实施方式的图像处理设备的配置的示图；
图15是在第二实施方式中的操作的流程图；
图16是示出第三实施方式的图像处理设备的配置的示图；
图17是描述照明设置信息的选择的示图；
图18是在第三实施方式中的操作的流程图。
具体实施方式
下面解释用于执行本技术的实施方式。注意，按照以下顺序提供解释：
1、第一实施方式
2、第二实施方式
3、第三实施方式
4、另一个实施方式
本技术的图像处理设备包括被摄体信息获取单元、照明设置信息选择单元以及照明设置信息调整单元。被摄体信息获取单元从拍摄的图像中获取表示与被摄体的照明相关的属性的摄像被摄体信息。照明设置信息选择单元根据用户操作选择照明设置信息。例如，所述照明设置信息选择单元显示与所述照明设置信息相关联的设置选择图像，并且将对应于用户选择的设置选择图像的照明设置信息设置为所选的照明设置信息。照明设置信息调整单元基于由所述被摄体信息获取单元获取的摄像被摄体信息，将由所述照明设置信息选择单元选择的照明设置信息调整为对应于所述被摄体的照明设置信息。
<1、第一实施方式>
在第一实施方式中，为了选择照明设置信息，显示基于照明设置信息的预设信息作为设置选择图像，并且对应于用户选择的预设信息的照明设置信息被设置做为所选的照明设置信息。
【1-1、第一实施方式的配置】
图1是示出根据第一实施方式的图像处理设备的配置的示图。图像处理设备10包括图像获取单元11、被摄体信息获取单元12、预设信息选择单元21、照明设置信息调整单元31、图像生成单元41以及图像显示单元45。注意，预设信息选择单元21等同于照明设置信息选择单元。
图像获取单元11获取图像，从这些图像中，可以估计被摄体的三维形状、被摄体的反射特征以及光源的位置。例如，为了通过稍后描述的被摄体信息获取单元12基于视差确定对应于像素位置的深度以便估计被摄体的三维形状，图像获取单元11通过以已知间隔放置的一对相机(所谓的立体相机)在水平对准的相同规范下，获取被摄体的拍摄图像。此外，例如，为了通过稍后描述的被摄体信息获取单元12估计光源的位置，图像获取单元11使用在由立体相机获取的右视点图像和左视点图像中的球面上生成的不同位置的亮点。在这种情况下，图像获取单元11在立体相机的摄像范围内获取包括球面镜的被摄体的拍摄图像。
注意，图像获取单元11可以不必配置成使用立体相机，而是可以被配置成从记录介质中读取由立体相机获取的拍摄图像，或者可以被配置成通过网络等从外部装置中如上所述获取关于拍摄图像的数据。
被摄体信息获取单元12从由图像获取单元11获取的拍摄图像中获取表示与被摄体的照明相关的属性的摄像被摄体信息。在使用照明将被摄体摄像的情况下，拍摄的图像随着被摄体的三维形状和反射特征变化。因此，例如，被摄体信息获取单元12获取表示被摄体的三维形状的信息(在后文中，称为“被摄体形状信息”)以及被摄体的反射特征的信息(在后文中，称为“反射特征信息”)，作为摄像被摄体信息。
为了获取被摄体形状信息，被摄体信息获取单元12计算在由立体相机获取的图像中看到的被摄体的像素的视差，并且基于视差，确定对应于像素位置的深度。图2是描述用于获取被摄体的三维形状的方法的示图。设置立体相机，使得右相机和左相机的光轴彼此平行。将右相机的焦点位置作为原点，被摄体上的点(X、Y、Z)被投射到左相机成像面上的点(xL、yL)上以及右相机成像面上的点(xR、yR)上。在这种情况下，点(X、Y、Z)可以通过以下公式(1)到(3)使用点(xL、yL)和点(xR、yR)表示。
【数学公式1】
Z = B f x L - x R ... ( 1 )
X = Z f x R ... ( 2 )
Y = Z f y R ... ( 3 )
注意，在公式(1)到(3)中，“f”表示相机的焦距，并且“B”表示在基线之间的距离(在右相机和左相机的光轴之间的距离)。
在右相机的光轴和左相机的光轴平行时，被摄体的深度表示为在成像面之间的水平位移。在左右相机的成像面之间的水平坐标的位移量(xL–xR)称为视差。
如上所述，可以使用公式(1)到(3)根据视差表示深度。因此，通过确定在成像面上的所有像素的视差，可以获得被摄体的深度。作为确定视差的一般方法，具体而言，例如，如图3所示，使用要确定视差的参考点(在该实例中，在右相机图像上的点(xR、yR))的外围像素，设置方框BR。此外，在左相机图像上设置与方框BR相同的尺寸的方框BL，并且搜索在与方框BR具有最高相似度的方框BL中的位置，以确定对应于点(xR、yR)的点(xL、yL)。
被摄体信息获取单元12获取光源信息，用于获取反射特征信息。例如，被摄体信息获取单元12使用在由立体相机获取的拍摄图像中看到的球面镜上的亮点，获取光源的位置。注意，为了获取光源的位置，例如，可以使用在参考文献“Light Source Estimationfrom Spherical Reflections,Schnieders,2011”等中公开的技术。
图4示出由相机摄像的球面镜。此外，图5示意性示出在由立体相机拍摄的球面镜上的亮点，图5的(A)示出了在左相机图像中的亮点，并且图5的(B)示出了在右相机中的亮点。在图中可以看出，在相机的位置不同时，亮点出现在拍摄图像内的球面上的不同位置。在已知球面镜的尺寸时，可以使用通过在拍摄图像上执行圆检测所提取的圆圈的尺寸，确定球面镜的深度，即，球面镜的三维位置。
图6是描述在球面镜上的亮点与光源的方向之间的关系的示图。相对于球面镜上的亮点P(其对应于相机的图像上的亮点p)，矢量VE设置为从视点EY到亮点的光线矢量，并且矢量VN设置为球面在亮点P处的法向矢量。通过这种方式设置光线矢量和法向矢量，可以由公式(4)计算表示光源的入射光的入射光矢量VL的方向。注意，在亮点P的三维位置设置为PM＝(X,Y,Z)T时，可以根据公式(5)计算光线矢量VE。图6也表示由光线矢量VE和法向矢量VN形成的角度以及由法向矢量VN和入射光矢量VL形成的角度都等于角度Ag。
【数学公式2】
VL＝VE-(2VN·VE)VN…(4)
V E = P M | | P M | | ... ( 5 )
关于光源Lm，从右相机看到的亮点的三维位置设置为PMR＝(XR,YR,ZR)T，并且从左相机看到的亮点的三维位置设置为PML＝(XL,YL,ZL)T。在这种情况下，三维位置PMR和PML可以确定为在从相机到亮点的光线矢量与反射镜之间的交叉点。具体而言，光源Lm的位置可以由联立的公式(6)和(7)使用三维位置PMR和PML表示：
【数学公式3】
L m = PM R + k R { PM R | | PM R | | - ( 2 VN R &CenterDot; PM R | | PM R | | ) VN R } ... ( 6 )
L m = ( PM L - V B ) + k L { PM L - V B | | PM L - V B | | - ( 2 VN L &CenterDot; PM L - V B | | PM L - V B | | ) VN L } ... ( 7 )
注意，位置矢量等于(-B,0,0)T，即，左相机的位置矢量。此外，法向矢量VN是球面在亮点PR处的法向矢量，并且法向矢量VNL是球面在亮点PL处的法向矢量。在公式(6)和(7)中通过三角测量原理确定系数kR和kL，据此，可以计算光源LS的位置。此外，可以根据反射镜上的亮点的颜色，确定光源的强度和颜色。
接下来，被摄体信息获取单元12使用被摄体形状信息和光源信息，获取关于被摄体的反射特征信息。注意，为了获取反射特征，可以使用在参考文献“Principles ofAppearance Acquisition and Representation,Weyrich et al.,2008”等中公开的技术。
通过预先假设对象的反射模型并且确定在该模型中的参数，总体上估计反射特征。在本技术中，假设一个被摄体可以由统一双向反射分布函数(BRDF)表示。此外，基于假设被摄体可以由Phong模型表示，执行估计。Phong模型是如此表示的模型，使得对象的发射特征构成环境光分量、漫反射分量以及镜面反射分量的叠加，并且考虑被摄体的表面上的点u，亮度Iu由公式(8)表示：
【数学公式4】
Iu＝kaia+Σm∈lights{kd(VLm·VNu)im，d+ks(Vrm·VFu)qim，s}…(8)
在公式(8)中，强度ia表示环境光的强度，强度im,d表示光源m的漫反射光的强度，强度im,s表示光源m的镜面反射光的强度。此外，入射光矢量VLm是表示光从光源m进入被摄体的矢量。法向矢量VNu是在点u上的被摄体的法向矢量。矢量Vrm是在被摄体的表面上反射光矢量。矢量VFu是从点u到观察点的矢量。系数q是用于调整镜面反射的强度分布的参数。进一步，系数ka、kd以及ks是根据对象的材料的分量的强度系数。通过估计强度系数，可以确定反射特征。
由于已知被摄体的三维形状，所以可以在被摄体的点u处，计算矢量VFu和法向矢量VNu。此外，通过使用表示光源的信息，也可以使光源的位置和光源的颜色和强度清晰，因此，可以计算入射光矢量VLm和矢量Vrm。进一步，强度im,d和强度im,s可以被视为已知。强度ia总体上表示为光源的强度的总和，因此，也可以计算该强度。即，除了强度系数ka、kd以及ks以及表示镜面反射参数的系数q以外的所有参数可以被视为已知。因此，通过假设被摄体的BRDF均匀，可以计算在被摄体上的点u的以上公式，并且通过联立公式求解系数ka、kd以及ks。即，通过联立公式求解系数ka、kd、ks以及q，可以获得表示被摄体的反射特征的信息。此外，在估计反射特征时，通过规定被摄体的材料并且根据材料调整漫反射光和镜面反射光的强度的值，可以获得根据被摄体的材料的表示反射特征的信息。例如，在材料是金属时，获得反射特征信息，其镜面反射光的强度的值增大。
在图1示出的预设信息选择单元21根据用户操作选择预设信息。预设信息选择单元21提前储存表示光源信息的预设信息的一个或多个单元。预设信息选择单元21向照明设置信息调整单元31输出根据用户操作选择的预设信息。
图7表示预设信息的元素的列表。例如，预设信息具有光源信息和参考被摄体信息。光源信息由光源数量信息和光源属性信息构成。光源数量信息表示用于照明的光源的数量。针对由光源数量信息表示的多个光源中的每个提供光源属性信息。例如，光源属性信息由位置信息、方向信息、强度信息、颜色信息、类型信息、颜色温度信息等构成。位置信息表示光源关于预设坐标系中的每个参考坐标轴xr、yr以及zr距离参考中心Op的距离。例如，方向信息表示来自光源的照射光相对于法向矢量的发射方向。例如，强度信息表示以流明为单位的光源的照射光的亮度。例如，颜色信息通过三个原色分量的值表示光源的照射光的颜色。类型信息表示光源的类型，例如，点光源、面光源、光点光源、平行光源、半球形环境光源等。例如，颜色温度信息表示光源的照明光的颜色温度，以白色6500K(开氏温度)作为参考颜色温度。注意，在未设置颜色温度时，使用参考颜色温度。
例如，参考被摄体信息由尺寸信息、重心信息、坐标轴信息、材料信息、摄像模式信息等构成。尺寸信息表示外切在预设信息中假设的被摄体的球面的半径。注意，在预设信息中假设的被摄体设置为参考被摄体，以区分在预设信息中假设的被摄体和摄像被摄体。重心信息表示参考被摄体的重心位于预设坐标系内的位置。坐标轴信息表示在预设坐标系内，哪个方向与参考被摄体的三个主轴相关联。例如，参考被摄体的三个主轴表示为在预设坐标系内的矢量量值。材料信息是用于将要经受重光照的摄像被摄体设置为什么材料的信息。在未规定材料时，使用被摄体的材料(即，在估计反射特征时规定的材料)。摄像模式信息用于确定摄像模式是否对应于摄像被摄体等。
图8是光源信息，例如，参考中心Op、参考坐标轴xr、yr以及zr、以及光源的位置、类型以及强度。此外，在参考被摄体的重心设置在预设坐标系的参考中心Op的情况下，参考半径Rd是外切参考被摄体的球面的半径。
图9是示出使用两个光源对人进行重光照的预设信息的具体实例的示图。在位置(1,0,1)[单位:m]提供光源1，并且照明方向设置为(-0.707,0,-0.707)。光源1的亮度是3000流明，并且照明的颜色是白色。此外，光源1是具有尺寸(0.3×0.3)[单位:m]的面光源，并且每个颜色的颜色温度设置为6500K。光源2与光源1相似，并且位于位置(-0.8,0,1)[单位:m]上，并且照明方向设置为(0.625,0,-0.781)。参考被摄体的重心在预设坐标系的参考中心，并且参考被摄体的坐标系与预设坐标系匹配。
在参考被摄体信息中，参考被摄体的尺寸设置为0.5m。参考被摄体的重心设置为预设坐标系的中心，并且坐标轴信息具有与预设坐标系匹配的参考被摄体的三个主轴。此外，为了对人进行重光照，被摄体的材料(相对于该材料，照明环境会改变)设置为皮肤，并且摄像模式设置为肖像。
预设信息选择单元21提前储存预设信息的多个单元，并且根据用户操作选择预设信息。
图10示出根据预设信息在图像处理设备10的图像显示单元45上显示的图标图像。例如，图标图像是示意性表示参考被摄体的图像。此外，图标图像可以包括与光源相关的图像。例如，在参考被摄体是人脸时，如图10的(A)所示，提供模型化的人脸的图像和表示关于光源的信息(例如，光源的数量和位置)的图像。可替换地，图标图像可以是不包括关于光源的信息的图像，如图10的(B)所示。注意，图10的(C)示出个人的身体上部的图标图像。
在图1示出的照明设置信息调整单元31根据摄像被摄体，调整由预设信息选择单元21选择的预设信息。图11是描述用于通过照明设置信息调整单元31调整照明设置信息的过程的示图。照明设置信息调整单元31调整预设坐标系，使得由预设信息表示的参考被摄体的尺寸和位置与摄像被摄体的尺寸和位置匹配，并且根据坐标系的调整，调整关于光源的信息。注意，为了解释简单，参考被摄体的重心处于预设坐标系的参考中心，并且参考被摄体的坐标系与预设坐标系匹配。
照明设置信息调整单元31相对于在图11(A)示出的被摄体放置光源，使得预设坐标系的参考中心Op(参考被摄体的重心)与在图11(B)示出的摄像被摄体的重心匹配。接下来，照明设置信息调整单元31执行由预设信息表示的参考半径Rd(外切参考被摄体的球面的半径)的缩放，使得参考半径Rd与外切摄像被摄体的球面的半径匹配，如图11的(C)所示。即，照明设置信息调整单元31改变预设光源坐标系的比例，以改变从摄像被摄体的重心到光源的距离。
随后，照明设置信息调整单元31基于摄像被摄体的三维形状、拍摄图像的摄像模式等，将坐标轴设置给摄像被摄体，并且使在预设坐标系内的坐标轴与这些坐标轴对应。例如，在目标被摄体是人时，照明设置信息调整单元31从拍摄图像中提取人脸，并且将脸部的正面设置为在预设坐标系内的参考坐标轴zr，如图11的(D)所示。照明设置信息调整单元31还将垂直向上的方向限定为参考坐标轴yr，并且将与前面两个轴矢量垂直的矢量(即，前两个轴的叉积矢量的方向)限定为参考坐标轴xr。此外，在拍摄图像是场景图像的情况下，照明设置信息调整单元31将相机的正面限定为主坐标轴方向，并且相对于作为参考坐标轴zr的相机的正面的方向，将垂直向上的方向限定为参考坐标轴yr，并且将与前两个轴矢量垂直的矢量的方向限定为参考坐标轴xr。
照明设置信息调整单元31执行前述过程，以调整光源的位置与摄像主题对应。进一步，照明设置信息调整单元31或图像生成单元41基于在调整之后光源的位置，执行绘画过程。在该实例中，被摄体信息获取单元12获取被摄体形状信息和反射特征信息。此外，照明设置信息调整单元31放置包含在用户所选的预设信息内的光源与摄像被摄体对应。因此，基于获取的被摄体形状信息和反射特征信息、调整之后的光源的位置、包含在所选的预设信息内的光源的颜色和强度，通过与传统的计算机图形相似的方法，执行绘画过程。注意，作为被摄体的反射模型，Phong模型用于估计反射特征。
此外，照明设置信息调整单元31使用通过绘画过程生成的图像计算整个图像的颜色和亮度。在从整个图像的颜色和亮度的计算结果中确定亮度和颜色饱和时，照明设置信息调整单元31调整光源的强度，以便使亮度和颜色不饱和。例如，在通过绘画过程生成的图像的亮度值可能饱和时，照明设置信息调整单元31执行每个光源m的强度im的缩放，使得所有像素的最大亮度值IMAX与图像动态范围的最大值IRANGE匹配。具体而言，照明设置信息调整单元31计算校正的强度imc，作为在由公式(9)缩放之后的强度。
【数学公式5】
i m c = i m &CenterDot; I R A N G E I M A X ... ( 9 )
注意，可以反复进行光源m的强度im的缩放，直到亮度和颜色不再饱和。
通过执行这种过程，可以基于由预设信息选择单元21选择的预设信息和拍摄的图像，自动优化光源信息。照明设置信息调整单元31给图像生成单元41输出根据摄像被摄体优化的调整之后的预设信息。
图像生成单元41执行绘画过程。图像生成单元41基于由图像获取单元11获取的拍摄图像、由被摄体信息获取单元12获取的摄像被摄体信息、以及从照明设置信息调整单元31中供应的调整之后的预设信息，执行绘画过程。通过执行绘画过程，图像生成单元41基于所选择的预设信息和摄像被摄体在照明环境内生成拍摄的图像，并且将该图像输出给图像显示单元45。
图像显示单元45在屏幕上显示由图像生成单元41生成的图像。此外，图像显示单元45与预设信息选择单元21相关联，并且可以显示表示可由预设信息选择单元21选择的预设信息的图标图像等。例如，在图像显示单元45的屏幕上提供用户操作输入装置(例如，触控面板)，以允许用户选择在图像显示单元45的屏幕上显示的任何一个图标图像。预设信息选择单元21选择与用户选择的图标图像对应的预设信息。此外，预设信息选择单元21可以具有图像显示功能，以显示表示可由预设信息选择单元21选择的预设信息的图标图像等。
接下来，解释在第一实施方式中的操作。图12是在第一实施方式中的操作的流程图。
在步骤ST1中，图像处理设备10获取图像。具体而言，图像处理设备10的图像获取单元11获取拍摄图像，从这些图像中，可以估计被摄体的三维形状、被摄体的反射特征以及光源的位置。例如，图像获取单元11获取由立体相机获取的拍摄图像或者由立体相机获取的并且记录在记录介质内的拍摄图像等。此外，图像获取单元11可以通过网络等获取这些图像。图像处理设备10获取图像，然后，移动到步骤ST2。
在步骤ST2中，图像处理设备10计算被摄体的三维形状。具体而言，例如，图像处理设备10的被摄体信息获取单元12使用图像获取单元11获取的图像来计算被摄体的像素的视差，并且基于视差，确定对应于像素位置的深度，从而计算摄像被摄体的三维形状。图像处理设备10计算被摄体的三维形状，然后，移动到步骤ST3。
在步骤ST3中，图像处理设备10计算光源相对于被摄体的位置和强度。具体而言，例如，图像处理设备10的被摄体信息获取单元12基于在拍摄图像中看到的球面镜上的亮点，估计光源的位置，并且根据在球面镜上的亮点的颜色，计算光源的颜色和强度。图像处理设备10计算光源相对于被摄体的位置和强度，然后，移动到步骤ST4。
在步骤ST4中，图像处理设备10计算被摄体的反射特征。具体而言，例如，图像处理设备10的被摄体信息获取单元12提前假设对象的反射模型，并且基于在步骤ST2中计算的被摄体的三维形状以及在步骤ST3中计算的光源的位置和强度，计算反射特征。例如，由于已知摄像被摄体的三维形状，所以被摄体信息获取单元12计算朝着观察点的矢量VFu以及在被摄体中的每个点u处的被摄体的法向矢量VNu。此外，已知光源的位置和光源的颜色和强度，被摄体信息获取单元12可以计算入射光矢量VLm和反射光矢量Vrm。进一步，由于强度im,d和强度im,s被视为已知，所以被摄体信息获取单元12基于被摄体的BRDF均匀这一假设，使用公式(8)计算强度系数ka、kd以及ks以及表示镜面反射参数的系数q。图像处理设备10通过这种方式计算被摄体的反射特征，然后，移动到步骤ST5。
在步骤ST5中，图像处理设备10选择预设信息。具体而言，图像处理设备10的预设信息选择单元21根据用户操作从预先储存的预设信息之中选择预设信息。预设信息选择单元21根据用户操作从预先储存的预设信息之中选择预设信息。例如，如图13所示，在图像显示单元45的屏幕上显示预设信息JS1到JS3，以允许用户选择任何预设信息。图像处理设备10根据用户操作选择预设信息，然后，移动到步骤ST6。
在步骤ST6中，图像处理设备10调整照明设置信息。具体而言，图像处理设备10的照明设置信息调整单元31根据摄像被摄体的三维形状等调整照明设置信息(即，在步骤ST5中选择的预设信息)。例如，照明设置信息调整单元31使预设坐标系的中心位置与摄像被摄体的重心匹配，并且进行缩放，使得在预设信息中限定的参考半径Rd对应于摄像被摄体的尺寸。进一步，照明设置信息调整单元31使预设信息的坐标系的坐标轴与根据摄像被摄体的坐标轴对应，并且根据图像被摄体，调整由预设信息表示的光源的位置。图像处理设备10通过这种方式调整照明设置信息，然后，移动到步骤ST7。
在步骤ST7中，图像处理设备10执行绘画过程。具体而言，图像处理设备10的图像生成单元41基于在步骤ST1中获取的拍摄图像、在步骤ST2中计算的被摄体的三维形状、在步骤ST4中计算的反射特征以及在步骤ST6中调整的预设信息，执行绘画过程。通过与传统的计算机图形相似的方式，执行绘画过程。图像处理设备10执行绘画过程，以生成图像，在照明环境内具有变化，然后，移动到步骤ST8。
在步骤ST8中，图像处理设备10确定在图像内是否没有饱和。具体而言，图像处理设备10的照明设置信息调整单元31使用通过绘画过程生成的图像计算整个图像的颜色和亮度。在基于整个图像的颜色和亮度的计算结果，确定在亮度和颜色内具有饱和时，图像处理设备10移动到步骤ST9。在亮度或颜色内没有饱和时，图像处理设备10结束该过程。
在步骤ST9中，图像处理设备10调整光源。具体而言，图像处理设备10的照明设置信息调整单元31调整光源，以便不使由绘画过程生成的图像的亮度和颜色饱和。例如，在亮度可能饱和时，照明设置信息调整单元31进行光源的强度的缩放，使得所有像素的最大亮度值与图像动态范围的最大值匹配。此外，关于颜色，照明设置信息调整单元31也进行光源的强度的缩放。图像处理设备10通过这种方式调整光源，然后，返回步骤ST7。
根据第一实施方式，根据用户选择的预设信息以及摄像被摄体，自动设置照明环境。因此，图像处理设备促进设置照明环境，用于重光照。因此，通过仅仅选择期望的预设信息，用户可以获得图像，犹如在期望的预设信息中获取。
<2、第二实施方式>
接下来，解释第二实施方式。在第二实施方式中，为了选择照明设置信息，显示预设图像作为设置选择图像，并且从用户选择的预设图像中获取照明设置信息。
图14示出根据第二实施方式的图像处理设备的配置。图像处理设备10包括图像获取单元11、被摄体信息获取单元12、预设图像选择单元22、照明设置信息获取单元23、照明设置信息调整单元31、图像生成单元41以及图像显示单元45。注意，预设图像选择单元22和照明设置信息获取单元23等同于照明设置信息选择单元。
图像获取单元11获取图像，从这些图像中，可以估计被摄体的三维形状、被摄体的反射特征以及光源的位置。例如，为了基于视差确定对应于像素位置的深度以便通过被摄体信息获取单元12估计被摄体的三维形状，图像获取单元11通过以已知间隔放置的一对相机(所谓的立体相机)在水平对准的相同规范下，获取被摄体的拍摄图像。此外，为了由被摄体信息获取单元12估计光源的位置，图像获取单元11在由立体相机获取的右视点图像和左视点图像中，使用在球面上的不同位置的亮点。在这种情况下，图像获取单元11在立体相机的成像范围内获取包括球面镜的被摄体的拍摄图像。注意，图像获取单元11可以被配置成从记录介质中读取由立体相机获取的拍摄图像，或者可以被配置成通过网络等从外部装置中如上所述获取关于拍摄图像的数据。
被摄体信息获取单元12从由图像获取单元11获取的拍摄图像中获取摄像被摄体信息，例如，被摄体形状信息和反射特征信息。例如，被摄体信息获取单元12计算在立体相机中看到的被摄体的像素的视差，并且基于视差，确定对应于像素位置的深度，从而获取被摄体形状信息。被摄体信息获取单元12还使用包含在由立体相机获得的拍摄图像内的球面镜上的亮点，确定光源的光源信息，例如，光源的位置、强度、颜色等。被摄体信息获取单元12基于被摄体形状信息和光源信息，进一步获取表示摄像被摄体的反射特征的反射特征信息。
预设图像选择单元22根据用户操作选择预设信息。预设图像选择单元22提前储存在不同的照明环境中获取的一个或多个图像，作为预设图像。预设图像选择单元22向照明设置信息获取单元23输出根据用户操作选择的预设图像。例如，在用户执行用于选择在图像显示单元45上显示的预设图像的操作时，预设图像选择单元22将用户选择的预设图像输出给照明设置信息获取单元23。
照明设置信息获取单元23从预设图像选择单元22选择的预设图像中提取光源的位置和强度。注意，为了从预设图像中提取光源的位置和强度，例如，可以使用在参考文献“Single image based illumination estimation for lighting virtual object inreal scene,Chen et al.,2011”等中公开的技术。
例如，照明设置信息获取单元23从预设图像中提取三个特征量，即，粗糙场景的三维结构、在被摄体内的阴影以及被摄体的反射特征。通过将整个图像的颜色分布、边缘以及纹理信息作为特征量与提前准备的场景结构的机器学习数据库进行比较，在粗糙的等级上确定场景的三维结构。通过将在图像中的颜色信息分成阴影分量和反射分量，可以获得被摄体的阴影和反射特征，或者通过将颜色信息与提前准备的用于颜色分量分割的机器学习数据库进行比较，与利用三维结构的情况下一样，可以获得被摄体的阴影和反射特征。照明设置信息获取单元23使用被摄体的粗糙三维结构和阴影以及反射特征，进一步确定光源的位置和强度。在光源的数量限于一个或较小的数量时，光源的位置和强度的确定，可以被视为通过公式(8)对光源m的入射光矢量VLm、来自光源m的漫反射光的强度im,d以及来自光源m的镜面反射光的强度im,s的确定，与在第一实施方式中一样。因此，可以计算光源的方向和强度，与在第一实施方式中一样。除了光源的确定方向和强度，照明设置信息获取单元23将从作为三维结构的重心的参考中心Op到三维结构的顶点的最长距离设置为参考半径Rd。照明设置信息获取单元23还假设光源以距离参考中心Op的参考半径Rd均匀地定位，并且从与在第一实施方式中的预设信息相似的预设图像信息中获取，作为照明设置信息。
照明设置信息调整单元31根据摄像被摄体，调整由照明设置信息获取单元23获取的照明设置信息。此外，照明设置信息调整单元31或图像生成单元41基于调整之后的照明设置信息，执行绘画过程。如上所述，被摄体信息获取单元12获取被摄体形状信息和反射特征信息。照明设置信息调整单元31还根据摄像被摄体，调整从用户选择的预设图像中获取的照明设置信息。因此，使用通过被摄体信息获取单元12获取的被摄体形状信息和反射特征、通过照明设置信息调整单元31调整的照明设置信息等，通过与传统的计算机图形相似的方式，执行绘画。
照明设置信息调整单元31进一步使用通过绘画过程生成的图像计算整个图像的颜色和亮度。在确定整个图像的亮度和颜色饱和时，照明设置信息调整单元31调整光源的强度，以便使亮度和颜色不饱和。
图像生成单元41执行绘画过程。图像生成单元41基于由图像获取单元11获取的拍摄图像、由被摄体信息获取单元12获取的摄像被摄体信息、以及从照明设置信息调整单元31中供应的调整之后的照明设置信息，执行绘画过程。通过执行绘画过程，图像生成单元41在基于摄像被摄体生成所选择的预设图像时通过调整照明环境所获得的照明环境内生成拍摄图像，并且将该图像输出给图像显示单元45。
图像显示单元45在屏幕上显示由图像生成单元生成的图像。此外，图像显示单元45与预设图像选择单元22相关联，并且可以显示可由预设图像选择单元22选择的预设图像。例如，在图像显示单元45的屏幕上提供用户操作输入装置(例如，触控面板)，以允许用户选择在图像显示单元45的屏幕上显示的任何一个预设图像。预设图像选择单元22选择由用户选择的预设图像。此外，预设图像选择单元22可以具有图像显示功能，以显示可由预设图像选择单元22选择的预设图像。
接下来，解释在第二实施方式中的操作。图15是在第二实施方式中的操作的流程图。
在步骤ST11中，图像处理设备10获取图像。具体而言，图像处理设备10的图像获取单元11获取拍摄图像，从这些图像中，可以估计被摄体的三维形状、被摄体的反射特征以及光源的位置。例如，图像获取单元11获取由立体相机获取的拍摄图像或者由立体相机获取的并且记录在记录介质内的拍摄图像等。然后，图像获取单元11移动到步骤ST12。注意，图像获取单元11可以通过网络等获取这些图像。
在步骤ST12中，图像处理设备10计算被摄体的三维形状。具体而言，例如，图像处理设备10的被摄体信息获取单元12使用图像获取单元11获取的图像来计算被摄体的像素的视差，并且基于视差，确定对应于像素位置的深度，从而计算摄像被摄体的三维形状。然后，图像处理设备10移动到步骤ST13。
在步骤ST13中，图像处理设备10计算光源相对于被摄体的位置和强度。具体而言，例如，图像处理设备10的被摄体信息获取单元12基于在拍摄图像中看到的在球面镜上的亮点，估计光源的位置，并且根据在球面镜上的亮点的颜色，计算光源的颜色和强度。图像处理设备10计算光源相对于被摄体的位置和强度，然后，移动到步骤ST14。
在步骤ST14中，图像处理设备10计算被摄体的反射特征。具体而言，例如，图像处理设备10的被摄体信息获取单元12提前假设对象的反射模型，并且基于在步骤ST12中计算的被摄体的三维形状以及在步骤ST13中计算的光源的位置和强度，计算反射特征。然后，图像处理设备10移动到步骤ST15。
在步骤ST15中，图像处理设备10选择预设图像。具体而言，图像处理设备10的预设图像选择单元22根据用户操作从预先储存的预设图像之中选择预设图像。然后，图像处理设备10移动到步骤ST16。
在步骤ST16中，图像处理设备10获取照明设置信息。具体而言，图像处理设备10的照明设置信息获取单元23根据在步骤ST15中选择的预设图像中获取照明设置信息(例如，光源的位置和强度)。例如，照明设置信息获取单元23从预设图像中获取三个特征量，即，粗糙场景的三维结构、在被摄体内的阴影以及被摄体的反射特征。照明设置信息获取单元23使用获取的三维结构和被摄体的阴影以及反射特征，计算光源的位置和强度，然后，移动到步骤ST17。
在步骤ST17中，图像处理设备10调整照明设置信息。具体而言，图像处理设备10的照明设置信息调整单元31根据摄像被摄体的三维形状等调整在步骤ST16中获得的照明设置信息，例如，光源的位置和强度，然后，移动到步骤ST18。
在步骤ST18中，图像处理设备10执行绘画过程。具体而言，图像处理设备10的图像生成单元41基于在步骤ST11中获取的拍摄图像、在步骤ST12中计算的被摄体的三维形状、在步骤ST14中计算的反射特征以及在步骤ST17中调整的照明设置信息，执行绘画过程，与通过传统的方式一样。图像处理设备10执行绘画过程，以在改变的照明环境内生成图像，然后，移动到步骤ST19。
在步骤ST19中，图像处理设备10确定在图像内是否具有饱和。具体而言，图像处理设备10的照明设置信息调整单元31使用由绘画过程生成的图像计算整个图像的颜色和亮度。在基于整个图像的颜色和亮度的计算结果，确定在亮度和颜色内具有饱和时，图像处理设备10移动到步骤ST20。在亮度和颜色内没有饱和时，图像处理设备10结束该过程。
在步骤ST20中，图像处理设备10调整光源。具体而言，图像处理设备10的照明设置信息调整单元31调整光源，以便不使由绘画过程生成的图像的亮度和颜色饱和。例如，在亮度可能饱和时，照明设置信息调整单元31进行光源的强度的缩放，使得所有像素的最大亮度值与图像动态范围的最大值匹配。此外，关于颜色，照明设置信息调整单元31也进行光源的强度的缩放。图像处理设备10通过这种方式调整光源，然后，返回步骤ST18。
根据第二实施方式，根据用户选择的预设信息以及摄像被摄体，自动设置照明环境。因此，图像处理设备促进设置照明环境，用于重光照。因此，通过仅仅选择期望的预设信息，用户可以获得图像，犹如在期望的预设信息中获取。
此外，在第二实施方式中，从预设图像中生成照明设置信息，从而不需要(如在第一实施方式中那样)从关于光源的信息等中提前生成预设信息。因此，通过仅仅预先储存预设图像并且在期望的照明环境中国选择预设图像，用户可以获得图像，犹如在与所选的预设图像的照明环境等同的照明环境中，将被摄体成像。
<3、第三实施方式>
接下来，解释第三实施方式。在第三实施方式中，为了选择照明设置信息，显示与照明设置信息相关联的元数据，作为设置选择图像，以选择对应于用户选择的元数据的照明设置信息。注意，例如在第三实施方式中，在摄影师的名称用作元数据时，由具有元数据表示的名称的摄影师使用的用于再生照明环境的照明设置信息与元数据一起储存。
图16示出根据第三实施方式的图像处理设备的配置。图像处理设备10包括图像获取单元11、被摄体信息获取单元12、元数据选择单元24、关联信息选择单元25、照明设置信息调整单元31、图像生成单元41以及图像显示单元45。注意，元数据选择单元24和关联信息选择单元25等同于照明设置信息选择单元。
图像获取单元11获取图像，从这些图像中，可以估计被摄体的三维形状、被摄体的反射特征以及光源的位置。例如，为了基于视差确定对应于像素位置的深度以便由被摄体信息获取单元12估计被摄体的三维形状，图像获取单元11通过一对间隔已知空间并且在水平对准的相同规范下的相机(立体相机)获取被摄体的拍摄图像。此外，为了由被摄体信息获取单元12估计光源的位置，图像获取单元11在由立体相机获取的右视点图像和左视点图像中，使用在球面上生成的不同位置的亮点。在这种情况下，图像获取单元11在立体相机的成像范围内获取包括球面镜的被摄体的拍摄图像。注意，图像获取单元11可以被配置成从记录介质中读取由立体相机获取的拍摄图像，或者可以被配置成通过网络等从外部装置中如上所述获取关于拍摄图像的数据。
被摄体信息获取单元12从由图像获取单元11获取的拍摄图像中获取摄像被摄体信息，例如，被摄体形状信息和反射特征信息。例如，被摄体信息获取单元12计算在立体相机中看到的被摄体的像素的视差，并且基于视差，确定对应于像素位置的深度，从而获取被摄体形状信息。被摄体信息获取单元12还使用包含在由立体相机获得的拍摄图像内的球面镜上的亮点，确定光源信息(例如，光源的位置、强度、颜色等)。被摄体信息获取单元12基于被摄体形状信息和光源信息，进一步获取表示摄像被摄体的反射特征的反射特征信息。
此外，被摄体信息获取单元12从由图像获取单元11获取的拍摄图像中获取摄像模式信息。被摄体信息获取单元12使用摄像被摄体信息等，确定通过哪个摄像模式获取拍摄图像，以获取图像模式信息。例如，被摄体信息获取单元12在被摄体是人时确定摄像模式是肖像模式，并且在被摄体是花时确定摄像模式是宏观模式。
元数据选择单元24根据用户操作选择元数据。元数据选择单元24允许用户选择与提前储存在关联信息选择单元25内的照明设置信息相关联的元数据。例如，在如上所述将摄影师的名称用作元数据的情况下，关联信息选择单元25提前储存照明设置信息，用于再生照明环境，以供具有由元数据表示的名称的摄影师使用。元数据选择单元24将用户选择的元数据输出给关联信息选择单元25。
关联信息选择单元25选择与从元数据选择单元24中供应的元数据对应的照明设置信息，并且将该信息输出给照明设置信息调整单元31。此外，在为每个摄像模式信息提供照明设置信息时，关联信息选择单元25向照明设置信息调整单元31输出与摄像模式信息对应的照明设置信息，该摄像模式信息由被摄体信息获取单元12从对应于元数据的照明设置信息之中获取。
通过这种方式，为了从对应于元数据的照明设置信息中选择对应于摄像模式信息的照明设置信息，关联信息选择单元25提前储存照明设置信息，将表示元数据的元素(例如，摄影师的名称)加入在图7示出的预设信息中。此外，关联信息选择单元25可以从储存的照明设置信息中选择照明设置信息(其中被摄体的摄像模式与在元数据内的摄像模式匹配)。注意，可以通过网络从储存在外部装置内的照明设置信息中选择性获取照明设置信息。可替换地，可以通过网络或记录介质，将新照明设置信息加入关联信息选择单元25中。
图17是描述照明设置信息的选择的示图。位于关联信息选择单元25内的数据库251在每个摄影师的每个摄像模式内储存照明设置信息。例如，对于摄影师Cma，储存摄像模式MP1到MP3(由圆圈示出)的照明设置信息。同样，对于摄影师CMb，储存摄像模式MP1到MP3的照明设置信息，并且对于摄影师CMc，储存摄像模式MP1和MP2的照明设置信息。
例如，由被摄体信息获取单元12获取的摄像模式信息是“摄像模式MP1”，并且由用户通过元数据选择单元24选择的元数据是“摄影师Cma”。在这种情况下，关联信息选择单元25从关于摄影师Cma的照明设置信息中选择摄像模式MP1(由粗体圆圈示出)的照明设置信息，并且将该信息输出给照明设置信息调整单元31。
照明设置信息调整单元31根据摄像被摄体，调整从元数据选择单元24中供应的照明设置信息。此外，照明设置信息调整单元31或图像生成单元基于调整之后的照明设置信息，执行绘画过程。如上所述，被摄体信息获取单元12获取被摄体形状信息和反射特征信息。此外，照明设置信息调整单元31还根据摄像被摄体，调整与用户选择的元数据相关的照明设置信息。因此，使用由被摄体信息获取单元12获取的被摄体形状信息和反射特征、由照明设置信息调整单元31调整的照明设置信息等，通过与传统的计算机图形相似的方式，执行绘画。
照明设置信息调整单元31进一步使用由绘画过程生成的图像计算整个图像的颜色和亮度。在确定整个图像的亮度和颜色饱和时，照明设置信息调整单元31调整光源的强度，以便使亮度和颜色不饱和。
图像生成单元41执行绘画过程。图像生成单元41基于由图像获取单元11获取的拍摄图像、由被摄体信息获取单元12获取的摄像被摄体信息、以及从照明设置信息调整单元31中供应的调整之后的照明设置信息，执行绘画过程。通过执行绘画过程，图像生成单元41在基于摄像被摄体生成所选择的预设图像时通过调整照明环境所获得的照明环境内生成拍摄的图像，并且将该图像输出给图像显示单元45。
图像显示单元45在屏幕上显示由图像生成单元生成的图像。此外，图像显示单元45与元数据选择单元24相关联，并且可以显示元数据选择单元24可选择的元数据。例如，在图像显示单元45的屏幕上提供用户操作输入装置(例如，触控面板)，以允许用户选择在图像显示单元45的屏幕上显示的任何一个元数据。可替换地，元数据选择单元24可以具有图像显示功能，以显示可由元数据选择单元24选择的元数据。
接下来，解释在第三实施方式中的操作。图18是在第三实施方式中的操作的流程图。
在步骤ST31中，图像处理设备10获取图像。具体而言，图像处理设备10的图像获取单元11获取拍摄图像，从这些图像中，可以估计被摄体的三维形状、被摄体的反射特征以及光源的位置。例如，图像获取单元11获取由立体相机获取的拍摄图像或者由立体相机获取并且记录在记录介质内的拍摄图像等。然后，图像获取单元11移动到步骤ST32。注意，图像获取单元11可以通过网络等就获取这些图像。
在步骤ST32中，图像处理设备10计算被摄体的三维形状。具体而言，例如，图像处理设备10的被摄体信息获取单元12使用图像获取单元11获取的图像来计算被摄体的像素的视差，并且基于视差，确定对应于像素位置的深度，从而计算摄像被摄体的三维形状。然后，图像处理设备10移动到步骤ST33。
在步骤ST33中，图像处理设备10计算光源相对于被摄体的位置和强度。具体而言，例如，图像处理设备10的被摄体信息获取单元12基于在拍摄图像中看到的球面镜上的亮点估计光源的位置，并且根据球面镜上的亮点的颜色，计算光源的颜色和强度。图像处理设备10计算光源相对于被摄体的位置和强度，然后，移动到步骤ST34。
在步骤ST34中，图像处理设备10计算被摄体的反射特征。具体而言，例如，图像处理设备10的被摄体信息获取单元12提前假设对象的反射模型，并且基于在步骤ST32中计算的被摄体的三维形状以及在步骤ST33中计算的光源的位置和强度，计算反射特征。然后，图像处理设备10移动到步骤ST35。
在步骤ST35中，图像处理设备10选择元数据。具体而言，图像处理设备10的元数据选择单元24根据用户操作从预先储存的元数据之中选择元数据，然后，移动到步骤ST36。
在步骤ST36中，图像处理设备10选择照明设置信息。具体而言，图像处理设备10的关联信息选择单元25选择与在步骤ST35中选择的元数据相关联的照明设置信息，作为用于重光照过程的照明设置信息，然后，移动到步骤ST37。注意，为了选择照明设置信息，由被摄体信息获取单元12获取的摄像模式信息可以进一步用于选择照明设置信息(其中，摄像模式与由摄像模式信息表示的摄像模式匹配)。
在步骤ST37中，图像处理设备10调整照明设置信息。具体而言，图像处理设备10的照明设置信息调整单元31根据摄像被摄体的三维形状等调整在步骤ST36中获得的照明设置信息，然后，移动到步骤ST38。
在步骤ST38中，图像处理设备10执行绘画过程。具体而言，图像处理设备10的图像生成单元41基于在步骤ST31中获取的拍摄图像、在步骤ST32中计算的被摄体的三维形状、在步骤ST34中计算的反射特征以及在步骤ST37中调整的照明设置信息，执行绘画过程，与通过传统的方式一样。图像处理设备10执行绘画过程，以在改变的照明环境内生成图像，然后，移动到步骤ST39。
在步骤ST39中，图像处理设备10确定在图像内是否具有饱和。具体而言，图像处理设备10的照明设置信息调整单元31使用由绘画过程生成的图像计算整个图像的颜色和亮度。在基于整个图像的颜色和亮度的计算结果，确定在亮度和颜色内具有饱和时，图像处理设备10移动到步骤ST40。在亮度和颜色内没有饱和时，图像处理设备10结束该过程。
在步骤ST40中，图像处理设备10调整光源。具体而言，图像处理设备10的照明设置信息调整单元31调整光源，以便不使由绘画过程生成的图像的亮度和颜色饱和。例如，在亮度可能饱和时，照明设置信息调整单元31进行光源的强度的缩放，使得所有像素的最大亮度值与图像动态范围的最大值匹配。此外，关于颜色，照明设置信息调整单元31也进行光源的强度的缩放。图像处理设备10通过这种方式调整光源，然后，返回步骤ST38。
根据第三实施方式，根据用户选择的元数据以及摄像被摄体，自动设置照明环境。因此，图像处理设备促进设置照明环境，用于重光照。因此，通过仅仅选择期望的元数据，用户可以获得图像，犹如在期望的预设信息中获取。
此外，在第三实施方式中，元数据和照明设置信息彼此相关联地储存。因此，通过仅仅选择表示期望的摄影师名称的元数据，用户可以获得图像，犹如被摄体在期望的摄影师使用的照明环境中摄像。
此外，在第三实施方式中，摄影师的名称用作元数据。可替换地，可以显示表示生成的图像的印象的措辞等，使得对应于表示印象的措辞的照明设置信息与措辞相关联地储存。
<4、另一个实施方式>
在以上实施方式中，根据用户关于预设信息、预设图像或元数据的选择操作，选择照明设置信息。元数据可以叠加在预设信息的图像上并且显示。例如，表示生成的图像的印象的摄像模式信息或措辞等叠加在预设信息的图像上并且显示。可替换地，基于从预设图像中提取的光源的位置和强度的元数据可以叠加在预设图像上并且显示。例如，在光源的位置和强度与在肖像摄像模式中的位置和强度相似时，摄像模式信息(肖像)叠加在预设图像上并且显示。通过这种方式，相结合显示预设信息、预设图像或元数据允许用户容易选择期望的照明环境。
此外，在限定大量预设信息和预设图像的情况下，识别被摄体的摄像模式，并且向用户优先建议包括与识别的摄像模式匹配的摄像模式信息的预设信息或预设图像。通过这种方式，使用摄像模式信息控制预设信息或预设图像的建议的命令，允许用户容易地选择期望的预设信息或预设图像。
如上所述，根据该技术，在摄像被摄体上进行重光照时，可以根据预设信息、预设图像或元数据的用户的选择操作，自动生成照明设置信息。因此，无需任何专业技能或设备，普通用户可以通过非常容易的方式生成图像，犹如该图像是在期望的有利照明环境中获取。此外，选择和调整用于重光照过程的照明设置信息，也适用于编辑通用计算机图形模型，因此，用户可以通过简单的方式编辑计算机图形模型，无需特殊专长或工具。
注意，用于从拍摄图像中获取摄像被摄体信息的方法以及用于从预设图像中获取照明设置信息的方法不限于上述方法，而是可以是任何其他方法。
此外，在本文中解释的这系列过程可以由硬件、软件或这两者的组合执行。为了由软件执行该过程，记录过程序列的程序安装在包含在专用硬件内的计算机的存储器内并且执行。可替换地，该程序可以安装在能够执行各种过程的通用计算机内并且执行。
例如，该程序可以提前记录在硬盘、固态驱动器(SSD)或只读存储器(ROM)内，作为记录介质。可替换地，该程序可以暂时或永久地储存(记录)在可移动记录介质内，例如，软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字化通用磁盘(DVD)、蓝光光盘(BD)(注册商标)、磁盘以及半导体记忆卡。可以提供可移动记录介质，作为所谓的打包软件。
此外，该程序可以从可移动记录介质中安装到计算机内，或者可以通过诸如局域网(LAN)或互联网等网络通过无线或有线的方式从下载站传输给计算机。计算机可以接收通过这种方式传输的程序，并且将GIA程序安装到记录介质内，例如，内部硬盘。
注意，本技术不限于前述实施方式。本技术的实施方式旨在通过例证的形式公开本技术。因此，显然，在不背离本技术的主旨的情况下，本领域的技术人员可以修改实施方式或者用任何其他实施方式代替该实施方式。即，为了评估本技术的主旨，应参考权利要求。
此外，本技术的图像处理设备还可以如下配置：
(1)一种图像处理设备，包括：
被摄体信息获取单元，用于从拍摄的图像中获取表示与用于被摄体的照明相关的属性的摄像被摄体信息；
照明设置信息选择单元，用于根据用户操作选择照明设置信息；以及
照明设置信息调整单元，用于基于通过所述被摄体信息获取单元获取的所述摄像被摄体信息，将通过所述照明设置信息选择单元选择的所述照明设置信息调整为对应于所述被摄体的照明设置信息。
(2)根据(1)所述的图像处理设备，其中，所述被摄体信息获取单元从所述拍摄的图像中获取所述被摄体的三维形状和反射特征作为摄像被摄体信息。
(3)根据(1)或(2)所述的图像处理设备，其中，
使用预设坐标系，生成所述照明设置信息，并且
使所述坐标系与所述被摄体对应，以将所述照明设置信息调整为对应于所述被摄体的照明设置信息。
(4)根据(3)所述的图像处理设备，其中，所述照明设置信息包括：光源信息，所述光源信息包括关于光源的配置和照明光的信息；以及参考被摄体信息，所述参考被摄体信息包括关于由所述光源信息所表示的光源所照明的参考被摄体的尺寸和配置的信息。
(5)根据(4)所述的图像处理设备，其中，所述照明设置信息调整单元使所述坐标系与所述被摄体对应，使得所述参考被摄体的尺寸和配置与在所述拍摄的图像内的被摄体的尺寸和配置匹配。
(6)根据(1)到(5)中任一项所述的图像处理设备，其中，所述照明设置信息调整单元调整所述照明设置信息，使得通过使用所述摄像被摄体信息和调整之后的所述照明设置信息而执行绘画过程所获得的被摄体图像不饱和。
(7)根据(1)到(6)中任一项所述的图像处理设备，其中，所述照明设置信息选择单元显示与所述照明设置信息相关联的设置选择图像，并且将与所述用户选择的所述设置选择图像对应的所述照明设置信息设置为所选的照明设置信息。
(8)根据(7)所述的图像处理设备，其中，所述照明设置信息选择单元基于所述照明设置信息，将预设信息显示为所述设置选择图像，并且选择与所述用户选择的所述预设信息对应的所述照明设置信息。
(9)根据(7)所述的图像处理设备，其中，所述照明设置信息选择单元将预设图像显示为所述设置选择图像，并且从用户选择的所述预设图像中获取所述照明设置信息。
(10)根据(7)所述的图像处理设备，其中，所述照明设置信息选择单元将与所述照明设置信息相关联的元数据显示为所述设置选择图像，并且选择与所述用户选择的所述元数据对应的所述照明设置信息。
(11)根据(1)到(10)中任一项所述的图像处理设备，其中，
所述被摄体信息获取单元获取所述被摄体的摄像模式信息，并且
所述照明设置信息选择单元选择具有摄像模式信息的所述照明设置信息，其中所述摄像模式信息与所述被摄体信息获取单元所获取的摄像模式信息匹配。
(12)根据(1)到(11)中任一项所述的图像处理设备，进一步包括图像生成单元，所述图像生成单元基于所述被摄体信息获取单元所获取的所述摄像被摄体信息以及所述照明设置信息调整单元所调整的所述照明设置信息执行绘画过程。
(13)根据(1)到(12)中任一项所述的图像处理设备，进一步包括图像获取单元，所述图像获取单元获取从不同的视角位置拍摄的所述被摄体的图像作为所述拍摄的图像。
工业实用性
根据本技术的图像处理设备和图像处理方法，被摄体信息获取单元从拍摄的图像中获取表示与被摄体的照明相关的属性的被摄体信息。此外，照明设置信息选择单元根据用户操作选择照明设置信息。照明设置信息调整单元基于被摄体信息，将选择的照明设置信息调整为对应于所述被摄体的照明设置信息。即，在用户选择照明设置信息时，将选择的照明设置信息调整为对应于所述被摄体的照明设置信息。因此，可以在调整之后使用照明设置信息执行绘画过程，犹如在期望的照明环境中获取一样，从而促进设置照明环境，用于重光照。因此，本技术适合于具有摄像功能的电子装置、用于编辑拍摄的图像的电子装置以及其他电子装置。
附图标记列表
10：图像处理设备
11：图像获取单元
12：被摄体信息获取单元
21：预设信息选择单元
22：预设图像选择单元
23：照明设置信息获取单元
24：元数据选择单元
25：关联信息选择单元
31：照明设置信息调整单元
41：图像生成单元
45：图像显示单元

Claims (14)

1.一种图像处理设备，包括：
被摄体信息获取单元，用于从拍摄的图像中获取表示与用于被摄体的照明相关的属性的摄像被摄体信息；
照明设置信息选择单元，用于根据用户操作选择照明设置信息；以及
照明设置信息调整单元，用于基于通过所述被摄体信息获取单元获取的所述摄像被摄体信息，将通过所述照明设置信息选择单元选择的所述照明设置信息调整为对应于所述被摄体的照明设置信息。
2.根据权利要求1所述的图像处理设备，其中，所述被摄体信息获取单元从所述拍摄的图像中获取所述被摄体的三维形状和反射特征作为摄像被摄体信息。
3.根据权利要求1所述的图像处理设备，其中，
使用预设坐标系，生成所述照明设置信息，并且
使所述坐标系与所述被摄体对应，以将所述照明设置信息调整为对应于所述被摄体的照明设置信息。
4.根据权利要求3所述的图像处理设备，其中，所述照明设置信息包括：光源信息，所述光源信息包括关于光源的配置和照明光的信息；以及参考被摄体信息，所述参考被摄体信息包括关于由所述光源信息所表示的光源所照明的参考被摄体的尺寸和配置的信息。
5.根据权利要求4所述的图像处理设备，其中，所述照明设置信息调整单元使所述坐标系与所述被摄体对应，使得所述参考被摄体的尺寸和配置与在所述拍摄的图像内的被摄体的尺寸和配置匹配。
6.根据权利要求1所述的图像处理设备，其中，所述照明设置信息调整单元调整所述照明设置信息，使得通过使用所述摄像被摄体信息和调整之后的所述照明设置信息而执行绘画过程所获得的被摄体图像不饱和。
7.根据权利要求1所述的图像处理设备，其中，所述照明设置信息选择单元显示与所述照明设置信息相关联的设置选择图像，并且将与所述用户选择的所述设置选择图像对应的所述照明设置信息设置为所选的照明设置信息。
8.根据权利要求7所述的图像处理设备，其中，所述照明设置信息选择单元基于所述照明设置信息，将预设信息显示为所述设置选择图像，并且选择与所述用户选择的所述预设信息对应的所述照明设置信息。
9.根据权利要求7所述的图像处理设备，其中，所述照明设置信息选择单元将预设图像显示为所述设置选择图像，并且从用户选择的所述预设图像中获取所述照明设置信息。
10.根据权利要求7所述的图像处理设备，其中，所述照明设置信息选择单元将与所述照明设置信息相关联的元数据显示为所述设置选择图像，并且选择与所述用户选择的所述元数据对应的所述照明设置信息。
11.根据权利要求1所述的图像处理设备，其中，
所述被摄体信息获取单元获取所述被摄体的摄像模式信息，并且
所述照明设置信息选择单元选择具有摄像模式信息的所述照明设置信息，其中所述摄像模式信息与所述被摄体信息获取单元所获取的摄像模式信息匹配。
12.根据权利要求1所述的图像处理设备，进一步包括图像生成单元，所述图像生成单元基于所述被摄体信息获取单元所获取的所述摄像被摄体信息以及所述照明设置信息调整单元所调整的所述照明设置信息执行绘画过程。
13.根据权利要求1所述的图像处理设备，进一步包括图像获取单元，所述图像获取单元获取从不同的视角位置拍摄的所述被摄体的图像作为所述拍摄的图像。
14.一种图像处理方法，包括以下步骤：
通过被摄体信息获取单元从拍摄的图像中获取表示与用于被摄体的照明相关的属性的摄像被摄体信息；
通过照明设置信息选择单元根据用户操作选择照明设置信息；以及
通过照明设置信息调整单元基于由所述被摄体信息获取单元获取的所述摄像被摄体信息，将由所述照明设置信息选择单元选择的照明设置信息调整为对应于所述被摄体的照明设置信息。
CN201580021217.3A 2014-04-30 2015-02-13 图像处理设备和图像处理方法 Expired - Fee Related CN106256122B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-093518 2014-04-30
JP2014093518 2014-04-30
PCT/JP2015/053947 WO2015166684A1 (ja) 2014-04-30 2015-02-13 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN106256122A true CN106256122A (zh) 2016-12-21
CN106256122B CN106256122B (zh) 2019-09-24

Family

ID=54358425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580021217.3A Expired - Fee Related CN106256122B (zh) 2014-04-30 2015-02-13 图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US10229483B2 (zh)
EP (1) EP3139589B1 (zh)
JP (1) JP6493395B2 (zh)
CN (1) CN106256122B (zh)
WO (1) WO2015166684A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986128A (zh) * 2018-04-19 2018-12-11 芜湖圣美孚科技有限公司 一种用于机器视觉的直射式照明系统
CN110324529A (zh) * 2018-03-30 2019-10-11 佳能株式会社 图像处理设备及其控制方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
CN105447829B (zh) * 2015-11-25 2018-06-08 小米科技有限责任公司 图像处理方法及装置
JP6626698B2 (ja) * 2015-11-26 2019-12-25 矢崎総業株式会社 レンダリング計算方法および表示装置
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
CN111194460A (zh) * 2017-05-16 2020-05-22 泰克年研究发展基金会公司 电网的计算成像
DK180859B1 (en) * 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
JP6799154B2 (ja) * 2017-06-29 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および材質特定方法
JP7003994B2 (ja) * 2017-08-08 2022-01-21 ソニーグループ株式会社 画像処理装置および方法
JP7169841B2 (ja) * 2017-10-31 2022-11-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10520424B2 (en) * 2018-04-03 2019-12-31 Hiwin Technologies Corp. Adaptive method for a light source for inspecting an article
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
WO2019215820A1 (ja) * 2018-05-08 2019-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
WO2019215821A1 (ja) 2018-05-08 2019-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
US11765336B2 (en) 2019-03-18 2023-09-19 Sony Group Corporation Image-capturing apparatus, information processing method, and program
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
JP7378997B2 (ja) * 2019-07-22 2023-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
JP7116767B2 (ja) 2020-11-09 2022-08-10 キヤノン株式会社 画像処理装置およびその方法
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
JP7388771B1 (ja) 2022-11-18 2023-11-29 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425179A (zh) * 2008-11-18 2009-05-06 清华大学 一种人脸图像重光照的方法及装置
CN101872491A (zh) * 2010-05-21 2010-10-27 清华大学 基于光度立体的自由视角重光照方法和系统
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置
CN102016393A (zh) * 2008-05-07 2011-04-13 皇家飞利浦电子股份有限公司 用于在保持同样的房间照明时受控地传送房间的不同视觉印象的设备和过程
CN102278955A (zh) * 2010-03-29 2011-12-14 索尼公司 机器人装置和控制机器人装置的方法
CN103180718A (zh) * 2010-10-29 2013-06-26 奥林巴斯株式会社 图像分析方法以及图像分析装置
WO2013191689A1 (en) * 2012-06-20 2013-12-27 Image Masters, Inc. Presenting realistic designs of spaces and objects

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018350A (en) * 1996-10-29 2000-01-25 Real 3D, Inc. Illumination and shadow simulation in a computer graphics/imaging system
TWI303791B (en) 2002-03-21 2008-12-01 Microsoft Corp Graphics image rendering with radiance self-transfer for low-frequency lighting environments
JP2004021388A (ja) 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
JP2007066012A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 映像描画装置、方法およびプログラム
JP5106459B2 (ja) * 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
JP5590680B2 (ja) * 2011-06-23 2014-09-17 日本電信電話株式会社 映像合成装置、映像合成方法、および映像合成プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016393A (zh) * 2008-05-07 2011-04-13 皇家飞利浦电子股份有限公司 用于在保持同样的房间照明时受控地传送房间的不同视觉印象的设备和过程
CN101425179A (zh) * 2008-11-18 2009-05-06 清华大学 一种人脸图像重光照的方法及装置
CN102278955A (zh) * 2010-03-29 2011-12-14 索尼公司 机器人装置和控制机器人装置的方法
CN101872491A (zh) * 2010-05-21 2010-10-27 清华大学 基于光度立体的自由视角重光照方法和系统
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置
CN103180718A (zh) * 2010-10-29 2013-06-26 奥林巴斯株式会社 图像分析方法以及图像分析装置
WO2013191689A1 (en) * 2012-06-20 2013-12-27 Image Masters, Inc. Presenting realistic designs of spaces and objects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324529A (zh) * 2018-03-30 2019-10-11 佳能株式会社 图像处理设备及其控制方法
US10977777B2 (en) 2018-03-30 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, method for controlling the same, and recording medium
CN110324529B (zh) * 2018-03-30 2021-10-26 佳能株式会社 图像处理设备及其控制方法
CN108986128A (zh) * 2018-04-19 2018-12-11 芜湖圣美孚科技有限公司 一种用于机器视觉的直射式照明系统

Also Published As

Publication number Publication date
JPWO2015166684A1 (ja) 2017-04-20
EP3139589A4 (en) 2017-11-22
WO2015166684A1 (ja) 2015-11-05
US20170124689A1 (en) 2017-05-04
EP3139589B1 (en) 2022-04-06
EP3139589A1 (en) 2017-03-08
JP6493395B2 (ja) 2019-04-03
US10229483B2 (en) 2019-03-12
CN106256122B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN106256122B (zh) 图像处理设备和图像处理方法
US11354840B2 (en) Three dimensional acquisition and rendering
CN110517355B (zh) 用于照明混合现实对象的环境合成
US20180114264A1 (en) Systems and methods for contextual three-dimensional staging
Rivers et al. Sculpting by numbers
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US10587864B2 (en) Image processing device and method
JP4945642B2 (ja) ３ｄ画像の色補正の方法及びそのシステム
JP6040838B2 (ja) デプス推定装置、デプス推定方法、デプス推定プログラム、画像処理装置、画像処理方法及び画像処理プログラム
CN105519105B (zh) 图像处理设备及方法
Wu et al. Fusing multiview and photometric stereo for 3d reconstruction under uncalibrated illumination
US10440352B2 (en) Image processing apparatus and method
KR20180003535A (ko) 라이더 스테레오 융합 실사 3d 모델 가상 현실 비디오
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
KR20150102054A (ko) 외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들
JP2003203220A (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
CN107918948A (zh) 4d视频渲染方法
CN105072429B (zh) 一种投影方法及装置
JP2003216973A (ja) 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
JP7279352B2 (ja) 質感調整支援システム、及び質感調整支援方法
JP2003216970A (ja) 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム
JP2018077702A (ja) 質感調整支援システム及び質感調整支援方法
Kang et al. View-dependent scene appearance synthesis using inverse rendering from light fields
Seck et al. Ear-to-ear capture of facial intrinsics
TWI603287B (zh) 虛擬物件之影像合成方法與裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190924

CF01 Termination of patent right due to non-payment of annual fee