CN106548455A - 用于调整图像的亮度的设备和方法 - Google Patents

用于调整图像的亮度的设备和方法 Download PDF

Info

Publication number
CN106548455A
CN106548455A CN201610825710.7A CN201610825710A CN106548455A CN 106548455 A CN106548455 A CN 106548455A CN 201610825710 A CN201610825710 A CN 201610825710A CN 106548455 A CN106548455 A CN 106548455A
Authority
CN
China
Prior art keywords
image
picture
surface normal
input picture
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610825710.7A
Other languages
English (en)
Other versions
CN106548455B (zh
Inventor
孙旼廷
李喜世
司空栋勋
李基彰
李炯旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150174649A external-priority patent/KR102459851B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106548455A publication Critical patent/CN106548455A/zh
Application granted granted Critical
Publication of CN106548455B publication Critical patent/CN106548455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种用于调整图像的亮度的设备和方法。所述方法包括：基于从包括对象的输入图像中提取的对象的一个或多个特征点将对象模型匹配到对象；基于匹配的对象模型将二维(2D)图像形式的表面法线贴图映射到输入图像；基于映射的表面法线贴图和虚拟光源生成关于输入图像的阴影信息。

Description

用于调整图像的亮度的设备和方法
本申请要求于2015年9月17日提交到韩国知识产权局的第10-2015-0131387号韩国专利申请以及于2015年12月9日提交到韩国知识产权局的第10-2015-0174649号韩国专利申请的优先权，所述韩国专利申请的全部公开为了所有的目的而合并于此，以资参考。
技术领域
以下描述涉及一种用于调整图像的亮度的技术。
背景技术
诸如智能手机的智能装置被广泛使用，并且智能装置通常包括相机以使用户能够创作内容。智能装置可通过嵌入的相机捕捉图像或视频。另外，智能装置可显示捕捉的图像或播放视频。
此外，智能装置可向用户提供图像编辑功能。例如，用户可按照用户的偏好改变由智能装置捕捉的图像的颜色或大小。智能装置可向用户提供编辑功能，通过所述编辑功能用户可更方便地编辑图像以使图像显得更自然。
发明内容
以简化的形式提供了本发明内容来介绍在下面具体实施方式中进一步描述的所选择的构思。本发明内容不是意在识别权利要求主题的关键特征或基本特征，也不是意在作为辅助来确定权利要求主题的范围。
在一总体方面，一种调整图像的亮度的方法包括：基于从包括对象的输入图像中提取的对象的一个或多个特征点将对象模型匹配到对象；基于匹配的对象模型将二维(2D)图像形式的表面法线贴图映射到输入图像；基于映射的表面法线贴图和虚拟光源生成关于输入图像的阴影信息。
将表面法线贴图映射到输入图像的步骤可包括：通过对在匹配的对象模型的特征点所位于的点处的法线矢量进行插值，生成表面法线贴图。
将表面法线贴图映射到输入图像的步骤可包括：通过将与对象模型相关联地预存储在数据库中的表面法线模型转换成表面法线贴图，生成表面法线贴图。
将对象模型匹配到对象的步骤可包括：确定用于将对象模型的特征点的坐标转换成对象的特征点的坐标的转换函数。
将表面法线贴图映射到输入图像的步骤可包括：通过使用确定的转换函数转换表面法线模型的每一个坐标，生成2D图像形式的转换的法线贴图。
生成阴影信息的步骤可包括：执行在表面法线贴图的每一个坐标处的法线矢量与在输入图像的对应坐标处的虚拟光源的光矢量之间的点积计算。
执行点积计算的步骤可包括：基于虚拟光源的位置与输入图像的对应坐标之间的关系或者虚拟光源的照射方向中的一个来确定在输入图像的对应坐标处的光矢量。
所述方法还可包括：通过将阴影信息应用到输入图像生成重光照图像；基于输入图像的亮度直方图调整重光照图像的色调。
调整重光照图像的色调的步骤可包括：基于在输入图像中的预设亮度范围内的像素的数量与在输入图像中的像素的总数量的比率将权重添加到在重光照图像的至少一部分中的像素的色调。
所述方法还可包括接收表示虚拟光源的强度、位置、颜色、照射方向以及类型中的任何一个或任何组合的控制信号。
所述对象可以是人脸。
在另一总体方面，一种存储引起计算机硬件来执行上述方法的指令的永久的计算机可读的存储介质。
在另一总体方面，一种用于调整图像的亮度的设备包括：处理器，被构造为基于从包括对象的输入图像中提取的对象的一个或多个特征点将对象模型匹配到对象，基于匹配的对象模型将二维(2D)图像形式的表面法线贴图映射到输入图像，以及基于映射的表面法线贴图和虚拟的光源生成关于输入图像的阴影信息。
处理器可进一步被构造为通过对在匹配的对象模型的特征点所位于的点处的法线矢量进行插值，生成表面法线贴图。
所述设备还可包括：存储器，被构造为将与对象模型相关联的表面法线模型预存储在数据库中，并且处理器可进一步被构造为通过将表面法线模型转换成表面法线贴图来生成表面法线贴图。
所述处理器可进一步被构造为确定用于将对象模型的特征点的坐标转换成对象的特征点的坐标的转换函数。
所述处理器可进一步被构造为通过使用确定的转换函数转换表面法线模型的每一个坐标来生成2D图像形式的转换的法线贴图。
所述处理器可进一步被构造为执行在表面法线贴图的每一个坐标处的法线矢量与在输入图像的对应坐标处的虚拟光源的光矢量之间的点积计算。
所述处理器可进一步被构造为基于虚拟光源的位置与输入图像的对应坐标之间的关系或者虚拟光源的照射方向中的一个来确定在输入图像的对应坐标处的光矢量。
所述处理器可进一步被构造为通过将阴影信息应用到输入图像生成重光照图像，并基于输入图像的亮度直方图调整重光照图像的色调。
所述处理器可进一步被构造为基于在输入图像中的预设亮度范围内的像素的数量与在输入图像中的像素的总数量的比率将权重添加到在重光照图像的至少一部分中的像素的色调。
在另一总体方面，一种设备包括：图像接收器，被构造为接收包括对象的输入图像；处理器，被构造为基于从输入图像中提取的对象的一个或多个特征点将对象模型匹配到对象，基于匹配的对象模型将二维(2D)图像形式的表面法线贴图映射到输入图像，以及基于映射的表面法线贴图和虚拟光源生成关于输入图像的阴影信息。
图像接收器可以是相机。
所述处理器可进一步被构造为将阴影信息应用到输入图像，并且所述设备还可包括：显示器，被构造为显示应用了阴影信息的输入图像。
所述处理器可进一步被构造为通过对在匹配的对象模型的特征点所位于的点处的法线矢量进行插值来生成表面法线贴图。
所述设备还可包括：存储器，被构造为将与对象模型相关联的表面法线模型预存储在数据库中。所述处理器可进一步被构造为通过将表面法线模型转换成表面法线贴图生成表面法线贴图。
所述处理器可进一步被构造为基于表示用户观看对象的方向的视线矢量和表示从虚拟光源投射到对象上的光被对象反射的方向的反射矢量来生成阴影信息。
在另一总体方面，一种调整图像亮度的方法包括：基于在图像中的对象和对象模型的特征点生成输入图像的表面法线贴图；基于表面法线贴图和虚拟光源生成关于输入图像的阴影信息；将阴影信息应用到输入图像来调整输入图像的亮度。
所述对象模型可包括与对象的特征点对应的特征点以及与对象模型的特征点对应的法线矢量。生成表面法线贴图的步骤可包括对对象模型的法线矢量进行插值来获得在输入图像的坐标处的法线矢量。
所述生成表面法线贴图的步骤可包括基于对象和对象模型的特征点将表面法线模型转换成表面法线贴图。
所述方法还可包括基于对象的特征点和对象模型的特征点对对象模型和对象进行匹配，并且生成表面法线贴图的步骤可包括通过组合将与不同方向的对象的视图相对应的多个表面法线模型匹配到与对象相匹配的对象模型的特征点的结果，来生成表面法线贴图。
所述生成阴影信息的步骤可包括计算在表面法线贴图的每一个坐标处的法线矢量与在输入图像的对应坐标处的虚拟光源的光矢量之间的点积，作为阴影信息。
所述生成阴影信息的步骤可包括计算表示用户观看对象的方向的视线矢量与在输入图像的每一个坐标处表示从虚拟光源投射到对象上的光被对象反射的方向的反射矢量之间的点积，作为阴影信息。
所述阴影信息的生成还可包括基于表面法线贴图和虚拟光矢量计算反射矢量。
将阴影信息应用到输入图像可生成重光照图像；所述方法还可包括基于输入图像的亮度直方图调整重光照图像的色调。
所述调整重光照图像的色调的步骤可包括：基于输入图像的亮度直方图从多个色调调整风格中选择色调调整风格；将选择的色调调整风格应用到重光照图像来调整重光照图像的色调。
从下面具体实施方式、附图和权利要求中，其他特征和方面将会变得清楚。
附图说明
图1是示出调整图像的亮度的方法的示例的流程图。
图2和图3示出调整图像的亮度的方法的详细示例
图4、图5A和图5B示出调整图像的亮度的方法的其他详细示例。
图6A和图6B是示出基于光源的类型的光矢量的示例的示图；
图7是示出基于视线矢量和反射矢量的生成阴影信息的处理的示例的示图。
图8示出基于光源的强度而重光照的图像的示例。
图9示出基于光源的位置而重光照的图像的示例。
图10示出用于调整图像的亮度的设备的图像用户界面(GUI)的示例。
图11示出色调被调整的重光照的图像的示例。
图12到图15示出基于图像的亮度直方图调整色调的处理的示例。
图16到图19是示出用于调整图像的亮度的设备的示例的示图。
贯穿附图和具体实施方式，相同的标号表示相同的元件。附图可不按比例，且在附图中的元件的相对尺寸、比例和描述可为了清晰、例证和方便起见被夸大。
具体实施方式
下面提供了详细的描述来帮助读者获得在此描述的方法、设备和/或系统的全面理解。然而，在此描述的方法、设备和/或系统的各种改变、修改和等同物对于本领域中的普通技术人员将会变得清楚。在此描述的操作的顺序仅仅只是示例，并不局限于在此提出的那些，但是除了必需在特定的顺序发生的操作之外，操作顺序可被改变对于本领域的普通技术人员来说将会变得清晰。另外，为了增加清晰度和简洁性，对于本领域的普通技术人员来说众所周知的功能和结构的描述可被忽略。
在此描述的特征可以以不同的形式来实施，并且不被解释为仅限于在此描述的示例。相反，提供在此描述的示例，使得本公开将是彻底和完整的，并将本公开的全部范围传达给本领域的普通技术人员。
在此使用的术语仅为了描述具体的示例，并不是用于限制本公开。如在此使用的，除非上下文由明确相关的指示，术语“一个”旨在也包括复数形式，。如在此使用的，术语“包括”，“包含”和“具有”指定陈述的特征、数字、操作、元件、组件和/或它们的组合的存在，但不排除一个或多个其它特征、数字、操作、元件、组件和/或它们的组合的存在或添加。
除非另有限定，在此使用的所有的术语，包括技术和科学术语，具有与本公开所属领域的普通技术人员通常理解的含义的相同的含义。除非在此明确限定，术语，诸如在常用词典中限定的术语，被理解为具有与相关领域的上下文中的含义一致的含义，而不是被解释为理想的或过度正式的意义。
图1是示出调整图像的亮度的方法的示例的流程图。在此之后，调整图像的亮度的方法将被简称为图像亮度调整方法。
参照图1，在操作110中，用于调整图像的亮度的设备(在此之后，简称为图像亮度调整设备)的处理器基于从包括对象的输入图像中提取的对象的一个或多个特征点，将对象模型与对象进行匹配。例如，处理器通过将对象模型的每一个特征点的坐标与在输入图像中的对象的对应特征点的坐标进行匹配，来将对象模型与在输入图像中的对象进行匹配。即使分配给对象的一般形式的所有特征点未被提取，处理器可在预设特征点被提取或预设数量的特征点被提取时将对象模型与在输入图像中的对象进行匹配。输入图像是对象出现的图像，且可以是二维形式的图像。例如，输入图像可以是静止图像或视频的单个帧。
对象是出现在输入图像中且区分于在输入图像中的背景的对象。对象可以是各种类型，包括，例如，人脸、人的身体、动物以及其他事物。特征点是分配给对象的特征的点。例如，作为人脸的对象的特征点可被分配给例如眼睛、鼻子以及嘴唇。
对象模型为对于特定类型的对象，特征点被预分配的通用模型。例如，对象模型可通过位于在预设大小(例如，与输入图像相同大小)的图像中的坐标处的特征点所定义。对象模型可以是包括特定类型的对象的通用形式(例如，对象的轮廓和对象的特征点的几何结构)以及在这种一般形式中特征点所位于的位置的2D图像形式的模型或三维(3D)图像形式的模型。在对象模型为3D图像形式的情况下，处理器可将对象模型与2D输入图像进行匹配。
在一个示例中，处理器将对象模型的轮廓与对象的轮廓进行匹配。虽然在此之后所述对象被描述为人脸，但是所述对象不局限于人脸，因此在此描述的细节也可应用到其他类型的对象。例如，在动物头部的情况下，可使用具有动物头部的特征点和一般形式的对象模型。
在一个示例中，处理器将现有的脸部轮廓提取算法应用到包括人脸的输入图像，以进行精确匹配。在另一个示例中，在实时操作是优先的情况下，处理器假设脸部为椭圆(即，基于对象的类型与对象的近似轮廓相对应的图形)，且基于每一个特征点的比例修改椭圆。脸部轮廓提取算法需要额外的计算时间，所以处理器在实时预览模式(例如，如图10所示，没有将图像存储在存储器中的情况下向用户提供预览的模式)下应用将脸部假设为椭圆并修改椭圆的上述处理，并且当存储重光照图像时(例如，当通过用户点击捕捉按钮而存储重光照图像时)通过应用脸部轮廓提取算法增加精度。通过精确地匹配脸部轮廓，当应用阴影效果时发生在面部轮廓和背景之间的边界处的误差减小。
在操作120中，处理器基于匹配的对象模型将2D图像形式的表面法线贴图(surface normal map)映射到输入图像。表面法线贴图的映射将在后面详细描述。
表面法线贴图是针对输入图像的每一个像素的坐标映射了对象的表面的法线矢量的贴图。映射到输入图像中的对象的像素的法线矢量具有在像素处的对象的表面的法线上的矢量值。在一个示例中，提供了2D图像形式的表面法线贴图，且法线矢量被映射到每一个2D坐标处。对于具有m×n(其中，n和m为大于或等于1的整数)分辨率的输入图像，法线矢量被映射到输入图像的贴图可被表示为以下公式1：
在公式1中，映射到输入图像的每一个像素的坐标处的法线矢量被表示为3D矢量(wxy,uxy,vxy)。wxy表示与位置(x,y)处的像素相对应的法线矢量的x方向分量，uxy表示与位置(x,y)处的像素相对应的法线矢量的y方向分量，vxy表示与位置(x,y)处的像素相对应的法线矢量的z方向分量。x为大于或等于1且小于或等于n的整数，y为大于或等于1且小于或等于m的整数。例如，x方向分量，y方向分量和z方向分量可分别被表示为红色值、绿色值和蓝色值(RGB)。然而，在此使用的坐标系不局限于正交坐标系，因此可以使用各种坐标系。此外，虽然在此法线矢量被表示为RGB值，但是法线矢量不局限于此，因此法线矢量可使用各种颜色系统(例如，YCbCr颜色值)表示。
在操作130中，处理器基于映射的表面法线贴图和虚拟光源生成对于输入图像的阴影信息。例如，当来自虚拟光源的光被投射到对象上时，处理器生成表示阴影效果的阴影信息。在一个示例中，处理器通过执行在表面法线贴图的每一个坐标处的法线矢量与在输入图像的对应坐标处的虚拟光源的光矢量之间的点积计算来生成阴影信息。处理器基于虚拟光源的位置和在输入图像中的每个特征点的位置之间的关系，确定虚拟光源的光矢量。参照图6A和图6B，将详细描述计算光矢量和执行点乘计算的处理。
阴影效果是一种可使输入图像的至少一部分变亮或变暗的效果。阴影信息是表示输入图像的像素变亮或变暗的程度的信息。
图2和图3示出图像亮度调整方法的详细示例。
图2是示出使用通过对法线矢量被分配给每一个特征点的对象模型进行插值来生成表面法线贴图的图像亮度调整方法的详细示例的流程图，图3示出执行参照图2描述的图像亮度调整方法的处理。
参照图2和图3，在操作210中，图像亮度调整设备的图像接收器接收输入图像301。在一个示例中，图像接收器为相机，且相机捕捉输入图像301。在另一个示例中，图像接收器为通信器，且通信器通过有线或无线通信从外部源接收输入图像301。
在操作220中，图像亮度调整设备的处理器提取在输入图像301中的对象的一个或多个特征点302。处理器通过专门用于对象的类型的方法提取对象的特征点302。例如，在对象为人脸的情况下，处理器可使用提取特征点的算法提取特征点302，例如，主成分分析(PCA)或线性判别分析(LDA)来提取人脸的特征点302。例如，如图3所示，处理器从人脸提取与眼睛、鼻子和嘴唇相对应的特征点302。处理器提取对于对象的一般形式而设置的所有特征点的至少一部分。然而，用于提取特征点的算法不局限于前述算法，特征点302作为示例被提供且不局限于眼睛、鼻子和嘴唇。
在操作110，如参照图1所述，处理器将对象模型201与对象进行匹配。如图3所示，对象模型201可预存储在数据库中。
在一个示例中，处理器确定用于将对象模型201匹配到对象的转换函数。转换函数是用于将对象模型201的特征点的坐标转换成在输入图像301中的对象的特征点302的坐标，并定义对象模型201的特征点的坐标和在输入图像301中的对象的特征点302的坐标之间的关系。
在操作120中，如参照图1所述，处理器将表面法线贴图303映射到输入图像301。详细地讲，在操作230中，处理器通过对在匹配的对象模型201的特征点所位于的点处的法线矢量进行插值，来生成表面法线贴图303。例如，在对象模型201中，法线矢量仅被分配给特征点，且处理器对分配给特征点的法线矢量进行插值来获得对于特征点之间的点的法线矢量。因此，处理器实时生成适应于对象的表面法线贴图303。表面法线贴图303的质量由对象模型201的几何结构的准确性决定。
在操作130中，如参照图1所述，处理器生成阴影信息304。处理器基于虚拟光源设置202而设置虚拟光源。虚拟光源设置202表示用于设置虚拟光源的强度、位置、颜色、照射方向及类型中的任何一个或任何两个或多个的任意组合的控制信号，且可由用户设置或自动设置。阴影信息304包括关于表示亮度在对象的每一个坐标处增加或减少的程度的权重的信息。例如，如图3所示，阴影信息304包括表示具有引起亮度增加的权重的区域的亮区域以及表示具有引起亮度减少的权重的区域的暗区域。
在一个示例中，处理器基于根据输入图像301中的人脸的特征点而对齐的表面法线贴图303和通过用户设置的虚拟光源的方向、位置、强度和类型，来生成关于在输入图像301中的人脸的阴影信息304。在一个示例中，处理器通过执行针对在脸部区域的每一个像素而分配给表面法线贴图303的法线矢量与分配给所述像素的光矢量之间的点乘计算，来计算脸部区域的每一个像素的阴影信息304。
在操作240中，处理器将阴影信息304应用到输入图像301来调整输入图像301的色调。例如，处理器通过将阴影信息304应用到输入图像301中来生成重光照图像309。处理器可基于输入图像301的明亮情况调整重光照图像309的色调，例如，处理器可基于输入图像301的亮度直方图调整重光照图像309的色调。在一个示例中，处理器基于在输入图像301的预设亮度范围内的像素的数量与输入图像301的像素的总数量的比率，将权重添加到与重光照图像309的至少一部分相对应的像素的色调。
在一个示例中，处理器基于由用户或自动设置的色调调整风格，将对于脸部区域的每一个像素的阴影信息304更新至最后的阴影信息。处理器通过将最后的阴影信息应用到输入图像301中来表现脸部区域的阴影效果。另外，当调整输入图像301和重光照图像309时，处理器可将模糊效果应用到对象和背景之间的边界区域以减小在对象(例如，脸部)的轮廓区域中的不一致性。
图4、图5A和图5B示出图像亮度调整方法的另一个详细示例。
图4是示出使用预存储的对象模型201和与对象模型201相关联地存储的表面法线模型401的图像亮度调整方法的另一个详细示例的流程图，图5A和图5B示出执行参照图4描述的图像亮度调整方法的处理。
参照图4、图5A和图5B，在操作210中，如参照图2所述，图像亮度调整设备的图像接收器接收输入图像301。在操作220，如参照图2所述，图像亮度调整设备的处理器提取在输入图像301中的对象的一个或多个特征点302。在操作110中，如参照图1所述，处理器将对象模型201匹配到对象。在操作120中，处理器将表面法线贴图501映射到输入图像301。与图3所示的表面法线贴图303相比，图5A所示的表面法线贴图501是通过将表面法线模型401转换成表面法线贴图501而从表面法线模型401获得的。在操作130中，与参照图1提供的描述相似，处理器基于表面法线贴图501和虚拟光源生成阴影信息304。在操作240中，如参照图2所述，处理器调整输入图像301的色调。参照图2和图3描述的细节也适用于在图4、图5A和图5B的示例中的操作210、操作220、操作110、操作130以及操作240，因此在此省略更详细的描述以避免重复。然而，将参照在图4示例中的操作430详细描述在图4示例中的操作120。
在一个示例中，在操作430中，处理器通过转换与对象模型201相关联的预存储在数据库中的图5A的表面法线模型401，来生成表面法线贴图501。例如，处理器通过将表面法线模型401的每一个特征点匹配到在操作110中匹配到对象的对象模型201的特征点，来转换表面法线模型401。在操作430中，处理器通过使用在操作110中确定的转换函数转换预存储的表面法线模型401的每一个坐标，来生成如图5A所示的2D图像形式的表面法线贴图501。表面法线贴图501基于输入图像301中的对象的位置而对齐。
表面法线模型401是对应的法线矢量被映射到2D图像的每一个坐标的模型。在一个示例中，表面法线模型401是与对象模型201相关联地预存储的2D图像形式的模型。如图5A所示，表面法线模型401可以是法线矢量被分配给特定类型的对象的一般形式的每一个像素的坐标的模型或分配给预先指定的特征点的模型。
在另一示例中，如图5B所示，预存储与不同方向的对象的视图相对应的多个表面法线模型，例如，与对象的前侧视图对应的表面法线模型401，与对象的下侧视图对应的表面法线模型402，与对象的上侧视图对应的表面法线模型403，以及与对象的右侧视图对应的表面法线模型404。在这样的示例中，在操作430中，处理器通过组合将表面法线模型401到表面法线模型404中的每一个表面法线模型匹配到与对象相匹配的对象模型201的特征点的结果，生成表面法线贴图501。在一个示例中，处理器计算匹配到对象的对象模型201的特征点与表面法线模型401到表面法线模型404中的每一个表面法线模型的特征点之间的相似度，并基于计算的相似度的比率组合将表面法线模型401到404中的每一个表面法线模型匹配到对象模型201的特征点的结果来生成表面法线贴图501。
例如，匹配到对象的对象模型201的特征点与对应于对象的前侧视图的表面法线模型401、对应于对象的下侧视图的表面法线模型402、对应于对象的上侧视图的表面法线模型403以及对应于对象的右侧视图的表面法线模型404中的每一个表面法线模型的特征点之间的相似度的比率被计算为a:b:c:d，其中，a、b、c和d为0和1之间的实数，并且a、b、c和d的值的总和为1。处理器将权重a分配给将表面法线模型401匹配到与对象匹配的对象模型201的特征点的结果,将权重b分配给将表面法线模型402匹配到与对象匹配的对象模型201的特征点的结果，将权重c分配给将表面法线模型403匹配到与对象匹配的对象模型201的特征点的结果，以及将权重d分配给将表面法线模型404匹配到与对象匹配的对象模型201的特征点的结果，并将加权的结果加在一起生成表面法线贴图501。
虽然与四个不同方向的对象的视图相对应的表面法线模型(即，表面法线模型401到表面法线模型404)在图5B中示出，但是与各种其它方向的对象的视图相对应的表面法线模型可被预存储并用于生成表面法线贴图501。另外，处理器可通过反转与对象的右侧视图相对应的表面法线模型404，来生成与对象的左侧视图相对应的表面法线模型。
图6A和图6B是示出基于光源的类型的光矢量的示例的示图。
用于调整图像的亮度的虚拟光源的类型可由用户设置或自动设置。虚拟光源为利用光照效果影响输入图像的光源组。例如，点光源或定向光源可用作虚拟光源。然而，虚拟光源的类型不局限于此。
点光源是从预设位置处的虚拟光源组沿所有方向均辐射光的虚拟光源。定向光源是沿预设方向辐射光的虚拟光源。例如，在光源位于离对象很远的距离的情况下，例如，太阳，光以基本上相同的方向到达对象。
光矢量表示从虚拟光源辐射的光的方向和大小。光矢量表示由虚拟光源产生的光源效果的程度和方向。以下，将描述具有归一化大小的光矢量，但是光矢量不局限于此。
对于点光源，处理器基于虚拟光源的位置和像素的位置之间的关系确定入射到输入图像的像素的光矢量。因此，由点光源产生的光矢量根据点光源的位置而变化。由点光源产生的光矢量将参照图6A在后面进行描述。
对于定向光源，处理器基于虚拟光源的照明方向确定入射到输入图像的像素的光矢量。因此，由定向光源产生的光矢量被确定为预设矢量值。由定向光源产生的光矢量将参照图6B在后面进行描述。
图6A是示出由点光源601产生的光矢量640的示例的示图。
参照图6A，从点光源601辐射的光投射到输入图像610中的对象620的像素630上。点光源601的位置信息(例如，点光源601的坐标)可由用户或自动设置。可仅使用点光源601和像素630的位置信息计算由点光源601产生的光矢量640。例如，从点光源601投射到像素630上的光被表示为光矢量640，且光矢量640被定义为点光源601和像素630之间的归一化位置差。例如，当点光源601的位置为(例如，由用户设置或自动设置的)(Sx,Sy,Sz)，以及在输入图像610中的像素630的位置为(x,y,0)，其中，在输入图像610中的所有像素的z坐标假设为0，处理器定义投射到像素630上的光矢量640为，例如，L＝[x-Sx,y-Sy,-Sz]，并计算光矢量640以具有归一化值。例如，光矢量640可通过x-Sx、y-Sy和-Sz除以光矢量640的长度而被归一化。
例如，当在输入图像610的位置(x,y)处的表面法线贴图的法线矢量的值为(wxy,uxy,vxy)时，处理器使用x-Sx、y-Sy和-Sz的归一化值计算出的在位置(x,y)处的由点光源601产生的光矢量L与法线矢量之间的点乘结果的值为wxy(x-Sx)+uxy(y-Sy)+vxy(-Sz)。
图6B是示出由定向光源609产生的光矢量680的示例的示图。
在图6B的示例中，假设定向光源609位于离输入图像650很远的距离，因此来自相同方向的光从定向光源609投射到在输入图像中的对象660的包括像素670的所有像素上。定向光源609的方向可由用户设置或自动设置。由于假设定向光源609位于离在输入图像650中的对象660很远的距离，一旦由定向光源609产生的光的投射方向被设置，投射到对象660的包括例如像素670的所有像素上的所有光矢量是相等的。例如，由定向光源609投射到包括例如像素670的每个像素上的光矢量680被定义为L＝[Lx,Ly,Lz]，其中，Lx、Ly和Lz分别表示在x轴方向上的光的方向、在y轴方向上的光的方向以及在z轴方向上的光的方向。L被归一化为具有1的值。
例如，当在输入图像650中的位置(x,y)处的表面法线贴图中的法线矢量的值为(wxy,uxy,vxy)，处理器计算在位置(x,y)处由定向光源609产生的光矢量L和法线矢量之间的点乘的结果的值为wxyLx+uxyLy+vxyLz。
虽然在图6A和6B的示例中，处理器基于光矢量和法线矢量之间的点乘计算来生成阴影信息，但是阴影信息的生成不局限于此。以下，参照图7，将描述生成阴影信息的另一个示例。
图7是示出基于视线矢量750和反射矢量742的生成阴影信息的处理的示例的示图。
视线矢量750是表示用户观看输入图像710或对象720的方向的矢量。反射矢量742是表示从光源701投射到对象720的像素730上之后被反射的光的矢量。因此，反射矢量742是光矢量741被对象720反射的矢量。在一个示例中，处理器将反射矢量742计算为其中L表示光矢量741，表示从表面法线贴图获得的法线矢量743。
在一个示例中，处理器通过执行视线矢量750和反射矢量742之间的点乘计算790生成阴影信息。例如，在用户从装置的正前方观察装置的一般情况下，视线矢量750为(0,0,1)，因此处理器仅选择反射矢量742的z方向分量用于生成阴影信息。
在一个示例中，以上参照图7描述的基于视线矢量750和反射矢量742的生成阴影信息的处理适用于图6A所示的点光源601和图6B所示的定向光源609二者。例如，在光被设置为沿预设的方向辐射且光在如图6B所示的定向光源609的预设方向被辐射的情况下，视线矢量750与反射矢量742越紧密对齐，基于视线矢量750生成的阴影信息变得越亮。
图8示出基于光源的强度的重光照的图像的示例。
图8示出从输入图像301重光照的图像810、图像820以及图像830，即，基于参照图1到图5B所述的方法从输入图像亮度被调整的图像。
重光照的图像810、重光照的图像820以及重光照的图像830是当虚拟光源的强度被设置在不同的水平时获得的示例图像。重光照的图像810是当虚拟光源的强度被设置在低水平时的图像，重光照的图像820是当虚拟光源的强度被设置在中水平时的图像，以及重光照的图像830是当虚拟光源的强度被设置在高水平时的图像。
如图8所示，重光照的图像820的部分区域821和822的亮度被调整为相对高于重光照的图像810的部分区域811和812的亮度。此外，重光照的图像830的部分区域831和832的亮度被调整为相对高于重光照的图像820的部分区域821和822的亮度。
虽然参照图8描述了在输入图像301中的部分区域的亮度增加的情况，但是由虚拟光源产生的亮度效果可影响对象的整个区域，并且部分区域的亮度也可能减小，例如，阴影效果。
因此，图像亮度调整设备可基于虚拟光源的强度自然地增加或减少在输入图像中的对象的亮度，而没有不和谐。
图9示出基于光源的位置的重光照的图像的示例。
图9示出从输入图像301重光照的图像910、图像920以及图像930，即，基于参照图1到图5B所述的方法从输入图像301调整亮度的图像。在图9的示例中，虚拟光源909为定向光源。
重光照图像910、重光照图像920以及重光照图像930是当虚拟光源909的方向被设置为不同方向时获得的示例图像。重光照图像910是当应用设置为从对象的左上侧沿-45°的角度方向向对象投射光的虚拟光源909时获得的图像。重光照图像920是当应用设置为从对象的正上侧沿0°的角度方向向对象投射光的虚拟光源909时获得的图像，以及重光照图像930是当应用设置为从对象的右上侧沿+45°的角度方向向对象投射光的虚拟光源909时获得的图像。
如图9所示，在重光照图像910中，由于光从左上侧沿-45°的角度方向投射的虚拟光源909，在图9中的对象(人脸)的右下区域911的亮度减小。在重光照图像920中，由于光从正上方沿0°的角度方向向对象投射的虚拟光源909，对象的下方区域921的亮度减小。在重光照图像930中，由于光从右上侧沿+45°的角度方向向对象投射的虚拟光源909，对象的左下区域931的亮度减小。如图9所示，阴影效果通过虚拟光源909应用到对象。
虽然参照图9描述了在输入图像301中的部分区域的亮度减小的情况，即，阴影效果，但是由虚拟光源909产生的亮度效果可影响对象的整个区域，并且部分区域的亮度也可能增加。
因此，图像亮度调整设备可基于虚拟光源的位置和方向自然地增加或减少在输入图像中的对象的亮度，而没有不和谐。
图10示出图像亮度调整设备1000的图形用户界面(GUI)的示例。
图像亮度调整设备1000可以是，例如，智能手机，但不局限于此。图像亮度调整设备1000从用户接收需要执行参照图1到图5B所述的方法的操作。例如，图10示出用于从用户接收用于虚拟光源的设置的操作的GUI的示例。
参照图10，GUI包括光源类型界面1010，光源位置/方向界面1020，以及光源强度界面1030。界面的类型和设计不局限于图10中的示例，因此可使用各种其他界面。
光源类型界面1010被设置为从用户接收用于设置虚拟光源的类型的操作。例如，图像亮度调整设备1000通过光源类型界面1010从用户接收用于设置点光源或定向光源的操作。
光源位置/方向界面1020被设置为基于虚拟光源的类型设置而从用户接收用于设置虚拟光源的位置和方向中任何一个或两者全部的操作。
在点光源被选择的情况下，光源位置/方向界面1020从用户接收用于设置虚拟光源的位置的操作。由于点光源在所有方向投射光且一旦点光源的位置被设置，则对于输入图像的每一个像素可推导得到由点光源产生的光矢量，因此由光矢量产生的光源效果可通过只设置位置的界面表现。针对像素由点光源产生的光矢量可被计算为像素的坐标与点光源的坐标之间的位置差。在一个示例中，处理器向用户提供用于多个预设位置的界面(未示出)。当处理器从用户接收点光源的位置的选择时，处理器将被选择的位置设置为点光源的位置。例如，如图10所示，当光源位置/方向1020的中间图标被用户激活时，图像亮度调整设备1000在对象的前面预设的点处设置虚拟光源的位置。
在定向光源被选择的情况下，光源位置/方向界面1020从用户接收用于设置虚拟光源的方向的操作。由于定向光源被假设为向输入图像的所有像素投射具有相同方向的光且一旦定向光源的方向被设置，则对于输入图像的每一个像素可推到得到由点光源产生的光矢量，因此由光矢量产生的光源效果可通过只设置方向的界面表现。在一个示例中，处理器向用户提供用于选择多个预设方向中的一个的界面(未示出)。当处理器从用户接收定向光源的方向的选择时，处理器将被选择的方向设置为定向光源的方向。例如，当右边图标被用户激活时，图像亮度调整设备1000将由虚拟光源产生的光矢量的方向设置从对象的右上方指向对象。
光源强度界面1030被设置为从用户接收用于设置虚拟光源的强度的操作。例如，虚拟光源的强度可在从0级(虚拟光源的OFF状态)到5级(虚拟光源的最大强度)的范围内被分类。例如，如图10所示，当与3级相对应的图标被用户激活时，图像亮度调整设备1000将虚拟光源的强度设置为3级(虚拟光源的中间强度)。虚拟光源的强度的分类不局限于上述示例，因此虚拟光源的强度可被分成n级，其中，n为大于或等于1的整数。
预览界面提供重光照图像1009。另外，预览界面可提供调整重光照的图像1009的色调的结果。在示例中，预览界面提供通过实时应用通过光源设置界面(例如，图10所示的界面1010到界面1030)和色调调整界面(未示出)从用户接收的操作而生成的重光照的图像1009。例如，当虚拟光源的强度通过光源强度界面1030被修改时，图像亮度调整设备1000实时显示应用了修改的虚拟光源的强度的重光照图像1009。
然而，图像亮度调整设备1000的GUI不局限于图10所示的界面1010到界面1030，因此可提供各种其他界面，诸如调整重光照的图像1009的色调的界面(例如，执行参照图2和图4所述的操作240)、捕捉图像的界面以及存储重光照的图像1009的界面。
图11示出色调被调整的重光照图像的示例。
在一个示例中，图像亮度调整设备的处理器在参照图2到图5B所述的操作240中将阴影信息应用到输入图像301，并调整输入图像301的色调。例如，处理器通过将阴影信息应用到输入图像301生成重光照图像并调整重光照图像的色调。在图11中，示出四种色调调整风格，但是色调调整风格不局限于示出的风格。
例如，第一种风格是将权重添加到图像中的亮区域和暗区域中的像素的色调的风格。基于第一种风格，处理器将相同权重添加到亮区域中的像素的色调和在暗区域中的像素的色调。在这种示例中，由于亮区域由权重变亮的程度和暗区域由权重变暗的程度是相等的，因此基于第一种风格调整了色调的重光照的图像1110的整体对比度增强。第一种风格也可以称为暗和亮风格。
在亮区域的像素是具有大于阈值的亮度的像素，在暗区域的像素是具有小于或等于阈值的亮度的像素。
例如，第二种风格是如第一种风格一样的添加相同权重并进一步将阴影颜色添加到暗区域中的像素的风格。由于设置为与人类皮肤色调相似(例如，棕色)的阴影颜色被进一步添加到基于第二种风格调整了色调的重光照图像1120中，因此阴影效果可被表现的更加自然。第二种风格也可以称为阴影颜色混合风格。
例如，第三种风格是保持在亮区域中的像素的色调的同时将权重添加到暗区域中的像素的色调的风格。在基于第三种风格调整了色调的重光照图像1130中，相比亮区域，暗区域被强调，因此，当输入图像301被整体明亮地捕捉时，第三种风格可能更适合。第三种风格也可以称为暗色调风格。
例如，第四种风格是保持在暗区域中的像素的色调的同时将权重添加到亮区域中的像素的色调的风格。在基于第四种风格调整了色调的重光照图像1140中，相比暗区域，亮区域被强调，因此，当输入图像301被整体黑暗地捕捉时，第四风格可能更适合。第四种风格也可以称为亮色调风格。
前述色调调整风格可通过经由GUI从用户接收的操作进行选择。以下，将参照图12到图15描述自动选择色调调整风格的示例。
图12到图15示出基于图像的亮度直方图调整色调的过程的示例。
图12示出基于参照图11所述的第一种风格(暗和亮风格)调整了色调的重光照图像1210的示例。图13示出基于参照图11所述的第二种风格(阴影颜色混合风格)调整了色调的重光照图像1310的示例。图14示出基于参照图11所述的第三种风格(暗色调风格)调整了色调的重光照图像1410的示例。图15示出基于参照图11所述的第四种风格(亮色调风格)调整了色调的重光照图像1510的示例。
参照图12到图15，处理器基于输入图像的亮度直方图(例如，在图12中的亮度直方图1220、在图13中的亮度直方图1320、在图14中的亮度直方图1420以及在图15中的亮度直方图1520)确定色调调整风格，并基于确定的色调调整风格分别调整重光照图像1210、重光照图像1310、重光照图像1410和重光照图像1510中的每一个重光照图像的色调。例如，处理器基于在各个输入图像中的预设亮度范围内的像素的数量与在各个输入图像中的像素的总数量的比率，将权重添加到重光照图像1210、重光照图像1310、重光照图像1410和重光照图像1510中的每一个重光照图像的至少一部分的像素的色调。在图12到图15中所示的亮度直方图1220、亮度直方图1320、亮度直方图1420以及亮度直方图1520示出在各个输入图像的像素的亮度分布。在亮度直方图中，横轴表示亮度，纵轴表示在输入图像中具有由横轴所表示的亮度的像素的数量。虽然亮度直方图1220、亮度直方图1320、亮度直方图1420以及亮度直方图1520与各自的输入图像相关，但是可使用与重光照图像1210、重光照图像1310、重光照图像1410和重光照图像1510中的每一个重光照图像相关的亮度直方图。
在第一个示例中，当输入图像中具有大于第一阈值亮度且小于或等于第二阈值亮度的亮度的像素的数量与在输入图像中的像素的总数量的比率大于或等于预设第一比率时，处理器将权重添加到在阴影信息中的暗区域和亮区域。例如，在如图12的亮度直方图1220所示的输入图像的亮度处于中间水平处的情况下，处理器基于第一种风格(暗和亮风格)调整输入图像的色调。
在第二个示例中，当在输入图像中具有大于第二阈值亮度且小于或等于第三阈值亮度的亮度的像素的数量与在输入图像中的像素的总数量的比率大于或等于预设第二比率时，处理器将权重添加到阴影信息中的暗区域和亮区域，并将预设的阴影颜色添加到暗区域。例如，在如图13的亮度直方图1320所示的输入图像的亮度处于中上水平处的情况下，处理器基于第二种风格(阴影颜色混合风格)调整输入图像的色调。
在第三个示例中，当在输入图像中具有大于第三阈值亮度的像素的数量与在输入图像中的像素的总数量的比率大于或等于预设第三比率时，处理器将权重添加到在阴影信息中的暗区域。例如，在如图14的亮度直方图1420所示的输入图像的亮度处于高水平处的情况下，处理器基于第三种风格(暗色调风格)调整输入图像的色调。
在第四个示例中，当在输入图像中具有小于或等于第一阈值亮度的像素的数量与在输入图像中的像素的总数量的比率大于或等于预设第四比率时，处理器将权重添加到阴影信息中的亮区域。例如，在如图15的亮度直方图1520所示的输入图像的亮度处于低水平处的情况下，处理器基于第四种风格(亮色调风格)调整输入图像的色调。
然而，每一个色调调整风格的应用不局限于前述的示例，因此，可基于例如用户的偏好、背景图像的情况、用户的操作以及设计，来修改关于每一个色调调整风格的应用的标准。例如，第一比率、第二比率、第三比率和第四比率可相同或不同。
图16到图19是示出图像亮度调整设备1600的示例的示图。
参照图16，图像亮度调整设备1600包括处理器1610。参照图17到图19，图像亮度调整设备1600进一步包括存储器1720、图像接收器1830以及显示器1940。
处理器1610执行参照图1到图5B所述的图像亮度调整方法。例如，处理器1610基于从包括对象的输入图像中提取的对象的一个或多个特征点将对象模型匹配到对象，基于匹配的对象模型将2D图像形式的表面法线贴图映射到输入图像，并基于映射的表面法线贴图和虚拟光源生成关于输入图像的阴影信息。
存储器1720为永久的计算机可读介质且可存储用于引起计算机硬件执行参照图1到图5B所述的图像亮度调整方法的指令。存储器1720可预先将与对象模型和对象模型相关联的表面法线模型存储在数据库中。例如，存储器1720可存储输入图像、重光照图像以及调整了色调的重光照图像，并且也存储数据(诸如，阴影信息以及在执行参照图1到图5所述的图像亮度调整方法中需要的或生成的表面法线贴图)。
图像接收器1830从外部源接收输入图像。例如，图像接收器1830可接收通过相机捕捉到的输入图像。可选择地，图像接收器1830可通过有线或无线通信从外部源接收输入图像。
显示器1940显示图像。在一个示例中，显示器1940将阴影信息应用到输入图像。例如，显示器1940可显示输入图像、重光照图像以及调整了色调的重光照图像。虽然已经在此使用静止图像作为示例图像，但是在此描述的示例不局限于此，因此图像亮度调整设备1600也适用于视频。在图像是视频的情况下，处理器1610针对视频的每一帧实时执行参照图1到图15所述的方法并将自然的阴影效果应用到出现在每一帧中的对象。显示器1940可以是，例如，屏幕、投影仪、液晶显示器(LCD)、有机发光二级光(OLED)显示器或本领域的普通技术人员熟知的任何其他类型的显示器。
图像亮度调整设备1600可以是包括被构造为根据参照图1到图15所述的方法处理图像的处理器1610的电子装置，例如，智能手机或相机。
图像亮度调整设备1600可将低复杂度图形渲染技术(例如，由光源和软阴影产生的照明(或灯光)效果)应用到通过相机捕捉的脸部，因此，可另外表现自然的阴影效果。在诸如智能手机或相机的移动智能装置中，性能可能受到限制。然而，当在移动智能装置中将自然的阴影效果实时应用到输入图像时，在移动智能装置中实现图像亮度调整设备1600可防止性能的降低。例如，图像亮度调整设备1600可将由虚拟光源产生的阴影效果实时应用到对象，而无需通过使用嵌入在用于执行参照图1到图15所述的方法的移动智能装置中的中央处理单元(CPU)、图形处理单元(GPU)以及的标准图形软件(SW)来进行与照度相关联的复杂的物理操作或计算。
另外，在人脸从前边被捕捉的情况下，例如，在自拍图像的情况下，图像亮度调整设备1600可更自然地应用阴影效果。当捕捉图像时，例如，当预览后存储捕捉的图像时，图像亮度调整设备1600可通过在此描述的方法，利用由虚拟光源产生的阴影效果实时覆盖脸部区域并容易编辑捕捉的图像。
图像亮度调整设备1600使用简单图形模型(例如，对象模型)而不是使用复杂3D图形模型，来产生高质量阴影效果。另外，图像亮度调整设备1600通过执行光源与表面法线贴图之间的点积计算来简化照度计算，来实时产生详细阴影效果，而不执行复杂计算。
此外，当应用阴影效果时，图像亮度调整设备1600可基于图像捕捉情况手动地或自动地选择色调调整风格，因此产生更自然的阴影效果。相比于简单执行捕捉到的图像的滤镜的情况，图像亮度调整设备1600产生脸部的特征更自然并清晰重光照的图像。
在图10及图16到图19中所示的执行参照图1到图19在此描述的操作的图像亮度调整设备1000和图像亮度调整设备1600、处理器1610、存储器1720、图像接收器1830以及显示器1940是通过硬件组件实现的。硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、逻辑运算电路、加法器、减法器、乘法器、除法器、积分器以及本领域的普通技术人员熟知的其它电子组件。在一个示例中，硬件组件是通过计算硬件(例如，通过一个或多个处理器或计算机)实现的。处理器或计算机是通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或本领域的普通技术人员熟知的能够以定义的方式响应和执行指令来实现所需的结果的任何其它装置或装置的组合)实现的。在一个示例中，处理器或计算机包括或连接到一个或多个存储由处理器或计算机执行的指令或软件的存储器。通过处理器或计算机实现的硬件组件执行指令或软件(诸如，操作系统(OS)和一个或多个在OS上运行的软件应用)来执行参照图1到图19在此所述的操作。硬件组件也响应于指令或软件的执行来访问、操作、处理、创建以及存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于在此所述的示例的描述中，但是在其它的示例中，多个处理器或计算机被使用，或包括多个处理元件或多种类型的处理元件或两者的处理器或计算机被使用。在一个示例中，硬件组件包括多个处理器，在另一个示例中，硬件组件包括处理器和控制器。硬件组件具有任意一个或多个不同处理配置，其示例包括单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理机、单指令多数据(SIMD)多处理机、多指令但数据(MISD)多处理机以及多指令多数据(MIMD)多处理机。
执行参照图1到图19在此描述的操作的在图1到图5B所示的方法由计算机硬件(例如，一个或多个处理器或计算机)执行，其方法的执行是通过如上所述执行指令或软件来执行在此描述的操作。
用于控制处理器或计算机实施硬件组件并执行如上所述的方法的指令或软件被编写为计算机程序、代码段、指令或它们的任意组合，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机来执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器语言，诸如由编译器生成的机器代码。在另一个示例中，指令或软件包括由处理器或计算机使用编译器执行的高级代码。本领域的普通技术的程序员可以容易地基于附图所示的框图和流程图以及说明书中相关的描述来写指令或软件，其公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。
用于控制处理器或计算机实施硬件组件和执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定进或在一个或多个永久的计算机可读存储介质。永久的计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态硬盘以及本领域的普通技术人员熟知的能够以永久性的方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并为处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构以使处理器或计算机能够执行指令的任何装置。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布于网络结合的计算机系统以使指令和软件以及任何相关联的数据、数据文件和数据结构由处理器或计算机以分布的形式进行存储、获取和执行。
虽然本公开包括具体的示例，但是对于本领域的普通技术人员很明显的是，在不脱离权利要求的精神和范围以及它们的等同物的情况下，可以对这些示例中进行形式和细节的各种改变。在此描述的示例被认为仅在描述性的意义上，并不为了限制。在每一个示例中的特征或方面的描述被认为适用于在其它示例中的相同的特征或方面。如果所述的技术以不同的顺序执行，和/或如果在所述的系统、体系结构、装置或电路中的组件以不同的方式组合，和/或用其他组件或它们的等同物替换或补充可实现适当的结果。因此，本公开的范围不是由详细的描述而是由权利要求和它们的等同物所限定，并且在权利要求和它们的等同物的范围内的所有改变都被视为包括在本公开内。

Claims (36)

1.一种调整图像的亮度的方法，所述方法包括：
基于从包括对象的输入图像中提取的对象的一个或多个特征点，将对象模型匹配到对象；
基于匹配的对象模型将二维图像形式的表面法线贴图映射到输入图像；以及
基于映射的表面法线贴图和虚拟光源，生成关于输入图像的阴影信息。
2.根据权利要求1所述的方法，其中，将表面法线贴图映射到输入图像的步骤包括：通过对在匹配的对象模型的特征点所位于的点处的法线矢量进行插值，生成表面法线贴图。
3.根据权利要求1所述的方法，其中，将表面法线贴图映射到输入图像的步骤包括：通过将预存储在数据库中的与对象模型相关联的表面法线模型转换成表面法线贴图，生成表面法线贴图。
4.根据权利要求1所述的方法，其中，将对象模型匹配到对象的步骤包括：确定用于将对象模型的特征点的坐标转换成对象的特征点的坐标的转换函数。
5.根据权利要求4所述的方法，其中，将表面法线贴图映射到输入图像的步骤包括：通过使用确定的转换函数转换表面法线模型的每一个坐标来生成二维图像形式的转换的法线贴图。
6.根据权利要求1所述的方法，其中，生成阴影信息的步骤包括：执行在表面法线贴图的每一个坐标处的法线矢量与在输入图像的对应坐标处的虚拟光源的光矢量之间的点积计算。
7.根据权利要求6所述的方法，其中，执行点积计算的步骤包括：基于虚拟光源的位置与输入图像的对应坐标之间的关系和/或者虚拟光源的照射方向，来确定在输入图像的对应坐标处的光矢量。
8.根据权利要求1所述的方法，还包括：
通过将阴影信息应用到输入图像生成重光照图像；以及
基于输入图像的明亮情况调整重光照图像的色调。
9.根据权利要求8所述的方法，其中，调整重光照图像的色调的步骤包括：基于输入图像的亮度直方图调整重光照图像的色调。
10.根据权利要求9所述的方法，其中，调整重光照图像的色调的步骤包括：基于在输入图像中的预设亮度范围内的像素的数量与在输入图像中的像素的总数量的比率，将权重添加到在重光照图像的至少一部分中的像素的色调。
11.根据权利要求1所述的方法，还包括：接收表示虚拟光源的强度、位置、颜色、照射方向以及类型中的任何一个或任何组合的控制信号。
12.根据权利要求1所述的方法，其中，所述对象是人脸。
13.一种用于调整图像的亮度的设备，所述设备包括：
处理器，被构造为：
基于从包括对象的输入图像中提取的对象的一个或多个特征点将对象模型匹配到对象，
基于匹配的对象模型将二维图像形式的表面法线贴图映射到输入图像，以及
基于映射的表面法线贴图和虚拟光源生成关于输入图像的阴影信息。
14.根据权利要求13所述的设备，其中，处理器进一步被构造为通过对在匹配的对象模型的特征点所位于的点处的法线矢量进行插值，来生成表面法线贴图。
15.根据权利要求13所述的设备，还包括：
存储器，被构造为将与对象模型相关联的表面法线模型预存储在数据库中，
其中，处理器进一步被构造为通过将表面法线模型转换成表面法线贴图来生成表面法线贴图。
16.根据权利要求13所述的设备，其中，处理器进一步被构造为用于将对象模型的特征点的坐标转换成对象的特征点的坐标的转换函数。
17.根据权利要求16所述的设备，其中，处理器进一步被构造为通过使用确定的转换函数转换表面法线模型的每一个坐标来生成二维图像形式的转换的法线贴图。
18.根据权利要求13所述的设备，其中，处理器进一步被构造为执行在表面法线贴图的每一个坐标处的法线矢量与在输入图像的对应坐标处的虚拟光源的光矢量之间的点积计算。
19.根据权利要求18所述的设备，其中，处理器进一步被构造为基于虚拟光源的位置与输入图像的对应坐标之间的关系和/或虚拟光源的照射方向来确定在输入图像的对应坐标处的光矢量。
20.根据权利要求13所述的设备，其中，处理器进一步被构造为通过将阴影信息应用到输入图像生成重光照图像，并基于输入图像的亮度直方图调整重光照图像的色调。
21.根据权利要求20所述的设备，其中，处理器进一步被构造为基于在输入图像中的预设亮度范围内的像素的数量与在输入图像中的像素的总数量的比率，将权重添加到在重光照图像的至少一部分中的像素的色调。
22.一种设备包括：
图像接收器，被构造为接收包括对象的输入图像；以及
处理器，被构造为：
基于从输入图像中提取的对象的一个或多个特征点将对象模型匹配到对象，
基于匹配的对象模型将二维图像形式的表面法线贴图映射到输入图像，以及
基于映射的表面法线贴图和虚拟光源生成关于输入图像的阴影信息。
23.根据权利要求22所述的设备，其中，图像接收器是相机。
24.根据权利要求22所述的设备，其中，处理器进一步被构造为将阴影信息应用到输入图像；以及
所述设备还包括：显示器，被构造为显示应用了阴影信息的输入图像。
25.根据权利要求22所述的设备，其中，处理器进一步被构造为通过对在匹配的对象模型的特征点所位于的点处的法线矢量进行插值，来生成表面法线贴图。
26.根据权利要求22所述的设备，还包括：
存储器，被构造为将与对象模型相关联的表面法线模型预存储在数据库中，
其中，所述处理器进一步被构造为通过将表面法线模型转换成表面法线贴图来生成表面法线贴图。
27.根据权利要求22所述的设备，其中，处理器进一步被构造为基于表示用户观看对象的方向的视线矢量和表示从虚拟光源投射到对象上的光被对象反射的方向的反射矢量，生成阴影信息。
28.一种调整图像的亮度的方法，所述方法包括：
基于在图像中的对象和对象模型的特征点，生成输入图像的表面法线贴图；
基于表面法线贴图和虚拟光源生成关于输入图像的阴影信息；以及
将阴影信息应用到输入图像来调整输入图像的亮度。
29.根据权利要求28所述的方法，其中，对象模型包括与对象的特征点相对应的特征点，和与对象模型的特征点对应的法线矢量，以及
其中，生成表面法线贴图的步骤包括：对对象模型的法线矢量进行插值来获得在输入图像的坐标处的法线矢量。
30.根据权利要求28所述的方法，其中，生成表面法线贴图的步骤包括：基于对象和对象模型的特征点将表面法线模型转换成表面法线贴图。
31.根据权利要求28所述的方法，还包括：基于对象的特征点和对象模型的特征点将对象模型匹配到对象，
其中，生成表面法线贴图的步骤包括：通过组合将与不同方向的对象的视图相对应的多个表面法线模型匹配到与对象相匹配的对象模型的特征点的结果，生成表面法线贴图。
32.根据权利要求28所述的方法，其中，生成阴影信息的步骤包括：计算在表面法线贴图的每一个坐标处的法线矢量与在输入图像的对应坐标处的虚拟光源的光矢量之间的点积，作为阴影信息。
33.根据权利要求28所述的方法，其中，生成阴影信息的步骤包括：计算表示用户观察对象的方向的视线矢量与在输入图像的每一个坐标处表示从虚拟光源投射到对象上的光被对象反射的方向的反射矢量之间的点积，作为阴影信息。
34.根据权利要求33所述的方法，其中，生成阴影信息的步骤还包括：基于表面法线贴图和虚拟光矢量计算反射矢量。
35.根据权利要求28所述的方法，其中，将阴影信息应用到输入图像来调整输入图像的亮度的步骤包括：通过将阴影信息应用到输入图像来生成重光照图像来调整图像的亮度；以及
所述方法还包括：基于输入图像的亮度直方图调整重光照图像的色调。
36.根据权利要求35所述的方法，其中，调整重光照图像的色调的步骤包括：
基于输入图像的亮度直方图，从多个色调调整风格中选择色调调整风格；以及
将选择的色调调整风格应用到重光照图像来调整重光照图像的色调。
CN201610825710.7A 2015-09-17 2016-09-14 用于调整图像的亮度的设备和方法 Active CN106548455B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0131387 2015-09-17
KR20150131387 2015-09-17
KR1020150174649A KR102459851B1 (ko) 2015-09-17 2015-12-09 이미지의 밝기를 조절하는 방법 및 장치
KR10-2015-0174649 2015-12-09

Publications (2)

Publication Number Publication Date
CN106548455A true CN106548455A (zh) 2017-03-29
CN106548455B CN106548455B (zh) 2022-03-08

Family

ID=56855347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610825710.7A Active CN106548455B (zh) 2015-09-17 2016-09-14 用于调整图像的亮度的设备和方法

Country Status (4)

Country Link
US (1) US9922452B2 (zh)
EP (1) EP3144899B1 (zh)
JP (1) JP6864449B2 (zh)
CN (1) CN106548455B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107734267A (zh) * 2017-09-11 2018-02-23 广东欧珀移动通信有限公司 图像处理方法和装置
CN107833198A (zh) * 2017-11-09 2018-03-23 中共中央办公厅电子科技学院 一种基于大尺度分解的户外场景重光照方法
CN108447111A (zh) * 2018-03-05 2018-08-24 网易（杭州）网络有限公司 法线贴图的处理方法、装置、存储介质、处理器及终端
CN108986200A (zh) * 2018-07-13 2018-12-11 北京中清龙图网络技术有限公司 图形渲染的预处理方法及系统
CN109101873A (zh) * 2017-06-21 2018-12-28 三星电子株式会社 用于提供针对兴趣对象的外部光源的特性信息的电子设备
CN109255841A (zh) * 2018-08-28 2019-01-22 百度在线网络技术（北京）有限公司 Ar图像呈现方法、装置、终端及存储介质
CN109410300A (zh) * 2018-10-10 2019-03-01 苏州好玩友网络科技有限公司 一种游戏场景中的阴影处理方法及装置及终端设备
CN111060946A (zh) * 2018-10-17 2020-04-24 三星电子株式会社 用于估计位置的方法和装置
CN112236778A (zh) * 2018-04-06 2021-01-15 西门子股份公司 使用cad模型作为先验的从图像中的对象识别
CN112384928A (zh) * 2018-08-01 2021-02-19 三星电子株式会社 对图像执行对象照明操纵的方法和装置
CN112529996A (zh) * 2020-12-16 2021-03-19 网易（杭州）网络有限公司 生成模型的方法、装置和电子设备
WO2022140887A1 (zh) * 2020-12-28 2022-07-07 华为技术有限公司 一种图像处理方法及装置
US11503228B2 (en) 2017-09-11 2022-11-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, image processing apparatus and computer readable storage medium

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965893B2 (en) * 2013-06-25 2018-05-08 Google Llc. Curvature-driven normal interpolation for shading applications
CN105138962A (zh) * 2015-07-28 2015-12-09 小米科技有限责任公司 图像显示方法及装置
WO2018184140A1 (en) * 2017-04-04 2018-10-11 Intel Corporation Facial image replacement using 3-dimensional modelling techniques
JP6918648B2 (ja) * 2017-08-31 2021-08-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107944420B (zh) * 2017-12-07 2020-10-27 北京旷视科技有限公司 人脸图像的光照处理方法和装置
CN108089958B (zh) * 2017-12-29 2021-06-08 珠海市君天电子科技有限公司 Gpu测试方法、终端设备和计算机可读存储介质
US10643375B2 (en) * 2018-02-26 2020-05-05 Qualcomm Incorporated Dynamic lighting for objects in images
CN110580676A (zh) * 2018-06-07 2019-12-17 富泰华工业（深圳）有限公司 人脸漫画形象制作方法、电子装置和存储介质
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
JP7422454B2 (ja) * 2019-02-06 2024-01-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR102597518B1 (ko) * 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
JP7321772B2 (ja) * 2019-05-22 2023-08-07 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10916051B2 (en) 2019-07-08 2021-02-09 Google Llc Video lighting using depth and virtual lights
CN110532915B (zh) * 2019-08-20 2022-06-14 东南大学 基于法向量方位角局部熵的三维人脸遮挡判别方法
US11430093B2 (en) 2019-10-01 2022-08-30 Microsoft Technology Licensing, Llc Face-based tone curve adjustment
JP7446080B2 (ja) * 2019-10-15 2024-03-08 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム
EP3838117A1 (en) * 2019-12-20 2021-06-23 Koninklijke Philips N.V. Illumination compensation in imaging
CN111507354B (zh) 2020-04-17 2023-12-12 北京百度网讯科技有限公司 信息抽取方法、装置、设备以及存储介质
KR102515785B1 (ko) * 2021-06-23 2023-03-31 우정호 차량용 틴팅 농도 시뮬레이션 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050056744A1 (en) * 2003-08-07 2005-03-17 Musco Corporation Enclosure box attachment apparatus, system, and method
US20060274076A1 (en) * 2005-06-03 2006-12-07 Pixar Dynamic Model Generation Methods and Apparatus
CN101271587A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于过渡光贴图的光照和阴影绘制方法
US20080266294A1 (en) * 2007-04-24 2008-10-30 Sony Computer Entertainment Inc. 3D Object Scanning Using Video Camera and TV Monitor
CN103733223A (zh) * 2011-08-04 2014-04-16 三菱电机株式会社 用于确定对象模型的表面缺陷的方法和系统
CN103916587A (zh) * 2012-12-28 2014-07-09 三星电子株式会社 用于生成合成图像的拍摄装置以及使用所述装置的方法
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
US20150253428A1 (en) * 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980697B1 (en) 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7519201B2 (en) * 2005-10-28 2009-04-14 Honda Motor Co., Ltd. Detecting humans via their pose
JP4079378B2 (ja) * 2006-09-21 2008-04-23 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法及びプログラム
US8090160B2 (en) 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
WO2009097618A1 (en) 2008-01-31 2009-08-06 University Of Southern California Practical modeling and acquisition layered facial reflectance
JP5547730B2 (ja) 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
US8315461B2 (en) 2010-01-25 2012-11-20 Apple Inc. Light source detection from synthesized objects
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
US8625931B2 (en) * 2010-09-03 2014-01-07 Adobe Systems Incorporated Light space graphical model in shape from shading
JP5751865B2 (ja) * 2011-03-03 2015-07-22 セコム株式会社 顔画像処理装置
KR101310040B1 (ko) 2012-02-29 2013-09-24 주식회사 슈프리마 적응적 조명조절을 이용한 얼굴 인식장치 및 그 방법
US9299188B2 (en) * 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US20160210722A1 (en) * 2013-09-11 2016-07-21 Square Enix Holdings Co., Ltd. Rendering apparatus, rendering method thereof, program and recording medium
WO2015175730A1 (en) * 2014-05-13 2015-11-19 Nant Vision, Inc. Augmented reality content rendering via albedo models, systems and methods
JP6445844B2 (ja) * 2014-11-05 2018-12-26 キヤノン株式会社 撮像装置および撮像装置で実行される方法
US9860453B2 (en) * 2014-11-26 2018-01-02 Disney Enterprises, Inc. Systems and methods for estimating sky light probes for outdoor images
JP6463177B2 (ja) * 2015-03-11 2019-01-30 キヤノン株式会社 画像処理装置およびその制御方法
JP6552266B2 (ja) * 2015-05-20 2019-07-31 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10303973B2 (en) * 2015-04-15 2019-05-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US9679192B2 (en) * 2015-04-24 2017-06-13 Adobe Systems Incorporated 3-dimensional portrait reconstruction from a single photo

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050056744A1 (en) * 2003-08-07 2005-03-17 Musco Corporation Enclosure box attachment apparatus, system, and method
US20060274076A1 (en) * 2005-06-03 2006-12-07 Pixar Dynamic Model Generation Methods and Apparatus
US20080266294A1 (en) * 2007-04-24 2008-10-30 Sony Computer Entertainment Inc. 3D Object Scanning Using Video Camera and TV Monitor
CN101271587A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于过渡光贴图的光照和阴影绘制方法
CN103733223A (zh) * 2011-08-04 2014-04-16 三菱电机株式会社 用于确定对象模型的表面缺陷的方法和系统
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
CN103916587A (zh) * 2012-12-28 2014-07-09 三星电子株式会社 用于生成合成图像的拍摄装置以及使用所述装置的方法
US20150253428A1 (en) * 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101873A (zh) * 2017-06-21 2018-12-28 三星电子株式会社 用于提供针对兴趣对象的外部光源的特性信息的电子设备
CN109101873B (zh) * 2017-06-21 2023-12-29 三星电子株式会社 用于提供针对兴趣对象的外部光源的特性信息的电子设备
CN107734267A (zh) * 2017-09-11 2018-02-23 广东欧珀移动通信有限公司 图像处理方法和装置
US11503228B2 (en) 2017-09-11 2022-11-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, image processing apparatus and computer readable storage medium
US11516412B2 (en) 2017-09-11 2022-11-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, image processing apparatus and electronic device
CN107734267B (zh) * 2017-09-11 2020-06-26 Oppo广东移动通信有限公司 图像处理方法和装置
CN107833198A (zh) * 2017-11-09 2018-03-23 中共中央办公厅电子科技学院 一种基于大尺度分解的户外场景重光照方法
CN107833198B (zh) * 2017-11-09 2021-06-01 中共中央办公厅电子科技学院 一种基于大尺度分解的户外场景重光照方法
CN108447111A (zh) * 2018-03-05 2018-08-24 网易（杭州）网络有限公司 法线贴图的处理方法、装置、存储介质、处理器及终端
CN108447111B (zh) * 2018-03-05 2022-05-03 网易（杭州）网络有限公司 法线贴图的处理方法、装置、存储介质、处理器及终端
CN112236778A (zh) * 2018-04-06 2021-01-15 西门子股份公司 使用cad模型作为先验的从图像中的对象识别
CN112236778B (zh) * 2018-04-06 2024-04-16 西门子股份公司 使用cad模型作为先验的从图像中的对象识别
CN108986200A (zh) * 2018-07-13 2018-12-11 北京中清龙图网络技术有限公司 图形渲染的预处理方法及系统
CN112384928A (zh) * 2018-08-01 2021-02-19 三星电子株式会社 对图像执行对象照明操纵的方法和装置
CN109255841A (zh) * 2018-08-28 2019-01-22 百度在线网络技术（北京）有限公司 Ar图像呈现方法、装置、终端及存储介质
CN109410300A (zh) * 2018-10-10 2019-03-01 苏州好玩友网络科技有限公司 一种游戏场景中的阴影处理方法及装置及终端设备
CN111060946A (zh) * 2018-10-17 2020-04-24 三星电子株式会社 用于估计位置的方法和装置
CN112529996A (zh) * 2020-12-16 2021-03-19 网易（杭州）网络有限公司 生成模型的方法、装置和电子设备
CN112529996B (zh) * 2020-12-16 2024-02-23 网易（杭州）网络有限公司 生成模型的方法、装置和电子设备
WO2022140887A1 (zh) * 2020-12-28 2022-07-07 华为技术有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
JP2017059235A (ja) 2017-03-23
JP6864449B2 (ja) 2021-04-28
CN106548455B (zh) 2022-03-08
US20170084068A1 (en) 2017-03-23
US9922452B2 (en) 2018-03-20
EP3144899B1 (en) 2020-02-12
EP3144899A1 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106548455A (zh) 用于调整图像的亮度的设备和方法
US20230154105A1 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN110148204B (zh) 用于在真实环境的视图中表示虚拟对象的方法和系统
US11210839B2 (en) Photometric image processing
CN105103189B (zh) 近红外引导的图像去噪
CN105122302B (zh) 无重影高动态范围图像的产生
JP3575679B2 (ja) 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
EP1969559B1 (en) Contour finding in segmentation of video sequences
US8126268B2 (en) Edge-guided morphological closing in segmentation of video sequences
JP6312714B2 (ja) 陰影検出および減衰のためのマルチスペクトル撮像システム
US8451322B2 (en) Imaging system and method
CN110248450B (zh) 一种结合人物进行灯光控制的方法及装置
CN110168562B (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
US9049397B2 (en) Image processing device and image processing method
US20090028432A1 (en) Segmentation of Video Sequences
CN110517202A (zh) 一种车身摄像头标定方法及其标定装置
US20230043787A1 (en) Lighting assembly for producing realistic photo images
CN103262126B (zh) 图像处理装置、照明处理装置及其方法
CN107146264B (zh) 一种提取材质表面几何和光照物理属性的方法
JP2013168146A (ja) 実物体のテクスチャ描写を生成する方法、装置、およびシステム
CN106973236A (zh) 一种拍摄控制方法及装置
CN106210699A (zh) 信息处理装置、信息处理装置的控制方法及图像处理系统
JP2021044710A (ja) 画像処理装置、画像処理方法、およびプログラム
US20130194254A1 (en) Image processing apparatus, image processing method and program
CN112204945A (zh) 图像处理方法、设备、拍摄装置、可移动平台及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant