CN106331663B - 一种便携设备的交互材质获取系统和方法 - Google Patents

一种便携设备的交互材质获取系统和方法 Download PDF

Info

Publication number
CN106331663B
CN106331663B CN201610738493.8A CN201610738493A CN106331663B CN 106331663 B CN106331663 B CN 106331663B CN 201610738493 A CN201610738493 A CN 201610738493A CN 106331663 B CN106331663 B CN 106331663B
Authority
CN
China
Prior art keywords
map
module
image
pixel
calculate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610738493.8A
Other languages
English (en)
Other versions
CN106331663A (zh
Inventor
崔树林
杨林
武韬
董波
吴云
黄衫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Xishan Jushiyou Technology Co ltd
Original Assignee
Western Hills Residence Guangzhou Shi You Network Technology Co Ltd
Zhuhai Kingsoft Online Game Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Hills Residence Guangzhou Shi You Network Technology Co Ltd, Zhuhai Kingsoft Online Game Technology Co Ltd filed Critical Western Hills Residence Guangzhou Shi You Network Technology Co Ltd
Priority to CN201610738493.8A priority Critical patent/CN106331663B/zh
Publication of CN106331663A publication Critical patent/CN106331663A/zh
Application granted granted Critical
Publication of CN106331663B publication Critical patent/CN106331663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明技术方案包括一种便携设备的交互材质获取系统和方法，实现了：采集闪光材质图像非闪光材质图像；根据用户输入的分离参数进行分离；根据新明暗图的像素差创建切向量并计算法向图初始值；计算漫反射系数图初始值；基于用户输入的高光系数计算高光指数图的初始值；计算镜像反射系数图的初始值，根据所述高光分离模块、法向图模块、漫反射模块和高光指数模块得到最终非闪光材质图像；使用非线性优化技术计算材质贴图参数，生成材质贴图。本发明的有益效果为利用手机、单反相机等便携设备采集带闪光、无闪光两张图像，交互式生成更为真实的材质贴图，解决目前游戏制作、影视动画等领域材质制作周期长、成本高、精度低等问题。

Description

一种便携设备的交互材质获取系统和方法
技术领域
本发明涉及一种便携设备的交互材质获取系统和方法，属于图形图像处理领域。
背景技术
近年来，利用单幅图像获取材质外观属性并生成材质贴图技术，取得了一些进展，例如，在工业界技术人员利用CrazyBump计算Normal图；在研究领域，微软亚洲研究院开发出了一款交互式材质获取系统AppGen。但是相关系统均假设输入的单幅图像没有明显的高光，限制了此类方法的应用。另一方面，利用此类方法恢复的材质贴图，很难制作出类似于真实光照条件下的渲染效果。
YUV是被欧洲电视系统所采用的一种颜色编码方法，是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。YUV的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。
发明内容
针对现有技术的不足，本发明的技术方案公开了一种便携设备的交互材质获取系统方法，图像数据通过手机、单反相机等设备拍摄带闪光和无闪光照片获得。
本发明的技术方案包括一种便携设备的交互材质获取系统，其特征在于，该系统包括：采集模块，用于使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；高光分离模块，用于将所述采集模块采集的无闪光原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图计算得到新的明暗图，进一步将YUV图像分离得到镜像反射图和漫反射图；法向图模块，根据高光分离模块得到新明暗图的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；漫反射模块，用于获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；高光指数模块，用于获取所述高光分离模块得到新明暗图，进一步，基于用户输入的高光系数计算高光指数图的初始值；镜像反射模块，用于获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值；参数优化模块，用于获取根据所述法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。
根据所述的便携设备的交互材质获取系统，所述的高光分离模块还包括：转换子模块，用于将采集的无闪光材质图像的原始RGB颜色空间转换为YUV颜色空间的材质图像，原始明暗图Y1、以及原始颜色图U及饱和度V；分离子模块，用于根据用户自定义设置的分离参数p，其中新明暗图Y2为Y2＝Y1*p，进一步，基于新明暗图Y2、原始颜色图U及饱和度V组合为新RGB图像，并将新RGB图像作为漫反射图，镜像反射图像与漫反射图的和为原始RGB图像。
根据所述的便携设备的交互材质获取系统，所述的法向图模块还包括：用于获取所述新明暗图Y2的像素差，进一步，对于任意像素点(i,j)的值D(i,j)，在S和T方向的切向量分别为S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，T(i,j)＝(0,1,D(i,j+1)-D(i,j-1),)，则第一切向量S与第二切向量T的积为法向图初始值。
根据所述的便携设备的交互材质获取系统，所述的漫反射模块还包括：用于对漫反射初始值进行计算，其中，漫反射系数图＝漫反射图/NdotL，NdotL为像素法向量与光照向量的内积。
根据所述的便携设备的交互材质获取系统，所述的高光指数模块还包括：用于根据用户自定义输入的高光参数，对高光指数图的初始值进行计算，其计算方式为，高光指数图＝新的明暗图Y2*高光参数。
根据所述的便携设备的交互材质获取系统，所述的镜像反射模块还包括：用于计算镜面反射系数图的初始值，其计算方式为，镜面反射系数图＝镜面反射图/pow(NdotH,g(x))/NdotL，其中H表示光照、视线中间分量，NdotH为像素法向量与H的内积，g(x)表示任意像素点x的高光指数。
根据所述的便携设备的交互材质获取系统，所述的参数优化模块还包括：聚类子模块，用于对参数初始化的无闪光图像的所有像素点进行N聚类，N表示聚类个数；采集参数子模块，用于获取便携设备的FOV参数，初始化带闪光图像每个像素点的光照Lj、视线Vj参数；像素处理子模块，用于对所述带闪光图像的每个像素类别Ci进行处理。
根据所述的便携设备的交互材质获取系统，在一个优选的实施方案中，所述的像素处理子模块对每个像素类别Ci处理，包括：像素选取子模块，用于获取当前像素类别中的任意一个像素点P的值；读取初始参数子模块，用于获取与像素点P对应的无闪光材质图像像素点的初始化参数；读取采集参数子模块，用于读取当前像素类别Ci的每一个像素点Pj的RGB值、光照Lj、视线Vj；非线性优化子模块，用于分别调取所述像素选取子模块、读取初始参数子模块、读取采集参数子模块获取的数据，使用非线性优化计算像素点P的参数，并存储作为当前像素类别Ci对应的贴图参数基；贴图参数子模块，用于一一计算当前像素类别Ci的剩余像素点与像素点P的比值，作为剩余像素点的权重系数，进一步，根据当前像素类别Ci的贴图参数基，计算剩余像素点的贴图参数。
本发明的技术方案还包括一种交互材质获取方法，其特征在于，该方法包括：使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；将所述采集模块采集的无闪光原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图计算得到新的明暗图，进一步将YUV图像分离得到镜像反射图和漫反射图；根据高光分离模块得到新明暗图的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；获取所述高光分离模块得到新明暗图，进一步，基于用户输入的高光系数计算高光指数图的初始值；获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值；获取根据所述法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。
进一步，该方法还包括：将采集的无闪光材质图像的原始RGB颜色空间转换为YUV颜色空间的材质图像，原始明暗图Y1、以及原始颜色图U及饱和度V；根据用户自定义设置的分离参数p，其中新明暗图Y2为Y2＝Y1*p，进一步，基于新明暗图Y2、原始颜色图U及饱和度V组合为新RGB图像，并将新RGB图像作为漫反射图，镜像反射图像与漫反射图的和为原始RGB图像。
进一步，该方法还包括：获取所述新明暗图Y2的像素差，进一步，对于任意像素点(i,j)的值D(i,j)，在S和T方向的切向量分别为S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，T(i,j)＝(0,1,D(i,j+1)-D(i,j-1),)，则第一切向量S与第二切向量T的积为法向图初始值。
进一步，该方法还包括：对漫反射初始值进行计算，其中，漫反射系数图＝漫反射图/NdotL，NdotL为像素法向量与光照向量的内积。
进一步，该方法还包括：根据用户自定义输入的高光参数，对高光指数图的初始值进行计算，其计算方式为，高光指数图＝新的明暗图Y2*高光参数。
进一步，该方法还包括：计算镜面反射系数图的初始值，其计算方式为，镜面反射系数图＝镜面反射图/pow(NdotH,g(x))/NdotL，其中H表示光照、视线中间分量，NdotH为像素法向量与H的内积，g(x)表示任意像素点x的高光指数。
进一步，该方法还包括：对参数初始化的无闪光图像的所有像素点进行N聚类，N表示聚类个数；获取便携设备的FOV参数，初始化带闪光图像每个像素点的光照Lj、视线Vj参数；对所述带闪光图像的每个像素类别Ci进行处理。
进一步，该方法还对没个Ci进行计算，包括：获取当前像素类别中的任意一个像素点P的值；获取与像素点P对应的无闪光材质图像像素点的初始化参数；读取当前像素类别Ci的每一个像素点Pj的RGB值、光照Lj、视线Vj；分别调取所述像素选取子模块、读取初始参数子模块、读取采集参数子模块获取的数据，使用非线性优化计算像素点P的参数，并存储作为当前像素类别Ci对应的贴图参数基；一一计算当前像素类别Ci的剩余像素点与像素点P的比值，作为剩余像素点的权重系数，进一步，根据当前像素类别Ci的贴图参数基，计算剩余像素点的贴图参数。的权重系数，进一步，根据当前像素类别Ci的贴图参数基，计算剩余像素点的贴图参数。
本发明的有益效果为：本发明的材质外观获取系统利用手机、单反相机等便携设备采集带闪光、无闪光两张图像，交互式生成更为真实的材质贴图，从而解决目前游戏制作、影视动画等领域材质制作周期长、成本高、精度低等问题。
附图说明
图1所示为根据本发明实施方式的系统框图；
图2所示为根据本发明实施方式的详细流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。本发明的便携设备的交互材质获取系统和方法适用于图形图像处理。
图1所示为根据本发明实施方式的系统模块图与流程图。其中才采集模块用于实现图像源数据采集，其中的高光分离模块、法向图模块、漫反射模块、镜像反射模块用于根据无闪光图像初始化材质贴图参数，其中的参数模块用于对闪光材质图像处理。该采集模块，用于采集第一便携设备的闪光材质图像，还用于采集第二便携设备的非闪光材质图像；高光分离模块，用于基于用户输入的分离参数将所述采集模块采集的非闪光原始RGB颜色空间图像转化成YUV颜色空间图像，并对转化YUV图像二次转化为新的RGB图像并进行分离得到镜像反射图和漫反射图，其中YUV颜色空间包括原始明暗图、原始颜色图及饱和度；法向图模块，用于获取YUV颜色空间图像的新明暗图，根据新明暗图的像素差在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；漫反射模块，用于获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；高光指数模块，用于获取所述高光分离模块得到新明暗图，进一步，基于用户输入的高光系数计算高光指数图的初始值；镜像反射模块，用于获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值，根据所述高光分离模块、法向图模块、漫反射模块和高光指数模块得到最终非闪光材质图像；参数模块，用于根据所述高光分离模块、法向图模块、漫反射模块和高光指数模块得到最终非闪光材质图像的初始化参数，还获取所述采集模块的闪光材质图像，使用非线性优化技术计算材质贴图参数，进一步，得到材质图像外观属性并生成材质贴图。
图2所示为根据本发明实施方式的详细流程图。其具体实施步骤包括S201～
S201,数据采集，通过手机、单反相机等设备拍摄带闪光和无闪光两张材质图像。
S202，高光分离，本发明的技术方案利用YUV颜色空间的明暗值Y将原始RGB图像分离成漫反射图、镜面反射图两部分。
其具体实施如下(1)～(5)所示，包括：
(1)根据原始RGB图像计算原始明暗图Y、以及原始颜色图U、V；
(2)用户交互输入分离参数(一般为0.6～0.8)；
(3)新的明暗图Y2＝原始明暗图Y*分离参数；
(4)根据新的明暗图Y2以及原始颜色图U、V生成新的RGB图像，作为漫反射图；
(5)镜面反射图＝原始RGB图像-漫反射图。
S203，法向图初始化，基本思想是根据新的明暗图Y2的像素值差，在切空间构造S向量和T向量，由S×T得到ND。具体如下：
根据象素点(i,j)的值D(i,j)，在S和T方向的切向量为，
S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，
T(i,j)＝(0,1,D(i,j+1)-D(i,j-1),)。
因此，根据ND(i,j)＝S(i,j)×T(i,j)可计算法向图。
S204，漫反射系数图初始化，漫反射系数＝漫反射图/NdotL。其中，NdotL为像素法向量与光照向量的内积。在本阶段假设光照垂直于材质表面，即L(0,0,1)。
S205，高光指数图初始化，用户交互式输入高光参数(一般为0.1～0.5)，高光指数图＝新的明暗图Y2*高光参数。
S206，镜面反射系数图初始化，镜面反射系数图＝镜面反射图/pow(NdotH,g(x))/NdotL。NdotL：为像素法向量与光照向量的内积；NdotH：为像素法向量与H(光照、视线中间分量)的内积；g(x)：任意像素点x高光指数；pow(NdotH,g(x))：NdotH的g(x)次方。
S207，根据带闪光图像，利用非线性优化技术计算材质贴图参数，包括如下(1)～(3)：
(1)对无闪光图像的所有像素点进行聚类(N为聚类个数)。
(2)根据相机的FOV参数，初始化带闪光图像每个像素点的光照Lj、视线Vj参数。
(3)按照以下步骤依次处理每一类像素Ci。
对于步骤(3)，其还包括(A)～(E)6个子模块：
(A)从当前类别Ci随机选择一个像素点P；
(B)读取像素点P对应的材质贴图参数(在步骤S202～S206根据无闪光图像初始化得到)；
(C)读取当前类别Ci的每一个像素点Pj的RGB值、光照Lj、视线Vj；
(D)将(B)和(C)的值分别作为像素点P的材质贴图参数初始值和已知输入数据，利用非线性优化技术，重新计算像素点P的贴图参数，并作为当前类别的的贴图参数基。
(E)依次计算当前类别Ci其他像素点与像素点P的比值，作为其他像素点的权重系数，根据当前类别的贴图参数基，计算其他像素点的贴图参数。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其 技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (16)

1.一种便携设备的交互材质获取系统，其特征在于，该系统包括：
采集模块，用于使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；
高光分离模块，用于将所述采集模块采集的无闪光材质图像的原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图Y1计算得到新明暗图Y2，进一步将YUV图像分离得到镜像反射图和漫反射图；
法向图模块，根据高光分离模块得到的新明暗图Y2的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；
漫反射模块，用于获取所述高光分离模块得到的漫反射图，计算漫反射系数图初始值；
高光指数模块，用于获取所述高光分离模块得到的新明暗图Y2，进一步，基于用户输入的高光系数计算高光指数图的初始值；
镜像反射模块，用于获取所述高光分离模块得到的镜像反射图，进一步计算镜像反射系数图的初始值；
参数优化模块，用于获取根据所述法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。
2.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的高光分离模块还包括：
转换子模块，用于将采集的无闪光材质图像的原始RGB颜色空间的材质图像转换为YUV颜色空间的材质图像，原始明暗图Y1、以及原始颜色图U及饱和度V；
分离子模块，用于根据用户自定义设置的分离参数p，其中新明暗图Y2为Y2＝Y1*p，进一步，基于新明暗图Y2、原始颜色图U及饱和度V组合为新RGB图像，并将新RGB图像作为漫反射图，镜像反射图像与漫反射图的和为原始RGB颜色空间的材质图像。
3.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的法向图模块还包括：
用于获取所述新明暗图Y2的像素差，进一步，对于任意像素点(i,j)的值D(i,j)，在S和T方向的切向量分别为
S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，
T(i,j)＝(0,1,D(i,j+1)-D(i,j-1),)，
则第一切向量S与第二切向量T的积为法向图初始值。
4.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的漫反射模块还包括：
用于对漫反射系数图初始值进行计算，其中，
漫反射系数图＝漫反射图/NdotL，
NdotL为像素法向量与光照向量的内积。
5.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的高光指数模块还包括：
用于根据用户自定义输入的高光参数，对高光指数图的初始值进行计算，其计算方式为，高光指数图＝新明暗图Y2*高光参数。
6.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的镜像反射模块还包括：
用于计算镜像反射系数图的初始值，其计算方式为，
镜像反射系数图＝镜像反射图/pow(NdotH,g(x))/NdotL，
其中H表示光照、视线中间分量，NdotH为像素法向量与H的内积，NdotL为像素法向量与光照向量的内积，g(x)表示任意像素点x的高光指数，pow(NdotH,g(x))表示NdotH的g(x)次方。
7.根据权利要求1所述的便携设备的交互材质获取系统，其特征在于，所述的参数优化模块还包括：
聚类子模块，用于对参数初始化的无闪光材质图像的所有像素点进行N聚类，N表示聚类个数；
采集参数子模块，用于获取便携设备的FOV参数，初始化带闪光材质图像每个像素点的光照Lj、视线Vj参数；
像素处理子模块，用于对所述带闪光材质图像的每个像素类别Ci进行处理。
8.根据权利要求7所述的便携设备的交互材质获取系统，其特征在于，所述像素处理子模块对每个像素类别Ci处理还包括：
像素选取子模块，用于获取当前像素类别中的任意一个像素点P的值；
读取初始参数子模块，用于获取与像素点P对应的无闪光材质图像像素点的初始化参数；
读取采集参数子模块，用于读取当前像素类别Ci的每一个像素点Pj的RGB值、光照Lj、视线Vj；
非线性优化子模块，用于分别调取所述像素选取子模块、读取初始参数子模块、读取采集参数子模块获取的数据，使用非线性优化计算像素点P的参数，并存储作为当前像素类别Ci对应的贴图参数基；
贴图参数子模块，用于一一计算当前像素类别Ci的剩余像素点与像素点P的比值，作为剩余像素点的权重系数，进一步，根据当前像素类别Ci的贴图参数基，计算剩余像素点的贴图参数。
9.一种交互材质获取方法，其特征在于，该方法包括：
采集模块，用于使用便携设备采集无闪光材质图像，还用于利用便携设备采集带闪光材质图像；
将所述采集模块采集的无闪光材质图像的原始RGB颜色空间图像转化成YUV颜色空间图像，并基于用户输入的分离参数以及YUV颜色空间图像的原始明暗图Y1计算得到新明暗图Y2，进一步将YUV图像分离得到镜像反射图和漫反射图；
根据高光分离模块得到的新明暗图Y2的像素差，在切空间创建第一切向量和第二切向量，进一步，根据第一切向量和第二切向量计算法向图初始值；
获取所述高光分离得到的漫反射图，计算漫反射系数图初始值；
获取所述高光分离模块得到的新明暗图Y2，进一步，基于用户输入的高光系数计算高光指数图的初始值；
获取所述高光分离得到的镜像反射图，进一步计算镜像反射系数图的初始值；
获取根据法向图模块、漫反射模块、高光指数模块和镜像反射模块得到的初始化参数，还获取所述采集模块的带闪光材质图像，使用非线性优化技术计算材质贴图参数并生成材质贴图。
10.根据权利要求9所述的交互材质获取方法，其特征在于，该方法还包括：
将采集的无闪光材质图像的原始RGB颜色空间的材质图像转换为YUV颜色空间的材质图像，原始明暗图Y1、以及原始颜色图U及饱和度V；
根据用户自定义设置的分离参数p，其中新明暗图Y2为Y2＝Y1*p，进一步，基于新明暗图Y2、原始颜色图U及饱和度V组合为新RGB图像，并将新RGB图像作为漫反射图，镜像反射图像与漫反射图的和为原始RGB颜色空间的材质图像。
11.根据权利要求9所述的交互材质获取方法，其特征在于，该方法还包括：
获取所述新明暗图Y2的像素差，进一步，对于任意像素点(i,j)的值D(i,j)，在S和T方向的切向量分别为S(i,j)＝(1,0,D(i+1,j)-D(i-1,j),)，T(i,j)＝(0,1,D(i,j+1)-D(i,j-1),)，则第一切向量S与第二切向量T的积为法向图初始值。
12.根据权利要求9所述的交互材质获取方法，其特征在于，该方法还包括：
对漫反射系数图初始值进行计算，其中，漫反射系数图＝漫反射图/NdotL，NdotL为像素法向量与光照向量的内积。
13.根据权利要求9所述的交互材质获取方法，其特征在于，该方法还包括：
根据用户自定义输入的高光参数，对高光指数图的初始值进行计算，其计算方式为，高光指数图＝新明暗图Y2*高光参数。
14.根据权利要求9所述的交互材质获取方法，其特征在于，该方法还包括：
计算镜像反射系数图的初始值，其计算方式为，
镜像反射系数图＝镜像反射图/pow(NdotH,g(x))/NdotL，
其中H表示光照、视线中间分量，NdotH为像素法向量与H的内积，NdotL为像素法向量与光照向量的内积，g(x)表示任意像素点x的高光指数，pow(NdotH,g(x))表示NdotH的g(x)次方。
15.根据权利要求9所述的交互材质获取方法，其特征在于，该方法还包括：
对参数初始化的无闪光材质图像的所有像素点进行N聚类，N表示聚类个数；
获取便携设备的FOV参数，初始化带闪光材质图像每个像素点的光照Lj、视线Vj参数；
对所述带闪光材质图像的每个像素类别Ci进行处理。
16.根据权利要求15所述的交互材质获取方法，其特征在于，该方法基于如权利要求8所述的便携设备的交互材质获取系统，还对每个Ci进行计算，包括：
获取当前像素类别中的任意一个像素点P的值；
获取与像素点P对应的无闪光材质图像像素点的初始化参数；
读取当前像素类别Ci的每一个像素点Pj的RGB值、光照Lj、视线Vj；
分别调取像素选取子模块、读取初始参数子模块、读取采集参数子模块获取的数据，使用非线性优化计算像素点P的参数，并存储作为当前像素类别Ci对应的贴图参数基；
一一计算当前像素类别Ci的剩余像素点与像素点P的比值，作为剩余像素点的权重系数，进一步，根据当前像素类别Ci的贴图参数基，计算剩余像素点的贴图参数。
CN201610738493.8A 2016-08-26 2016-08-26 一种便携设备的交互材质获取系统和方法 Active CN106331663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610738493.8A CN106331663B (zh) 2016-08-26 2016-08-26 一种便携设备的交互材质获取系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610738493.8A CN106331663B (zh) 2016-08-26 2016-08-26 一种便携设备的交互材质获取系统和方法

Publications (2)

Publication Number Publication Date
CN106331663A CN106331663A (zh) 2017-01-11
CN106331663B true CN106331663B (zh) 2018-12-11

Family

ID=57791024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610738493.8A Active CN106331663B (zh) 2016-08-26 2016-08-26 一种便携设备的交互材质获取系统和方法

Country Status (1)

Country Link
CN (1) CN106331663B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971418A (zh) * 2017-04-28 2017-07-21 碰海科技（北京）有限公司 手持式家居建材凹凸表面质感重建装置
CN112150592B (zh) * 2020-09-28 2023-07-14 腾讯科技（深圳）有限公司 动画文件的生成方法和装置、存储介质及电子设备
CN112634156B (zh) * 2020-12-22 2022-06-24 浙江大学 基于便携式设备采集图像估计材质反射参数的方法
CN114119779B (zh) * 2021-10-29 2025-04-11 浙江凌迪数字科技有限公司 通过多角度打光拍摄生成材质贴图的方法及电子装置
CN114549607B (zh) * 2022-02-21 2025-10-31 脸萌有限公司 主体材质确定方法、装置、电子设备及存储介质
CN115035306B (zh) * 2022-06-24 2025-04-11 Oppo广东移动通信有限公司 图像材质确定方法及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259455B1 (en) * 1998-06-30 2001-07-10 Cirrus Logic, Inc. Method and apparatus for applying specular highlighting with specular components included with texture maps
KR100521413B1 (ko) * 2003-12-26 2005-10-17 한국전자통신연구원 필터링된 환경맵을 이용한 역렌더링 장치 및 그 방법
EP2610814A4 (en) * 2010-08-27 2014-10-01 Siliconarts Inc METHOD FOR SELECTING A MIPMAP LEVEL AND SYSTEM FOR TEXTURE ALLOCATION THEREWITH
CN102819864B (zh) * 2012-08-14 2014-12-17 北京航空航天大学 基于光度图的几何与表面材质的重建方法
CN104463198A (zh) * 2014-11-19 2015-03-25 上海电机学院 一种对真实光照环境进行光照估算的方法
CN105574920B (zh) * 2016-01-28 2018-03-13 网易（杭州）网络有限公司 材质贴图生成方法及装置、材质合成方法及装置

Also Published As

Publication number Publication date
CN106331663A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106331663B (zh) 一种便携设备的交互材质获取系统和方法
US11882369B2 (en) Method and system of lens shading color correction using block matching
CN113012081B (zh) 图像处理方法、装置和电子系统
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2021179820A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN101425179B (zh) 一种人脸图像重光照的方法及装置
CN109660782B (zh) 减少立体深度传感器成像中的纹理化ir图案
CN107045715A (zh) 一种单幅低动态范围图像生成高动态范围图像的方法
CN113129391B (zh) 基于多曝光图像特征分布权重的多曝光融合方法
CN105049718A (zh) 一种图像处理方法及终端
CN113556526B (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
CN105163047A (zh) 一种基于色彩空间转换的hdr图像生成方法、系统及拍摄终端
CN106063249A (zh) 摄像装置及其控制方法以及计算机可读记录介质
WO2024027287A9 (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN111147857B (zh) 一种图像处理方法、图像处理装置、电子设备和存储介质
CN104883504A (zh) 开启智能终端上高动态范围hdr功能的方法及装置
CN117274107B (zh) 低照度场景下端到端色彩及细节增强方法、装置及设备
CN108353133B (zh) 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
CN105321153B (zh) 视频监控低照度图像色彩还原方法和装置
US8994848B2 (en) Method and system for handling mixed illumination in video and photography
CN106408617B (zh) 一种基于yuv颜色空间的交互式单幅图像材质获取系统和方法
CN109325905B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109191398B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN104469226B (zh) 投影融合的方法及融合设备
CN102469248A (zh) 影像拍摄装置及其影像合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329

Patentee after: Zhuhai Jinshan Digital Network Technology Co.,Ltd.

Patentee after: Guangzhou Xishanju Network Technology Co.,Ltd.

Address before: 519000 Jinshan software building, 8 Lanshan lane, Jida Jingshan Hill Road, Zhuhai, Guangdong

Patentee before: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd.

Patentee before: GUANGZHOU SEASUN ENTERTAINMENT NETWORK TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20241210

Address after: Room 201, No. 325 Qiandao Ring Road, Tangjiawan Town, High tech Zone, Zhuhai City, Guangdong Province 519000

Patentee after: Zhuhai Xishan Jushiyou Technology Co.,Ltd.

Country or region after: China

Address before: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329

Patentee before: Zhuhai Jinshan Digital Network Technology Co.,Ltd.

Country or region before: China

Patentee before: Guangzhou Xishanju Network Technology Co.,Ltd.

TR01 Transfer of patent right