CN107507263B

CN107507263B - 一种基于图像的纹理生成方法及系统

Info

Publication number: CN107507263B
Application number: CN201710576831.7A
Authority: CN
Inventors: 黄曦; 吴鑫; 周勋; 张晨晔; 张建奇
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-07-14
Filing date: 2017-07-14
Publication date: 2020-11-24
Anticipated expiration: 2037-07-14
Also published as: CN107507263A

Abstract

本发明公开了一种基于图像的纹理生成方法，包括以下步骤：S1、建立待生成目标的三维模型及彩色编码索引表，将所述索引表作为纹理映射在所述三维模型表面；S2、获取至少两幅不同角度的所述待生成目标的图像数据；S3、将所述图像数据与所述三维模型进行外轮廓匹配；S4、利用所述索引表对所述外轮廓匹配后的图像进行索引，分别提取每个所述待生成目标图像的纹理特征；S5、将不同的所述纹理特征进行融合；S6、将融合后的纹理作为表面纹理映射在所述三维模型的表面。按照本发明步骤进行纹理生成不需要人工进行纹理绘制就能生成纹理，也不需要人工进行几何模型顶点与纹理细节的位置调整就能建立准确的映射关系，其效率高、纹理生成方法简单、自动化程度较高。

Description

一种基于图像的纹理生成方法及系统

技术领域

本发明涉及图像处理与计算机图形学领域，特别涉及一种基于图像的纹理生成方法及系统。

背景技术

真实感仿真长久以来一直作为计算机视觉领域中一个重要的研究方向，而且高真实感作为计算机渲染仿真中权衡仿真效果是否符合客观事实的一个决定性指标，受到各方面的关注。

现有技术中，Kenji Matsushita和Toyohisa Kaneko研究出一种三维立体目标表面高效、便捷的纹理映射方法。其研究是以三维重建模型的数据已知为前提，通过仅采用一台数码相机对真实目标进行拍摄，利用实拍图中目标的纹理，对三维重建模型进行纹理贴图，从而达到高真实感的方法。该方法分成两步：第一步利用数码相机环绕目标进行实际拍摄，获取到目标表面每一个可见面片的实际颜色纹理信息；第二步对实际拍摄的目标与三维重建模型进行外轮廓配准，确定每张照片的相机位置和方向后，直接将实拍目标的纹理赋予三维重建模型，恢复了模型的表面纹理。然而该方法没有对表面纹理进行插值，融合等优化处理，可编辑性差。

在现有另一技术中，K Nishino等人提出特征纹理的方法，该方法首先将各种照明条件与观察条件下的关于该目标的所有细节信息全部采样，存储在同一幅纹理采样表中，根据特征纹理的方法压缩在与模型表面有映射关系的二维采样表中，由此得到的仿真目标表面纹理由一系列纹理采样点生成，其可以模拟故不需要对物体表面做任何反射因素的分析，增大了实用性。然而该方法需要采样不同环境变化下的纹理信息，故图像序列存储压缩的计算花费很大。

此外，目前在动画、游戏行业普遍使用uv展开后手工绘制的方法，利用商业工具，通过uvw展开技术对三维模型的二维展开后，利用人工处理的方式对映射区域的面片进行精确的纹理绘制，可编辑性强，但要得到高真实感的纹理需要投入相当大的且有很好美术功底的人力资源，并且方法不够自动化，效率较低。

综上所述，现有的纹理生成方法处理复杂，不能灵活、高效地进行高真实感的纹理映射。

发明内容

本发明在于克服现有技术的上述不足，提供一种处理方便，效率较高，能够灵活应用的基于图像的纹理生成方法及系统。

为了实现上述发明目的，本发明采用的技术方案是：

一种基于图像的纹理生成方法，包括以下步骤：

S1、建立待生成目标的三维模型及彩色编码索引表，将所述索引表作为纹理映射在所述三维模型表面；

S2、获取至少两幅不同角度的所述待生成目标的图像数据；

S3、将所述图像数据与所述三维模型进行外轮廓匹配；

S4、利用所述索引表对所述外轮廓匹配后的图像进行索引，分别提取每个所述待生成目标图像的纹理特征；

S5、将不同的所述纹理特征进行融合。

可选的，所述S5步骤还包括，将所述融合后的图像进行插值校正。

可选的，所述S2步骤还包括，设置所述待生成目标背景颜色为纯色背景。

可选的，所述外轮廓匹配算法为基于Hu矩的轮廓匹配算法。

可选的，所述纹理特征融合算法为alpha融合法。

本发明同时提供一种基于图像的纹理生成系统，包括：

模型建立模块，建立待生成目标的三维模型及彩色编码索引表，将所述索引表作为纹理映射在所述三维模型表面；

图像采集模块，用于获取至少两幅不同角度的所述待生成目标的图像数据；

轮廓匹配模块，用于将所述图像数据与所述三维模型进行外轮廓匹配；

特征提取模块，用于利用所述索引表对所述外轮廓匹配后的图像进行索引，分别提取每个所述待生成目标图像的纹理特征；

融合模块，用于将不同的所述纹理特征进行融合。

可选的，所述融合模块还用于将所述融合后的图像进行插值校正。

可选的，所述图像采集模块还用于设置所述待生成目标背景颜色为纯色背景。

可选的，所述外轮廓匹配算法为基于Hu矩的轮廓匹配算法。

可选的，所述纹理特征融合算法为alpha融合法。

本发明通过建立待生成目标的三维模型，及采集待生成目标的图像数据进行匹配后，利用彩色编码索引表对该三维模型进行纹理特征提取，之后对不同角度的纹理进行融合后映射在三维模型表面。与现有技术相比，本发明不需要人工进行纹理绘制就能生成纹理，也不需要人工进行几何模型顶点与纹理细节的位置调整就能建立准确的映射关系，其效率高、纹理生成方法简单、自动化程度较高。

附图说明

图1为本发明的基于图像的纹理生成方法流程图；

图2为本发明中利用B、G两个维度制作出的彩色编码索引表；

图3为本发明中用四个R值调制的彩色编码索引表；

图4为本发明中用彩色编码索引表作为纹理渲染出的模型；

图5为本发明中分割出目标的图像；

图6为本发明中用二值化操作后提取的目标轮廓；

图7为本发明中用二值化操作后提取的模型轮廓；

图8为本发明匹配完成时的三维模型图；

图9为匹配完成时的目标示意图；

图10为本发明中经过彩色编码索引表提取的纹理特征；

图11为本发明中对第一次拍摄角度时提取的三维模型纹理；

图12为本发明中对第二次拍摄角度时提取的三维模型纹理；

图13a，13b所示为将两次提取的纹理进行融合后的图示；

图14为本发明最终的纹理映射到模型的结果图。

图15为本发明的基于图像的纹理生成系统模块框图。

具体实施方式

下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例一：

图1所示为本发明的基于图像的纹理生成方法流程图，包括以下步骤：

S2、获取至少两幅不同角度的所述待生成目标的图像数据；

S3、将所述图像数据与所述三维模型进行外轮廓匹配；

S5、将不同的所述纹理特征进行融合。在S5之后还包括S6、将融合后的纹理作为表面纹理映射在所述三维模型的表面。

在一个实施方式中，本发明建立彩色编码索引表I：以横轴作为B通道的增减维度，以纵轴作为G通道的增减维度，可以建立最大256*256的索引表位图i，参看图2，设置R通道，建立彩色编码索引表I，例如R通道为4，建立彩色编码索引表I₄，参看图3，通过uv展开工具将三维模型的每个面片无重叠的展开到之前建立的彩色编码索引表I₄上，即以彩色编码索引表I₄为纹理映射到模型表面，参看图4。

在进行目标图像获取时，利用拍摄装置对目标进行拍摄，并单独的分离出目标。参看图5。

在一个实施方式中，本发明通过二值化操作分别提取目标与模型的外轮廓，参看图6-7。具体的，设置配准参数阈值，由粗到精细依次设置步长，多次利用Hu矩算法进行轮廓匹配操作，分别控制模型的三个旋转自由度进行旋转变换并计算出配准参数；对计算所得的匹配参数，取最小值时对应的旋转参数作为起始值，将步长减小一半，继续控制模型；对上次计算所得的匹配参数，取最小值时对应的旋转参数作为起始值，将步长减小一半，继续控制模型；最终得到匹配参数最小并且小于阈值，匹配结束；在一个实例中，参看表1-表3，设置配准参数阈值为1.5，先用步长为5度，分别控制模型的三个旋转自由度进行旋转变换并计算出配准参数为yaw＝-5，roll＝0，pitch＝15时，F＝10.3615；对计算所得的匹配参数，取最小值时对应的旋转参数作为起始值，将步长减小一半，继续控制模型，计算出配准参数为yaw＝-2.5，roll＝0，pitch＝15时，F＝1.85573；对上次计算所得的匹配参数，取最小值时对应的旋转参数作为起始值，将步长减小一半，继续控制模型，此时，yaw＝-2.5，roll＝0，pitch＝13.75时，F＝1.45925，匹配参数最小并且小于阈值，故匹配结束，参看图8所示为匹配完成时的三维模型图，图9所示为目标图。

yaw:0	roll:0	pitch:5	Hu矩1：	58.0961
					yaw:0	roll:0	pitch:10	Hu矩2：	38.8058
yaw:0	roll:0	pitch:15	Hu矩3：	41.9896
					yaw:0	roll:5	pitch:15	Hu矩4：	22.2352
yaw:0	roll:0	pitch:15	Hu矩5：	41.9896
					yaw:-5	roll:0	pitch:15	Hu矩6：	10.3615
yaw:0	roll:0	pitch:15	Hu矩7：	41.9896
					yaw:0	roll:0	pitch:20	Hu矩8：	35.5208
yaw:0	roll:0	pitch:25	Hu矩9：	38.4754

表1

yaw:-2.5	roll:0	pitch:15	Hu矩1：	2.38533
					yaw:-2.5	roll:0	pitch:17.5	Hu矩2：	5.33152
yaw:-2.5	roll:0	pitch:20	Hu矩3：	6.97374
					yaw:0	roll:0	pitch:20	Hu矩4：	8.27408
yaw:0	roll:0	pitch:17.5	Hu矩5：	16.3519
					yaw:0	roll:0	pitch:15	Hu矩6：	12.2993
yaw:-2.5	roll:0	pitch:15	Hu矩7：	1.85573
					yaw:-2.5	roll:0	pitch:12.5	Hu矩8：	2.03425
yaw:-2.5	roll:0	pitch:10	Hu矩9：	4.19922

表2

表3

在进行纹理提取时，以彩色编码作为表面纹理的映射。由于映射过程是可知的，所以可见的两个面的映射区域也是可知的，经过彩色编码索引表对已匹配的实拍图的索引，提取出实拍目标的纹理特征，如图10所示。

由于本发明纹理生成的是三维模型，因此需要对不同角度进行拍摄，在一个实例中，对同一目标，不同位置进行拍摄并进行以上步骤分别提取出纹理，同时为了方便统计两个面的像素数量，将通过彩色编码映射到的像素点置为(255,255,255)，即白色点；将由于角度等原因缺漏的像素点置为(255,0,0)，即红色点，如图11所示为第一次拍摄角度时提取的纹理，图12所示为第二次拍摄角度时提取的纹理。图13a、13b所示为将两次提取的纹理进行融合后的图示。最终将融合后的纹理作为表面纹理映射在所述三维模型的表面，参看图14。从图像中可以看出，alpha融合前有效像素较少，导致图像比较模糊，而经过多幅图融合再插值，形成的图像因为具备比单面提取更多的有效像素，所以更加清晰。

在一个具体实施方式中，所述S5步骤还包括，将所述融合后的图像进行插值校正。即利用临域的八个点，通过求像素平均值对中心的未映射点进行纹理补全。对融合后的结果进行插值校正，对缺失的纹理像素进行插值补全。

在一个具体实施方式中，获取至少两幅不同角度的所述待生成目标的图像数据时，设置所述待生成目标背景颜色为纯色背景。选用纯色背景容易对目标进行分割，例如选择纯黑背景作为背景板进行拍摄，这样就能很清楚的区分目标的轮廓，方便进行提取。

在一个具体实施方式中，所述外轮廓匹配算法为基于Hu矩的轮廓匹配算法。

利用Hu矩的轮廓匹配计算，是利用了Hu矩的比例、平移和旋转不变性，然后定义数码照片为模版图像T0，三维对象的二维投影为待匹配图像S0，首先对T0以及S0进行二值化处理，得到外轮廓T和S，利用F＝f(T，S)代表外轮廓相似度的匹配程度，称为配准参数。分别对二值化后的图像组求取代表Hu矩的特征量，记作数组：Hu_T[7]与Hu_S[7]。分别计算Hu_T[7]和Hu_S[7]各个特征量之间的插值的平方，作为函数的返回值。

F的值越小，表明模板图像T0和待匹配图像S0的图像匹配越接近。

这里注意，有六个自由度参数用于控制虚拟目标：平移矢量Tx,Ty,Tz和旋转角度Rx,Ry,Rz。之后为每一个参数分配一个小的增量值u(uT表示平移，uR表示旋转)，同时设置一个阈值作为匹配结束的标准。匹配过程如下所示：

①.对虚拟目标六个参数设置初始值。

②.计算上式方程中的F的值。

③.用当前值+uT、-uT、+uR、-uR计算F的值。

④.用产生更小F的值的当前Rx,Ry,Rz替换当前值。

⑤.重复③和④，直到F的值不再减小(或发生震荡)。

⑥.如果配准参数小于给定的阈值，则停止迭代，否则转到⑦。

⑦.减小u的一半并返回到②。

在一个具体实施方式中，所述纹理特征融合算法为alpha融合法。

alpha融合法，即根据有效像素点的个数，即有效像素参数，本发明用符号：α(x,y)表示，作为调制参数调制融合图像。经过比较后，临域有效像素参数大的点，能更好，更准确的反映该坐标下的像素情况。故通过遍历所有像素，对参数进行比较，融合。算法如下：

其中，α表示某点临域八个点的有效像素点个数，I(x,y)表示(x,y)点的灰度值。

然后对α(x,y)做归一化处理，用归一后的值作为调制参数，并同时利用待融合目标的所有信息，对该坐标下的像素值进行加权处理，处理的结果用于调制融合图像。

利用alpha融合法对提取到的两个纹理进行融合。

将最终得到的二维纹理作为表面纹理，直接映射在三维模型的表面。

本发明同时提供一种基于图像的纹理生成系统，参看图15，包括：

模型建立模块1，建立待生成目标的三维模型及彩色编码索引表，将所述索引表作为纹理映射在所述三维模型表面；

图像采集模块2，用于获取至少两幅不同角度的所述待生成目标的图像数据；

轮廓匹配模块3，用于将所述图像数据与所述三维模型进行外轮廓匹配；

特征提取模块4，用于利用所述索引表对所述外轮廓匹配后的图像进行索引，分别提取每个所述待生成目标图像的纹理特征；

融合模块5，用于将不同的所述纹理特征进行融合。

在一个具体实施方式中，所述融合模块5还用于将所述融合后的图像进行插值校正。

在一个具体实施方式中，获取至少两幅不同角度的所述待生成目标的图像数据时，设置所述待生成目标背景颜色为纯色背景。

上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以做出各种修改或改型。

Claims

1.一种基于图像的纹理生成方法，其特征在于，包括以下步骤：

S1、建立待生成目标的三维模型及彩色编码索引表，将所述索引表作为纹理映射在所述三维模型表面；具体包括，建立彩色编码索引表I：以横轴作为B通道的增减维度，以纵轴作为G通道的增减维度，建立最大256*256的索引表位图i，设置R通道，建立彩色编码索引表I，建立彩色编码索引表I₄，通过uv展开工具将三维模型的每个面片无重叠的展开到所述彩色编码索引表I₄上，以彩色编码索引表I₄为纹理映射到三维模型表面；

S2、获取至少两幅不同角度的所述待生成目标的图像数据；

S3、将所述图像数据与所述三维模型进行外轮廓匹配，具体包括，设置配准参数阈值，由粗到精细依次设置步长，多次利用Hu矩算法进行轮廓匹配操作，分别控制模型的三个旋转自由度进行旋转变换并计算出配准参数；对计算所得的匹配参数，取最小值时对应的旋转参数作为起始值，将步长减小一半，继续控制三维模型；对上次计算所得的匹配参数，取最小值时对应的旋转参数作为起始值，将步长减小一半，继续控制三维模型；最终得到匹配参数最小并且小于阈值，匹配结束；

S4、利用所述索引表对所述外轮廓匹配后的图像进行索引，分别提取所述待生成目标图像的纹理特征，其中，将通过彩色编码映射到的像素点置为(255,255,255)，将由于缺漏的像素点置为(255,0,0)；

S5、将不同的所述纹理特征进行融合，具体包括,遍历所有像素，对有效像素参数进行比较，公式如下：

其中，α表示某点临域八个点的有效像素点个数，I(x,y) 表示(x,y)点的灰度值；

然后对

做归一化处理，用归一后的值作为调制参数，并同时利用待融合目标的所有信息，对待融合目标坐标下的像素值进行加权处理并融合，公式如下：

即利用临域的八个点，通过求像素平均值对中心的未映射点进行纹理补全；

表示(x,y)点临域八个点的有效像素参数。

2.根据权利要求1所述的基于图像的纹理生成方法，其特征在于，所述S5步骤还包括，设置所述待生成目标背景颜色为纯色背景。