CN108682042B - 基于蜻蜓视觉成像模型设置的三维纹理图案合成方法 - Google Patents
基于蜻蜓视觉成像模型设置的三维纹理图案合成方法 Download PDFInfo
- Publication number
- CN108682042B CN108682042B CN201810371256.1A CN201810371256A CN108682042B CN 108682042 B CN108682042 B CN 108682042B CN 201810371256 A CN201810371256 A CN 201810371256A CN 108682042 B CN108682042 B CN 108682042B
- Authority
- CN
- China
- Prior art keywords
- texture pattern
- dimensional texture
- matching
- feature
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 86
- 241000238633 Odonata Species 0.000 title claims abstract description 83
- 230000000007 visual effect Effects 0.000 title claims abstract description 81
- 238000001308 synthesis method Methods 0.000 title description 13
- 238000009826 distribution Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 39
- 238000005286 illumination Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 41
- 238000003786 synthesis reaction Methods 0.000 claims description 41
- 238000013507 mapping Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013506 data mapping Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 34
- 239000011159 matrix material Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241001391944 Commicarpus scandens Species 0.000 description 2
- 241000542420 Sphyrna tudes Species 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052664 nepheline Inorganic materials 0.000 description 1
- 239000010434 nepheline Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,包括:采集三维空间的三幅不同光照角度下的二维纹理图案;建立蜻蜓视觉成像模型:设置多个六角形纹理图案特征匹配区域并聚集成三维纹理图案;为进行图案特征匹配,设置三维纹理图案特征匹配函数实施三维纹理图案特征输入,输出三维纹理图案匹配特征,进行匹配;设置最佳的三维纹理图案特征匹配分布及分布区域;对三维纹理图案样式特征变化进行三维纹理图案样式设置;实施特征匹配最优化,合成设置的三维纹理图案。本发明方法能够保证三维纹理图案特征匹配细节特征不丢失,纹理图案特征连续,并能很好地保存三维纹理图案特征的连续性和纹理纹样。
Description
技术领域
本发明属于计算机视觉、图像处理领域,具体涉及一种基于蜻蜓视觉成像模型设置的三维纹理图案合成方法。
背景技术
在设置并匹配三维纹理图案时,通常需要丰富的三维纹理来增强场景的真实感。但是,人们实际能够获取的三维纹理图案却非常有限,难以满足社会的纹理场景合成的需求。如何自动设置真实感三维纹理图案所需的大量三维纹理图案已成为目前图形学的一个重要科研和应用问题。
三维纹理图案合成方法着重于研究:在不同光照条件和视角角度下的三维纹理图案特征匹配,三维纹理图案合成以及渲染三维纹理图案;利用三维纹理模型和场景的几何模型合成新的光照条件或新视点下的三维纹理图案。尤其在设置的三维纹理图案合成研究领域,具有重要意义和广泛的应用前景。
三维纹理图案合成有着非常广阔的应用背景,例如在布料图案产品、三维纹理视觉感知的家具纹理纹样包装、格式台面三维纹理图案效果展现、汽车空间内饰等产品三维纹理图案设计中,以及三维纹理影视视觉特效制作、图像处理及计算机视觉领域的三维纹理视觉感知等行业,都需要对大量的纹理图案进行设置及合成。通过设置及合成,可以产生三维纹理图案的基本元素分布模式及大小不同的新三维纹理图案。
对三维纹理图案进行设置及合成,可以实现三维表面几何特征、反射特性及基本元素的变化,并合成任意大小、任意光照条件及观测角度下的新的三维纹理图案,从而产生最具真实感的三维图案效果,给人类增加新的视觉感知和享受。尽管目前国内外对三维纹理合成的研究较多,比如德国的Bonn大学、美国的哥伦比亚大学、加州大学、英国的Heriot-Watt大学、国内的微软亚洲研究院等都有相关研究项目。但对建立蜻蜓视觉成像模型并并基于视觉成像模型设置的三维纹理图案合成方法在专利和论文方面并没有出版。基于蜻蜓的视觉系统具有超快速、精确地确定出目标物体运动速度和方位,并具有超分辨率,灵敏度极高等机理,本发明专利启发于蜻蜓的视觉成像,建立蜻蜓视觉成像模型,发明出基于蜻蜓视觉成像模型设置的三维纹理图案合成方法。
在基于样本的2D纹理合成方法已被推广到3D纹理合成领域,通过输入3D的纹理样本合成3D的纹理及纹理图案。科研人员考虑到纹理的特征图提供了局部的纹理特征,进而通过特征图的引导能得到更好的纹理合成效果,且减少了相邻块的边界处容易产生图像的纹理结构或特征匹配容易发生断裂现象。清华大学计算机图像处理科研人员张静丹等人利用二值化texton mask作为颜色纹理合成的一个控制通道,然而texton mask需要人工抽取。计算机视觉领域科学家吴青和俞益洲二人注意到以往的纹理合成方法通常以纹理块之间的RGB颜色空间距离作为搜索纹理块的度量,此度量并不能很好地反映图像中人眼敏感的结构特征。于是二人在纹理合成中的特征匹配与变形中提出了基于feature map的纹理合成方法,对纹理样图提取出相应的feature map,此feature map仍然为二值图,主要体现了纹理图像内的主要结构特征。在feature map辅助下的纹理合成可以减少合成图像中纹理特征不连续或断裂现象发生,进一步提高合成质量。然而吴青和俞益洲注意到如果选择的块本身不能很好地与相邻块匹配,则使用最好的优化算法来减少邻接块之间的误差也不能达到满意的合成效果。吴青和俞益洲注意到以往的纹理合成方法通过以纹理块之间的RGB颜色空间距离作为搜索纹理块的度量,此度量并不能很好地反映图像中人眼敏感的结构特征。为此他们提出了基于特征图的纹理合成方法,对纹理样图提取出相应的二值的特征映射图,基于二值特征,计算出纹理结构的相似性对纹理块进行匹配,再对匹配的结果利用变形方法对特征进行调整校准,合成连续的纹理特征,然后对其它区域进行合成。与吴青和俞益洲的论文方法相似,Lefebvre s.等人也利用二值化纹理特征掩码,并利用特征之间的有符号的距离来使得合成纹理中保持更好的纹理结构。与现有的纹理合成方法不同,武汉大学纹理合成科研人员肖春霞等人在计算机学报上发表并提出了一种结合图像细节特征的全局优化纹理合成方法,利用非线性分解方法获取纹理细节作为特征图,这个特征图不具有二值化的特征,但更有利于纹理块的匹配和计算纹理全局统计属性。方法较好地解决了纹理合成中合成的纹理图像结构不连续或特征结构容易断裂等问题。尽管图像处理领域科学家肖春霞的全局优化求解是一种成功方法,但由于最大期望值迭代求解时速度较慢,主要耗时在最近邻域搜索方面,虽然现有的最近邻域搜索算法速度较快,但仍然耗时,且建树需要消耗大量内存空间。之后长春理工大学科研人员王宇等人在利用匹配区域的纹理特征改善重构三维图像的视觉质量方法中,利用3D空间物体部分在每一个元素图像中形成的匹配区域的纹理特征,从两个相邻的匹配区域提取出多个像素,通过加权计算重构相应图像区域,从而改善了重构图像的视觉质量。
在基于单元结构的体纹理合成设计中,201110264363发明专利公开了一种基于单元结构的体纹理合成方法,该方法包括如下步骤;(1)通过二维纹理图像,首先得到三维单元结构的二维截面,使用空间中三个垂直方向的二维截面建立多个三维单元结构;(2)分析所述二维纹理图像,计算所述的三维单元结构在空间中的相邻关系,计算的相邻关系由所述多个三维单元结构的三个垂直方向的二维截面在所述二维纹理图像上的相邻关系推导得到;(3)根据所述多个三维单元结构在空间中的相邻关系,在空间中依次放置所述多个三维单元结构,当所有三维单元结构放置完毕后,发明方法对所有三维单元结构的位置进行调整并对其形状进行放缩;(4)最后合成各三维单元结构之间的介质,合成最终的体纹理。然而此发明方法在对所有三维单元结构的位置进行调整并对其形状进行放缩期间存在较大误差,在三维空间中依次放置所述多个三维单元结构时明显存在匹配校准精度不高缺陷,导致合成效果达不到完美。
因此,如何参照蜻蜓视觉成像具有超快速、精确地确定出目标物体运动速度和方位能力,如何在三维纹理图案表面直接合成与蜻蜓视觉成像机理具有相似方式的新的三维纹理图案,以及如何在三维纹理图案特征匹配函数实施的情况下能够进行图案细节结构特征不丢失的三维纹理图案合成,高效地解决匹配精度不高缺陷,进而获得高质量的三维纹理图案合成结果成为亟待解决的问题。
发明内容
发明目的:针对现有技术的三维纹理合成方法中三维纹理图案结构失真及特征结构断裂,匹配块之间的相似性匹配程度不佳,阈值校准精度不高的缺点,本发明目的在于提供一种基于蜻蜓视觉成像模型设置的三维纹理图案合成方法。通过建立蜻蜓视觉成像模型,并为进行三维纹理图案特征匹配,设置三维纹理图案特征匹配函数,实施三维纹理图案特征匹配,保存设置的三维纹理图案特征最佳匹配分布区域图案。
技术方案:为实现上述发明目的,本发明采用如下技术方案:
一种基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,该方法包括如下步骤:
(1)采集三维空间的三维纹理图案,所述三维纹理图案为三幅不同光照角度下的二维纹理图案,光照角度间隔30-60度;
(2)建立蜻蜓视觉成像模型,特征描述为设置多个六角形纹理图案特征匹配区域并聚集成三维纹理图案;
(3)为进行三维纹理图案特征匹配,设置三维纹理图案特征匹配函数。输入三维空间的三维纹理图案特征,输出基于蜻蜓视觉成像模型设置的三维纹理图案匹配特征,进而对输出的三维纹理图案匹配特征进行匹配,形成与采集的三维空间的三维纹理图案特征具有三维纹理图案特征外观新颖性的新的匹配特征;
(4)控制三维纹理图案特征匹配分布和三维纹理图案特征匹配分布区域,并比较每一个二维纹理图案特征的像素的颜色值和特征值,对三幅二维纹理图案特征中中频、高频内容和强边缘进行匹配。基于蜻蜓视觉成像模型的三维纹理图案特征匹配区域,设置出最佳三维纹理图案特征匹配分布及分布区域;
(5)对三维纹理图案特征变化样式进行三维纹理图案样式设置,并对三维纹理图案特征样式进行匹配,合成三维纹理图案特征样式匹配分布及分布区域,形成图案特征样式变化区域;
(6)实施三维纹理图案特征匹配最优化,合成设置的三维纹理图案。
优选地,步骤(1)包括:
(1.1)采集的三维空间的三维纹理图案以现实三维纹理图案的光反射规律符合朗伯模型定律为原则,以太阳光为光源,将光源看作近域光场。拍摄者指定拍摄三维纹理图案的空间位置并指定日期和当日时间,以设置阳光的照射角度及太阳光线强度。通过变更阳光的强度和太阳光源的强弱,从而得到真实光源的入射光场;
(1.2)利用运动相机采集不同光照角度下的三幅二维纹理图案,采集的三维纹理图案是从位于不同角度位置的运动相机拍摄各向同性材料物体表面图案得到。采集的每一幅二维纹理图案粗糙表面一定,在三维坐标V(x,y,z)中,采集的二维纹理图案则位于x-y平面上,相机的轴线与z轴间隔一定角度,拍摄角度以30-60度为间隔,且中心在三维坐标原点;
(1.3)安装的运动相机通过一个计算机控制的椭圆轨道系统自动地改变位置,避免繁琐的手动放置和定位。为了拍摄各向同性材料纹理图案,拍摄程序采用了电脑控制,用于360度域的自动和密集拍摄采样;
(1.4)运动相机保持在每一个对应二维纹理图案上部不同拍摄角度的位置,并且旋转在不同光照角度下的纹理图案法线方向进行拍摄。
优选地,步骤(2)包括:
(2.1)物像成像与运动察觉是蜻蜓复眼视觉功能有联系的两个方面。每个小眼面都指向一个稍有不同的方向,这使蜻蜓可同时看到所有方向的物像。蜻蜓视觉系统具有超快速、精确地确定出目标物体运动速度和方位,并具有超分辨率,灵敏度极高等机理。受自然界蜻蜓视觉成像启发,创建蜻蜓视觉成像模型;
(2.2)设置多个六角形纹理图案特征匹配区域并聚集成三维纹理图案。每个纹理图案特征只接受单一方向的纹理图案特征匹配,形成六角形区域状纹理图案特征匹配区域。所有六角形区域状纹理图案特征匹配区域相互嵌合,进而创建正立的镶嵌三维纹理图案,形成光六角形区域状纹理图案聚集从而建立起三维纹理图案成像模型。
优选地,步骤(3)包括:
(3.1)基于蜻蜓视觉成像模型的三维纹理图案特征,设置三维纹理图案特征匹配;包括:
(3.1.1)基于蜻蜓视觉成像模型的三维纹理图案特征,设置三幅二维纹理图案特征S1,S2和S3之间的对应三维纹理图案特征,并利用从采集的三维纹理图案相邻的两个特征区域各提取出来的N个纹理图案特征进行匹配,N个三维纹理图案特征匹配构成三幅二维纹理图案特征匹配;
(3.1.2)从三幅二维纹理图案特征匹配中第k个图案特征匹配区域Rk中提取N个纹理图案特征匹配到对应设置的三维纹理图案特征匹配Sk1,Sk2和Sk3图案特征匹配中,N个纹理图案特征按照距离Rk的远近匹配。按照同样的图案特征匹配,从第k+1个图案特征匹配区域Rk+1中提取N+1个纹理图案特征匹配到对应设置的三维纹理图案特征匹配Sk1+1,Sk2+1和Sk3+1。匹配后的三维纹理图案特征匹配为Sk1+n,Sk2+n和Sk3+n;
(3.1.3)三维纹理图案特征匹配Sk1+n,Sk2+n和Sk3+n形成为三维纹理图案特征匹配的三维特征S1、S2和S3之间的三维纹理图案特征匹配。基于蜻蜓视觉成像模型的三维纹理图案特征,按照两个纹理图案特征匹配进行加权,得到三维纹理图案特征匹配;
(3.2)基于得到的三维纹理图案特征匹配,对三维纹理图案特征匹配进行函数设置;
(3.2.1)对三维纹理图案特征匹配进行函数设置,首先对每一个纹理图案特征求出其在每一个二维纹理图案上的对应特征,并取出该对应二维纹理图案特征的RGB值作为三维纹理图案特征匹配的纹理值;
(3.2.2)三维纹理图案特征匹配是指三幅或多于三幅二维纹理图案特征在不同光照角度下的纹理图案特征匹配。在本发明方法中,三维空间的三维纹理图案特征匹配对应于蜻蜓视觉成像模型和三维纹理图案特征间的分布映射,就是找到蜻蜓视觉成像模型中3D特征的匹配在三幅不同光照角度下的每一个二维纹理图案特征中对应的2D特征匹配。通过研究三维纹理图案的拍摄成像过程,发现成像过程实际上是将三维空间的纹理图案特征匹配,转化成二维空间的纹理图案特征匹配。只要设置三维纹理图案特征匹配函数并实施图案特征匹配,就可完成匹配工作,进而在步骤4设置三维纹理图案特征匹配分布及分布区域。而这一匹配映射可通过映射蜻蜓视觉成像模型的三维纹理图案特征匹配区域得到。对于蜻蜓视觉成像模型的三维纹理图案特征匹配区域上三个匹配特征P1,P2和P3,在三幅二维纹理图案上对应的特征坐标分别为(θ1,(u1,g1)),(θ2,(u2,g2)),(θ3,(u3,g3))和(x,y,z)映射成三组对应特征,它们之间的匹配映射用齐次坐标写成矩阵形式为:
其中为投影矩阵,t=n,l=n+1,Pi为二维纹理图案特征,h是3×3正交单位矩阵,t是3维平移向量,K是两个坐标系之间的联系矩阵。θi为实时三维纹理图案上匹配特征对应的光照角度,(un,gn)为特征点Pi在三维纹理图案直角坐标系下的坐标,(x,y,z)为三维空间的三维纹理图案特征P1,P2和P3在三维坐标系下的三幅二维纹理图案特征对应坐标。为保证三维纹理图案特征匹配精确度高,首先要确定出六组以上的对应特征,从而得到Pi的所有参数。依据矩阵的运算及其运算规则,匹配三维纹理图案特征的所有纹理图案特征,对每一个纹理图案特征求出其在二维纹理图案上的对应特征,并取出该对应二维纹理图案特征的RGB值,作为三维纹理图案特征匹配的纹理值,完成三维纹理图案特征匹配;
本发明专利利用迭代最近图案特征,英文名称Iterative Closest DesignCharacteristic,ICDC方法应用于3D和2D的纹理图案特征匹配中,在计算ICDC过程中动态更新对应特征。方法是通过最小化三个二维纹理图案特征匹配中最近特征的距离平方和使三个特征匹配分别达到最优匹配。当更新三维纹理图案上某个特征时,检查每个参与到加权计算中去的特征,当发现某个特征会使合成纹理图案和待合成纹理图案的对应特征的差别增大时,就减小该特征在加权计算中的权重,使合成的结果在三维纹理图案特征匹配全局统计特征上,与三幅二维纹理图案特征的全局统计特征保持一致,从而提高合成三维纹理图案的质量。通过实施ICDC迭代,得到的三维纹理图案特征匹配和待合成的三维纹理图案特征分别用Mj和Ni表示,j=1,…,n,i=1,…,n,分布工作就是确定特征变换C,从而获得最好的三维纹理图案特征匹配和待合成三维纹理图案特征数据映射,进而设置的三维纹理图案特征匹配函数:
其中φ图案样式特征为特征变换C的参数,为蜻蜓视觉成像模型特征和数据特征间的对应关系,在本发明ICDC方法中是基于使蜻蜓视觉成像模型和特征匹配数据间的距离最小化作为原则来选择特征的,wi为对应蜻蜓视觉成像模型特征匹配的二维纹理图案特征对的权值,Mj为得到的三维纹理图案特征匹配,β为三维纹理图案特征匹配值,Ni为待合成三维纹理图案特征,结果三维纹理图案特征匹配函数变为:
基于三维纹理图案特征匹配函数,围绕图案样式特征φ的最小化给出最优的匹配函数估计:
执行三维纹理图案特征匹配函数,进行三维纹理图案特征匹配,实现三维纹理图案特征匹配;
(3.3)基于蜻蜓视觉成像模型,进行三维空间的三维纹理图案特征输入,输出基于蜻蜓视觉成像模型设置的三维纹理图案匹配特征;包括:
(3.3.1)输出设置的三维纹理图案匹配特征后,进行三维纹理图案特征匹配初始化。三幅二维纹理图案特征的每一个对应特征点分别对应三幅二维纹理图案上特征点Pi(ui,gi),i=1,2,3。(ui,gi)为特征点Pi在三维纹理图案特征匹配上对应特征点的坐标,则图案特征表示为:
Qi为对应特征对的权值,Di为对应特征匹配的阈值,C为确定的特征变换;
(3.3.2)设置ICDC迭代的初始值,执行三维纹理图案特征匹配函数,进行三维纹理图案匹配特征匹配;
(3.3.3)在三幅二维纹理图案特征中寻找对应的每一个三维纹理图案特征与二维纹理图案匹配特征匹配位置距离最近待匹配特征,并作为对应图案特征实施匹配,为每一个二维纹理图案特征找到最近匹配特征后,进行迭代匹配,得到三维纹理图案特征;
(3.3.4)依据这些新的对应特征,重复步骤3.3.3,确定新的特征匹配,将ICDC迭代下去;
(3.3.5)当三维纹理图案特征匹配满足匹配函数控制要求时,停止ICDC迭代,并对新的特征匹配进行最小二乘法优化。从而三维纹理图案特征匹配就获得了精确的图案特征匹配。
(3.4)进行三维纹理图案特征匹配、图案图型设置,同时三维纹理图案特征匹配随着三维纹理图案特征的变化而变化;
(3.5)进而对输出的三维纹理图案匹配特征进行匹配,形成与采集的三维空间的三维纹理图案特征区域具有纹理图案外观新颖性的新的匹配区域分布。
优选地,步骤(4)包括:
(4.1)首先基于蜻蜓视觉成像模型的三维纹理图案特征匹配区域,设置三维纹理图案特征匹配分布及分布区域,实现三维纹理图案特征匹配分布初始化;
(4.2)依据三维纹理图案特征匹配分布和执行步骤(3)中的三维纹理图案特征匹配函数,进一步设置最佳的三维纹理图案特征匹配分布及分布区域。在三维纹理图案特征匹配合成中,将三维纹理图案特征匹配细节和特征细节分布输出到三维纹理图案特征匹配合成中,保持合成的三维纹理图案特征与蜻蜓视觉成像模型的三维纹理图案特征的颜色、三维纹理细节统计特征一致;
(4.3)控制三维纹理图案特征匹配分布和三维纹理图案特征匹配分布区域,并比较每一个二维纹理图案特征的像素的颜色值和特征值,对三幅二维纹理图案特征中中频、高频内容和强边缘进行匹配,从而实现三幅二维纹理图案细节结构特征不丢失;
(4.4)通过执行三维纹理图案特征匹配函数,进而控制三维纹理图案纹理纹样、图案特征匹配分布区域;
(4.5)在(4.4)实施基础上,合成三维纹理图案特征匹配分布及分布区域,并与设置的三维纹理图案的纹理纹样、纹理图案特征样式匹配分布一致。
优选地,在(4.2)中,设置的最佳三维纹理图案特征匹配分布及分布区域为:
Z:X→S;Z(x)=(P(x)+H(x))Sx,x∈X
x是属于三维纹理图案特征匹配分布的二维空间坐标,P是三维纹理图案特征,P(x)是设置的三维纹理图案特征区域。H是相邻的两个图案特征,H(x)是相邻的两个图案特征匹配。S是三维纹理图案特征分布,Sx是三幅二维纹理图案特征匹配区域。Z(x)是所有的位于x∈S∈X中的三幅二维纹理图案特征匹配分布区域组成的三维纹理图案特征分布区域聚集。Z:X→S是由二维纹理图案特征匹配分布组成的三幅二维纹理图案特征匹配分布。匹配三维纹理图案特征与设置的三幅二维纹理图案特征之间的映射特征,实现三维数据和二维纹理图案特征数据自动映射匹配。
优选地,步骤(5)包括:
(5.1)对三维纹理图案变化的图案样式特征匹配进行检测及设置;
(5.2)对光照角度变化进行设定,角度间隔30-60度;
(5.3)基于设置出的最佳三维纹理图案特征匹配分布及分布区域,对三维纹理图案样式特征变化进行三维纹理图案样式设置,实施三维纹理图案样式特征匹配。采用设置的三维纹理图案样式特征与待合成三维纹理图案样式特征的匹配,来确定该特征是否为三维纹理图案样式特征匹配分布及分布区域的匹配特征进行匹配,不是则丢弃。进而合成三维纹理图案样式特征匹配分布区域,形成图案样式特征变化区域。
优选地,步骤(6)中对三维纹理图案样式特征匹配分布区域的三幅二维纹理图案,实施纹理图案样式特征匹配区域图案合成的目标,是将待匹配的区域图案特征映射到已合成的三维纹理图案匹配区域位置上,从而最终获得三维纹理图案合成结果。具体包括:
(6.1)三维纹理图案为三幅不同光照角度下的纹理图案,本实施例中光照角度以间隔30度为基准;
(6.2)执行三维纹理图案特征匹配函数,保存三维纹理图案特征匹配的全局统计特性,从而使合成三维纹理图案特征保持设置的三维纹理图案特征的全局统计属性;
(6.3)当三维纹理图案特征匹配形成准确合成的三幅二维纹理图案特征匹配分布区域时,则停止创建三维纹理图案特征匹配分布及分布区域;
(6.4)在三维纹理图案样式特征匹配合成中,实施三维纹理图案特征匹配最优化。将三维纹理图案样式特征匹配区域图案看作一个整体,统计出三维纹理图案样式特征匹配区域图案匹配细节和颜色的特征阈值。在ICDC迭代过程中,同样统计出合成的三维纹理图案特征匹配区域图案特征阈值。在每一次迭代中由ICDC更新这个合成的图案样式特征匹配的三维纹理图案,通过ICDC统计出的特征阈值来调整三维纹理图案样式特征匹配中最优匹配特征均方差不大于特征阈值,保持合成的三维纹理图案特征匹配区域图案特征阈值与图案样式特征区域图案匹配细节和颜色的特征阈值一致;
(6.5)在合成图案样式特征匹配区域图案期间,保存纹理图案特征结构的图案边缘特征,并保存连续的图案特征细节特征,形成三维纹理图案内在的图案结构特征,进一步进行三维纹理图案特征匹配之间的比较和配准;
(6.6)在图案特征细节特征辅助下,迭代地对纹理图案特征匹配及分布进行优化,防止合成的三维纹理图案结构不连续或特征结构断裂现象发生。此外,对样式纹理图案特征变化和待合成纹理图案特征的细节特征变化,进行图案样式特征匹配之间的比较和配准,进一步提高三维纹理图案合成质量,同时加快收敛速度,由此,完成设置的三维纹理图案合成。
有益效果:本发明提供的一种基于蜻蜓视觉成像模型设置的三维纹理图案合成方法能够保证三维纹理图案特征匹配细节结构特征不丢失,纹理图案特征连续,并能很好地保存三维纹理图案特征的匹配性和纹理纹样。本发明方法为新一代更加细腻、仿真三维纹理图案合成系统提供了新颖性技术支撑和发展基础。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明一个实施例的原理框架图;
图2示出了本发明一个实施例的三维纹理图案合成效果示意图;其中(a)图是光照角度为90度的纹理图案合成效果示意图,(b)图是光照角度为60度的纹理图案合成示意图,(c)图是光照角度为30度的纹理图案合成示意图。
具体实施方式
下面结合附图对本发明的实施例进行详细描述。
图1示出了本发明一个实施例的原理框架图。如图1所示,该基于蜻蜓视觉成像模型设置的三维纹理图案合成方法包括以下步骤:
第一步:采集三维空间的三维纹理图案,所述三维纹理图案为三幅不同光照角度下的二维纹理图案,本实施例中以间隔30度为基准。
步骤1.1拍摄者指定拍摄三维纹理图案的空间位置并指定日期和当日时间,以设置阳光的照射角度以及太阳光线强度;
步骤1.2采集的三维空间的三维纹理图案以现实三维纹理图案的光反射规律符合朗伯模型定律为原则,以太阳光为光源,将光源作为近域光场,从而得到真实光源的入射光场。利用运动相机采集三维纹理图案,采集的三维纹理图案是从位于不同角度位置的运动相机拍摄各向同性材料物体的表面图案得到;
步骤1.3采集的每一幅二维纹理图案粗糙表面一定,在三维坐标V(x,y,z)中,采集的二维纹理图案则位于x-y平面上,相机的轴线与z轴间隔一定角度,拍摄角度以30-60度为间隔,且中心在三维坐标原点;
步骤1.4安装的运动相机通过一个计算机控制的椭圆轨道系统自动地改变位置,避免繁琐的手动放置和定位;
步骤1.5为了拍摄各向同性材料图案,拍摄程序采用了电脑控制,用于360度域的自动和密集拍摄采样;
步骤1.6运动相机保持在每一个对应二维纹理图案上部不同拍摄角度的位置,并且旋转在不同光照角度下的纹理图案法线方向进行拍摄。
第二步:建立蜻蜓视觉成像模型。
物像成像与运动察觉是蜻蜓复眼视觉功能有联系的两个方面。每个小眼面都指向一个稍有不同的方向,这使蜻蜓可同时看到所有方向的物像。蜻蜓视觉系统具有超快速、精确地确定出目标物体运动速度和方位,并具有超分辨率,灵敏度极高等机理。受自然界蜻蜓视觉成像启发,创建蜻蜓视觉成像模型;
设置多个六角形纹理图案特征匹配区域并聚集成三维纹理图案。每个纹理图案特征只接受单一方向的纹理图案特征匹配,形成六角形区域状纹理图案特征匹配区域。所有六角形区域状纹理图案特征匹配区域相互嵌合,进而创建正立的镶嵌三维纹理图案,形成光六角形区域状纹理图案聚集从而建立起三维纹理图案成像模型。
第三步:为进行三维纹理图案特征匹配,设置三维纹理图案特征匹配函数,输入三维空间的三维纹理图案特征,输出基于蜻蜓视觉成像模型设置的三维纹理图案匹配特征,进而对输出的三维纹理图案匹配特征进行匹配,形成与采集的三维空间的三维纹理图案特征具有三维纹理图案特征外观新颖性的新的匹配特征。
步骤3.1基于蜻蜓视觉成像模型的三维纹理图案特征,设置三维纹理图案特征匹配;
步骤3.1.1基于蜻蜓视觉成像模型的三维纹理图案特征,设置三幅二维纹理图案特征S1,S2和S3之间的对应三维纹理图案特征,并利用从采集的三维纹理图案相邻的两个特征区域各提取出来的N个纹理图案特征进行匹配,N个三维纹理图案特征匹配构成三幅二维纹理图案特征匹配;
步骤3.1.2从三幅二维纹理图案特征匹配中第k个图案特征匹配区域Rk中提取N个纹理图案特征匹配到对应设置的三维纹理图案特征匹配Sk1,Sk2和Sk3图案特征匹配中,N个纹理图案特征按照距离Rk的远近匹配。按照同样的图案特征匹配,从第k+1个图案特征匹配区域Rk+1中提取N+1个纹理图案特征匹配到对应设置的三维纹理图案特征匹配Sk1+1,Sk2+1和Sk3+1。匹配后的三维纹理图案特征匹配为Sk1+n,Sk2+n和Sk3+n;
步骤3.1.3三维纹理图案特征匹配Sk1+n,Sk2+n和Sk3+n形成为三维纹理图案特征匹配的三维特征S1、S2和S3之间的三维纹理图案特征匹配。基于蜻蜓视觉成像模型的三维纹理图案特征,按照两个纹理图案特征匹配进行加权,得到三维纹理图案特征匹配。
步骤3.2基于得到的三维纹理图案特征匹配,对三维纹理图案特征匹配进行函数设置;
步骤3.2.1对三维纹理图案特征匹配进行函数设置,首先对每一个纹理图案特征求出其在每一个二维纹理图案上的对应特征,并取出该对应二维纹理图案特征的RGB值作为三维纹理图案特征匹配的纹理值;
步骤3.2.2三维纹理图案特征匹配是指三幅或多于三幅二维纹理图案特征在不同光照角度下的纹理图案特征匹配。在本发明方法中,三维空间的三维纹理图案特征匹配对应于蜻蜓视觉成像模型和三维纹理图案特征间的分布映射,就是找到蜻蜓视觉成像模型中3D特征的匹配在三幅不同光照角度下的每一个二维纹理图案特征中对应的2D特征匹配。通过研究三维纹理图案的拍摄成像过程,发现成像过程实际上是将三维空间的纹理图案特征匹配,转化成二维空间的纹理图案特征匹配。只要设置三维纹理图案特征匹配函数并实施图案特征匹配,就可完成匹配工作,进而在步骤4设置三维纹理图案特征匹配分布及分布区域。而这一匹配映射可通过映射蜻蜓视觉成像模型的三维纹理图案特征匹配区域得到。对于蜻蜓视觉成像模型的三维纹理图案特征匹配区域上三个匹配特征P1,P2和P3,在三幅二维纹理图案上对应的特征坐标分别为(θ1,(u1,g1)),(θ2,(u2,g2)),(θ3,(u3,g3))和(x,y,z)映射成三组对应特征,它们之间的匹配映射用齐次坐标写成矩阵形式为:
其中为投影矩阵,t=n,l=n+1,Pi为二维纹理图案特征,h是3×3正交单位矩阵,t是3维平移向量,K是两个坐标系之间的联系矩阵。θi为实时三维纹理图案上匹配特征对应的光照角度,(un,gn)为特征点Pi在三维纹理图案直角坐标系下的坐标,(x,y,z)为三维空间的三维纹理图案特征P1,P2和P3在三维坐标系下的三幅二维纹理图案特征对应坐标。为保证三维纹理图案特征匹配精确度高,首先要确定出六组以上的对应特征,从而得到Pi的所有参数。依据矩阵的运算及其运算规则,匹配三维纹理图案特征的所有纹理图案特征,对每一个纹理图案特征求出其在二维纹理图案上的对应特征,并取出该对应二维纹理图案特征的RGB值,作为三维纹理图案特征匹配的纹理值,完成三维纹理图案特征匹配;
本发明专利利用迭代最近图案特征,英文名称Iterative Closest DesignCharacteristic,ICDC方法应用于3D和2D的纹理图案特征匹配中,在计算ICDC过程中动态更新对应特征。方法是通过最小化三个二维纹理图案特征匹配中最近特征的距离平方和使三个特征匹配分别达到最优匹配。当更新三维纹理图案上某个特征时,检查每个参与到加权计算中去的特征,当发现某个特征会使合成纹理图案和待合成纹理图案的对应特征的差别增大时,就减小该特征在加权计算中的权重,使合成的结果在三维纹理图案特征匹配全局统计特征上,与三幅二维纹理图案特征的全局统计特征保持一致,从而提高合成三维纹理图案的质量。通过实施ICDC迭代,得到的三维纹理图案特征匹配和待合成的三维纹理图案特征分别用Mj和Ni表示,j=1,…,n,i=1,…,n,分布工作就是确定特征变换C,从而获得最好的三维纹理图案特征匹配和待合成三维纹理图案特征数据映射,进而设置的三维纹理图案特征匹配函数:
其中φ图案样式特征为特征变换C的参数,为蜻蜓视觉成像模型特征和数据特征间的对应关系,在本发明ICDC方法中是基于使蜻蜓视觉成像模型和特征匹配数据间的距离最小化作为原则来选择特征的,wi为对应蜻蜓视觉成像模型特征匹配的二维纹理图案特征对的权值,Mj为得到的三维纹理图案特征匹配,β为三维纹理图案特征匹配值,Ni为待合成三维纹理图案特征,结果三维纹理图案特征匹配函数变为:
基于三维纹理图案特征匹配函数,围绕图案样式特征φ的最小化给出最优的匹配函数估计:
执行三维纹理图案特征匹配函数,进行三维纹理图案特征匹配,实现三维纹理图案特征匹配;
步骤3.3基于蜻蜓视觉成像模型,进行三维空间的三维纹理图案特征输入,输出基于蜻蜓视觉成像模型设置的三维纹理图案匹配特征;
当三维空间的三维纹理图案特征输入遵循建立的蜻蜓视觉成像模型的三维纹理图案特征时,输出的三维纹理图案匹配特征就满足了设置的三维纹理图案特征匹配函数对三维纹理图案特征匹配的设置,进而输出的三维纹理图案匹配特征就构成最佳三维纹理图案特征匹配分布,从而获得三维纹理图案特征匹配分布的最佳化图案特征匹配分布区域,具体实施方案在步骤4。这样方法就获得了图案匹配特征及三维纹理图案特征匹配分布,然后在三维纹理图案特征匹配函数执行中自动地合成符合人眼视觉感知的三维纹理图案特征匹配分布及分布区域;
步骤3.3.1输出设置的三维纹理图案匹配特征后,进行三维纹理图案特征匹配初始化,三幅二维纹理图案的每一个对应特征点分别对应纹理图案上特征点Pi(ui,gi),i=1,2,3。(ui,gi)为特征点Pi在三维纹理图案特征匹配上对应特征点的坐标,则图案特征表示为:
Qi为对应特征对的权值,Di为对应特征匹配的阈值,C为确定的特征变换;
步骤3.3.2设置ICDC迭代的初始值,执行三维纹理图案特征匹配函数,进行三维纹理图案匹配特征匹配;
步骤3.3.3在三幅二维纹理图案特征中寻找对应的每一个三维纹理图案特征与二维纹理图案匹配特征匹配位置距离最近待匹配特征,并作为对应图案特征实施匹配,为每一个二维纹理图案特征找到最近匹配特征后,进行迭代匹配,得到三维纹理图案特征;
步骤3.3.4依据这些新的对应特征,重复步骤3.4.3,确定新的特征匹配,将ICDC迭代下去;
步骤3.3.5当三维纹理图案特征匹配满足匹配函数控制要求时,停止ICDC迭代,并对新的特征匹配进行最小二乘法优化。从而三维纹理图案特征匹配就获得了精确的图案特征配准。
步骤3.4进行三维纹理图案特征匹配、图案图型设置,同时三维纹理图案特征匹配随着三维纹理图案特征的变化而变化;
步骤3.5进而对输出的三维纹理图案匹配特征进行匹配,形成与采集的三维空间的三维纹理图案特征区域具有纹理图案外观新颖性的新的匹配区域分布。
第四步:控制三维纹理图案特征匹配分布和三维纹理图案特征匹配分布区域,并比较每一个二维纹理图案特征的像素的颜色值和特征值,对三幅二维纹理图案特征中中频、高频内容和强边缘进行匹配。基于蜻蜓视觉成像模型的三维纹理图案特征匹配区域,设置出最佳三维纹理图案特征匹配分布及分布区域。
步骤4.1首先基于蜻蜓视觉成像模型的三维纹理图案特征匹配区域,设置三维纹理图案特征匹配分布及分布区域,实现三维纹理图案特征匹配分布初始化;
步骤4.2依据三维纹理图案特征匹配分布和执行步骤3中的三维纹理图案特征匹配函数,进一步设置最佳的三维纹理图案特征匹配分布及分布区域。在三维纹理图案特征匹配合成中,将三维纹理图案特征匹配细节和特征细节分布,输出到三维纹理图案特征匹配合成中,保持合成的三维纹理图案特征与蜻蜓视觉成像模型的三维纹理图案特征的颜色、三维纹理细节统计特征一致;
设置的最佳三维纹理图案特征匹配分布及分布区域为
Z:X→S;Z(x)=(P(x)+H(x))Sx,x∈X
x是属于三维纹理图案特征匹配分布的二维空间坐标,P是三维纹理图案特征,P(x)是设置的三维纹理图案特征区域。H是相邻的两个图案特征,H(x)是相邻的两个图案特征匹配。S是三维纹理图案特征分布,Sx是三幅二维纹理图案特征匹配区域。Z(x)是所有的位于x∈S∈X中的三幅二维纹理图案特征匹配分布区域组成的三维纹理图案特征分布区域聚集。Z:X→S是由二维纹理图案特征匹配分布组成的三幅二维纹理图案特征匹配分布。匹配三维纹理图案特征与设置的三幅二维纹理图案特征之间的映射特征,实现三维数据和二维纹理图案特征数据自动映射匹配;
步骤4.3控制三维纹理图案特征匹配分布和三维纹理图案特征匹配分布区域,并比较每一个二维纹理图案特征的像素的颜色值和特征值,对三幅二维纹理图案特征中中频、高频内容和强边缘进行匹配,从而实现三幅二维纹理图案细节结构信息不丢失;
步骤4.4通过执行三维纹理图案特征匹配函数,进而控制三维纹理图案纹理纹样、图案特征匹配分布区域;
步骤4.5在(4.4)实施基础上,合成三维纹理图案特征匹配分布及分布区域,并与设置的三维纹理图案的纹理纹样、纹理图案特征样式匹配分布一致。
步骤4.5中与设置的三维纹理图案纹理纹样、纹理图案特征样式匹配分布一致过程如下:
步骤4.5.1对三维纹理图案特征匹配分布区域相邻的每一区域进行三维纹理图案特征匹配,通过ICDC迭代找到纹理图案结构特征、色彩、纹饰进行特征匹配,进行图案图样设置。基于蜻蜓视觉成像模型的三维纹理图案特征匹配区域,执行三维纹理图案特征匹配函数进行匹配,控制处理。依据事先设计的三维纹理图案特征匹配设置进行三维纹理图案纹理纹样及图案特征匹配合成,形成三维纹理图案特征匹配分布及分布区域;
步骤4.5.2对三维纹理图案特征匹配分布中的每一匹配特征进行匹配阈值设置,阈值设置为不大于0.15,并设置为纹理图案特征匹配默认值。对设置的三维纹理图案特征匹配进行对比,ICDC迭代优化,从而在默认值范围内匹配的三维纹理图案特征就保持了图案特征的全局统计属性,从而匹配出最优的三维纹理图案特征匹配分布及分布区域且匹配精度高,匹配速度更快和更强大。进而形成并一致设置的三维纹理图案纹理纹样、纹理图案特征样式匹配分布。
第五步:对三维纹理图案样式特征变化实施三维纹理图案样式设置,并对三维纹理图案样式特征进行匹配,合成三维纹理图案样式特征匹配分布区域,形成图案样式特征变化区域。
步骤5.1对三维纹理图案变化的图案样式特征匹配进行检测及设置;
步骤5.2对光照角度变化进行设定,角度间隔30-60度,本实施例中以间隔30度为基准;
步骤5.3基于设置出的最佳三维纹理图案特征匹配分布及分布区域,对三维纹理图案样式特征变化进行三维纹理图案样式设置,实施三维纹理图案样式特征匹配。采用设置的三维纹理图案样式特征与待合成三维纹理图案样式特征的匹配,来确定该特征是否为三维纹理图案样式特征匹配分布及分布区域的匹配特征进行匹配,不是则丢弃,进而合成三维纹理图案样式特征匹配分布区域,形成图案样式特征变化区域。
第六步:实施三维纹理图案特征匹配最优化,合成设置的三维纹理图案。
对三维纹理图案样式特征匹配分布区域的三幅二维纹理图案,实施纹理图案样式特征匹配区域图案合成的目标是将待匹配的区域图案特征映射到已合成的三维纹理图案匹配区域位置上,从而最终获得三维纹理图案合成结果。
步骤6.1三维纹理图案为三幅不同光照角度下的纹理图案,本实施例中光照角度以间隔30度为基准;
步骤6.2执行三维纹理图案特征匹配函数,保存三维纹理图案特征匹配的全局统计特性,从而使合成三维纹理图案特征保持设置的三维纹理图案特征的全局统计属性;
步骤6.3当三维纹理图案特征匹配形成准确合成的三幅二维纹理图案特征匹配分布区域时,则停止创建三维纹理图案特征匹配分布及分布区域;
步骤6.4在三维纹理图案样式特征匹配合成中,实施三维纹理图案特征匹配最优化。将三维纹理图案样式特征匹配区域图案看作一个整体,统计出三维纹理图案样式特征匹配区域图案匹配细节和颜色的特征阈值。在ICDC迭代过程中,同样统计出合成的三维纹理图案特征匹配区域图案特征阈值。在每一次迭代中由ICDC更新这个合成的图案样式特征匹配的三维纹理图案,通过ICDC统计出的特征阈值来调整三维纹理图案样式特征匹配中最优匹配特征均方差不大于特征阈值,保持合成的三维纹理图案特征匹配区域图案特征阈值与图案样式特征区域图案匹配细节和颜色的特征阈值一致;
步骤6.5在合成图案样式特征匹配区域图案期间,保存纹理图案特征结构的图案边缘特征,并保存连续的图案特征细节特征,形成三维纹理图案内在的图案结构特征,进一步进行三维纹理图案特征匹配之间的比较和配准;
步骤6.6在图案特征细节特征辅助下,迭代地对纹理图案特征匹配及分布进行优化,防止合成的三维纹理图案结构不连续或特征结构断裂现象发生。此外,对样式纹理图案特征变化和待合成纹理图案特征的细节特征变化,进行图案样式特征匹配之间的比较和配准,进一步提高三维纹理图案合成质量,同时加快收敛速度,由此,完成设置的三维纹理图案合成。所述合成三维纹理图案为三幅不同光照角度下的纹理图案,如图2中(a)图、(b)图、(c)图三幅示意图所示。
本发明提出的基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,依据建立的蜻蜓视觉成像模型的三维纹理图案特征匹配区域,参照采集的三维空间的三维纹理图案特征,执行三维纹理图案特征匹配函数,进行三维纹理图案特征输入,输出设置的三维纹理图案匹配特征,形成与采集的三维空间的三维纹理图案特征区域具有纹理图案外观新颖性的新的匹配区域分布;进而设置最佳的三维纹理图案特征匹配分布及分布区域;对三维纹理图案样式特征变化进行三维纹理图案样式设置;最后实施图案特征匹配最优化,从而实现设置的三维纹理图案合成目的。本发明提供的一种基于蜻蜓视觉成像模型设置的三维纹理图案合成方法能够保证合成的三维纹理图案特征匹配细节结构特征不丢失,三维纹理图案特征连续,并能很好地保存三维纹理图案特征的匹配性和纹理纹样。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (7)
1.一种基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,其特征在于,包括以下步骤:
(1)采集三维空间的三维纹理图案,所述三维纹理图案为三幅不同光照角度下的二维纹理图案,光照角度间隔30-60度;
(2)建立蜻蜓视觉成像模型,特征描述为设置多个六角形纹理图案特征匹配区域并聚集成三维纹理图案;
(3)为进行三维纹理图案特征匹配,设置三维纹理图案特征匹配函数,输入三维空间的三维纹理图案特征,输出基于蜻蜓视觉成像模型设置的三维纹理图案匹配特征,进而对输出的三维纹理图案匹配特征进行匹配,形成与采集的三维空间的三维纹理图案特征具有三维纹理图案特征外观新颖性的新的匹配特征;所述三维纹理图案特征匹配函数为:
其中φ为图案样式特征为特征变换C的参数,wi为对应的蜻蜓视觉成像模型特征匹配的二维纹理图案特征对的权值,β为三维纹理图案特征匹配值,Mj为得到的三维纹理图案特征匹配,Ni为待匹配三维纹理图案特征;N为三维纹理图案特征匹配的数量;
(4)控制三维纹理图案特征匹配分布和三维纹理图案特征匹配分布区域,并比较每一个二维纹理图案特征的像素的颜色值和特征值,对三幅二维纹理图案特征中中频、高频内容和强边缘进行匹配,并基于蜻蜓视觉成像模型的三维纹理图案特征匹配区域,设置出最佳三维纹理图案特征匹配分布及分布区域;
(5)对三维纹理图案样式特征变化进行三维纹理图案样式设置,并对三维纹理图案样式特征进行匹配,合成三维纹理图案样式特征匹配分布区域,形成图案样式特征变化区域;
(6)实施三维纹理图案特征匹配最优化,合成设置的三维纹理图案。
2.根据权利要求1所述的基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,其特征在于,步骤(1)中包括:
(1.1)采集的三维空间的三维纹理图案以现实三维纹理图案的光反射规律符合朗伯模型定律为原则,以太阳光为光源,作为近域光场,拍摄者指定拍摄三维纹理图案的空间位置并指定日期和当日时间,以设置阳光的照射角度及太阳光线强度,从而得到真实光源的入射光场;
(1.2)利用运动相机采集不同光照角度下的三幅二维纹理图案,采集的三维纹理图案是从位于不同角度位置的运动相机拍摄各向同性材料物体表面图案得到,其图案特征作为三维纹理图案特征匹配分布依据,采集的每一幅二维纹理图案的粗糙表面一定,在三维坐标V(x,y,z)中,采集的二维纹理图案则位于x-y平面上,相机的轴线与z轴间隔一定角度,拍摄角度以30-60度为间隔,且中心在三维坐标原点;
(1.3)安装的运动相机通过一个计算机控制的椭圆轨道系统自动地改变位置,进行360角度域的自动和密集拍摄采样;
(1.4)运动相机保持在每一个对应二维纹理图案上部不同拍摄角度的位置,并且旋转在不同光照角度下的纹理图案法线方向进行拍摄。
3.根据权利要求1所述的基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,其特征在于,所述建立蜻蜓视觉成像模型的步骤包括:
设置多个六角形纹理图案特征匹配区域并聚集成三维纹理图案,每个纹理图案特征只接受单一方向的纹理图案特征匹配,形成六角形区域状纹理图案特征匹配区域,所有六角形区域状纹理图案特征匹配区域相互嵌合,进而创建正立的镶嵌三维纹理图案,形成光六角形区域状纹理图案聚集从而建立起三维纹理图案成像模型。
4.根据权利要求1所述的基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,其特征在于,步骤(3)中包括:
(3.1)基于蜻蜓视觉成像模型的三维纹理图案特征,设置三维纹理图案特征匹配;包括:
(3.1.1)基于蜻蜓视觉成像模型的三维纹理图案特征,设置三幅二维纹理图案特征S1,S2和S3之间的对应三维纹理图案特征,并利用从采集的三维纹理图案相邻的两个特征区域各提取出来的N个纹理图案特征进行匹配,N个三维纹理图案特征匹配构成三幅二维纹理图案特征匹配;
(3.1.2)从三幅二维纹理图案特征匹配中第k个图案特征匹配区域Rk中提取N个纹理图案特征匹配到对应设置的三维纹理图案特征匹配Sk1,Sk2和Sk3图案特征匹配中,N个纹理图案特征按照距离Rk的远近匹配,按照同样的图案特征匹配,从第k+1个图案特征匹配区域Rk+1中提取N+1个纹理图案特征匹配到对应设置的三维纹理图案特征匹配Sk1+1,Sk2+1和Sk3+1,匹配后的三维纹理图案特征匹配为Sk1+n,Sk2+n和Sk3+n;
(3.1.3)三维纹理图案特征匹配Sk1+n,Sk2+n和Sk3+n形成为三维纹理图案特征匹配的三维特征S1、S2和S3之间的三维纹理图案特征匹配,基于蜻蜓视觉成像模型的三维纹理图案特征,按照两个纹理图案特征匹配进行加权,得到三维纹理图案特征匹配;
(3.2)基于得到的三维纹理图案特征匹配,对三维纹理图案特征匹配进行函数设置;包括:
(3.2.1)对每一个纹理图案特征求出其在每一个二维纹理图案上的对应特征,并取出该对应二维纹理图案特征的RGB值作为三维纹理图案特征匹配的纹理值;
(3.2.2)实施迭代最近图案特征ICDC迭代,获得三维纹理图案特征匹配和待匹配三维纹理图案特征数据映射,从而设置的三维纹理图案特征匹配函数:
(3.3)基于蜻蜓视觉成像模型,进行三维空间的三维纹理图案特征输入,输出基于蜻蜓视觉成像模型设置的三维纹理图案匹配特征;包括:
(3.3.1)输出设置的三维纹理图案匹配特征后,进行三维纹理图案特征匹配初始化,输出的三幅二维纹理图案匹配特征的每一个对应特征点分别对应三维纹理图案上特征点Pi(ui,gi),i=1,2,3,(ui,gi)为特征点Pi在三维纹理图案特征匹配上对应特征点的坐标,则图案特征表示为:
Qi为对应特征对的权值,Di为对应特征匹配的阈值,C为确定的特征变换;
(3.3.2)设置ICDC迭代的初始值,执行三维纹理图案特征匹配函数,进行三维纹理图案匹配特征匹配;
(3.3.3)在三幅二维纹理图案特征中寻找对应的每一个三维纹理图案特征与二维纹理图案匹配特征匹配位置距离最近待匹配特征,并作为对应图案特征实施匹配,为每一个二维纹理图案特征找到最近匹配特征后,进行迭代匹配,得到三维纹理图案特征;
(3.3.4)依据这些新的对应特征,重复步骤3.3.3,确定新的特征匹配,将ICDC迭代下去;
(3.3.5)当三维纹理图案特征匹配满足匹配函数控制要求时,停止ICDC迭代,并对新的特征匹配进行最小二乘法优化,从而三维纹理图案特征匹配就获得了精确的图案特征匹配;
(3.4)进行三维纹理图案特征匹配,图案图型设置,同时三维纹理图案特征匹配随着三维纹理图案特征的变化而变化;
(3.5)进而对输出的三维纹理图案匹配特征进行匹配,形成与采集的三维空间的三维纹理图案特征区域具有纹理图案外观新颖性的新的匹配区域分布。
5.根据权利要求1所述的基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,其特征在于,步骤(4)中包括:
(4.1)首先基于蜻蜓视觉成像模型的三维纹理图案特征匹配区域,设置三维纹理图案特征匹配分布及分布区域,实现三维纹理图案特征匹配分布初始化;
(4.2)依据三维纹理图案特征匹配分布和执行步骤(3)中的三维纹理图案特征匹配函数,进一步设置最佳的三维纹理图案特征匹配分布及分布区域,在三维纹理图案特征匹配合成中,将三维纹理图案特征匹配细节和特征细节分布输出到三维纹理图案特征匹配合成中,保持合成的三维纹理图案特征与蜻蜓视觉成像模型的三维纹理图案特征的颜色、三维纹理细节统计特征一致;
(4.3)控制三维纹理图案特征匹配分布和三维纹理图案特征匹配分布区域,并比较每一个二维纹理图案特征的像素的颜色值和特征值,对三幅二维纹理图案特征中中频、高频内容和强边缘进行匹配,从而实现三幅二维纹理图案细节特征不丢失;
(4.4)通过执行三维纹理图案特征匹配函数,进而控制三维纹理图案纹理纹样,图案特征匹配分布区域;
(4.5)在(4.4)实施基础上,合成三维纹理图案特征匹配分布及分布区域,并与设置的三维纹理图案纹理纹样、纹理图案特征样式匹配分布一致;
在(4.2)中,设置的最佳三维纹理图案特征匹配分布及分布区域为
Z:X→S;Z(x)=(P(x)+H(x))Sx,x∈X
6.根据权利要求1所述的基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,其特征在于,步骤(5)中包括:
(5.1)对三维纹理图案变化的图案样式特征匹配进行检测及设置;
(5.2)对光照角度变化进行设定,角度间隔30-60度;
(5.3)基于设置出的最佳三维纹理图案特征匹配分布及分布区域,对三维纹理图案样式特征变化进行三维纹理图案样式设置,实施三维纹理图案样式特征匹配,采用设置的三维纹理图案样式特征与待合成三维纹理图案样式特征的匹配,来确定该特征是否为三维纹理图案样式特征匹配分布及分布区域的匹配特征进行匹配,不是则丢弃,进而合成三维纹理图案样式特征匹配分布区域,形成图案样式特征变化区域。
7.根据权利要求1所述的基于蜻蜓视觉成像模型设置的三维纹理图案合成方法,其特征在于,步骤(6)中对三维纹理图案样式特征匹配分布区域的三幅二维纹理图案,实施纹理图案样式特征匹配区域图案合成的目标是将待匹配的区域图案特征映射到已合成的三维纹理图案匹配区域位置上,从而最终获得三维纹理图案合成结果;具体包括:
(6.1)设置三维纹理图案为三幅不同光照角度下的纹理图案,光照角度以间隔30度为基准;
(6.2)执行三维纹理图案特征匹配函数,保存三维纹理图案特征匹配的全局统计特性,从而使合成三维纹理图案特征保持设置的三维纹理图案特征的全局统计属性;
(6.3)当三维纹理图案特征匹配形成准确合成的三幅二维纹理图案特征匹配分布区域时,则停止创建三维纹理图案特征匹配分布及分布区域;
(6.4)在三维纹理图案样式特征匹配合成中,实施三维纹理图案特征匹配最优化,将三维纹理图案样式特征匹配区域图案看作一个整体,统计出三维纹理图案样式特征匹配区域图案匹配细节和颜色的特征阈值;在ICDC迭代过程中,同样统计出合成的三维纹理图案特征匹配区域图案特征阈值;在每一次迭代中由ICDC更新这个合成的图案样式特征匹配的三维纹理图案,通过ICDC统计出的特征阈值来调整三维纹理图案样式特征匹配中最优匹配特征均方差不大于特征阈值,保持合成的三维纹理图案特征匹配区域图案特征阈值与图案样式特征区域图案匹配细节和颜色的特征阈值一致;
(6.5)在合成图案样式特征匹配区域图案期间,保存纹理图案特征结构的图案边缘特征,并保存连续的图案特征细节特征,形成三维纹理图案内在的图案结构特征,进一步进行三维纹理图案特征匹配之间的比较和配准;
(6.6)在图案特征细节特征辅助下,迭代地对纹理图案特征匹配及分布进行优化,防止合成的三维纹理图案结构不连续或特征结构断裂现象发生;此外,对样式纹理图案特征变化和待合成纹理图案特征的细节特征变化,进行图案样式特征匹配之间的比较和配准,进一步提高三维纹理图案合成质量,同时加快收敛速度,由此,完成设置的三维纹理图案合成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810371256.1A CN108682042B (zh) | 2018-04-24 | 2018-04-24 | 基于蜻蜓视觉成像模型设置的三维纹理图案合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810371256.1A CN108682042B (zh) | 2018-04-24 | 2018-04-24 | 基于蜻蜓视觉成像模型设置的三维纹理图案合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108682042A CN108682042A (zh) | 2018-10-19 |
CN108682042B true CN108682042B (zh) | 2020-08-11 |
Family
ID=63801361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810371256.1A Expired - Fee Related CN108682042B (zh) | 2018-04-24 | 2018-04-24 | 基于蜻蜓视觉成像模型设置的三维纹理图案合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108682042B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2009208137A1 (en) * | 2008-12-22 | 2010-07-08 | Electronics And Telecommunications Research Institute | Apparatus and method for synthesizing time-coherent texture |
CN105046735A (zh) * | 2015-07-13 | 2015-11-11 | 长沙理工大学 | 一种基于基元分布的三维表面纹理合成方法 |
CN105279789A (zh) * | 2015-11-18 | 2016-01-27 | 中国兵器工业计算机应用技术研究所 | 一种基于图像序列的三维重建方法 |
US9251620B2 (en) * | 2011-10-26 | 2016-02-02 | Disney Enterprises, Inc. | Fast pattern interpolation with parallel coherent random walk searching |
CN206147130U (zh) * | 2015-06-01 | 2017-05-03 | 深圳市众巢纳米科技有限公司 | 一种蜂窝状微凸光栅 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7817161B2 (en) * | 2006-06-26 | 2010-10-19 | Microsoft Corporation | Texture synthesis using dimensionality-reduced appearance space |
-
2018
- 2018-04-24 CN CN201810371256.1A patent/CN108682042B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2009208137A1 (en) * | 2008-12-22 | 2010-07-08 | Electronics And Telecommunications Research Institute | Apparatus and method for synthesizing time-coherent texture |
US9251620B2 (en) * | 2011-10-26 | 2016-02-02 | Disney Enterprises, Inc. | Fast pattern interpolation with parallel coherent random walk searching |
CN206147130U (zh) * | 2015-06-01 | 2017-05-03 | 深圳市众巢纳米科技有限公司 | 一种蜂窝状微凸光栅 |
CN105046735A (zh) * | 2015-07-13 | 2015-11-11 | 长沙理工大学 | 一种基于基元分布的三维表面纹理合成方法 |
CN105279789A (zh) * | 2015-11-18 | 2016-01-27 | 中国兵器工业计算机应用技术研究所 | 一种基于图像序列的三维重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108682042A (zh) | 2018-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104574501B (zh) | 一种针对复杂三维场景的高质量纹理映射方法 | |
CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
CN111951384B (zh) | 一种基于单张人脸图片的三维人脸重建方法和系统 | |
CN105261059A (zh) | 一种基于在屏幕空间计算间接反射高光的渲染方法 | |
US12002150B2 (en) | Systems and methods for physically-based neural face shader via volumetric lightmaps | |
CN106960442A (zh) | 基于单目红外的夜间机器人视觉大视场三维构建方法 | |
CN108335352A (zh) | 一种面向多视图大规模三维重建场景的纹理映射方法 | |
CN109801365A (zh) | 一种三维建模数据采集装置及其三维建模方法 | |
CN101794460A (zh) | 基于光线投射体绘制算法的人体心脏三维解剖组织结构模型可视化方法 | |
CN106127818B (zh) | 一种基于单幅图像的材质外观获取系统及方法 | |
CN106204701A (zh) | 一种基于光探针插值动态计算间接反射高光的渲染方法 | |
CN106447763A (zh) | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 | |
CN103826032A (zh) | 深度图后期处理方法 | |
CN114998545A (zh) | 一种基于深度学习的三维建模阴影识别系统 | |
CN118196306A (zh) | 基于点云信息和高斯云团的3d建模重建系统、方法及装置 | |
CN109345570B (zh) | 一种基于几何形状的多通道三维彩色点云配准方法 | |
CN117319807B (zh) | 一种岩洞穹顶的光影呈像方法及系统 | |
CN107123135B (zh) | 一种无序三维点云的无畸变成像方法 | |
Xu et al. | Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing | |
CN117218192A (zh) | 一种基于深度学习与合成数据的弱纹理物体位姿估计方法 | |
CN108682042B (zh) | 基于蜻蜓视觉成像模型设置的三维纹理图案合成方法 | |
CN109859255B (zh) | 大动作运动物体的多视角非同时采集与重建方法 | |
CN106157321A (zh) | 基于平面表面高动态范围图像的真实点光源位置测算方法 | |
CN106709977A (zh) | 一种基于场景夜景图的光源自动排列方法 | |
Ye et al. | A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200811 |
|
CF01 | Termination of patent right due to non-payment of annual fee |