CN110097626A - 一种基于rgb单目图像的浅浮雕物体识别处理方法 - Google Patents
一种基于rgb单目图像的浅浮雕物体识别处理方法 Download PDFInfo
- Publication number
- CN110097626A CN110097626A CN201910371367.7A CN201910371367A CN110097626A CN 110097626 A CN110097626 A CN 110097626A CN 201910371367 A CN201910371367 A CN 201910371367A CN 110097626 A CN110097626 A CN 110097626A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- point
- edge
- basse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000011084 recovery Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 30
- 238000010606 normalization Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 210000003361 heart septum Anatomy 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 241000234435 Lilium Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于RGB单目图像的浅浮雕物体识别处理方法。读取RGB单目图像信息,包括图像中像素点总数、每个像素点的色度信息、亮度信息和位置信息;采用边缘细节增强的处理方法提取图像的轮廓边缘,得到图像中对象的轮廓边缘信息;在轮廓边缘的基础上,采用改进的连通域标定算法对RGB单目图像进行分割,得到图像区域;通过像素点明暗度深度恢复算法,求解每个图像区域中每个像素的高度值,得到每个图像区域的三维点云数据,再通过三角面片重构算法,构建出浅浮雕模型。本发明通过一张普通RGB图像可较好地构建识别出浅浮雕模型,计算资源消耗低,计算量小,效率高,为图像的触觉感知奠定基础。
Description
技术领域
本发明涉及图像浅浮雕物体识别处理方法,尤其是基于RGB单目图像的浅浮雕物体识别处理方法,能较好地重构出图像所反映物体表面的三维几何形状,属于计算机图形学和虚拟现实力触觉再现技术领域。
背景技术
人类社会存在以来,雕刻艺术在人类的生活中无处不在。浮雕将平面的图画创建成三维立体造型的表现形式,在满足空间艺术的基础上也满足人们的视觉感受。浮雕的存在给明眼人带来视觉感受的同时,也给视障人士获取图像信息带来渠道。对视障人士而言,虽然目前已经有盲文点显装置和语音阅读来帮助其获取文字信息,但对于图像信息的获取仍然存在一定的难度。浮雕的存在让他们可以通过触觉来获取的图像信息,从而扩展了他们的信息获取渠道。
最早通过3D模型映射进行浅浮雕制作的是Cignoni,他通过透视投影和深度压缩的方法进行浮雕模型的生成,为后续研究3D模型映射的研究奠定了基础。在后期的研究中,Weyrich等人通过非线性压缩函数进行梯度域的压缩,该方法很好的保留了图像的细节部分,并且在轮廓处较为缓和。Zhang等人将输入的3D模型直接进行压缩,得到高度值合适的动态范围。但是基于HDR的方法会略了模型中的细节部分,得到的浅浮雕模型在小区域细节丢失。Zhang Y W等人针对照明对浅浮雕外观的影响,提出了一种自适应地生成关于光照条件的浮雕。Wei等人使用两步网格平滑机制作为桥梁,对平滑基础层和细节层进行适当的操作,能够在进行压缩时保留更多细节。通过深度相机和多幅数字图像进行浅浮雕建模需要外部设备的支持,且拍摄要求较高。
相比较而言,基于单幅图像的浅浮雕建模具有选择广泛、使用时间短、制作效率高的优势,具有很好的应用前景。
发明内容
为了解决背景技术中存在的问题,本发明提出了一种基于RGB单目图像的浅浮雕物体识别处理方法。本发明基于RGB单目图像实现浅浮雕建模解决了以下技术问题:1)图像的区域划分,2)高度值恢复,3)表面三维重构等关键技术。
本发明采用的技术方案包括以下几个步骤:
1)读取RGB单目图像信息,包括图像中像素点总数、每个像素点的色度信息、亮度信息和位置信息;
2)采用边缘细节增强的处理方法提取图像的轮廓边缘,得到图像中对象的轮廓边缘信息;
3)在轮廓边缘的基础上,采用改进的连通域标定算法对RGB单目图像进行分割,得到若干个图像区域;
4)通过像素点明暗度深度恢复算法,求解每个图像区域中每个像素的高度值,得到每个图像区域的三维点云数据,再通过三角面片重构算法,构建出浅浮雕模型。
所述步骤2)在对RGB单目图像进行去噪预处理后,采用边缘细节增强的全自动提取图像轮廓边缘方法,联合像素点的亮度和色度信息获取图像的梯度值,采用基于边缘切向流的高斯差分求得图像的轮廓边缘,并采用中值滤波对提取的轮廓边缘进行平滑细化处理,增强轮廓边缘的细节结构。
所述的全自动提取图像轮廓边缘方法具体步骤如下:
2.1)从RGB色彩空间转换到YUV色彩空间,在YUV色彩空间下求解像素点的亮度值作为RGB单目图像中的亮度信息,再通过Sobel算子获取亮度信息的梯度图像,计算获得图像的亮度梯度幅度;同时从RGB色彩空间转换到CIE-L*a*b*色度空间,从CIE-L*a*b*色度空间获取色度信息及其梯度值,处理获得色度梯度幅度;将亮度梯度幅度和色度梯度幅度分别进行归一化处理和融合,获得融合梯度;
2.2)利用融合梯度和边缘切向流获取轮廓边缘
上述的处理方法能能够获取高质量的轮廓图像,在图像的处理过程中保留图像的细节信息,保留了显著的边缘方向。在具有相似方向的边缘进行平滑处理,防止了相对较弱的矢量被不相关的强矢量影响。
采用以下边缘切向流滤波器:
其中,ti+1(x)表示第i+1次迭代计算下像素点x处的归一化切向量,Ω(x)表示像素点x的邻域,半径为r;k是归一化因子;ti(y)表示第i次迭代计算下像素点y处的归一化切向量;Φ(x,y)表示归一化切线向量ti(y)方向的符号函数,该值和ti(x)与ti(y)的夹角大小有关;ws(x,y)为空间加权函数;wm(x,y)为幅度加权函数;wd(x,y)为方向加权函数;像素点y和像素点x为不同的像素点;
空间加权函数ws(x,y)表达公式为:
其中,r表示滤波框半径,大小和Ω(x)半径一致;||x-y||表示像素点x和y之间的距离;
幅度加权函数wm(x,y)表达公式为:
其中,e(x)表示像素点x处归一化后梯度值;η控制下降率,取值为1;e(y)表示像素点y处归一化后梯度值;h表示像素点x和像素点y之间的距离;
方向加权函数wd(x,y)表达公式为:
wd(x,y)=|ti(x)·ti(y)| 2-(29)
其中,ti(x)表示像素点x处的归一化切向量,ti(y)表示像素点y处的归一化切向量;归一化切线向量ti(y)方向的符号函数Φ(x,y)计算为,Φ(x,y)∈{1,-1}来表示ti(y)的方向:
获取融合梯度逆时针方向的垂直矢量作为边缘切向流的初始矢量,像素点x处的归一化切向量,然后通过对公式ti(x)→ti+1(x)的迭代,获得了平滑的所有像素点的归一化切向量;
在迭代过程中,梯度g(x)保持不变。一般情况下,迭代次数取值为2-3次。
基于边缘切向流滤波器在梯度方向上进行图像轮廓线的提取,在提取过程中使用线性DOG滤波器,通过收集每个像素的滤波响应,可推断出此轮廓边缘提取的有效性。这样处理不仅放大了真正的边缘的滤波器输出,在此同时,削弱了伪边缘的输出,最终的结果是同时满足增强了边缘的相干性和抑制噪声。
2.3)采用中值滤波的FDOG滤波器对提取的轮廓边缘进行平滑细化处理,FDOG滤波器表示为:
其中,ls(x)表示像素点x处的线ls上的点;Cx(s)表示像素点x处的积分曲线,ls表示垂直于积分曲线Cx(s)的切线且与积分曲线Cx(s)相交的线段,即法线段,用来表示曲线的宽度,积分曲线Cx(s)的曲线长度s的取值范围为[-S,S],假设像素点x为曲线中心,此时曲线长度s=0,即Cx(0)=X。I(ls(x))为输入图像I在点ls(x)处的值,f(x)表示高斯差分函数,T表示像素点x的积分曲线取值范围;表示方差σc的中心间隔1维高斯函数,σc表示中心间隔方差;表示方差σs的周围间隔1维高斯函数,σs表示周围间隔方差;σs=1.6σc,参数σc、σs分别控制中心间隔和周围间隔,ρ表示控制噪声的级别,一般取值在[0.79,1]区间。
所述步骤3),图像轮廓边缘的区域划分具体步骤如下:
3.1)进行区域划分:将步骤2)提取到的轮廓边缘作为前景像素点,其余部分作为背景像素点,背景像素点为白色,前景像素点为黑色,取值白色像素点为0,黑色像素点为1;
3.2)首先自上而下遍历图像的每行像素点,每行遍历中再自左向右遍历各个像素点;
3.3)当第一次扫描到前景像素点P时,作为初始像素点,则该前景像素点赋予第二标记号,并按照连通方式从该像素点不断向外扩展遍历邻域的像素点,将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第二标记号,将按照连通方式扩展遍历获得背景像素点赋予第一标记号,最后回到初始像素点;
3.4)继续按照步骤2)方式进行遍历,直到遍历到一个未赋予标记号的前景像素点,作为初始像素点,则继续按照连通方式从该像素点不断向外扩展遍历邻域的像素点,将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第四标记号,将按照连通方式扩展遍历获得背景像素点赋予第三标记号,最后回到初始像素点;
3.5)以相同的重复上述步骤,将获得的具有相同标记号的前景像素点作为图像区域。
所述步骤4),具体为:
4.1)采用以下公式的雅克比迭代求解每个图像区域中每个像素的高度值:
其中,z(x)表示像素点x的高度值,f[]表示辐照方程;zn-1(x)表示z(x)的第n-1次方迭代结果;初始值z0(x)=0,通过迭代得到图像中每个像素点的高度值;
4.2)通过图像中图像区域之间的凹凸关系,人机交互调整各个图像区域之间的凹凸,得到符合浅浮雕特点的三维点云数据;
4.3)采用三角剖分算法进行三维点云数据的三角面片重构,先构建一个能够包含所有点的大三角形,并将其放入三角形链表中;接着插入一个三维点,寻找包含三维点的扩展边外接圆,删除公共边,将该三维点与三角形的顶点依次连接,完成一个三维点的操作,并放入三角形链表;遍历所有的三维点,构造出每个图像区域的表面,得到浅浮雕模型。
本发明方法的优点及显著效果,和以往的方法相比具有以下特点:
1、本发明方法改进了传统轮廓跟踪法,使得在进行区域划分时具有更好的性能和稳定性,能得到流畅、平滑、清晰且保留显著边缘特征的图像轮廓。
2、本发明方法将像素点明暗度深度恢复算法和区域划分相结合,得到准确的区域间凹凸关系,使最终得到含有高度值信息的点云数据更加符合实际情况。
3、本发明方法采用三角剖分算法对含有高度值信息的点云数据进行三维重构,使用OpenGL对最终的浅浮雕模型通过网格形式进行显示,能较好地生成出图像的浅浮雕效果。
附图说明
图1是本发明方法的流程图。
图2是基于轮廓边缘提取的区域划分流程图。
图3是基于图像区域的图像高度值恢复流程图。
图4是实施例图像轮廓提取的原始图。
图5是实施例图像轮廓提取的效果图。
图6是实施例图像轮廓提取的效果对比图。
图7是实施例图像区域划分的举例示意图。
图8是实施例图像区域划分的效果图。
图9是实施例浮雕建模的效果图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述。
如图1所示,读取RGB单目图像信息,包括图像中像素点总数、每个像素点的色度信息、亮度信息和位置信息;采用边缘细节增强算法提取图像的轮廓边缘,得到图像中对象的轮廓边缘信息;采用改进的连通域标定算法对RGB单目图像进行区域划分,得到若干个图像区域;通过像素点明暗度深度恢复算法,求解每个图像区域中每个像素的高度值,实现像素点的深度恢复,并结合人机交互,得到每个图像区域的三维点云数据,再通过三角面片重构算法,构建出浅浮雕模型,呈现在显示器中或3D打印出浅浮雕实物。
本发明的实施例如下:
1)读取RGB单目图像信息,包括图像中像素点总数、每个像素点的色度信息、亮度信息和位置信息;
以图6为例,详细说明本发明方法是如何实现RGB单目图像的轮廓边缘提取。读入原始图6(a),获取图像的像素信息,对图像进行平滑化处理,消除噪点对图像的影响。
首先在YUV色彩空间下通过Sobel算子获取基于亮度信息的梯度值采用CIE-L*a*b*色度空间获取色度信息的梯度值将亮度梯度和色度梯度分别进行归一化处理△Y=(△Y-min)(max-min),△C=(△C-min)(max-min),得到亮度梯度和色度梯度两者的融合梯度生成出图6(a)的初始梯度图。
2)如图2所示,采用边缘细节增强的处理方法提取图像的轮廓边缘,得到图像中对象的轮廓边缘信息;
通过双边滤波进行轮廓边缘的平滑细化处理,在迭代过程中,梯度g(x)保持不变,一般情况下,迭代次数取值为2-3次,得到图6(b)所示的轮廓边缘提取效果图。
实施例中,选取四组含有明显边缘特征明显的文字图像来进行轮廓提取实验,并且通过不同提取方法对数字图像进行轮廓提取。如图4所示,其中在选择的图像中前两个字的清晰度较高,后两个字的清晰度相对较低。图4展示了不同提取方法对文字的提取结果。
图5中对比可以看到本发明和几种不同算法之间的差异。通过图5可以看出,Canny算法在文字图像中进行轮廓提取时,可以看到轮廓的边缘出现断裂的情况,且轮廓图像有些许失真,噪声和干扰相对较少。LOG算法提取的文字轮廓更加具有完整性,文字的轮廓都能够提取出来。但是轮廓四周存在干扰,含有较多噪声,使得提取的轮廓不能够通过线条来展示文字的特点。在对比清晰度相差较大的两组图片后,可以看出当图片清晰度不高时,提取的文字轮廓存在的干扰更为严重,噪声更多。DOG算法和LOG算法类似,在轮廓四周存在较多的干扰。FDOG算法和本发明方法都能够提取出较为完整的文字轮廓,且相对干扰较小。
从结果来看,通过本发明的方法提取的文字轮廓在保证文字完整性的同时,去除了不必要存在的一些噪声信息使得图像更加清晰,由此验证了对数字图像进行轮廓检测的有效性和准确性。
3)轮廓边缘获得后,可以进行轮廓边缘细化处理。
以背景为白色,待细化的轮廓为黑色,设待判断的像素点为P1,其八邻接的像素点分别为P2,P3,P4,P5,P6,P7,P8,P9。遍历所有目标像素点,将满足下列要求的像素点进行删除,其具体要求为:
情况A:2<=N<=6,N=p2+p3+p4+p5+p6+p7+p8+p9,当N为0或1,此时p1点为端点,当N等于7或8时,p1点为内部点,在这种情况下均不可以进行删除。
情况B:从p2到p9的遍历过程中,满足01模式的数量为1;
情况C:P2*p4*p6=0;
情况D:p4*p6*P8=0。在第一次的遍历中,只判断前景像素中的东南面,在情况C、D中,p4、p6出现两次,只要p4或p6为0,就满足条件。
将同时满足A、B、C、D四个条件的前景像素点删除,完成第一次图像的遍历。再次遍历所有前景像素点,判断西北的像素点,将符合要求的像素点删除。其中A、B的条件保持不变,条件C、D变为:C.P2*p4*p8=0,D.P2*p6*P8=0。此时p2和p8出现两次,只要p2或p8为0,就满足条件。多次迭代得到最终的轮廓细化结果。
4)在轮廓边缘的基础上,采用改进的连通域标定算法对RGB单目图像进行分割,得到若干个图像区域;
以图8为例,详细说明本发明方法是如何实现基于轮廓边缘提取的区域划分。如图8(a)所示的原始图像,采用轮廓标记的算法进行区域划分,背景为白色,轮廓为黑色,取值白色像素点为0,黑色像素点为1。如图7所示:
4.1)进行区域划分:将步骤2)提取到的轮廓边缘作为前景像素点,其余部分作为背景像素点,背景像素点为白色,前景像素点为黑色,取值白色像素点为0,黑色像素点为1;
4.2)首先自上而下遍历图像的每行像素点,每行遍历中再自左向右遍历各个像素点;
4.3)当第一次扫描到前景像素点P时,作为初始像素点,则该前景像素点赋予第二标记号,并按照连通方式从该像素点不断向外扩展遍历邻域的像素点,将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第二标记号,将按照连通方式扩展遍历获得背景像素点赋予第一标记号,最后回到初始像素点;
4.4)继续按照步骤2)方式进行遍历,直到遍历到一个未赋予标记号的前景像素点,作为初始像素点,则继续按照连通方式从该像素点不断向外扩展遍历邻域的像素点,将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第四标记号,将按照连通方式扩展遍历获得背景像素点赋予第三标记号,最后回到初始像素点;
4.5)以相同的重复上述步骤,将获得的具有相同标记号的前景像素点作为图像区域。
图8(b)为图像区域划分和轮廓边缘细化的结果图。
5)如图3所示,通过像素点明暗度深度恢复算法,求解每个图像区域中每个像素的高度值,并结合人机交互,得到每个图像区域的三维点云数据,再通过三角面片重构算法,构建出浅浮雕模型。
以图9为例,详细说明本发明方法是如何实现基于基于RGB单目图像的浅浮雕生成过程。
5.1)采用以下公式的雅克比迭代求解每个图像区域中每个像素的高度值:
5.2)通过图像中图像区域之间的凹凸关系,人机交互调整各个图像区域之间的凹凸,得到符合浅浮雕特点的三维点云数据;
5.3)采用三角剖分算法进行三维点云数据的三角面片重构,先构建一个能够包含所有点的大三角形,并将其放入三角形链表中;接着插入一个三维点,寻找包含三维点的扩展边外接圆,删除公共边,将该三维点与三角形的顶点依次连接,完成一个三维点的操作,并放入三角形链表;遍历所有的三维点,构造出每个图像区域的表面,得到浅浮雕模型。
利用Talor公式展开,经过迭代计算得到高度值。在此基础上,通过人机交互获取6(a)中百合花实际情况下的相对凹凸关系和各区域内部的凹凸关系,得到满足实际情况的图像高度值信息。
将图9(a)中百合花的点云数据,采用三角剖分算法进行三维点云数据的三角面片重构,先构建一个能够包含所有点的大三角形,并将其放入三角形链表中,接着插入一个三维点,寻找包含三维点的扩展边外接圆,删除公共边,将该三维点与三角形的顶点依次连接,完成一个三维点的操作,并放入三角形链表,遍历所有的三维点,构造出每个图像区域的表面,得到浅浮雕模型,如图9(b)所示。
由此可见,本发明能通过一张普通RGB图像可较好地构建识别出浅浮雕模型,计算资源消耗低,计算量小,效率高,具有一定的应用价值,还可以给不同的图像区域赋予不同的物理属性,为图像的触觉感知奠定基础。
Claims (5)
1.一种基于RGB单目图像的浅浮雕物体识别处理方法,其特征包括以下几个步骤:
1)读取RGB单目图像信息,包括图像中像素点总数、每个像素点的色度信息、亮度信息和位置信息;
2)采用边缘细节增强的处理方法提取图像的轮廓边缘,得到图像中对象的轮廓边缘信息;
3)在轮廓边缘的基础上,采用改进的连通域标定算法对RGB单目图像进行分割,得到若干个图像区域;
4)通过像素点明暗度深度恢复算法,求解每个图像区域中每个像素的高度值,得到每个图像区域的三维点云数据,再通过三角面片重构算法,构建出浅浮雕模型。
2.根据权利要求1所述的一种基于RGB单目图像的浅浮雕物体识别处理方法,其特征在于:所述步骤2)在对RGB单目图像进行去噪预处理后,采用边缘细节增强的全自动提取图像轮廓边缘方法,联合像素点的亮度和色度信息获取图像的梯度值,采用基于边缘切向流的高斯差分求得图像的轮廓边缘,并采用中值滤波对提取的轮廓边缘进行平滑细化处理。
3.根据权利要求1述的一种基于RGB单目图像的浅浮雕物体识别处理方法,其特征在于:所述的全自动提取图像轮廓边缘方法具体步骤如下:
2.1)从RGB色彩空间转换到YUV色彩空间,在YUV色彩空间下求解像素点的亮度值作为RGB单目图像中的亮度信息,再通过Sobel算子获取亮度信息的梯度图像,计算获得图像的亮度梯度幅度;同时从RGB色彩空间转换到CIE-L*a*b*色度空间,从CIE-L*a*b*色度空间获取色度信息及其梯度值,处理获得色度梯度幅度;将亮度梯度幅度和色度梯度幅度分别进行归一化处理和融合,获得融合梯度;
2.2)利用融合梯度和边缘切向流获取轮廓边缘
采用以下边缘切向流滤波器:
其中,ti+1(x)表示第i+1次迭代计算下像素点x处的归一化切向量,Ω(x)表示像素点x的邻域,半径为r;k是归一化因子;ti(y)表示第i次迭代计算下像素点y处的归一化切向量;Φ(x,y)表示归一化切线向量ti(y)方向的符号函数,该值和ti(x)与ti(y)的夹角大小有关;ws(x,y)为空间加权函数;wm(x,y)为幅度加权函数;wd(x,y)为方向加权函数;像素点y和像素点x为不同的像素点;
空间加权函数ws(x,y)表达公式为:
其中,r表示滤波框半径;||x-y||表示像素点x和y之间的距离;
幅度加权函数wm(x,y)表达公式为:
其中,e(x)表示像素点x处归一化后梯度值;η控制下降率,取值为1;e(y)表示像素点y处归一化后梯度值;h表示像素点x和像素点y之间的距离;
方向加权函数wd(x,y)表达公式为:
wd(x,y)=|ti(x)·ti(y)| 2-(29)
其中,ti(x)表示像素点x处的归一化切向量,ti(y)表示像素点y处的归一化切向量;归一化切线向量ti(y)方向的符号函数Φ(x,y)计算为:
获取融合梯度逆时针方向的垂直矢量作为边缘切向流的初始矢量,像素点x处的归一化切向量,然后通过对公式ti(x)→ti+1(x)的迭代,获得了平滑的所有像素点的归一化切向量;
2.3)采用中值滤波的FDOG滤波器对提取的轮廓边缘进行平滑细化处理,FDOG滤波器表示为:
其中,ls(x)表示像素点x处的线ls上的点;Cx(s)表示像素点x处的积分曲线,ls表示垂直于积分曲线Cx(s)的切线且与积分曲线Cx(s)相交的线段,即法线段,积分曲线Cx(s)的曲线长度s的取值范围为[-S,S],I(ls(x))为输入图像I在点ls(x)处的值,f(x)表示高斯差分函数,T表示像素点x的积分曲线取值范围;表示方差σc的中心间隔1维高斯函数,σc表示中心间隔方差;表示方差σs的周围间隔1维高斯函数,σs表示周围间隔方差;σs=1.6σc,ρ表示控制噪声的级别。
4.根据权利要求1所述的一种基于RGB单目图像的浅浮雕物体识别处理方法,其特征在于:所述步骤3),图像轮廓边缘的区域划分具体步骤如下:
3.1)进行区域划分:将步骤2)提取到的轮廓边缘作为前景像素点,其余部分作为背景像素点,背景像素点为白色,前景像素点为黑色;
3.2)首先自上而下遍历图像的每行像素点,每行遍历中再自左向右遍历各个像素点;
3.3)当第一次扫描到前景像素点P时,作为初始像素点,则该前景像素点赋予第二标记号,并按照连通方式从该像素点不断向外扩展遍历邻域的像素点,将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第二标记号,将按照连通方式扩展遍历获得背景像素点赋予第一标记号,最后回到初始像素点;
3.4)继续按照步骤2)方式进行遍历,直到遍历到一个未赋予标记号的前景像素点,作为初始像素点,则继续按照连通方式从该像素点不断向外扩展遍历邻域的像素点,将按照连通方式扩展遍历获得前景像素点构成该像素点所对应的轮廓且赋予第四标记号,将按照连通方式扩展遍历获得背景像素点赋予第三标记号,最后回到初始像素点;
3.5)以相同的重复上述步骤,将获得的具有相同标记号的前景像素点作为图像区域。
5.根据权利要求1述的一种基于RGB单目图像的浅浮雕物体识别处理方法,其特征在于:所述步骤4),具体为:
4.1)采用以下公式的雅克比迭代求解每个图像区域中每个像素的高度值:
其中,z(x)表示像素点x的高度值,f[]表示辐照方程;zn-1(x)表示z(x)的第n-1次方迭代结果;初始值z0(x)=0,通过迭代得到图像中每个像素点的高度值;
4.2)通过图像中图像区域之间的凹凸关系,人机交互调整各个图像区域之间的凹凸,得到符合浅浮雕特点的三维点云数据;
4.3)采用三角剖分算法进行三维点云数据的三角面片重构,先构建一个能够包含所有点的大三角形,并将其放入三角形链表中;接着插入一个三维点,寻找包含三维点的扩展边外接圆,删除公共边,将该三维点与三角形的顶点依次连接,完成一个三维点的操作,并放入三角形链表;遍历所有的三维点,构造出每个图像区域的表面,得到浅浮雕模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910371367.7A CN110097626A (zh) | 2019-05-06 | 2019-05-06 | 一种基于rgb单目图像的浅浮雕物体识别处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910371367.7A CN110097626A (zh) | 2019-05-06 | 2019-05-06 | 一种基于rgb单目图像的浅浮雕物体识别处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110097626A true CN110097626A (zh) | 2019-08-06 |
Family
ID=67446938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910371367.7A Withdrawn CN110097626A (zh) | 2019-05-06 | 2019-05-06 | 一种基于rgb单目图像的浅浮雕物体识别处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110097626A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853146A (zh) * | 2019-11-18 | 2020-02-28 | 广东三维家信息科技有限公司 | 浮雕建模方法、系统及浮雕加工设备 |
CN111428368A (zh) * | 2020-03-25 | 2020-07-17 | 西北农林科技大学 | 一种基于随机优化算法的浅浮雕自动布局方法 |
CN111583286A (zh) * | 2020-04-09 | 2020-08-25 | 天津大学 | 基于Flow-XDoG算子的腹部MRI图像轮廓提取方法 |
CN111932566A (zh) * | 2020-05-27 | 2020-11-13 | 杭州群核信息技术有限公司 | 一种模型轮廓图生成方法、装置和系统 |
CN114872064A (zh) * | 2022-05-20 | 2022-08-09 | 沈以庄 | 一种人工智能型图书展示机器人及其展示方法 |
CN114986650A (zh) * | 2022-05-23 | 2022-09-02 | 东莞中科云计算研究院 | 3d打印随形支撑生成方法、装置及随形支撑结构 |
WO2022222091A1 (zh) * | 2021-04-22 | 2022-10-27 | 浙江大学 | 一种基于单张照片的人物浅浮雕模型生成方法 |
CN116834023A (zh) * | 2023-08-28 | 2023-10-03 | 山东嘉达装配式建筑科技有限责任公司 | 一种打钉机器人控制系统 |
-
2019
- 2019-05-06 CN CN201910371367.7A patent/CN110097626A/zh not_active Withdrawn
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853146A (zh) * | 2019-11-18 | 2020-02-28 | 广东三维家信息科技有限公司 | 浮雕建模方法、系统及浮雕加工设备 |
CN111428368A (zh) * | 2020-03-25 | 2020-07-17 | 西北农林科技大学 | 一种基于随机优化算法的浅浮雕自动布局方法 |
CN111428368B (zh) * | 2020-03-25 | 2023-03-21 | 西北农林科技大学 | 一种基于随机优化算法的浅浮雕自动布局方法 |
CN111583286B (zh) * | 2020-04-09 | 2023-01-20 | 天津大学 | 基于Flow-XDoG算子的腹部MRI图像轮廓提取方法 |
CN111583286A (zh) * | 2020-04-09 | 2020-08-25 | 天津大学 | 基于Flow-XDoG算子的腹部MRI图像轮廓提取方法 |
CN111932566A (zh) * | 2020-05-27 | 2020-11-13 | 杭州群核信息技术有限公司 | 一种模型轮廓图生成方法、装置和系统 |
CN111932566B (zh) * | 2020-05-27 | 2024-02-20 | 杭州群核信息技术有限公司 | 一种模型轮廓图生成方法、装置和系统 |
WO2022222091A1 (zh) * | 2021-04-22 | 2022-10-27 | 浙江大学 | 一种基于单张照片的人物浅浮雕模型生成方法 |
CN114872064B (zh) * | 2022-05-20 | 2023-05-26 | 广东工贸职业技术学院 | 一种人工智能型图书展示机器人及其展示方法 |
CN114872064A (zh) * | 2022-05-20 | 2022-08-09 | 沈以庄 | 一种人工智能型图书展示机器人及其展示方法 |
CN114986650A (zh) * | 2022-05-23 | 2022-09-02 | 东莞中科云计算研究院 | 3d打印随形支撑生成方法、装置及随形支撑结构 |
CN114986650B (zh) * | 2022-05-23 | 2023-10-13 | 东莞中科云计算研究院 | 3d打印随形支撑生成方法、装置及随形支撑结构 |
CN116834023A (zh) * | 2023-08-28 | 2023-10-03 | 山东嘉达装配式建筑科技有限责任公司 | 一种打钉机器人控制系统 |
CN116834023B (zh) * | 2023-08-28 | 2023-11-14 | 山东嘉达装配式建筑科技有限责任公司 | 一种打钉机器人控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097626A (zh) | 一种基于rgb单目图像的浅浮雕物体识别处理方法 | |
CN110807836B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
Lee et al. | Fast head modeling for animation | |
Lee et al. | Mesh saliency | |
Li et al. | Markerless shape and motion capture from multiview video sequences | |
US10347052B2 (en) | Color-based geometric feature enhancement for 3D models | |
EP3533035A1 (en) | Augmented scanning of 3d models | |
Vicente et al. | Balloon shapes: Reconstructing and deforming objects with volume from images | |
Furferi et al. | From 2D to 2.5 D ie from painting to tactile model | |
Zeng et al. | Region-based bas-relief generation from a single image | |
CN107945244A (zh) | 一种基于人脸照片的简笔画生成方法 | |
CN106056650A (zh) | 基于快速表情信息提取和泊松融合的人脸表情合成方法 | |
Zhang et al. | Real-time bas-relief generation from a 3D mesh | |
CN111046763A (zh) | 一种人像卡通化的方法和装置 | |
WO2023250088A1 (en) | Method, apparatus, and computer-readable medium for foreground object deletion and inpainting | |
Wang et al. | Image-based building regularization using structural linear features | |
Yao et al. | Manga vectorization and manipulation with procedural simple screentone | |
GB2612881A (en) | Techniques for re-aging faces in images and video frames | |
CN109064533A (zh) | 一种3d漫游方法及系统 | |
Zhang et al. | Imageadmixture: Putting together dissimilar objects from groups | |
CN109166172B (zh) | 服装模型的构建方法、装置、服务器和存储介质 | |
CN117011493B (zh) | 基于符号距离函数表示的三维人脸重建方法、装置及设备 | |
Srivastava et al. | xcloth: Extracting template-free textured 3d clothes from a monocular image | |
Lin et al. | Video stylization: painterly rendering and optimization with content extraction | |
Cushen et al. | Markerless real-time garment retexturing from monocular 3d reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190806 |
|
WW01 | Invention patent application withdrawn after publication |