CN101840575B - 一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法 - Google Patents

Abstract

本发明提出一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法，属于计算机图像处理技术领域。此方法将彩色条纹看待基本解码单位，对摄像机拍摄到的条纹颜色空间进行颜色分类化，采用图论将检测条纹图像转化为赋权有向图模型，并通过合并结点的方法对赋权有向图模型进行了化简，得到了简化赋权有向图模型，为以后寻找彩色条纹的匹配路径奠定基础。

Description

一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法

技术领域

本发明提出一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法，属于计算机图像处理技术领域。

背景技术

基于颜色结构光的三维测量系统广泛适用于与建模、检测技术相关的虚拟现实、军事仿真、工业设计、荧幕检测等领域中各类立体模型表面的三维重建的过程中，具有高精度、高效率、低成本、易实施等优点。在物体三维重构过程中，结构光编解码关系到整个三维测量系统的速度与精度。由于摄像机拍摄到的图像质量参差不齐，因此，对该图像进行彩色条纹的提取和匹配都十分苦难。

Philipp Fechteler等人建立了彩色结构光系统，提出了自适应彩色分类方法，通过该方法，作者在非暗室条件下，使用单幅彩色结构光系统实现了高质量的3D重构，解决了环境光、颜色、人脸特征对重构质量的影响，提高了系统的鲁棒性。此外，该作者还提出了一种捕获3D模型的方法，该方法采用特殊的技术将两张人脸照片进行整合，经过少量计算就可以得到高分别率的人脸3D模型。Li Zhang等人使用一幅或多幅彩色结构光编码图像，采用多通道动态规划思想快速获取物体外形。Willie Brink等人根据图中已记录条纹的潜在关联性和邻接性，提出了最大生成树算法，使用该算法可以得到比以往方法更精确、更可靠的重构结果。

到目前为止还没提出以条纹为解码单位的算法，已有算法都会出现因不良条纹而造成的匹配误差。虽然提出了多样各样的算法，但检测条纹和条纹颜色标定依然是结构光解码技术的关键。已提出的条纹匹配思想或算法都是沿着每条列，按照条纹上的像素点进行匹配，因此完成条纹匹配需要较长的时间，并且在不良像素和遮挡局域境界常会出现误码。

发明内容

为了快速地对De Bruijn彩色结构光编码图像进行高精度的解码，本发明提出了一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法。

一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法，其特征在于，该方法所需设备和实现步骤如下：

所需设备：如图1所示，所需设备由5部分组成：投影机1，投影屏幕2，摄像机3，计算机4，待测物体5；投影机1和摄像机3都通过电缆与计算机4连接。

实现步骤：

步骤1、在计算机4中，利用具有随机特性与确定性的De Bruijn伪随机序列，产生一幅7元3级De Bruijn序列彩色结构光编码图像，该图像中任意相邻两条彩色条纹的颜色都不相同，如图2所示，并存储在计算机4中。

步骤2、计算机4通过投影机1将步骤1中产生的De Bruijn序列彩色结构光编码图像经过待测物体5调制后投影到投影屏幕2上，生成调制后的投影图像。

步骤3、计算机4通过摄像机3拍摄步骤2生成的调制后的投影图像，得到彩色结构光编码图片。

步骤4、计算机4采用传统的canny算法提出步骤3得到的彩色结构光编码图片中每条彩色条纹的上边界和下边界，再计算每条彩色条纹的上边界和下边界的中间位置，得到每条彩色条纹的中心彩色条纹。

步骤5、利用聚类分析方法对彩色结构光编码图片进行聚类分析，对该图片中每一条中心彩色条纹的颜色进行标定；具体方法如下：

共有七个聚类颜色：由R，G，B分量值分别为0，0，255组成的颜色称为第一聚类颜色；由R，G，B分量值分别为0，255，0组成的颜色称为第二聚类颜色；由R，G，B分量值分别为0，255，255组成的颜色称为第三聚类颜色；由R，G，B分量值分别为255，0，0组成的颜色称为第四聚类颜色；由R，G，B分量值分别为255，0，255组成的颜色称为第五聚类颜色；由R，G，B分量值分别为255，255，0组成的颜色称为第六聚类颜色；由R，G，B分量值分别为255，255，255组成的颜色称为第七聚类颜色；

设彩色结构光编码图片中某条中心彩色条纹的颜色的R、G、B分量值分别为r，g，b，第i聚类颜色的R、G、B分量值分别为r_i，g_i，b_i，其中i∈{1，2，3，4，5，6，7}，根据以下公式，计算该中心彩色条纹的颜色分别与七种聚类颜色的距离，

$D_i\sqrt{{(r-r_i)}^2+{(g-g_i)}^2+{(b-b_i)}^2},$ i＝1，2，3，4，5，6，7；

若

则称该中心彩色条纹的颜色属于第i聚类颜色，当某条中心彩色条纹的颜色属于多个聚类颜色时，取这些聚类颜色编号的最小值为该中心彩色条纹的颜色所属的聚类的编号。

步骤6、将彩色结构光编码图片转化为图模型；转化方法如下：

设某条中心彩色条纹上的像素点P的坐标为(i，j)，如果点Pw与点P的颜色属于同一个聚类颜色，并且点Pw的坐标为(i，j-1)或(i+1，j-1)或(i-1，j-1)，则点Pw称为点P的w邻域；如果点Pe与点P的颜色属于同一个聚类，并且点Pe的坐标为(i，j+1)或(i-1，j+1)或(i+1，j+1)，则点Pe称为点P的e邻域；如果点Pn与点P处于同一列，并且点Pn是点P向上第一个遇到的彩色像素点，则点Pn称为点P的n邻域；如果点Ps与点P处于同一列，并且点Pn是点P向下第一个遇到的彩色像素点，则点Ps称为点P的s邻域；

设某条中心彩色条纹上的像素点序列为e₁，e₂，…，e_m，如果像素点e₁没有w邻域，e_j是e_j-1的e邻域(j∈{2，3，…，m})，e_m没有e邻域，则将此像素点序列称为we连结组；假设a和b是两个we连结组，如果a中至少有一个像素点是b中某个像素点的n邻域，则称a和b为ns连结，表示为有序对(a，b)；假设(a，b)为ns连结，a中和b中同一个列的像素点对为(ai，bi)，i＝1，2，…，N，如果每对像素点对中的ai都是bi的n邻域，则称a和b为ns强连结，N称为a和b的ns强连结数；如在图3中，像素点7、8分别是像素点6的w、e邻域，像素点9、10分别是像素点6的n、s邻域，像素点11是像素点12的n邻域，像素点12是像素点11的s邻域；a，b，c，d，e，f，g，h，k，l，m都是we连结组，(a，b)，(a，g)，(b，c)，(b，h)，(c，d)，(c，l)，(d，e)，(e，f)，(g，h)，(h，k)，(k，l)，(l，e)，(l，m)，(m，f)都是ns强连结，(a，h)，(b，k)，(l，f)是ns连结；

利用每个we连结组a＝{e₁，…，e_m}的第一个元素e₁的坐标将此we连结组表示为平面上的一个结点，并记此结点为a；将每个ns强连结(a，b)表示为结点a到结点b的有向边，此有向边的权重为a和b的ns强连结数，并删除存在的孤立结点，这样将彩色结构光编码图片转换成赋权有向图模型；如图4表示对应于条纹图像图3的赋权有向图模型。

步骤7、对步骤6中得到赋权有向图模型进行简化，简化方法如下：

如果在赋权有向图模型中的两个结点至少有一个共同的父结点，同时至少有一个共同的子结点，并且两个结点的颜色都属于同一聚类颜色，那么这两个结点称为相似结点；将任意两个相似结点简化成一个结点；每个共同的父结点到此二相似结点间的有向边简化为一条有向边，其权重是这个共同的父结点到此二相似结点间的有向边的权重之和；将此二相似结点到每个共同的子结点间的有向边简化为一条有向边，其权重是此二相似结点到这个共同的子结点的有向边的权重之和；当赋权有向图模型中不存在相似结点时，就完成了该赋权有向图模型的简化，如图5所示。

通过以上步骤实现了将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法。

有益效果

本发明将中心彩色条纹作为基本解码单位，对摄像机拍摄到的条纹颜色空间进行颜色分类化，采用图论方法将De Bruijn彩色结构光图像转化为赋权有向图模型，并通过合并结点的方法对得到的赋权有向图模型进行化简，得到了简化的赋权有向图模型，为寻找彩色条纹的匹配路径奠定基础。

附图说明

图1是一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法所需设备构成图。此图也是说明书摘要附图。其中：1为投影机，2为投影屏幕，3为摄像机，4为计算机，5为待测物体。

图2是De Bruijn序列生成的彩色结构光编码图。

图3是彩色结构光编码图像对应的像素条纹示意图。

图4是图3所对应的赋权有向图模型示意图。

图5是简化赋权有向图模型示意图。

具体实施方式

一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法，该方法所需设备和实现步骤如下：

所需设备：如图1所示，所需设备由5部分组成：投影机1，投影屏幕2，摄像机3，计算机4，待测物体5；投影机1和摄像机3都通过电缆与计算机4连接。

实现步骤：

步骤1、在计算机4中，利用具有随机特性与确定性的De Bruijn伪随机序列，产生一幅7元3级De Bruijn序列彩色结构光编码图像，该图像中任意相邻两条彩色条纹的颜色都不相同，如图2所示，并存储在计算机4中。

步骤2、计算机4通过投影机1将步骤1中产生的De Bruijn序列彩色结构光编码图像经过待测物体5调制后投影到投影屏幕2上，生成调制后的投影图像。

步骤3、计算机4通过摄像机3拍摄步骤2生成的调制后的投影图像，得到彩色结构光编码图片。

步骤4、计算机4采用传统的canny算法提出步骤3得到的彩色结构光编码图片中每条彩色条纹的上边界和下边界，再计算每条彩色条纹的上边界和下边界的中间位置，得到每条彩色条纹的中心彩色条纹。

步骤5、利用聚类分析方法对彩色结构光编码图片进行聚类分析，对该图片中每一条中心彩色条纹的颜色进行标定；具体方法如下：

共有七个聚类颜色：由R，G，B分量值分别为0，0，255组成的颜色称为第一聚类颜色；由R，G，B分量值分别为0，255，0组成的颜色称为第二聚类颜色；由R，G，B分量值分别为0，255，255组成的颜色称为第三聚类颜色；由R，G，B分量值分别为255，0，0组成的颜色称为第四聚类颜色；由R，G，B分量值分别为255，0，255组成的颜色称为第五聚类颜色；由R，G，B分量值分别为255，255，0组成的颜色称为第六聚类颜色；由R，G，B分量值分别为255，255，255组成的颜色称为第七聚类颜色；

设彩色结构光编码图片中某条中心彩色条纹的颜色的R、G、B分量值分别为r，g，b，第i聚类颜色的R、G、B分量值分别为r_i，g_i，b_i，其中i∈{1，2，3，4，5，6，7}，根据以下公式，计算该中心彩色条纹的颜色分别与七种聚类颜色的距离，

$D_i\sqrt{{(r-r_i)}^2+{(g-g_i)}^2+{(b-b_i)}^2},$ i＝1，2，3，4，5，6，7；

若

则称该中心彩色条纹的颜色属于第i聚类颜色，当某条中心彩色条纹的颜色属于多个聚类颜色时，取这些聚类颜色编号的最小值为该中心彩色条纹的颜色所属的聚类的编号。

步骤6、将彩色结构光编码图片转化为图模型；转化方法如下：

设某条中心彩色条纹上的像素点P的坐标为(i，j)，如果点Pw与点P的颜色属于同一个聚类颜色，并且点Pw的坐标为(i，j-1)或(i+1，j-1)或(i-1，j-1)，则点Pw称为点P的w邻域；如果点Pe与点P的颜色属于同一个聚类，并且点Pe的坐标为(i，j+1)或(i-1，j+1)或(i+1，j+1)，则点Pe称为点P的e邻域；如果点Pn与点P处于同一列，并且点Pn是点P向上第一个遇到的彩色像素点，则点Pn称为点P的n邻域；如果点Ps与点P处于同一列，并且点Pn是点P向下第一个遇到的彩色像素点，则点Ps称为点P的s邻域；

设某条中心彩色条纹上的像素点序列为e₁，e₂，…，e_m，如果像素点e₁没有w邻域，e_j是e_j-1的e邻域(j∈{2，3，…，m})，e_m没有e邻域，则将此像素点序列称为we连结组；假设a和b是两个we连结组，如果a中至少有一个像素点是b中某个像素点的n邻域，则称a和b为ns连结，表示为有序对(a，b)；假设(a，b)为ns连结，a中和b中同一个列的像素点对为(ai，bi)，i＝1，2，…，N，如果每对像素点对中的ai都是bi的n邻域，则称a和b为ns强连结，N称为a和b的ns强连结数；

利用每个we连结组a＝{e₁，…，e_m}的第一个元素e₁的坐标将此we连结组表示为平面上的一个结点，并记此结点为a；将每个ns强连结(a，b)表示为结点a到结点b的有向边，此有向边的权重为a和b的ns强连结数，并删除存在的孤立结点，这样将彩色结构光编码图片转换成赋权有向图模型；如图4表示对应于条纹图像图3的赋权有向图模型。

步骤7、对步骤6中得到赋权有向图模型进行简化，简化方法如下：

如果在赋权有向图模型中的两个结点至少有一个共同的父结点，同时至少有一个共同的子结点，并且两个结点的颜色都属于同一聚类颜色，那么这两个结点称为相似结点；将任意两个相似结点简化成一个结点；每个共同的父结点到此二相似结点间的有向边简化为一条有向边，其权重是这个共同的父结点到此二相似结点间的有向边的权重之和；将此二相似结点到每个共同的子结点间的有向边简化为一条有向边，其权重是此二相似结点到这个共同的子结点的有向边的权重之和；当赋权有向图模型中不存在相似结点时，就完成了该赋权有向图模型的简化，如图5所示。

通过以上步骤实现了将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法。

Claims (1)

1.一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法，其特征在于，该方法所需设备和实施步骤如下：

所需设备：所需设备由5部分组成：投影仪(1)，投影屏幕(2)，摄像机(3)，计算机(4)，待测物体(5)；投影仪(1)和摄像机(3)都通过电缆与计算机(4)连接；

实现步骤：

步骤1：在计算机(4)中，利用具有随机特性与确定性的De Bruijn伪随机序列，产生一幅7元3级De Bruijn序列彩色结构光编码图像，该图像中任意相邻两条彩色条纹的颜色都不相同，并存储在计算机(4)中；

步骤2：计算机(4)通过投影仪(1)将步骤1中产生的De Bruijn序列彩色结构光编码图像经过待测物体(5)调制后投影到投影屏幕(2)上，生成调制后的投影图像；

步骤3：计算机(4)通过摄像机(3)拍摄步骤2生成的调制后的投影图像，得到彩色结构光编码图片；

步骤4：计算机(4)采用传统的canny算法提出步骤3得到的彩色结构光编码图片中每条彩色条纹的上边界和下边界，再计算每条彩色条纹的上边界和下边界的中间位置，得到每条彩色条纹的中心彩色条纹；

步骤5：利用聚类分析方法对彩色结构光编码图片进行聚类分析，对该图片中每一条中心彩色条纹的颜色进行标定；具体方法如下：

共有七个聚类颜色：由R，G，B分量值分别为0，0，255组成的颜色称为第一聚类颜色；由R，G，B分量值分别为0，255，0组成的颜色称为第二聚类颜色；由R，G，B分量值分别为0，255，255组成的颜色称为第三聚类颜色；由R，G，B分量值分别为255，0，0组成的颜色称为第四聚类颜色；由R，G，B分量值分别为255，0，255组成的颜色称为第五聚类颜色；由R，G，B分量值分别为255，255，0组成的颜色称为第六聚类颜色；由R，G，B分量值分别为255，255，255组成的颜色称为第七聚类颜色；

设彩色结构光编码图片中某条中心彩色条纹的颜色的R、G、B分量值分别为r，g，b，第i聚类颜色的R、G、B分量值分别为r_i，g_i，b_i，其中i∈{1，2，3，4，5，6，7}，根据以下公式，计算该中心彩色条纹的颜色分别与七种聚类颜色的距离，

$D_i=\sqrt{{(r-r_i)}^2+{\left({g-g}_i\right)}^2+{\left({b-b}_i\right)}^2},$ i＝1，2，3，4，5，6，7；

若

则称该中心彩色条纹的颜色属于第i聚类颜色，当某条中心彩色条纹的颜色属于多个聚类颜色时，取这些聚类颜色编号的最小值为该中心彩色条纹的颜色所属的聚类的编号；

步骤6：将彩色结构光编码图片转化为图模型；转化方法如下：

设某条中心彩色条纹上的像素点P的坐标为(i，j)，如果点Pw与点P的颜色属于同一个聚类颜色，并且点Pw的坐标为(i，j-1)或(i+1，j-1)或(i-1，j-1)，则点Pw称为点P的w邻域；如果点Pe与点P的颜色属于同一个聚类，并且点Pe的坐标为(i，j+1)或(i-1，j+1)或(i+1，j+1)，则点Pe称为点P的e邻域；如果点Pn与点P处于同一列，并且点Pn是点P向上第一个遇到的彩色像素点，则点Pn称为点P的n邻域；如果点Ps与点P处于同一列，并且点Pn是点P向下第一个遇到的彩色像素点，则点Ps称为点P的s邻域；

设某条中心彩色条纹上的像素点序列为e₁，e₂，…，e_m，如果像素点e₁没有w邻域，e_j是e_j-1的e邻域(j∈{2，3，…，m})，e_m没有e邻域，则将此像素点序列称为we连结组；假设a和b是两个we连结组，如果a中至少有一个像素点是b中某个像素点的n邻域，则称a和b为ns连结，表示为有序对(a，b)；假设(a，b)为ns连结，a中和b中同一个列的像素点对为(ai，bi)，i＝1，2，…，N，如果每对像素点对中的a i都是bi的n邻域，则称a和b为ns强连结，N称为a和b的ns强连结数；

利用每个we连结组a＝{e₁，…，e_m}的第一个元素e₁的坐标将此we连结组表示为平面上的一个结点，并记此结点为a；将每个ns强连结(a，b)表示为结点a到结点b的有向边，此有向边的权重为a和b的ns强连结数，并删除存在的孤立结点，这样将彩色结构光编码图片转换成赋权有向图模型；

步骤7：对步骤6中得到赋权有向图模型进行简化，简化方法如下：

如果在赋权有向图模型中的两个结点至少有一个共同的父结点，同时至少有一个共同的子结点，并且两个结点的颜色都属于同一聚类颜色，那么这两个结点称为相似结点；将任意两个相似结点简化成一个结点；每个共同的父结点到此二相似结点间的有向边简化为一条有向边，其权重是这个共同的父结点到此二相似结点间的有向边的权重之和；将此二相似结点到每个共同的子结点间的有向边简化为一条有向边，其权重是此二相似结点到这个共同的子结点的有向边的权重之和；当赋权有向图模型中不存在相似结点时，就完成了该赋权有向图模型的简化。

Images