CN101489146A - 自适应的不可见结构光技术实现方法 - Google Patents

Abstract

一种计算机投影的信息嵌入技术领域的自适应的不可见结构光技术实现方法，步骤一，调整原始图像亮度空间范围；步骤二，在步骤一所生成的伪原始图像中像素级自适应嵌入不可见结构光；步骤三，用摄像头捕捉相互补偿的图像，对该图像利用C2P对应映射方法进行像素级自适应解析不可见结构光；步骤四，用中值过滤器处理解析出来的结构光图像，去除多余的噪点。本发明获得的亮度效果更接近原图案，所以让人眼更加难以察觉，同时，本发明分别克服了图像依赖和精度不足两大难题。

Description

自适应的不可见结构光技术实现方法

技术领域

本发明涉及一种计算机投影的信息嵌入技术领域的方法，具体是一种自适应的不可见结构光技术实现方法。

背景技术

不可见结构光技术的全称为“嵌入不可见结构光图案技术”(EmbeddingImperceptible Structured-Light Patterns Technology)，与传统的结构光技术相比，此技术特色在于人眼很难察觉到使此技术的结构光图像，但与投影仪同步运行的高频摄像机却可以捕捉并识别嵌在图像中的结构光图像信息。由于在高速投影的条件下，人眼是几乎无法发觉嵌在原始图像上的结构光图案信息。这样标定投影仪与投影平面相对位置的工作，甚至是获取整个投影场景3D信息的工作，都可以在不干扰和不影响用户欣赏数字投影影像的条件下进行。

经对现有技术文献的检索发现，Cotting等人在《ISMAR》.(《关于增强现实和混合现实的国际研讨会议》)(2004年，100-109页)发表的《.EmbeddingImperceptible Patterns into Projected Images for Simultaneous Acquisitionand Display》(同步显示和捕获嵌入在投影图像中的不可见图案)上对提出了一种不可见结构光技术方案，他首先实验测算出DLP投影仪的具体投影时隙，然后在特定的时隙将在二值编码结构光图像嵌在指定的色彩通道上。现有技术中的不可见结构光的解析方法对原始图像依赖程度很大，不同的原始图像最终产生的投影效果的质量相差很大，而且解析出来的结构光图像的精度不够，误差较大。所以目前还没有一项技术能够对任意图像的不同特征来自适应地调整嵌入结构光亮度信息的值，并保证最终的投影效果。

发明内容

本发明的目的针对上述现有技术中的不足，提出了一种自适应的不可见结构光技术实现方法，本发明中，不可见结构光可以根据每个图像的具体情况自动获得最优的结果，同时将这个自适应的方法运用在像素级别上，计算最合适嵌入结构光的颜色通道和亮度值，本发明分别克服了图像依赖和精度不足两大难题。

本发明是通过如下技术实现的，包括如下步骤：

步骤一，调整原始图像亮度空间范围：将原始图像每一个像素的亮度分别在RGB各通道上的亮度空间范围[0，255]内等比例地缩小10％-15％，处理后得到的图像称之为“伪原始图像”，本步骤使得原图像中亮度空间范围缩小，避免在嵌入不可见结构光的计算过程中亮度值溢出的问题，同时也限定了原图像的信息损失；

步骤二，在步骤一所生成的伪原始图像中像素级自适应嵌入不可见结构光，包括如下具体步骤：

第一步，设定若干个亮度级别，亮度级别的取值范围为[10，50]，同时建立一个数据存储结构用来保存每个像素的在RGB各通道上亮度级别数值；

第二步，从伪原始图像取出一个像素，获得RGB各通道上的亮度值，分别作如下处理；

对于该像素在R通道上的亮度值r，嵌入亮度级别的最大值，并进行加减处理，如果加减处理后的结果都不超过[0，255]，则进入下一个步骤；否则亮度级别的数值向较小级别调整，亮度级别的最终取值是在设定级别中选取最高的级别，且同时满足加减处理结果在[0，255]范围内的条件，最后R通道在该像素调整后嵌入亮度级别记为Δ_R；

对于该像素在B通道上的亮度值b，嵌入亮度级别的最大值，并进行加减处，如果加减处理结果都不超过[0，255]，则进入下一个步骤；否则将亮度级别的值向较小级别调整，亮度级别的最终取值是在设定级别中选取最高的级别，且同时满足加减处理结果在[0，255]范围内的条件，最后R通道在该像素调整后嵌入亮度级别记为Δ_R；

经过上述处理之后得到的图象分别为嵌入结构光图像和补偿图像，由于嵌入结构光图像和补偿图像在R和B通道上的亮度正好是互补的，所以将嵌入结构光图像和补偿图像这一组图像，统称为一组相互补偿的图像；

第三步，将该像素在R通道和B通道嵌入的亮度级别数值分别保存在数据结构D的对应位置上。本发明不对G通道上的亮度值进行嵌入Δ值处理，是因为本发明所使用的摄像头对G通道的亮度感光度远差于R和B通道。

步骤三，用摄像头捕捉相互补偿的图像，对该图像利用C2P对应映射方法进行像素级自适应解析不可见结构光；

步骤四，用中值过滤器处理解析出来的结构光图像，去除多余的噪点。

所述像素级自适应解析不可见结构光，包括如下步骤：

第一步，获得相互补偿的图像的亮度值；

第二步，利用C2P对应映射方法，将用摄像头捕捉的嵌入结构光图像的各个像素坐标乘以单应性矩阵H，矫正出嵌入结构光图像的投影图像，将用摄像头捕捉的补偿图像的各个像素坐标乘以单应性矩阵H，矫正出补偿图像的投影图像；

第三步，从矫正的嵌入结构光图像取出一个像素，获得其在R通道上的亮度cr₁，和B通道上的亮度cb₁；同时补偿图像对应位置上的像素，获得其在R通道上的亮度cr₂，和B通道上的亮度cb₂；

第四步，判断保存在数据结构D的该像素位置R通道和B通道的嵌入的亮度级别数值，分别记为Δ_R和Δ_B，如果Δ_R≥Δ_B，则采用Δ_R作为判定条件解析出结构光像素，否则以Δ_B作为判定条件解析出结构光像素；

当Δ_R≥Δ_B时， $p=\left\{\begin{array}{cc}1& ({\mathrm{cr}}_1-{\mathrm{cr}}_2>{\mathrm{\Δ}}_R\×e)\\ 0& ({\mathrm{cr}}_1-{\mathrm{cr}}_2\≤-1\×{\mathrm{\Δ}}_R\×e)\end{array}\right.;$

当Δ_R<Δ_B时， $p=\left\{\begin{array}{cc}1& ({\mathrm{cb}}_1-{\mathrm{cb}}_2>{\mathrm{\&Delta;}}_B\&times;e)\\ 0& ({\mathrm{cb}}_1-{\mathrm{cb}}_2\&le;-1\&times;{\mathrm{\&Delta;}}_B\&times;e)\end{array}\right.$

其中，P为解析出来的结构光像素，1和0分别是二值结构光的取值，1表示白色结构光，0表示黑色，e为系数常量。

所述C2P对应映射方法，具体如下：制作一张与矫正之后的投影图象的分辨率相同的黑白棋盘格投影图像，用摄像头捕捉这张投影图像，获得与摄像机捕获得图象解析度相同的摄像机图像，运用角点检测算法，分别将投影图像和摄像机图像中的所有棋盘格角点坐标位置求出，将这组坐标值作为数据输入到voidcvFindHomography函数中(该函数源自

开源计算机视觉库OpenCV)，获得单应性矩阵H，单应性矩阵H是一个3×3的矩阵，它用来计算投影图像和摄像机图像之间的透视变换： $\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=H\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)$

单应性矩阵H即为C2P对应映射，它将摄像机图像坐标(u，v)矫正为投影仪图像坐标(x，y)。

与现有技术相比，本发明具有如下有益效果：

1、本发明中嵌入不可见结构光自适应处理，通过高频投影仪高速投影时，使得生成的一组相互补偿的图像在高速交替投影的条件下的亮度效果更接近原图案，所以让人眼更加难以察觉；

2、本发明中不可见结构光的计算可以根据每个图像的具体内容自动计算出最优的结果，同时将这个自适应的方法运在像素级上计算最合适嵌入结构光的颜色通道和亮度值，本发明分别克服了图像依赖和精度不足两大难题；

3、本发明方法还原出来的结构光图像和理想结构光图像进行比对，精度误差范围可达到0.49％～1.21％。

附图说明

图1是本发明的工作流程图。

图2是本发明方法对图像一进行处理的结果图；

图中，(a)为原始图，(b)为使用自适应方法求出嵌入结构光信息Δ的图像，(c)、(d)为使用自适应方法得出的不可见结构光图像，(e)为使用自适应方法解析还原出结构光图像，(f)为经过中值过滤器处理的最终结构光图像。

图3是本发明方法对图像二进行处理的结果图；

图中，(a)、(b)为使用自适应方法得出的不可见结构光图像，(c)、(d)为用与投影仪同步的高频摄像头捕捉的图像，(e)为使用自适应算法求出嵌入结构光信息Δ的图像，(f)为经过中值过滤器处理的最终结构光图像。

图4是本发明方法中C2P对应映射方法使用的黑白棋盘格图像；

图中，(a)为分辨率为800×600的黑白棋盘格投影图像，(b)为用解析度为640×480的摄像头捕捉的该黑白棋盘格图像。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例中使用dragonfly express摄像头，图像捕捉最高频率为200Hz，画面的分辨率640×480，彩色，图像格式为mono8，采用DepthQ投影仪，投影帧速为120Hz，最大分辨率为1024×768，对焦距离为1.5米—2.0米。本实施例分别对图2、图3两种图像进行了处理。

如图1所示，本实施例包括如下步骤：

步骤一，调整原始图像亮度空间范围：将原始图像(如图2(a))每一个像素的亮度分别在RGB各通道上的亮度空间范围[0，255]内等比例地缩小10％-15％，处理后得到的图像称之为“伪原始图像”；

步骤一的作用使得原图像中亮度空间范围缩小，避免在嵌入不可见结构光的计算过程中亮度值溢出的问题，同时也限定了原图像的信息损失；本实施例中可以保证原图像中所有像素的亮度值在RGB各通道上嵌入Δ＝10的亮度时，亮度值不会溢出。

步骤二，在步骤一所生成的伪原始图像中像素级自适应嵌入不可见结构光，包括如下具体步骤：

第一步，设定五个亮度级别，分别为10、20、30、40、50，并用Δ来表示这些值，同时建立一个数据存储结构D用来保存每个像素的在RGB各通道上Δ值；

第二步，从伪原始图像取出一个像素，获得RGB各通道上的亮度值，分别作如下处理；

对于该像素在R通道上的亮度值r，嵌入Δ的最大值50，记为Δ_R50，即进行r+Δ_R50，r-Δ_R50运算，如果r+Δ_R50、r-Δ_R50都不超过[0，255]，则进入下一个步骤；如果r+Δ_R50、r-Δ_R50的值超出[0，255]，则需要将Δ的值向较小级别调整，并类似标记为Δ_R40、Δ_R30、Δ_R20、Δ_R10，Δ的最终取值是在五个级别中选取最高的级别，且同时满足r+Δ、r-Δ的值在[0，255]范围内的条件。本步骤实现了根据伪原始图像的内容，嵌入值Δ自适应计算的过程，最后R通道在该像素调整后Δ值记为Δ_R；

对于该像素在B通道上的亮度值b，嵌入Δ的最大值50，记为Δ_B50，即进行b+Δ_B50、b-Δ_B50运算，如果b+Δ_B50、b-Δ_B50都不超过[0，255]，则进入下一个步骤；否则如果b+Δ_B50、b-Δ_B50的值超出[0，255]，则需要将Δ的值向较小级别调整，并类似标记为Δ_B40，Δ_B30，Δ_B20，Δ_B10，Δ的最终取值是在五个级别中选取最高的级别，且同时满足b+Δ、b-Δ的值在[0，255]范围内的条件；最后B通道在该像素调整后Δ值记为Δ_B；

上述第三步和第四步中，对伪原始图像各个像素进行r+Δ和b+Δ的处理后所生成的图像，称之为嵌入结构光图像(如图2(c))；而进行r-Δ和b-Δ的减法运算处理所生成的图像，称之为嵌入结构光图像的补偿图像，简称为补偿图像(如图2(d))，由于嵌入结构光图像和补偿图像在R和B通道上的亮度正好是互补的，所以将嵌入结构光图像和补偿图像这一组图像，统称为一组相互补偿的图像。

第三步，将上述像素R通道和B通道的嵌入值Δ_R和Δ_B分别保存在数据结构D的对应位置上(嵌入结构光信息Δ的图像如图2(b)、图3(e))，本实施例不对G通道上的亮度值进行嵌入Δ值处理，是因为本实施例所使用的摄像头对G通道的亮度感光度远差于R和B通道。

通过上述三个子步骤，结构光就嵌在原始图像上了，通过高频投影仪高速投影时，由于上述三个子步骤实现的嵌入不可见结构光自适应处理，使得生成的一组相互补偿的图像在高速交替投影的条件下的亮度效果更接近原图案，所以让人眼更加难以察觉。

步骤三，用摄像头捕捉相互补偿的图像，对该图像利用C2P对应映射方法进行像素级自适应解析不可见结构光(如图2(e))，包括如下步骤：

第一步，计算用摄像头得到的一组相互补偿的图像的亮度值；具体为使用dragonfly express摄像头，将摄像头图像捕捉频率调整到120Hz，分辨率设定为640×480(也可以设为320×480；800×600；1024×768，以下都以640×480为例)；同时将DepthQ投影仪的投影频率也设定在120Hz，解析度设定为800×600(也可以设为1024×768，以下都以800×600为例)。在摄像机捕捉的图像序列中，每两张相邻图像为一组相互补偿的图像，分别为嵌入结构光图像和补偿图像，本步骤中对图3(a)、(b)应用步骤二获得的两幅不可见结构光图像进行解析，(c)(d)分别为摄像头获得的图像。

第二步，利用C2P对应映射方法，将用摄像头捕捉的嵌入结构光图像和补偿图像的各个像素坐标乘以单应性矩阵H，实现对投影图象的矫正；

所述C2P对应映射方法(单应性矩阵H的求解方法)，具体如下：制作一张分辨率为800×600的黑白棋盘格投影图像(如图4所示)，用摄像头捕捉这张投影图像，获得解析度为640×480的摄像机图像，运用角点检测算法，分别将投影图像和摄像机图像中的所有棋盘格角点坐标位置求出，将这组坐标值作为数据输入到voidcvFindHomography函数中(该函数源自

开源计算机视觉库OpenCV)，会得到单应性矩阵H。并使用公式 $\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=H\left(\begin{array}{c}u\\ v\\ 1\end{array}\right),$ 将摄像机图像坐标(u，v)矫正为投影仪图像坐标(x，y)。具体为将用摄像头捕捉的补偿图像(640×480)的各个像素坐标乘以单应性矩阵H，矫正出补偿图像的投影图像(800×600)；将用摄像头捕捉的嵌入结构光图像(640×480)的各个像素坐标乘以单应性矩阵H，矫正出嵌入结构光的投影图像(800×600)；

第三步，在由第二步得到的一组矫正过的相互补偿的图像(包括矫正的嵌入结构光图像和矫正的补偿图像)中，从矫正的嵌入结构光图像(800×600)取出一个像素，获得其在R通道上的亮度cr₁，和B通道上的亮度cb₁；同时补偿图像(800×600)对应位置上的像素，获得其在R通道上的亮度cr₂，和B通道上的亮度cb₂；

第四步，判断保存在数据结构D的该像素位置R通道和B通道的嵌入值Δ_R和Δ_B，如果Δ_R≥Δ_B，则采用Δ_R作为判定条件，否则以Δ_B作为判定条件；

当Δ_R≥Δ_B时：

$p=\left\{\begin{array}{cc}1& ({\mathrm{cr}}_1-{\mathrm{cr}}_2>{\mathrm{\&Delta;}}_R\&times;e)\\ 0& ({\mathrm{cr}}_1-{\mathrm{cr}}_2\&le;-1\&times;{\mathrm{\&Delta;}}_R\&times;e)\end{array}\right.;$

当Δ_R<Δ_B时：

$p=\left\{\begin{array}{cc}1& ({\mathrm{cb}}_1-{\mathrm{cb}}_2>{\mathrm{\&Delta;}}_B\&times;e)\\ 0& ({\mathrm{cb}}_1-{\mathrm{cb}}_2\&le;-1\&times;{\mathrm{\&Delta;}}_B\&times;e)\end{array}\right.$

其中，P为解析出来的结构光像素，1和0分别是二值结构光的取值，1表示白色结构光，0表示黑色。e为系数常量，实验中取经验值1.0。

步骤四，用中值过滤器处理解析出来的结构光图像，去除多余的噪点(如图2(f)、图3(f))。

以误差的百分比做为精度衡量标准，如果误差为0％则为最理想情况，利用本实施例方法还原出来的结构光图像和理想结构光图像进行比对，本实施例可达到的精度误差范围为0.49％～1.21％。

Claims (3)

1、一种自适应的不可见结构光技术实现方法，其特征在于，包括如下步骤：

步骤一，调整原始图像亮度空间范围：将原始图像每一个像素的亮度分别在RGB各通道上的亮度空间范围[0，255]内等比例地缩小10％-15％，处理后得到的图像称之为伪原始图像；

步骤二，在步骤一所生成的伪原始图像中像素级自适应嵌入不可见结构光，包括如下具体步骤：

第一步，设定若干个亮度级别，亮度级别的取值范围为[10，50]，同时建立一个数据存储结构用来保存每个像素的在RGB各通道上亮度级别数值；

第二步，从伪原始图像取出一个像素，获得RGB各通道上的亮度值，分别作如下处理；

对于该像素在R通道上的亮度值r，嵌入亮度级别的最大值，并进行加减处理，如果加减处理后的结果都不超过[0，255]，则进入下一个步骤；否则亮度级别的数值向较小级别调整，亮度级别的最终取值是在设定级别中选取最高的级别，且同时满足加减处理结果在[0，255]范围内的条件，最后R通道在该像素调整后嵌入亮度级别记为Δ_R；

对于该像素在B通道上的亮度值b，嵌入亮度级别的最大值，并进行加减处理，如果加减处理结果都不超过[0，255]，则进入下一个步骤；否则将亮度级别的值向较小级别调整，亮度级别的最终取值是在设定级别中选取最高的级别，且同时满足加减处理结果在[0，255]范围内的条件，最后R通道在该像素调整后嵌入亮度级别记为Δ_B；

经过上述处理之后得到的图象分别为嵌入结构光图像和补偿图像，由于嵌入结构光图像和补偿图像在R和B通道上的亮度正好是互补的，所以将嵌入结构光图像和补偿图像这一组图像，统称为一组相互补偿的图像；

第三步，将该像素在R通道和B通道嵌入的亮度级别数值Δ_R、Δ_B分别保存在数据结构D的对应位置上；

步骤三，用摄像头捕捉相互补偿的图像，对该图像利用C2P对应映射方法进行像素级自适应解析不可见结构光；

步骤四，用中值过滤器处理解析出来的结构光图像，去除多余的噪点。

2、根据权利要求1所述的自适应的不可见结构光技术实现方法，其特征是，所述像素级自适应解析不可见结构光，包括如下步骤：

第一步，获得一组相互补偿的图像的亮度值；

第二步，利用C2P对应映射方法将摄像头捕捉的嵌入结构光图像的各个像素坐标乘以单应性矩阵H，矫正出嵌入结构光图像的投影图像，将摄像头捕捉的补偿图像的各个像素坐标乘以单应性矩阵H，矫正出补偿图像的投影图像；

第三步，从矫正的嵌入结构光图像取出一个像素，获得其在R通道上的亮度cr_i，和B通道上的亮度cb_i；同时补偿图像对应位置上的像素，获得其在R通道上的亮度cr₂，和B通道上的亮度cb₂；

第四步，判断保存在数据结构D的该像素位置R通道和B通道的嵌入的亮度级别数值，分别记为Δ_R和Δ_B，如果Δ_R≥Δ_B，则采用Δ_R作为判定条件解析出结构光像素，否则以Δ_B作为判定条件解析出结构光像素；

当Δ_R≥Δ_B时， $p=\left\{\begin{array}{cc}1& ({\mathrm{cr}}_1-{\mathrm{cr}}_2>{\mathrm{\&Delta;}}_R\&times;e)\\ 0& ({\mathrm{cr}}_1-{\mathrm{cr}}_2\&le;-1\&times;{\mathrm{\&Delta;}}_R\&times;e)\end{array}\right.;$

当Δ_R<Δ_B时， $p=\left\{\begin{array}{cc}1& ({\mathrm{cb}}_1-{\mathrm{cb}}_2>{\mathrm{\&Delta;}}_B\&times;e)\\ 0& ({\mathrm{cb}}_1-{\mathrm{cb}}_2\&le;-1\&times;{\mathrm{\&Delta;}}_B\&times;e)\end{array}\right.$

其中，P为解析出来的结构光像素，1和0分别是二值结构光的取值，1表示白色结构光，0表示黑色，e为系数常量。

3、根据权利要求1所述的自适应的不可见结构光技术实现方法，其特征是，所述C2P对应映射方法，具体如下：制作一张与矫正之后的投影图象的分辨率相同的黑白棋盘格投影图像，用摄像头捕捉这张投影图像，获得与摄像机捕获得图象解析度相同的摄像机图像，运用角点检测算法，分别将投影图像和摄像机图像中的所有棋盘格角点坐标位置求出，将这组坐标值作为数据输入到voidcvFindHomography函数中，获得单应性矩阵H，单应性矩阵H是一个3×3的矩阵，它用来计算投影图像和摄像机图像之间的透视变换： $\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=H\left(\begin{array}{c}u\\ v\\ 1\end{array}\right),$

单应性矩阵H即为C2P对应映射，它将摄像机图像坐标(u，v)矫正为投影仪图像坐标(x，y)。

Images