CN100535944C - 一种用于视觉凸壳绘制的高光区域选取方法及其装置 - Google Patents

Abstract

本发明属于计算机图形学领域，涉及一种用于视觉凸壳绘制的高光区域选取的方法及其装置。针对视觉凸壳绘制过程中图像高光区域选取方法的不足，本发明提出了一种高光区域识别提取方法。它能够自动判别图像中的高光亮斑并进行归类，最终得到一系列包围高光区域的矩形子图像。该方法主要分为以下三个步骤：识别图像中的高光种子点；对高光部位进行填充；提取高光亮斑子图像。本发明进一步提供了相应的硬件装置。本发明的优点在于对输入图像没有特殊的要求，对各种材质的物体均可适用；高光的识别、提取是全自动的；计算简便，可以快速地提取出包含高光亮斑的子图像，为视觉凸壳绘制中的高光消除计算提供条件。

Description

一种用于视觉凸壳绘制的高光区域选取方法及其装置

技术领域

本发明属于计算机图形学及虚拟现实技术领域，具体涉及一种用于视觉凸壳(Visual Hull)绘制的高光区域自动选取的方法及其装置。

背景技术

3D计算机图形学的一个重要目标就是在计算机中对三维场景绘制出具有真实感的图像。传统的基于几何模型的绘制方法将场景描述成基本的几何基元，然后定义光源的分布与性质、物体表面材质和反射特性，最后通过绘制公式的计算产生出虚拟的合成图像。这种绘制方法存在着不可回避的问题：现实中的物体和场景的复杂程度很难用简单的几何元素进行精确的描述，并且场景复杂度的增加会使绘制的计算量明显增加。

近年来出现的基于图像的绘制技术(Image-based Rendering，IBR)直接利用采集的场景或物体图像作为输入，不受其复杂度的影响，因此在绘制实际场景时有着传统绘制技术无法比拟的优点。如，文献“Image-Based Visual Hull”(Matusik，W.，Buehler，C.，et al.Proceedings of ACM SIGGRAPH 2000，369-374，2000.)提出了一种基于图像的视觉凸壳算法。

在基于图像的视觉凸壳算法中，如图1所示首先对物体采集若干参考图像，并将前景物体与背景进行分割。分割后得到的二值图像称为侧影图(silhouetteimage)，由相机中心投射出来的射线与侧影的交集，称为投影锥。如图2所示，所有参考图像的投影锥的交集，即是对真实三维实体表面的一种近似表达，称为视觉凸壳。理论上讲，参考图像越多，视觉凸壳就越接近真实的物体表面。这种方法只需要知道拍摄时的相机标定信息和目标轮廓，这在实际中是较容易求得的。

但是，由于采集图像的条件限制，在采集得到的图像中会不可避免地存在高光亮斑，从而给物体最终的绘制效果带来不良影响。要消除高光的影响，首先需要将这些高光区域识别、选取出来，然后通过计算加以去除。如采用人工交互的办法选取高光区域，不仅相当繁琐耗时，而且容易遗漏。而现有的自动识别高光的方法往往对图像采集过程有较高的要求，或者假设物体表面遵循一定的反射模型，因此很难适用于视觉凸壳的绘制。

发明内容

本发明的目的即是针对现有方法的不足，提出了一种适用于视觉凸壳计算、绘制过程的高光区域自动识别、提取方法。它能够自动判别图像中的高光亮斑，并且对各个高光亮斑进行归类，使它们分别落入不同的区域内，最终得到一系列包围高光区域的最小矩形子图像，为进一步的计算和绘制提供有利条件。

为达到上述目的，本发明的一种用于视觉凸壳绘制的高光区域选取方法主要分为以下三个步骤，如图3所示：

1)判别寻找高光种子点

利用高光亮斑亮度相对较高的特点，通过直方图分析，在图像的灰度直方

图上设置一个阈值τ，图像中灰度大于该阈值的像素，即为高光种子点；

所述阈值τ通过如下方法确定：首先假定高光区域的灰度值不会低于某个常量N_min，在统计图像灰度直方图的同时定义高光级数N_max，τ的搜索区间就落在[N_min，N_max]内，根据该区间内的直方图的导数值进行升序排序，最小导数值对应的灰度值确定为阈值τ，使高光种子点的个数控制在图像所有像素数的0.5％至4％之间；

2)对高光部位进行种子填充

对第1步中的结果进行优化，扩散当前的离散的高光种子点集，使其成为相对独立的连通区域。

3)获得高光亮斑子图像

对填充后的高光点进行聚类，划分为各个高光区域，并找到包含各高光区域的最小矩形子图像，为凸壳绘制过程中去除高光亮斑的计算提供有利条件。

本发明还提供了一种用于视觉凸壳绘制的高光区域选取装置，包括：

序列图像采集装置：用于采集图像，可以是数码相机或者CCD数字摄像头等；

高光种子点识别装置：用于通过直方图分析识别图像中的高光种子点，识别的方法是在图像灰度直方图上设置一个阈值τ，图像中灰度大于该阈值的像素，即为高光种子点；所述阈值τ通过如下方法确定：首先假定高光区域的灰度值不会低于某个常量N_min，在统计图像灰度直方图的同时定义高光级数N_max，τ的搜索区间就落在[N_min，N_max]内，根据该区间内的直方图的导数值进行升序排序，最小导数值对应的灰度值确定为阈值τ，使高光种子点的个数控制在图像所有像素数的0.5％至4％之间；

高光区域填充装置：用于对离散的高光种子点集进行扩散，使其成为相对独立的连通区域；

高光亮斑子图像自动提取装置：用于对扩散后的高光点进行聚类，划分为各个区域，并找到包含各高光区域的最小子图像。

上述的的装置，进一步还包括序列图像输出装置，用于输出自动提取高光后的序列图像。

本发明的优点在于对输入图像没有特殊的要求，使用普通数码相机在任意光源下取得的图像即可；不需要对物体表面的反射模型做出假设，对各种材质的物体均可适用；高光的识别是全自动的，并且计算简便、效率高，可以快速地提取出包含高光亮斑的子图像，为视觉凸壳绘制中的高光消除计算奠定了基础。

附图说明

图1是视觉凸壳生成过程中序列图像采集的示意图；

图2是视觉凸壳生成原理示意图；

图3是高光区域自动识别提取方法的流程示意图；

图4是通过直方图分析自动识别高光像素的原理示意图；

图5是使用改进后的高光自动识别算法求得高光种子点的结果；

图6是对高光像素进行种子填充后的结果；

图7是对高光区域进行直方图分析和聚类的示意图；

图8是对高光区域进行二次直方图分析和细分的示意图；

图9是对包含背景像素的高光区域进行细分的示意图；

图10是自动提取高光亮斑子图像的结果示意图；

图11(a)、图11(b)分别是视觉凸壳序列图像中的两幅，其中左侧为原图，右侧是使用本方法自动选取高光区域后再经过计算将高光消除的结果；

图11(c)左侧是用原图像直接绘制的结果，右侧是使用消除高光的图像序列进行视觉凸壳绘制的新视图；

图12是用于视觉凸壳绘制的高光区域选取装置的结构示意图。

具体实施方式

以下参照附图，详细说明本发明的具体实施方案示例。

高光亮斑的最大特点就是亮度相对较高，因此可以通过灰度直方图分析来自动识别图像中的高光点。文献“Image-based Material Editing”(E.A.Khan，E.Reinhard，et al.，ACM Transactions on Graphics 25(3)：654-663，2006.)中认为在灰度较暗的地方，直方图达到了峰值。而在直方图上衰减最剧烈的亮度，即统计中导数最小的地方，可以设置一个阈值τ；灰度大于该阈值的像素，即为高光亮斑(图4)。但是，上述方法针对的是高动态范围HDR图像，对于普通条件下拍摄的图像，由于色彩信息不够充足，效果并不理想。

在本发明中，对上述算法作了改进，因而能更好地确定高光亮斑灰度的阈值τ。首先假定高光区域的灰度值不会低于某个常量N_min，在统计图像灰度直方图的同时，定义了高光级数N_max。这样τ的搜索区间就落在了[N_min，N_max]内。根据该区间内的直方图的导数值进行升序排序，最小导数值对应的灰度值确定为阈值τ，使高光亮斑的像素个数大致符合我们的估计。根据实验统计，通常可将高光亮斑占所有像素的百分比控制在0.5％-4％之间。

使用改进后的高光自动识别算法求得高光种子点的结果如图5所示。

自动识别的高光点难免存在一些遗漏，而绘制中需要的是连通的高光亮斑子图像。因此还需要对上一步的中间结果进行进一步优化，扩散当前的离散点集，以构成连通区域。

本发明中采用了种子填充算法，对高光亮斑进行生长，得到连通区域。在种子的生长过程中，对种子点的八邻域进行判断，如果在颜色空间RGB里，某个邻居像素的颜色向量与种子点颜色向量方向是一致的，则认为该点也是高光亮斑，将它压入堆栈中，让它继续生长，直到堆栈为空。

种子生长算法的伪代码如下：

while stack is not empty

 pop seed pixel(x，y)from the stack；

 for the 8-neighbors(a，b)of the seed

   if cosine(RGB(x，y)，RGB(a，b))＝0

   then push(a，b)into the stack；

将第1步得到的每个高光像素当作一个种子点，进行种子填充，得到的结果如图6所示，原来离散的种子点填充成了连通区域。

由于在视觉凸壳绘制过程中的去除高光计算需要用到包含高光亮斑的矩形子图像，因此本发明中对标记出的高光点进一步进行了聚类，将它们划分成几个独立的区域，这里采用了C均值聚类算法。

为得到聚类的数目，首先对所有的高光亮斑像素按它们在图像上的坐标位置进行直方图统计：对像素集合P(x，y)分别按照x方向和y方向坐标进行直方图统计。如图7所示，x、y方向的直方图分别由离散的多个峰值组成。我们设定的聚类数目c即根据直方图的分析结果来计算。不妨按峰值将x方向直方图分解成

C₁＝∪[s_i，t_i]，其中 $\∀p\∈[s_i,t_i],$ HistogramX[p]≠0，同样的，在y方向上有

C₂＝∪[b_i，e_j]，其中 $\∀q\∈[b_j,e_j],$ HistogramY[q]≠0。

考察区域[s_i，t_i]×[b_j，e_j](共|C₁|×|C₂|个)，若有高光像素落入该区域，则将该区域设为初始分类之一。

如图7中的直方图分析，x方向有1个波峰，y方向有5个波峰，则根据波峰将图像分割成5个子区域，考察每一个子区域，可以看到都有高光像素落入，因此该图像的初始分类为5。

对每一个初始分类区域内的高光像素，求样本的质心：

${\stackrel{\→}{m}}_i=(\frac{1}{n}\underset{p\∈C_i}{\mathrm{\Σ}}{p}_x,\frac{1}{n}\underset{p\∈C_i}{\mathrm{\Σ}}{p}_y).$

对每一个高光亮斑，计算它与初始分类质心间的欧式距离，然后根据大小进行重新归类：

p∈P_i，其中

$i=\underset{j=1,...c}{\min }\left|\right|p-{\stackrel{\→}{m}}_j\left|\right|$

如果某区域i内的像素个数发生了改变(增加或减少)，则应重新计算该区域的高光亮斑质心

对该过程进行迭代，直至聚类稳定。这一过程的伪代码如下：

Step 1.Analyze the Histogram to get the initial classification.

       Calculate the centroid for each category

Step 2.for each highlighted pixel

       Calculate the Euclidean distance with each centroid.

       Assign the pixel to the category where the distance is the smallest.

       Update the centroid.

Step 3.Repeat Step2until the classification remains unchanged.

在如图8所示的情况下，直方图分析并没有完整地反映高光区域的划分(灰色的区域为高光亮斑)。显然，该图中包含三个高光区域，但是从直方图分析结果只能得到两块高光区域，原因是左边的高光区域在y方向上覆盖了右边两块零碎的区域。解决的方法是，对聚类后的每个区域进行二次直方图分析，就能够识别出右边的两个小区域。直方图分析的次数越多，区域划分得越细，但是也增加了算法的运算时间。可以通过控制分析直方图的次数以得到较高的效率。

另一方面，包围高光亮斑的区域有可能包含背景像素。在视觉凸壳绘制过程中，计算背景像素在参考图像上的对应点会产生错误。因此，在高光区域聚类以后，还需要继续对这部分像素进行细分：如果在某一行出现了背景像素，就将这个区域分成两个子块，对出现背景像素的子区域重新计算它的包围盒；重复这个过程，直到最后所有的包围盒内都不包含背景像素。如图9所示，灰色区域为高光区域，曲线下方为背景像素，如果直接计算包围盒，会包含一部分背景像素，细分后的包围盒内均不包含背景像素。

图10中即是采用上述方法自动提取高光亮斑子图像的结果。

本发明的方法可以应用到视觉凸壳的绘制过程中。图11(a)、图11(b)分别是视觉凸壳序列图像中的两幅，其中左侧为原图，右侧是使用本方法自动选取高光区域后再经过计算将高光消除的结果。使用消除高光的图像序列进行视觉凸壳绘制的新视图如图11(c)所示(左侧是用原图像直接绘制的结果)。

本领域技术人员知道，本发明所提出的自动提取高光子图像方法不仅可以用软件实现，同样可以用硬件实现。图12是本发明提供的一种用于视觉凸壳绘制的高光区域选取装置的结构示意图，该装置包括：

序列图像采集装置：用于采集图像，可以是数码相机或者CCD数字摄像头等；

高光种子点识别装置：用于通过直方图分析识别图像中的高光种子点；

高光区域填充装置：用于对离散的高光种子点集进行扩散，使其成为相对独立的连通区域；

高光亮斑子图像自动提取装置：用于对扩散后的高光点进行聚类，划分为各个区域，并找到包含各高光区域的最小子图像。

序列图像输出装置：用于输出自动提取高光后的序列图像。

进而该高光自动提取硬件装置可以结合现有的视觉凸壳绘制硬件构成高光自动提取的视觉凸壳绘制系统。

尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (7)

1.一种用于视觉凸壳绘制的高光区域选取方法，其特征在于，包括以下步骤：

(1)判别寻找高光种子点：利用高光亮斑亮度相对较高的特点，通过直方图分析，在图像的灰度直方图上设置一个阈值τ，图像中灰度大于该阈值的像素，即为高光种子点；所述阈值τ通过如下方法确定：首先假定高光区域的灰度值不会低于某个常量N_min，在统计图像灰度直方图的同时定义高光级数N_max，τ的搜索区间就落在[N_min，N_max]内，根据该区间内的直方图的导数值进行升序排序，最小导数值对应的灰度值确定为阈值τ，使高光种子点的个数控制在图像所有像素数的0.5％至4％之间；

(2)对高光部位进行种子填充：扩散步骤(1)中获得的离散的高光种子点集，使其成为相对独立的连通区域；

(3)获得高光亮斑子图像：对步骤(2)获得的连通区域中的高光点进行聚类，划分为各个高光区域，并找到包含各高光区域的最小矩形子图像。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)具体采用如下方法：在高光种子点的生长过程中，对种子点的八邻域进行判断，如果在颜色空间RGB里，某个邻居像素的颜色向量与种子点颜色向量方向是一致的，则认为该点也是高光种子点，将它压入堆栈中，让它继续生长，直到堆栈为空。

3.如权利要求1所述的方法，其特征在于，所述步骤(3)中的高光点聚类是采用C均值算法进行聚类。

4.如权利要求3所述的方法，其特征在于，所述步骤(3)中进一步对聚类后的每个高光区域进行二次直方图分析，对区域进行细分，并且删除背景像素。

5.一种用于视觉凸壳绘制的高光区域选取装置，其特征在于包括：

序列图像采集装置：用于采集图像；

高光种子点识别装置：用于通过直方图分析识别图像中的高光种子点，识别的方法是在图像灰度直方图上设置一个阈值τ，图像中灰度大于该阈值的像素，即为高光种子点；所述阈值τ通过如下方法确定：首先假定高光区域的灰度值不会低于某个常量N_min，在统计图像灰度直方图的同时定义高光级数N_max，τ的搜索区间就落在[N_min，N_max]内，根据该区间内的直方图的导数值进行升序排序，最小导数值对应的灰度值确定为阈值τ，使高光种子点的个数控制在图像所有像素数的0.5％至4％之间；

高光区域填充装置：用于对离散的高光种子点集进行扩散，使其成为相对独立的连通区域；

高光亮斑子图像自动提取装置：用于对扩散后的高光点进行聚类，划分为各个区域，并找到包含各高光区域的最小子图像。

6.如权利要求5所述的装置，其特征在于还包括序列图像输出装置，用于输出自动提取高光后的序列图像。

7.如权利要求5或6所述的装置，其特征在于，所述序列图像采集装置是数码相机或者CCD数字摄像头。

Images