CN104574429A - 全景图漫游中交互热点的自动选取方法 - Google Patents

Abstract

本发明提供了一种全景图漫游中交互热点的自动选取方法，用于虚拟现实、全景影像技术领域。方法中首先由用户框取交互物体的大致区域，然后扩展该区域，对该区域依次进行图像分割、二值化，然后利用OpenCV中函数提取交互物体边缘的连续点集，再利用多边形逼近方法对交互物体的轮廓进行简化，最后提取简化得到的多边形的各个端点作为热点。发明交互热点的自动选取方法，一方面减少了繁重的人工选取工作，另一方面可以提高交互热点选取的准确性。

Description

全景图漫游中交互热点的自动选取方法

技术领域

本发明涉及虚拟现实、全景影像技术领域，具体涉及一种全景图漫游中交互热点的自动选取方法。

背景技术

全景图漫游是利用专业相机，通过广角的表现手段，捕捉整个场景的图像信息，然后使用软件进行图片拼合，将平面照片变为360度全观，从而用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，使用户产生强烈的沉浸感。

在全景图漫游过程中，当用户浏览到某个物体时，需要与之交互，以展现与之相关的特定信息。为了实现交互的目的，就需要预先定义交互区域。这个交互区域通常用分布在交互区域边缘的一组简化点集来表示，称为“交互热点”。

目前“交互热点”是通过开发人员手工选取的。开发人员需要在“交互物体”的边缘逐个选取“交互热点”，形成一个闭合环。例如著名的全景图像转换工具Pano2VR就是这样处理的。这种方法在处理大量全景图数据时，开发人员的工作量就变得巨大，工作效率低下。

发明内容

本发明针对目前设定“交互热点”时，工作量巨大，工作效率低下的问题，提供了一种全景图漫游中交互热点的自动选取方法，采用图像处理技术，自动选取全景图指定区域的热点。

本发明提供的全景图漫游中交互热点的自动选取方法，实现步骤如下：

步骤1：用户选取交互物体的所在区域；优选采用矩形框来选取区域；

步骤2：选取背景图像，将用户所选区域向左右上下四个方向放大X个像素，得到包含背景图像的区域；X为大于20小于100的整数；

步骤3：对经过步骤2得到区域进行图像分割；

步骤4：对图像进行自适应阈值处理，使得图像变为二值图像，交互物体变为白色，背景变为黑色；

步骤5：提取交互物体的轮廓，获得分布在交互物体边缘的连续点集；

步骤6：利用多边形逼近方法对所提取的交互物体的轮廓进行简化；

步骤7：提取步骤6所得到的多边形的各个端点作为热点。

采用本发明交互热点的自动选取方法，一方面可以使从繁重的人工选取工作中解放出来，另一方面可以提高交互热点选取的准确性。

附图说明

图1是本发明的全景图漫游中交互热点的自动选取方法的流程示意图；

图2是本发明实施例中选取物体多在区域的示意图；

图3是本发明实施例中选取背景图像的示意图；

图4是本发明实施例中进行图像分割后得到的图像；

图5是本发明实施例中进行对矩形框内图像二值化后得到的图像；

图6是本发明实施例中获取的图像轮廓的示意图；

图7是本发明实施例中多边形简化的图像轮廓示意图；

图8是本发明实施例中所获取的热点的示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

全景图具有真实场景的特点，又比三维动画经济实用，因此被广泛应用于旅游景点、酒店宾馆、建筑设计、房地产、装修展示、网上商城等领域。在这些应用领域中，如果交互物体的数量较少，通过传统软件进行手工选取还可行。如果项目中全景图数量巨大、交互物体繁多(比如各种网上商城、装修展示等)，那么“交互热点”的自动选取就称为必然选择，会得到广泛的应用。

通过本发明方法，用户在全景图上指定交互物体所在的大致区域，本发明方法自动分割出需要交互的物体，提取物体的轮廓，然后把轮廓上的点进行大规模的简化，使简化后的点集可以代表物体的轮廓，从而得到“交互热点”。

本发明的全景图漫游中交互热点的自动选取方法，实现步骤如下：

步骤1：用户选取交互物体所在区域。

本发明方法需要用户指定交互物体所在区域作为输入。这个区域是大致区域，不需要十分精确。因为在一张全景图中存在多个物体，所以需要用户指定所选物体的大致区域。例如，本发明实施例中选取吊灯，如图2所示，可选取吊灯所在的一个矩形区域。检测所选取区域的顶点坐标和长宽并保存。图2中，以整个图片的左上角作为坐标原点(0,0)，图片横向为x轴，且向右为x正方向，图片纵向为y轴方向，且向下为y正方向。

本发明实施例中定义如下数据结构来保存所选取的区域：

char*HotPoint::GrabHotPointsAsString(char*filename,int RectX,int RectY,intRectWidth,int RectHeight,bool IfDrawPoints,bool IfShowImage)

其中，RectX表示矩形区域左上角起点的x坐标；RectY表示矩形区域左上角起点的y坐标；RectWidth表示矩形区域的宽；RectHeight表示矩形区域的高。filename表示当前所选区域保存的文件名；IfDrawPoints表示是否绘制点集，IfShowImage表示是否显示图像。

本发明实施例中优先设置矩形选取框，用户通过拉伸收缩矩形框，将要交互的物体框在矩形框中。采用矩形框选取物体，一方面方便用户简单操作，另一方面也使得下面的图像操作简单。

步骤2：选取背景图像。本发明实施例中X设置为50，即把用户所选区域向左右上下四个方向放大50个像素，作为下一步图像分割的背景图像。

步骤2是本发明方法对图像分割方法的改进之处。背景图像不再针对整幅图像，而是缩小到分割区域周围。通过这样的改进，减少了数据计算量，加快了运算速度，提高了图像分割的精确度。

本发明实施例对图2所示图像进行步骤2，如图3所示，黑色实框为用户所选矩形，黑色虚线框为自动扩展后得到的区域。

具体地，本发明进行扩展的代码如下：

image＝&_image；

int extension＝50；

int OutRectX＝max(RectX-extension,0)；

int OutRectY＝max(RectY-extension,0)；

int OutRectX2＝min(RectX+RectWidth+extension,image->cols-rect.x)；

int OutRectY2＝min(RectY+RectHeight+extension,image->rows-rect.y)；

rectOut＝Rect(Point(OutRectX,OutRectY),Point(OutRectX2,OutRectY2))；

imageOut＝(*image)(rectOut)；

其中，extension为扩展值X，OutRectX和OutRectY分别表示扩展后矩形区域的左上角顶点的x和y坐标，OutRectX2和OutRectY2分别表示扩展后矩形区域的右上角顶点的x和y坐标，rectOut表示扩展得到的矩形区域左、右上角顶点的坐标。在确定顶点坐标时，需要与原图像的边缘做比较，当超过原图像的坐标范围时，以原图像的边缘坐标作为扩展区域的坐标。image->cols-rect.x和image->rows-rect.y分别表示原图像的右上角顶点坐标。

步骤3：图像分割。

根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。根据这个原理，交互物体的图像就可以从背景图像中分割出来。

图像分割方法包括这几类：a.基于阈值的分割方法；b.基于边缘的分割方法；c.基于区域的分割方法；d.基于图论的分割方法；e.基于能量泛函的分割方法。可选取其中合适的方法进行图像分割。

基于图论的分割方法：此类方法把图像分割问题与图的最小割(min cut)问题相关联。首先将图像映射为带权无向图G＝<V，E>，图中每个节点N∈V对应于图像中的每个像素，每条边∈E连接着一对相邻的像素，边的权值表示了相邻像素之间在灰度、颜色或纹理方面的非负相似度。而对图像的一个分割S就是对图的一个剪切，被分割的每个区域C∈S对应着图中的一个子图。而分割的最优原则就是使划分后的子图在内部保持相似度最大，而子图之间的相似度保持最小。基于图论的分割方法的本质就是移除特定的边，将图划分为若干子图从而实现分割。目前所了解到的基于图论的方法有GraphCut，GrabCut和Random Walk等。

本发明实施例中选取基于图论的分割方法-Grab Cut方法来进行图像分割，所用的GrabCut实现采用图像处理开源库OpenCV中的实现。

OpenCV中的GrabCut方法是依据《"GrabCut"-Interactive Foreground Extraction usingIterated Graph Cuts》这篇文章来实现的。该方法利用了图像中的纹理(颜色)信息和边界(反差)信息，只要少量的用户交互操作即可得到比较好的分割结果。

OpenCV中GrabCut方法的描述如下：

void cv::grabCut(InputArray_img,InputOutputArray_mask,Rect rect,

InputOutputArray_bgdModel,InputOutputArray_fgdModel,

int iterCount,int mode)

参数说明：

img——待分割的源图像，必须是8位3通道(CV_8UC3)图像，在处理的过程中不会被修改。

mask——掩码图像，如果使用掩码进行初始化，那么mask保存初始化掩码信息；在执行分割的时候，也可以将用户交互所设定的前景与背景保存到mask中，然后再传入grabCut函数；在处理结束之后，mask中会保存结果。mask只能取以下四种值：GCD_BGD(＝0)，背景；GCD_FGD(＝1)，前景；GCD_PR_BGD(＝2)，可能的背景；GCD_PR_FGD(＝3)，可能的前景。如果没有手工标记GCD_BGD或者GCD_FGD，那么结果只会有GCD_PR_BGD或GCD_PR_FGD。

rect——用于限定需要进行分割的图像范围，本发明实施例中只有步骤2扩展后的矩形窗口内的图像部分才被处理。

bgdModel——背景模型，如果为null，函数内部会自动创建一个bgdModel；bgdModel必须是单通道浮点型(CV_32FC1)图像，且行数只能为1，列数只能为13*5；

fgdModel——前景模型，如果为null，函数内部会自动创建一个fgdModel；fgdModel必须是单通道浮点型(CV_32FC1)图像，且行数只能为1，列数只能为13*5；

iterCount——迭代次数，必须大于0；

mode——用于指示grabCut函数进行什么操作，可选的值有：

GC_INIT_WITH_RECT(＝0)，用矩形窗初始化GrabCut；

GC_INIT_WITH_MASK(＝1)，用掩码图像初始化GrabCut；

GC_EVAL(＝2)，执行分割。

本发明实施例中用Grab Cut方法来进行图像分割时，设置mode为GC_INIT_WITH_RECT；设置iterCount＝1，采用1次迭代，提高运算速度，得到如图4所示图像，其中背景图像为黑色，交互物体为白色。

步骤4：自适应阈值处理。

根据交互物体图像的特征，选取一个合适的阈值，进行阈值处理。交互物体图像由彩色图像变为二值图像，交互物体变为白色，背景变为黑色，得到二值图。由于本图像是分割产生的图像，图像背景为黑色，所以阈值可设定为一个较小的值，例如设置T＝10。

将当前图像中的像素灰度值I(x,y)与阈值T比较，进行二值化，公式如下：

$r(x,y)=\left\{\begin{array}{ccc}0& \mathrm{if}& I(x,y)<T\\ 255& \mathrm{if}& I(x,y)\&GreaterEqual;T\end{array}\right.$

r(x,y)表示像素(x,y)二值化对应的灰度值。

本发明实施例中的矩形框内图像二值化后得到的图像如图5所示。

步骤5：轮廓提取。

由于热点分布在交互物体的边缘，所以需要提取交互物体的轮廓。所提取的轮廓其实是分布在交互物体边缘的连续点集。

本发明实施例中采用OpenCV的findContours函数，这个函数的原型为：

void findContours(InputOutputArray image,OutputArrayOfArrays contours,OutputArrayhierarchy,int mode,int method,Point offset＝Point())

参数说明：

输入图像image必须为一个2值单通道图像；

contours参数为检测的轮廓数组，每一个轮廓用一个point类型的vector表示；

hiararchy参数和轮廓个数相同，每个轮廓contours[i]对应4个hierarchy元素hierarchy[i][0]～hierarchy[i][3]，分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号，如果没有对应项，该值设置为负数。

mode表示轮廓的检索模式，包括：

(1)CV_RETR_EXTERNAL表示只检测外轮廓；

(2)CV_RETR_LIST检测的轮廓不建立等级关系；

(3)CV_RETR_CCOMP建立两个等级的轮廓，上面的一层为外边界，里面的一层为内孔的边界信息。如果内孔内还有一个连通物体，这个物体的边界也在顶层。

(4)CV_RETR_TREE建立一个等级树结构的轮廓。

method为轮廓的近似办法，包括：

(1)CV_CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max(abs(x1-x2)，abs(y2-y1))＝＝1

(2)CV_CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息。

(3)CV_CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS使用teh-Chinlchain近似算法。

offset表示代表轮廓点的偏移量，可以设置为任意值。对感兴趣区(ROI)图像中找出的轮廓，并要在整个图像中进行分析时，这个参数还是很有用的。

本发明实施例的findContours函数的具体实现为：

findContours(img,contours0,hierarchy,CV_RETR_EXTERNAL,CV_CHAIN_APPROX_SIMPLE)；

本发明实施例的处理结果如图6所示，图中勾勒了所选物品的边缘，并提供了边缘所包含的点集。

步骤6：轮廓简化。

采用多边形逼近的方法简化轮廓，使多边形可以代表交互物体的轮廓。

设置函数approxPolyDP来实现轮廓简化，如下所示：

Void approxPolyDP(InputArray curve,OutputArray approxCurve,double epsilon,bool closed)；

相关参数说明如下：

Curve：输入轮廓，也就是步骤5中得到的边缘点集；

approxCurve：输出的近似表示多边形；

epsilon：邻域；

closed：是否闭合。

本发明实施例中该函数的具体实现为：

approxPolyDP(Mat(contours0[idx]),contours[idx],5,true)；

其中，输入轮廓集合为Mat(contours0[idx])，idx为索引编号，输出的近似多边形集合为contours[idx]，领域值为5，选择闭合方式。

本发明实施例对图6的处理结果如图7所示，黑色粗线条的多边形即为简化的轮廓。

步骤7：获取热点。提取多边形的各个端点，作为热点。

本发明实施例对图7的处理结果如图8所示。黑色点即为热点，所包围的区域即为热点区域。

将本发明所提供的交互热点自动选取方法与全景图像转换工具Pano2VR进行比较：

Pano2VR的热点区域是需要手工绘制的。建立多边形交互热区的方法是选择多边形交互热区工具，然后在需要的地方双击开始绘制需要的图形完成后点右键结束，需要用多边形描绘出该物体的轮廓，对于不规则的物体的热点的选取则更加费力且选取的热点不一定准确；当需要为大量交互物体选取热点时，需要手工依次选取每个物体，所需要的工作量大。

而本发明对每个物体不需要沿着该物体的轮廓，只需要用户利用矩形框图在图片上简单框取物体，然后自动提取该物体的交互热点，大大节省了工作量，且得到的交互物体的热点更加准备。

Claims (5)

1.一种全景图漫游中交互热点的自动选取方法，其特征在于，包括如下步骤：

步骤1：用户选取交互物体的所在区域；

步骤2：选取背景图像，将用户所选区域向左右上下四个方向放大X个像素，得到包含背景图像的区域；X为大于20小于100的整数；

步骤3：对经过步骤2得到区域进行图像分割；

步骤4：对图像进行自适应阈值处理，使得图像变为二值图像，交互物体变为白色，背景变为黑色；

步骤5：提取交互物体的轮廓，获得分布在交互物体边缘的连续点集；

步骤6：利用多边形逼近方法对所提取的交互物体的轮廓进行简化；

步骤7：提取步骤6所得到的多边形的各个端点作为热点。

2.根据权利要求1所述的一种全景图漫游中交互热点的自动选取方法，其特征在于，所述步骤1中，采用矩形框来选取区域。

3.根据权利要求1所述的一种全景图漫游中交互热点的自动选取方法，其特征在于，所述步骤3中，采用Grab Cut方法进行图像分割。

4.根据权利要求1所述的一种全景图漫游中交互热点的自动选取方法，其特征在于，所述步骤4中，进行自适应阈值处理时，设置阈值为10。

5.根据权利要求1所述的一种全景图漫游中交互热点的自动选取方法，其特征在于，所述步骤5中，采用OpenCV的findContours函数获取交互物体边缘的连续点集。