CN102393970B - 一种物体三维建模与渲染系统及三维模型生成、渲染方法 - Google Patents

Abstract

本发明公开了一种物体三维建模与渲染系统及三维模型生成、渲染方法，系统包括步进电机转动平台、电机控制系统、图像采集和处理系统、背景板更换装置和图像采集装置。三维模型生成方法包括步骤一：系统初始化，步骤二：采集第一个背景板下的360度视频，步骤三：采集第二个背景板下的360度视频，步骤四：逐帧进行双蒙版背景差分法剪除背景。渲染方法包括解码所储存的视频模型、根据当前用户鼠标控制，解算出当前用户希望的视角、如果当前视角与视频中某一帧的视角的差异小于阈值e，则解码出视频的该帧，作为当前渲染图像、如果不满足条件，则选择与用户期望视角最为临近的两帧图像，进行线性图像插值，得到用户期望视角的渲染图像。

Description

一种物体三维建模与渲染系统及三维模型生成、渲染方法

技术领域

本发明涉及一种基于IBR(Image Based Rendering，基于图像的渲染)技术的物体三维建模与渲染系统及三维模型生成、渲染方法，属于虚拟现实、计算机图像学和模式识别领域。

背景技术

虚拟现实技术中的一个核心问题就是实时生成复杂虚拟现实环境的高逼真度图像。传统虚拟现实手段中，要生成某一个物体虚拟的几何图像，首先要利用几何图形的渲染方法(Graph-based Rendering，GBR)，进行几何建模并贴上纹理，如利用3DMax和Maya等建模工具进行三维物体的建模；然后在三维引擎中利用透视投影原理将三维模型像素化转变成二维图像，显示在二维屏幕空间中。

但是对于复杂的物体，基于几何图形的绘制方法费时费力，且对于实时渲染而言GBR方法计算强度大，速度慢；基于图像的渲染(Image Based Rendering，IBR)是实时地生成照片般逼真的计算机图形的一种新方法，不用建立几何模型就可提供逼真的场景和动画。这种方法的优点是：

1、占用计算资源较少，实时性好；

2、渲染时间与所建模型的复杂度无关；

3、预先获取的图像可来自真实场景或虚拟环境，既可以来自实景照片，也可以来自离线渲染的几何三维模型。

其中，Lippman的Movie-map系统是构造基于图像的绘制系统的最早的尝试之一。在Movie-map系统中，他们将成千上万的参考图像存储在计算中，系统可以围绕固定的视点左右、上下地摇转镜头、或将景物拉近推远。Movie-map系统的原理可以解释为：从各个角度拍摄物体的参考图像，前提是参考图像的采样密度足够大。当用户选择某一个视点观察物体时，则根据视点临近匹配的原则，选择图像库中与之最接近的一张图片作为当前的视点看到图像。根据用户所选择视点的远近，将图片适当的放缩。

IBR技术的出现使得建模与渲染有了更快速更有效的实现方法，并于近年来在互联网中得到了部分应用。如国内知名IT网站太平洋电脑网，其推出了电子产品的三维360度浏览功能，但是诸如此类的功能都是通过人工的手段，围绕物体进行多个角度拍照，再利用美工编辑(如PS等软件)将物体的背景人为的去除掉。用户可以使用360度浏览功能实际上是一张一张的切换各个视角所拍摄的处理后的图片。

物体的360度浏览技术本质上是基于IBR技术的一种渲染实现，其技术要点在于三点：

1、快速有效的采集足够的密度的图片作为渲染的参考图像。采集图片数量过少，会出现视角变化过大导致不连续的现象，最终用户的体验感会比较差；

2、高效并自动化的减除背景，只保留物体的前景，只保留物体本身去除背景可以使得用户的关注度提高，并增强观察物体三维效果和真实感。

3、当用户所选择的观察视点不在参考图像范围中的时候，如何进行新的视点合成，根据已有的图像序列生成用户所需要的图像。

目前国内所出现的基于图像的三维浏览系统，如太平洋电脑网，主要存在以下三个缺点：

1、图像采集手段仍然停留在人工，利用美工编辑进行图像拍摄，因而效率低下，不便于进行高密度采样拍摄和处理，基本都是十几张图片来描述一个物体；

2、背景减除赖于手工，基本都是利用PS等软件处理，没有实现自动化处理；

3、当用户所选择的视点不在参考图像范围，没有策略进行新视点合成，无法生成用户当前视点所需要的图像，渲染手段比较被动，只能浏览所拍摄的图像。

其中背景减除作为关键技术之一，在国内外图像处理领域普遍使用背景差分法进行背景的减除，但是这种方法对于光源要求高，要求环境光稳定，且背景与前景色彩上要差别较大，如电视台演播室、影视拍摄现场利用蓝色或者绿色的背景布，并配合严格的光照条件来实现影视录制中的背景减除。

本文以附图1为例，说明传统背景减除的实现方法：

步骤1：采集前景图像和背景图像(此处无特殊说明，图像均为24位彩色图像，8位色深)；

步骤2：将前景图像和背景图像进行差分，具体实现是，将前景图像和背景图像进行逐像素做减运算，即分别利用RGB三个通道的值相减，得到RGB差分图像；

步骤3：将步骤2得到的RGB差分图像进行灰度化，即采用一定RGB彩色图像转换灰度的算法，得到差分灰度图像；

步骤4：为了减少椒盐噪声等其他因素的干扰，采取一定的滤波算法进行图像去噪处理，如中值滤波算法。得到滤波后的灰度图。

步骤5：对步骤4得到的灰度图，采用二值化算法得到二值蒙版图像，即一张灰度只有0，1和图像(0代表黑色，1代表白色)；

步骤6：利用二值蒙版图像与原前景图像逐个像素进行“与”运算，在相应的某个像素点上，如果蒙版图像当前的像素值为“1”，则原前景图对应的像素值保持不变，即被保留了下来；反之，如果蒙版图像当前的像素值为“0”，则对应前景像素值则在“与”运算之后就变成了“0”，即被减除掉了。经过二值蒙版图像和原前景图像的“与”运算后，即得到了背景减除后的最终图像。

但是传统的背景减除方法存在以下两个难以克服的缺点：

1、对光照条件依赖度高，要求光照均匀且不变，普遍适应性差；

2、当前景物体的色彩与背景颜色一致时，可能出现把物体的某些部分(与背景颜色接近的部分)当做背景减除掉，出现“镂空”现象；

典型的“镂空”现象，如附图2所示，由于前景物体的某部分颜色与背景颜色非常接近，导致所生成的蒙版图像本身存在“镂空”，最终图像在合成的时候也出现了“镂空”，出现这种情况时需要后期人工修补“镂空”部分，导致了效率低下适应性不强。传统背景差分算法的固有缺陷导致了目前应用领域没有能够实现自动化的快速建模与渲染IBR系统。

发明内容

本发明的目的是为了解决上述问题，提出了一种基于IBR技术快速的物体三维建模与渲染系统及三维模型生成、渲染方法，本发明应用工业摄像机配合步进电机转动平台，采集物体的360度图像；首次提出并应用双蒙版背景差分法成功解决了图像背景差分后渲染出现“镂空”的问题，使得基于IBR技术的快速建模与渲染具有更好的抗噪性能；此外，提出了在低密度均匀采样的条件下，可采用邻近帧线性插值法进行新的视点合成，解决了用户选择的观察视点不在所采集范围的情况。

一种物体三维建模与渲染系统，包括步进电机转动平台、电机控制系统、图像采集和处理系统、背景板更换装置和图像采集装置；

步进电机转动平台底部设有步进电机，上端设有平台，平台用于放置物体，通过步进电机的驱动使得平台转动；步进电机通过电机控制系统连接图像采集和处理系统，电机控制系统包括DSP芯片和外围电路，作为连接步进电机转动平台与图像采集和处理系统的纽带，电机控制系统控制步进电机的转动，实现步进电机转动平台的转度调节和开关控制，图像采集和处理系统与电机控制系统采用串行通讯，图像采集和处理系统向电机控制系统发送指令，通过电机控制系统控制步进电机的转动速率，使得步进电机的转动速率与图像采集和处理系统中的图像采集同步；

背景板更换装置位于平台上物体的后方，背景板更换装置中背景板的颜色能够更换；

图像采集和处理系统控制图像采集装置采集平台上物体的图像和背景板更换装置的图像，图像采集装置采集图像的频率与平台的转动频率同步；

图像采集和处理系统全部采集完图像后，基于双蒙版背景差分法，实现采集图像的背景抠除。

一种物体三维建模与渲染系统的三维模型生成方法，包括以下几个步骤：

步骤一：系统初始化；

设定电机转速为V转/分，设置需要采集图像的分辨率，设定旋转一周要采集的图片数N；

步骤二：采集第一个背景板下的360度视频；

更换背景板更换装置的当前背景板为第一个背景板，物体三维建模与渲染系统采集背景板图像作为BackImg1存储到PC机硬盘；将要采集的物体放在平台上，并且步进电机控制平台旋转一周，采集一段360度的视频，作为CurImg1存储到PC机硬盘；

步骤三：采集第二个背景板下的360度视频；

更换背景板更换装置的当前背景板为第二个背景板，第一个背景板与第二个背景板的颜色差异较大，物体三维建模与渲染系统采集背景板图像作为BackImg2存储到PC机硬盘；将要采集的物体放在平台上，并且步进电机控制平台旋转一周，采集一段360度的视频，作为CurImg2存储到PC机硬盘；

步骤四：逐帧进行双蒙版背景差分法剪除背景；

读取视频文件CurImg1、CurImg2的第n帧，n＝1，2，3……N，对CurImg1的第n帧与背景BackImg1图片进行背景减除，得到二值蒙版M1(n)；对CurImg2的第n帧与背景BackImg2进行背景减除，得到二值蒙版M2(n)；对二值蒙版M1(n)和M2(n)进行“或”运算，得到最终二值蒙版M(n)；并利用M(n)与CurImg1的第n帧图像进行“与”运算得到DstImg(n)，则得到第n帧抠出的完整前景物体的图像；重复步骤四，直到视频的最后一帧N为止，将所有得到的N帧最终图像，编码压缩成视频格式，得到了三维模型。

一种物体三维建模与渲染系统的三维模型渲染方法，包括以下几个步骤：

(1)解码所储存的视频模型；

(2)根据当前用户鼠标控制，解算出当前用户希望的视角；

(3)如果当前视角与视频中某一帧的视角的差异小于阈值e，则解码出视频的该帧，作为当前渲染图像；

(4)如果不满足条件(3)，则选择与用户期望视角最为临近的两帧图像，进行线性图像插值，得到用户期望视角的渲染图像。

本发明相比目前的IBR应用系统具有以下优点：

(1)首次提出了双蒙版背景差分法，并应用在该系统中，解决了传统背景减除方法中的图像“镂空“现象，使得背景减除具有更好的抗干扰性和更优的效果；

(2)基于PC平台+OpenCV图像处理库，配合工业摄像机实现了物体360度视角的高密度采集的自动化，使图像采集更高效简便；

(3)在低密度采样条件下，应用View Morphing技术，选取邻近帧线性插值，可以合成参考图像库中所没有的图片，弥补了现有的360度浏览系统的不足；

(4)不同于现存的360度浏览系统，本发明应用视频编码对图像进行压缩存储，以便于Web应用，节约存储空间。

附图说明

图1是本发明中背景技术的传统背景减除法的实现原理；

图2是本发明中背景技术的传统背景减除方法所固有的缺陷“镂空”现象；

图3是本发明的物体三维建模与渲染系统结构示意图；

图4是本发明的三维模型生成方法流程图；

图5是本发明的双蒙版背景差分法流程图；

图6是本发明的三维模型渲染方法流程图；

图7是本发明的实施例中对某物体建模后浏览的效果图。

图中：

1-步进电机转动平台  2-电机控制系统        3-图像采集和处理系统

4-背景板更换装置    5-图像采集装置

101-步进电机        102-平台

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明的一种物体三维建模与渲染系统，如图3所示，包括步进电机转动平台1、电机控制系统2、图像采集和处理系统3、背景板更换装置4和图像采集装置5。

步进电机转动平台1底部设有步进电机101，上端设有平台102，平台102用于放置物体，通过步进电机101的驱动使得平台102转动。步进电机101通过电机控制系统2连接图像采集和处理系统3，电机控制系统2包括DSP芯片和外围电路，作为连接步进电机转动平台1与图像采集和处理系统3的纽带，电机控制系统2控制步进电机101的转动，实现步进电机转动平台1的转度调节和开关控制，图像采集和处理系统3与电机控制系统2采用串行通讯，图像采集和处理系统3向电机控制系统2发送指令，通过电机控制系统2控制步进电机101的转动速率，使得步进电机101的转动速率与图像采集和处理系统3中的图像采集同步。

背景板更换装置4位于平台102上物体的后方，背景板更换装置4中背景板的颜色可以更换。主要作用是为了更好的利用背景差分法，得到抠图后的前景物体的完整图像而不留下“镂空”。利用两块色彩差异较大的背景板，可以得到两块互补的蒙版图像，通过一定的算法合成，从而消除传统背景减除法可能出现的图像“镂空”现象。

图像采集装置5可以采用摄像头，图像采集和处理系统3控制图像采集装置5采集平台102上物体的图像和背景板更换装置4的图像，采集装置5采集图像的频率与平台102的转动频率同步。

图像采集和处理系统3全部采集完图像后，基于双蒙版背景差分法，实现采集图像的背景抠除，并将背景减除的后图像序列以视频的方式存储，以节省硬盘空间。

一种物体三维建模与渲染系统的三维模型生成方法，流程如图4所示，包括以下几个步骤：

步骤一：系统初始化：

设定电机转速为V转/分，设置需要采集图像的分辨率，设定旋转一周要采集的图片数N；

步骤二：采集第一个背景板下的360度视频：

更换背景板更换装置4的当前背景板为第一个背景板，物体三维建模与渲染系统采集背景板图像作为BackImg1存储到PC机硬盘；将要采集的物体放在平台102上，并且步进电机101控制平台102旋转一周，采集一段360度的视频，作为CurImg1存储到PC机硬盘；

步骤三：采集第二个背景板下的360度视频：

更换背景板更换装置4的当前背景板为第二个背景板，第一个背景板与第二个背景板的颜色差异较大，物体三维建模与渲染系统采集背景板图像作为BackImg2存储到PC机硬盘；将要采集的物体放在平台102上，并且步进电机101控制平台102旋转一周，采集一段360度的视频，作为CurImg2存储到PC机硬盘；

步骤四：逐帧进行双蒙版背景差分法剪除背景，

如图5所示：读取视频文件CurImg1、CurImg2的第n帧(n＝1，2，3……N)，对CurImg1的第n帧与背景BackImg1图片进行背景减除，得到二值蒙版M1(n)；对CurImg2的第n帧与背景BackImg2进行背景减除，得到二值蒙版M2(n)；对二值蒙版M1(n)和M2(n)进行“或”运算，得到最终二值蒙版M(n)。并利用M(n)与CurImg1的第n帧图像进行“与”运算得到DstImg(n)，则得到第n帧抠出的完整前景物体的图像。重复步骤四，直到视频的最后一帧N为止。将所有得到的N帧最终图像，编码压缩成视频格式，以减少存储大小。

一种物体三维建模与渲染系统的三维模型渲染方法，流程如图6所示，包括以下几个步骤：

(1)解码所储存的视频模型；

(2)根据当前用户鼠标控制，解算出当前用户希望的视角；

(3)如果当前视角与视频中某一帧的视角的差异小于阈值e，则解码出视频的该帧，作为当前渲染图像；

(4)如果不满足条件(3)，则选择与用户期望视角最为临近的两帧图像，进行线性图像插值，得到用户期望视角的渲染图像。

基于IBR技术的物体三维建模与渲染系统的对物体进行360度图像采集和三维模型的建模方法，流程如图5所示，包括以下几个步骤：

步骤一：系统初始化：

设定电机转速为V转/分，如设置为4转/分；设置需要采集图像的分辨率，如此处设置为VGA分辨640像素*480像素；设定旋转一周要采集的图片数N，此处经过给出参考值为N＝72，即每间隔5度采集一张图像(经实际测试在复杂背景下应用Mpeg4编码将72张VGA图片压缩为视频，其大小基本可控制在1M以内，为了便于存储和网络应用，取N＝72作为参考值。针对不同的应用领域，可以将采样密度提高或降低)；

步骤二：采集第一个背景板下的360度视频：

更换当前背景板为第一个背景板，此处选择白色绒布背景板为第一个背景板，要求背景板漫反射特性较好，此外对于两块背景板的色彩要求是颜色差异相对较大即可，不需要指定特定颜色，如黑白，白蓝，红绿皆可，颜色差异越大后期的双蒙版背景减除效果越好，抗噪性能也就越好。利用物体三维建模与渲染系统采集背景板图像作为BackImg1存储到PC机硬盘；将要采集的物体放在平台102上，建模与渲染系统从PC端利用串口通讯协议，发送采集开始的信号给图像采集和处理系统3中的DSP控制板，DSP控制板接收到启动信号，自动接通电机电源，并控制平台102按照预先设定好的速度4转/分旋转。当步进电机101开始转动时，PC端以多媒体定时器为基准，同步控制图像采集装置5每间隔5度(换算成时间即间隔208ms采集一张)采集一张图片，并利用OpenCV进行视频编码写入到视频文件CurImg1中。当步进电机101旋转360度后，DSP控制板将步进电机101的电源切断，并反馈停止信号给PC控制系统(图像采集和处理系统3)，PC控制系统收到步进电机101停止反馈信号，结束本次360度图像采集过程。PC端采集系统(图像采集和处理系统3)将所生成的视频文件CurImg1存储到PC机硬盘的某临时文件夹，以备用；

步骤三：采集第二个背景板下的360度视频：

更换背景板更换装置4的当前背景板为第二个背景板，此处选择蓝色绒布背景板为第二个背景板，要求背景板漫反射特性较好。利用物体三维建模与渲染系统采集背景板图像作为BackImg2存储到PC机硬盘；将要采集的物体放在平台102上，建模与渲染系统从PC端发送采集开始的信号给图像采集和处理系统3中的DSP控制板，DSP控制板接收到启动信号，自动接通电机电源，并控制平台102按照预先设定好的速度4转/分旋转。当步进电机101开始转动时，PC端以多媒体定时器为基准，同步控制图像采集装置5每间隔5度(换算成时间即间隔208ms采集一张)采集一张图片，并利用OpenCV进行视频编码写入到视频文件CurImg2中。当步进电机101旋转360度后，DSP控制板将步进电机101的电源切断，并反馈停止信号给PC控制系统(图像采集和处理系统3)，PC控制系统收到步进电机101停止反馈信号，结束本次360度图像采集过程。PC端采集系统(图像采集和处理系统3)将所生成的视频文件CurImg2存储到PC机硬盘的某临时文件夹，以备用；

步骤四：逐帧进行双蒙版背景差分法剪除背景：

读取视频文件CurImg1、CurImg2的第n帧(n＝1，2，3……N＝72)，分别进行背景差分获得二值蒙版。具体实现如附图5所示：

步骤1：背景和前景图像相减。

将背景图片BackImg1和CurImg1第n帧作为两个二维矩阵，逐像素将R，G，B三个分量的值相减除，得到差分图像彩色的RBG差分图像DifImg1。

步骤2：差分灰度化。

将RGB差分图像DifImg1进行灰度化，这里采用RGB转灰度的经验公式为：

灰度L＝R*0.3+G*0.59+B*0.11                       (1)

其中R代表图像中该像素点的红色分量，G代表绿色分量，B代表蓝色分量。由公式(1)可得到差分灰度图GreyImg1。

步骤3：中值滤波去噪。

由于在采集过程中难免会出现噪声，因此对于差分灰度图进行滤波去噪处理，此处采用滤波算法为中值滤波。本发明选择3*3的采样窗口，以某个像素点灰度值Pi，j为例，其中i代表第i行，j代表第j列，Pi，j最终的计算为：周围临近像素灰度值从大到小排序，中间值即使Pi，j最终的灰度值。3*3采样窗口如公式2所示：

$\left[\begin{array}{ccc}{P}_{i-1,j-1}& P_{i-1,j}& P_{i-1,j+1}\\ P_{i,j-1}& P_{i,j}& P_{i,j+1}\\ P_{i+1,j-1}& P_{i+1,j}& P_{i+1,j+1}\end{array}\right]---\left(2\right)$

Pi，j灰度值＝Med{P_i-1，j-1，P_i-1，j，P_i-1，j+1，P_i，j-1，P_i，j，P_i，j+1，P_i+1，j-1，P_i+1，j，P_i+1，j+1}     (3)

其中Med代表取9个数值的中间值，一般而言奇数个数字总会有中间值，特殊的，有部分数值重合导致没有明确中间值的情况，取中间临近值为当前像素值。

步骤4：自适应阈值法二值化。

传统二值化方法为：

目标像素点的二值化结果

Dst_i，j＝(P_i，j＞T)：1？0。                  (4)

其中T是全局的阈值，此处即为(0，255)区间上的一个常量整数。

为了更好的得到二值蒙版，本发明采用了自适应阈值法进行二值化。其实现方法为，阈值T是可变的，对于像素点P_i，j而言，其阈值是通过P_i，j周围m＊m邻域内的数值的加权平均，然后减去一个常数C得到。本发明选择为3＊3邻域，则自适应阈值二值化方法可描述为：

$T_{i,j}=\frac{1}{3*3}(P_{i-1,j-1}+P_{i-1,j}+P_{i-1,j+1}+P_{i,j-1}+P_{i,j}+P_{i,j+1}+P_{i+1,j-1}+P_{i+1,j}+P_{i+1,j+1})-C$

Dst_i，j＝(P_i，j＞Ti，j)：1？0                (5)

通过自适应阈值法二值化得到二值化蒙版M1(n)。

同样的，对CurImg2的第n帧与背景BackImg2进行背景差分操作(流程同上述)，可得到二值蒙版M2(n)；

步骤5：将两个二值蒙版合成新的二值蒙版

对二值蒙版M1(n)和M1(n)进行“或”运算，得到最终二值蒙版M(n)。其中二值蒙版M(n)中凡是像素值为“1”的点，都是属于前景物体的；凡是像素值为“0”的点，都是属于背景的。

步骤6：利用蒙版和原前景图像1进行背景的减除

并利用M(n)与CurImg1的第n帧图像进行“与”运算得到DstImg(n)。其运算方法为：某个像素点上，如果蒙版图像当前的像素值为“1”，则原前景图对应的像素值保持不变，即被保留了下来；反之，如果蒙版图像当前的像素值为“0”，则对应前景像素值则在“与”运算之后就变成了“0”，即被减除掉了。经过二值蒙版图像和原前景图像的“与”运算后，即得到了背景减除后的最终图像。

通过以上步骤得到第n帧抠出的完整前景物体的图像。重复步骤1至步骤6，直到视频的最后一帧n＝N为止。将所有得到的N帧最终图像，编码压缩成视频格式并存储在硬盘空间，即得到了三维模型。

一种物体三维建模与渲染系统的三维模型渲染方法，流程如图6所示，包括以下几个步骤：

(1)解码视频

找到存储在硬盘上的三维模型，选择相应的视频解码器对视频进行解码，并渲染出第一帧图像；

(2)换算得到用户期望视角

根据主流三维模型浏览器的用户习惯得到用户期望的观察视角。目前用户一般习惯于用鼠标按住左键，左右横向拖拽，来浏览三维模型。因此在屏幕坐标系下，通过计算用户按住左键后的鼠标位置和拖拽的方向、长度，配合一定的映射关系(如定义：用户横向移动10个像素代表视角变换1度)，即可解算出当前用户期望的视角；

(3)判断用户期望视角是否符合已有帧的视角

由于对物体进行图像采样的视角是顺序且均匀的，因此，视频的帧序列从n＝1到n＝N，每张图像所隐含的视角角度是均匀分布在0到360度之间的。因此当(2)中换算得到用户的期望视角，若期望视角与采样图像视角的差异值小于一定的阈值e，(这里通过实际测试，e＝2度即可满足人眼观察流畅的需求，即可以认为物体视角偏差2度以内，浏览三维模型可以认为是连续的)，即可选择采样图像作为当前渲染图像；

(4)图像插值合成新的图像

如果不满足条件(3)，则图像的视角必然落在某两帧邻近的图像之间，不妨假设落在了图像DstImg(m)和DstImg(m+1)之间。基于OpenCV图像处理库的View Morphing算法，选择与用户期望视角最为临近的两帧图像DstImg(m)和DstImg(m+1)，进行线性图像插值，得到用户期望视角的渲染图像。

实施例：

采用本发明所阐述的方法，采用由DSP芯片控制的步进电机转台作为展示载体，工业摄像头为图像采集设备，配合一块可更换的颜色的背景板组成硬件系统，并基于OpenCV图像处理库和Visual C++2005开发软件系统，实现了基于IBR技术的物体三维模型建模与渲染系统，系统组成和实物见附图3。

本系统作为IBR技术的一个典型应用。采用本系统可以方便快捷的采集物体360度图像，并自动高效的实现背景减除，具有以下创新特性和优势性。

传统背景剪除手段采用单一背景如绿色或蓝色布幕，对环境光源要求非常高。但是对于在一般使用者的而言，是无法做到像电视台录播室如此专业的设备和环境。因此当物体的颜色与背景相近时，难免会出现剪除的“镂空”现象。本系统的出现，采用双蒙版剪除算法，有效的解决了在非限定环境下的有效背景剪除。具有剪除效果好，自动化程度高，对环境光源依赖性小的突出优势。

用户只需要利用采集软件同步控制摄像机和转台，就可以由软件自动处理得到最终的物体的360度三维效果模型。以系统原型为例，将电机调速为4转/分，即采集物体360度图像一周时间仅为15秒，用户在操作过程中，只需要将物体放置在转台上，并在背景板1和背景板2的情况下各采集一周即可完成物体的360度图像采集。软件将自动把完成背景剪除和合成最终的三维效果模型格式，整个过程不足1分钟。相比于传统的人工拍摄物体的360度图像并使用PS等专用图像处理软件，大大节约了采集和处理时间。相比于现存的360度系统，本系统能够实现高密度360度图像采集和高速的背景剪除批量处理，而传统人工拍摄需要耗费大量的时间去进行图像拍摄和后期处理。

浏览模型过程中，解决了采样密度不够时，新视角图像的自动合成。系统原型中，采用了基于OpenCV图像处理库的View Morphing处理方法，当采样密度无法满足用户需求时，可由View Morphing方法实现两个视角图像的中间图像的合成。OpenCV图像处理库的高效率和开源性保证了系统的快速性和后期的扩展性。相比于传统方式其显著优势在于，即使是无法现场拍摄到的物体(如物体拍摄之后已经不在用户手中，即使想拍摄也没有可能性)，只要有一系列已经拍摄好的物体图像，就可以对任意两个视角的图像进行中间图像的插值，从而自动生成期望视角的图像。而现有的360度浏览系统，只能观察拍摄并处理好的图片，对于临近两个视角中间的图像，是没有办法观察的。在实际过程中，往往出现图像的跳跃和不流畅性。另外，传统人工拍摄的方法比较耗费劳动力，因此都是间隔几十度拍摄一张图像，对于物体的360度浏览的效果大打折扣。而本系统的出现恰恰弥补了这一缺陷，即使图像的采集数量不够，也可以通过View Morphing自动插值得到两幅图像中间的图像。

采用视频压缩格式存储物体渲染图像，相比较传统的纯图片式存储方式，大大减小了存储压力。而在需要的时候，可以利用系统自动批量生成图片序列，具有更大的灵活性，且更有利于Web应用和传播。

图7为利用本发明所述的系统对物体建模的三维效果渲染图，本实施例中选择了一组相对复杂的物体的组合，以更好的表现系统的性能。

Claims (7)

1.一种物体三维建模与渲染系统，其特征在于，包括步进电机转动平台、电机控制系统、图像采集和处理系统、背景板更换装置和图像采集装置；

步进电机转动平台底部设有步进电机，上端设有平台，平台用于放置物体，通过步进电机的驱动使得平台转动；步进电机通过电机控制系统连接图像采集和处理系统，电机控制系统包括DSP芯片和外围电路，作为连接步进电机转动平台与图像采集和处理系统的纽带，电机控制系统控制步进电机的转动，实现步进电机转动平台的转度调节和开关控制，图像采集和处理系统与电机控制系统采用串行通讯，图像采集和处理系统向电机控制系统发送指令，通过电机控制系统控制步进电机的转动速率，使得步进电机的转动速率与图像采集和处理系统中的图像采集同步；

背景板更换装置位于平台上物体的后方，背景板更换装置中背景板的颜色能够更换；

图像采集和处理系统控制图像采集装置采集平台上物体的图像和背景板更换装置的图像，图像采集装置采集图像的频率与平台的转动频率同步；

图像采集和处理系统全部采集完图像后，基于双蒙版背景差分法，实现采集图像的背景抠除；

双蒙版背景差分法是指：

设定电机转速为V转/分，设置需要采集图像的分辨率，设定旋转一周要采集的图片数N；

更换背景板更换装置的当前背景板为第一个背景板，物体三维建模与渲染系统采集背景板图像作为BackImg1存储到PC机硬盘；将要采集的物体放在平台上，并且步进电机控制平台旋转一周，采集一段360度的视频，作为CurImg1存储到PC机硬盘；

更换背景板更换装置的当前背景板为第二个背景板，第一个背景板与第二个背景板的颜色差异较大，物体三维建模与渲染系统采集背景板图像作为BackImg2存储到PC机硬盘；将要采集的物体放在平台上，并且步进电机控制平台旋转一周，采集一段360度的视频，作为CurImg2存储到PC机硬盘；

读取视频文件CurImg1、CurImg2的第n帧，n=1，2，3……N，对CurImg1的第n帧与背景BackImg1图片进行背景减除，得到二值蒙版M1（n）；对CurImg2的第n帧与背景BackImg2进行背景减除，得到二值蒙版M2（n）；对二值蒙版M1（n）和M2（n）进行“或”运算，得到最终二值蒙版M（n）；并利用M（n）与CurImg1的第n帧图像进行“与”运算得到DstImg（n），则得到第n帧抠出的完整前景物体的图像；重复步骤四，直到视频的最后一帧N为止，将所有得到的N帧最终图像，编码压缩成视频格式，得到了三维模型。

2.根据权利要求1所述的一种物体三维建模与渲染系统，其特征在于，所述的图像采集装置采用摄像头。

3.根据权利要求1所述的一种物体三维建模与渲染系统，其特征在于，所述的图像采集和处理系统将背景减除的后图像序列以视频的方式存储。

4.一种物体三维建模与渲染系统的三维模型生成方法，其特征在于，包括以下几个步骤：

步骤一：系统初始化；

设定电机转速为V转/分，设置需要采集图像的分辨率，设定旋转一周要采集的图片数N；

步骤二：采集第一个背景板下的360度视频；

更换背景板更换装置的当前背景板为第一个背景板，物体三维建模与渲染系统采集背景板图像作为BackImg1存储到PC机硬盘；将要采集的物体放在平台上，并且步进电机控制平台旋转一周，采集一段360度的视频，作为CurImg1存储到PC机硬盘；

步骤三：采集第二个背景板下的360度视频；

更换背景板更换装置的当前背景板为第二个背景板，第一个背景板与第二个背景板的颜色差异较大，物体三维建模与渲染系统采集背景板图像作为BackImg2存储到PC机硬盘；将要采集的物体放在平台上，并且步进电机控制平台旋转一周，采集一段360度的视频，作为CurImg2存储到PC机硬盘；

步骤四：逐帧进行双蒙版背景差分法剪除背景；

读取视频文件CurImg1、CurImg2的第n帧，n=1，2，3……N，对CurImg1的第n帧与背景BackImg1图片进行背景减除，得到二值蒙版M1（n）；对CurImg2的第n帧与背景BackImg2进行背景减除，得到二值蒙版M2（n）；对二值蒙版M1（n）和M2（n）进行“或”运算，得到最终二值蒙版M（n）；并利用M（n）与CurImg1的第n帧图像进行“与”运算得到DstImg（n），则得到第n帧抠出的完整前景物体的图像；重复步骤四，直到视频的最后一帧N为止，将所有得到的N帧最终图像，编码压缩成视频格式，得到了三维模型。

5.根据权利要求4所述的一种物体三维建模与渲染系统的三维模型生成方法，其特征在于，所述的步骤一中，N=72。

6.根据权利要求4所述的一种物体三维建模与渲染系统的三维模型生成方法，其特征在于，所述的第一个背景板、第二个背景板的颜色分别黑白、白蓝或者红绿。

7.根据权利要求4所述的一种物体三维建模与渲染系统的三维模型生成方法，其特征在于，所述的步骤四具体为：

读取视频文件CurImg1、CurImg2的第n帧，n=1，2，3……N=72，分别进行背景差分获得二值蒙版，包括：

步骤（1）：背景和前景图像相减；

将背景图片BackImg1和CurImg1第n帧作为两个二维矩阵，逐像素将R,G,B三个分量的值相减除，得到差分图像彩色的RBG差分图像DifImg1；

步骤（2）：差分灰度化；

将RGB差分图像DifImg1进行灰度化，采用RGB转灰度的经验公式为：

灰度L=R*0.3+G*0.59+B*0.11        （1）

其中R代表图像中该像素点的红色分量，G代表绿色分量，B代表蓝色分量；由公式（1）可得到差分灰度图GreyImg1；

步骤（3）：中值滤波去噪；

采用中值滤波方法，选择3*3的采样窗口，某个像素点灰度值P(i,j)，其中i代表第i行，j代表第j列，P(i,j)最终的计算为：周围临近像素灰度值从大到小排序，中间值即使P(i,j)最终的灰度值；3*3采样窗口如公式2所示：

$\left[\begin{array}{ccc}{P}_{i-1,j-1}& P_{i-1,j}& P_{i-1,j+1}\\ P_{i,j-1}& P_{i,j}& P_{i,j+1}\\ P_{i+1,j-1}& P_{i+1,j}& P_{i+1,j+1}\end{array}\right]---\left(2\right)$

P(i,j)灰度值=Med{P_i-1,j-1,P_i-1,j,P_i-1,j+1,P_i,j-1,P_i,j,P_i,j+1,P_i+1,j-1,P_i+1,j,P_i+1,j+1}   （3）

其中Med代表取9个数值的中间值，奇数个数字时，取中间值，对于有部分数值重合导致没有明确中间值的情况，取中间临近值为当前像素值；

步骤（4）：自适应阈值法二值化；

传统二值化方法为:目标像素点的二值化结果：

Dst_i,j＝（P_i,j＞T）:1?0；    （4）

其中T是全局的阈值，此处即为（0,255）区间上的一个常量整数；

采用自适应阈值法进行二值化，其实现方法为，阈值T是可变的，对于像素点P_i,j而言，其阈值是通过P_i,j周围m*m邻域内的数值的加权平均，然后减去一个常数C得到；选择为3*3邻域，则自适应阈值二值化方法可描述为：

$T_{i,j}=\frac{1}{3*3}(P_{i-1,j-1}+P_{i-1,j}+P_{i-1,j+1}+P_{i,j-1}+P_{i,j}+P_{i,j+1}+P_{i+1,j-1}+P_{i+1,j}+P_{i+1,j+1})-C$

${\mathrm{Dst}}_{i,j}=(P_{i,j}>T_{i,j}):1?0---\left(5\right)$

通过自适应阈值法二值化得到二值化蒙版M1（n）；

同样的，重复步骤（1）至步骤（4），对CurImg2的第n帧与背景BackImg2进行背景差分操作，可得到二值蒙版M2（n）；

步骤（5）：将两个二值蒙版合成新的二值蒙版

对二值蒙版M1（n）和M1（n）进行“或”运算，得到最终二值蒙版M（n）；其中二值蒙版M（n）中凡是像素值为“1”的点，都是属于前景物体的；凡是像素值为“0”的点，都是属于背景的；

步骤6：利用蒙版和原前景图像进行背景的减除；

并利用M（n）与CurImg1的第n帧图像进行“与”运算得到DstImg（n）；其运算方法为：某个像素点上，如果蒙版图像当前的像素值为“1”，则原前景图对应的像素值保持不变，即被保留了下来；反之，如果蒙版图像当前的像素值为“0”，则对应前景像素值则在“与”运算之后就变成了“0”，即被减除掉了；经过二值蒙版图像和原前景图像的“与”运算后，即得到了背景减除后的最终图像；

通过以上步骤得到第n帧抠出的完整前景物体的图像；重复步骤（1）至步骤（6），直到视频的最后一帧n=N为止；将所有得到的N帧最终图像，编码压缩成视频格式并存储在硬盘空间，即得到了三维模型。

Images