CN107134000B

CN107134000B - 一种融合现实的三维动态图像生成方法及系统

Info

Publication number: CN107134000B
Application number: CN201710369378.2A
Authority: CN
Inventors: 张照亮
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-05-23
Filing date: 2017-05-23
Publication date: 2020-10-23
Anticipated expiration: 2037-05-23
Also published as: CN107134000A

Abstract

本发明公开了一种融合现实的三维动态图像生成方法及系统，该方法包括：通过第一摄像机获取第一三维空间中第一现实场景图像，将第一现实场景图像的三维空间矩阵记为Q1，对三维空间矩阵Q1通过透视投影转换成第一摄像机的二维平面矩阵R1；把得到的二维平面矩阵R1转换为第二三维空间中对应的二维平面矩阵R2；将二维平面矩阵R2转换到第二摄像机的二维平面矩阵R3；把第一摄像机的视角作为现实空间中的人眼视角，将二维平面矩阵R3对应的第一现实场景图像投影到第二摄像机的视角对应的第二现实场景中。本发明使人视角与周围环境的视角特定的情况下，实际看到的景象与三维软件中生成的平面图案进行融合，从而形成裸眼的立体效果。

Description

一种融合现实的三维动态图像生成方法及系统

技术领域

本发明涉及一种融合现实的三维动态图像生成方法及系统，属于图像处理技术领域。

背景技术

3D地画(3D Street Painting)，是将画作展示于地上以求得立体的艺术效果，或直接以地面为载体进行绘画创作，它以室外地面为媒介，利用平面透视的原理，制造出视觉上的虚拟立体效果，令参观者有一种身临其境的感觉。3D地画中的景物立体、细腻、逼真，往往能达到以假乱真的艺术效果。在二维平面上模拟三维空间效果一直是人类视觉艺术的焦点问题，尤其是自文艺复兴以来，解决该问题成为艺术进步和艺术史书写的重要标准之一，因此，文艺复兴及其之后的教堂壁画、天顶画、市政大厅、贵族寓所和别墅都成为极好的模拟场所。3D街头地画可看作这一艺术逻辑在当代的重要发展和延伸。

3D地画与普通画种比较起来最特别的地方在于它的透视原理与普通绘画不同。正常的绘画，画面的透视安排没有参照欣赏者本人站位的视点，它的画面构成只是以画面本身的透视为依据，而3D地画则是参照了欣赏者的站位视点，整个画面的构成以人的视点为视觉原点，使得3D地画不仅仅是一幅画，而且还成为一个真实的视觉空间，欣赏者可以融入到画面当中，站在最初设计的最佳视点使用相机进行观看可以达到最佳的视觉效果，而用肉眼从其他角度进行观看画面则是拉伸变形的。只有从相机里才能正常的观看到画面的形象。这样的对比反差会让3D地画具有强烈地视觉震撼力，从而引起观者的视觉共鸣，加深观者印象。

目前，裸眼3D地画创作过程中，艺术家通过网格划分对位的技法，在地面上作画，使绘画的立体内容的透视关系与周围实景的透视关系匹配好，从而使得画面内容感觉脱离地面，形成立体效果。3D地画的绘制，目前存在以下问题：

第一，绘制场所局限性较大，目前为止3D地画还是应用于公共场合比较多，适合于展会、活动、公园休闲娱乐、产品宣传场合，在将3D地画用于家居、别墅、会所、宾馆等狭小场所时，绘制难度大，对绘制者的技艺要求非常高；

第二，绘制后难以彻底清理，3D地画的绘制材料主要是依据画的底质决定的，如果是布面底质，可以使用丙烯颜料和油画颜料。如果底质是街道或者马路用丙烯颜料和色粉比较合适。但是用色粉或者丙烯直接在地面上进行绘制会很难清洗；

第三，绘制后难以完整保存，在展会、活动、公园休闲娱乐、产品宣传场合由于人员流动性大，行人会对作品造成踩踏，从而影响作品的完整性，进一步影响绘画效果；

第四，表现形式过于单一，3D地画绘制后处于静态，不能实时更新，或者呈现动态连续性的效果，并且没有完全匹配的声音效果；

第五，绘画技法难以掌握，由于3D地画对艺术家空间想象能力要求非常高，目前只有少数艺术家掌握，无法大规模的制作与使用。

综上所述，可见3D地画绘制场所局限性较大，绘制后难以彻底清理与保存，表现形式过于单一，难以掌握，生产效率低，因此需要一种新的技术来解决上述问题，从而达到与3D地画绘制同样甚至超出3D地画绘制效果的目的。

发明内容

本发明的目的在于提供一种融合现实的三维动态图像生成方法及系统，用以解决现有3D地画存在的问题，实现3D地画的艺术效果的同时，适用范围广，表现形式多样化，并且便于更新与交互。

为实现上述目的，本发明提供一种融合现实的三维动态图像生成方法。具体地，该方法包括如下步骤：

步骤一：通过第一摄像机获取第一三维空间中第一现实场景图像，将第一三维空间中的第一现实场景图像的三维空间矩阵记为Q1，对三维空间矩阵Q1通过透视投影转换成第一摄像机的二维平面矩阵R1；

步骤二：把得到的第一摄像机二维平面矩阵R1转换为第二三维空间中对应的二维平面矩阵R2；

步骤三：将第二三维空间中的二维平面矩阵R2转换到第二摄像机的二维平面矩阵R3；

步骤四：把第一摄像机的视角作为现实空间中的人眼视角，将二维平面矩阵R3对应的第一现实场景图像投影到第二摄像机的视角对应的第二三维空间的第二现实场景中；

利用本发明方法步骤一至步骤四可以实现融合现实的三维动态图像生成，为了达到更好的效果，进一步可以实施步骤五，步骤五：获取第一三维空间的第一现实场景中光源位置，根据第一三维空间对应第一现实场景中的光源位置在第二三维空间的第二现实场景中布置相同的光源。

本方法中的投影转换原理如下：首先根据常规算法把三维物体成像透视到摄像机的坐标系下，原理：

其中：

在变量左右边界输入的情况下在三维空间中，投影平面的左边界值(记为left)和右边界值(记为right)，即[left,right]，-Ny/z则为[bottom,top]，投影平面的上边界值(记为top)和下边界值(记为bottom)，N是眼睛到近裁剪平面的距离，F是眼睛到远裁剪平面的距离，把-Nx/z属于[left,right]映射到x属于[-1,1]中，-Ny/z属于[bottom,top]映射到y属于[-1,1]中，通过线性插值，

最终的投影点

经过透视除法的形式，而P′只变化了x和y分量的形式，az+b和-z是不变的，则我们做透视除法的逆处理——给P′每个分量乘上-z，得到

则我们最终得到透视变换矩阵：

相机空间中的顶点，如果在视锥体中，则变换后就在规则观察体中。OpenGL在构建透视投影矩阵的时候就使用了M的形式。对于投影面来说，它的宽和高大多数情况下不同，即宽高比不为1，比如640/480。而规则观察体的宽高是相同的，即宽高比永远是1。这就造成了多边形的失真现象，解决这个问题的方法就是在对多变形进行透视变换、裁剪、透视除法之后，在归一化的设备坐标上进行的视口变换中进行校正，它会把归一化的顶点之间按照和投影面上相同的比例变换到视口中，从而解除透视投影变换带来的失真现象。进行校正前提就是要使投影平面的宽高比和视口的宽高比相同。

得到常规透视投影矩阵之后，接下来需要将透视投影矩阵的图像再进行一次透视变换转换到xz平面矩阵，转换方法原理同上。在本发明方法中R1、R2、R3的矩阵形式与M一致。

步骤一中所述第一三维空间指的是通过第一摄像机获取的第一现实场景图像所对应的现实空间，所述第一现实场景图像与步骤四中第二三维空间对应的第二现实场景融合。

步骤四中所述第二三维空间指的是人眼所处的不同于步骤一中第一现实场景图像对应的第一三维空间的空间区域，二维平面矩阵R3对应的第一现实场景图像投影到第二三维空间的第二现实场景中的平面或曲状面上。所述平面是指第二现实场景中现实存在水平状的表面，所述曲状面是指第二现实场景中现实存在高低不平的表面。

所述步骤四中，进一步将根据第一三维空间中人眼所看到的第一现实场景图像的透视关系预先制作好的三维动画投影到第二三维空间的第二现实场景中的平面或曲状面上，也就是将预先制作好的三维动画投影到人眼所处第二现实场景中的平面或曲状面上，三维动画是在计算机软件中制作的动画模型。三维动画可以设计为动漫人物，动漫人物的投影关系与二维平面矩阵R3投影关系一致。

该方法中的投影采用的设备为投影仪，该方法中的人眼视角指的是观察物体时，从物体两端上、下或左、右引出的光线在人眼光心处所成的夹角，所述的第一摄像机的视角是指模拟人眼视角的方式，第一摄像机进行拍摄时的拍摄角度范围，所述第二摄像机是指在计算机软件中模拟现实世界中摄像机的虚拟摄像机。在通过所述方法进行融合现实的三维动态图像生成时，同时通过多媒体设备在第二现实场景中播放第一现实场景图像对应的第一现实场景中的声音信息。

本发明还提供一种融合现实的三维动态图像生成系统，采用上述融合现实的三维动态图像生成方法进行融合现实的三维动态图像生成，所述系统至少包括：摄像机、三维图像处理模块、投影仪、声音播放模块，所述摄像机用于获取待融合的第一三维空间对应的第一现实场景图像；所述三维图像处理模块用于对摄像机获取的第一现实场景图像进行投影关系转换；所述投影仪用于将待融合的第一现实场景图像投影到第二现实场景；所述声音播放模块用于在第二现实场景中播放第一现实场景图像对应的第一现实场景中的声音信息。

摄像机可以采用DVCPRO数字摄录一体机，DVCPRO是1996年松下公司在DV格式基础上推出的一种新的数字格式。它采用4:1:1取样，5:1压缩，18微米的磁迹宽度。1998年又在DVCPRO的基础上推出了DVCPRO50，它采用4:2:2取样，3.3:1压缩。1999年开始推出更高级的产品DVCPRO100，又称DVCPROHD，向数字电视的更高水准--高清晰度电视领域发展。DVCPRO在图像处理中采用大量标准的4∶1∶1格式，即取样频率的亮度fy＝13.5MHz，色差fPB、R＝3.375MHz。实际上DVCPRO的视频信号输入为4∶2∶2格式，经4∶1∶1转化后进行记录，重放时对4∶1∶1离带信号进行内插重新形成4∶2∶2格式信号输出。从数据率看，4∶2∶2格式的净数据率为〔(720+2×360)×576×8〕×25≈165.9Mbps,转换成4∶1∶1后为〔(720+2×180)×576×8〕×25≈124.4Mbps,压缩成25Mbps进行记录，需要的压缩比为124.4Mbps/25Mbps≈5∶1。使用1/4英寸MP磁带，还可同时记录4通道16bit数字音频信号。

三维图像处理模块采用3D API即显卡与应用程序直接的接口，3D API提供了诸如gluPerspective(fov,aspect,near,far)以及D3DXMatrixPerspectiveFovLH(pOut,fovY,Aspect,zn,zf)这样的函数为用户提供快捷的透视矩阵生成方法。3D API能让编程人员所设计的3D软件只要调用其API内的程序，从而让API自动和硬件的驱动程序沟通，启动3D芯片内强大的3D图形处理功能，从而大幅度地提高了3D程序的设计效率。

投影仪可以采用DLP投影仪，DLP以DMD(Digital Micromirror Device)数字微反射器作为光阀成像器件。一个DLP电脑板由模数解码器、内存芯片、一个影象处理器及几个数字信号处理器(DSP)组成，所有文字图象就是经过这块板产生一个数字信号，经过处理，数字信号转到DLP系统的心脏--DMD。而光束通过一高速旋转的三色透镜后，被投射在DMD上，然后通过光学透镜投射在大屏幕上完成图像投影。一片DMD是由许多个微小的正方形反射镜片(简称微镜)按行列紧密排列在一起贴在一块硅晶片的电子节点上形成的，每一个微镜都对应着生成图像的一个，像素。因此，DMD装置的微镜数目决定了一台DLP投影仪的物理分辨率，例如一台投影仪的分辨率为600X800，所指的就是DMD装置上的微镜数目就有600x800＝480000个。在DMD装置中每个微镜，都对应着一个存储器，该存储器可以控制微镜在±10度角两个位置上切换转动。而且DMD块上每一个像素的面积为16μm×16，间隔为1μm。根据所用DMD的片数，DLP投影仪可分为：单片机、两片机、三片机。DMD数字信号的红，绿，蓝顺序旋转，小镜子根据像素的位置及色彩的多少被打开或关闭，此时DLP可以看作是只有一个光源和一组投影镜头组成的简单光路系统，镜头放大了DMD的反射影像并直接投射在屏幕上，可以一幅生动、明亮的演示效果。

声音播放模块可以采用YT07,YT07语音模块是千目电子推出的一款普及型语音播放模块。具有价格低、稳定可靠、可重复录音、开关触点控制、宽电源电压、体积小等特点。主要控制放音有两种：通过7组触点控制、485串行总线。

本发明具有如下优点：通过把人视角形成的平面图案的透视关系，与计算机三维软件中的主摄像机的空间透视关系相对应，把三维软件中生成的平面图案，通过投影仪投射在实际空间中所对应的平面或曲状面上，从而使人视角与周围环境的视角特定的情况下，实际看到的景象与三维软件中生成的平面图案进行融合，同时本发明还可以与三维动画虚拟影像相融合，从而形成裸眼的立体效果，应用范围广，可以融合声音进行表达，表现形式多样化，便于更新与交互，同时不会对投影面造成影响，便于清理与保存，可再现性高。

附图说明

图1融合现实的三维动态图像生成方法流程示意图；

图2融合现实的三维动态图像生成模拟示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

在参见图1的基础上，进一步参见图2，一种融合现实的三维动态图像生成方法，所述方法包括以下步骤：

S1：通过第一摄像机3获取第一三维空间1中第一现实场景7图像2，将第一三维空间1中的第一现实场景7图像2的三维空间矩阵记为Q1，对三维空间矩阵Q1通过透视投影转换成第一摄像机3的二维平面矩阵R1；

S2：把得到的第一摄像机3二维平面矩阵R1转换为第二三维空间4中对应的二维平面矩阵R2；

S3：将第二三维空间4中的二维平面矩阵R2转换到第二摄像机5的二维平面矩阵R3；

S4：把第一摄像机3的视角作为现实空间中的人眼视角，将二维平面矩阵R3对应的第一现实场景7图像2投影到第二摄像机5的视角对应的第二三维空间4的第二现实场景6中；

利用本发明方法S1至S4可以实现融合现实的三维动态图像生成，为了达到更好的效果，进一步可以实施S5，S5：获取第一三维空间1的第一现实场景7中光源位置，根据第一三维空间1对应第一现实场景7中的光源位置在第二三维空间4的第二现实场景6中布置相同的光源。

S1中所述第一三维空间1指的是通过第一摄像机3获取的第一现实场景7图像2所对应的现实空间，所述第一现实场景7图像2与S4中第二三维空间4对应的第二现实场景6融合。

S4中所述第二三维空间4指的是人眼所处的不同于S1中第一现实场景7图像2对应的第一三维空间1的空间区域，二维平面矩阵R3对应的第一现实场景7图像2投影到第二三维空间4的第二现实场景6中的平面或曲状面上。所述平面是指第二现实场景6中现实存在水平状的表面，所述曲状面是指第二现实场景6中现实存在高低不平的表面。

所述S4中，进一步将根据第一三维空间1中人眼所看到的第一现实场景7图像2的透视关系预先制作好的三维动画投影到第二三维空间4的第二现实场景6中的平面或曲状面上，也就是将预先制作好的三维动画投影到人眼所处第二现实场景6中的平面或曲状面上，三维动画是在计算机软件中制作的动画模型。三维动画可以设计为动漫人物，动漫人物的投影关系与二维平面矩阵R3投影关系一致。

如图2所示，本发明还提供一种融合现实的三维动态图像生成系统，采用上述融合现实的三维动态图像生成方法进行融合现实的三维动态图像生成，所述系统至少包括：摄像机、三维图像处理模块8、投影仪9、声音播放模块10，所述摄像机用于获取待融合的第一三维空间1对应的第一现实场景7图像2；所述三维图像处理模块8用于对摄像机获取的第一现实场景7图像2进行投影关系转换；所述投影仪9用于将待融合的第一现实场景7图像2投影到第二现实场景6；所述声音播放模块10用于在第二现实场景6中播放第一现实场景7图像2对应的第一现实场景7中的声音信息。

下面结合实际应用进一步阐述本发明的思想：

场景：学习时，课程教案通过立体投影方式，展现在课桌上。

第一、通过第一摄像机获取课程教案的图像，将课程教案图像所处的三维空间矩阵记为Q1，对三维空间矩阵Q1利用三维图像处理模块通过透视投影转换成第一摄像机的二维平面矩阵R1；

第二、把得到的第一摄像机二维平面矩阵R1转换为课桌所处空间中对应的二维平面矩阵R2；

第三、将课桌所处空间中的二维平面矩阵R2转换到课桌所处空间中第二摄像机的二维平面矩阵R3；

第四、把第二摄像机的视角作为课桌所处空间中的人眼视角，将二维平面矩阵R3对应的图像通过投影仪投影到第二摄像机的视角对应的课桌所处空间中。

第五、获取课程教案所处的三维空间中光源位置，根据课程教案所处的三维空间对应的光源位置在课桌所处空间中布置相同位置的光源。

需要进一步说明的是，第二摄像机的视角是在三维图像处理模块中设置的相当于人眼所处视角的模型，当人眼处在第二摄像机的视角位置就可以看到课程教案图像与课桌融合后的三维动态图像，同时通过多媒体设备播放课程教案所处的三维空间中对应的第一现实场景中的声音信息，从而实现课程教案图像与第二现实场景的课桌融合。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims

1.一种融合现实的三维动态图像生成方法，其特征在于：所述方法包括以下步骤：

步骤四：把第一摄像机的视角作为现实空间中的人眼视角，将二维平面矩阵R3对应的第一现实场景图像投影到第二摄像机的视角对应的第二三维空间的第二现实场景中。

2.根据权利要求1所述的一种融合现实的三维动态图像生成方法，其特征在于：所述的方法还包括步骤五：获取第一三维空间的第一现实场景中光源位置，根据第一三维空间对应第一现实场景中的光源位置在第二三维空间的第二现实场景中布置相同的光源。

3.根据权利要求1所述的一种融合现实的三维动态图像生成方法，其特征在于：步骤四中所述第二三维空间指的是人眼所处的不同于步骤一中第一现实场景图像对应的第一三维空间的空间区域，二维平面矩阵R3对应的第一现实场景图像投影到第二三维空间的第二现实场景中的平面或曲状面上。

4.根据权利要求3所述的一种融合现实的三维动态图像生成方法，其特征在于：所述平面是指第二现实场景中现实存在水平状的表面，所述曲状面是指第二现实场景中现实存在高低不平的表面。

5.根据权利要求1所述的一种融合现实的三维动态图像生成方法，其特征在于：所述步骤四中，进一步将根据第一三维空间中人眼所看到的第一现实场景图像的透视关系预先制作好的三维动画投影到第二三维空间的第二现实场景中的平面或曲状面上，三维动画是在计算机软件中制作的动画模型。

6.根据权利要求5所述的一种融合现实的三维动态图像生成方法，其特征在于：所述三维动画为动漫人物，动漫人物的投影关系与二维平面矩阵R3投影关系一致。

7.根据权利要求1所述的一种融合现实的三维动态图像生成方法，其特征在于：该方法中的投影采用的设备为投影仪，该方法中的人眼视角指的是观察物体时，从物体两端上、下或左、右引出的光线在人眼光心处所成的夹角，所述的第一摄像机的视角是指模拟人眼视角的方式，第一摄像机进行拍摄时的拍摄角度范围，所述第二摄像机是指在计算机软件中模拟现实世界中摄像机的虚拟摄像机。

8.根据权利要求1所述的一种融合现实的三维动态图像生成方法，其特征在于：在通过所述方法进行融合现实的三维动态图像生成时，同时通过多媒体设备在第二现实场景中播放第一现实场景图像对应的第一现实场景中的声音信息。