CN107896324A - 一种虚实混合投影装置及其方法 - Google Patents

Abstract

本发明为一种虚实混合投影装置及其方法，主要包括至少一具备纹路的对象、至少一投影设备及内容处理装置，其中内容处理装置连接投影设备并预先储存针对所述对象取得的一具备纹路的影像，内容处理装置包括一内容调整单元可基于所述影像中的纹路产生至少一符合纹路的影像内容，并由所述投影设备将符合纹路的影像内容投射于对象上，借此透过拍摄对象并进行对象图像处理，而后投射于对象上则可呈现出所述对象与影像内容纹路交融的虚实混合投射效果。

Description

一种虚实混合投影装置及其方法

技术领域

本发明属于投影技术领域，特别涉及一种虚实混合投影装置及其方法。

背景技术

光雕投影（Projection mapping），也称为立体光雕，是一种投影技术，可以将物体（多半是不规则外形的物体）变成影像投影的显示表面。物体可以是像建筑或大楼等大型的景观、小的室外物体或是戏剧布景。利用特制的软件，可以用程序投影二维或立体的影像，而且配合物体调整其影像，使影像符合物体及其环境。而目前这样的技术已被应用于许多的商业活动上。

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何熟习相关技艺者了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、申请专利范围及图式，任何熟习相关技艺者可轻易地理解本发明相关的目的及优点。

发明内容

本发明的主要目的在于：通过透过拍摄对象并进行对象内容调整单元，而后投射于对象上则可呈现出虚实混合的影像投射效果。

为了达到上述目的，本发明提供一种虚实混合投影装置及其方法，包括：

至少一具备纹路的对象；至少一投影设备，用以投射一符合纹路的影像内容；及一内容处理装置，其连接所述投影设备，并预先储存针对所述对象取得的具备纹路的影像且对所述具备纹路的影像经一内容调整单元产生符合纹路的影像内容，其中，所述符合纹路的影像内容利用所述投影设备投射于所述对象。

根据本发明的一实施例，还包括一影像感测装置可针对一观测对象取得一影像内容，所述内容处理装置连接于所述影像感测装置，并依照由所述影像感测装置取得的所述影像内容进行影像内容调整及生成至少一符合纹路的影像内容，并透过所述投影设备投射于所述对象，于对象上呈现出：与对象的纹路相互交融重叠混合的影像内容内容的虚实混合投影效果。

根据本发明的一实施例，所述影像感测装置为体感感测、红外线感测或影像感测装置。

根据本发明的一实施例，所述对象的纹路属于形成于所述对象的表面，且所述对象属于为动态对象或静态对象。

根据本发明的一实施例，还包括一与所述内容处理装置连接并对所述对象进行距离分析且持续校正内容的校准单元。

根据本发明的一实施例，所述内容处理装置包括一影像效果处理模块或一影像迭加处理模块，其中所述影像效果处理模块包括一纹路效果处理单元、一阴影效果处理单元及一色彩效果处理单元。

根据本发明的一实施例，所述对象为平面图像或是立体雕像。

本发明另一种虚实混合投影装置及其方法，包括：至少一具备纹路的对象；至少一投影设备，用以投射一符合纹路的影像内容；一内容处理装置，其连接所述投影设备，并预先储存针对所述对象取得的具备纹路的影像并经一内容调整单元产生至少一符合纹路的影像内容；至少一投影设备，用以投射所述符合纹路的影像内容；及一可针对一观测对象取得一影像内容的影像感测装置，所述内容处理装置依照由所述影像感测装置获取的所述影像内容进行影像内容调整及生成至少一符合纹路的影像内容，并透过所述投影设备投射于所述对象，于对象上呈现出：与对象的纹路相互交融的影像内容的虚实混合投影效果。

根据本发明的一实施例，还包括一与所述内容处理装置连接并对所述对象进行距离分析且持续校正内容的校准单元。

根据本发明的一实施例，所述内容处理装置包括一阴影效果处理单元或一具备纹路的影像影像迭加处理单元，所述影像效果处理模块包括一纹路效果处理单元、一阴影效果处理单元及一色彩效果处理单元。

进一步，本发明提供一种虚实混合投影方法，其步骤包括：

针对至少一具备纹路的对象取得相对应的至少一具备纹路的影像；

依据所述具备纹路的影像生成至少一符合纹路的影像内容；

透过一投影设备，将所述符合纹路的影像内容投射于所述对象上；

调整所述符合纹路的影像内容的几何形状及位置，令所述影像内容的纹路与所述具备纹路的对象上的纹路相互重叠混合。

根据本发明的一实施例，所述的虚实混合投影方法，更包括对所述对象进行距离分析且持续校正内容的步骤。

根据本发明的一实施例，所述的虚实混合投影方法，其中所述依据所述具备纹路的影像生成至少一符合纹路的影像内容的步骤，更包括生成至少一纹路效果、生成至少一阴影效果及生成至少一色彩效果。

附图说明

图1为本发明较佳实施例的设备示意图；

图2为本发明较佳实施例的方块示意图；

图3为本发明较佳实施例的使用状态示意图；

图4为本发明另一较佳实施例的方块示意图；

图5为本发明另一较佳实施例的使用状态示意图；

图6为本实施例中从平面影像中撷取影像的纹路特征点的结果的示意图；

图7为本实施例中具备纹路的影像数据的示意图；

图8为依据本实施例进行具备纹路的影像与影像内容对位结合的示意图。

附图标记说明：

物件 ...... 1

投影设备 ...... 2

内容处理装置 ...... 3

校准单元 ...... 32

影像感测装置 ...... 34

内容调整单元 ...... 4

影像效果处理模块 ...... 40

纹路效果处理单元 ...... 400

阴影效果处理单元 ...... 402

色彩效果处理单元 ...... 404

影像迭加处理模块 ...... 42

分析平面影像 ...... 5

纹路特征点 ...... 51

特征区特征点 ...... 52

影像模型数据 ...... 6

纹路对位点 ...... 61

影像内容对位点 ...... 71。

具体实施方式

以下通过具体实施例说明本发明的实施方式，熟悉此技艺的人士可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。

本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技艺的人士的了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“一”、“两”、“上”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1、图2及图3所示，为本发明较佳实施例的设备示意图、方块示意图及使用状态示意图。本发明为一种虚实混合投影装置，主要包括具备纹路的至少一对象1(可为平面图像或是立体雕像)、投影设备2及内容处理装置3，其中内容处理装置3预先储存针对所述对象1取得的具备纹路的影像且经一内容调整单元4针对所述具备纹路的影像产生至少一符合纹路的影像内容，所谓的内容调整单元4包括一影像效果处理模块40或一影像迭加处理模块42，其中影像效果处理模块40包括一纹路效果处理单元400、一阴影效果处理单元402及一色彩效果处理单元404。内容处理装置3连接投影设备2并将符合纹路的影像内容投射于对象1(可为平面图像或是立体雕像)上。

另外，参考图4及图5，内容处理装置3可另外讯号链接一影像感测装置34(可为体感感测、红外线感测或影像感测)，影像感测装置34可针对一观测对象取得一影像内容，内容处理装置3依照由影像感测装置34取得的影像内容进行影像内容调整及生成至少一符合纹路的影像内容，并透过投影设备2投射于对象1，于对象1上呈现出：与对象1的纹路相互交融的影像内容的虚实混合投影效果。

再者，内容处理装置3连接一校准单元32，所述校准单元32主要是持续性撷取对象1的具备纹路的影像，并回馈至所述内容处理装置3进行影像比对，将当下所截取的具备纹路的影像与先前储存的具备纹路的影像进行相似性比对，当发现两者纹路不一致时，则通知所述内容处理装置3重新就当下所截取的具备纹路的影像与影像内容进行纹路比对，再将影像内容迭加至所述具备纹路的影像，调整所述影像内容的几何形状、角度、曲率…等，令影像内容与所述具备纹路的影像间纹路相互重叠混合，重新生成一符合纹路的影像内容。再将所述符合纹路的影像内容储存于内容处理装置3，而后由内容处理装置3将所述符合纹路的影像内容传送至投影设备2，所述投影设备2将符合纹路的影像内容重新投射于对象1。

一并参考图3所示，对象1以画像为例，先针对画像取得具备纹路的影像并且透过内容调整单元4进行图像处理，内容调整单元4主要是运用影像效果处理模块40中的一纹路效果处理单元400、一阴影效果处理单元402及一色彩效果处理单元404，其中：

所述纹路效果处理单元400可针对所述具备纹路的影像中的纹路部分迭加色块元素、粒子等视觉特效。

所述阴影效果处理单元402可针对所述具备纹路的影像中的纹路周遭添加阴影，让具备纹路的影像呈现立体感以及三维动态。

所述色彩效果处理单元404可针对所述具备纹路的影像中的纹路内区块充填色彩，借以产生颜色的变化。

通过上述的纹路效果处理单元400、阴影效果处理单元402及色彩效果处理单元404的作用，以达到形、影、色的处理而产生符合纹路的影像内容的目的，再将符合纹路的影像内容储存于内容处理装置3，而后由内容处理装置3链接至投影设备2并将符合纹路的影像内容投射于画像，进而在所述画像上呈现出相互交融的影像内容纹路，及色块元素、粒子动态、阴影变化的立体感、以及色彩变幻等等虚实混合投影效果。

一并参考图4及图5所示，另一较佳实施例的方块示意图及另一较佳实施例的使用状态示意图。对象1以立体雕像为例，先针对立体雕像取得具备纹路的影像并且传送至所述内容调整单元4，内容调整单元4包括有一影像迭加处理模块42，透过影像迭加处理模块42让针对所取得的具备纹路的影像与至少一影像内容进行纹路比对，再将影像内容迭加至所述具备纹路的影像，调整所述影像内容的几何形状、角度、曲率…等，令影像内容与所述具备纹路的影像间纹路相互重叠混合，重新生成一符合纹路的影像内容。再将所述符合纹路的影像内容储存于内容处理装置3，而后由内容处理装置3将所述符合纹路的影像内容传送至投影设备2，所述投影设备2将符合纹路的影像内容重新投射于投射于画像，进而产生多重具备纹路的影像迭加虚实混合投影效果。此外，亦可同时搭配影像效果处理模块40，让具备纹路的影像同时具备形、影、色的效果。

图4及图5中的具备纹路的影像投射，对于立体雕像由投影设备2在进行投射时，均可利用内容处理装置3中的一校准单元32，所述校准单元32主要是持续性撷取画像上的具备纹路的影像，并回馈至所述内容处理装置3进行影像比对，将当下所截取的具备纹路的影像与先前储存的具备纹路的影像进行相似性比对，当发现两者纹路不一致时，则通知所述内容处理装置3重新就当下所截取的具备纹路的影像与影像内容进行纹路比对，再将影像内容迭加至所述具备纹路的影像，调整所述影像内容的几何形状、角度、曲率…等，令影像内容与所述具备纹路的影像间纹路相互重叠混合，重新生成一符合纹路的影像内容。再将所述符合纹路的影像内容储存于内容处理装置3，而后由内容处理装置3将所述符合纹路的影像内容传送至投影设备2，所述投影设备2将符合纹路的影像内容重新投射于画像。

由各图可看出本发明主要包括对象1(可为平面图像或是立体雕像)、投影设备2及内容处理装置3，且内容处理装置3讯号链接一影像感测装置34(可为体感感测、红外线感测或影像感测)，其中所述影像感测装置34可针对所述对象1撷取一具备纹路的影像，所述内容处理装置3预先储存所述具备纹路的影像。一内容调整单元4基于所述具备纹路的影像，产生一符合纹路的影像内容，所述内容调整单元4包括一影像效果处理模块40或一影像迭加处理模块42，其中影像效果处理模块40包括一纹路效果处理单元400、一阴影效果处理单元402及一色彩效果处理单元404。或是透过影像迭加处理模块42让针对影像迭加处理模块42取得的具备纹路的影像进行上述影像迭加及调整的处理，经由影像迭加处理模块42产生符合纹路的影像内容。

另外，影像感测装置34可针对一观测对象取得一影像内容，所述内容处理装置3依照由影像感测装置34获取的影像内容进行影像内容调整及生成至少一符合纹路的影像内容，并透过投影设备2投射于对象1。通过影像矩阵转换以及投影区域形状控制等方式调整所述符合纹路的影像内容的角度或形状，令所述影像内容的纹路与所述具备纹路的对象上的纹路相互重叠混合，产生所述影像内容的纹路与对象1的纹路相互交融的影像内容的虚实混合实时投影效果。

所述观测对象可为动态对象或静态对象。简而言之，透过影像感测装置34能够针对感测范围中设定的观测对象(可为动态对象或静态对象)获取影像内容，而前述中的符合纹路的影像内容则可依照预先设定的观测对象(例如移动中人的数量)进行图像处理。当出现两个人时，影像感测装置34会获取所述影像内容至内容处理装置3，由内容处理装置3依照所述影像内容中两个人的纹路外型，调整并生成符合纹路的影像内容，并且通过投影设备2投射至对象1，然后于对象1上呈现出：与对象1的纹路相互交融的影像内容的虚实混合实时投影效果。

不仅如此，内容处理装置3连接一校准单元32，校准单元32主要是用于持续性截取对象1的具备纹路的影像，并回馈至所述内容处理装置3进行影像比对，将当下所截取的具备纹路的影像与先前储存的具备纹路的影像进行相似性比对，当发现两者纹路不一致时，则通知所述内容处理装置3重新就当下所截取的具备纹路的影像与影像内容进行纹路比对，再将影像内容迭加至所述具备纹路的影像，调整所述影像内容的几何形状、角度、曲率…等，令影像内容与所述具备纹路的影像间纹路相互重叠，重新生成一符合纹路的影像内容。再将所述符合纹路的影像内容储存于内容处理装置3，而后由内容处理装置3将所述符合纹路的影像内容传送至投影设备2，所述投影设备2将符合纹路的影像内容重新投射于对象1。

先针对立体雕像取得具备纹路的影像并且传送至所述内容调整单元4，内容调整单元4包括有一影像迭加处理模块42，透过影像迭加处理模块42让针对所取得的具备纹路的影像与至少一影像内容进行纹路比对，再将影像内容迭加至所述具备纹路的影像，调整所述影像内容的几何形状、角度、曲率…等，令影像内容与所述具备纹路的影像间纹路相互重叠混合，重新生成一符合纹路的影像内容。再将所述符合纹路的影像内容储存于内容处理装置3，而后由内容处理装置3将所述符合纹路的影像内容传送至投影设备2，所述投影设备2将符合纹路的影像内容重新投射于投射于画像，进而产生多重具备纹路的影像迭加虚实混合投影效果。此外，亦可同时搭配影像效果处理模块40，让具备纹路的影像同时具备形、影、色的效果。

当平面影像传送至内容调整单元4后，内容调整单元4可以依据算法或软件程序辨识平面影像内的纹路特征，以形成一纹路特征数据。具体来说，内容调整单元4可以依据与影像辨识有关的算法或软件程序辨识平面影像的纹路，以区别其中特征代表性的特定区域，再以复数个点排列出所述些区域的轮廓。接着，内容调整单元4撷取所述些点为纹路特征点，再将所述些纹路特征点组成或再与其他内容共同组成纹路特征数据，便取得了影像的特征。一并参考图6为本实施例中从平面影像中撷取影像的纹路特征点的结果的示意图。本实施例属于以主动外观模型算法（Active Appearance Model，简称AAM）分析平面影像5，并取得总共十个纹路特征点51。此十个纹路特征点51也具有注册编号，且是与影像内容数据的特征区特征点52相对应，以供将来进行调整影像的纹路特征使用。为避免图面过于繁杂有碍理解，图6中同样未将十个纹路特征点51悉数标出。

当然，为提升主动外观模型算法的功效，在使用前亦可以先经过一组或一组以上的参考影像进行训练。此外，为更进一步改善主动外观模型演算法，在撷取特征点的过程中，亦可以同时搭配模型预测，以及YCbCr色彩空间中色彩范围差异化之处理。

同时，内容调整单元4还会依据图6所示的平面影像5进行辨识，以产生一个具备纹路的影像。内容处理装置3中可以储存大量的具备纹路的影像。内容调整单元4可依据上述撷取到的影像的纹路特征点51的集合的几何中心位置为参考标准，将影像的纹路特征点51的集合划分成一个坐标系，并依据中心位置与各纹路特征点51的距离与夹角进行相似度运算，从而于影像模型数据库中找出相似度较高者。

另外，一并参考图7为本实施例中具备纹路的影像数据的示意图。包括有影像模型数据6，其包括复数个影像的纹路对位点61。影像的纹路对位点61默认在各脸部影像数据中，且实质上影像的纹路对位点61的排列会形成具备纹路的影像的轮廓。

由前述可知，内容调整单元4会透过传输单元(图面未示)将脸部特征数据以及具备纹路的影像数据传送至通讯装置(图面未示)。当通讯装置以传输单元(图面未示)接收所述二数据后，通讯装置会以处理单元(图面未示)进行以下动作。当进行影像内容数据调整时，首先，内容调整单元4会利用脸部特征数据中脸部特征点51与影像内容数据中特征区特征点52的间的注册编号关系，依据各个脸部特征点51的空间坐标，分别修改各个特征区特征点52的空间坐标，结果会改变特征区特征点52的排列，从而使得影像内容数据被显示时的像素位置发生变化，让影像内容的脸部，例如但不限于五官相对位置、表情等，看起来近似平面影像5的脸部。在本实施例的一个态样中，内容调整单元4是先计算注册编号相同的脸部特征点51与特征区特征点52的间的空间坐标差异，再利用径向基底函数（Radialbasis function，RBF）网络此种类似类神经网络的软件系统将差异用于修正影像内容数据，使得影像内容的脸部可以呈现出非常接近平面影像5的样貌。

一并参考图8为依据本实施例进行具备纹路的影像与影像内容对位结合的示意图。因为纹路对位点61(脸部)具有各自的注册编号，另外相对的，储存于通讯装置内的影像内容数据也具有影像内容对位点71且同样具有注册编号，因此内容调整单元4可依据二者对位点的间的注册编号关系，将具备纹路的影像与影像内容结合。上述步骤类似在影像内容上「贴脸皮」，也就是将挑选出来具有近似平面影像5脸型特征的具备纹路的影像贴到影像内容上，让影像内容具有平面影像5的脸型特征，例如但不限于脸型宽窄、下巴尖阔等。

然而，因为影像内容的脸型是预设的标准脸型，当具备纹路的影像与影像内容比对后必然会有存在差异。举例来说，当平面影像5是属于窄脸尖下巴时，具备纹路的影像也是窄脸尖下巴，若将此种具备纹路的影像贴在影像内容上，显示出来的三维影像会在两颊处发生影像内容凸出，但是下巴处具备纹路的影像与影像内容间存有空隙的问题。此时，内容调整单元4需再依据具备纹路的影像的纹路对位点61(脸部)调整影像内容的影像内容对位点71。在本实施例中，内容调整单元4的调整是改变影像内容对位点71的空间坐标，连带使得影像内容数据被显示时的像素位置发生变化，从而使得具备纹路的影像与影像内容共同显示时，二者的间不会有影像内容凸出，或具备纹路的影像与影像内容间有空隙的问题。因为调整影像内容对位点71的空间坐标可使影像内容对位点71向几何中心位置靠拢或远离，显示出来的效果如同影像内容被移除或增加了一部分。

接着，内容调整单元4会将经过脸部特征数据与具备纹路的影像数据调整好的影像内容数据，与具备纹路的影像数据共同显示于显示单元，即可产生与平面影像5对应的三维影像。再进一步说明，也就是显示的三维影像中，五官、眉毛等是来自于被脸部特征数据调整过后的影像内容数据，而包覆脸部的脸皮部分是来自于具备纹路的影像数据。在显示的三维影像中，可以由内容调整单元4将调整过后的影像内容数据以及具备纹路的影像数据再进一步的结合，以调整并生成符合纹路的影像内容；另外，当然也可以分开二份数据的形式，而由内容调整单元4个别显示，并透过对位点维持适当的相对位置来显示，本发明在此不限。

进一步，本发明提供一种虚实混合投影方法，其步骤包括：

针对至少一具备纹路的对象取得相对应的至少一具备纹路的影像；

依据所述具备纹路的影像生成至少一符合纹路的影像内容；

透过一投影设备，将所述符合纹路的影像内容投射于所述对象上；

调整所述符合纹路的影像内容的几何形状及位置，令所述影像内容的纹路与所述具备纹路的对象上的纹路相互重叠混合。

根据本发明的一实施例，所述的虚实混合投影方法，更包括对所述对象进行距离分析且持续校正内容的步骤。

根据本发明的一实施例，所述的虚实混合投影方法，其中所述依据所述具备纹路的影像生成至少一符合纹路的影像内容的步骤，更包括生成至少一纹路效果、生成至少一阴影效果及生成至少一色彩效果。

上述实施例仅为例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此项技艺的人士均可在不违背本发明的精神及范畴下，对上述实施例进行修改。因此本发明的权利保护范围，应如后述申请专利范围所列。

Claims (10)

1.一种虚实混合投影装置，其特征在于，包括：

至少一具备纹路的对象；

至少一投影设备；及

一影像感测装置可针对所述对象取得一影像内容；

一内容处理装置，其连接所述投影设备及所述影像感测装置，并预先储存针对所述对象取得的具备纹路的影像内容，且一内容调整单元依据所述具备纹路的影像内容产生一符合纹路的影像内容，由所述投影设备将所述符合纹路的影像内容投射于所述具备纹路的对象上，令所述对象的纹路与所述符合纹路的影像内容相互重叠混合。

2.根据权利要求1所述的一种虚实混合投影装置，其特征在于：

所述影像感测装置为体感感测、红外线感测的感测装置。

3.根据权利要求2所述的一种虚实混合投影装置，其特征在于：

所述影像感测装置为影像感测装置。

4.根据权利要求2所述的一种虚实混合投影装置，其特征在于：

所述对象的纹路包括形成于所述对象的表面。

5.根据权利要求1所述的一种虚实混合投影装置，其特征在于，还包括：

一与所述内容处理装置连接并对所述对象进行距离分析且持续校正内容的校准单元。

6.根据权利要求1所述的一种虚实混合投影装置，其特征在于：

所述内容处理装置包括一影像效果处理模块或一影像迭加处理模块，其中所述影像效果处理模块包括一纹路效果处理单元、一阴影效果处理单元及一色彩效果处理单元。

7.根据权利要求5所述的一种虚实混合投影装置，其特征在于：

所述对象为平面图像或是立体雕像。

8.一种虚实混合投影方法，其步骤包括：

针对至少一具备纹路的对象取得相对应的至少一具备纹路的影像内容；

依据所述具备纹路的影像生成至少一符合纹路的影像内容；

透过一投影设备，将所述符合纹路的影像内容投射于所述对象上；

调整所述符合纹路的影像内容的几何形状及位置，令所述影像内容的纹路与所述具备纹路的对象上的纹路相互重叠混合。

9.根据权利要求8所述的一种虚实混合投影方法，其特征在于，还包括：

对所述对象进行距离分析且持续校正内容的步骤。

10.根据权利要求8所述的一种虚实混合投影方法，其特征在于：

所述依据所述具备纹路的影像生成至少一符合纹路的影像内容的步骤，还包括生成至少一纹路效果、生成至少一阴影效果及生成至少一色彩效果。