CN111083453A - 一种投影装置、方法及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种投影装置，应用于移动终端，所述装置包括处理器、红外飞时测距传感器、结构光组件和可见光投影器；所述处理器，用于控制所述红外飞时测距传感器确定目标载体的深度信息；所述处理器，用于将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，所述处理器控制所述结构光组件采集所述目标载体的三维特征信息；所述处理器，用于根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；所述可见光投影器，用于将所述虚拟数据和所述目标载体叠加生成的数据进行投影。本发明实施例还同时公开了一种投影方法及计算机可读存储介质。

Description

一种投影装置、方法及计算机可读存储介质

技术领域

本发明实施例涉及终端投影技术领域，涉及但不限于一种投影装置、方法及计算机可读存储介质。

背景技术

增强现实(Augmented Reality，AR)是现实场景和虚拟场景的结合，在摄像头拍摄的画面基础上，通过计算机处理能力，将虚拟的数据叠加在现实环境当中，再利用同一个画面进行显示而带来的一种交互模式。现有AR投影技术，主要是在投影仪类产品中体现，采用图像识别、3D重构和自动三维映射等关键技术，通过投影镜头旁的摄像头(通常是红外摄像头)实时识别投影界面中的目标载体，借助主机强大的计算能力把预置的内容映射到目标载体上。

现有具有AR投影功能的便携式投影仪，其主要是采取单一摄像头(通常是红外摄像头)识别目标载体，识别精度和识别距离都有限，应用场景和AR内容都过少。

发明内容

本发明实施例期望提供一种投影装置、方法及计算机可读存储介质。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种投影装置，应用于移动终端，所述装置包括处理器、红外飞时测距传感器、结构光组件和可见光投影器；其中，所述结构光组件由光栅式结构光部件或TOF结构光部件组成；光栅式结构光部件由红外结构光学点阵投影器和红外摄像头组成，TOF结构光部件由红外飞时测距传感器、红外摄像头和可见光摄像头组成；其中，

所述处理器，用于控制所述红外飞时测距传感器确定目标载体的深度信息；

所述处理器，用于将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，所述处理器控制所述结构光组件采集所述目标载体的三维特征信息；

所述处理器，用于根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；

所述可见光投影器，用于将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

本发明实施例还提供了一种投影方法，应用于移动终端，所述方法包括：

确定目标载体的深度信息；

将所述深度信息与设定的阈值进行比较，得到比较结果；

根据所述比较结果，获取所述目标载体的三维特征信息；

根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；

将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述方案中所述投影方法的步骤。

本发明实施例所提供的投影装置、方法及计算机可读存储介质，所述装置包括处理器、红外飞时测距传感器、结构光组件和可见光投影器；其中，所述结构光组件由光栅式结构光部件和TOF结构光部件组成；光栅式结构光部件由红外结构光学点阵投影器和红外摄像头组成，TOF结构光部件由红外飞时测距传感器、红外摄像头和可见光摄像头组成；其中，所述处理器，用于控制所述红外飞时测距传感器确定目标载体的深度信息；所述处理器，用于将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，所述处理器控制所述结构光组件采集所述目标载体的三维特征信息；所述处理器，用于根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加。所述可见光投影器，用于将所述虚拟数据和所述目标载体叠加生成的数据进行投影。如此，能够使终端实现AR投影功能，提高识别精度，扩大识别距离，丰富应用场景和AR内容。

附图说明

图1为本发明实施例的投影装置的结构示意图；

图2为本发明实施例的移动终端机身背面的结构示意图；

图3为本发明实施例的移动终端机身顶部或底部的结构示意图；

图4为本发明实施例的红外结构光学投影器的组成结构示意图；

图5为本发明实施例的基于VCSEL单色激光光源阵列的可见光投影器示意图；

图6为本发明实施例的基于VCSEL单色激光光源光机的手机形态的移动终端示意图；

图7为本发明实施例的基于DLP技术三基色光源光机投影器示意图；

图8为本发明实施例的基于DLP技术单色LED光源光机投影器示意图；

图9为本发明实施例的基于LED光源光机的微型投影仪或平板电脑形态的终端示意图；

图10为本发明实施例的基于DLP技术单色高压汞灯光源光机投影器示意图；

图11为本发明实施例的基于高压汞灯光源光机的微型投影仪或平板电脑形态的终端示意图；

图12为本发明实施例的投影方法的实现流程示意图。

图13为本发明实施例的终端与目标载体的基本关系效果图；

图14为本发明实施例的投影方法的实现流程示意图；

图15为本发明实施例的识别目标载体三维特征信息经图像处理渲染虚拟内容后投影的流程示意图；

图16为本发明实施例的近距离场景的投影效果示意图；

图17为本发明实施例的远距离场景的投影效果示意图；

图18为本发明实施例的游戏应用场景的投影效果示意图；

图19为本发明实施例的网络购物的投影效果示意图；

图20为本发明实施例的视频通话的投影效果示意图；

图21为本发明实施例的门禁场景的投影效果示意图；

图22为本发明实施例的用户界面的效果示意图；

图23为本发明实施例的投影装置的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

图1为本发明实施例中投影装置的结构示意图，应用于移动终端，如图1所示，该装置包括：处理器101、红外飞时测距传感器102、结构光组件103和可见光投影器104，其中，结构光组件103由光栅式结构光部件105和飞行时间(Time of flight，TOF)结构光部件106组成；光栅式结构光部件105由红外结构光学点阵投影器107与红外摄像头108组成；TOF结构光部件106由红外飞时测距传感器102、红外摄像头108和可见光摄像头109组成；其中，红外摄像头108复用于光栅式结构光部件105和TOF结构光部件106，红外飞时测距传感器102复用于TOF结构光部件106。

处理器101，用于控制红外飞时测距传感器102确定目标载体的深度信息；

其中，目标载体可为人、物等事物；深度信息为目标载体与终端之间的距离信息。

处理器101，用于将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，处理器101控制结构光组件103采集所述目标载体的三维特征信息；

处理器101，用于根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加。

所述可见光投影器104，用于将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

这里虚拟数据可通过虚拟数据的数据库获得，也可通过实景三维重构的方式获得。

本发明实施例的投影装置如图2所示，应用于移动终端，在移动终端背面201，可为背面靠上位置、顶部或底部放置红外飞时测距传感器102、红外摄像头108、可见光摄像头109、红外结构光学点阵投影器107和可见光投影器104。红外飞时测距传感器102、红外摄像头108、可见光摄像头109、红外结构光学点阵投影器107和可见光投影器104的布局也可以如图3所示，放置在终端机身顶部或底部；其中，301为移动终端的正面或背面，302为移动终端顶部或底部。

在一实施例中，红外飞时测距传感器102，用于发射红外光，并接收所述目标载体反射的红外光；处理器101，用于根据发射红外光的时间和接收反射的红外光的时间的时间差，确定所述目标载体的深度信息。

红外飞时测距传感器102，内部具有飞时感应器用于测距，用垂直共腔振表面放射激光(vertical Cavity surface Emitting Laser，VCSEL)发射红外脉冲光，可为波长800nm-900nm的近红外光，并通过自身的红外接收装置接收目标载体反射红外光，然后处理器101根据红外光往返时间差测算距离获取目标载体的深度信息，红外飞时测距传感器102可以一次性获取三维物体表面的全部深度信息；用于和缺省阈值比较时，需要针对全部或取样深度信息取均值。

在一实施例中，红外飞时测距传感器102，用于发射红外光；红外摄像头108接收所述目标载体反射的红外光；处理器101，用于根据发射红外光的时间和接收反射的红外光的时间的时间差，确定所述目标载体的深度信息。

因人脸或物体检测目标精准识别需求，可选集成泛光照射器，泛光照射器内部也是VCSEL红外激光源，VCSEL红外激光源的功率和扩散面较大，对识别目标载体进行暗光补偿。当人脸或物体检测目标接近终端时，红外飞时测距传感器102启动并测距后会根据需要，特别是暗光环境时，激发泛光照射器，并由红外摄像头108捕捉泛光照射器照射到目标载体上反射的红外光，实现对目标载体的特征精准识别。

在一实施例中，处理器101，用于若所述深度信息小于设定的阈值，控制光栅式结构光部件105检测所述目标载体的三维特征信息。

当由红外飞时测距传感器102或者由红外摄像头108和红外飞时测距传感器102得到目标载体的深度信息后，将得到的深度信息与阈值进行比较，若深度信息小于阈值，处理器101控制控制光栅式结构光部件105检测目标载体的三维特征信息。

红外结构光学点阵投影器107，投射出衍射光栅红外光点阵，亦即一种光栅式面结构光，散射到目标载体上，其衍射条纹被目标载体高低不一的表面调制，然后由红外摄像头108采集所述目标载体反射的调制后的红外光送达处理器101，处理器101解调该调制条纹得到相位，再将相位转化为高度场从而一次性获得目标载体的三维特征信息。其中，阈值可根据实际情况设定。

在一实施例中，处理器101，用于若所述深度信息大于或等于设定的阈值，控制TOF结构光部件106检测所述目标载体的三维特征信息。

TOF结构光部件106中的可见光摄像头109获取目标载体的二维特征信息，即RGB(红黄蓝三基色)信息；同时，处理器101根据二维特征信息和红外飞时传感器102二次发射脉冲红外光并由红外摄像头108采集的目标载体反射红外光时间差计算得来的更精准深度信息，将RGB信息和深度信息合成为目标载体的三维特征信息，即确定所述目标载体的RGBD信息。此过程亦即TOF飞行时间结构光实现目标载体三维特征采集，可以进一步经由处理器101实现三维图像重构应用于AR虚拟图像渲染或实现三维图像识别。

红外摄像头108还能同时直接获取目标载体的二维特征信息。在用于人脸或物体检测目标识别需求时，二维特征信息综合TOF结构光部件106获取的深度信息这种结构光学的模式可以实现对目标载体的精准三维图像识别。由于红外摄像头108既参与TOF结构光部件106对目标载体深度信息获取又用于目标载体二维信息获取，所以需要处理好红外飞时测距传感器二次发射并经目标载体反射的红外光推送处理器计算目标载体更精准深度信息的时隙关系。

在一实施例中，红外结构光学点阵投影器107，用于投射衍射光栅红外光点阵；红外摄像头108，用于采集所述目标载体反射的调制红外光；处理器101，用于根据红外摄像头108采集的调制红外光解调出所述目标载体的三维特征信息。

处理器101根据红外摄像头108采集的调制后的红外光弯曲度解调出相应的相位，并根据相位转换为所述目标载体整体高度场，亦即目标载体的三维特征信息。

红外摄像头108也可用于捕捉红外飞时测距传感器102发射到目标载体表面并反射回来的红外光，但这种应用状态是基于红外飞时测距传感器102仅仅作为对目标物载体深度信息和设定阈值初步预判之后进行的。红外飞时测距传感器102的红外接收装置精密度不高，处理器101通过其自身红外激光收发预判目标载体深度信息阈值之后，根据需要便触发红外飞时传感器102二次发射脉冲红外光，之后，红外摄像头108全面精确地获取目标载体的反射红外光。处理器101根据红外飞时传感器102和红外摄像头108两者发射和接收红外光的时间差确定目标载体更精准的深度信息。可见光摄像头109同步采集目标载体的二维图像信息，与此更精准的目标载体的深度信息合成为目标载体的三维特征信息。由于红外飞时传感器发出的脉冲红外光，其实是一种时间轴的脉冲调制光，也是广义上的结构光，光栅式结构光是基于一个二维平面的条纹调制光，所以此过程亦即通过TOF结构光实现目标载体三维特征采集。

光栅式结构光由于是衍射光，衰减很快，强光下很容易被湮没，所以不适合长距离情况下使用，适合静态场景，典型如人脸识别；TOF结构光则远距离下噪声低，同时有更高帧率，适合动态场景，典型如AR应用。所以通过距离传感器所测目标载体距离和预设阈值，比如1米甚至更短距离内，相比较后进行预判，短距离情况下，即小于阈值的情况下用光栅结构光，长距离情况下，即大于等于阈值的情况下用TOF结构光，让两者各自发挥自己的优势。

红外结构光学投影器107采用VCSEL激光光源，如图4所示，VCSEL激光光源阵列401经微型准直透镜402和衍射光栅(diffraction optical elements，DOE)403外发投射。微型准直透镜是把混乱的红外线准直处理，达到平行、均匀光斑的作用；然后通过DOE让按规则的激光散斑分散打在整个目标载体上。

在一实施例中，可见光摄像头109获取所述目标载体的二维特征信息；根据所述二维特征信息和所述深度信息确定所述目标载体的三维特征信息。

可见光摄像头109获取目标载体的二维特征信息，即RGB(红黄蓝三基色)信息；同时，处理器101根据二维特征信息和红外飞时传感器102二次发射脉冲红外光并由红外摄像头108采集的目标载体反射红外光时间差计算得来的更精准深度信息，将RGB信息和深度信息合成为目标载体的三维特征信息，即确定所述目标载体的RGBD信息。

可见光投影器104，用于将虚拟数据与所述目标载体叠加生成的数据进行投影。当得到目标载体的三维特征信息后，确定了目标载体的位置后，将虚拟数据与目标载体进行叠加生成的数据，使用可见光投影器104进行投影。

可见光投影器104依据通过内部的光机发出携带各类信息的可见光并投射到投影界面，投影界面可以是幕布、全息膜、墙面、地面、水面等。可见光投影器的核心为投影光机，本发明实施例的装置基于终端通信和数字信息处理需要，采用数字光学处理(DigitalLight Processing，DLP)技术。

上述除可见光投影器之外的各类器件所占体积都非常有限，均能满足做到手机形态的终端内部，可见光投影器会最终决定终端整机的尺寸形态。

依据可见光投影器的光机构成方式，终端形态多样化，可以分为三类：1)基于VCSEL激光源的DLP光机可以做成手机形态的便携式移动终端；2)基于LED光源的DLP光机可以做成微型投影仪或加厚平板电脑尺寸形态的便携式终端；3)基于高压汞灯光源的DLP光机尺寸可以做成常见会议室投影仪尺寸形态的终端。其中，

1)、采用VCSEL可见光激光器作为可见光投影器光机光源，利用VCSEL驱动电压和电流小、功耗低、光源可调变频率更高(可达数GHz)的优势，与化合物半导体工艺兼容进行大规模集成制造有效缩小体积。数量众多的VCSEL单体可见光激光器聚集一起发的混乱光斑通过准直透镜调成匀直光斑，功耗和体积也都不会太大，投射距离和精度也能保证。

基于VCSEL单色激光光源阵列的可见光投影器104剖面图，如图5所示。VCSEL单色激光光源阵列501由数以万计的单个激光光源组合而成，可以采用三基色单色光源的任何一种，一般优选技术相对成熟的红色或蓝色激光源，绿色某些波长研发还不够成熟，难度相对较大，经过晶圆级光学镜头(Wafer-Level Camera，WLO)准直透镜502进行准直处理，然后聚集准直光源到由微机电结构的色轮马达503控制的色轮504上混合为彩色，色轮表层通常为红、黄、蓝、白四色荧光粉，经透镜组505打到由DLP芯片控制的数字微镜装置(DigitalMicro-mirror Device，DMD)506上，由DMD的受控数字光学信号调制经棱镜507反射到投影器镜头508。投影器镜头结构上独立于其余部分，通过音圈马达(Voice Coil Motor，VCM)509控制镜头内部的透镜组移动聚焦并投射出光信号，外部可以观察到移动，谓之动件；相应地，其余部分封装在一起，外部看不到移动，则称之为为定件。

这种形式的投影器体积和功耗有效减小，无需大体积和大成本的散热组件，可以放置在手机形态的移动终端内部，可放置在手机后壳面，如图6所示，其中，包括：LCD屏601，存储器602，PCB板603，PCB板避让区604，手机后壳断面纵向轴线605，手机后壳表面纵向轴线606，手机后壳断面横向轴线607，手机后壳表面横向轴线608，手机厚度方向横向轴线609，手机电池610。红外摄像头、红外飞时测距传感器、可见光摄像头、红外结构光学点阵投影器、可见光投影器沿手机后壳表面横向轴线一字排开，当所有器件贴近PCB板放置时，PCB板上有处理器等器件，PCB板背后为LCD屏、PCB下方为电池，其中可见光投影器由于涉及DLP光学定件和动件体积相对较大，厚度方向上PCB板需要避让。同时，由于这些器件均有一定厚度，在手机后壳断面上也要有避让，除了表面孔镜避让，内部也要根据器件结构形态避让。

2)、基于LED光源的DLP光机，光机光源可以采用RGB三基色发光二极管，可以是普通照明二极管，也是激光二极管光源经DLP合成彩色数字内容投射，如图7所示，基于DLP技术采用RGB三基色发光二极管的光机可包括：马达701，可见光镜头702，散热片703，LED灯704，可见光滤镜705，准直透镜706，棱镜707，红色光708，绿色光709，蓝色光710。光机光源也可以采用单色激光光源经色轮荧光合成彩色数字内容投射，如图8所示，基于DLP技术单色LED光源光机投影器可包括：镜头马达801，镜头802，色轮马达803，反射镜804，LED单色光源805，散热模组806，汇聚透镜807，色轮808，透镜组809，棱镜810。此时，如要达到实用级别的远距离投影亮度，则需要采用较大功率的LED器件和较大的光学通路空间，这就会导致投影光机体积和功耗都比较大。其中功耗带来的散热问题，需要光机模组本身需要加散热金属鳍片，整机需要加风扇，比如：轴流扇或涡流扇，并设计风道来解决。由于投影光机和散热组件体积原因，采用基于LED光源的DLP光机的可见光投影器的终端可以做成微型投影仪，可为尺寸如长30mm，宽20mm，高7mm形态的便携式终端；采用LED单色激光光源时，整机也可以做得更轻薄一些，做成稍具厚度的平板电脑形态，比如：上表面为大面积显示屏，如长宽和微投类似，高5～8mm的平板电脑。

这种形式的投影器体积和功耗都比较大，需要大体积和大成本的散热组件，可以放置在微型投影仪或平板电脑形态的终端内部，可放置在高度方向的前壳面。如图9所示，基于LED光源光机的微型投影仪或平板电脑形态的终端可包括：DMD散热件901，可见光投影器定件902，LED散热件903，PCB板904，设备前壳断面横向轴线905，前壳面下沿轴线906，设备前壳表面横向轴线907，设备水平宽度向面方向轴线908，整机风扇909，风道910，设备前壳断面纵向轴线911，设备前壳表面纵向轴线912，前壳面上沿轴线913。红外摄像头108、红外飞时测距传感器102、可见光摄像头109、红外结构光学点阵投影器107、可见光投影器104沿设备前壳表面横向轴线一字排开，其中可见光投影器由于涉及DLP光学定件和动件体积相对要大很多，且需要散热件，可为金属鳍片，需要整机风扇，图示为轴流扇，并设计风道使得热量能快速散出设备壳体，风扇嵌在侧面纵向壳体，对象壳体有散热孔。同时，由于这些器件均有一定厚度，在手机后壳断面上也要有避让，除了表面孔镜避让，内部也要根据器件结构形态避让。此时，PCB板放置在水平方向壳体底部上方。

3)、基于高压汞灯光源的DLP光机，由于高压汞灯体积难以做小，整合结构光学各种器件后整机尺寸做成便携式难度非常大，整机尺寸达到常见会议室或家用投影仪尺寸形态，移动性便携性变差，但由于亮度很高，白天室内不拉窗帘可用，所以仍具有很好的实用性。

此种形态的终端，其内部构造和LED单色光源光机的终端基本类似，如图10所示，基于DLP技术单色高压汞灯光源光机投影器可包括：镜头马达801，镜头802，色轮马达803，反射镜804，高压汞灯1001，散热模组806，汇聚透镜807，色轮808，透镜组809，棱镜810。只是由于单色光源采用高压汞灯体积，类似于白炽灯泡大小，体积和功耗都很大，整机散热件和散热空间也随之增大和增多，于是整机尺寸比LED光源光机的终端体积大很多，一般尺寸在300mm*200mm*100mm左右，如图11所示，基于高压汞灯光源光机的微型投影仪或平板电脑形态的终端可包括：DMD散热件901，可见光投影器定件902，PCB板904，设备前壳断面横向轴线905，前壳面下沿轴线906，设备前壳表面横向轴线907，设备水平宽度向面方向轴线908，整机风扇909，风道910，设备前壳断面纵向轴线911，设备前壳表面纵向轴线912，前壳面上沿轴线913，灯泡散热件1101，高压汞灯灯泡组件1102。

上述器件中，如红外结构光投影器的器件采用了衍射光栅空间结构调制光学，红外飞时测距传感器其实也是采用结构光学调制，即时间脉冲调制光学结构，属于广义的结构光学。加上可见光摄像头、红外摄像头分别配合三维图像识别和建模重构，所以可以统称为结构光学器件。

在一实施例中，红外飞时测距传感器102、红外结构光学点阵投影器107或可见光投影器104采用VCSEL光源。

本申请实施例的应用于移动终端的投影装置还包括：闪光灯1010，闪光灯1010为配合可见光摄像头109在暗光环境下瞬时帮助可见光摄像头109对目标载体进行识别。

在本发明实施例中的投影装置，应用于移动终端，所述装置包括处理器、红外飞时测距传感器、红外摄像头、可见光摄像头、红外结构光学点阵投影器和可见光投影器。如此，能够使终端在光后向应用的基础上实现AR功能，提高识别精度，扩大识别距离，丰富应用场景和AR内容，并且采用VCSEL光源的可见光投影器小型化，以使用在移动终端的内部。

图12为本发明实施例中投影方法的实现流程示意图，如图12所示，该方法包括以下步骤：

步骤1201：确定目标载体的深度信息；

在确定目标载体的深度信息时，终端向目标载体发射光或声音，发出的光或声音经过目标载体的反射回到终端，终端接收到反射的光或声音，通过发出光或声音的时间和接收到光或声音的时间之间的时间差计算终端与目标载体之间的距离，计算的距离即为目标载体的深度信息。终端通过红外光来检测目标载体的深度信息时，终端可通过红外飞时测距传感器发射红外光，红外光经过目标载体的反射返回红外飞时测距传感器自身的红外接收装置，终端的处理器通过发出红外光的时间和接收到红外光的时间的时间差计算目标载体的深度信息。

比如：终端的红外摄像头的拍摄画面中有一棵树，将此树作为目标载体，红外飞时测距传感器向树发射红外光，发射的红外光线经过树的反射至移红外飞时测距传感器的接收装置，接收装置接收到树所反射的红外光，并计算红外飞时测距传感器发出红外光的时间和收到反射的红外光的时间差得到树与终端之间的距离，即深度信息。

步骤1202：将所述深度信息与设定的阈值进行比较，得到比较结果；

将得到的深度信息与设定的阈值进行比较，得到的比较结果包括：深度信息小于设定的阈值或者深度信息大于或等于设定的阈值。设定的阈值可根据实际需求设置，比如，0.8米、1米。

步骤1203：根据所述比较结果，获取所述目标载体的三维特征信息。

根据不同的比较结果，获取目标载体的三维特征信息的方式不同。

在一实施例中，所述根据所述比较结果，获取所述目标载体的三维特征信息包括：若所述深度信息小于所述阈值，检测所述目标载体的三维特征信息。

在比较结果为深度信息小于设定的阈值的情况下，即近景场景，终端可通过设置的红外结构光学点阵投影器发射分散打在目标载体上的红外结构光点，在目标载体上形成深浅不一的光线，获得目标载体的三维特征信息。

在一实施例中，所述根据所述比较结果，获取所述目标载体的三维特征信息包括：若所述深度信息大于或等于所述阈值，检测所述目标载体的二维特征信息；根据所述二维特征信息和所述深度信息，确定所述目标载体的三维特征信息。

在比较结果为深度信息大于或等于设定的阈值的情况下，即远景场景，检测目标载体的二维特征信息，将得到的二维特征信息与深度信息合并，得到目标载体的三维特征信息。这里，终端可通过可见光摄像头检测目标载体的二维特征信息。当目标载体处于暗光环境下时，可使用闪光灯瞬时帮助可见光摄像头对目标载体进行识别。这里，深度信息是由处理器针对红外飞时测距传感器二次发射的到目标载体红外光的时间和由红外摄像头采集目标载体反射的红外光时间两者之间的时间差计算得来的，关于目标载体更精准的深度信息。

在实际应用中，终端确定目标载体三维特征信息之后，根据可见光摄像头或红外摄像头采集到的目标载体图像对目标载体进行特征提取，根据目标载体的特征确定目标载体是否为预期的目标载体。比如：预期的目标载体为白猫，通过对可见光摄像头或红外摄像头采集的图像进行特征提取，确定图像中的目标载体包括白猫和黄猫，则确定白猫为预期的目标载体。其中，可见光摄像头或红外摄像头采集的图像可包括真实环境中的对象，也可包括终端投射到真实环境中的虚拟对象。

所述方法还包括：获取目标载体的轮廓信息；根据所述轮廓信息确定所述目标载体的类型；相应地，所述获取所述目标载体的三维特征信息包括：若所述目标载体的类型与预设类型相符，获取所述目标载体的三维特征信息。

其中，轮廓信息可以直接通过红外摄像头获取；预设类型可以根据实际需求进行设定。

通过红外摄像头获取目标载体的轮廓信息，根据获取的轮廓信息，可以确定目标载体的类型，根据确定的类型信息，与预设类型进行比较，若目标载体的类型与预设类型相符，则进一步根据深度信息与设定的阈值的比较结果，采用不同的方式获取目标载体的三维特征信息。

在获取目标载体的轮廓信息时，终端的红外飞时传感器可以集成泛光照射器进行暗光补偿，红外摄像头获取目标载体的轮廓信息，根据轮廓信息进行预判，通过预判后进一步获取目标载体的精确三维特征信息。

比如：在真实场景中，通过红外摄像头获取目标载体：树的轮廓信息，根据此轮廓信息，终端对真实场景中的物体类型进行判别，找到与轮廓信息匹配的真实场景中的树，若目标载体的类型与预设的类型相符，并进一步获取此目标载体的三维特征信息。

步骤1204：根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；

根据目标载体的三维特征数据，确定目标载体在真实环境或虚拟环境中的位置信息，从而可以确定虚拟数据的位置信息，从而将虚拟数据叠加在目标载体上。

比如：当红外摄像头采集的图像为真实对象时，将白猫作为目标载体，根据目标载体白猫的头部三维特征信息，确定白猫头部在真实场景中的位置，从而确定虚拟数据的位置信息，将虚拟数据，比如：蝴蝶结，叠加在白猫的头部。

在一实施例中，所述方法还包括：获取所述目标载体的动态信息；根据所述动态信息对所述虚拟数据进行调整，得到调整后的虚拟数据；相应地，将虚拟数据与所述目标载体叠加包括：根据所述调整后的虚拟数据与所述目标载体叠加。

其中，动态信息可以为目标载体动态变化时的信息，比如：人的身姿变化、眨眼时对应的动态信息。

目标载体的变化产生动态信息，终端通过可见光摄像头或红外摄像头获取目标载体的动态信息，确定目标载体的三维特征信息，根据动态信息和目标载体的三维特征信息对虚拟数据进行调整，将调整后的虚拟数据与目标载体进行叠加。

这里，对虚拟数据进行调整包括两种情况：1)调整虚拟数据的位置；2)调整虚拟数据本身。

1)目标载体产生动态信息，使得目标载体的三维特征信息发生变化，根据变化的三维特征信息，调整虚拟数据的位置，使得调整后的虚拟数据与目标载体叠加。

比如：当可见光摄像头或红外摄像头采集的图像为真实对象时，白猫的位置发生了变化，如：从树下爬到了树上，此时，获取白猫位置变化过程中，每一时刻白猫的动态信息，根据动态信息确定白猫在位置变化过程中的三维特征信息，从而确定虚拟数据：蝴蝶结的位置变化信息，根据变化后的位置信息将蝴蝶结始终叠加在白猫的头上。

2)目标载体产生动态信息，获取目标载体的动态信息，根据设置好的目标载体的动态信息与虚拟数据的对应关系，更新虚拟数据，使得虚拟数据与目标载体叠加。

比如：通过可见光摄像头或红外摄像头采集的图像包含一只手指和一棵小草，其中，手指为目标载体，小草为虚拟数据，手指触碰小草产生动态信息，根据触碰小草的动态信息与虚拟数据的对应关系，将小草更新为花朵，使得虚拟数据与目标载体叠加。

所述根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加包括：根据所述目标载体的三维特征信息，确定虚拟数据的位置信息；根据所述三维特征信息将虚拟数据投影到所述目标载体的相应位置；或者，根据所述目标载体的三维特征信息，确定所述目标载体的图像数据和所述虚拟数据的位置信息，根据所述位置信息将所述虚拟数据与所述目标载体的图像数据融合，得到融合图像。

这里，根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加包含两种情况：

1)根据所述目标载体的三维特征信息，确定虚拟数据的位置信息；根据所述三维特征信息将虚拟数据投影到所述目标载体的相应位置。

根据目标载体的三维特征信息，可以确定虚拟数据的位置信息，根据位置信息对虚拟数据进行投影，使得虚拟数据投影到目标载体的相应位置。

比如：在湖面的真实场景中，有一浮木，根据浮木的三维特征信息，确定浮木在湖面的位置，将虚拟的人作为虚拟数据投影到浮木上，使得虚拟数据投影到目标载体的对应位置。

2)根据所述目标载体的三维特征信息，确定所述目标载体的图像数据和所述虚拟数据的位置信息，根据所述位置信息将所述虚拟数据与所述目标载体的图像数据融合，得到融合图像。

终端通过红外飞时测距传感器、可见光摄像头或红外摄像头获取目标载体的三维特征信息，根据三维特征信息得到目标载体的图像数据和虚拟数据的位置信息，根据得到的虚拟对象的位置信息将虚拟数据与目标载体的图像数据融合，得到融合图像。

需要说明的是，在得到融合图像后，可以对融合图像进行投影显示或者在终端进行观看。在对融合图像进行投影显示或者通过终端的显示屏观看融合图像之前，可以通过终端的显示屏对融合图像预览，若融合图像预览效果符合用户需求，则可以进一步确认对融合图像进行投影显示或者通过终端的显示屏观看融合图像。

步骤1205：将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

在实际应用中，终端设置可见光投影器，通过可见光投影器将虚拟数据或融合图像进行投影显示。

比如：可见光摄像头或红外摄像头获取人脸图像，根据人脸图像的三维特征信息，确定人脸的位置，将虚拟数据：胡子叠加到人脸上，获得融合图像，并将虚实融合图像投影显示。

所述根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加之前，包括：加载虚拟数据的数据库的虚拟引擎；通过所述虚拟引擎获取所述虚拟数据。

在将虚拟数据与目标载体叠加之前，需要首先得到虚拟数据，可以加载虚拟引擎，通过虚拟引擎在虚拟数据的数据库中获得虚拟数据。

需要说明的是，这里虚拟数据也可通过实景三维重构的方式实现。

在本发明实施例中，确定目标载体的深度信息；将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，获取所述目标载体的三维特征信息；根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；将所述虚拟数据和所述目标载体叠加生成的数据进行投影。如此，能够使终端在实现AR功能时，提高识别精度，扩大识别距离，丰富应用场景和AR内容。

本实施例以应用于移动终端的投影装置的应用场景为例对本发明实施例提供的应用于移动终端的投影装置进行说明。这里，本实施例中的三维信息对应实施例中的三维特征信息，二维信息对应实施例中的二维特征信息。

除闪光灯外的主要器件、目标载体以及终端中心处理器之间的基本关系如图13所示。红外飞时测距传感器向目标载体发出红外光，并由自身的红外接收装置或单独的红外摄像头接收目标载体反射的红外光用以测距；红外结构光学投影器发出衍射光栅调制的红外激光散斑到目标载体；红外摄像头接收目标载体反射的红外光，此红外光由红外结构光学投影器发射；可见光摄像头接收目标载体反射的可见光获取RGB信息；可见光投影器发出携带数字光学信息的可见光对目标载体进行投影显示；终端的处理器与红外摄像头、红外飞时测距传感器、可见光投影器、可见光摄像头、红外结构光学投影器相连，终端的处理器对上述器件得到的信息进行处理。其中，红外飞时传感器红外接收装置精度不高，处理器针对其发射和接收红外光(经由目标载体反射)时间差计算得来的深度信息仅仅作为目标载体相对移动终端的距离和设定阈值相比较的预判用途。

使用具有红外摄像头、红外飞时测距传感器、可见光投影器、可见光摄像头、红外结构光学投影器的终端进行移动终端的投影的流程如图14所示。

步骤1401：红外飞时测距传感器(TOF)发射近红外光经过目标载体(可以是人的手和脸，也可以是特定物体)反射后，被自身的红外接收装置或红外摄像头接收，然后传递到终端的处理器计算出目标载体的深度信息，包含目标载体表面所有的深度信息；

步骤1402：根据计算出的深度信息，一般是通过从目标载体全部深度信息中取样计算出深度信息均值，判断是否小于设定的阈值。当大于或等于设定阈值时，转步骤1403(远景应用)；当小于设定阈值时，转步骤1405(近景应用)；

步骤1403：可见光摄像头获取目标载体的二维信息；

步骤1404：终端的处理器针对目标载体进行三维信息推算，即把TOF结构光部件获取的深度信息，即处理器针对红外飞时测距传感器二次发射的到目标载体红外光的时间和由红外摄像头采集目标载体反射的红外光时间两者之间的时间差计算得来的更精准的目标载体深度信息，加上可见光或红外摄像头获取的二维信息，合成为目标载体的三维特征信息，然后经图像处理渲染虚拟内容后推送可见光投影器进行AR投影；

步骤1405：启动红外结构光学投影器发射红外光点；

步骤1406：红外摄像头捕捉红外结构光学投影器三维目标载体信息，然后经图像处理渲染虚拟内容后推送可见光投影器进行AR投影。

上述终端进行图像处理的流程一方面应用了红外结构光学投影器近距(如1米范围内)一次性精准识别目标载体三维立体信息的特征，实现目标载体快速空间定位(光栅式结构光方式)；另一方面当距离较远(超出1米距离)时，直接通过红外飞时测距传感器二次发射到目标载体并经红外摄像头采集目标载体反射红外光测得的深度信息结合可见光或红外摄像头获取的二维信息合成获取目标载体三维立体信息(TOF结构光方式)。

虽然应用红外结构光学投影器可以直接三维定位，红外飞时测距传感器测距速度很快对三维定位并无时间迟滞方面的影响；进一步地，在需要精准识别目标的应用场景下，特别是红外飞时测距传感器集成泛光照射器进行暗光补偿时，红外摄像头可以先行获取目标载体的粗线条特征进行目标预判，预判通过后即启动红外结构光学投影器对人脸或特定物体目标载体进行精准三维信息捕捉和提取，并经处理器进行比对实现对特定目标载体进行识别。这种预判机制有利于降低直接启动结构光学投影器进行精准判别结果反复判别失误带来的系统功耗支出，这对靠电池供电的终端来说这是非常必要的。

另外，在目标载体被红外飞时传感器判别为远距时，可见光和红外摄像头都是可以用于识别目标载体的二维平面信息的，不过可见光的优势明显，图像色彩丰富，有利于对目标载体的细节辨识，更有利于图像细节的后续处理；但是暗光环境等场景下连续长时间的识别，还可以同时利用红外摄像头获取目标载体二维信息，闪光灯仅是瞬时帮助可见光摄像头识别。

步骤1404或步骤1406中关于识别目标载体三维信息经图像处理渲染虚拟内容后推送可见光投影器AR投影的过程进一步详细说明如下，如图15所示。

步骤1501：处理器对红外或可见光摄像头接收到的目标载体反射的红外光或可见光进行分析计算，近景：针对光栅式结构光部件红外摄像头接收红外结构光学投影器发射到目标载体并反射的红外光分析计算；远景：可见光摄像头接收到的目标载体二维信息融合TOF结构光部件获取的深度D信息分析计算，经由把摄像头坐标变换到世界坐标，三维目标载体映射到二维摄像头视平面等过程，计算出目标载体的三维空间信息，并通过预处理、特征提取、特征比对等图像处理手段完成对目标载体的识别。

本发明实施例AR需要确定终端自身的定位，通过摄像头拍摄的图像来确定摄像头的空间位置，也即确定终端的空间位置，物体自然空间点变换到摄像头图像上的点。

步骤1502：实现完全交互式触控体验跟踪。系统通过红外或可见光摄像头摄取可见光投影器投影界面，从动态角度，实际也就是目标背景环境中的人手势、身姿、眼动、表情等信息，然后进行分析计算，相对于对目标载体的三维定位识别，可以用相对于目标载体的坐标偏移来简化交互手段的坐标定位过程作为识别出的目标载体的动态特征，实现人机完全交互。这种投影界面中的交互，类似于电子设备触摸屏的触控操作，所以是全交互式触控体验跟踪。

不同于一般只具有可见光投影器和红外摄像头的投影仪只能识别投影界面的实时二维人机交互信息并响应，本发明系统因有红外飞时测距传感器和红外结构光学投影仪等器件，可以实时测得投影界面立体空间中人体的手势、身姿眼动、表情等三维动态信息，可以进一步实现完全立体交互式的触控体验，使得AR投影显示更具生动性和真实体验感。

步骤1503：加载虚拟对象数据库的虚拟引擎，比如OpenCV或OpenGL等3D引擎环境，调用系统数据库中的虚拟三维图像模型，或者调用基于可见光摄像头获取的实景目标RGB信息并融合光栅式结构光或TOF结构光部件获取的目标深度信息的RGBD信息处理得来的虚拟三维图像重构模型，可以是实时重构的也可以不是实时重构的。

此过程中如果只是单一调用虚拟三维图像信息，近景情况下，对目标载体的立体坐标、三维特征的识别依赖于红外摄像头主动接收到的目标载体反射的红外光信息来进行三维图像处理和判断；远景情况下，依赖于红外摄像头被动接收到的目标载体二维红外信息和TOF结构光部件获取的深度信息结合来进行三维图像处理判断。

但是，关于上述提及的三维图像重构，因为重构需要更多的关于实景目标的细节信息，比如色彩信息，近景情况下，则通常需要依托可见光摄像头接收到的实景目标二维图像三基色RGB(红黄蓝)信息和红外结构光投影器发射经目标反射到红外摄像头接收的目标深度信息，即RGBD原始信息，然后进行去噪、插值等数据预处理，再进行诸如基于特征点的图像校准等方法，包含参数对齐、深度校准等步骤，生成深度图像的法向量图，最后输出三维图像模型。远景情况下处理过程基本相同，只是实景目标RGBD原始信息依托于可见光摄像头接收到的目标二维图像RGB(红黄蓝)信息和TOF结构光部件获取的深度信息构建。

步骤1504：对虚实环境进行准确的配准，虚拟内容叠加到目标载体渲染真实场景。

虚实环境的配准，亦即三维注册，通过对摄像头的坐标系与世界坐标系进行变换并应用到预览图像的叠加层的虚拟引擎环境，使得虚拟内容，直接从数据库调用的虚拟模型或直接重构的虚拟模型，渲染到目标载体位置，也即更新虚拟内容的位置，从而完成了一帧AR图像。然后，不断重复这个过程，使得终端移动后，虚拟内容始终加载到目标载体位置上。

步骤1505：虚实融合信息传递到可见光投影器的投影界面上进行AR投影显示，显示前可以通过终端显示屏预览虚实融合信息进行投影内容确认。

此外，如前面所述，本发明系统自然还可以用于人脸识别，如直接用终端实现对门禁处的人脸或物体检测和目标识别然后直接把识别结果投影显示出来；终端还可以用于用户识别自己以安全解锁。

就用户实际体验的界面而言，本发明系统可以有以下三种应用模式：

1)基于本发明系统的三维图像信息采集实现目标载体三维精准匹配识别，然后把系统数据库中的虚拟图像模型配准叠加到所识别的目标载体，实现AR投影。

针对近景的目标载体识别如图16所示，终端1601自带的投影视频投影到桌面平面区域上，以投影虚景画面1605中浮木为目标载体1602，画面由系统内部数据库提供，浮木本身是虚景的话，通过二维图像处理也能识别。

不失一般性，假设此处以实物木棍指代浮木，近景情况下，直接通过红外结构光投影器对实物木棍投射衍射光栅调制光，然后通过红外摄像头获取反射回来的红外光，系统通过参数定标、图像预处理和特征提取和配准，确定目标载体1602坐标并识别出目标载体1602，然后调用系统内部数据库的虚拟图像模型加载到目标载体1602上，实现AR投影。虚拟图像模型通常是三维的，图中以立体小人1603标识，其视觉形态通常是裸眼3D状态的，原始视觉模型已经模拟人双眼视觉进行了法向量计算处理，即3D建模的特效以2D投影播放，也可以是通过人眼1604前加戴3D眼镜才能观看的原始视频数据模型是模拟人左右眼从两个角度记录同一影像后两幅图错位叠加，人戴上3D眼镜后产生立体感。

进一步地，当人的手指1606出现在虚景画面1605中的特定位置，比如：虚景图中的一些具有特征的景物位置或非特定位置，比如：任意虚景图内坐标位置，系统同样可以通过上述三维图像识别手段识别出位置和手势，进行进一步的虚景图像变换响应，从而实现了类似用户在触摸屏上手指触控的交互式体验。为简化手指识别出来后坐标变动的计算量，系统还可以简单以手指相对于目标载体的坐标偏移来计算处理。

这种近景AR投影模式，以桌面应用最为常见，其他近景场合也可用。

针对远景的目标载体识别如图17所示，终端1701自带的投影视频或纯色光投影到自然环境中的湖面1705上，湖面1705上存在真实人1706，和近景AR投影过程大致类似，将小人1703投影到湖面1705上，只是目标载体1702的三维图像信息采集不是通过红外结构光投影器进行的，是通过红外飞时距离传感器的深度信息和红外摄像头获取的二维图像信息合成计算而来。另外，关于触控体验的交互方式，远景情况下可以为识别人体身姿、手势。应用场景除了湖面，更有墙面、天花板、地面等等应用场景。

这种根据三维识别目标载体加载虚拟图像模型的应用，还可以有AR导航、AR看星空等，通过实时识别目标环境中的地理特征、星系特征，调出数据库中的虚拟图像模型，进行直观的AR投影展示。

2)通过本发明系统对投影界面的现实场景中的目标载体的三维图像信息采集后在系统内部进行三维重构，在投影器工作期间和非工作期间采集均可，则可以把重构后的目标载体加入到以下应用场景中：终端电子游戏场景、网络商店的产品展示界面以及视频电话的远端通话对象实况在本地视频实时投影回放。本发明系统在这些的场景应用以近景为主，当然也能用于远景。

如图18所示为终端1801对实际场景中的人体进行目标三维信息采集1806，获取原始的实景目标RGBD信息，然后系统在投影播放的游戏场景，图中为实景湖面1805，实景湖面1805中存在目标载体，比如：图中的小船1802的识别，识别成功后在目标载体加载基于实景目标的RGBD信息重构的虚拟三维图像模型，比如小人1803，就可达到实景融于虚景的AR游戏效果。如果投影播放的游戏场景界面中另有实际人存在的话(图中未示出)，可以依托其人的身姿、手势等进行实时立体交互。

如图19所示为终端对实际场景中的商品进行目标三维信息采集，获取原始的实景目标RGBD信息，然后系统在投影播放的网络商店的商品信息界面中进行目标载体，其中，包括：具有AR投影功能移动终端1901，目标载体1902，商品三维重构虚拟图像1903，商网店商品展示画面1904，投影墙面或幕布1905，商品三维信息采集1906，商品1907。

比如：图中的固定商品图位置的识别，识别成功后在目标载体连续加载基于实景目标的RGBD信息重构的多个虚拟三维图像模型，就可让固定不动的商品呈现三维动态效果，便于潜在用户全面了解商品特征。如果投影播放的游戏场景界面中另有实际人的手指存在的话(图中未示出)，可以依托手指对商品的细节位置点击，进一步加载新的另外重构的关于商品细节的三维图像模型，实现触控交互效果，使得用户AR网络购物体验更佳。与之类似的应用还有AR布置家居，把三维重构的家居虚拟图像模型放置到投影界面中的某具体目标位置；当然此应用，也可以通过先三维识别家居位置然后再叠加虚拟模型的方式。

如图20所示为终端经由无线网络进行视频电话时，本地终端对远端终端通话对象实况在本地视频实时投影回放的情景。其中，包括：具有AR投影功能移动终端2001，目标载体2002，人头部虚拟三维重构图像2003，远端移动终端2004，投影墙面、幕布或全息膜2005，远端终端人头部三维信息采集2006，本地终端人头部三维信息投影回放2007，无线网络空口2008。

本地终端和远端终端视频通话建立后，远端终端通过可见光摄像头获取人头部及身体(图示只给出头部)RGB信息和红外摄像头获取深度D信息并融合为人头部及身体RGBD信息，然后经由空口无线网络把此种信息传递到本地终端，本地终端系统在投影播放的远端终端通话人视频界面中进行目标载体的识别，即远端人体的二维图像，识别成功后在目标载体连续加载基于实景目标的RGBD信息重构的多个虚拟三维图像模型，就可本地投影画面呈现三维动态效果，使得本地终端通话人能达到感受到和远端人面对面通话的效果。除了通常的三维重构图像投影到墙面或幕布，还可以在三维重构技术基础上深加工的全息图像投影到全息膜，通常原始全息图像是参考光和物光干涉形成，远端终端需增加干涉成像设备，以衍射方式重放，此时本地终端可选投影器镜头可选增加衍射光栅；但还可以直接远端和本体终端内部均通过复杂算法来实现全息成像和全息三维重构上，实现全息视频通话。这种三维视频数据的远端传播对无线网络数据高传输率、低失真率、短时延性要求很高，通常的4G终端难以满足，此应用场景更适合由5G无线终端来实现。

3)用于监控场景，主要是近景监控，通过人脸识别、物体检测识别后进行墙面投影显示等，如图21所示(仅示出人脸识别例)，其中，包括：具有AR投影功能移动终端2101，目标载体2102，人头部虚拟三维重构图像2103，分析数据等虚拟内容2104，投影墙面或幕布2105，显示屏正面2106，显示屏背面2107。

不同于图16和图17的实时互动响应，此应用终端会识别成功后变换方位延时投影，延时后的投影画面可以叠加技术分析数据等虚拟内容，这种技术分析数据即可以是经分析计算得来的目标载体二维或三维数据匹配信息，也可以是目标载体多次识别三维重构后叠加在一起的三维图像数据。此种应用状态，也可以作为单纯的自我人脸识别进行终端安全解锁，解锁后需要终端翻转180度到显示屏面进一步使用。

上述三大类应用模式均表明本发明系统可以应用于实现更精准的3D AR应用，能够将虚拟模型呈现在真实环境中。同时，基于上述应用模式均还有很多具体应用，具体到每个应用也都有进一步扩展空间，不再赘述。

本发明装置的用户界面可以采用应用APP方式，如图22所示，应用的一级菜单设置AR投影2201，可选增设背投22011、倒置模式22012、AR视频采集2202、AR视频通话2203、人脸识别2204、物体识别2205、AR应用2206等基本功能模式，AR应用再设置二级菜单，把AR购物22051、AR导航22052，AR布置家居22053、看星空22054、AR游戏22055等容纳其中。

实施本发明的技术方案后，可以实现终端自主根据前向目标探测距离远近发挥结构光学投影器近距精准探测和飞时测距传感器远端三维定位各自优势。从最终的用户使用角度来说，用户可以直接在现实环境中而不是局限在头盔或特定的房间内体验AR投影。同时，借助终端，比如：手机、平板电脑、微型智能投影仪以及其他便携式终端的灵活位移特征，更加扩大用户的AR投影体验活动范围。本发明应用场景如：终端根据摄像头实时拍摄的目标载体加载虚拟内容实现AR投影；系统响应实时投影界面动态趋势实现完全立体交互式触控AR投影体验；直接用终端实现对门禁处的人脸或物体检测和目标识别然后直接把识别结果投影显示出来；终端实时采集现实场景中的目标载体三维信息之后系统把其三维重构到虚拟场景并投影播放新的虚拟场景(用于AR游戏播放、网店产品投影展示以及远程视频通话时对对方形体的3D投影展示)；另外，终端远程通话终端还可以用于用户识别自己以安全解锁。

基于前述的实施例，本发明实施例提供一种投影装置，应用于移动终端，如图23所示，所述装置包括处理器2302和用于存储能够在处理器2302上运行的计算机程序的存储器2301；其中，所述处理器2302用于运行所述计算机程序时，以实现：

确定目标载体的深度信息；将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，获取所述目标载体的三维特征信息；根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

上述本发明实施例揭示的方法可以应用于所述处理器2302中，或者由所述处理器2302实现。所述处理器2302可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器2302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器2302可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器2302可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器2301，所述处理器2302读取存储器2301中的信息，结合其硬件完成前述方法的步骤。

可以理解，本发明实施例的存储器(存储器2301)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-OnlyMemory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-OnlyMemory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-OnlyMemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

这里需要指出的是：以上终端实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明终端实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。

在示例性实施例中，本发明实施例还提供了一种计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器2301，上述计算机程序可由处理器2302执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：

确定目标载体的深度信息；将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，获取所述目标载体的三维特征信息；根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

这里需要指出的是：以上终端实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明终端实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (13)

1.一种投影装置，应用于移动终端，其特征在于，所述装置包括处理器、红外飞时测距传感器、结构光组件和可见光投影器；其中，所述结构光组件由光栅式结构光部件或飞行时间TOF结构光部件组成；光栅式结构光部件由红外结构光学点阵投影器和红外摄像头组成，TOF结构光部件由红外飞时测距传感器、红外摄像头和可见光摄像头组成；其中，

所述处理器，用于控制所述红外飞时测距传感器确定目标载体的深度信息；

所述处理器，用于将所述深度信息与设定的阈值进行比较，得到比较结果；根据所述比较结果，所述处理器控制所述结构光组件采集所述目标载体的三维特征信息；

所述处理器，用于根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；

所述可见光投影器，用于将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

2.根据权利要求1所述的装置，其特征在于，所述红外飞时测距传感器，用于发射红外光，并接收所述目标载体反射的红外光；

所述处理器，用于根据发射红外光的时间和接收反射的红外光的时间的时间差，确定所述目标载体的深度信息。

3.根据权利要求1所述的装置，其特征在于，所述红外飞时测距传感器，用于发射红外光；

所述红外摄像头接收所述目标载体反射的红外光；

所述处理器，用于根据发射红外光的时间和接收反射的红外光的时间的时间差，确定所述目标载体的深度信息。

4.根据权利要求1所述的装置，其特征在于，所述处理器，用于若所述深度信息小于设定的阈值，控制所述光栅式结构光部件检测所述目标载体的三维特征信息。

5.根据权利要求1所述的装置，其特征在于，所述处理器，用于若所述深度信息大于或等于设定的阈值，控制所述TOF结构光部件检测所述目标载体的三维特征信息。

6.根据权利要求4所述的装置，其特征在于，所述红外结构光学点阵投影器，用于投射衍射光栅红外光点阵；

所述红外摄像头，用于采集所述目标载体反射的调制红外光；

所述处理器，用于根据所述红外摄像头采集的调制红外光解调出所述目标载体的三维特征信息。

7.根据权利要求5所述的装置，其特征在于，所述可见光摄像头获取所述目标载体的二维特征信息；

根据所述二维特征信息和所述深度信息确定所述目标载体的三维特征信息。

8.根据权利要求1所述的装置，其特征在于，所述红外飞时测距传感器、所述红外结构光学点阵投影器或所述可见光投影器采用垂直共腔振表面放射激光VCSEL光源。

9.一种投影方法，应用于移动终端，其特征在于，所述方法包括：

确定目标载体的深度信息；

将所述深度信息与设定的阈值进行比较，得到比较结果；

根据所述比较结果，获取所述目标载体的三维特征信息；

根据所述目标载体的三维特征信息，将虚拟数据与所述目标载体叠加；

将所述虚拟数据和所述目标载体叠加生成的数据进行投影。

10.根据权利要求9所述的方法，其特征在于，所述根据所述比较结果，获取所述目标载体的三维特征信息包括：

若所述深度信息小于所述阈值，检测所述目标载体的三维特征信息。

11.根据权利要求9所述的方法，其特征在于，所述根据所述比较结果，获取所述目标载体的三维特征信息包括：

若所述深度信息大于或等于所述阈值，检测所述目标载体的二维特征信息；

根据所述二维特征信息和所述深度信息，确定所述目标载体的三维特征信息。

12.根据权利要求9所述的方法，其特征在于，所述方法还包括：

获取所述目标载体的动态信息；

根据所述动态信息对所述虚拟数据进行调整，得到调整后的虚拟数据；

相应地，将虚拟数据与所述目标载体叠加包括：

根据所述调整后的虚拟数据与所述目标载体叠加。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求9至12任一项所述方法的步骤。

Images