增强现实投影装置及方法
技术领域
本发明涉及光学投影及测量技术领域,尤其涉及一种用于深度图像获取以及增强现实投影的装置及方法。
背景技术
与传统虚拟现实技术所要达到的完全沉浸的效果不同,增强现实技术致力于将计算机生成的物体叠加到现实景物上。它通过多种设备,如深度相机和投影仪结合使用,让虚拟物体能够叠加到真实场景上;同时,使用者可以通过各种方式来与虚拟物体进行交互。增强现实技术在工业设计、机械制造、建筑、娱乐和教育等领域都有着广泛的应用前景。
现有技术中,增强现实往往将深度相机和投影仪结合使用。深度相机采集被测空间的深度图像,深度图像反映了被测物体与深度相机之间的距离信息,因而也直接反映了被测物体的三维形状。投影仪根据深度图像,再将增强现实图案进行投影。常用的投影仪如数字投影仪(DLP),用于向空间中投射图片或视频图像来对空间中物体的信息进行增强显示。例如在地理教学应用中,通过深度相机获取地表深度信息,然后利用投影仪向地表投射用于说明或显示的图片或视频图像,进一步的实例如教学沙盘等。
这一类实例中,深度相机与投影仪是分开的设备,二者在应用前需要进行校准,也就是说,构造整个系统需要占用较大的空间以及需要较为专业的人员来进行安装等,这就导致这类设备难以普及。在其他应用,比如基于头戴式增强现实设备中也同样面临此类问题。
发明内容
为解决上述问题,本发明提供一种增强现实投影装置及投影方法,该装置将深度相机和投影仪集成在一起,减少体积的同时也降低了功耗,而且无需校准。
本发明提供一种增强现实投影装置,该装置包括:
投影模组,所述投影模组用于向被测空间发射用于计算深度图像的结构光图案和用于显示的增强现实图案;
采集模组,所述采集模组用于采集由被测空间反射的结构光图案;
处理器,所述处理器用于接收所述结构光图案并计算出深度图像;所述处理器还用于根据所述深度图像和/或所述结构光图案来生成增强现实图案。
优选地,所述结构光图案发射时间小于所述增强现实图案的发射时间。
优选地,所述结构光图案及所述增强现实图案均为可见光图案。
优选地,所述结构光图案为二值化图案或灰度图案;所述增强现实图案为彩色图案。
优选地,所述增强现实图案为文字、符号、图片中的一种或多种的结合。
优选地,所述用于接收所述结构光图案并计算出深度图像包括:利用一个采集模组采集的结构光图案与预先采集的参考结构光图案计算出各像素的偏离值,进一步根据所述偏离值计算出所述深度图像。
优选地,所述用于接收所述结构光图案并计算出深度图像包括:利用至少两个采集模组采集的结构光图案计算出各像素的偏离值,进一步根据所述偏离值计算出所述深度图像。
优选地,所述采集模组还用于采集所述包含增强现实图案的被测空间图像;所述装置还包括显示器,所述显示器用于显示所述被测空间图像。
优选地,所述根据所述深度图像和/或所述结构光图案来生成增强现实图案包括:
根据所述深度图像识别所述被测空间的第一信息,再生成增强现实图案,所述第一信息包括空间位置、姿势、动作中的一种或几种;
或根据所述结构光图案识别被测空间的第二信息,再生成增强现实图案,所述第二信息包括形状、颜色中的一种或几种;
或根据所述深度图像和所述结构光图案识别被测空间的第一信息和第二信息,再生成增强现实图案。
本发明还提供一种增强现实投影方法,该方法包括如下步骤:
S1.投影模组向被测空间中发射结构光图案;
S2.采集模组采集由被测空间反射的结构光图案;
S3.处理器根据所述结构光图案计算出深度图像,并根据所述深度图像和/或所述结构光图案生成增强现实图案;
S4.投影模组向被测空间中发射所述增强现实图案;
S5.重复以上步骤。
优选地,所述结构光图案发射时间小于所述增强现实图案的发射时间,所述结构光图案及所述增强现实图案均为可见光图案。
本发明的有益效果:通过投影模组向被测空间发射用于计算深度图像的结构光图案和用于显示的增强现实图案,将深度相机的投影模组和投影仪的投影模组集成在一起,减少了装置的体积、降低了功耗;而且省略了校准的环节,进一步避免了因校准误差而导致投影效果不佳;增加了设备的可操作性,便于普及推广,且具有更好的投影效果。
附图说明
图1为本发明实施例1增强现实投影装置的结构示意图。
图2为本发明实施例1的投影模组的投影方式的示意图。
图3a为本发明实施例2增强现实投影装置的结构示意图。
图3b为本发明实施例2增强现实投影装置的结构示意图。
图4为本发明实施例3增强现实投影方法的流程图。
图5为本发明实施例3增强现实投影装置的应用环境示意图。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明,应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
传统的增强现实投影通常由单独、分离的深度相机和投影仪结合使用,使用之前进行校准,然后由深度相机实现深度图像获取,由投影仪实现增强现实投影。本实施例通过将深度相机与投影仪结合在一个装置中,实现深度图像获取和增强现实投影两个功能。如图1所示,一种增强现实投影装置100,包括:投影模组101,用于向被测空间发射用于计算深度图像的结构光图案和用于显示的增强现实图案;采集模组102,用于采集由被测空间反射的结构光图案;处理器103,用于接收所述结构光图案并计算出深度图像,同时还用于根据所述深度图像和/或所述结构光图案来生成增强现实图案。投影模组101、采集模组102、处理器103被安装在主板104上并与主板连接,一般地,处理器103被集成在主板104上,投影模组101与采集模组102通过接口与主板104连接,优选接口为FPC接口。
对于增强现实投影,即是为了增强现实的作用,首先需要对被测物体进行识别及定位,这里的识别包括但不限于对物体本身的识别、物体姿势识别等等,定位即对物体的三维空间位置进行识别,定位的目的是保证能将增强现实的信息正确地投影到正确的位置。因此首先需要获取被测空间或物体的深度图像;然后利用深度图像来对被测空间或物体进行识别及定位,其次根据识别及定位的结果生成用于增强现实的图案;最后将该增强现实用的图案投影到被测物体上。
为了一个装置能够实现深度图像获取和增强现实投影这两种功能,本实施例的投影模组除向空间中投影出用于计算深度图像的光束,还需要向空间中投影出增强现实图案。本实施例采用数字化投影仪(DLP),DLP投影的内容可以被任意编码,编码方法如下:投影仪在时间序列上交错地向所述被测空间中发射结构光图案与增强现实图案,在某一时刻编码出结构光图案并投影到空间中,采集模组获取该结构光图案后一方面可用于物体识别(包括形状等),另一方面可以进行深度图像获取;在下一时刻编码出增强现实图案,并向空间中投影;此后以此方法进行循环。
传统方法为了获取深度图像,通常投影模组向被测空间发射不可见光,如:采用激光光源发射激光光束;为了增强现实投影,投影模组发射的增强现实图案为可见光。在本实施例中,为了能够实现上述的两种功能,投影模组投影的结构光图案和增强现实图案都采用可见光图案。在这种方式下,人眼希望看到更多的是增强现实图案,而尽可能地避免关注结构光图案,因此可以将结构光图案的发射时间设置成小于增强现实图案的发射时间。例如,如图2所示,当DLP的投影模组以60HZ的频率进行投影,结构光图案投影1次而增强现实图案投影4次的方式进行循环。所述增强现实图案为文字、符号、图片中的一种或多种的结合,或者为连续帧图片组成的视频图案等。
投影模组发射结构光图案后,采集模组采集由测空间反射的结构光图案。采集模组与投影模组的光轴平行并错开一定的距离放置,这主要考虑到基于结构光三角法深度测量的需要。
本实施例中的采集模组为一个,故该结构光图案被预先存储在非易失性内存中作为参考图像,发射出的结构光图案被空间中物体调制后发生变形,变形后的结构光图案被采集模组采集后传输到处理器中,处理器利用当前获取的结构光图像与参考图像,通过图像匹配算法计算各个像素的偏离值(变形),最后利用三角法原理可以计算出深度,计算公式如下:
其中,ZD指三维空间点距离采集模组的深度值,即待求的深度数据,B是采集模组与投影模组之间的距离,Z0为参考图像离采集模组的深度值,f为采集模组中镜头的焦距,Δ为像素的偏移值。
值得注意的是这里的处理器是一个统称,可以是单个的能够实现各个功能的处理器,也可以是由多个分离的专用处理器组成的。例如,由专门用于获取深度图像的深度处理器以及用于进行识别及定位的通用处理器,其中通用处理器可以被集成在本发明的装置中,一种扩展的方式指的是具有更强大计算功能的计算机内的处理器,装置通过与计算机连接来实现相应的功能。
以上对实施例1进行了说明,但本实施例还可以有一些变型的方式,比如:针对于投影模组,将结构光图案设置成不易被识别的二值化或灰度图像,而增强现实图案设置成彩色图像。又比如:投影模组也可以采用红外激光等方式进行投影,如:边发射激光器、垂直腔面发射激光器(VCSEL)等,此时增强现实的图案是无法由人眼直接读取,需要采取额外的方式,比如增加红外相机以及显示设备(显示器、眼镜等),将增强现实信息由红外相机拍摄并传输到显示设备中进行显示。这里的红外相机也可以是本发明中装置中的采集模组。
实施例2
本实施例提供的一种增强现实投影装置100,如图3a和图3b所示,包括:投影模组101,用于向被测空间发射用于计算深度图像的结构光图案和用于显示的增强现实图案;第一采集模组1021和第二采集模组1022,都用于采集由被测空间反射的结构光图案;处理器103,用于接收所述两个采集模组采集的结构光图案并计算出深度图像,同时还用于根据所述深度图像和/或所述结构光图案来生成增强现实图案。同样,投影模组101、第一采集模组1021、第二采集模组1022、处理器103被安装在主板104上并与主板连接。
第一采集模组1021、第二采集模组1022和投影模组101的光轴平行并错开一定的距离放置,但其相互位置关系可以任意设置,可以如图3a所示,第一采集模组1021和第二采集模组1022在投影模组101的一侧,也可以如图3b所示,投影模组101在第一采集模组1021与第二采集模组1022的中间。
第一采集模组1021与第二采集模组1022可为同种类型的采集模组,也可为不同种类型的采集模组。
投影模组发射用于计算深度图像的结构光图案和用于显示的增强现实图案;本实施例与实施例1的区别在于,增强现实投影装置100包括两个采集模组102,第一采集模组1021与第二采集模组1022采集模组分别采集由被测空间调制变形后的结构光图案,并将其传输至处理器中,由处理计算出深度图像。
由于两个采集模组的存在,故结构光图案不需要被预先存储在非易失性内存中作为参考图像,而是直接利用采集的两个结构光图案进行计算。
实施例3
增强现实投影的方法如图4所示,包括:S1.投影模组向被测空间中发射结构光图案;S2.采集模组采集由被测空间反射的结构光图案;S3.处理器根据所述结构光图案计算出深度图像,并根据所述深度图像和/或所述结构光图案生成增强现实图案;S4.投影模组向被测空间中发射所述增强现实图案;S5.重复以上步骤。
步骤S1中,投影模组向被测空间发射的结构光图案可以为可见光图案,也可以为不可见光图像。可见光图案包括:二值化图像、灰度图像、彩色图像等;不可见光图像包括:红外激光图像等。
步骤S2中,采集模组可以为一个,也可以为两个,也可以为多个。当为一个时,需要将结构光图案预先存储在非易失性内存中作为参考图像,当为两个时,则不需要参考图像,直接利用两个采集模组采集的两个结构光图案即可进行计算,得到深度图像。
步骤S3中,处理器为一个统称,可为单个的能够实现各个功能的处理器,也可以是由多个分离的专用处理器组成,也可以是具有更强大计算功能的计算机内的处理器,装置通过与计算机连接来实现相应的功能。
通过计算得到的深度图像,可以识别被测空间中的位置、姿势、动作信息;根据结构光图案,可以识别被测空间的形状、颜色等信息。根据以上的单个或多个信息,生成增强现实图案。
步骤S4中,投影模组发射的增强现实图案与结构光图案相匹配,如结构光图像为可见光,则增强现实图案也为可见光;当结构光图像为不可见光时,则采取额外的方式,增加相应的设备来进行显示。
当投影模组发射的结构光图案和增强现实图案为可见光图案时,为尽可能地避免关注结构光图案,可以将结构光图案的发射时间设置成小于增强现实图案的发射时间。为进一步提高体验度,将结构光图案设置成不易被识别的二值化或灰度图像,而增强现实图案设置成彩色图像。
如图5所示,一个示例性的增强现实应用,位于顶部的是根据本发明的增强现实投影装置,被测物体位于底部,被测物体是具有一定空间起伏的地理环境,可以是固定的代表某一地区地理信息的样板,也可以是由沙子等流动物体构成了可以人为改变的地理信息样板。在制作样板时,若同时注明所有反映地表信息的文字或图案是比较费时的,目前的增强现实技术则可以被应用到这里,即通过投影仪投影相关文字或图案到相应的样板上,以实现说明等目的。
如代表某一地区地理信息的样板,包括高山、河流、湖泊等。投影模组向被测空间中发射结构光图案,采集模组采集由样板反射的结构光图案,处理器根据所述结构光图案计算出整个样板的深度图像,根据深度图像,获知高山、河流、湖泊、道路等的位置、深度信息,然后根据这些信息,生成增强现实图案,如:高山解释的文字信息,河流中生物种类的图片信息,道路的标识信息等。根据生成的增强现实图案,投影模组进行投影。
处理器根据采集模组采集的结构光图案,可以获得高山、河流、湖泊、道路等的形状、颜色等信息,根据这些信息,生成增强现实图案,如:匹配各自的形状的大小,给高山生成绿色的图案,给湖泊生成蓝色的图案。根据生成的增强现实图案,投影模组进行投影,即给高山、河流、湖泊、道路涂覆上色。
处理器也可根据深度图像和结构光图像两者,同时识别被测空间中的位置、形状、颜色等信息,生成综合的增强现实图案,再进行增强现实投影。
在一些应用中,还会涉及到人机交互,如:对于同一地区的地理样板,有时需要显示道路信息,而有时则需要显示地理环境信息,这些信息的切换则可以通过人的手势或动作的交互来完成。增强现实投影装置中的采集模组除采集被测空间的空间位置外,还采集人机交互过程中人的姿势、动作等深度图像,从而进行增强现实图案的切换。
对于其他的一些应用场景,增强现实投影装置还包括显示器,用于显示所述被测空间图像。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。