CN117726675A - 投影渲染方法、装置、投影设备及存储介质 - Google Patents

Abstract

本申请公开了一种投影渲染方法、装置、投影设备及存储介质，涉及投影技术领域。该方法包括：获取投射于目标物体的编码光图像；基于编码光图像，解码生成目标物体的点云信息或深度图信息；获取目标物体的特定部位的不可见光图像；基于目标物体的点云信息或深度图信息，以及目标物体的特定部位的不可见光图像，计算目标物体的特定部位的位姿信息；基于目标物体的特定部位的位姿信息，控制向目标物体的特定部位投影渲染图像。如此，为目标物体增加了隐式特征，在不影响目标物体上的显示渲染效果的基础上，提高了对目标物体的识别、分割、匹配的精确性及鲁棒性，进而有效保证了投影渲染效果，提高用户投影观看体验，进而提高了投影产品附加值。

Description

投影渲染方法、装置、投影设备及存储介质

技术领域

本申请涉及投影技术领域，尤其涉及一种投影渲染方法、装置、投影设备及存储介质。

背景技术

随着科技的不断进步和发展，越来越多的领域会用得到投影仪，例如，家庭影院型的投影仪、商务便携型投影仪、教育会议型投影仪、主流工程型投影仪、专业剧院型投影仪以及测量投影仪等。

在相关技术中，可以通过投影仪对目标物体进行投影渲染；通过投影仪对处在复杂背景下的目标物体上进行投影时，对该目标物体的识别、分割、匹配等会存在一定难度，也就是说，无法准确识别到待投射画面的目标物体的位置，进而导致投影画面存在偏差，影响最终的投影渲染效果。

发明内容

有鉴于此，本申请提出了一种投影渲染方法、装置、投影设备及存储介质。

第一方面，本申请实施例提供了一种投影渲染方法，所述方法包括：获取投射于目标物体的编码光图像；基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息；获取所述目标物体的特定部位的不可见光图像；基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息；基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

第二方面，本申请实施例提供了一种投影渲染装置，所述装置包括：编码光图像获取模块、图像解码模块、图像获取模块、位姿计算模块以及渲染模块。编码光图像获取模块，用于获取投射于目标物体的编码光图像；图像解码模块，用于基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息；图像获取模块，用于获取所述目标物体的特定部位的不可见光图像；位姿计算模块，用于基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息；渲染模块，用于基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

第三方面，本申请实施例提供了一种投影设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。

本申请提供的方案中，获取投射于目标物体的编码光图像；基于编码光图像，解码生成目标物体的点云信息或深度图信息；获取目标物体的特定部位的不可见光图像；基于目标物体的点云信息或深度图信息，以及目标物体的特定部位的不可见光图像，计算目标物体的特定部位的位姿信息；基于目标物体的特定部位的位姿信息，控制向目标物体的特定部位投影渲染图像。如此，通过引入不可见光图像标记目标物体的特定部位，为目标物体增加了隐式特征，在不影响投影设备投射出的可见光叠加显示在目标物体上的显示渲染效果的基础上，结合可见光图像与点云信息或深度图信息，对目标物体的特定部位进行位姿计算，提高了对目标物体的识别、分割、匹配的精确性及鲁棒性，进而有效保证了投影渲染效果，提高用户投影观看体验，进而提高了投影产品附加值。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的投影渲染方法的投影渲染示系统的系统架构图。

图2示出了本申请一实施例提供的投影渲染方法的流程示意图。

图3示出了本申请一实施例提供的结构光解码的流程示意图。

图4示出了本申请一实施例提供的目标物体的示意图。

图5示出了本申请一实施例提供的可见光图像的图像示意图。

图6示出了本申请一实施例提供的不可见光图像的图像示意图。

图7示出了本申请再一实施例提供的投影渲染方法的流程示意图。

图8示出了图7中步骤S350在一实施方式中的子步骤的流程示意图。

图9示出了图8中步骤S353在一实施方式中的子步骤的流程示意图。

图10是根据本申请一实施例提供的一种投影渲染装置的框图。

图11是本申请实施例的用于执行根据本申请实施例的投影渲染方法的投影设备的框图。

图12是本申请实施例的用于保存或者携带实现根据本申请实施例的投影渲染方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

针对上述问题，发明人提出一种投影渲染方法、装置、投影设备及存储介质，基于目标物体的点云信息或深度图信息，以及目标物体的特定部位的不可见光图像，计算目标物体的特定部位的位姿信息；并基于目标物体的特定部位的位姿信息，控制向目标物体的特定部位投影渲染图像。下面对该内容进行详细描述。

请参阅图1，图1为本申请一实施例提供的一种投影渲染方法的投影渲染系统10的架构图。其中，该系统10可以包括：投影设备101、可见光图像采集单元102以及不可见光图像采集单元103。投影设备101分别与可见光图像采集单元102以及不可见光图像采集单元103相连，基于此，投影设备101可以分别与可见光图像采集单元102以及不可见光图像采集单元103之间进行数据交互，交互的数据包括但不限于控制指令、图像、文字、视频等内容。

其中，投影设备101可以是台式投影机、便携式投影机、落地式投影机、反射式投影机、透射式投影机、单一功能投影机、多功能投影机、智能投影机或触控互动投影仪等投影仪，当然，还可以是其他任何具备投影功能的电子设备；可见光图像采集单元102可以是可见光相机，可见光相机拍摄的图像为可见光图像；不可见光图像采集单元103可以是红外相机，红外相机拍摄的图像为红外图像，该红外图形可以是近红外图像，也可以是热红外图像。

在一些实施方式中，投影设备101可以利用可见光图像采集单元102来获取投射于目标物体的编码光图像；基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息；在利用不可见光图像采集单元103来获取所述目标物体的特定部位的不可见光图像；投影设备101基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息；于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

请参照图2，图2为本申请一实施例提供的一种投影渲染方法的流程示意图。下面将结合图2对本申请实施例提供的投影渲染方法进行详细阐述。该投影渲染方法可以包括以下步骤：

步骤S210：获取投射于目标物体的编码光图像。

在本实施例中，目标物体可以理解为待投影渲染的物体，例如，屏幕、幕布、动漫人物模型、墙壁、桌椅等，本实施例对此不作限制。

在一些实施方式中，可以基于结构光技术向目标物体投射编码光图像，对应地，投影设备可以控制可见光图像采集单元实时采集投射于目标物体上的编码光图像，并将采集到的编码光图像传输给投影设备，进而投影设备则可以获取到投射于目标物体上的编码光图像。

步骤S220：基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息。

在本实施例中，在获取到编码光图像后，则可以对编码光图像进行解码，生成目标物体的点云信息或深度图信息。其中，点云数据指目标物体的表面的海量点的集合，其实质为海量点的三维坐标信息，也就是说，通过该点云数据可以获知到目标物体的表面的海量点中每个点到可见光图像采集单元的相对距离。深度图信息中包含目标物体的表面的海量点与可见光图像采集单元的相对距离。深度图像(Depth Images)，也被称为距离影像(Range Images)，是指将图像采集器到场景中各点的距离(深度)值作为像素值的图像，它直接反映了景物可见表面的几何形状，利用它可以很方便的解决3D目标描述中的许多问题。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。可以理解地，目标物体在现实场景中是三维的，但拍摄得到的图像确实二维的，也就是说，在拍摄图像的过程中丢失了一维的信息，该一维的信息即为目标物体在现实场景中相较于其他物体的相互距离。也就是说，仅仅只靠一张包含目标物体的可见光图像和不可见光图像，无法确定目标物体在现实场景中的实际位置信息。因此，可以通过生成目标物体的点云信息或深度图信息，并从点云信息或深度图信息中进一步获取目标物体的深度信息，该深度信息可以理解为现实场景中目标物体上的各个点相对于相机的距离。

可选地，上述点云信息或深度图信息可以通过双目立体视觉技术、结构光技术或时差测距技术等技术获取得到。具体使用哪种技术来获取目标物体的深度信息可以根据现实场景的不同进行选择，例如，在室内的现实场景则可以通过结构光技术，即通过一个可见光相机和投影条纹斑点编码的方式，来测量目标物体的深度信息，可以得到分辨率较高的深度图。又例如，在室外光线变化较为复杂的现实场景，可以通过时差测距技术，即通过飞行时间法(Time of flight，TOF)来测量目标物体的深度信息，抗干扰性能好，在环境较为复杂的现实场景也能准确获取到目标物体的深度信息。

示例性地，在本实施例可以通过结构光技术获取目标物体的深度信息，结构光法原理其实是跟双目视觉一样的，都是要确定对应“匹配点”，利用“视差”三角关系计算距离。虽然本方案的结构光系统是单目的，但我们可以将其看作“双目”的，因为投影设备可以看作是一个“逆向”的相机。基于此，投影设备可以主动投影编码光图像来标记唯一位置，例如投影多副相移图案，并借助第一图像采集单元依次采集投影至目标物体上的该图像序列，即第一图像的数量可以为多张，多张第一图像构成该图像序列。如图3所示，四步相移图案即为前述正弦条纹图像序列，通过四步相移公式计算目标物体在第一图像中每个像素点的相位主值，在通过格雷码对每个像素点的相位主值进行解码展开相位，展开得到的是每个像素点位置的绝对相位值，利用展开的相位(即解码结果)计算目标物体的点云信息或深度图信息。

步骤S230：获取所述目标物体的特定部位的不可见光图像。

可以理解地，由于目标物体所处的现实场景较为复杂，例如，目标物体所处的现实场景中包含大量不同颜色的其他物体，或者，现实场景中的颜色与目标物体的颜色相近，此时，则会导致无法稳定、精确的识别、分割、匹配目标物体，也就无法实现对目标物体上进行指定显示内容的投影渲染。

基于此，可以预先在目标物体上设置红外标记，红外标记可以是被涂抹的红外反射颜料(Infrared Reflective Pigment，IR颜料)，IR颜料是一种在可见光区能呈现一定的色彩，在红外区具有反射红外光性能的颜料。也就是说，涂抹的IR颜料不会影响投影设备投射出的可见光叠加显示在目标物体上的显示渲染效果，同时，又为目标物体增加了隐式特征，该隐式特征无法被可见光相机采集到，仅能被非可见光相机采集到，例如，仅能被红外相机采集到。如此，可以借助红外相机采集包含有目标物体上的红外标记的不可见光图像，并结合可见光相机采集的包含目标物体的编码光图像，来有效提高对该目标物体的识别、分割、匹配的精确性及鲁棒性。

可以理解地，红外标记的大小、形状以及红外标记设置在目标物体上的位置均可以预先根据实际需求进行设置。红外标记可以仅覆盖目标物体的特定部位，如图4所示，红外标记31可以被涂抹至目标物体32的特定部位；此时，图5即为上述可见光图像采集单元采集的可见光图像，该图像中仅包含有目标物体32，无法采集到红外标记31；图6即为上述不可见光图像采集单元采集的不可见光图像，该不可见光图像中则包含有红外标记31。

可选地，红外标记也可以完全覆盖目标物体的所有区域，本实施例对此不作限制。

因此，在获取到目标物体的点云信息或深度图信息之后，可以进一步结合不可见光图像采集单元，对目标物体进行图像采集，获取所述目标物体的特定部位的不可见光图像，再结合不可见光图像来综合对目标物体进行更为精确且更为稳定的识别、分割及匹配。

步骤S240：基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息。

进一步地，在获取到目标物体的点云信息或深度图信息，以及目标部位的特定部位的不可见光图像之后，可以借助不可见光图像采集单元与可见光图像采集单元之间的对应关系及可见光图像采集单元与点云信息(或深度图信息)之间的对应关系，即可得到不可见光图像(如红外纹理)与点云信息之间的对应，然后借助多点透视成像(Perspective-n-Point，PnP)算法可直接估计目标物体的特定部位的位姿信息。

步骤S250：基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

可以理解地，目标物体的位姿不同，投影至目标物体上的图像角度也不同。例如，通过投影的方式，在卡通模型上显示不同图案的皮肤，卡通模型可以被设置为可运动的状态，卡通模型从正面朝向观众转动到背面朝向观众，其皮肤显示的图案也不同。因此，可以实时检测目标物体的位姿信息，并获取与位姿信息对应的渲染图像，最后，投影设备对渲染图像进行投影，以使渲染图像叠加显示在目标物体上，完成对目标物体的投影渲染。如此，可以实现对目标物体的精确渲染投影，提高了投影渲染效果，进而提高了用户的投影观看体验。

在一些实施方式中，可以针对目标物体上的不同区域，预先设置投影不同的预设图像，例如，在卡通模型的肚子上投影出口袋的图像，在卡通模型的手臂上投影出旗子的形状。基于此，可以获取所述目标物体对应的多张预设图像；从所述多张预设图像中，获取与所述红外标记对应的预设图像，作为目标图像；由于目标物体可能处于运动状态，因此，还可以根据位姿信息，对目标图像进行图像校正，得到渲染图像，即使得投影至目标物体上的渲染图像与目标物体的实时位姿相匹配，保证了投影渲染效果，提高了用户的视觉体验。

在另一些实施方式中，可以预先设置有目标物体对应的三维显示模型，该三维显示模型可以是黑白的，也可以是彩色的，本实施例对此不作限制。基于此，可以获取所述目标物体对应的三维显示模型；确定所述三维显示模型在所述位姿信息下的二维显示图像，作为所述渲染图像，也就是说，根据目标物体的位姿信息，将三维显示模型按照该位姿信息映射至二维平面，得到二维显示图像，该二维显示图像即为渲染图像。如此，也能实现投影出与目标物体的姿态信息相匹配的渲染图像，提高了投影渲染效果，增强了用户视觉体验。

在本实施例中，获取投射于目标物体的编码光图像；基于编码光图像，解码生成目标物体的点云信息或深度图信息；获取目标物体的特定部位的不可见光图像；基于目标物体的点云信息或深度图信息，以及目标物体的特定部位的不可见光图像，计算目标物体的特定部位的位姿信息；基于目标物体的特定部位的位姿信息，控制向目标物体的特定部位投影渲染图像。也就是说，通过引入红外标记，为目标物体增加了隐式特征，在不影响投影设备投射出的可见光叠加显示在目标物体上的显示渲染效果的基础上，提高了对目标物体的识别、分割、匹配的精确性及鲁棒性，进而有效保证了投影渲染效果，提高用户投影观看体验，进而提高了投影产品附加值。

请参照图7，图7为本申请再一实施例提供的一种投影渲染方法的流程示意图。下面将结合图7对本申请实施例提供的投影渲染方法进行详细阐述。该投影渲染方法可以包括以下步骤：

步骤S310：获取投射于目标物体的编码光图像。

步骤S320：基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息。

步骤S330：获取所述目标物体的特定部位的不可见光图像。

在本实施例中，步骤S310至步骤S330的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。

步骤S340：提取所述红外图像中所述红外标记对应的红外特征点数据。

可以理解得，红外图像中包含有涂抹在目标物体表面的红外标记，因此，可以提取出红外标记对应的红外特征点数据，以便后续结合点云数据一起计算出目标物体的位姿信息；避免了仅根据点云数据计算出的目标物体的位姿信息不太精确、进而导致投影渲染存在偏差、投影效果不好等问题的发生。

步骤S350：根据所述点云信息或深度图信息，以及所述红外特征点数据，计算所述目标物体的特定部位的位姿信息。

在一些实施方式中，所述点云信息包括第一坐标系下的多个点云坐标信息，所述红外特征点数据包括第二坐标系下的多个红外特征点坐标信息，所述第一坐标系是基于投影设备中的可见光图像采集单元建立的，所述第二坐标系是基于所述投影设备中的不可见光图像采集单元建立的。请参阅图8，步骤S350可以包括以下步骤S351至步骤S353中的内容：

步骤S351：根据所述第一坐标系与所述第二坐标系之间的第一预设转换参数，将所述多个点云坐标信息分别转换为所述第二坐标系下的坐标信息，得到多个第一坐标信息。

在本实施例中，第一坐标系是基于可见光图像采集单元建立的，以可见光图像采集单元为可见光相机为例，第一坐标系可以是以可见光相机的光心为原点建立的三维坐标系；第二坐标系是基于不可见光图像采集单元建立的，以不可见光图像采集单元为红外相机为例，第二坐标系可以是以红外相机的光心为原点建立的三维坐标系。

可以理解地，点云数据是基于可见光图像采集单元获取得到，因此，点云数据中每个点云坐标信息是在第一坐标系下的坐标信息，而不可见光图像中的红外特征点坐标信息是第二坐标系下的坐标信息，若将点云数据与红外特征点数据进行融合以计算位姿信息，需要将两种数据转换至同一坐标系下进行计算。基于此，可以根据第一坐标系与第二坐标系之间的第一预设转换参数，将多个点云坐标信息分别转换为第二坐标系下的坐标信息，得到多个第一坐标信息。其中，第一预设转换参数是通过双目标定得到的，具体的标定过程可以参阅现有技术中的实施方式，在此不再赘述；当然，其他可以用于标定两个相机之间的对应关系(即两个坐标系之间的坐标转换参数)的方法也在本申请的保护范围内，在此不再赘述。

步骤S352：从所述多个第一坐标信息中获取目标坐标信息，作为第二坐标信息，所述目标坐标信息与所述多个红外特征点坐标信息构成的区域的区域位置匹配。

在本实施例中，由于点云数据不精确，进而导致基于点云数据转换得到的多个第一坐标信息中也存在不精确的问题，因此，可以结合红外特征点数据进行校正。具体地，确定多个红外特征点坐标信息对应的目标区域，该目标区域也就是红外标记所在的区域，即目标物体的特定部位所对应的区域；从所述多个第一坐标信息中，筛选位于所述目标区域内的第一坐标信息，作为所述第二坐标信息。也就是说，将可见光信息中的特征点的描述信息添加融合至红外特征点的描述信息，避免了基于可见光信息确定的点云数据不精确，造成的位姿定位不准确的问题，同时，也可以进一步提高基于红外特征点进行位姿计算的准确度。

步骤S353：根据所述多个红外特征点坐标信息与所述第二坐标信息，计算所述目标物体的特定部位的位姿信息。

在一些实施方式中，请参阅图9，步骤S353可以包括以下步骤S3531至步骤S3532中的内容：

步骤S3531：根据所述第二坐标系与第三坐标系之间的第二预设转换参数，将所述多个红外特征点坐标信息与所述第二坐标信息转换为所述第三坐标系下的坐标信息，得到多个第三坐标信息，所述第三坐标系是基于投影设备建立的。

在本实施例中，第三坐标信息是基于投影设备建立得到的，但是，前述获取到的红外特征点坐标信息以及第二坐标信息均是第二坐标系下的坐标信息，并且，投影渲染是由投影设备投射可见光至目标物体上，因此，需要获取目标物体在基于投影设备建立得到的第三坐标系中的位姿信息。基于此，可以根据第二坐标系与第三坐标系之间的第二预设转换参数，将多个红外特征点坐标信息与第二坐标信息转换为第三坐标系下的坐标信息，得到多个第三坐标信息。其中，第二预设转换参数也可以是预先通过标定投影设备与红外相机之间的关系得到的，具体如何标定可以参阅现有技术中的方法，在此不再赘述。

在另一些实施方式中，也可以基于多个红外特征点坐标信息与所述第二坐标信息，计算出目标物体在第二坐标系中的位姿信息；然后，再根据第二坐标系与第三坐标系之间的第二预设转换参数，将目标物体在第二坐标系中的位姿信息转换至第三坐标系中的位姿信息。

步骤S3532：根据所述多个第三坐标信息，确定所述目标物体的特定部位在所述第三坐标系中的位姿信息。

基于此，在获取到目标物体表面上的红外标记所在区域的多个点对应的多个三维坐标信息之后，可以通过PnP算法计算目标物体的特定部位在第三坐标系下的位姿信息。其中，计算位姿信息的具体实施方式可以参阅相关技术，在此不再赘述。

步骤S360：基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

在本实施例中，步骤S360的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。

在本实施例中，投影设备基于可见光相机采集的图像序列，生成目标物体对应的点云数据或深度图信息；并结合红外图像中的红外特征点数据，确定目标物体的特定部位的位姿信息；基于该位姿信息，控制向所述目标物体的特定部位投影渲染图像。也就是说，通过引入红外标记，为目标物体增加了隐式特征，将可见光信息中的特征点的描述信息添加融合至红外特征点的描述信息，避免了基于可见光信息确定的点云数据不精确，造成的位姿定位不准确的问题，同时，也可以进一步提高基于红外特征点进行位姿计算的准确度；在不影响投影设备投射出的可见光叠加显示在目标物体上的显示渲染效果的基础上，提高了对目标物体的识别、分割、匹配的精确性及鲁棒性，进而有效保证了投影渲染效果，提高用户投影观看体验，进而提高了投影产品附加值。

请参照图10，其中示出了本申请一实施例提供的一种投影渲染装置400的结构框图。该装置400可以包括：编码光图像获取模块410、图像解码模块420、图像获取模块430、位姿计算模块440和渲染模块450。

编码光图像获取模块410用于获取投射于目标物体的编码光图像。

图像解码模块420用于基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息。

图像获取模块430用于获取所述目标物体的特定部位的不可见光图像。

位姿计算模块440用于基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息。

渲染模块450用于基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

在一些实施方式中，所述不可见光图像为红外图像，所述红外图像中包含部署于所述目标物体的特定部位的红外标记，位姿计算模块440可以包括：特征点提取单元以及位姿计算单元。其中，特征点提取单元可以用于提取所述红外图像中所述红外标记对应的红外特征点数据。位姿计算单元可以用于根据所述点云信息或深度图信息，以及所述红外特征点数据，计算所述目标物体的特定部位的位姿信息。

在该方式下，所述点云信息包括第一坐标系下的多个点云坐标信息，所述红外特征点数据包括第二坐标系下的多个红外特征点坐标信息，所述第一坐标系是基于投影设备中的可见光图像采集单元建立的，所述第二坐标系是基于所述投影设备中的不可见光图像采集单元建立的；位姿计算单元可以包括：第一坐标获取子单元、第二坐标获取子单元以及位姿计算子单元。其中，第一坐标获取子单元可以用于根据所述第一坐标系与所述第二坐标系之间的第一预设转换参数，将所述多个点云坐标信息分别转换为所述第二坐标系下的坐标信息，得到多个第一坐标信息。第二坐标获取子单元可以用于从所述多个第一坐标信息中获取目标坐标信息，作为第二坐标信息，所述目标坐标信息与所述多个红外特征点坐标信息构成的区域的区域位置匹配。位姿计算子单元可以用于根据所述多个红外特征点坐标信息与所述第二坐标信息，计算所述目标物体的特定部位的位姿信息。

在一些实施方式中，第二坐标获取子单元可以具体用于确定所述多个红外特征点坐标信息对应的目标区域；从所述多个第一坐标信息中，筛选位于所述目标区域内的第一坐标信息，作为所述第二坐标信息。

在一些实施方式中，位姿确定子单元可以具体用于根据所述第二坐标系与第三坐标系之间的第二预设转换参数，将所述多个红外特征点坐标信息与所述第二坐标信息转换为所述第三坐标系下的坐标信息，得到多个第三坐标信息，所述第三坐标系是基于投影设备建立的；根据所述多个第三坐标信息，确定所述目标物体的特定部位在所述第三坐标系中的位姿信息。

在一些实施方式中，投影渲染装置400还可以包括渲染图像获取模块，渲染图像获取模块可以包括：预设图像获取单元、目标图像获取单元以及图像校正单元。其中，预设图像获取单元可以用于在所述基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像之前，获取所述目标物体对应的多张预设图像。目标图像获取单元可以用于从所述多张预设图像中，获取与所述红外标记对应的预设图像，作为目标图像。图像校正单元可以用于根据所述位姿信息，对所述目标图像进行图像校正，得到所述渲染图像。

在另一些实施方式中，投影渲染装置400还可以包括渲染图像获取模块，渲染图像获取模块可以包括：三维模型获取单元以及显示图像获取单元。其中，三维模型获取单元可以用于在所述基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像之前，获取所述目标物体对应的三维显示模型。显示图像获取单元可以用于确定所述三维显示模型在所述位姿信息下的二维显示图像，作为所述渲染图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请实施例提供的方案中，获取投射于目标物体的编码光图像；基于编码光图像，解码生成目标物体的点云信息或深度图信息；获取目标物体的特定部位的不可见光图像；基于目标物体的点云信息或深度图信息，以及目标物体的特定部位的不可见光图像，计算目标物体的特定部位的位姿信息；基于目标物体的特定部位的位姿信息，控制向目标物体的特定部位投影渲染图像。如此，也就是说，通过引入红外标记，为目标物体增加了隐式特征，在不影响投影设备投射出的可见光叠加显示在目标物体上的显示渲染效果的基础上，提高了对目标物体的识别、分割、匹配的精确性及鲁棒性，进而有效保证了投影渲染效果，提高用户投影观看体验，进而提高了投影产品附加值。

下面将结合图11对本申请提供的一种投影设备进行说明。

参照图11，图11示出了本申请实施例提供的一种投影设备500的结构框图，本申请实施例提供的上述方法可以由该投影设备500执行。

本申请实施例中的投影设备500可以包括一个或多个如下部件：处理器501、存储器502、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器502中并被配置为由一个或多个处理器501执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器501可以包括一个或者多个处理核。处理器501利用各种接口和线路连接整个投影设备500内的各个部分，通过运行或执行存储在存储器502内的指令、程序、代码集或指令集，以及调用存储在存储器502内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器501可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器501可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以集成到处理器501中，单独通过一块通信芯片进行实现。

存储器502可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器502可用于存储指令、程序、代码、代码集或指令集。存储器502可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储投影设备500在使用中所创建的数据(比如上述的各种对应关系)等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。

在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种投影渲染方法，其特征在于，所述方法包括：

获取投射于目标物体的编码光图像；

基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息；

获取所述目标物体的特定部位的不可见光图像；

基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息；

基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

2.根据权利要求1所述的方法，其特征在于，所述不可见光图像为红外图像，所述红外图像中包含部署于所述目标物体的特定部位的红外标记，所述基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息，包括：

提取所述红外图像中所述红外标记对应的红外特征点数据；

根据所述点云信息或深度图信息，以及所述红外特征点数据，计算所述目标物体的特定部位的位姿信息。

3.根据权利要求2所述的方法，其特征在于，所述点云信息包括第一坐标系下的多个点云坐标信息，所述红外特征点数据包括第二坐标系下的多个红外特征点坐标信息，所述第一坐标系是基于投影设备中的可见光图像采集单元建立的，所述第二坐标系是基于所述投影设备中的不可见光图像采集单元建立的；

所述根据所述点云信息，以及所述红外特征点数据，计算所述目标物体的特定部位的位姿信息，包括：

根据所述第一坐标系与所述第二坐标系之间的第一预设转换参数，将所述多个点云坐标信息分别转换为所述第二坐标系下的坐标信息，得到多个第一坐标信息；

从所述多个第一坐标信息中获取目标坐标信息，作为第二坐标信息，所述目标坐标信息与所述多个红外特征点坐标信息构成的区域的区域位置匹配；

根据所述多个红外特征点坐标信息与所述第二坐标信息，计算所述目标物体的特定部位的位姿信息。

4.根据权利要求3所述的方法，其特征在于，所述从所述多个第一坐标信息中获取目标坐标信息，作为第二坐标信息，包括：

确定所述多个红外特征点坐标信息对应的目标区域；

从所述多个第一坐标信息中，筛选位于所述目标区域内的第一坐标信息，作为所述第二坐标信息。

5.根据权利要求3所述的方法，其特征在于，所述根据所述多个红外特征点坐标信息与所述第二坐标信息，确定所述目标物体的特定部位的位姿信息，包括：

根据所述第二坐标系与第三坐标系之间的第二预设转换参数，将所述多个红外特征点坐标信息与所述第二坐标信息转换为所述第三坐标系下的坐标信息，得到多个第三坐标信息，所述第三坐标系是基于所述投影设备建立的；

根据所述多个第三坐标信息，确定所述目标物体的特定部位在所述第三坐标系中的位姿信息。

6.根据权利要求1-5任一项所述的方法，其特征在于，在所述基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像之前，所述方法还包括：

获取所述目标物体对应的多张预设图像；

从所述多张预设图像中，获取与所述红外标记对应的预设图像，作为目标图像；

根据所述位姿信息，对所述目标图像进行图像校正，得到所述渲染图像。

7.根据权利要求1-5任一项所述的方法，其特征在于，在所述基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像之前，所述方法还包括：

获取所述目标物体对应的三维显示模型；

确定所述三维显示模型在所述位姿信息下的二维显示图像，作为所述渲染图像。

8.一种投影渲染装置，其特征在于，所述装置包括：

编码光图像获取模块，用于获取投射于目标物体的编码光图像；

图像解码模块，用于基于所述编码光图像，解码生成所述目标物体的点云信息或深度图信息；

图像获取模块，用于获取所述目标物体的特定部位的不可见光图像；

位姿计算模块，用于基于所述目标物体的点云信息或深度图信息，以及所述目标物体的特定部位的不可见光图像，计算所述目标物体的特定部位的位姿信息；

渲染模块，用于基于所述目标物体的特定部位的位姿信息，控制向所述目标物体的特定部位投影渲染图像。

9.一种投影设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。