CN108353143B

CN108353143B - 在不规则形状显示表面上投射图像

Info

Publication number: CN108353143B
Application number: CN201680063692.1A
Authority: CN
Inventors: Z·内弗; O·特威纳; A·萨奇斯
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2015-11-25
Filing date: 2016-09-26
Publication date: 2021-05-18
Anticipated expiration: 2036-09-26
Also published as: CN108353143A; WO2017091289A1; US20170150110A1; DE112016004401T5

Abstract

根据一些实施例，投影仪实际上可适用于任何形状和任何复杂度的任何表面。深度相机确定显示表面的配置。更具体地，深度相机可按被确定成计及表面的复杂度的粒度来产生深度样本阵列。计算机处理器可以采用此样本阵列和相关联补块，并且将每个补块适配到局部表面轮廓。然后，所有补块可被组合，并作为组合的图像来投射，这些图像考虑了该采样粒度下的所有表面不规则性。但是，最初，深度相机可适用于基于对显示表面的复杂度的分析来改变计算深度所在的样本点的粒度或密度。

Description

在不规则形状显示表面上投射图像

背景技术

此公开一般涉及显示由基于处理器的系统产生的图像的图像投影仪。

许多投影仪可用，这些投影仪可被耦合至处理器，以在显示表面上显示电视、文字、幻灯片或其他内容。

在一种情况下，显示表面可相对于投影束成角度。这导致被所谓梯形失真(keystoning)的效应，可使用各种算法来对梯形失真进行校正。

附图简述

参照以下附图描述一些实施例：

图1是一个实施例的硬件描绘；

图2是根据一个实施例的深度阵列的一部分的描绘；以及

图3是一个实施例的流程图；

具体实施方式

根据一些实施例，投影仪可在任何形状的表面上投射明确定义的图像。例如，投影仪可将图像投射到弯曲形状的显示表面上，因此显示表面的曲率被计及。被投射的图像可被定义用于平面投影，但是可被变换以便于其可在弯曲表面上被清晰地显示。

存在很多用于此类投影仪的应用。在很多情况下，用户可能会将图像投射到不平坦的墙表面上。其可能是弯曲的，或者其可能具有内部或外部角落。其可能使图片悬附(hang on)于表面上，这提供了不规则轮廓。用户还可希望将图像投射到另一对象(诸如法规(statute)或任何对象)上，以便于其改变此对象的外观。

根据一些实施例，投影仪实际上可适用于任何形状和任何复杂度的任何表面。深度相机确定显示表面的配置。更具体地，深度相机可按被确定成计及表面的复杂度的粒度来产生深度样本阵列。计算机处理器可采用此样本阵列和相关联补块(patch)，并且将每个补块适配到局部表面轮廓。然后，所有补块可被组合，并作为组合图像来投射，该组合图像计及获取样本的粒度下的所有表面不规则性。但是，最初，深度相机可适于基于对显示表面的复杂度的分析改变计算深度所在的样本点的粒度或密度。

参考图1，根据一个实施例，单体式投影仪和深度相机可被用于一个实施例中。即，深度相机可被整合作为具有投影仪的单体式封装的一部分。在此类情形中，投影仪和深度相机在工厂被预先校准，以便于它们可以一起工作。在其他实施例中，分开的深度相机和投影仪可被校准以一起工作。

具体如图1中所示，单体式外壳10可包括深度相机12、投影仪14以及连接至深度相机12和投影仪14两者的处理器16。处理器16可包括存储18。显示表面可以是用户希望将图像投射至其上的任何不规则表面。

最初，深度相机在显示表面上成像并创建深度图，该深度图对从投影仪至显示表面上的样本点阵列中的每一样本点的深度或距离进行建模。对于较复杂的表面，则获取较多的样本点且结果深度值阵列可更加详细。对于不太复杂的表面，可能需要较少的细节，并且相应地可获取较少数量的样本。

基于从深度相机12提供至处理器16的深度阵列，处理器可导致要在不规则显示表面上显示的平面图像被更改以适应不规则形状显示表面。通过更改与每个样本点相关联的每个补块来实现这一点。该补块基本上是相邻样本点之间具有预定义形状和尺寸的区域的网格，如图2中所示。

参考图3，根据一些实施例，序列20能以软件、固件和/或硬件来实现。在软件和固件实施例中，其可通过存储在一个或多个非瞬态计算机可读介质中的计算机执行指令来实现。根据一些实施例，其可以是与处理器16相关联的存储18的一部分。

序列20通过典型地响应于用户操作从深度相机12获得显示表面的深度图像而开始。触发深度图像的其他方式也可以是可用的，这些其他方式包括感测各种条件，诸如时间、移动、例如用于跟踪目的的对特定对象的识别。

一旦深度图像如框22中所指示的那样在最初被捕捉，就对其进行分析以如框24中所指示的那样确定其复杂度。在一个实施例中，可确定显示表面内标识的边缘的数量并将其与基于边缘的数量确定复杂度的表进行比较。基于复杂度，可确定用于最终深度图像的多个样本点。一般来说，显示表面越复杂，获取的样本越多，反之亦然。

然后如框26中所指示的，可由处理器16确定样本的粒度并将其指定给深度相机12。结果，深度相机12捕捉显示表面的深度图像并传送深度阵列，该深度阵列的数量由处理器基于复杂度标识的样本点的数量来决定。一旦如方框28所指示的那样已接收到深度阵列，则每个样本点与围绕样本点的相邻补块相关联。典型地，补块以样本点为中心并且补块填充整个深度图像。在一些情形中，对象可在它们中具有开口，并且这些可被计及，因为开口处将完全没有样本被提供并且由此没有图像将被投射到这些区域。

接下来，如方框30所指示的，处理器16基于至相机的深度对将被投射的图像逐补块地执行卷曲更改。换句话说，计算机基于相机深度提供对要被投射的图像的局部区域的修改。这可通过使用各种算法来完成，这些算法包括简单线性算法，该简单的线性算法基于深度而不管曲率来使图像歪曲，曲率通过所获取的样本阵列来计及。实际上，复杂表面被细化成具有较简单配置的一系列补块，这些较简单配置在修改算法中更容易被计及。

最后，为每个补块提供的改变被传送至图像本身，要被投射的图像由此被更改或变换，因此如框32所指示的那样，经更改的图像被提供至投影仪以供投射到显示表面上。

在一些实施例中，对于图像的不同部分，样本点方面的复杂度可能不同。例如，可使用连接组件标示来标识深度相机图像中的平坦表面区域。被称为标签或斑点的这些平坦表面区域可基于深度图像的着色来确定，其中相同颜色的对象处于距相机相同的距离处。随后，在平坦的区域中，较低复杂度是固有的，因此可使用较少的样本。在具有较高复杂度的区域，可使用或多或少的样本点。

在一些实施例中，可生成与深度图像内的每个标签或斑点相对应的不规则样本点阵列。

在一些实施例中，可假定用户的焦点将位于图像的中心处，并且由此样本粒度在靠近所显示图像的中心的区域内可能较大而在此中心区域周围的区域处较不密集。在一些实施例中，中心区域可以是椭圆形的。

以下句子和/或示例涉及进一步的实施例：

一个示例实施例可以是包括以下各项操作的方法：接收显示表面的深度图像，基于显示表面的复杂度来确定多个样本，准备包括所述样本的阵列的深度的深度阵列，以及使用所述深度阵列针对显示表面的表面配置更改要被投射的平面图像。该方法可包括使要被投射的图像适应所述显示表面的曲率。该方法可包括基于样本距显示表面的距离来更改围绕样本的图像补块。该方法可包括组合多个补块以更改要投射的平面图像以计及所述显示表面上的表面轮廓。该方法可包括通过对深度图像中的多个边缘计数来确定表面复杂度。该方法可包括使用单体式深度相机和投影仪。

另一示例实施例可以是存储用于执行序列的指令的一个或多个非瞬态计算机可读介质，所述序列包括：接收显示表面的深度图像，基于显示表面的复杂度来确定多个样本，准备包括所述样本的阵列的深度的深度阵列，以及使用所述深度阵列针对显示表面的表面配置更改要被投射的平面图像。该介质可进一步存储用于执行包括以下序列的序列的指令：使要被投射的图像适应所述显示表面的曲率。该介质可进一步存储用于执行包括以下的序列的指令：基于样本距显示表面的距离来更改围绕样本的图像补块。该介质可进一步存储用于执行包括以下的序列的指令：组合多个补块以更改要被投射的平面图像以计及所述显示表面上的表面轮廓。该介质可进一步存储用于执行包括以下的序列的指令：通过对深度图像中的多个边缘计数来确定表面复杂度。该介质可进一步存储用于执行包括以下的序列的指令：使用单体式深度相机和投影仪。

另一实施例可以是包括处理器以及耦合至该处理器的存储器的装置，所述处理器用于接收显示表面的深度图像，基于显示表面的复杂度来确定多个样本，准备包括所述样本的阵列的深度的深度阵列，以及使用所述深度阵列针对所述显示表面的表面配置更改要被投射的平面图像。该装置可包括用于以下操作的所述处理器：使要被投射的图像适应所述显示表面的曲率。该装置可包括用于以下操作的所述处理器：基于样本距显示表面的距离来更改围绕样本的图像补块。该装置可包括用于以下操作的所述处理器：组合多个补块以更改要被投射的平面图像以计及所述显示表面上的表面轮廓。该装置可包括用于以下操作的所述处理器：通过对深度图像中的多个边缘计数来确定表面复杂度。该装置可包括深度相机和投影仪。

本文中所描述的图形处理技术可在各种硬件架构中实现。例如，图形功能可被集成在芯片组中。替代地，可使用分立的图形处理器。作为又一实施例，图形功能可由包括多核处理器的通用处理器实现。

在本考虑书通篇中对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本公开包含的至少一个实现中。因此，短语“一个实施例”或“在一实施例中”的出现不一定指代同一实施例。此外，特定特征、结构或特性可按照与所考虑的特定实施例不同的其他适当形式来创立，而且所有此类形式可涵盖在本申请的权利要求中。

尽管已经描述了有限数量的实施例，但是本领域技术人员将从中认识到许多修改和变型。所附权利要求书旨在涵盖落入本公开的真实精神和范围内的所有这些修改和变型。

Claims

1.一种用于投射图像的方法，所述方法包括：

从深度相机接收显示表面的初始深度图像；

分析所述初始深度图像以确定所述显示表面的复杂度；

基于所述显示表面的复杂度来确定样本的数量；

将所述样本的数量指定给所述深度相机；

由所述深度相机传送包括所述样本的深度的深度阵列，所述深度阵列的数量由所述样本的数量确定；以及

使用所述深度阵列针对所述显示表面的表面配置更改要被投射的平面图像。

2.如权利要求1所述的方法，其特征在于，包括使所述要被投射的图像适应所述显示表面的曲率。

3.如权利要求1所述的方法，其特征在于，包括基于样本距所述显示表面的距离来更改围绕所述样本的图像补块。

4.如权利要求3所述的方法，其特征在于，包括组合多个补块来更改要被投射的平面图像以计及所述显示表面上的表面轮廓。

5.如权利要求1所述的方法，其特征在于，包括通过对深度图像中的多个边缘计数来确定表面复杂度。

6.如权利要求1所述的方法，其特征在于，包括使用单体式深度相机和投影仪。

7.一种用于投射图像的装置，所述装置包括：

处理器，所述处理器用于：从深度相机接收显示表面的初始深度图像；分析所述初始深度图像以确定所述显示表面的复杂度；基于所述显示表面的复杂度来确定样本的数量；将所述样本的数量指定给所述深度相机；从所述深度相机接收包括所述样本的深度的深度阵列，所述深度阵列的数量由所述样本的数量确定；以及使用所述深度阵列针对所述显示表面的表面配置更改要被投射的平面图像；以及

存储器，所述存储器耦合至所述处理器。

8.如权利要求7所述的装置，其特征在于，所述处理器用于使所述要被投射的图像适应所述显示表面的曲率。

9.如权利要求7所述的装置，其特征在于，所述处理器用于基于样本距所述显示表面的距离来更改围绕所述样本的图像补块。

10.如权利要求9所述的装置，其特征在于，所述处理器用于组合多个补块来更改要被投射的平面图像以计及所述显示表面上的表面轮廓。

11.如权利要求7所述的装置，其特征在于，所述处理器用于通过对深度图像中的多个边缘计数来确定表面复杂度。

12.如权利要求7所述的装置，其特征在于，包括深度相机和投影仪。

13.一种非瞬态计算机可读介质，存储有指令，所述指令当被执行时使计算设备执行如权利要求1-6中的任一项所述的方法。