CN108353143B - 在不规则形状显示表面上投射图像 - Google Patents

在不规则形状显示表面上投射图像 Download PDF

Info

Publication number
CN108353143B
CN108353143B CN201680063692.1A CN201680063692A CN108353143B CN 108353143 B CN108353143 B CN 108353143B CN 201680063692 A CN201680063692 A CN 201680063692A CN 108353143 B CN108353143 B CN 108353143B
Authority
CN
China
Prior art keywords
depth
image
display surface
samples
complexity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680063692.1A
Other languages
English (en)
Other versions
CN108353143A (zh
Inventor
Z·内弗
O·特威纳
A·萨奇斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN108353143A publication Critical patent/CN108353143A/zh
Application granted granted Critical
Publication of CN108353143B publication Critical patent/CN108353143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/53Means for automatic focusing, e.g. to compensate thermal effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • G03B21/56Projection screens
    • G03B21/60Projection screens characterised by the nature of the surface
    • G03B21/606Projection screens characterised by the nature of the surface for relief projection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

根据一些实施例,投影仪实际上可适用于任何形状和任何复杂度的任何表面。深度相机确定显示表面的配置。更具体地,深度相机可按被确定成计及表面的复杂度的粒度来产生深度样本阵列。计算机处理器可以采用此样本阵列和相关联补块,并且将每个补块适配到局部表面轮廓。然后,所有补块可被组合,并作为组合的图像来投射,这些图像考虑了该采样粒度下的所有表面不规则性。但是,最初,深度相机可适用于基于对显示表面的复杂度的分析来改变计算深度所在的样本点的粒度或密度。

Description

在不规则形状显示表面上投射图像
背景技术
此公开一般涉及显示由基于处理器的系统产生的图像的图像投影仪。
许多投影仪可用,这些投影仪可被耦合至处理器,以在显示表面上显示电视、文字、幻灯片或其他内容。
在一种情况下,显示表面可相对于投影束成角度。这导致被所谓梯形失真(keystoning)的效应,可使用各种算法来对梯形失真进行校正。
附图简述
参照以下附图描述一些实施例:
图1是一个实施例的硬件描绘;
图2是根据一个实施例的深度阵列的一部分的描绘;以及
图3是一个实施例的流程图;
具体实施方式
根据一些实施例,投影仪可在任何形状的表面上投射明确定义的图像。例如,投影仪可将图像投射到弯曲形状的显示表面上,因此显示表面的曲率被计及。被投射的图像可被定义用于平面投影,但是可被变换以便于其可在弯曲表面上被清晰地显示。
存在很多用于此类投影仪的应用。在很多情况下,用户可能会将图像投射到不平坦的墙表面上。其可能是弯曲的,或者其可能具有内部或外部角落。其可能使图片悬附(hang on)于表面上,这提供了不规则轮廓。用户还可希望将图像投射到另一对象(诸如法规(statute)或任何对象)上,以便于其改变此对象的外观。
根据一些实施例,投影仪实际上可适用于任何形状和任何复杂度的任何表面。深度相机确定显示表面的配置。更具体地,深度相机可按被确定成计及表面的复杂度的粒度来产生深度样本阵列。计算机处理器可采用此样本阵列和相关联补块(patch),并且将每个补块适配到局部表面轮廓。然后,所有补块可被组合,并作为组合图像来投射,该组合图像计及获取样本的粒度下的所有表面不规则性。但是,最初,深度相机可适于基于对显示表面的复杂度的分析改变计算深度所在的样本点的粒度或密度。
参考图1,根据一个实施例,单体式投影仪和深度相机可被用于一个实施例中。即,深度相机可被整合作为具有投影仪的单体式封装的一部分。在此类情形中,投影仪和深度相机在工厂被预先校准,以便于它们可以一起工作。在其他实施例中,分开的深度相机和投影仪可被校准以一起工作。
具体如图1中所示,单体式外壳10可包括深度相机12、投影仪14以及连接至深度相机12和投影仪14两者的处理器16。处理器16可包括存储18。显示表面可以是用户希望将图像投射至其上的任何不规则表面。
最初,深度相机在显示表面上成像并创建深度图,该深度图对从投影仪至显示表面上的样本点阵列中的每一样本点的深度或距离进行建模。对于较复杂的表面,则获取较多的样本点且结果深度值阵列可更加详细。对于不太复杂的表面,可能需要较少的细节,并且相应地可获取较少数量的样本。
基于从深度相机12提供至处理器16的深度阵列,处理器可导致要在不规则显示表面上显示的平面图像被更改以适应不规则形状显示表面。通过更改与每个样本点相关联的每个补块来实现这一点。该补块基本上是相邻样本点之间具有预定义形状和尺寸的区域的网格,如图2中所示。
参考图3,根据一些实施例,序列20能以软件、固件和/或硬件来实现。在软件和固件实施例中,其可通过存储在一个或多个非瞬态计算机可读介质中的计算机执行指令来实现。根据一些实施例,其可以是与处理器16相关联的存储18的一部分。
序列20通过典型地响应于用户操作从深度相机12获得显示表面的深度图像而开始。触发深度图像的其他方式也可以是可用的,这些其他方式包括感测各种条件,诸如时间、移动、例如用于跟踪目的的对特定对象的识别。
一旦深度图像如框22中所指示的那样在最初被捕捉,就对其进行分析以如框24中所指示的那样确定其复杂度。在一个实施例中,可确定显示表面内标识的边缘的数量并将其与基于边缘的数量确定复杂度的表进行比较。基于复杂度,可确定用于最终深度图像的多个样本点。一般来说,显示表面越复杂,获取的样本越多,反之亦然。
然后如框26中所指示的,可由处理器16确定样本的粒度并将其指定给深度相机12。结果,深度相机12捕捉显示表面的深度图像并传送深度阵列,该深度阵列的数量由处理器基于复杂度标识的样本点的数量来决定。一旦如方框28所指示的那样已接收到深度阵列,则每个样本点与围绕样本点的相邻补块相关联。典型地,补块以样本点为中心并且补块填充整个深度图像。在一些情形中,对象可在它们中具有开口,并且这些可被计及,因为开口处将完全没有样本被提供并且由此没有图像将被投射到这些区域。
接下来,如方框30所指示的,处理器16基于至相机的深度对将被投射的图像逐补块地执行卷曲更改。换句话说,计算机基于相机深度提供对要被投射的图像的局部区域的修改。这可通过使用各种算法来完成,这些算法包括简单线性算法,该简单的线性算法基于深度而不管曲率来使图像歪曲,曲率通过所获取的样本阵列来计及。实际上,复杂表面被细化成具有较简单配置的一系列补块,这些较简单配置在修改算法中更容易被计及。
最后,为每个补块提供的改变被传送至图像本身,要被投射的图像由此被更改或变换,因此如框32所指示的那样,经更改的图像被提供至投影仪以供投射到显示表面上。
在一些实施例中,对于图像的不同部分,样本点方面的复杂度可能不同。例如,可使用连接组件标示来标识深度相机图像中的平坦表面区域。被称为标签或斑点的这些平坦表面区域可基于深度图像的着色来确定,其中相同颜色的对象处于距相机相同的距离处。随后,在平坦的区域中,较低复杂度是固有的,因此可使用较少的样本。在具有较高复杂度的区域,可使用或多或少的样本点。
在一些实施例中,可生成与深度图像内的每个标签或斑点相对应的不规则样本点阵列。
在一些实施例中,可假定用户的焦点将位于图像的中心处,并且由此样本粒度在靠近所显示图像的中心的区域内可能较大而在此中心区域周围的区域处较不密集。在一些实施例中,中心区域可以是椭圆形的。
以下句子和/或示例涉及进一步的实施例:
一个示例实施例可以是包括以下各项操作的方法:接收显示表面的深度图像,基于显示表面的复杂度来确定多个样本,准备包括所述样本的阵列的深度的深度阵列,以及使用所述深度阵列针对显示表面的表面配置更改要被投射的平面图像。该方法可包括使要被投射的图像适应所述显示表面的曲率。该方法可包括基于样本距显示表面的距离来更改围绕样本的图像补块。该方法可包括组合多个补块以更改要投射的平面图像以计及所述显示表面上的表面轮廓。该方法可包括通过对深度图像中的多个边缘计数来确定表面复杂度。该方法可包括使用单体式深度相机和投影仪。
另一示例实施例可以是存储用于执行序列的指令的一个或多个非瞬态计算机可读介质,所述序列包括:接收显示表面的深度图像,基于显示表面的复杂度来确定多个样本,准备包括所述样本的阵列的深度的深度阵列,以及使用所述深度阵列针对显示表面的表面配置更改要被投射的平面图像。该介质可进一步存储用于执行包括以下序列的序列的指令:使要被投射的图像适应所述显示表面的曲率。该介质可进一步存储用于执行包括以下的序列的指令:基于样本距显示表面的距离来更改围绕样本的图像补块。该介质可进一步存储用于执行包括以下的序列的指令:组合多个补块以更改要被投射的平面图像以计及所述显示表面上的表面轮廓。该介质可进一步存储用于执行包括以下的序列的指令:通过对深度图像中的多个边缘计数来确定表面复杂度。该介质可进一步存储用于执行包括以下的序列的指令:使用单体式深度相机和投影仪。
另一实施例可以是包括处理器以及耦合至该处理器的存储器的装置,所述处理器用于接收显示表面的深度图像,基于显示表面的复杂度来确定多个样本,准备包括所述样本的阵列的深度的深度阵列,以及使用所述深度阵列针对所述显示表面的表面配置更改要被投射的平面图像。该装置可包括用于以下操作的所述处理器:使要被投射的图像适应所述显示表面的曲率。该装置可包括用于以下操作的所述处理器:基于样本距显示表面的距离来更改围绕样本的图像补块。该装置可包括用于以下操作的所述处理器:组合多个补块以更改要被投射的平面图像以计及所述显示表面上的表面轮廓。该装置可包括用于以下操作的所述处理器:通过对深度图像中的多个边缘计数来确定表面复杂度。该装置可包括深度相机和投影仪。
本文中所描述的图形处理技术可在各种硬件架构中实现。例如,图形功能可被集成在芯片组中。替代地,可使用分立的图形处理器。作为又一实施例,图形功能可由包括多核处理器的通用处理器实现。
在本考虑书通篇中对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本公开包含的至少一个实现中。因此,短语“一个实施例”或“在一实施例中”的出现不一定指代同一实施例。此外,特定特征、结构或特性可按照与所考虑的特定实施例不同的其他适当形式来创立,而且所有此类形式可涵盖在本申请的权利要求中。
尽管已经描述了有限数量的实施例,但是本领域技术人员将从中认识到许多修改和变型。所附权利要求书旨在涵盖落入本公开的真实精神和范围内的所有这些修改和变型。

Claims (13)

1.一种用于投射图像的方法,所述方法包括:
从深度相机接收显示表面的初始深度图像;
分析所述初始深度图像以确定所述显示表面的复杂度;
基于所述显示表面的复杂度来确定样本的数量;
将所述样本的数量指定给所述深度相机;
由所述深度相机传送包括所述样本的深度的深度阵列,所述深度阵列的数量由所述样本的数量确定;以及
使用所述深度阵列针对所述显示表面的表面配置更改要被投射的平面图像。
2.如权利要求1所述的方法,其特征在于,包括使所述要被投射的图像适应所述显示表面的曲率。
3.如权利要求1所述的方法,其特征在于,包括基于样本距所述显示表面的距离来更改围绕所述样本的图像补块。
4.如权利要求3所述的方法,其特征在于,包括组合多个补块来更改要被投射的平面图像以计及所述显示表面上的表面轮廓。
5.如权利要求1所述的方法,其特征在于,包括通过对深度图像中的多个边缘计数来确定表面复杂度。
6.如权利要求1所述的方法,其特征在于,包括使用单体式深度相机和投影仪。
7.一种用于投射图像的装置,所述装置包括:
处理器,所述处理器用于:从深度相机接收显示表面的初始深度图像;分析所述初始深度图像以确定所述显示表面的复杂度;基于所述显示表面的复杂度来确定样本的数量;将所述样本的数量指定给所述深度相机;从所述深度相机接收包括所述样本的深度的深度阵列,所述深度阵列的数量由所述样本的数量确定;以及使用所述深度阵列针对所述显示表面的表面配置更改要被投射的平面图像;以及
存储器,所述存储器耦合至所述处理器。
8.如权利要求7所述的装置,其特征在于,所述处理器用于使所述要被投射的图像适应所述显示表面的曲率。
9.如权利要求7所述的装置,其特征在于,所述处理器用于基于样本距所述显示表面的距离来更改围绕所述样本的图像补块。
10.如权利要求9所述的装置,其特征在于,所述处理器用于组合多个补块来更改要被投射的平面图像以计及所述显示表面上的表面轮廓。
11.如权利要求7所述的装置,其特征在于,所述处理器用于通过对深度图像中的多个边缘计数来确定表面复杂度。
12.如权利要求7所述的装置,其特征在于,包括深度相机和投影仪。
13.一种非瞬态计算机可读介质,存储有指令,所述指令当被执行时使计算设备执行如权利要求1-6中的任一项所述的方法。
CN201680063692.1A 2015-11-25 2016-09-26 在不规则形状显示表面上投射图像 Active CN108353143B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/951,571 2015-11-25
US14/951,571 US20170150110A1 (en) 2015-11-25 2015-11-25 Projecting an image on an irregularly shaped display surface
PCT/US2016/053655 WO2017091289A1 (en) 2015-11-25 2016-09-26 Projecting an image on an irregularly shaped display surface

Publications (2)

Publication Number Publication Date
CN108353143A CN108353143A (zh) 2018-07-31
CN108353143B true CN108353143B (zh) 2021-05-18

Family

ID=58721432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063692.1A Active CN108353143B (zh) 2015-11-25 2016-09-26 在不规则形状显示表面上投射图像

Country Status (4)

Country Link
US (1) US20170150110A1 (zh)
CN (1) CN108353143B (zh)
DE (1) DE112016004401T5 (zh)
WO (1) WO2017091289A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845091B (zh) * 2021-02-01 2023-11-10 扬智科技股份有限公司 投影装置与其梯形校正方法
US11575863B2 (en) 2021-04-08 2023-02-07 Sony Group Corporation Depth-based projection of image-based content
US11758089B2 (en) * 2021-08-13 2023-09-12 Vtech Telecommunications Limited Video communications apparatus and method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004061960A (ja) * 2002-07-30 2004-02-26 Canon Inc 投射型画像表示装置および画像表示システム
JP4885865B2 (ja) * 2005-09-21 2012-02-29 パナソニック株式会社 画像投射装置
CN102074049A (zh) * 2011-03-01 2011-05-25 哈尔滨工程大学 基于运动视点的大范围地形调度简化方法
JP2013033206A (ja) * 2011-07-06 2013-02-14 Ricoh Co Ltd 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム
US9520072B2 (en) * 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
US9047514B2 (en) * 2013-07-10 2015-06-02 Christie Digital Systems Usa, Inc. Apparatus, system and method for projecting images onto predefined portions of objects
US11606538B2 (en) * 2013-09-05 2023-03-14 Texas Instmments Incorporated Automatic keystone correction in a projection system
KR101710003B1 (ko) * 2014-01-07 2017-02-24 한국전자통신연구원 실시간 동적 비평면 프로젝션 장치 및 방법
US9369658B2 (en) * 2014-01-20 2016-06-14 Lenovo (Singapore) Pte. Ltd. Image correction of surface projected image
JP6465682B2 (ja) * 2014-03-20 2019-02-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
DE112016004401T5 (de) 2018-08-23
WO2017091289A1 (en) 2017-06-01
US20170150110A1 (en) 2017-05-25
CN108353143A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
US11010967B2 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
US10872439B2 (en) Method and device for verification
US10055639B2 (en) Face detection in an image data stream using skin colour patch constructs
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
US9818232B2 (en) Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
US10311295B2 (en) Heuristic finger detection method based on depth image
US20160042530A1 (en) Local irradiance estimation for use in rendering an image
US10839599B2 (en) Method and device for three-dimensional modeling
US10311589B2 (en) Model-based three-dimensional head pose estimation
US20140192158A1 (en) Stereo Image Matching
WO2018210318A1 (zh) 图像虚化处理方法、装置、存储介质及电子设备
WO2018210308A1 (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN108353143B (zh) 在不规则形状显示表面上投射图像
US9396544B2 (en) Single image photometric stereo for colored objects
CN109636890B (zh) 纹理融合方法和装置、电子设备、存储介质、产品
CN111357034A (zh) 点云生成方法、系统和计算机存储介质
US10269136B2 (en) System and method for processing depth images which capture an interaction of an object relative to an interaction plane
CN109948521A (zh) 图像纠偏方法和装置、设备及存储介质
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
US8804029B2 (en) Variable flash control for improved image detection
JP6229554B2 (ja) 検出装置および検出方法
US9581439B1 (en) Image capture device with a calibration function and calibration method of an image capture device
US10861174B2 (en) Selective 3D registration
KR20230014606A (ko) 거대 ar 영상 정보 생성 방법 및 장치
CN110503109B (zh) 图像特征提取方法和装置、图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant