CN108475103A - 交互式显示器 - Google Patents

交互式显示器 Download PDF

Info

Publication number
CN108475103A
CN108475103A CN201580083445.3A CN201580083445A CN108475103A CN 108475103 A CN108475103 A CN 108475103A CN 201580083445 A CN201580083445 A CN 201580083445A CN 108475103 A CN108475103 A CN 108475103A
Authority
CN
China
Prior art keywords
image
display area
imaging device
imaging
interactive display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580083445.3A
Other languages
English (en)
Inventor
J·黑尔珀林
M·尤赫姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN108475103A publication Critical patent/CN108475103A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于交互式显示器的成像设备包括至少一个图像投影仪,用于将图像投影到显示区域上。成像设备还包括多个图像捕获设备,用于捕获显示区域的至少一个图像;以及多个传感器,用于检测对象在图像捕获设备的视场内的存在。

Description

交互式显示器
背景技术
白板或擦写板是用于产生非永久的可擦除标记的任何光滑表面。一些白板包括白色光滑表面,该白色光滑表面与其上形成的例如由擦写马克笔(dry-erase marker)产生的彩色标记形成对比。白板允许快速标记和擦除其表面上的标记。在20世纪90年代中期,白板的普及迅速增快,并已成为许多办公室、会议室、学校教室和其他工作环境中的设备。
附图说明
附图示出了本文描述的原理的各种示例并且是说明书的一部分。给出所示的示例仅用于说明,而并不限制权利要求的范围。
图1是根据本文所述原理的一个示例的相邻于显示区域安装的成像设备的图。
图2是根据本文所述原理的一个示例的图1的成像设备的侧视图。
图3是根据本文所述原理的一个示例的图1的成像设备的成像头的视图。
图4是根据本文所述原理的一个示例的相邻于显示区域安装的图1的成像设备的侧视图。
图5是根据本文所述原理的一个示例的包括相邻于复数个显示区域安装的成像设备阵列的交互式显示系统的图。
图6是根据本文所述原理的一个示例的图5的交互式显示系统的管理者设备(curator device)的框图。
图7是根据本文所述原理的另一个示例的图5的交互式显示系统的管理者设备的框图。
图8A是根据本文所述原理的一个示例的由图1至图5的成像设备捕获的图像的图,该图示出了在显示区域上绘制的形状以及由于成像设备相对于显示区域的放置而导致的形状变形。
图8B是根据本文所述原理的另一个示例的由图1至图5的成像设备捕获的图像的图,该图示出了在显示区域上绘制的形状以及由于成像设备相对于显示区域的放置而导致的形状变形。
图9A是根据本文所述原理的一个示例的由图1至图5的成像设备捕获的图像的图,该图示出了从成像设备阵列内的第一成像设备的第一视角绘制在显示区域上的形状。
图9B是根据本文所述原理的一个示例的由图1至图5的成像设备捕获的图像的图,该图示出了从成像设备阵列内的第二成像设备的第二视角绘制在显示区域上的形状。
图9C是根据本文所述原理的一个示例的由图1至图5的成像设备捕获的图像的图,该图示出了从成像设备阵列内的第三成像设备的第三视角绘制在显示区域上的形状。
图10是示出了根据本文所述原理的一个示例的使用图5的管理者设备的图像拼接过程的流程图。
图11是示出了根据本文所述原理的一个示例的成像设备校准过程的流程图。
图12是示出了根据本文所述原理的一个示例的房间切换过程的流程图。
在所有附图中,相同的附图标记表示相似但不一定相同的元件。
具体实施方式
白板被用作促进办公室、会议室、学校教室和其他工作环境中的协作和想法生成的工具。这些类型的白板可以被称为“哑”或“被动式”白板,其可以被定义为用户可以用书写设备标记的任何表面,但是白板不包括电子设备。这些设备与下面所述的数字白板不同。
白板有明显的缺点,包括在协作会议期间无法以数字方式捕获白板上呈现的内容。能够在整个协作会议过程中以数字方式捕获在白板上呈现的信息将允许用户在协作会议后很好地回顾该信息,并且允许未出席协作会议的个人获知其中所讨论的内容。
此外,白板本身是非便携的。因此,即使保留其上书写的信息,该其上书写的信息也不能与不在同一机构的其他人共享。更进一步,还丢失了协作期间在白板上讨论和书写的想法的演变,这使得团队成员使用例如相机或其他图像捕获设备仅记录最终状态。这样,白板可以很好地用作处理工具,但却是很差的存档或恢复工具。甚至更进一步,当用户从白板擦除信息以腾出更多空间时,该擦除的信息就会丢失。
数字白板是其功能由连接的计算设备增强的白板。在一个示例中,投影仪将计算设备的桌面投影到白板表面上,在此用户使用笔、手指、触控笔或其他设备控制计算设备。数字白板以数字方式捕获所有内容。使用具有数字标记器的超大显示器或具有数百个传感器以及检测和跟踪用户动作的特殊标记器的特殊白板为数字白板以数字方式捕获信息提供了手段。在一些示例中,数字白板可以使用具有专用数字标记器的超大电子显示器,或具有数百个传感器和专用标记器的专用白板,专用标记器可以随着用户在专用白板的表面上移动专用标记器而跟踪专用数字标记器的移动。在数字白板的其他示例中,可以在白板顶部上使用透明片(transparency)。这些透明片可以滚动通过白板的表面,以便随着人们书写,透明片会移动,从而例如使用光学扫描仪保存存档的旧内容,以便于当内容在滚筒上移动时读取该内容。
然而,由于专用标记器中包含的电子元件、墨水耗尽,专用标记器是昂贵的,并且拿起和使用专用标记器是相当不舒服或不容易的。此外,这些类型的数字白板技术非常昂贵、麻烦,而且对于终端用户而言,难以实现它们的附加价值。这只允许最富裕的实体和个人拥有这些类型的系统。此外,这些昂贵的设备通常保持一般不使用。这样,数字白板无法在市场化、成本和市场中的使用程度方面与被动式白板竞争。
本文描述的示例提供了一种用于交互式显示器的成像设备。成像设备可以与被动式白板并列地安装到墙上,例如,举例来讲,成像设备正好在被动式白板上方或直接在被动式白板上。这实现了更容易安装的系统,与例如从位于白板的用户后方的墙上或另一远处位置的图像投影系统投影图像的系统相比,该更容易安装的系统还提供了更容易的校准。
该成像设备包括:至少一个图像投影仪,用于将图像投影到显示区域上;多个图像捕获设备,用于捕获显示区域的至少一个图像;以及多个传感器,用于检测对象在图像捕获设备的视场内的存在。在一个示例中,成像设备安装在显示区域所位于的表面上。成像设备传送往来于管理设备的数据。管理者设备处理成像设备的图像。
本文描述的示例还提供了一种交互式显示系统。交互式显示系统包括相邻于至少一个显示区域安装的多个成像设备。成像设备均包括:至少一个图像投影仪,用于将图像投影到显示区域上;多个图像捕获设备,用于捕获显示区域的至少一个图像;以及多个传感器,用于检测对象在图像捕获设备的视场内的存在。在一个示例中,显示区域是白板。在这个示例中,白板是被动式白板。成像设备包括多个照明设备以用于照亮显示区域。
在一个示例中,所述多个传感器包括复数个传感器。复数个传感器检测对象相对于显示区域的表面的深度、对象的位置、对象的类型或其组合。在一个示例中,所述多个成像设备包括复数个成像设备。在该示例中,复数个成像设备形成成像设备阵列,并且成像设备阵列的传感器处理从多个不同视角所得的图像,所述多个不同视角是由阵列内的成像设备相对于彼此放置所限定的。
交互式显示系统可以进一步包括数据同步设备。数据同步设备同步由复数个图像捕获设备捕获的图像,并且同步由每个成像设备的至少一个图像投影仪投影的图像。交互式显示系统可以进一步包括数据储存设备以存档由数据同步设备处理的数据。同步由复数个图像捕获设备捕获的图像包括拼接由复数个图像捕获设备捕获的图像以去除显示区域的被遮挡部分。
在一个示例中,图像捕获设备可以包括至少两个图像捕获设备。第一图像捕获设备可以包括相对于第二图像捕获设备而言的相对较高分辨率的图像捕获设备。交互式显示系统可以使用第一图像捕获设备来捕获显示区域的图像,并且可以使用第二图像捕获设备来检测对象在交互式显示系统的前方的位置。在一个示例中,交互式显示系统处理由传感器获得的数据以相对于另一用户识别第一用户的身体部位。
本文描述的示例还提供一种用于交互式显示器的计算机程序产品。该计算机程序产品包括计算机可读储存介质,该计算机可读储存介质包括与其集于一体的计算机可用程序代码。当由处理器执行时,计算机可用程序代码与相邻于至少一个显示区域安装的复数个成像设备的多个图像捕获设备一起检测显示区域的表面上的多个标记。从复数个视角捕获标记。将所捕获的图像数字地拼接在一起以形成单个图像;此外,所捕获的图像可以被时间编码以保留标记在显示区域上的演变。
该计算机程序产品还可以包括计算机可用程序代码,以在由处理器执行时使成像设备将光序列投影到显示区域上。可以基于光序列来校准成像设备,以便考虑由成像设备相对于显示区域的表面的角度和成像设备与显示区域的表面的距离引起的变形。
计算机程序产品还可以包括计算机可用程序代码,以在由处理器执行时将多个成像设备识别为与单个显示区域相关联,并且将复数个成像设备指定为阵列。可以将多个成像设备阵列识别为与多个不同显示区域相关联。此外,从第一成像设备阵列获得的捕获数据可以从显示区域发送到第二成像设备阵列,以便由第二成像设备阵列在第二显示区域上显示。
如在本说明书和所附权利要求中所使用的,术语“哑白板”或“被动式白板”旨在被广泛地理解为用户可用书写设备标记的任何表面,但是白板不包括电子设备。
更进一步地,如在本说明书和所附权利要求中所使用的,术语“多个”或类似语言旨在被广泛地理解为包括1到无穷大的任何正数;零不是多个,而是非多个。
在下面的描述中,出于解释的目的,阐述了许多具体细节以便提供对本系统和方法的透彻理解。然而,对于本领域技术人员显而易见的是,可以在没有这些具体细节的情况下实践本装置、系统和方法。说明书中对“示例”或类似语言的引用意味着结合该示例描述的特定特征、结构或特性如所描述的那样被包括,但是可能没有被包括在其他示例中。
现在翻到附图,图1是根据本文所述原理的一个示例的相邻于显示区域(150)安装的成像设备(102)的图。在本申请全文中,白板将被称为显示区域。显示区域(150)可以是“被动式”白板。在此示例中,被动式白板是其上可以书写的任何表面,例如擦写板,其包括用于非永久性标记的光滑白色表面。在一个示例中,被动式白板由层压刨花板制成,其上布置有聚酯或丙烯酸涂层。然而,在另一个示例中,显示区域(150)可以是可在其上做出可擦除标记的任何表面,例如带涂层的墙壁或其他表面。在又一示例中,显示区域(150)可以是任何可移动的表面,例如具有附接到其上的轮子和/或框架的白板。
当与显示区域(150)结合使用时,成像设备(102)将作为显示区域(150)的、在其他情况下是“被动式”的表面修改成交互式数字协作空间。因此,通过相邻于显示区域(150)安装至少一个成像设备(102),显示区域(150)变成数字白板而无需购买数字白板所涉及的费用。在该示例中,可以用成像设备(102)中的至少一个来改装现有的被动式白板,以提供与显示区域(150)有关的信息的用户交互、数字捕获和呈现以及本文描述的其他功能。
图2是根据本文所述原理的一个示例的图1的成像设备(102)的侧视图。成像设备(102)可以包括画廊灯形状因子,其中成像设备(102)包括与在艺术画廊中发现的悬置式灯具类似的形状因子。尽管本文描述的成像设备(102)的示例包括画廊灯形状因子,但是成像设备(102)可以包括任何形状因子。此外,虽然将成像设备(102)在此示出为安装在诸如被动式白板等显示区域(150)上方,但是代替安装在显示区域(150)的上方,或者除了安装在显示区域(150)的上方之外,成像设备(102)可以安装在显示区域(150)的侧部或下方。在这些配置中,成像设备(102)可以用于利用新内容来增强显示区域(150),捕获现有内容的演变,或者执行本文描述的多个其他功能。
成像设备(102)可以包括成像头(201)、支撑臂(202)和壁架(203)。如下面将要描述的,头(201)包括多个成像元件。支撑臂(202)相对于壁架(203)支撑成像头(201)。在一个示例中,支撑臂(202)包括位于其端部的铰接元件,例如,举例来讲,阻尼铰链(206-1、206-2)。铰接元件允许支撑臂(202)相对于壁架(203)移动成像头(201),以便将成像头(201)放置在距安装成像设备(102)的墙壁的期望距离处,将成像头(201)相对于显示区域(150)放置在期望的角度,或其组合。
壁架(203)可以包括多个电连接,包括例如用于数据电信技术的连接器、用于电源的连接器、或其组合。例如,用于数据电信技术的连接器可以包括任何有线或无线电信技术,例如光纤、铜线、任何无线局域网(WLAN)通信设备或其组合。
这些电信技术可以使用基于例如通用串行总线(USB)标准(例如,举例而言,如图2的USB连接器(204)中所示的USB 3.0标准)的标准或协议。在另一个示例中,电信技术可以使用电气和电子工程师协会(IEEE)802.11标准来进行无线通信。在又一个示例中,电信技术可以使用IEEE802.3(以太网)标准。此外,在又一个示例中,电信技术可以使用电力线通信(PLC)系统,如由例如IEEE 1901标准所定义的,该电力线通信(PLC)系统在同时也用于AC电力传输的导线上承载数据。在又一示例中,电信技术可以使用由蓝牙特殊兴趣组定义的蓝牙无线通信标准。另一种可用的电信技术包括IEEE 1394标准(火线)。这些电信技术、其他电信技术和标准或其组合可以用于将数据从单个成像设备(102)传输到另一个计算设备,在复数个成像设备(102)之间传输,在复数个单独的成像设备系统(均包括至少一个成像设备(102)之间传输,或在这些设备和系统的组合之间传输。在一个示例中,当确定在本文描述的示例中使用的电信技术时,可以考虑用户期望的数据传输速度。
有线或无线通信信道所使用的电信技术包括基于例如USB标准、IEEE802.11标准、IEEE 802.3(以太网)标准、IEEE 1901标准、蓝牙无线通信标准、IEEE 1394标准(火线)、其他电信技术和标准或其组合的标准或协议。在一个示例中,复数个成像设备(102)可以并联地、串联地(例如菊花链配置)或其组合地彼此通信地耦合。例如,复数个成像设备(102)可以使用有线通信信道(其使用IEEE 1394标准(火线)和USB 3标准)并联地菊花链连接。
如上所述,壁架(203)可以包括提供电源的多个连接器或者用于数据电信技术的连接器和用于电源的连接器的组合。如图2所示,壁架(203)可以包括AC电源插座(205)。在另一个示例中,并且如上所述,AC电源插座(205)可以包括PLC系统,如IEEE 1901标准所定义的,该系统在同时也用于AC电力传输的导线上承载数据。
图3是根据本文所述原理的一个示例的图1的成像设备(102)的成像头(201)的视图。成像设备(102)的成像头(201)包括设备面板(301),该设备面板包括多个图像投影和捕获设备,例如,举例而言,至少一个图像投影仪(302),用于将图像投影到显示区域(150)上。在一个示例中,图像投影仪(302)是将静止或运动图像投影到显示区域(150)上的任何光学设备。在一个示例中,图像投影仪(302)可以是基于使用数字微镜器件的微机电技术的数字光处理(DLP)系统。
在另一个示例中,图像投影仪(302)可以是微型投影仪,其包括光源,该光源包括发射例如红色、绿色和蓝色波长的光的多个发光二极管(LED)模块。从LED发射的光可以穿过包括准直透镜和放大透镜的多个透镜以及多个偏振分束器(PBS)以投影到显示区域(150)上。在上述示例中,图像投影仪(302)可以包括反射镜,来自图像投影仪(302)的投影图像被反射到反射镜上,以便在显示区域(150)上获得放大的投影图像并且为成像设备(102)的图像投影仪(302)提供将投影图像对准显示区域(150)的表面的手段。
成像头(201)还可以包括多个图像捕获设备(303-1、303-2、303-3、303-4,在本文中统称为303)以捕获显示区域(150)的至少一个图像。在一个示例中,图像捕获设备(303)可以包括数码相机。在一个示例中,四个图像捕获设备(303-1、303-2、303-3、303-4)被包括在成像头(201)中。在该示例中,图像捕获设备(303)中的两个(例如,图像捕获设备303-2和303-3)可以用作第一个来捕获显示区域(150)的图像。另一对图像捕获设备(303)(例如,图像捕获设备303-1及303-4)可用于俘获显示区域(150)的图像。在一个示例中,图像捕获设备(303)可以使用多个电荷耦合器件(CCD)数字图像传感器、多个互补金属氧化物半导体(CMOS)数字图像传感器或其组合来捕获显示区域(150)的图像。
在一个示例中,多个图像捕获设备(303)可以是低分辨率图像捕获设备,同时多个图像捕获设备(303)可以是高分辨率图像捕获设备。在该示例中,低分辨率图像捕获设备可以用于非常快速地检测运动,并且可以与下面描述的多个红外传感器结合使用以检测出现在显示区域(150)前方的用户的手或其他身体部位。该示例中的高分辨率图像捕获设备可用于捕获书写在显示区域(150)上或以其他方式显示在显示区域(150)上的信息,以确保准确捕获所有信息。
此外,如上所述,成像头(201)还可以包括多个传感器(305-1、305-2、305-3、305-4,在本文中统称为305),用于检测对象在图像捕获设备(303)的视场内的存在。在一个示例中,图像捕获设备(303)和传感器(305)是相同的设备。在该示例中,图像捕获设备(303)和传感器(305)的组合至少执行本文关于图像捕获设备(303)和传感器(305)两者所描述的功能。此外,在一个示例中,传感器(305)是红外传感器。在该示例中,红外传感器(305)用于检测对象相对于成像头(201)的深度和对象相对于显示区域(150)的位置。在该示例中,红外传感器(305)投射红外辐射并且包括红外相机以跟踪对象在三个维度上的运动。在一个示例中,红外传感器(305)包括与单色CMOS传感器组合的红外激光投影仪。单色CMOS传感器捕获3D的视频或静止图像。
因此,在本文描述的所有示例中,不结合成像设备(102)和显示区域(150)使用专用笔或触控笔设备。如前所述,诸如专用笔或触控笔设备等专用硬件很昂贵,并且相对于其花费而言通常不使用。本文描述的示例通过不需要购买或使用这种专用硬件而大大降低了与交互式白板系统相关的费用。本文描述的示例可以改装成被动式白板,而不需要购买专用白板或专用笔或触控笔设备。
另外,如上所述,图像捕获设备(303)可以与传感器(305)结合使用,以便确定和捕获对象在图像捕获设备(303)的视场内的深度。除了与诸如白板等显示区域(150)结合使用的其他对象之外,使用图像捕获设备(303)和传感器(305)检测的对象包括例如诸如手指、手、手臂和脸等多个用户的身体部位以及诸如马克笔和触控笔等标记或指示设备。
成像头(201)还可以包括多个照明源(304-1、304-2,本文统称为304)。照明源(304)可以用于照亮显示区域(150)的一部分。例如,如果显示区域(150)所在的房间内的环境光较低,则可以使用照明源(304)来照亮显示区域(150),以便允许用户和观众以所需的照明级别观看白板。此外,如果图像捕获设备(303)和传感器(305)需要显示区域(150)的更高的照明级别以捕获显示区域(150)和显示区域(150)周围的区域的图像,那么可以使用照明源(304)来照亮显示区域(150)和周围区域。更进一步,可以调整由照明源(304)提供的照明,以便允许用户看到由图像投影仪(302)投影到显示区域(150)上的信息。
在一个示例中,可以基于相对于成像设备(102)和显示区域(150)的环境照明的测量结果来自动调整由照明源(304)提供的照明级别。在该示例中,如果环境照明达到用户选择的范围之上或之下,则成像设备(102)可以调整照明源(304)输出的照明。因此,成像设备(102)可以进一步包括测光设备以检测环境照明级别,并且向成像设备(102)发信号通知以升高或降低由它们各自的照明源(304)输出的照明。
成像设备(102)的成像头(201)还可以包括网络适配器(306),以提供成像设备(102)阵列与其他计算设备(例如,管理者设备(图5的502)之间的网络连接和数据传输。在一个示例中,本文描述的成像设备(102)可以包括有限的处理资源。在该示例中,成像设备(102)分别通过它们各自的图像捕获设备(303)和传感器(305)以及图像投影仪(302)起到数据捕获和数据投影设备的作用。在该示例中,成像设备(102)可以包括足够的处理资源,例如网络适配器(306)以向其他计算设备提供数据传输,但是可以将数据的处理留给例如管理者设备(图5的502)。
图4是根据本文所述原理的一个示例的相邻于显示区域(150)安装的图1的成像设备(102)的侧视图。如图4所示,示出了成像设备(102)的捕获区域(401)。如图4所示,成像设备(102)以弯曲向前形状因子相对于显示区域(150)定位,该形状因子允许成像设备(102)捕获图像并将图像以一定角度向下投影到显示区域(150)上。成像设备(102)相对于显示区域(150)的这种布局允许成像设备(102)捕获图像并将图像投影到显示区域(150)上,且不会妨碍显示区域(150)的使用或者遮挡由成像设备(102)投影的图像。这可以与从用户后面投影的投影系统形成对比。在这个示例中,用户由于就站在投影图像的前方而遮挡了投影系统投影的表面的部分。
图2中所示的阻尼铰链(206-1、206-2)可以用于通过将成像头(201)和支撑臂(202)移动到不同的位置来调整捕获区域(401)并且使得成像头(201)具有不同的视角。以这种方式,可以调整成像设备(102),使得成像头(201)能够查看显示区域(150)的整个高度,并且使得成像头(201)能够从整个显示区域(150)数字地捕获图像并将图像投影到整个显示区域(150)上。
在一个示例中,可以校准与显示区域(150)结合使用的每个成像设备(102),以便确保成像设备(102)适当地从显示区域(150)捕获图像并且将图像投影到显示区域(150)上。在一个示例中,可以使用水平线和垂直线在显示区域(150)上的投影来执行成像设备(102)相对于显示区域(150)的校准,其中使用每个成像设备(102)的图像投影仪(302)来将水平线和垂直线投影到显示区域(150)上。校准过程最初可以在成像设备(102)的安装或装配之后、在成像设备(102)的每次启动之后、连续地、在其他时间或其组合被执行。
在一个示例中,成像设备(102)可以检测显示区域(150)与周围环境(例如,显示区域(150)周围的框架或显示区域(150)所在的墙壁)之间的表面的变化。在该示例中,成像设备(102)使用表面变化的检测来识别显示区域(150)的边界以确保成像设备(102)使用整个显示区域(150)。在另一个示例中,可以指导用户指向显示区域(150)的边缘,并且成像设备(102)检测那些手势以勾勒显示区域(150)的边缘。
图5是根据本文所述原理的一个示例的包括相邻于复数个显示区域(150-1、150-2,在本文中统称为150)安装的成像设备(102-1、102-2、102-3、102-4,在本文中统称为102)的阵列(501)的交互式显示系统(500)的图。交互式显示系统(500)可用于任何数据处理场景,包括独立硬件、移动应用、通过计算网络或其组合。此外,交互式显示系统(500)可以用于计算网络、公共云网络、私有云网络、混合云网络、其他形式的网络或其组合中。在一个示例中,交互式显示系统(500)提供的方法作为服务例如由第三方通过网络提供。在这个示例中,该服务可以包括例如以下:托管多个应用的软件即服务(SaaS);托管计算平台(包括例如操作系统、硬件和储存器等)的平台即服务(PaaS);托管设备(例如,举例来讲,服务器、储存部件、网络和部件等)的基础设施即服务(laaS);应用程序接口(API)即服务(APIaaS);其他形式的网络服务或其组合。本系统可以在一个或多个硬件平台上实施,其中系统中的模块可以在一个平台上或跨多个平台执行。这些模块可以运行在各种形式的云技术和混合云技术上,或作为可在云上或云外实施的SaaS(软件即服务)提供。在另一个示例中,交互式显示系统(500)提供的方法由本地管理员执行。
如图5所示,交互式显示系统(500)包括四个单独的成像设备(102)。然而,可以在交互式显示系统(500)内使用任何数量的成像设备(102)。成像设备(102)可以使用多个有线或无线通信信道(504-1、504-2、504-3、505)彼此通信地耦合并且直接或间接地耦合到管理者设备(502)。如上所述,有线或无线通信信道(504-1、504-2、504-3、505)使用的电信技术包括基于例如USB标准、IEEE 802.11标准、IEEE 802.3(以太网)标准、IEEE1901标准、蓝牙无线通信标准、IEEE 1394标准(火线)、其他电信技术和标准、或其组合的标准或协议。在一个示例中,成像设备(102)可以并联地、串联地(例如菊花链配置)或其组合地彼此通信地耦合。可以以类似的方式实现向每个成像设备(102)提供电力,其中电力在成像设备(102)之间并联地、串联地(例如菊花链配置)或其组合地传送。在一个示例中,PLC系统可以用于在成像设备(102)之间、往来于成像设备(102)同时传送数据和功率,其中如由例如IEEE1901标准所定义的,PLC系统在同时也用于AC电力传输的导线上承载数据。
图5示出了交互式显示系统(500)内的复数个显示区域(150-1、150-2,在本文中统称为150)。尽管在图5中示出了两个显示区域(150),但是可以在单个交互式显示系统(500)内使用任何数量的显示区域(150)。在图5的示例中,第一显示区域(150-1)比第二显示区域(150-2)相对较小。此外,单个成像设备(102-1)与第一显示区域(150-1)相关联,并且复数个成像设备(102-2、102-3、102-4)与第二显示区域(150-2)相关联。然而,可以在交互式显示系统(500)内使用成像设备(102)相对于复数个显示区域(150)的任何布置。
在一个示例中,成像设备(102)相对于显示区域(150)放置为使得它们各自的捕获区域(401)彼此重叠。以此方式,成像设备(102)将捕获书写或显示在显示区域(150)上的所有信息,而不会遗漏成像设备(102)的捕获区域(401)之间的信息或捕获区域(401)之间的间隙。在一个示例中,一旦图像被成像设备(102)的图像捕获设备(303)和/或传感器(305)捕获或者一旦图像被成像设备(102)的图像投影仪(302)投影,则可以执行拼接过程以使得所捕获或投影的图像形成单个图像。在拼接由成像设备(102)的图像捕获设备(303)和/或传感器(305)捕获的多个图像的情况下,可以在表示捕获的图像的数据从图像捕获设备(303)和/或传感器(305)传输到管理者设备(502)之后由管理者设备(502)执行拼接过程。如下面将更详细描述的,可以在管理者设备(502)的显示设备上向用户显示拼接图像。
在拼接由成像设备(102)的图像投影仪(302)投影在显示区域(150)上的图像的情况下,管理者设备(502)可将图像划分为要由图像投影仪(302)渲染的多个部分。在这种情况下,通过将图像划分为多个部分并使用图像投影仪(302)将这些部分拼接在一起以在显示区域(150)上形成完整的图像来执行拼接。在一个示例中,图像投影仪(302)所执行的拼接过程可以使用成像设备(102)的图像投影仪(302)来执行,其中所使用的成像设备(102)例如是不与公共显示区域(150)关联的成像设备(102-1)、以及多个其他成像设备(102),例如成像设备(102-2、102-3、102-4)。在该示例中,要显示的图像的一部分可以使用成像设备(102-1)显示在显示区域(150-1)上并使用成像设备(102-2、102-3、102-4)显示在显示区域(150-2)上。
如上所述,管理者设备(502)可以接收和发送数据,该数据表示从交互式显示系统(500)的显示区域(150)捕获的、和投影在显示区域(150)上的图像。管理者设备(502)还处理去往成像设备(102)和从成像设备(102)接收的图像数据。下面将描述关于管理者设备(502)的更多细节。
在一个示例中,数据库(503)或其他数据储存设备可以与管理者设备(502)位于相同的网络中并且经由网络连接(506)耦合到管理者设备(502)。在一个示例中,数据库(503)可以与管理者设备(502)位于相同的局域网(LAN)中。在另一个示例中,数据库(503)可以位于管理者设备(502)的LAN之外。在这些示例中,存储在数据库(503)上的数据可以恢复到图5的交互式显示系统(500),或者可以在不同的交互式显示系统(500)上同时或不同时呈现。
存储在交互式显示系统(500)上呈现的数据的能力还允许用户从一个交互式显示系统(500)切换到另一个交互式显示系统。在一些情况下,交互式显示系统(500)可能位于建筑物的会议室内,并且可能需要当前用户离开该特定会议室,这是因为另一组用户已经预订了该房间或由于其他原因需要使用该房间。用户可能被迫离开该房间并被要求等待房间被该组用户空出,或者移动到另一个房间。在这种情况下,数据库(503)允许用户存储在交互式显示系统(500)上呈现的数据,并且等待直到房间中的交互式显示系统(500)再次变得可用,或者移动到具有另一个交互式显示系统(500)的另一个房间。用户在交互式显示系统(500)上呈现的数据可以被恢复到交互式显示系统(500)或另一个交互式显示系统(500),而不会丢失先前呈现的信息。
以上情况是使用交互式显示系统(500)时可能发生的情况的示例。然而,在另一种情况下,用户可能希望重新访问之前举行的协作讨论以完成协作,加入到之前的讨论中,或刷新他或她对先前协作会议的记忆。在这种情况下,可以将从交互式显示系统(500)捕获的表示先前协作会议的数据恢复到交互式显示系统(500)。
现在将更详细地描述管理者设备(502)。图6是根据本文所述原理的一个示例的图5的交互式显示系统(500)的管理者设备(502)的框图。在一个示例中,成像设备(102)不包括处理设备,使得它们的任务是数据投影和捕获。在上述示例中,成像设备(102)可以包括足以捕获和投影数据并且将该数据传输到管理者设备(502)以及从管理者设备(502)接收数据的有限处理资源。在该示例中,成像设备(102)分别通过它们各自的图像捕获设备(303)和传感器(305)以及图像投影仪(302)起到数据捕获和数据投影设备的作用。此外,在该示例中,成像设备(102)可以包括足够的处理资源,例如网络适配器(图3的306)以向其他计算设备提供数据传输,但是可以将数据的处理留给例如管理者设备(图5的502)。
为了实现其期望的功能,管理者设备(502)包括各种硬件部件。其中,这些硬件部件可以是多个处理器(601)、多个数据储存设备(602)以及多个网络适配器(604)。这些硬件部件可以通过使用多个总线和/或网络连接来互连。在一个示例中,处理器(601)、数据储存设备(602)和网络适配器(604)可以经由总线(605)可通信地耦合。
处理器(601)可以包括硬件架构,用以从数据储存设备(602)取回可执行代码并执行可执行代码。当由处理器(601)执行时,可执行代码可以使得处理器(601)至少实现根据本文描述的本说明书的方法的捕获图像处理功能、投影图像处理功能、图像拼接功能、以及其他功能。在执行代码的过程中,处理器(601)可以从多个其余硬件单元接收输入并将输出提供给多个其余硬件单元。
数据储存设备(602)可以存储诸如由处理器(601)或其他处理设备执行的可执行程序代码之类的数据。正如将要讨论的那样,数据储存设备(602)可以具体地存储计算机代码,该计算机代码表示处理器(601)执行以至少实现本文描述的功能的多个应用。
数据储存设备(602)可以包括各种类型的存储器模块,包括易失性和非易失性存储器。例如,本示例的数据储存设备(602)包括随机存取存储器(RAM)(图7的606)、只读存储器(ROM)(图7的607)和硬盘驱动器(HDD)存储器(图7的608)。也可以使用许多其他类型的存储器,并且本说明书考虑了在数据储存设备(602)中使用许多不同类型的存储器,以适应本文描述的原理的特定应用。在某些示例中,数据储存设备(602)中的不同类型的存储器可以用于不同的数据储存需求。例如,在某些示例中,处理器(601)可以从只读存储器(ROM)(图7的607)引导,在硬盘驱动器(HDD)存储器(图7的608)中保持非易失性储存,并且执行存储在随机存取存储器(RAM)(图7的606)中的程序代码。
数据储存设备(602)可以包括计算机可读介质、计算机可读储存介质或非暂时性计算机可读介质、等等。例如,数据储存设备(602)可以是但不限于电子系统、装置或设备、磁系统、装置或设备、光学系统、装置或设备、电磁系统、装置或设备、红外系统、装置或设备或半导体系统、装置或设备、或前述的任何适当组合。计算机可读储存介质的更具体的示例可以包括例如以下:具有多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学储存设备、磁储存设备或前述的任何适当组合。在本文献的上下文中,计算机可读储存介质可以是能够包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的计算机可用程序代码的任何有形介质。在另一个示例中,计算机可读储存介质可以是能够包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何非暂时性介质。
管理者设备(502)中的网络适配器(104)使处理器(601)能够与管理者设备(502)的外部和内部的各种其他硬件元件接口连接。例如,网络适配器(604)允许管理者设备(502)向成像设备(102)发送数据和从成像设备(102)接收数据。网络适配器(604)可以向例如网络内的其他计算设备提供接口,由此实现在管理者设备(500)和位于网络内的其他设备之间传输数据。
管理者设备(502)还包括用于实施捕获图像处理、投影图像处理、图像拼接和其他功能的多个模块。管理者设备(502)内的各种模块包括可分开执行的可执行程序代码。在这个示例中,各种模块可以作为单独的计算机程序产品来进行存储。在另一个示例中,管理者设备(502)内的各种模块可以被组合在多个计算机程序产品中;每个计算机程序产品包括多个模块。
在图6的示例中,管理者设备(502)可以包括数据传输模块(610),用于在由处理器(601)执行时向成像设备(102)发送数据和从成像设备(102)接收数据,并向成像设备(102)的各种元件提供指令以投影或捕获所传输的数据。因此,数据传输模块(610)在由处理器(601)执行时向成像设备(102)提供数据和指令,使得成像设备(102)可以执行本文所述的其功能。
图7是根据本文所述原理的另一个示例的图5的交互式显示系统(500)的管理者设备(502)的框图。相对于图6同样编号的元件在图7中表示类似元件。图7的示例还包括外围设备适配器(603)。外围设备适配器(603)为输入/输出设备(例如,举例而言,显示设备(609)、鼠标或键盘)提供接口。外围设备适配器(603)还可以提供对其他外部设备的访问,其他外部设备例如是诸如数据库(图5的503)之类的外部储存设备;多个网络设备,例如,举例而言,服务器、交换机和路由器;客户端设备;其他类型的计算设备;及其组合。
可以提供显示设备(609)以允许管理者设备(502)的用户与管理者设备(502)交互并且实现管理者设备(502)的功能。外围设备适配器(603)还可以在处理器(601)和显示设备(609)、打印机或其他媒体输出设备之间创建接口。当由处理器(601)执行时,管理者设备(500)可以在显示设备(609)上显示与表示存储在数据储存设备(602)上的多个应用的可执行程序代码相关联的多个图形用户界面(GUI)。GUI可以包括可执行代码的各个方面,包括显示从显示区域(150)捕获并投影到显示区域(150)上的数据的可执行代码。另外,通过在显示设备(109)的GUI上做出多个交互式手势,用户可以通过使用管理者设备(502)指示成像设备(102)将数据投影到显示区域(150)上并且捕获在显示区域(150)上显示的信息的图像。显示设备(609)的示例包括计算机屏幕、膝上型电脑屏幕、移动设备屏幕、个人数字助理(PDA)屏幕和平板电脑屏幕以及其他显示设备(609)。
除了上述的数据传输模块(610)之外,管理者设备(502)还可以包括多个附加模块。例如,管理者设备(502)可以包括拼接模块(611),用于在由处理器(601)执行时使所捕获或投影的图像形成单个图像。拼接模块(611)通过对捕获的静止图像和视频图像进行时间编码以保留标记在显示区域(150)上的演变来充当数据同步设备。
具体地,拼接模块(611)在拼接由成像设备(102)的图像捕获设备(303)和/或传感器(305)捕获的多个图像的情况下,接收表示捕获的图像的数据,并且将多个捕获的图像与重叠的视场组合以产生分段的高分辨率图像。在一个示例中,拼接模块(611)可以拼接捕获的静止图像以及捕获的视频图像。
此外,拼接模块(611)在拼接由成像设备(102)的图像投影仪(302)投影在显示区域(150)上的图像的情况下,将例如存储在数据储存设备(602)上的图像划分为要由图像投影仪(302)渲染的多个部分。在这种情况下,拼接模块(611)将图像划分为多个部分,并使用图像投影仪(302)将这些部分拼接在一起,以在显示区域(150)上形成完整的图像。在一个示例中,图像投影仪(302)执行的拼接过程可以使用成像设备(102)的图像投影仪(302)来执行,其中所使用的成像设备(102)例如是不与公共显示区域(150)关联的成像设备(102-1)、以及多个其他成像设备(102),例如成像设备(102-2、102-3、102-4)。在该示例中,要显示的图像的一部分可以使用成像设备(102-1)显示在显示区域(150-1)上并使用成像设备(102-2、102-3、102-4)显示在显示区域(150-2)上。在一个示例中,拼接模块(611)可以拼接投影的静止图像以及投影的视频图像。此外,在一个示例中,可以在管理者设备(502)的显示设备(609)上向用户显示拼接图像,以允许用户确认捕获或投影了什么图像。此外,在拼接视频图像的情况下,拼接模块(611)可以同步由复数个成像设备(102)捕获的视频内容。
管理者设备(502)还可以包括房间切换模块(612),用于在由处理器(601)执行时允许将捕获并投影在第一交互式显示系统(500)上的数据传送到另一交互式显示系统。房间切换模块(612)在由管理者设备(502)的处理器(601)执行时,对定义投影到第一交互式显示系统(500)的(一个或多个)第一显示区域(150)上并从其捕获的信息的房间数据进行保存,并且将房间数据储存在例如管理者设备(502)的数据储存设备(602)和/或数据库(图5的503)上。房间数据然后可以被恢复到第一交互式显示系统(500)或另一交互式显示系统(500)。如上所述,这允许用户在必要时切换建筑物内的物理房间,或者重新访问先前的协作会议并刷新他或她对协作会议期间讨论的主题的回忆。
管理者设备(502)还可以包括用户识别模块(613),用于在由处理器(601)执行时允许传感器(图3的305)相对于交互式显示系统(500)的其他用户来识别第一用户。用户识别模块(613)在由管理者设备(502)的处理器(601)执行时,检测诸如手指、手、手臂和面部等多个用户的身体部位。在检测到这些身体部位时,用户识别模块(613)可以使用指纹识别过程、面部识别过程或其他用户识别过程来相对于其他用户识别第一用户。在一个示例中,用户识别模块(613)可以用作安全设备以允许授权的个人访问和使用交互式显示系统(500),同时限制或拒绝未经授权的个人访问和使用交互式显示系统(500)。
管理者设备(502)还可以包括图像设备校准模块(614),用于在由处理器(601)执行时校准交互式显示系统(500)内的多个成像设备(102)。图像设备校准模块(614)在由管理者设备(502)的处理器(601)执行时可以校准成像设备(102)以便确保成像设备(102)适当地从显示区域(150)捕获图像并将图像投影到显示区域(150)上。如上所述,成像设备(102)相对于显示区域(150)的校准可以由图像设备校准模块(614)执行,图像设备校准模块(614)指示成像设备(102)使用每个成像设备(102)的图像投影仪(302)将水平线和垂直线投影到显示区域(150)上。校准过程最初可以在成像设备(102)的安装或装配之后、在成像设备(102)的每次启动之后、或连续地被执行。
在一个示例中,图像设备校准模块(614)可以指示成像设备(102)检测显示区域(150)与周围环境(例如显示区域(150)周围的框架或显示区域(150)所在的墙壁)之间的表面的变化。在该示例中,图像设备校准模块(614)指示使用成像设备(102)来检测表面的变化以识别显示区域(150)的边界。这确保了成像设备(102)使用整个显示区域(150)。在另一个示例中,可以指导用户指向显示区域(150)的边缘,并且图像设备校准模块(614)可以使用成像设备(102)来检测那些手势以勾勒显示区域(150)的边缘。
管理者设备(502)还可以包括图像视角模块(615),用于在由处理器(601)执行时,由于成像设备(102)相对于显示区域(150)的视角而调整从显示区域(150)捕获的或投影到显示区域(150)的图像。在由管理者设备(502)的处理器(601)执行时,图像视角模块(615)可以考虑成像设备(102)单独地以及作为阵列从显示区域(150)捕获图像并将图像投影到显示区域(150)的视角。
例如,图8A是根据本文所述原理的一个示例的由图1至图5的成像设备(102)捕获的图像(801)的图,该图示出了在显示区域(150)上绘制的形状(802)以及由于成像设备(102)相对于显示区域(150)的放置而导致的形状(802)的变形。图8B是根据本文所述原理的另一个示例的由图1至图5的成像设备(102)捕获的图像(804)的图,该图示出了在显示区域(150)上绘制的形状(802)以及由于成像设备(102)相对于显示区域(150)的放置而导致的形状(802)的变形。图8A和图8B示出了用户的手(803),并且在图8B的情况下,用户的手(803)握着诸如擦写马克笔等标记设备(805)。
在图8A和图8B中,捕获图像(801、804)的成像设备(102)的视角在如图1中类似示出的显示区域(150)的上方。从这个视角看,形状(802)变形,并且最初绘制为近似正方形的形状(具有从对角绘制并在中间相交的线条)代之以呈现为近似梯形的形状(具有从对角绘制并在中间相交的线条,但相对于形状(802)的外侧线具有明显不同的角度)。当存储与书写在显示区域(150)上的信息有关的数据时,图像视角模块(615)考虑成像设备(102)的视角。
在一个示例中,图像视角模块(615)考虑成像设备(102)的视角,并且调整捕获的图像和投影到显示区域(150)上的图像以补偿由于成像设备(102)的视角所导致的变形。表示补偿的捕获图像的数据可以存储在例如管理者设备(502)的数据储存设备(602)和/或数据库(503)中。然后可以将表示补偿的捕获图像的数据显示在单独的显示系统,例如管理者设备(502)的显示设备(图7的609)或从非变形角度呈现信息的另一显示设备上。
此外,在将图像投影到显示区域(150)上时,图像视角模块(615)考虑成像设备(102)的视角。在许多情况下,用户希望呈现在显示区域(150)上的数据最初可以如同从非变形视角获得或创建信息那样来呈现。在该示例中,视角模块(615)考虑成像设备(102)的视角,并且准备用于经由成像设备(102)的图像投影仪(302)投影的信息。
管理者设备(502)还可以包括动态内容模块(616),用于在由处理器(601)执行时,分析来自图像捕获设备(303)和/或传感器(305)的捕获图像以确定是否可以相对于在图像中捕获的信息显示附加内容,并用动态内容或增强现实内容来增强信息。在由管理者设备(502)的处理器(601)执行时,动态内容模块(616)可以例如获取书写的通用资源定位符(URL)或其他互联网相关的标识符,并在显示区域(150)上投影来自该URL的信息。该信息可以包括例如由URL表示的网页。
在另一个示例中,用户可以在显示区域(150)上绘制图像,并且动态内容模块(616)可以将绘制的图像识别为可被来自另一来源的内容增强的图像。在该示例中,如果用户例如在显示区域(150)上绘制商标,则动态内容模块(616)可以指示成像设备(102)投射诸如网页等附加信息,其中该网页包含与商标表示的商品或服务有关的更多信息。通过使用动态内容模块(616)可以实现大量的动态内容和增强现实场景。
再次翻到附图,图9A是根据本文所述原理的一个示例的由图1至图5的成像设备(102)捕获的图像(901)的图,该图示出了从成像设备(102)阵列(图5的501)内的第一成像设备(102)的第一视角绘制在显示区域(150)上的形状(802)。图9B是根据本文所述原理的一个示例的由图1至图5的成像设备(102)捕获的图像(902)的图,该图示出了从成像设备(102)阵列(图5的501)内的第二成像设备(102)的第二视角绘制在显示区域(150)上的形状(802)。图9C是根据本文所述原理的一个示例的由图1至图5的成像设备(102)捕获的图像(903)的图,该图示出了从成像设备(102)阵列(图5的501)内的第三成像设备(102)的第三视角绘制在显示区域(150)上的形状(802)。现在将结合图10来描述图9A至图9C中示出的不同视角。图10是示出了根据本文所述原理的一个示例的使用图5的管理者设备的图像拼接过程的流程图(1000)。过程(1000)可以开始于检测(块1001)显示区域(150)的表面上的多个标记,例如形状(802)。这可以使用例如成像设备(102)的图像捕获设备(303)和/或传感器(305)、管理者设备(502)的数据传输模块(610)以及交互式显示系统(500)的其他元件来执行。
可以从多个视角(例如在图9A、图9B、图9C分别示出的那些视角)捕获(块1002)标记(802)。图9A的视角类似于图8A和图8B中所示的从显示区域150的顶部向下且正好在标记(即,形状(802))上方这样的视角。图9B和图9C的视角类似于图9A中所示的但从显示区域(150)的顶部向下的、分别从标记(即,形状(802))的左侧和右侧这样的视角。因此,在图9A至图10的示例中,交互式显示系统(图5的500)的阵列(501)内的成像设备(102)的图像捕获设备(303)和/或传感器(305)捕获三个图像。
可以通过如本文所述的将所捕获的图像数字拼接(块1003)在一起以形成单个图像而继续过程(1000)。可以拼接由复数个图像捕获设备(102)捕获的图像以便去除显示区域的遮挡部分。在图9A至图9C的示例中,用户的手(803)和标记设备(805)在三个不同视角内遮挡形状(802)的部分。通过将图像拼接在一起,有效地去除了用户的手(803)和标记设备(805),并且获得形状(802)的完整图片。
此外,在一个示例中,可以对捕获的图像进行时间编码(块1004)以保留在整个协作会议中做出的标记(即,形状(802))在显示区域(150)上的演变。这是因为在一些情况下用户可能希望具有在协作会议中途呈现的记录信息(memorialized information)。可以由管理者设备(502)的拼接模块(611)来执行结合块1003和1004所描述的过程。
图11是示出了根据本文所述原理的一个示例的成像设备校准过程(1100)的流程图(1100)。成像设备(102)相对于彼此和显示区域(150)的校准允许捕获的和投影到显示区域(150)上的图像对齐并且需要较少的关于拼接(图10的1000)的处理。该过程可以开始于使(块1101)成像设备(102)将光序列投影到显示区域(150)上。在一个示例中,光序列可以包括使用每个成像设备(102)的图像投影仪(302)将水平线和垂直线投影在显示区域(150)上所得到的投影。
可以基于光序列来校准(块1102)成像设备以考虑由成像设备(102)相对于显示区域的表面的角度和成像设备与显示区域的表面的距离所引起的变形来继续过程(1100)。校准还包括考虑每个成像设备(102)的视场及其重叠。校准过程可以最初在成像设备(102)的安装或装配之后、在成像设备(102)的每次启动之后或者连续地被执行。
图12是示出了根据本文所述原理的一个示例的房间切换过程的流程图(1200)。该过程可以开始于利用房间切换模块(612)将多个成像设备(102)识别(块1201)为与单个显示区域(150)相关联。房间切换模块(612)将复数个成像设备(102)指定(块1202)为成像设备(102)阵列(501)。
可以通过将多个成像设备(102)阵列(501)识别(块1203)为与多个不同的显示区域(150)相关联而继续该过程。利用房间切换模块(612),可以从显示区域(150)向第二成像设备(102)阵列(501)发送(块1204)从第一成像设备阵列获得的捕获数据,以由第二成像设备(102)阵列(501)显示在第二显示区域(150)上。
本文参考根据本文所述原理的示例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本系统和方法的各个方面。流程图和框图中的每个块以及流程图和框图中的多个块的组合可以通过计算机可用程序代码来实现。可以将计算机可用程序代码提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生一种机制,使得计算机可用程序代码在通过例如管理者设备(502)的处理器(601)或其他可编程数据处理装置执行时实现在流程图和/或框图的一个或多个块中指定的功能或动作。在一个示例中,计算机可用程序代码可以包含在计算机可读储存介质内;该计算机可读储存介质是计算机程序产品的一部分。在一个示例中,计算机可读储存介质是非暂时性计算机可读介质。
本文描述的示例可用于大量的环境,包括头脑风暴和演示会议中的协作。此外,本文描述的示例可以用于在娱乐行业中绘制、回顾和组织情节串连图板。更进一步地,本文描述的示例可以用于工程和建筑领域中以交互方式呈现三维图,从而允许对图旋转、缩放和切片。公共场所的互动广告也可以从本文描述的示例中受益。
甚至更进一步地,例如,本文描述的示例可以用于教育中以提供新的教学体验、用于购买的内容以及教科书的附加内容。更进一步,本文描述的示例可以用于办公室环境中,其中可以实现团队协作、项目管理、幻灯片显示、计划会议、从云存储库取回文档和注释文档。本文描述的示例甚至可以用于家庭环境中,其中可以由家人欣赏互动电视体验、艺术和游戏。
说明书和附图描述了一种用于交互式显示器的成像设备。成像设备包括:至少一个图像投影仪,用于将图像投影到显示区域上;多个图像捕获设备,用于捕获所述显示区域的至少一个图像;以及多个传感器,用于检测对象在图像捕获设备的视场内的存在。这种用于交互式显示器的成像设备可以具有许多优点,包括便于安装和操作的低成本、用户友好的系统。
已经提供了以上的描述以说明和描述所述原理的各个示例。该描述并非是穷举性的或将这些原理限制为所公开的任何精确形式。鉴于上述教导,许多修改和变化都是可能的。

Claims (15)

1.一种交互式显示系统,包括:
相邻于至少一个显示区域安装的至少一个成像设备,所述成像设备包括:
至少一个图像投影仪,用于将图像投影到所述显示区域上;
至少一个图像捕获设备,用于捕获所述显示区域的至少一个图像;以及
复数个红外传感器,用于对对象在所述图像捕获设备的视场内的存在进行检测。
2.根据权利要求1所述的交互式显示系统,其中,所述显示区域是白板,并且其中,所述白板是被动式白板。
3.根据权利要求1所述的交互式显示系统,其中,所述成像设备包括用于照亮所述显示区域的多个照明设备。
4.根据权利要求1所述的交互式显示系统,其中,所述复数个红外传感器检测所述对象相对于所述显示区域的表面的深度、所述对象的位置、对象的类型、或其组合。
5.根据权利要求4所述的交互式显示系统:
其中,所述至少一个成像设备包括复数个成像设备,所述复数个成像设备形成成像设备阵列,并且
其中,所述成像设备阵列的所述红外传感器处理从多个不同视角所得的图像,所述多个不同视角是由所述阵列内的所述成像设备相对于彼此放置所限定的。
6.根据权利要求5所述的交互式显示系统,进一步包括数据同步设备,用于:
同步由所述复数个图像捕获设备捕获的图像;以及
同步由每个成像设备的所述至少一个图像投影仪投影的图像。
7.根据权利要求6所述的交互式显示系统,进一步包括数据储存设备,用于存档由所述数据同步设备处理的数据。
8.根据权利要求1所述的交互式显示系统,其中,所述图像捕获设备包括至少两个图像捕获设备,
其中,第一图像捕获设备包括相对于第二图像捕获设备的相对较高分辨率的图像捕获设备,并且
其中,所述交互式显示系统使用所述第一图像捕获设备来捕获所述显示区域的图像,并且使用所述第二图像捕获设备来检测对象在所述交互式显示系统的前方的位置。
9.根据权利要求1所述的交互式显示系统,其中,所述交互式显示系统处理由所述传感器获得的数据以相对于另一用户识别第一用户的身体部位。
10.根据权利要求6所述的交互式显示系统,其中,同步由所述复数个图像捕获设备捕获的图像包括拼接由所述复数个图像捕获设备捕获的图像以去除所述显示区域的被遮挡部分。
11.一种用于交互式显示器的成像设备,包括:
至少一个图像投影仪,用于将图像投影到显示区域上;
多个图像捕获设备,用于捕获所述显示区域的至少一个图像;以及
多个红外传感器,用于确定对象相对于所述显示区域的表面的深度,
其中,所述成像设备安装在所述显示区域所在的表面上。
12.根据权利要求11所述的成像设备,其中,所述成像设备传送往来于管理设备的数据,所述管理设备处理所述成像设备的图像。
13.一种用于交互式显示器的计算机程序产品,所述计算机程序产品包括:
计算机可读储存介质,所述计算机可读储存介质包括与其集于一体的计算机可用程序代码,当由处理器执行时,所述计算机可用程序代码与相邻于至少一个显示区域安装的复数个成像设备的至少一个图像捕获设备一起用于:
检测所述显示区域的表面上的多个标记;
从复数个视角捕获所述标记;
将所捕获的图像数字拼接在一起以形成单个图像;以及
对所捕获的图像进行时间编码以保留所述标记在所述显示区域上的演变。
14.根据权利要求13所述的计算机程序产品,还包括计算机可用程序代码,用于在由所述处理器执行时:
使所述成像设备将光序列投影到所述显示区域上;以及
基于所述光序列来校准所述成像设备,以考虑由所述成像设备相对于所述显示区域的表面的角度和所述成像设备与所述显示区域的表面的距离所引起的变形。
15.根据权利要求13所述的计算机程序产品,还包括计算机可用程序代码,用于在由所述处理器执行时:
将多个成像设备识别为与单个显示区域相关联;
将复数个成像设备指定为阵列;
将多个成像设备阵列识别为与多个不同显示区域相关联;
将从第一成像设备阵列获得的捕获数据从显示区域发送到第二成像设备阵列,以便由所述第二成像设备阵列显示在第二显示区域上。
CN201580083445.3A 2015-09-30 2015-09-30 交互式显示器 Pending CN108475103A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/053191 WO2017058199A1 (en) 2015-09-30 2015-09-30 Interactive display

Publications (1)

Publication Number Publication Date
CN108475103A true CN108475103A (zh) 2018-08-31

Family

ID=58424189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083445.3A Pending CN108475103A (zh) 2015-09-30 2015-09-30 交互式显示器

Country Status (5)

Country Link
US (1) US10869009B2 (zh)
EP (1) EP3341826B1 (zh)
CN (1) CN108475103A (zh)
TW (1) TWI624770B (zh)
WO (1) WO2017058199A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298886A (zh) * 2021-07-27 2021-08-24 光量信息科技(宁波)有限公司 一种投影仪的标定方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026389A1 (en) * 2018-07-19 2020-01-23 Suzhou Maxpad Technologies Co., Ltd Electronic whiteboard capable of simultaneous writing and projection storage
CN108646951A (zh) * 2018-07-19 2018-10-12 苏州腾邦科技有限公司 可同时书写和投影储存的电子白板
CN109271066A (zh) * 2018-08-30 2019-01-25 苏州腾邦科技有限公司 可同时书写和录播的电子白板
CN110879731A (zh) * 2018-09-05 2020-03-13 鸿富锦精密电子(郑州)有限公司 移动终端、移动终端的镜子开启方法及存储设备
US11032482B2 (en) * 2019-08-05 2021-06-08 Cisco Technology, Inc. Automatic screen brightness and camera exposure adjustment for remote multimedia collaboration sessions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547332A (zh) * 2008-03-26 2009-09-30 联想(北京)有限公司 图像处理方法和设备
US20120320158A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Interactive and shared surfaces
CN102843517A (zh) * 2012-09-04 2012-12-26 京东方科技集团股份有限公司 一种图像处理方法、装置及显示设备
CN103809910A (zh) * 2014-02-20 2014-05-21 深圳市威富多媒体有限公司 一种通过触控终端输入设备进行交互的方法及装置
CN104025151A (zh) * 2012-01-31 2014-09-03 索尼爱立信移动通讯有限公司 用于创建组合图像的方法和电子装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US8350892B2 (en) 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
US8128241B2 (en) 2009-10-19 2012-03-06 Leslie C. Bishop Short-throw projector mounting system
CN102109929A (zh) * 2009-12-28 2011-06-29 鸿富锦精密工业(深圳)有限公司 电子白板系统
TWM381829U (en) 2010-01-14 2010-06-01 Univ Nat Taipei Technology Display device of virtual reality
US8878821B2 (en) 2010-04-29 2014-11-04 Hewlett-Packard Development Company, L.P. System and method for providing object location information and physical contact information
US20110298722A1 (en) 2010-06-04 2011-12-08 Smart Technologies Ulc Interactive input system and method
JP5488306B2 (ja) * 2010-07-29 2014-05-14 船井電機株式会社 プロジェクタ
KR20120084252A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
JP2013038626A (ja) 2011-08-09 2013-02-21 Seiko Epson Corp 撮像装置およびプロジェクター
US9207812B2 (en) 2012-01-11 2015-12-08 Smart Technologies Ulc Interactive input system and method
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US9158185B2 (en) 2013-01-07 2015-10-13 Lumexis Corporation Personal interactive overhead projection inflight entertainment system
JP6398248B2 (ja) 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547332A (zh) * 2008-03-26 2009-09-30 联想(北京)有限公司 图像处理方法和设备
US20120320158A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Interactive and shared surfaces
CN104025151A (zh) * 2012-01-31 2014-09-03 索尼爱立信移动通讯有限公司 用于创建组合图像的方法和电子装置
CN102843517A (zh) * 2012-09-04 2012-12-26 京东方科技集团股份有限公司 一种图像处理方法、装置及显示设备
CN103809910A (zh) * 2014-02-20 2014-05-21 深圳市威富多媒体有限公司 一种通过触控终端输入设备进行交互的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298886A (zh) * 2021-07-27 2021-08-24 光量信息科技(宁波)有限公司 一种投影仪的标定方法
CN113298886B (zh) * 2021-07-27 2021-10-08 光量信息科技(宁波)有限公司 一种投影仪的标定方法

Also Published As

Publication number Publication date
EP3341826A1 (en) 2018-07-04
TW201721369A (zh) 2017-06-16
WO2017058199A1 (en) 2017-04-06
US10869009B2 (en) 2020-12-15
EP3341826B1 (en) 2022-06-22
TWI624770B (zh) 2018-05-21
EP3341826A4 (en) 2019-10-09
US20180278899A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN108475103A (zh) 交互式显示器
US9584766B2 (en) Integrated interactive space
US11115633B2 (en) Method and system for projector calibration
CN112243583B (zh) 多端点混合现实会议
US9883138B2 (en) Telepresence experience
US20160261856A1 (en) Designing Content for Multi-View Displays
Li et al. Dynamic tiling display: building an interactive display surface using multiple mobile devices
BR112014002186B1 (pt) sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US11557060B2 (en) Systems and methods for scanning three-dimensional objects
KR101080040B1 (ko) 공간 증강 현실 기반 인터랙티브 디스플레이 방법
Sajadi et al. Automatic registration of multi‐projector domes using a single uncalibrated camera
CN106027592A (zh) 用于在多个端点之间共享实时内容的技术
Lee et al. A new projection-based exhibition system for a museum
US10079966B2 (en) Systems and techniques for capturing images for use in determining reflectance properties of physical objects
US20140104431A1 (en) System and Method for Utilizing a Surface for Remote Collaboration
Kern et al. Projector-based augmented reality for quality inspection of scanned objects
Zhao et al. The auto‐geometric correction of multi‐projector for cylindrical surface using Bézier patches
Simões et al. Creativity support in projection-based augmented environments
KR102071827B1 (ko) 조명 장치를 이용한 큐레이팅 시스템 및 그 방법
State et al. The A-Desk: A Unified Workspace of the Future
CN106231275A (zh) 一种基于无线投影仪的多通道软件成像系统
CN106254842A (zh) 一种三维样板间成像系统
KR20160031968A (ko) 전방 프로젝션 환경에서 그림자를 제거하기 위한 방법
Hieda Digital video projection for interactive entertainment
CN106060504A (zh) 一种多通道软件立体成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180831

RJ01 Rejection of invention patent application after publication