CN105683866A - 投影计算系统 - Google Patents

投影计算系统 Download PDF

Info

Publication number
CN105683866A
CN105683866A CN201380080433.6A CN201380080433A CN105683866A CN 105683866 A CN105683866 A CN 105683866A CN 201380080433 A CN201380080433 A CN 201380080433A CN 105683866 A CN105683866 A CN 105683866A
Authority
CN
China
Prior art keywords
image
computing system
projection
camera
shade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380080433.6A
Other languages
English (en)
Other versions
CN105683866B (zh
Inventor
B.苏格斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN105683866A publication Critical patent/CN105683866A/zh
Application granted granted Critical
Publication of CN105683866B publication Critical patent/CN105683866B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Abstract

在依照本公开的一个示例中,提供一种由投影计算系统进行的方法。该方法包括通过投影计算系统的相机捕获包括对象和背景元件的图像。该方法还包括通过投影计算系统的投影仪组装件将对象的图像与邻近对象的图像的至少部分的人为阴影一同投影在对象的顶部上。

Description

投影计算系统
背景技术
计算机系统典型地采用一个或多个显示器,其安装在支撑架子上和/或并入在计算机系统的某种其它组件中。对于采用触敏技术(例如触摸屏)的显示器而言,通常合期望的是使用户直接与这样的显示器交互以便在系统操作期间完全利用这样的触摸技术。然而,用于简单地观看其上的图像的显示器的最佳人类工程学放置通常与用于参与到与其的触摸交互中的这样的放置不一致。因而,期望使用单个计算机系统以用于传统观看应用以及触摸交互应用二者的用户通常在定位和/或利用这样的系统方面遇到困难。
附图说明
为了详细描述各种示例,现在将参照随附各图,其中:
图1是依照本文公开的原理的投影计算机系统的示例的示意性透视图;
图2是依照本文公开的原理的图1的计算机系统的另一示意性透视图;
图3是依照本文公开的原理的图1的计算机系统的示意性侧视图;
图4是依照本文公开的原理的图1的计算机系统的示意性前视图;
图5是依照本文公开的原理的图1的计算机系统在操作期间的示意性侧视图;
图6是依照本文公开的原理的图1的系统在操作期间的示意性前视图;
图7是依照本文公开的原理的图1的计算机系统的黑框电路图;
图8(A)是图1的计算机系统的触摸垫上的照片在捕获和投影之前的示意性视图,并且图8(B)是依照本文公开的原理的图1的计算机系统的触摸垫上的照片在捕获和投影之后的示意性视图;
图9是依照本文公开的原理的图1的计算系统所进行的过程的过程流程图;
图10是依照本文公开的原理的图1的计算机系统的触摸垫上的照片在捕获和投影之后的另一示意性视图;以及
图11是依照本文公开的原理的图1的计算机系统的触摸垫上的照片在捕获和投影之后的又一示意性视图。
符号和名称
贯穿以下描述和权利要求使用某些术语以指代特定系统组件。如本领域技术人员将领会到的,计算机公司可以通过不同的名称指代组件。该文档不意图区分在名称而不是功能方面不同的组件。在以下讨论和权利要求中,术语“包括”和“包含”以开放方式使用,并且因而应当解释为意指“包括但不限于......”。而且,术语“耦合”意图是指直接或间接连接。因而,如果第一设备耦合到第二设备,则该连接可以是通过直接电气或机械连接,通过经由其它设备和连接的间接电气或机械连接,通过光学电气连接,或者通过无线电气连接。如本文中使用的,术语“大概”意指正或负10%。此外,如本文中使用的,短语“用户输入设备”是指用于由用户将输入提供到电气系统中的任何适当设备,诸如例如鼠标、键盘、手部(或其任何手指)、触笔、定点设备等。
具体实施方式
以下讨论针对本公开的各种示例。尽管这些示例中的一个或多个可能是优选的,但是所公开的示例不应当解释或以其它方式用作限制本公开(包括权利要求)的范围。此外,本领域技术人员将理解到,以下描述具有宽泛应用,并且任何示例的讨论仅意为描述该示例,并且不意图暗示本公开(包括权利要求)的范围限于该示例。
现在参照图1-4,示出依照本文公开的原理的投影计算系统100。在该示例中,系统100一般包括支撑结构110、计算设备150、投影仪单元180和触敏垫200。计算设备150可以包括任何适当的计算设备而同时仍旧符合本文公开的原理。例如,在一些实现方案中,设备150可以包括电子显示器、智能电话、平板电脑、一体式计算机(即还容纳计算机的主板的显示器)或者其某种组合。在该示例中,设备150是一体式计算机,其包括中心轴线或中心线155,第一侧或顶侧150a,与顶侧150a轴向相对的第二侧或底侧150b,在侧部150a、150b之间轴向延伸的前侧150c,也在侧部150a、150b之间轴向延伸并且通常与前侧150c轴向相对的后侧。显示器152限定观看表面并且沿着前侧150c设置以投影图像来由用户(未示出)观看和交互。在一些示例中,显示器152包括触敏技术,诸如例如电阻、电容、声波、红外(IR)、应变仪、光学、声学脉冲识别或者其某种组合。因此,贯穿以下描述,显示器152可以周期性地称为触敏表面或显示器。此外,在一些示例中,设备150还包括相机154,其用来在用户定位于显示器152前方时拍摄他或她的图像。在一些实现方案中,相机154是web(网络)相机。另外,在一些示例中,设备150还包括麦克风或类似设备,其布置成在操作期间从用户接收声音输入(例如语音)。
仍旧参照图1-4,支撑结构110包括底座120、直立构件140和顶部160。底座120包括第一端或前端120a,以及第二端或后端120b。在操作期间,底座120与支撑表面15结合以在操作期间支撑系统100的组件(例如构件140、单元180、设备150、顶部160等)的至少部分的重量。在该示例中,底座120的前端120a包括抬起部分122,其在支撑表面15上方稍微分离,由此在部分122与表面15之间创建空间或空隙。如将在下文更详细解释的,在系统100的操作期间,垫200的一侧接收在形成于部分122与表面15之间的空间内以确保垫200的恰当对准。然而,应当领会到,在其它示例中,可以使用其它适当的对准方法或设备而同时仍旧符合本文公开的原理。
直立构件140包括第一端或上端140a,与上端140a相对的第二端或下端140b,在端部140a、140b之间延伸的第一侧或前侧140c,以及与前侧140c相对并且也在端部140a、140b之间延伸的第二侧或后侧140d。构件140的下端140b耦合到底座120的后端120b,使得构件140从支撑表面15基本上向上延伸。
顶部160包括第一端或近端160a,与近端160a相对的第二端或远端160b,在端部160a、160b之间延伸的顶表面160c,以及与顶表面160c相对并且也在端部160a、160b之间延伸的底表面160d。顶部160的近端160a耦合到直立构件140的上端140a使得远端160b从其向外延伸。作为结果,在图2中示出的示例中,顶部160仅在端部160a处支撑并且因而在本文中称为“悬臂”顶部。在一些示例中,底座120、构件140和顶部160全部整体形成;然而将领会到,在其它示例中,底座120、构件140和/或顶部160可以不是整体形成而同时仍旧符合本文公开的原理。
仍旧参照图1-4,垫200包括中心轴或中心线205,第一侧或前侧200a,以及与前侧200a轴向相对的第二侧或后侧200b。在该示例中,触敏表面202设置在垫200上并且基本上与轴205对准。表面202可以包括任何适当的触敏技术以用于检测和追踪用户的一个或多个触摸输入以便允许用户与设备150或某种其它计算设备(未示出)所执行的软件进行交互。例如,在一些实现方案中,表面202可以利用已知的触敏技术,诸如例如电阻、电容、声波、红外、应变仪、光学、声学脉冲识别或者其某种组合,而同时仍旧符合本文公开的原理。此外,在该示例中,表面202仅在垫200的部分之上延伸;然而应领会到,在其它示例中,表面202可以基本上在垫200的全部之上延伸而同时仍旧符合本文公开的原理。
在操作期间,垫200与结构110的底座120对准(如之前所描述的那样),以便确保其恰当对准。特别地,在该示例中,垫200的后侧200b放置在底座120的抬起部分122与支撑表面15之间使得后端200b与底座的前侧120a对准,由此确保垫200(并且特别是表面202)与系统100内的其它组件的恰当总体对准。在一些示例中,垫200与设备150对准使得设备150的中心线155基本上与垫200的中心线205对准;然而,其它对准是可能的。此外,如将在下文更详细描述的,在至少一些示例中,垫200的表面202和设备150电气耦合到彼此使得由表面202接收的用户输入被传达给设备150。可以在表面200与设备150之间使用任何适当的无线或有线电气耦合或连接,诸如例如WI-FI、BLUETOOTH®、超声、电缆、电线、利用磁性吸持力而电气弹簧加载的伸缩探针、或者其某种组合,而同时仍旧符合本文公开的原理。在该示例中,设置在垫200的后侧200b上的暴露式电气触头与底座120的部分122内的对应电气伸缩探针引线结合以在操作期间在设备150与表面202之间传递信号。此外,在该示例中,电气触头通过位于底座120的部分122与表面15之间的空隙中的相邻磁体而保持在一起(如之前所描述的那样),以便磁性吸引和保持(例如以机械方式)沿着垫200的后侧200b设置的对应含铁和/或磁性材料。
现在具体地参照图3,投影仪单元180包括外部壳体182和设置在壳体182内的投影仪组装件184。壳体182包括第一端或上端182a,与上端182a相对的第二端或下端182b,以及内部腔体183。在该实施例中,壳体182还包括耦合或安装构件186以在操作期间与设备150结合并支撑设备150。一般地,构件186可以是用于悬挂和支撑计算机设备(例如设备150)的任何适当构件或设备而同时仍旧符合本文公开的原理。例如,在一些实现方案中,构件186包括铰链,其包含旋转轴使得用户(未示出)可以围绕旋转轴旋转设备150以维持与其的最佳观看角度。另外,在一些示例中,设备150永久性地或半永久性地附连到单元180的壳体182。例如在一些实现方案中,壳体180和设备150一体地和/或整体地形成为单个单元。
因而,简要参照图4,当通过壳体182上的安装构件186从结构110悬挂设备150时,在从基本上面向设置于设备150的前侧150c上的显示器152的观看表面或观看角度来观看系统100时,投影仪单元180(即壳体182和组装件184二者)基本上隐藏在设备150后面。此外,如同样在图4中所示,当以所描述的方式从结构110悬挂设备150时,投影仪单元180(即壳体182和组装件184二者)和由此所投影的任何图像基本上关于设备150的中心线155对准或定心。
投影仪组装件184一般设置在壳体182的腔体183内,并且包括第一端或上端184a,与上端184a相对的第二端或下端184b。上端184a是壳体182的近处上端182a,而下端184b是壳体182的近处下端182b。投影仪组装件184可以包括任何适当的数字光投影仪组装件以用于从计算设备(例如设备150)接收数据并且投影与该输入数据对应的一个或多个图像(例如从上端184a投影出来)。例如,在一些实现方案中,投影仪组装件184包括数字光处理(DLP)投影仪或者硅上液晶(LCoS)投影仪,其有利地是能够实现多个显示器分辨率和尺寸(诸如例如标准XGA(1024*768)分辨率4:3纵横比或者标准WXGA(1280*800)分辨率16:10纵横比)的紧凑且电力高效的投影引擎。投影仪组装件184还电气耦合到设备150以便从其接收数据来在操作期间从端部184a产生光和图像。投影仪组装件184可以通过任何适当类型的电气耦合而电气耦合到设备150,而同时仍旧符合本文公开的原理。例如,在一些实现方案中,组装件184通过电导体、WI-FI、BLUETOOTH®、光学连接、超声连接或者其某种组合而电气耦合到设备150。在该示例中,设备150通过设置在安装构件186内的电气引线或导体(在之前描述)而电气耦合到组装件184,使得当通过构件186从结构110悬挂设备150时,设置在构件186内的电气引线接触设置在设备150上的对应引线或导体。
仍旧参照图3,顶部160还包括折叠镜162和传感器束164。镜子162包括高反射表面162a,其沿着顶部160的底表面160d设置并且定位成在操作期间朝向垫200反射从投影仪组装件184的上端184a所投影的图像和/或光。镜子162可以包括任何适当类型的镜子或反射表面,而同时仍旧符合本文公开的原理。在该示例中,折叠镜162包括标准前表面真空金属化铝涂覆玻璃镜,其用于将从组装件184发射的光向下折叠到垫200。在其它示例中,镜子162可以具有复杂非球面曲率以充当提供附加聚焦能力或光学校正的反射透镜元件。
传感器束164包括多个传感器和/或相机以在操作期间测量和/或检测在垫200上或其附近发生的各种参数。例如,在图3中所描绘的具体实现方案中,束164包括周围光传感器164a、相机(例如视觉RGB 14.1兆像素高分辨率相机)164b、深度传感器或相机164c和三维(3D)用户接口传感器164d。周围光传感器164a布置成测量围绕系统100的环境的光强度,以便在一些实现方案中调节相机和/或传感器(例如传感器164a、164b、164c、164d)的曝光设置和/或调节从遍及系统的其它源(诸如例如投影仪组装件184、显示器152等)所发射的光的强度。相机164b可以在一些实例中包括彩色相机,其布置成拍摄设置在垫200上的对象40(例如文档、照片、书籍、2D对象和/或3D对象)的静止图像或视频。例如,相机164b可以是视觉14.1兆像素RBG相机。深度传感器164c一般指示3D对象何时处于工作表面上。特别地,深度传感器164c可以在操作期间感测或检测放置在垫200上的对象(或者对象的(多个)具体特征)的存在、形状、轮廓、运动和/或3D深度。因而在一些实现方案中,传感器164c可以采用任何适当的传感器或相机布置以感测和检测设置在传感器的视场(FOV)中的每一个像素(不管是红外、彩色还是其它)的深度值和/或3D对象。例如在一些实现方案中,传感器164c可以包括具有均匀IR光流的单个红外(IR)相机传感器、具有均匀IR光流的双IR相机传感器、结构化光深度传感器技术、飞行时间(TOF)深度传感器技术或者其某种组合。用户接口传感器164d包括任何适当的一个或多个设备(例如传感器或相机)以用于追踪用户输入设备,诸如例如手部、触笔、定点设备等。在一些实现方案中,传感器164d包括一对相机,其布置成在用户输入设备(例如触笔)通过用户而在垫200周围(并且特别地在垫200的表面202周围)移动时以立体方式追踪该用户输入设备的位置。在其它示例中,传感器164d也可以是或者可替换地包括(多个)红外相机或者(多个)传感器,其布置成检测由用户输入设备发射或反射的红外光。还应当领会到,束164可以包括其它传感器和/或相机以替代或附加于之前所描述的传感器164a、164b、164c、164d。此外,如将在下文更详细解释的,束164内的传感器164a、164b、164c、164d中的每一个电气且通信耦合到设备150使得在束164内生成的数据可以被传送给设备150并且由设备150发出的命令可以在操作期间被传达给传感器164a、164b、164c、164d。如上文针对系统100的其它组件所解释的,可以使用任何适当的电气和/或通信耦合来将传感器束164耦合到设备150,该通信耦合诸如例如是电导体、WI-FI、BLUETOOTH®、光学连接、超声连接或者其某种组合。在该示例中,电导体从束164被路由通过顶部160、直立构件140和投影仪单元180,并且通过之前所描述的设置在安装构件186内的引线进入到设备150中。
现在参照图5和6,在系统100的操作期间,光187从投影仪组装件184发射并且朝向垫200而反射离开镜子162,由此在投影仪显示空间188上显示图像。在该示例中,空间188基本上为矩形并且由长度L188和宽度W188限定。在一些示例中,长度L188可以大概等于16英寸,而宽度W188可以大概等于12英寸;然而,应当领会到,可以使用用于长度L188和宽度W188的其它值而同时仍旧符合本文公开的原理。此外,束164内的传感器(例如传感器164a、164b、164c、164d)包括所感测的空间168,其在至少一些示例中与之前描述的投影仪显示空间188重叠和/或对应。空间168限定束164内的传感器布置成以之前描述的方式监测和/或检测其状况的区域。在一些示例中,空间188和空间168二者与之前描述的垫200的表面202重合或对应以便在限定区域内有效地集成触敏表面202、投影仪组装件184和传感器束164的功能性。
现在参照图5-7,在一些示例中,设备150使组装件184定向成将图像投影到垫200的表面202上。此外,设备150也可以在显示器152上显示图像(其可以或者可以不与由组装件184投影到表面202上的图像相同)。由组装件184投影的图像可以包括由在设备150内执行的软件所产生的信息和/或图像。用户(未示出)然后可以通过物理地结合垫200的触敏表面202而与显示在表面202和显示器152上的图像交互。这样的交互可以通过任何适当的方法而发生,该方法诸如是与用户手部35的直接交互、通过触笔25、或者任何适当的(多个)用户输入设备。
如在图7中最佳示出的,当用户与垫200的表面202交互时,生成信号,其通过之前描述的任何电气耦合方法和设备而路由到设备150。一旦设备150接收到在垫200内生成的信号,其就通过内部导体路径153路由到处理器250,处理器250与非暂时性计算机可读存储设备260通信以生成输出信号,该输出信号然后被路由回到投影仪组装件184和/或显示器152以分别实现投影到表面202上的图像和/或显示在显示器152上的图像中的改变。还应当领会到,处理器250可以是以下中的至少一个:中央处理单元(CPU)、基于半导体的微处理器、图形处理单元(GPU)、微控制器或者另一处理设备,其布置成获取、解码和/或执行从非暂时性计算机可读存储设备260所检索的指令。还应当领会到,非暂时性计算机可读存储设备260可以对应于任何典型的存储设备,其存储机器可读指令,诸如编程代码、软件、固件等。例如,非暂时性计算机可读存储设备260可以包括非易失性存储器、易失性存储器和/或存储设备中的一个或多个。非易失性存储器的示例包括但不限于电可擦除可编程只读存储器(EEPROM)和只读存储器(ROM)。易失性存储器的示例包括但不限于静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)。存储设备的示例包括但不限于硬盘驱动器、压缩盘驱动器、数字通用盘驱动器、光学设备和闪速存储器设备。在一些实现方案中,指令可以是可以由处理器250执行的安装包的部分。在该情况下,非暂时性计算机可读存储设备260可以是便携介质,诸如CD、DVD、或者由服务器维护的闪速驱动器或存储器,安装包可以从所述服务器下载和安装。在另一实现方案中,指令可以是应用或者已经安装的应用的部分。此处,非暂时性计算机可读存储设备260可以包括集成存储器,诸如硬盘驱动器。此外,在一些示例中,处理器250与计算机可读存储设备260集成,而在其它示例中,处理器250和计算机可读存储设备260是分立组件。
再次参照图5-7,在至少一些示例的操作期间,系统100可以捕获位于触敏垫200上的2D或3D物理对象(例如文档、图片、书籍等)40的二维(2D)图像。所捕获的图像然后可以被处理并且可以将所得图像投影到触敏垫200上和/或投影到物理对象40本身上以用于其另外的使用和操纵。更具体地,在一些示例中,对象40(例如文档或图片)可以放置在表面202上使得传感器(例如相机164b)可以捕获背景元件(例如触敏垫202的部分)和/或对象40的图像。图像然后可以被路由到包括处理器250和计算机可读存储设备260的图像处理模块290以用于处理。图像处理模块290可以处理所接收的图像以便移除背景元件使得仅对象40的图像得以保留。所得图像然后可以由投影仪组装件184投影在触敏垫202上和/或直接投影到对象40本身上。
应当领会到,尽管图7将图像处理模块290描绘为仅包括处理器250和计算机可读存储设备260,但是在各种示例中,图像处理模块290包括附加或可替换组件。例如,图像处理模块290可以包括功能上等同的电路,比如模拟电路、数字信号处理设备电路、专用集成电路(ASIC)、或者布置成执行与处理器250和计算机可读存储设备260相同的功能的其它逻辑设备。
现在转向图8(A)和8(B),如所提及的,系统100可以捕获对象40的图像,处理该图像,并且将所得图像直接投影到对象40上。因为所投影的图像可以与对象40的尺度和/或颜色相同,所以用户可能难以确定所得图像何时被投影。换句话说,所投影的图像可以看起来与对象本身相同,并且因此用户可能难以确定图像何时被投影,因为图像直接投影到对象上。除其它事情之外,这可能使得用户非必要地再次触发捕获和投影功能。
为了克服该问题并且为用户提供图像捕获和随后的图像投影功能完成的清楚指示,各种示例在所投影的图像周围生成人为阴影。例如,图8(A)描绘了在图像捕获之前位于触敏垫200上的照片300。图8(B)描绘了在照片300被传感器(例如相机164b)捕获并且照片的图像310被投影到照片300上之后的相同场景。更具体地,在图8(B)中,照片的图像310在至少尺度和颜色方面基本上与照片300相同,并且因此难以确定照片的图像310何时被投影。为了帮助用户分辨照片的图像310被投影,与照片的图像310一同投影人为阴影320。人为阴影向用户告知照片的图像310当前被投影,并且还提供照片300从触敏垫200升起的表象。因而,用户可以快速确定捕获和投影功能完成而不必进行附加任务,诸如移动对象。
在一些示例中,在捕获图像之后并且在投影之前,图像处理模块290进行处理以便移除背景元件使得仅对象的图像得以保留。例如,参照图8(A)和8(B),当传感器(例如相机164b)捕获照片300的图像时,触敏垫200的部分也可以被捕获。图像处理模块290因此可以处理所捕获的图像以将照片300与触摸垫200分离使得仅投影照片300的图像并且不投影触摸垫200的图像。除了移除背景元件的分段处理之外,图像处理模块290也可以进行处理以便从扫描光照移除阴影来恰当地分段图像。
图9描绘了依照示例的系统100所进行的过程的示例过程流程图900。应当容易显而易见的是,在图9中描绘的过程表示一般化图示,并且可以添加其它过程或者可以移除、修改或重布置现有过程而不脱离本公开的精神和范围。另外,应当理解到,过程可以表示存储在存储器上的可执行指令,该指令可以使系统100做出响应、执行动作、改变状态和/或做出决定。因而,所描述的过程可以实现为由与系统100相关联的存储器提供的可执行指令和/或操作。可替换地或附加地,过程可以表示由功能上等同的电路执行的功能和/或动作,该功能上等同的电路比如是模拟电路、数字信号处理设备电路、专用集成电路(ASIC)、或者与系统100相关联的其它逻辑设备。此外,图9不意图限制所述实现方案的实现方式,而是附图图示了本领域技术人员可以使用以设计/制造电路、生成软件或使用软件和硬件的组合来执行所图示的内容的功能信息。
过程900可以在框910处开始,其中系统100的相机捕获包括位于触敏垫200上的对象40和触敏垫200的至少部分的图像。在框920处,在捕获图像之后,图像处理模块290处理包括对象和背景元件的所捕获图像以移除背景元件。因而,仅对象的图像得以保留。在此之后,在框930处,投影仪组装件将对象的图像与邻近对象图像的至少部分的人为阴影一同投影在对象顶部上(参见例如图8(B))。如上文所提及的,人为阴影向用户告知投影计算系统100的捕获和投影功能完成。
取决于实现方案,人为阴影可以以各种方式投影。例如,人为阴影可以配置成以不同颜色(例如浅灰色、深灰色等)、不同透明度水平(例如50%透明度)、不同尺寸(例如距对象5mm、距对象10mm等)和/或不同角度(例如与对象中心成0°-360°)进行显示。附加地,在一些示例中,人为阴影的尺寸至少部分地基于对象的尺寸(例如较大的对象=较大的阴影;较小的对象=较小的阴影)。仍旧进一步地,在一些示例中,可以由用户设定定向光参数使得阴影基于定向光参数设置而出现。例如,定向光参数可以设定为“东南”,并且因此阴影将基于光源位于对象的东南而出现在对象附近。在一些示例中,定向光参数可以具有针对所有人为阴影的默认设置,而在其它示例中,定向光参数设置可以是用户可配置的。
现在转向图10和11,尽管以上描述已经关注人为阴影,但是应当理解到,可以与对象的图像一同投影其它图像以向用户告知捕获和投影功能完成。例如,可以投影星星的人为图像,如在图10中所示。附加地,可以投影晕轮的人为图像,如在图11中所示。这些人为图像可以包括文本,诸如“捕获完成”,比如在图10中所示。此外,人为图像可以是仅文本并且不包括符号、晕轮和/或阴影。此外,除了投影图像来指示投影完成之外,也可以播放声音。例如,可以在图像被投影之前、之后或者与其同时播放简短“叮叮(ding)”或“咔哒(click)”声。除以上描述的阴影、晕轮和/或符号之外,该声音可以提供投影功能完成的附加指示。
以所述方式,通过使用依照本文公开的原理的投影计算机系统100的示例,物理对象的图像可以被捕获、处理并且直接投影到对象上。为了使所投影的图像更为明显,可以与所投影的图像一同并且邻近对象图像而包括诸如阴影之类的人为图像。更具体地,在通过相机的图像捕获之后,对象可以从背景分离并且附加处理可以从扫描光照移除阴影以恰当地分段对象。在此之后,对象的图像可以与人为生成的阴影一同被投影。在示例中,阴影不是所捕获的图像的部分,而是显示成指示捕获和分段的完成。阴影可以提供成就像定向光处于特定位置处并且对象悬停在垫之上或者沉没到垫中那样。此外,营造阴影的表观光可以更聚焦或更扩散以创建更锋利或更柔和的阴影。此外,来自3D传感器的关于实际对象高度的信息可以用于使阴影更长或更短,由此对应于实际对象高度。
尽管设备150已经被描述为一体式计算机,但是应当领会到,在其它示例中,设备150还可以采用更传统的用户输入设备的使用,该用户输入设备诸如例如是键盘和鼠标。此外,尽管束164内的传感器164a、164b、164c、164d已经被描述为各自表示单个传感器或相机,但是应当领会到,传感器164a、164b、164c、164d中的每一个可以各自包括多个传感器或相机,而同时仍旧符合本文公开的原理。另外,尽管在本文中已经将顶部160描述为悬臂顶部,但是应当领会到,在其它示例中,顶部160可以支撑在多于一个点处并且因而可以不是悬臂的,而同时仍旧符合本文公开的原理。
以上讨论意在说明本公开的原理和各种实施例。一旦完全领会以上公开内容,众多变形和修改对于本领域技术人员将变得显而易见。旨在以下权利要求被解释为包涵所有这样的变形和修改。

Claims (15)

1.一种投影计算系统,包括:
触敏垫;
位于触敏垫上方的相机,其中相机用来捕获包括位于触敏垫上的对象和触敏垫的至少部分的图像;
图像处理模块,其用来接收该图像并且处理该图像以生成对象的图像;以及
投影仪组装件,其用来投影对象的图像与邻近对象的图像的至少部分的人为阴影。
2.根据权利要求1所述的投影计算系统,其中投影仪组装件将对象的图像投影在位于触敏垫上的对象的顶部上。
3.根据权利要求1所述的投影计算系统,其中对象的图像是二维图像。
4.根据权利要求1所述的投影计算系统,其中人为阴影的尺寸至少部分地基于对象的尺寸或者对象的图像的尺寸。
5.根据权利要求1所述的投影计算系统,其中对象的图像与对象的尺度相同。
6.根据权利要求1所述的投影计算系统,其中图像处理模块处理图像以便移除触敏垫的部分。
7.根据权利要求1所述的投影计算系统,其中对象包括图片和文档中的至少一个。
8.根据权利要求1所述的投影计算系统,其中投影仪组装件至少部分地基于定向光参数来投影人为阴影的图像。
9.一种由投影计算系统进行的方法,包括:
通过投影计算系统的相机捕获包括对象和背景元件的图像;以及
通过投影计算系统的投影仪组装件将对象的图像与邻近对象的图像的至少部分的人为阴影一同投影在对象的顶部上。
10.根据权利要求9所述的方法,还包括:
处理包括对象和背景元件的图像以便移除背景元件。
11.根据权利要求9所述的方法,还包括:
获取定向光参数;以及
至少部分地基于定向光参数来投影人为阴影。
12.根据权利要求9所述的方法,其中对象的图像与对象的尺度相同。
13.一种投影计算系统,包括:
支撑结构,其包括底座、从底座向上延伸的直立构件、以及从直立构件向外延伸的悬臂顶部;
位于悬臂顶部内的相机,其中相机用来捕获对象的图像;以及
投影仪组装件,其用来将对象的图像与邻近对象的图像的至少部分的人为图像一同投影在对象的顶部上。
14.根据权利要求13所述的投影计算系统,其中人为图像包括阴影、晕轮和符号中的至少一个。
15.根据权利要求13所述的投影计算系统,其中对象包括图片和文档中的至少一个。
CN201380080433.6A 2013-08-22 2013-08-22 投影计算系统 Expired - Fee Related CN105683866B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/056099 WO2015026346A1 (en) 2013-08-22 2013-08-22 Projective computing system

Publications (2)

Publication Number Publication Date
CN105683866A true CN105683866A (zh) 2016-06-15
CN105683866B CN105683866B (zh) 2020-01-10

Family

ID=52484001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380080433.6A Expired - Fee Related CN105683866B (zh) 2013-08-22 2013-08-22 投影计算系统

Country Status (7)

Country Link
US (1) US10126880B2 (zh)
EP (1) EP3036602A4 (zh)
JP (1) JP2016528647A (zh)
KR (1) KR101800981B1 (zh)
CN (1) CN105683866B (zh)
TW (1) TWI531928B (zh)
WO (1) WO2015026346A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device
TWI664565B (zh) * 2018-04-03 2019-07-01 元太科技工業股份有限公司 顯示裝置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019926B2 (en) * 2015-06-19 2018-07-10 Apple Inc. Adaptive calibration and adaptive transformation matrices for ambient light sensors
WO2018136029A1 (en) 2017-01-17 2018-07-26 Hewlett-Packard Development Company, L.P. Input device with touch sensitive surface
JP7119488B2 (ja) * 2018-03-27 2022-08-17 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
KR20210115161A (ko) 2020-03-12 2021-09-27 김상일 보건용 마스크

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622722A2 (en) * 1993-04-30 1994-11-02 Rank Xerox Limited Interactive copying system
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
CN101409826A (zh) * 2007-10-10 2009-04-15 富士施乐株式会社 信息处理装置和远程指示系统
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
US20120249422A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method
WO2012172363A2 (en) * 2011-06-16 2012-12-20 Light Blue Optics Ltd Touch sensitive display devices
WO2013019190A1 (en) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. System and method of visual layering
WO2013019217A1 (en) * 2011-08-02 2013-02-07 Hewlett-Packard Development Company, L.P. Projection capture system and method
JP2013118596A (ja) * 2011-12-05 2013-06-13 Tetsuya Akiba 投影システム及び方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3006448B2 (ja) 1995-02-09 2000-02-07 富士ゼロックス株式会社 情報入出力システム
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP2976963B2 (ja) 1998-03-19 1999-11-10 コナミ株式会社 画像作成装置、画像作成方法、画像作成プログラムが記録された可読記録媒体およびビデオゲーム装置
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US8508508B2 (en) * 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
JP2005122323A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20050168448A1 (en) 2004-01-30 2005-08-04 Simpson Zachary B. Interactive touch-screen using infrared illuminators
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
JP4579730B2 (ja) * 2005-03-18 2010-11-10 日本電信電話株式会社 画像処理装置及び画像処理方法とそのプログラム
US20070035655A1 (en) * 2005-08-10 2007-02-15 Chang-Fu Chen Multi-functional scanning camera
CN101449204A (zh) 2005-09-07 2009-06-03 实况活动媒体公司 用于图像捕获的空中支撑结构和方法
US7639878B2 (en) 2005-11-17 2009-12-29 Honeywell International Inc. Shadow detection in images
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US9081445B2 (en) * 2006-12-08 2015-07-14 Johnson Controls Technology Company Display and user interface
WO2008132234A2 (en) 2007-05-01 2008-11-06 Santaris Pharma A/S Rna antagonist compounds for the modulation of beta-catenin
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US20080295035A1 (en) * 2007-05-25 2008-11-27 Nokia Corporation Projection of visual elements and graphical elements in a 3D UI
EP2185255A4 (en) 2007-09-21 2013-08-14 Playdata Llc SYSTEM AND PROCESS FOR LOCATION AND MOVEMENT
JP5061924B2 (ja) * 2008-01-25 2012-10-31 富士ゼロックス株式会社 指示システム、指示プログラム及び指示装置
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8286102B1 (en) * 2010-05-27 2012-10-09 Adobe Systems Incorporated System and method for image processing using multi-touch gestures
KR101113238B1 (ko) 2010-08-02 2012-02-20 삼성전자주식회사 이미지 처리장치의 이미지 표시방법
US20120062518A1 (en) 2010-09-09 2012-03-15 Light Blue Optics Ltd Touch Sensing Systems
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
BR112014002186B1 (pt) * 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US9030445B2 (en) 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
KR20130075344A (ko) 2011-12-27 2013-07-05 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
USD726184S1 (en) * 2012-10-02 2015-04-07 Hewlett-Packard Development Company, L.P. Projected interface device
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622722A2 (en) * 1993-04-30 1994-11-02 Rank Xerox Limited Interactive copying system
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
CN101409826A (zh) * 2007-10-10 2009-04-15 富士施乐株式会社 信息处理装置和远程指示系统
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
US20120249422A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method
WO2012172363A2 (en) * 2011-06-16 2012-12-20 Light Blue Optics Ltd Touch sensitive display devices
WO2013019190A1 (en) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. System and method of visual layering
WO2013019217A1 (en) * 2011-08-02 2013-02-07 Hewlett-Packard Development Company, L.P. Projection capture system and method
JP2013118596A (ja) * 2011-12-05 2013-06-13 Tetsuya Akiba 投影システム及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device
TWI664565B (zh) * 2018-04-03 2019-07-01 元太科技工業股份有限公司 顯示裝置

Also Published As

Publication number Publication date
CN105683866B (zh) 2020-01-10
KR101800981B1 (ko) 2017-11-23
US10126880B2 (en) 2018-11-13
TW201514768A (zh) 2015-04-16
KR20160036603A (ko) 2016-04-04
EP3036602A4 (en) 2017-04-12
WO2015026346A1 (en) 2015-02-26
TWI531928B (zh) 2016-05-01
EP3036602A1 (en) 2016-06-29
JP2016528647A (ja) 2016-09-15
US20160202843A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
CN105723300B (zh) 基于表示对象的图像确定分割边界
CN105683866A (zh) 投影计算系统
TWI545463B (zh) 投影系統及管理投影系統之方法
TWI588736B (zh) 投影運算系統、用以修改其中觸控輸入之方法及相關非暫態電腦可讀儲存裝置
CN105745606A (zh) 基于图像识别触摸敏感表面的目标触摸区域
CN107077195B (zh) 显示对象指示符
WO2016018393A1 (en) Touch region projection onto a touch-sensitive surface
TW201617790A (zh) 投影機顯示區角落產生技術
US10649584B2 (en) Process image according to mat characteristic
US10725586B2 (en) Presentation of a digital image of an object
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
TWI567588B (zh) 轉換經接收觸碰輸入

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200110