CN107079126A - 图像投影 - Google Patents

图像投影 Download PDF

Info

Publication number
CN107079126A
CN107079126A CN201480083117.9A CN201480083117A CN107079126A CN 107079126 A CN107079126 A CN 107079126A CN 201480083117 A CN201480083117 A CN 201480083117A CN 107079126 A CN107079126 A CN 107079126A
Authority
CN
China
Prior art keywords
image
composograph
masking
caught
source contents
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480083117.9A
Other languages
English (en)
Inventor
K·H·谭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107079126A publication Critical patent/CN107079126A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据用于输出图像数据的一个示例，在传感器上捕捉包括表面和对象的图像。在处理器上创建基于捕捉的图像的对象遮蔽。创建基于对象遮蔽和源内容文件的第一合成图像。在示例中，将第一合成图像投影到所述表面。

Description

图像投影
背景技术
二维和三维扫描技术虑及对物理对象的形状、轮廓和其他特征的数字捕捉或获取。例如，在三维扫描应用中，可以使用各种硬件和软件来捕捉诸如用户的手之类的对象以在设备或监视器上显示该对象。
附图说明
图1是根据本公开的示例的输出内容和在第一位置的例如用户手的对象的设备的透视图；
图2是根据本公开的示例的输出内容和在第二位置的对象的设备的透视图；
图3是根据本公开的示例的投影合成图像的流程图；
图4A是根据本公开的第一示例的创建初始对象遮蔽的流程图；
图4B是根据本公开的第二示例的创建初始对象遮蔽的流程图；
图5是根据本公开的示例的由至少一个传感器捕捉的图像的图示；
图6是根据本公开的示例的由设备投影的对象遮蔽和源内容文件的图示；
图7是根据本公开的示例的由设备显示的对象和源内容文件的图示；
图8图示了根据本公开的示例的精炼对象遮蔽的流程图；
图9A和图9B图示了根据本公开的示例的原始对象遮蔽和精炼的对象遮蔽；和
图10是根据本公开的示例的图1的设备的图。
具体实施方式
在计算系统中，可以采用投影仪作为显示源和照明源二者。例如，投影仪可以将文本、文档、图像、视频或其他数字媒体投影到表面上，并且还照亮表面上或附近的对象，例如手。在对象将被例如照相机、3D传感器、红外传感器或其他传感器捕捉的情况下，对象可以具有叠加在其上的文本或图像，这阻止了传感器对对象的干净(clean)捕捉。在这种情况下，当数字地捕捉对象时，投影仪没有最佳地服务于显示源和照明源的双重目的。
作为一个示例，在数字呈现或数字幻灯片投影到表面、其中用户的手出现或悬停在投影仪和该表面之间的情况下，则对手的数字捕捉将捕捉幻灯片和手，包括叠加在手上的幻灯片。在这样的示例中，除了阻止对手的干净捕捉之外，投影仪已经有了它正在投影的幻灯片的数字图像，并且可能不需要使用3D传感器来捕捉它。
根据用于输出图像数据的一个示例，在传感器上捕捉包括表面和对象的图像。在处理器上创建基于捕捉的图像的对象遮蔽(mask)。创建基于对象遮蔽和源内容文件的第一合成图像。在示例中，将第一合成图像投影到表面。
图1是根据本公开的示例的输出内容和在第一位置的例如用户手的对象的设备的透视图。在示例中，图1图示了由至少一个用户102利用的计算机系统或设备100(“设备”)。如下面更详细地讨论的，设备100可以包括传感器集群104、一个或多个传感器(“传感器”)106、投影仪(或投影仪和镜子系统)108(以下称为“投影仪”)、显示器110和垫112。在一些示例中，垫112可以是触敏的。
在一些示例中，垫112和显示器110可以显示源内容114和120。在一个示例中，源内容可以是存储在设备100上或可由设备100访问的数字呈现幻灯片。源内容114可以由投影仪108投影，所述投影仪108可以臂悬(cantilever)在垫112上，而源内容120可以显示在显示器110上。
设备100可以用来在传感器106的视场内捕捉或扫描诸如用户102的手116的对象，包括诸如触笔118之类的在用户的手中的设备(在本文中统称为“对象116”)。在一些示例中，被捕捉或扫描的对象116的实时表示122可以作为例如源内容120的一部分显示在显示器110上，或者覆盖在源内容120上。
设备100通常可以包括能够与至少一个传感器对接的任何适当的计算设备，诸如台式计算机、膝上型计算机、笔记本、上网本、一体计算机、平板计算机或智能电话。在一些示例中，显示器110的外壳可以包括用于使用在设备100中的处理器、存储器和/或记忆装置。
显示器110还可以由支撑结构(未示出)支撑，所述支撑结构可以包括基座和直立构件。支撑结构可以支撑显示器110、以及传感器集群104和传感器106的重量，支撑结构可以是悬臂的，使得传感器106悬停在垫112上。在图1中所示的示例中，支撑基座的前端包括在显示器110下面产生空间或空隙的部分，使得垫112可以被接收在形成在显示器110下面的空间内。
在垫112是触敏的示例中，垫112可以包括用于检测和跟踪用户的一个或多个触摸输入的任何适当的触敏技术，以便允许用户与由设备100或一些其他计算设备(未示出)执行的软件交互。例如，在一些示例中，垫112可以利用已知的触敏技术，诸如例如电阻、电容、声波、红外、应变计、光学、声脉冲识别或它们的某组合。
在一些示例中，设备100的垫112和显示器110和/或处理器、存储器和记忆装置彼此电耦合，使得由垫112所接收的用户输入传送到显示器110和/或传送到容纳在显示器110中或在显示器110外部的处理器、存储器和记忆装置。可以在垫112和显示器110之间或通常在设备100内使用任何适当的无线或有线电耦合或连接。
传感器集群104可以包括一个或多个传感器106和/或诸如投影仪108之类的一个或多个照明源。投影仪108可以包括用于从计算设备接收数据并投影与该输入数据对应的一个或多个图像的任何适当的数字光投影仪组件。在一些示例中，投影仪108包括数字光处理(DLP)投影仪或硅上液晶(LCoS)投影仪，其有利地是具有多种显示分辨率和大小的紧凑且功率高效的投影引擎。投影仪108可以电耦合到设备100，以便从其接收数据以用于在操作期间诸如通过电导体、WI-FI、NFC、光学连接、超声波连接或它们的某组合产生光和图像。
在一些示例中，传感器集群104还可以包括折叠镜，其可以是沿着传感器集群104的底表面布置和/或定位来将从投影仪108投影的图像和/或光朝向垫112反射的高反射表面。镜可以是标准的前表面真空金属化铝涂覆的玻璃镜。在其他示例中，镜可以具有复杂的非球面曲率以用作反射透镜元件来提供附加的聚焦功率或光学校正。镜可以允许投影仪108位于传感器集群104之外，其中光从投影仪108反射到传感器集群104的镜上，使得照明对用户102而言显得来自传感器集群104。
传感器106可以包括用于测量和/或检测各种参数的多个传感器和/或照相机。例如，传感器106可以包括照相机、环境光传感器、深度传感器和三维(3D)用户接口传感器中的至少一个。
更具体地，在一个示例中，照相机106可以是高分辨率照相机、低分辨率照相机、红外(“IR”)照相机或其他照相机类型。照相机106可以被布置为捕捉布置在垫112上或通常低于传感器106的对象或其他物品，包括投影内容，的静止图像或视频。
在示例中，环境光传感器106可以被布置为测量围绕设备100的环境的光的强度，以便在一些示例中调节传感器集群104中的另一传感器的曝光设置、和/或调节遍及诸如例如投影仪108或显示器110之类的设备的从其他源发射的光的强度。
在示例中，深度传感器106可以指示3D对象何时在诸如垫112之类的工作表面上，或者在其他示例中在适于扫描的桌子或其他表面上。特别而言，深度传感器106可以感测或检测对象的存在、形状、轮廓、运动和/或3D深度或对象的(一个或多个)特定特征。因此，在一些示例中，深度传感器106可以采用任何适当的传感器或照相机布置来感测和检测布置在传感器的视场中的3D对象的和/或每个像素的深度值，无论是红外、颜色或其他。在一些示例中，深度传感器106可以包括具有IR光的均匀泛光(flood)的单IR照相机传感器、具有IR光的均匀泛光的双IR照相机传感器、结构化的光深度传感器技术、飞行时间(TOF)深度传感器技术或它们的某组合。
在示例中，用户接口传感器106可以包括用于跟踪诸如例如手、触笔或指点设备之类的用户输入设备的任何适当的一个或多个设备(例如，传感器或照相机)。
在各种示例中，传感器集群104可以包括代替上述传感器或者除上述传感器之外的、和/或在不同的配置中的其他传感器和/或照相机，诸如用于与台式计算机、平板计算机、或智能电话一起使用。
传感器集群104中的传感器106或通常可由设备100访问的任何传感器可以电地和通信地耦合到另一个和/或设备100或设备100的部件，使得可以将在传感器集群104内生成的数据发送到设备100，并且由设备100发出的命令可以通过任何适当的电的和/或通信的耦合而传送到传感器106。
图2是根据本公开的示例的输出具有在第二位置的对象的内容的设备的透视图。在图2的示例中，当用户的手116移动时，由投影仪108投影的图像已经变化，使得源内容未投影到用户的手上，如下面所讨论的。此外，例如，在没有源内容投影到对象上的情况下，例如在没有源内容投影到用户的手上的情况下，还对被捕捉或扫描的对象116的实时表示202进行更新，以反映对象116在新位置的新的、干净的捕捉。
图3是根据本公开的示例的投影合成图像的流程图。
在框302中，图像由例如传感器106捕捉。所捕捉的图像可以表示具有在投影的源内容上或顶部上的诸如用户的手或触笔之类的对象的投影的源内容，如图5的示例中所示，例如，框302的捕捉可以是“实况”图像数据的捕捉。
在框304中，创建对象遮蔽，如下面关于图4A和图4B更详细地描述的。对象遮蔽可以表示着色或未着色的遮蔽区域，诸如对应于用户手或对象116的形状和位置的灰白色(off-white)或灰色遮蔽，使得当投影时，遮蔽区域防止将源内容被投影到诸如手的对象上。在一些示例中，也可以使用对象后面的，例如在用户的手后面的调光或曝光变化来进行补偿，使得源内容不投影到诸如用户的手之类的对象上。
在框306中，创建合成图像。在示例中，例如经由补偿或合成器来组合对象遮蔽和源内容以创建第一合成图像，如图6的示例中所示。
在框308的示例中，将第一合成图像投影到例如垫112或其他表面上，使得对象遮蔽防止源内容投影在例如用户的手或触笔的对象116上。
在一些示例中，图3的流程可以循环。例如，在框308中投影第一合成图像之后，可以使用传感器106在框302中捕捉或重新捕捉图像，其中创建第二对象遮蔽和第二合成图像以投影第二合成图像，从而虑及例如在诸如用户的手之类的对象中的移动或对象的形状或位置的变化。
在一些示例中，诸如用户的手之类的重新捕捉的图像的至少一个元素可以作为与源内容组合的第二(或第三，等)合成图像显示在例如如图7中所示的显示器110的显示器上，或者否则输出到例如数字文件、即时消息收发、屏幕共享、其他协议或输出到打印机。例如，在没有在用户的手上的投影的内容的情况下对该手的重新捕捉，即关于上面的步骤所讨论的“干净的”捕捉，可以与原始源内容组合以相对于Powerpoint呈现的较低质量捕捉版本用于诸如该Powerpoint呈现之类的显示。在这样的示例中，当作为合成图像显示时，捕捉的图像/对象和原始源内容二者的图像质量将被最大化和/或维持。
在一些示例中，可以捕捉或重新捕捉多个对象，例如多个手，使得到例如数字文件的图像输出包含多于一个对象，包括在其中用户可能位于远处的协作的用例。
图4A是根据本公开的第一示例的创建初始对象遮蔽的流程图。
在一些示例中，设备100可以包括实时照相机，其中由该照相机捕捉包括在投影的源内容上或顶部上的例如用户的手的至少一个对象的图像的3D形状。在一些示例中，例如垫112或其他表面的、在其上投影源内容的表面可以是已知的或假设为平坦的，使得由照相机收集的3D深度图可以用来确定捕捉的哪些部分不适合该平面，例如，场景的哪些部分代表对象或手。在一些示例中，可以使用平面拟合算法来确定哪些部分不适合平面，并且在一些示例中，平面拟合算法可以拒绝或排除异常值。
在框402A中，访问3D形状/深度图或其他传感器信息，并且在框404A中，在示例中，将具有异常值拒绝的平面拟合算法应用于该图。
在框406A中，基于3D形状和具有异常值拒绝算法的平面拟合来确定捕捉的图像或场景内的一个或多个对象的位置或图。在一些示例中，可以使用其他算法来确定对象的位置。
在框408A中，基于在框406A中确定的对象的位置/图来创建初始对象遮蔽。初始对象遮蔽可以用作例如以上讨论的框306的输入以创建源内容和对象遮蔽的合成图像，或者可以用作例如以下讨论的框802的输入，如果要对对象遮蔽进行进一步精炼的话。
图4B是根据本公开的第二示例的创建初始对象遮蔽的流程图。
在一些示例中，设备100可以将捕捉的图像与源内容进行比较，以基于所捕捉的图像和源内容之间的差异，例如基于颜色差异，来确定例如对象或手位于何处。
在框402B中，在示例中，访问源内容文件，并且在框404B中，访问例如如框302所捕捉的捕捉图像。在框406B中，将源内容与捕捉的图像进行比较。可以应用诸如与图像变化和/或3D分段相关的算法之类的各种算法。
在框408B中，基于块406B中的源内容与捕捉图像的比较来创建初始对象遮蔽。如上面关于图4A所讨论的，初始对象遮蔽可以用作例如以上讨论的框306的输入以创建源内容和对象遮蔽的合成图像，或者可以用作例如以下讨论的框802的输入，如果要对对象遮蔽进行进一步精炼的话。
在各种示例中，图4A和图4B的方法可以单独地使用或组合使用以创建初始对象遮蔽，或者与用于创建图像遮蔽的其他算法或技术一起使用。
图5是根据本公开的示例的由至少一个传感器捕捉的图像的图示。
例如照相机或3D传感器的传感器106可用于捕捉传感器106的视场内的图像。在一些示例中，所捕捉的图像可以表示投影的源内容502、以及诸如用户的手和/或触笔的一个或多个对象504。图5的捕捉可以被称为实况图像的捕捉，所述实况图像例如是具有在投影的图像上或顶部上的对象的投影的源内容。
图6是根据本公开的示例的由设备投影的源内容文件和对象遮蔽的图示。在示例中，上面讨论的源内容602和对象遮蔽604例如经由补偿或合成器进行组合以创建图6的合成图像。在一些示例中，如上所讨论的，图6的合成图像可以用来利用针对用户的手的补偿来投影源内容602，以例如防止将源内容602投影到用户的手上。在一些示例中，可以使用例如由对象遮蔽定义的在对象后面的，例如在用户的手后面的调光或曝光变化来进行补偿，使得源内容不投影到例如用户的手的对象上。
在一些示例中，捕捉的图像可以由多于一个传感器捕捉并且进行融合或否则进行组合，和/或可以通过使用来自多于一个传感器的输入来创建对象遮蔽。例如，如上面关于图1所提及的，设备100可以包括高分辨率照相机、低分辨率照相机、红外(“IR”)照相机或其他照相机类型以及深度传感器。在一些示例中，捕捉的图像可以由传感器的组合捕捉，和/或可以通过来自多于一个传感器的输入的组合，诸如使用深度和IR传感器以及来自高分辨率照相机的RGB捕捉的组合来创建对象遮蔽。
图7是根据本公开的示例的由设备显示诸如在监视器上或否则输出的源内容文件和对象的图示。
在图7的示例中，对象704已经被例如图3的第二循环重新捕捉，使得所捕捉的图像包括对象的干净捕捉而未将源内容投影到对象上。更具体地，图7图示了在用对象遮蔽投影第一合成图像之后显示传感器的视场内的图像数据的捕捉。
图8图示了根据本公开的示例的精炼对象遮蔽的流程图。
在一些示例中，如下面关于图9A所讨论的，初始对象遮蔽由于例如在设备100上的低分辨率传感器，诸如640×480传感器，在框302中的捕捉而可能具有粗粒(coarse)或粗糙的边缘。可能是由于系统资源而选择了这样的传感器，诸如虑及较低的CPU和存储器开销。如下面关于图9B所讨论的，可以基于各种方法或过滤器来创建精炼的对象遮蔽。
在示例中，在框802中，访问初始对象遮蔽，例如904A，并且在框804中访问捕捉的图像。可以在框806中应用滤波器，例如双边交叉滤波器(bilateral cross filter)，并且可以在框808中输出精炼的对象遮蔽，例如904b。可以将精炼的对象遮蔽用作例如以上讨论的框306的输入。
图9A和图9B图示了根据本公开的示例的原始对象遮蔽和精炼的对象遮蔽。如上面关于图8所讨论的，图9A的原始对象遮蔽由于例如在设备100上的低分辨率传感器，诸如640×480传感器，在框302中的捕捉而可能具有粗粒或粗糙的边缘。同样如上所讨论的，图9B的精炼的对象遮蔽可以是将例如双边交叉滤波器的滤波器应用于图9A的原始对象遮蔽的结果。
图10是根据本公开的示例的图1的设备的图。设备100可以包括处理器1002、非暂时性计算机可读存储设备或介质1004、显示器或显示器适配器1006和接收器1008。设备100可以耦合到垫1012、照明源/投影仪组件1014以及指点设备或触笔1016。非暂时性计算机可读存储设备或介质1004可以包括执行本文所描述的步骤的指令，诸如图3中的框302至框308的指令。
上述讨论意欲说明本发明的原理和各种实施例。一旦完全理解了上述公开，则许多变化和修改对于本领域技术人员将变得清楚。旨在将以下权利要求解释为包括所有此类变化和修改。

Claims (15)

1.一种输出图像数据的方法，包括：
在传感器上捕捉至少包括表面和对象的图像；
在处理器上创建基于所捕捉的图像的对象遮蔽；
在所述处理器上创建基于所述对象遮蔽和源内容文件的第一合成图像，以及
在投影仪上将所述第一合成图像投影到所述表面。
2.根据权利要求1所述的方法，其中，在与所述对象遮蔽相对应的区域中将所述第一合成图像的强度调节到不同的值。
3.根据权利要求1所述的方法，还包括：捕捉第二图像、创建第二对象遮蔽和第二合成图像以及投影所述第二合成图像。
4.根据权利要求1所述的方法，还包括：捕捉第二图像、创建包括所述源内容文件和第二捕捉图像的至少一个元素的第二合成图像以及将所述第二合成图像输出到数字文件或数字显示中的一个或多个。
5.根据权利要求4所述的方法，其中，所述第二捕捉图像的至少一个元素是对象。
6.根据权利要求1所述的方法，其中，通过应用平面拟合算法来创建所述对象遮蔽。
7.根据权利要求1所述的方法，其中，通过将所捕捉的图像与所述源内容文件进行比较来创建所述对象遮蔽。
8.一种用于输出图像数据的系统，包括：
照相机，其可附接到支撑结构以捕捉投影到表面上的图像和对象；
投影仪，其可附接到所述支撑结构；和
处理器，其通信地耦合到所述照相机和所述投影仪，
其中所述处理器将创建基于所捕捉的图像和与所捕捉的对象相关联的数据的对象遮蔽，并且创建所述对象遮蔽和源内容文件的第一合成图像，以及
其中所述投影仪将所述第一合成图像投影到所述表面。
9.根据权利要求8所述的系统，其中，所述投影仪包括可调节的强度设置。
10.根据权利要求9所述的系统，其中，基于所述对象遮蔽来调节所述可调节的强度设置。
11.根据权利要求8所述的系统，其中，所述处理器通过执行平面拟合算法来创建对象遮蔽。
12.根据权利要求8所述的系统，其中，所述处理器通过将所捕捉的图像与源内容文件进行比较来创建对象遮蔽。
13.一种在其上嵌入有计算机程序的非暂时性计算机可读存储介质，所述计算机程序输出图像数据，所述计算机程序包括指令的集合以：
在传感器上捕捉投影到表面上的第一图像和对象；
在处理器上创建基于所捕捉的图像和所捕捉的对象的对象遮蔽以及基于所述对象遮蔽和所述捕捉图像的源内容文件的第一合成图像；
在投影仪上将所述第一合成图像投影到表面；
在所述传感器上捕捉第二图像；以及
输出第二合成图像。
14.根据权利要求13所述的计算机可读存储介质，其中，将所述第二合成图像输出到显示器。
15.根据权利要求13所述的计算机可读存储介质，其中，将所述第二合成图像输出到数字文件。
CN201480083117.9A 2014-11-13 2014-11-13 图像投影 Pending CN107079126A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/065465 WO2016076874A1 (en) 2014-11-13 2014-11-13 Image projection

Publications (1)

Publication Number Publication Date
CN107079126A true CN107079126A (zh) 2017-08-18

Family

ID=55954787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083117.9A Pending CN107079126A (zh) 2014-11-13 2014-11-13 图像投影

Country Status (5)

Country Link
US (1) US10417801B2 (zh)
EP (1) EP3219097A4 (zh)
CN (1) CN107079126A (zh)
TW (1) TWI608737B (zh)
WO (1) WO2016076874A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563981A (zh) * 2017-12-31 2018-09-21 广景视睿科技（深圳）有限公司 一种基于投影机和摄相机的手势识别方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11226704B2 (en) * 2016-09-29 2022-01-18 Sony Group Corporation Projection-based user interface
US10599225B2 (en) 2016-09-29 2020-03-24 Intel Corporation Projection-based user interface
JP7009943B2 (ja) * 2017-11-15 2022-01-26 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム
US10789780B1 (en) * 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090168027A1 (en) * 2007-12-28 2009-07-02 Motorola, Inc. Projector system employing depth perception to detect speaker position and gestures
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
US20120300080A1 (en) * 2011-05-24 2012-11-29 Steven George Batson System and method of semi-autonomous multimedia presentation creation, recording, display, network streaming, website addition, and playback.
US20120320157A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
CN103999025A (zh) * 2011-10-07 2014-08-20 高通股份有限公司 基于视觉的交互式投影系统

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4986651A (en) 1989-08-04 1991-01-22 Minnesota Mining And Manufacturing Company Overhead projector with centerless Fresnel lens reflective stage
DE69430967T2 (de) 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
GB9614837D0 (en) 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
JPH10222436A (ja) 1997-02-12 1998-08-21 Meidensha Corp プログラムとデータの転送方法
US6965460B1 (en) 2000-08-08 2005-11-15 Hewlett-Packard Development Company, L.P. Method and system for scanning an image using a look-down linear array scanner
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7253832B2 (en) 2001-08-13 2007-08-07 Olympus Corporation Shape extraction system and 3-D (three dimension) information acquisition system using the same
JP2003131319A (ja) 2001-10-25 2003-05-09 Seiko Epson Corp 光送受装置
JP2003152851A (ja) 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
JP2004038746A (ja) * 2002-07-05 2004-02-05 Toshiba Corp 画像編集方法および画像編集システム
US6616281B1 (en) 2002-08-07 2003-09-09 Imatte, Inc. Visible-invisible background prompter
US20040095562A1 (en) 2002-11-20 2004-05-20 John Moffatt Combination scanner/projector
JP3927168B2 (ja) 2002-11-25 2007-06-06 日本電信電話株式会社 実世界オブジェクト認識方法および実世界オブジェクト認識システム
US6840627B2 (en) 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP4401728B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
JP2005266471A (ja) 2004-03-19 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> ポインティング機能付画像投影方法、装置、およびプログラム
US7573491B2 (en) 2004-04-02 2009-08-11 David Hartkop Method for formatting images for angle-specific viewing in a scanning aperture display device
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7432917B2 (en) 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7743348B2 (en) 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7488079B2 (en) 2004-07-21 2009-02-10 Thinc Design, Inc. System and method for projecting images onto a moving screen
US7557966B2 (en) 2004-08-11 2009-07-07 Acushnet Company Apparatus and method for scanning an object
US20060126128A1 (en) 2004-12-15 2006-06-15 Lexmark International, Inc. Scanning assembly
JP2006189712A (ja) 2005-01-07 2006-07-20 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示方法及びプログラム
US7843470B2 (en) 2005-01-31 2010-11-30 Canon Kabushiki Kaisha System, image processing apparatus, and information processing method
JP5153615B2 (ja) 2005-04-11 2013-02-27 ポリビジョン コーポレイション 自動投影キャリブレーション
EP1739622B1 (en) 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
KR100936689B1 (ko) 2005-06-30 2010-01-13 가부시키가이샤 리코 투영 화상 표시 장치
WO2007006051A2 (en) 2005-07-06 2007-01-11 Mediapod Llc System and method for capturing visual data
CN101292516A (zh) 2005-07-06 2008-10-22 米迪尔波得股份有限公司 捕获画面数据的系统和方法
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
JPWO2007088939A1 (ja) 2006-02-03 2009-06-25 パナソニック株式会社 情報処理装置
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
DE102006019963B4 (de) 2006-04-28 2023-12-07 Envisiontec Gmbh Vorrichtung und Verfahren zur Herstellung eines dreidimensionalen Objekts durch schichtweises Verfestigen eines unter Einwirkung von elektromagnetischer Strahlung verfestigbaren Materials mittels Maskenbelichtung
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
JP4777182B2 (ja) 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
US7690795B2 (en) 2006-10-06 2010-04-06 Hewlett-Packard Development Company, L.P. Projector/camera system
US8199117B2 (en) * 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP4341723B2 (ja) 2008-02-22 2009-10-07 パナソニック電工株式会社 光投影装置、照明装置
JP5277703B2 (ja) 2008-04-21 2013-08-28 株式会社リコー 電子機器
CN101261557B (zh) 2008-04-30 2011-09-14 北京汇冠新技术股份有限公司 一种用于触摸屏的图像传感装置
US8355038B2 (en) 2009-01-28 2013-01-15 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
JP5347673B2 (ja) 2009-04-14 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20100271394A1 (en) 2009-04-22 2010-10-28 Terrence Dashon Howard System and method for merging virtual reality and reality to provide an enhanced sensory experience
JP5395507B2 (ja) 2009-05-21 2014-01-22 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
US20120069180A1 (en) 2009-05-26 2012-03-22 Panasonic Electric Works Co., Ltd. Information presentation apparatus
KR20110003705A (ko) 2009-07-06 2011-01-13 엘지전자 주식회사 이동 단말기에서의 정보 표시 방법 및 이를 이용한 이동 단말기
GB2469346B (en) 2009-07-31 2011-08-10 Promethean Ltd Calibration of interactive whiteboard
JP2011081556A (ja) 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
US8837855B2 (en) 2009-11-16 2014-09-16 Verizon Patent And Licensing Inc. Image compositing via multi-spectral detection
US20110164191A1 (en) * 2010-01-04 2011-07-07 Microvision, Inc. Interactive Projection Method, Apparatus and System
US8842096B2 (en) 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US8570319B2 (en) 2010-01-19 2013-10-29 Disney Enterprises, Inc. Perceptually-based compensation of unintended light pollution of images for projection display systems
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8733951B2 (en) * 2010-04-26 2014-05-27 Microsoft Corporation Projected image enhancement
US8573786B2 (en) 2010-08-17 2013-11-05 Xerox Corporation Projector apparatus and method for dynamically masking objects
US20120054355A1 (en) 2010-08-31 2012-03-01 Nokia Corporation Method and apparatus for generating a virtual interactive workspace with access based on spatial relationships
US8619179B2 (en) 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
JP2013033206A (ja) 2011-07-06 2013-02-14 Ricoh Co Ltd 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム
CN104024936A (zh) 2011-07-29 2014-09-03 惠普发展公司，有限责任合伙企业 投影捕获系统，程序和方法
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US8896688B2 (en) * 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
US9069382B1 (en) 2012-01-06 2015-06-30 Google Inc. Using visual layers to aid in initiating a visual search
JP2013156324A (ja) * 2012-01-27 2013-08-15 Seiko Epson Corp プロジェクター、および、プロジェクターによる画像投射方法
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US20150042678A1 (en) 2013-08-09 2015-02-12 Metaio Gmbh Method for visually augmenting a real object with a computer-generated image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090168027A1 (en) * 2007-12-28 2009-07-02 Motorola, Inc. Projector system employing depth perception to detect speaker position and gestures
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
US20120300080A1 (en) * 2011-05-24 2012-11-29 Steven George Batson System and method of semi-autonomous multimedia presentation creation, recording, display, network streaming, website addition, and playback.
US20120320157A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
CN103999025A (zh) * 2011-10-07 2014-08-20 高通股份有限公司 基于视觉的交互式投影系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563981A (zh) * 2017-12-31 2018-09-21 广景视睿科技（深圳）有限公司 一种基于投影机和摄相机的手势识别方法和装置
CN108563981B (zh) * 2017-12-31 2022-04-15 广景视睿科技（深圳）有限公司 一种基于投影机和摄相机的手势识别方法和装置

Also Published As

Publication number Publication date
US10417801B2 (en) 2019-09-17
WO2016076874A1 (en) 2016-05-19
US20170316594A1 (en) 2017-11-02
TW201630415A (zh) 2016-08-16
EP3219097A4 (en) 2018-06-27
EP3219097A1 (en) 2017-09-20
TWI608737B (zh) 2017-12-11

Similar Documents

Publication Publication Date Title
US10481475B2 (en) Smart lighting device and control method thereof
US10755425B2 (en) Automatic tuning of image signal processors using reference images in image processing environments
CN103412616B (zh) 装置照相机角度
CN106255938B (zh) 传感器和投影仪的校准
CN104871214B (zh) 用于具扩增实境能力的装置的用户接口
US10284817B2 (en) Device for and method of corneal imaging
KR102209745B1 (ko) 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법
CN107079126A (zh) 图像投影
CN106415439B (zh) 用于镜面反射红外光的投影屏幕
CN105723300A (zh) 基于表示对象的图像确定分割边界
US12056842B2 (en) Hemisphere cube map projection format in imaging environments
TWI624177B (zh) 影像資料分割技術
KR102183692B1 (ko) 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법
US11032470B2 (en) Sensors arrangement and shifting for multisensory super-resolution cameras in imaging environments
US20140204083A1 (en) Systems and methods for real-time distortion processing
CN108141560B (zh) 用于图像投影的系统及方法
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
CN107003717A (zh) 变换所接收到的触摸输入
TWI566126B (zh) 從影像發展出脈絡資訊之技術
WO2017127078A1 (en) Area scanning and image projection
Ham et al. Implementation of wireless 3D stereo image capture system and synthesizing the depth of region of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818