CN103875004A - 动态选择真实世界中的表面以用于在上面投影信息 - Google Patents

动态选择真实世界中的表面以用于在上面投影信息 Download PDF

Info

Publication number
CN103875004A
CN103875004A CN201280048118.0A CN201280048118A CN103875004A CN 103875004 A CN103875004 A CN 103875004A CN 201280048118 A CN201280048118 A CN 201280048118A CN 103875004 A CN103875004 A CN 103875004A
Authority
CN
China
Prior art keywords
information element
order
projection
instruction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280048118.0A
Other languages
English (en)
Other versions
CN103875004B (zh
Inventor
泰贾斯·达塔特拉亚·库尔卡尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103875004A publication Critical patent/CN103875004A/zh
Application granted granted Critical
Publication of CN103875004B publication Critical patent/CN103875004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Analysis (AREA)

Abstract

一个或一个以上装置俘获真实世界的场景，且处理包含到所述真实世界中的表面上的点的距离的一个或一个以上图像。所述距离用于自动识别所述真实世界中的一组表面。所述一个或一个以上装置检查所述组中的表面是否适于显示待投影到所述场景中的信息的元素。在发现表面为适宜后，自动识别转移函数，随后自动将所述转移函数应用于所述信息的所述元素。由于自动应用所述转移函数而产生的经变换元素被存储在耦合到投影仪的帧缓冲器中在所述针对适宜性的检查期间所识别的所述帧缓冲器中的特定位置处。当没有表面适宜时，获得用户输入，随后依据用户输入投影信息。

Description

动态选择真实世界中的表面以用于在上面投影信息
临时申请案的交叉参考
本申请案主张2011年8月19日申请且标题为“将信息投影到真实世界对象上或其附近(Projection of Information Onto Real World Objects or Adjacent Thereto)”的第61／525,628号美国临时申请案的优先权，所述临时申请案转让给本受让人且全文以引用的方式并入本文中。
专利申请案的交叉参考
本申请案主张2012年7月13日申请且标题为“动态选择真实世界中的表面以用于在上面投影信息(DYNAMIC SELECTION OF SURFACES IN REAL WORLD FORPROJECTION OF INFORMATION THEREON)”的第13／549,388号美国申请案的优先权，所述申请案转让给本受让人且全文以引用的方式并入本文中。
相关申请案的交叉参考
本申请案还与2012年7月13日申请且标题为“使用图像中检测到的对象的关联来获得显示给用户的信息(Use Of Association Of An Object Detected In An Image To ObtainInformation To Display To A User)”的第13／549,339号美国申请案(代理人案号Q111570U1os)相关，所述申请案转让给本受让人且全文以引用的方式并入本文中。
背景技术
众所周知使用投影仪投影信息以供向用户显示。关于此现有技术的细节，参见Mistri，P.、Maes，P.、Chang，L.的论文，标题为“WUW-穿上你的世界-一种可穿戴式示意动作接口(WUW-Wear Ur World-A wearable Gestural Interface)”，CHI2009，2009年4月4-9日，美国，马萨诸塞州，波士顿，6页，其全文以引用的方式并入本文中。
如上文描述的信息的投影提出几个问题，例如照明条件。若干此类问题通过使用飞行时间相机得以解决，例如Andrew Greaves、Alina Hang和Enrico Rukzio的标题为“使用投影仪电话的图片浏览和地图交互(Picture Browsing and Map Interaction using aProiector Phone)”的论文中描述，MobileHCI2008，2008年9月2-5日，荷兰，阿姆斯特丹，4页，其全文以引用的方式并入本文中。关于此识别手部示意动作的背景的额外信息，参见Mitra和Acharya，“示意动作辨识：调查(Gesture Recognition：A Survey)”，IEEE系统、人与网络信息学学报-第C部分：应用和回顾，第37卷，第3期，2007年5月，14页，其全文以引用的方式并入本文中。
在现有技术中，信息可投影到三维对象上，如例如Shapiro的第7,905,610号美国专利中描述，所述美国专利全文以引用的方式并入本文中。特定来说，Shapiro在第4列第20-26行陈述，“图像可基于三维信息、环境信息等预先失真”。见操作310。在一个实施例中，预先失真可涉及在计算待投影图像的同时三维对象的反向模式”。
使用Shapiro的方法似乎需要用户干预，如例如第4列第27-34行描述，其陈述“作为又一选择，用户可最佳地将投影仪和三维对象定位在此点。这可例如通过投影指示随后将投影的图像的中心的标记(例如，十字准线等)来实现。为此，标记可通过用物理方法操纵投影仪和／或三维对象而手动与三维对象的中心对准”。
当用物理方法操纵时，看起来Shapiro的用户正手动选择图像将投影到的对象的表面，且手动将所述选定表面与投影仪对准。因此需要一种用于如下文描述信息的投影的自动选择真实世界场景中的表面的方法。
发明内容
一个或一个以上装置俘获真实世界的场景，且处理所述场景的一个或一个以上图像(也称为“深度图像”)，其包含到真实世界中的点的多个距离。所述距离用于自动识别真实世界中已在深度图像中成像的一组表面。接着，所述一个或一个以上装置检查所述组中的表面是否适于待投影信息的元素的显示。响应于发现所述表面为适宜的，自动识别转移函数以使用所述表面，随后将转移函数自动应用于信息的元素。接着，将源自自动应用转移函数的经变换的元素存储在耦合到投影仪的帧缓冲器中，在检查期间识别的帧缓冲器中的特定位置处。
附图说明
图1A说明由一些实施例的处理器100执行以自动获得信息并将信息投影到真实世界场景中的动作的高级流程图。
图1B说明由一些实施例的处理器100执行以执行图1A中的动作106的动作的低级流程图。
图2A说明在某些实施例中由移动装置200的相机202成像以供用于在真实世界中的对象211附近信息的投影的一个实例的真实世界中的场景214。
图2B以高级框图说明耦合到一些实施例的移动装置200中的存储器203的处理器100，其中存储器203存储来自图2A的示范性场景214的由相机202产生的视频231(也称为输入视频)的帧231A-231N，且存储器203存储用于待通过投影显示的信息的检索的请求232。
图2C以类似于图2B的高级框图说明存储器203存储通过使用请求232获得的信息233，且存储位置234存储分段为对应于图2A的示范性场景214中的表面的小块211A-211B、212A-212C和213S的帧231A的图像。
图2D是说明检查矩形299(用于投影信息的元素)是否可配合在对应于图2A中的页211L的表面的图2C的不规则形状小块211A内的高级框图(类似于图2B)。
图2E说明在若干实施例中图2A的场景214，在向所述场景214中通过移动装置200的投影仪205将视频236的形式的信息投影到真实世界中的对象211上。
图2F说明图2E的场景214，其中用户220伸展手221的拇指210以作出由处理器100在图像中识别为图1A的动作107中的用户输入的认可示意动作。
图2G说明图2E的场景214，其中用户220伸展右手221的食指212以作出由处理器100在图像中识别为用户输入(指示待用于投影的桌子213的表面213S)的指向示意动作。
图2H说明图2E的场景214，其中经变换视频233基于图2G中说明的用户输入投影到表面213S上。
图3A说明在某些实施例中由移动装置200的相机202成像以供用于在真实世界中的另一对象311附近信息的投影的另一实例的真实世界中的另一场景314。
图3B以类似于图2B的高级框图说明存储器203存储来自图3A的示范性场景的由相机202产生的输入视频231的帧331A。
图3C和3D以类似于图2B的高级框图说明存储器203存储表面241A-241N、241S和213U以及信息333A和333B的新的部分以避免表面241I的重叠。
图3E说明在若干实施例中图3A的场景314，其中通过移动装置200的投影仪205将字符串333A和333B的形式的信息投影在对象311上及附近。
图3F说明在若干实施例中图3A的场景314，其中信息的元素342投影在新位置处。
图4以高级框图说明若干实施例的移动装置200。
具体实施方式
根据所描述实施例，一个或一个以上装置使用一个或一个以上相机(和／或例如投影仪等其它装置)从真实世界中的场景接收信息(例如，图像)，并将所接收信息存储在存储器中。若干此类装置包含处理器100(图1A)，其耦合到非易失性存储器203以执行存储在存储器203中的软件(即，计算机指令)，以便接收和处理相机202俘获的信息。
至少一个相机202(图1A)在一些实施例中操作使得处理器100经由存储器203从相机202接收(如图1A中的动作101展示)真实世界(图2A)中场景214的图像231A(图2A)的彩色值的二维阵列，以及任选地指示真实世界中表面213S、211L上的点的距离的深度值(也称为范围值)的另一二维阵列。在一些实施例中，相机202(图1A)是深度相机(也称为范围相机)，其直接产生且向处理器100供应两组值(即，彩色值和深度值)。然而，处理器100获得深度值的特定方式可依据实施例而不同，且接下来描述一些说明性实施例。
在一些实施例中，通过操作投影仪205(图4)以用以位置信息编码的光(也称为“结构光”，且缩写为“SL”)照明场景并操作相机202(图4)以在用来自投影仪205(图4)的结构光照明的同时俘获场景214的一个或一个以上图像，而获得深度值。在此类实施例中，可执行用以接收彩色值和深度值的图像的动作101(图1A)，如例如Hiroshi Kawasaki等人的标题为“使用单一结构光图案的动态场景形状重建(Dynamic scene shapereconstruction using a single structured light pattern)”的论文中描述，IEEE计算机视觉与图案辨识会议，2008(CVPR2008)，8页，其全文以引用的方式并入本文中。在其它实施例中，可执行动作101，如例如Li Zhang等人的标题为“使用彩色结构光和多通动态编程的快速形状获取(Rapid Shape Acquisition Using Color Structured Light and Multi-passDynamic Programming)”的论文中描述，第一届3D数据处理、视觉化和发射(3DPVT)国际专题研讨会会议记录，意大利帕多瓦，2002年6月19-21日，第24-36页，其全文以引用的方式并入本文中。
动作101的替代实施例可使用其它方法来获得深度值，例如F.Pece等人的标题为“三种深度-相机技术比较(Three Depth-Camera Technologies Compared)”的论文中描述，第一射束工作室(First BEAMING Workshop)、巴塞罗那，2011年，2页，其全文也以引用的方式并入本文中。在图2A中说明的特定实例中，图像231A由相机202俘获作为通过相机202对场景214成像产生的输入视频231的帧序列中的若干图像的一者。图2A的实例中的场景214包含已在桌子213的表面213S上打开的书的形式的对象211。在场景214中，用户220正通过使用用户手221的食指212而指向书211的左页211L上的一行文字。在一些实施例中，图像的序列231A-231N由相机202以预定速率(例如，30帧／秒)产生且作为已从场景214俘获的视频自动存储在存储器203(图1A)中，例如以供当相机202相对于场景214移动时用于飞行时间计算以获得深度值。
在一些实施例中，在动作102中(图1A)，处理器100获得待投影到场景214中的信息233(图2C)。动作102中获得信息233的特定方式可依据实施例不同。在一些实施例中，在动作102中基于经由用户接口201(图1A)例如从麦克风(其可供应携载用户说出的文字“线性等式”的音频信号)或从键盘(其可供应形成用户键入的文字“线性等式”的字符串的一系列键击)接收的指令而获得信息233。
在其它实施例中，例如通过处理器100使用图像231A的彩色值自动获得信息233(如下)而以不同方式获得信息233。特定来说。在一些实施例中，在动作102中基于图像231A(图2A)内由处理器100对手示意动作的辨识获得信息233，所述手示意动作例如在人220的人手221中伸展的食指212，其指向对象211(例如，书)上印刷的文本218，如图2A中说明。
手示意动作可由以熟练的技术人员所了解的任何方式适宜地编程的处理器100辨识，如例如Rautaray等人的标题为“用于控制VLC媒体播放器的基于视觉的手示意动作接口(A Vision based Hand Gesture Interface for Controlling VLC Media Player)”的论文中描述，所述论文发表在国际计算机应用期刊上，第10卷，第7期，2010年11月，6页，其全文以引用的方式并入本文中。处理器100的其它实施例可识别手示意动作，如例如Mitra和Acharya在标题为“示意动作辨识：调查(Gesture Recognition：A Survey)”的论文中描述，IEEE系统、人与网络信息学学报-第C部分：应用和回顾，第37卷，第3期，2007年5月，14页，其已在上文以引用的方式并入。
因此，在图2B中说明的实例中，图像231A的彩色值(未图示)的二维阵列由处理器100在动作102(图1A)中自动处理以识别文本区218，文本区218含有印刷在左页211L上且如图像231A(图2B)中所俘获由用户220(图2A)指向的字符串“线性等式”。
在动作102中，不管识别信息233所经由的用户接口201的类型如何，处理器100都通过自动产生对于关于因特网上可用的“线性代数”的视频的请求232(图2B)而响应于所述识别。请求232存储在存储器203中且(在一些实施例中在用户认可之后)用于获得视频233(也称为输出视频)，视频233存储在存储器203(图2C)中且用作待投影的信息233。关于如何在动作102中获得信息233的某些说明性实施例在2012年7月13日申请且标题为“使用图像中检测到的对象的关联来获得显示给用户的信息(Use OfAssociation Of An Object Detected In An Image To Obtain Information To Display To AUser)”的第13／549,339号美国申请案(代理人案号Q111570U1os)中描述，所述申请案在上文以引用的方式并入。
尽管一些实施例的动作102中获得的信息233已在上文描述为组成单一元素的输出视频233，但在其它实施例中信息233可包含彼此独立且可投影在不同表面上的多个元素(例如，在网页中)。信息233的这多个元素可使用标签<table>在以HTML表达的网页中界定的表和／或区段中识别，例如以识别信息233中的文本和／或图形的不同块。
参看图1A，处理器100额外经编程以执行动作103(在上文描述的动作102之前、期间或之后的任何时间)，以使用图像的深度值识别真实世界中场景214中的一组表面213S、211L(图2A)。该组表面213S、211L可在动作103(图1A)中通过将图像231A分段为具有恒定曲率的区来识别，使得当投影信息233时，信息233较好地显示在每一区内。在动作103中识别表面的特定方式可依据实施例不同。
在一些实施例中，动作103(图1A)使用深度值，如例如Alan P.Mangan等人的标题为“使用流域分段分割3D表面网格(Partitioning3D Surface Meshes Using WatershedSegmentation)”的论文中描述，IEEE视觉化与计算机图形学报，第5卷，第4期，1999年10-12月，第308-321页，其全文以引用的方式并入本文中。在一些实施例中，在执行动作101(上文描述)之前校准相机202，如例如Jean-Yves Bouguet的标题为“针对Matlab的相机校准工具箱(Camera Calibration Toolbox for Matlab)”的论文中描述，4页，2010年7月9日最后更新，其全文以引用的方式并入本文中。此论文在通过在以下“http:％％www#vision#caltech#edu％bouguetj％calib_doc％中用“／”替换“％”且用“.”替换“#”获得的字符串中识别的网站处可获得。
可在不同实施例中使用不同技术对图像231A分段。在一些实施例中，不获得深度值，且通过使用霍夫变换从二维图像的序列识别场景214中的表面，如例如Wahl的标题为“用于使用二维图像识别三维对象的方法(Method for identifying three-dimensionalobjects using two-dimensional images)”的第4,731,860号美国专利中描述，所述专利全文以引用的方式并入本文中。
因此，在若干实施例中，图像231A由处理器100在动作103(图1A)中自动分段以识别一组表面。在图2A和2B中说明的实例中，图像231A的一组深度值由处理器100复制到存储器203的存储位置234(图2C)，随后分段以识别真实世界(图2A)中的对象211的对应于图像234中(图2C)的区211A、211B、212A、212B、212C和212S的表面。举例来说，图2A中页211L的表面对应于图2C中图像234中的区211A。注意，为了方便，分别在图2B和2A中，使用相同参考数字指代图像231A中的区和场景214中的对应表面。
在动作103之后，处理器100的许多实施例针对动作102中获得的信息中的每一元素执行动作106，以找到适于所述元素的表面(或小块P)。动作106中执行的适宜性测试可依据实施例不同，但若干实施例依据例如表面大小、表面中点的连续性、表面曲率等若干因素测试适宜性。当待显示的信息的元素不跨越表面的边界时或当所述元素不以不规则方式缠绕时，可发现一表面在一些实施例的动作106中为适宜的。
在图2A-2C中说明的实例中，输出视频233是待在动作102中投影的信息中的单一元素。因此，处理器100评估来自动作103中识别的一组的所有表面211A、211B、212A、212B、212C和212S，以获得显示输出视频233的适宜性。在此评估期间，发现区211C、211B、212B和212A的每一者例如归因于大小而不适于显示输出视频233。在此实例中，可发现区213U和211A在动作106完成时是可接受的。
在若干此类实施例中，在发现适于元素的表面(或小块P)后，处理器还识别表面上的待投影元素的特定位置。动作106中识别的特定位置取决于若干因素，例如表面的形状(例如，矩形、圆形)，以及表面可在何处完整地封围其中将显示选定元素的矩形。
在操作106中，如果处理器100成功地发现针对所有元素的表面，那么处理器100进行到动作108以识别针对对应表面的一个或一个以上转移函数。转移函数在动作108中识别以至少部分抵消选定表面上信息的投影效应。但如果处理器100在动作106中发现没有适于信息的任何元素的表面，那么处理器106进行到动作107以接收用户输入(下文描述)。
举例来说，当表面213S为平面时，在动作108中由处理器100识别对应平面变换以用于补偿移动装置200中的投影仪205相对于表面213S的定向和位置(也称为“姿态”)。此平面变换可例如缩短输出视频233的帧233A的高度，使得随着其特定来说以相对于并非90°的表面213S的角度□入射在真实世界的场景214中的表面213S上时(即，当视频236如图2H所示以倾斜而非垂直于表面213S的角度□投影时)实体上伸长而适当呈现投影上的经变换帧。
在一些实施例中，通过对保持对在动作106中发现为适宜的表面(或者在动作107中通过用户输入识别的表面)建模的值的二维矩阵执行矩阵求逆而在动作108中识别转移函数。在动作108中以任何方式例如基于将表面的深度值与三维(3D)模型522(图4)的库中的一个或一个以上模型进行比较而识别值的模型。在一些实施例中，在动作108中选择模型，如例如N.Werghi的标题为“基于几何分布的逐对匹配的稳健3D对象注册(Robust3D Object Registration Based on Pairwise Matching of Geometric Distributions)”的论文中描述，8页，2009年在国际计算机与应用期刊上发表，第31卷，第1期，其全文以引用的方式并入本文中。
接下来，在动作109中，处理器100例如通过执行转移函数的矩阵与信息元素的矩阵之间的矩阵乘法以获得(所述信息的)经变换元素而将转移函数应用于信息的元素。接着，在动作110中，处理器100将信息的经变换元素存储在存储器203中，特定来说存储在操作地耦合到投影仪205的帧缓冲器530(图4)中。
在动作110之后，处理器100进行到动作112以操作投影仪205。在投影仪205操作后，将帧缓冲器530中的一个或一个以上经变换元素投影到场景214中。当经变换元素的投影入射在选定表面(例如，图2E中的表面211A)上时，选定表面211A将经变换元素变换回去，使得呈现在表面211A上的信息对于人220(图2E)来说看上去为正常的。
信息(例如，图2H中的视频236)的经变换元素到三维表面上的投影可在许多实施例中以与例如授予Shapiro的第7,905,610号美国专利(上文以引用的方式并入)描述的(1)方法以及Raskar的标题为“将变形图像投影到弯曲表面上(Projecting Warped Images OntoCurved Surfaces)”第2004／0184013号美国申请案(其全文以引用的方式并入本文中)描述的(2)方法类似或相同的方式执行。
在动作112完成后，处理器100返回到动作101，借此再次执行上文描述的动作。在一些实施例中，处理器100从动作112进行到动作107以接收用户输入。在此阶段，当正投影信息时，动作107中接收的用户输入可指示例如通过用户说“干得好”或作出如图2F中说明的拇指向上的手示意动作(通过在相机202前方伸展出手221的拇指210)对投影的认可。当用户输入指示对选定表面的认可时，处理器100进行到动作108(上文描述)，以继续使用选定表面以供信息投影。
动作107中接收的用户输入可指示例如通过用户说“不好”(由麦克风1112感测到)或通过用户作出如图2G中说明的指向另一表面213S的手示意动作(通过在相机202前方(且由其俘获)伸展出手221的食指212)对投影的否认。当用户输入指示对选定表面(例如，图2E中的表面211A)的否认时，处理器100再次执行动作108-110(上文描述)，这次使用如图2G中说明由用户输入识别的不同表面213S，以供如图2H中说明的信息投影。当用户输入未识别不同表面而是简单地不准许自动选定的表面211A时，处理器100自动选择且开始使用发现对于信息的显示为适宜的不同表面(例如，图2H所示的表面213S)。
在一些实施例中，在执行动作107时，处理器100接收识别形状的用户输入。举例来说，用户可通过作出手示意动作而提供指示圆圈的输入。作为响应，处理器100在转移函数中使用所述形状以掩蔽出信息元素的待显示的部分。举例来说，如果经由相机202感测的手示意动作为圆圈，那么处理器100形成二进制值的掩码，值1在圆内且值0在圆外。在动作109中，刚描述的掩码与选定表面的3D模型的矩阵一起使用以变换待投影的信息的元素。
处理器100的一些实施例执行图1A中说明的动作106，如图1B所示以及下文描述。特定来说，在动作151中，处理器100选择信息的待投影的元素E且进行到动作152。在动作152中，处理器100确定其中将显示选定元素E的矩形(例如，图2D中的矩形272)的高度H和宽度W。高度H和宽度W由一些实施例的处理器100基于元素E中图像的预定分辨率确定。在其它实施例中，高度H和宽度W由处理器100基于元素E中文本的字体大小确定。接着，处理器100进行到动作153。
在动作153中，处理器100通过将对应于选定表面(或其中的小块P)的图像的区中像素N的总数目与待用于显示元素的高度H且宽度W的矩形的面积(即，H*W)比较来选择表面(或表面内的小块P)。如果N≥H*W，那么选择表面(或小块P)，且否则不选择。刚描述的比较滤出大小可能太小而不能容纳(例如，完全封围)选定元素E的任何表面。在动作153完成后，如果不存在足够大以致能够进行元素E的投影的表面，那么控制转移到动作164(下文描述)。当至少一个表面足够大时，在动作153中选择所述表面，之后在如下文描述帧缓冲器的列和行上循环，以检查选定表面是否适于选定元素E的投影。
在一些实施例中，处理器100执行动作154以将行R初始化为值0，并执行动作155以将列C初始化为值0，之后在动作156中在帧缓冲器中由四个隅角(R，C)、(R，C+W)、(R+H，C)和(R+H，C+W)识别的矩形中进行关于将选定元素E投影在选定表面(或小块P)上的适宜性的测试，其中W是矩形的宽度且H是矩形的高度，如上所述。在此类实施例中，其中识别四个隅角的X-Y坐标系定位在帧缓冲器530的左下角处，如图2D中说明。因此，矩形272在存储器203中的帧缓冲器530中以上文描述的方式(例如当元素E为视频233(图2C)时)由处理器100通过使用其分辨率识别以识别上文描述的四个隅角。
因此，在动作156中，处理器100执行一个或一个以上测试，例如测试待用于投影元素E的刚描述的矩形中的所有像素是否均存在于图像的对应于表面的区中(例如，包含在其内)。刚描述的针对像素可用性的测试滤出矩形272相对于可不适于投影的不规则形状表面211A的位置，如图2D所示(其中矩形272的隅角(R，C)不存在于区211A中)。尽管动作156中描述和说明一个说明性测试，但可依据实施例在动作156中执行针对表面对于元素投影的适宜性的其它此类测试，如鉴于此描述将容易了解。
如果动作156(图1B)中的回答为否，那么因为通过任何此类测试发现选定表面上的上文描述的矩形中的投影不适宜，所以处理器100使用动作157-160循环以检查是否存在矩形272与选定表面211A之间的选定表面211A在该处仍可适于矩形272的投影的另一相对位置。特定来说，处理器100在动作157(图1B)中检查列C+W是否小于帧缓冲器530的宽度，以及如果是那么进行到动作158以递增列C(借此在正X方向上，在图2D中向右，移动矩形272)，且接着返回到动作156(上文描述)。如果动作157中的回答为否，那么处理器100进行到动作159以检查行R+H是否小于帧缓冲器的高度，以及如果是那么进行到动作160以递增行R(借此在正Y方向上，在图2D中向上，移动矩形272)，且接着返回到动作155(上文描述)。
通过重复执行动作154-160，处理器100测试矩形272相对于选定表面211A的封围在帧缓冲器530内的所有可能位置，且当动作156中测试未发现任何位置适宜时，动作159中的回答为否，处理器100进行到动作161以检查是否所有表面(或小块)已经测试，且如果否那么进行到动作153以选择另一表面。如果动作161中的回答为是，那么处理器100进行到动作163以检查是否待投影的所有信息元素已经处理，且如果否那么返回到动作151以选择另一元素，但如果所有元素已经处理，那么处理器100进行到动作164(下文描述)。
在动作156中，如果回答为是，那么处理器100进行到动作162以识别表面(或小块P)上的位置的坐标(R，C)，并将其存储在存储器中，在存储器203中的列表273(图2C)中的项目中，作为可在该处投影元素E的特定位置。注意，列表273(图2C)中的每一项目为元素E的投影的候选者，且指派一个特定候选者以供用于下文描述的动作164中的投影。
因此，在动作162中，当动作156中的一个或一个以上测试成功时，处理器100使选定表面(或小块P)与元素E相关联，且接着处理器100进行到动作161。在动作161(如上文描述)中，处理器100检查是否所有表面已经测试，且如果答案为否，那么返回到动作153以测试另一表面或小块P。在循环经过动作161和153-156及162之后且依据元素E的尺寸并依据可用于投影的组中的表面(依据图1A中的动作103)，当从动作161取“是”分支时，在存储器203中针对元素E维持的列表中识别用于元素E的投影的经测试且发现为适宜(依据动作156)的所有表面。
因此，在图2C的实例中，重复执行动作156的测试以使含有识别对应的两个表面213U和211A的两个项目的列表273与视频233相关联。注意，表面213U和211A组成动作103中识别的所有表面211A、211B、212A、212B、212C和212S的集合的子集。表面213U和211A的每一者通过动作162与针对视频233的列表273中的视频233相关联，其中在列表的每一元素中识别特定位置以指示在对应表面上何处可投影视频233。在图2C的说明性实例中，存储器203仅保持一个列表273，因为待投影的信息仅具有一个元素，且通过处理器100从动作163中的“否”分支循环回到动作151(例如，当待投影的信息包含多个元素时)产生多个列表。
当已在动作163中处理所有元素时，由处理器100取“是”分支而进行到动作164。在动作164中，处理器100基于其中动作162针对每一元素E识别了所有候选表面的列表指派用于投影每一元素E的特定表面。特定来说，在动作164中，处理器100在每一表面(或小块P)上循环以从所有列表中识别给定表面被指派到的列表的子集，且接着从所述子集识别具有最少表面数目的单一列表，且接着向给定表面指派对应于所述单一列表的元素。举例来说，如果表面211A仅具有与其相关联的一个元素233，那么在动作164中将元素233指派到表面211A，且此表面211A接着从所有列表移除，之后使用相同过程识别另一表面。在动作164完成后，当所有表面已经指派以接收信息的对应元素的投影时，在一些实施例中不在帧缓冲器530中呈现且不投影保持未指派的任何元素，而替代实施例则例如经由音频消息通知用户。
尽管在图2A-2H中说明的实例中，信息为在如图2E中说明的表面211A内或在如图2H中说明的另一表面213S内整体投影的输出视频233，但在其它实施例中，待投影的信息包含多个元素(也称为部分)，其每一者可独立于另一部分(或元素)而投影。特定来说，在图3A中说明的实例中，位于桌子213的表面213S上的对象311(例如，瓶盖241)由移动装置200依据动作101(图1A)成像，且所得图像作为图像331A(图3B)存储在存储器203中。图像331A随后依据动作103(图1A)分段以识别场景314(图3A)中对应于图像331A(图3C)中的区213S和311S的表面，例如表面213S和311S。以此方式，通过动作103识别许多额外区241A-241N(图3C)。
此实例中待投影的信息通过执行游戏软件309产生且存储在存储器203的存储位置309S中，作为可彼此独立投影的两个不同元素(或部分)，即：(1)游戏玩家的文本的第一行(图3C中说明为字符串“群组2”)，以及(2)所述同一玩家的记分的文本的第二行(图3C中说明为另一字符串“记分：0”)。通过执行上文参看图1A描述的类型的方法，处理器100确定区241A...241I...241N的每一者太小而不能在动作153(图1B)中显示第一元素(即，第一文本行333A)，因此其被滤出。
在此实例中，起初，处理器100在动作156中将区311S识别为足够大以致能够显示第一元素且评估适宜性。在动作156中，处理器100测试用以显示第一文本行333A的相对于场景314中的表面311S(其对应于图像331A中的区311S)的矩形的各个位置，且当发现一位置适宜时，处理器100通过动作162添加表面311S和所述位置作为针对第一文本行333A的列表中的第一项目。在此实例中，接下来，处理器100通过重复动作156将区213S识别为足够大以致能够也显示第一元素并评估适宜性。在动作156的此迭代中，处理器100测试同一矩形的用以显示第一文本行333A的各个位置，但这次是相对于场景314中的表面213S(其对应于图像331A中的区213S)，且当发现一位置适宜时，处理器100通过动作162添加表面213S和所述位置作为针对第一文本行的上述列表中的第二项目。因此，在此阶段，针对第一文本行的列表具有两个项目。类似地，另一列表由处理器100针对第二文本行产生，其也具有两个项目。最后，通过执行动作164，处理器100向表面311S指派第一文本行333A且向表面213S指派第二文本行333B(图3D)，随后操作投影仪205以产生投影。
在一些实施例中，处理器100经编程以优化在动作164中指派到表面的每一元素的位置，例如使得组成两个元素的两个文本行333A和333B定位成尽可能彼此靠近，如图3E中说明。注意，尽管x坐标和y坐标增量已在上文指示为由一些实施例的动作158和160执行，但其它实施例可以其它方式(例如，通过旋转)移动一形状(例如，矩形或圆)用于元素的投影。在图3F中说明的实例中，移动装置200在表面311S上显示的信息在网站www.twitter.com处从计算机(未图示)获得。
如上文参看图1、2A-2H、3A-3F和4所描述以存储器203中的软件编程的处理器100可包含在如上所述的移动装置200中。移动装置200可为包含投影仪205和／或相机202的任何装置，且装置200可包含通常在任何手持式装置(例如，运动传感器)中使用的额外部分，例如加速计、陀螺仪等，其可在上文描述的一个或一个以上动作中使用，例如用于确定移动装置200相对于对象311和／或桌子213的姿态(位置和定向)。
应注意，移动装置200可为任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机、相机或能够对场景214成像且／或将信息投影到场景214中的其它适宜的移动装置。在一些实施例中，单一装置200包含相机202和投影仪205两者，而在其它实施例中，一个此类装置包含相机202且另一此类装置包含投影仪205，且两个装置直接或经由计算机(未图示)彼此通信。
在执行图1A的方法以将信息投影到场景中(如上所述)的过程中，可能存在所使用的不同交互隐喻。从相机202(图2A)俘获的图像中的文本字符串产生的用户输入允许用户到达场景214中且直接操纵真实世界对象211，与基于非图像的交互形成对比，在基于非图像的交互中用户必须直接与移动装置交互。特定来说，当基于图像的用户交互选择为输入技术和输出技术时，上文参看图1A和1B描述的类型的方法使得当用户正供应改变正投影到场景214中的信息的输入时，用户能够在场景214中以投影到真实世界中的信息使用他的手。
上文描述的类型的移动装置200可包含使用“计算机视觉”技术的各种对象辨识方法。移动装置200还可包含3D表面分段软件511(图4)以实施上文描述的动作103的一些实施例中使用的水域算法，从而将图像231A划分为属于场景214中的不同3D表面(或小块)的数据521(也称为“表面数据”)的区。此外，移动装置200还可包含表面寻找器512，其寻找所述组表面521中可在上面投影信息的元素的特定表面，例如在高度H且宽度W的矩形中。在一些实施例中实施用于寻找的手段的表面寻找器512还包含用以测试(例如，借此实施测试手段)刚描述的矩形中的所有像素是否均存在于图像231A的对应于特定表面的区中的软件。表面寻找器512还从3D模型的库522选择单一3D表面(在表面数据521中识别的表面当中)的单一模型，其适于显示如上文参考动作106(例如，如图1B的方法实施)描述的矩形借此在一些实施例中实施用于识别的手段。因此，一些实施例中，表面寻找器512供应3D模型的识别符以及可显示矩形的位置的坐标作为其输出。
移动装置200还可包含信息检索器软件513以依据上文描述的动作102检索具有待投影的一个或一个以上元素的信息233。移动装置200中的信息变换器514包含两个模块如下：转移函数识别符和转移函数应用器。转移函数识别符依据上文描述的动作108执行矩阵求逆，且转移函数应用器将动作108产生的逆矩阵应用于信息的元素以获得经变换元素525，所述经变换元素525接着存储在操作地耦合到投影器205的存储器203中的帧缓冲器530中，且在投影仪205操作时投影到场景214中。因此，一些实施例的信息变换器514实施用于存储的手段。
移动装置200还可装备有IR或RF发射器或无线发射器，其经启用以在例如因特网、WiFi、蜂窝式无线网络或其它网络等一种或一种以上类型的无线通信网络上接收和／或发射一个或一个以上信号。并且，移动装置200可额外包含图形引擎1004、图像处理器1005、IR相机1006(例如，外部印刷电路板1130中)和用以存储固件和／或软件和／或恒定数据的只读存储器(ROM)1007。移动装置200还可包含磁盘1008(或一种或一种以上非暂时计算机可读存储媒体)，用以存储处理器100执行的软件。移动装置200可进一步包含无线发射器和接收器110和／或任何其它通信接口1009、触摸屏1001或其它屏幕1002。
依据实施例，移动装置200可以使用投影仪205与相机202组合的示意动作辨识软件编程。投影仪205可用于在例如墙壁等寻常表面(用户可借以使用手示意动作交互)上呈现手机的显示器。同样依据实施例，移动装置200可经设计以使用IR相机1006，其跟踪专门IR激光唱针或套且经由IR链路1131供应用户输入。
应理解，移动装置200可为任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机、相机、智能电话、平板计算机或能够产生经扩增现实(AR)环境的其它适宜的移动装置。
若干所描述实施例的移动装置200还可包含用于例如通过使用收发器1010中的发射器响应于用户输入远程控制真实世界对象(其可为玩具)的手段，所述发射器可为IR或RF发射器或无线发射器，其经启用以在例如因特网、WiFi、蜂窝式无线网络或其它网络等一种或一种以上类型的无线通信网络上发射一个或一个以上信号。当然，移动装置200可包含其它元件，例如只读存储器1007，其可用于存储供处理器100使用的固件。
并且，依据实施例，本文描述的类型的各种功能可在软件(由一个或一个以上处理器或处理器核心执行)中或在专门硬件电路中或固件中或其任何组合中实施。因此，依据实施例，图4中说明且上文描述的表面分段器511、表面寻找器512、信息检索器513和信息变换器514中的任一者或一者以上可(但不需要一定)包含一个或一个以上微处理器、内嵌式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等。术语处理器希望描述由系统而非特定硬件实施的功能。此外，如本文使用，术语“存储器”指代任何类型的计算机存储媒体，包含与移动平台相关联的长期、短期或其它存储器，且不限于任何特定类型的存储器或特定数目的存储器，或者特定类型的上面存储存储器的媒体。
因此，本文描述的方法可依据应用通过各种手段实施。举例来说，这些方法可实施在固件(ROM1007(图4)中)或软件中，或硬件中或其任何组合中。对于硬件实施方案，处理单元可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文描述的功能的其它电子单元，或其组合内。对于固件和／或软件实施方案，可用执行本文所描述的功能的模块(例如，程序、函数等)来实施所述方法。
有形地体现计算机指令的任何机器可读媒体可用于实施本文描述的方法。举例来说，软件510(图4)可包含存储在存储器203中且由处理器100执行的程序代码。存储器可实施在处理器100内或外部。如果实施在固件和／或软件中，那么所述功能可作为一个或一个以上计算机指令或代码存储在计算机可读媒体上。实例包含以数据结构(例如，图像的序列)编码的非暂时计算机可读存储媒体，以及以计算机程序(例如，可经执行以执行图1A-1B的方法的软件510)编码的计算机可读媒体。
计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助实例而非限制，此类计算机可读媒体可包括RAM、ROM、快闪存储器，EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储软件指令(也称为“处理器指令”或“计算机指令”)或数据结构的形式的程序代码且可由计算机存取的任何其它媒体；如本文使用的磁盘和光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘利用激光以光学方式复制数据。上述内容的组合也应包括在计算机可读媒体的范围内。
尽管出于指示性目的结合特定实施例说明本发明，但本发明不限于此。因此，尽管一些实施例的图4所示的项目200为移动装置，但在其它实施例中，通过使用不同的形状因数来实施项目200，例如在某些其它实施例中，项目200为移动平台(例如，平板计算机，例如可从苹果公司购得的iPad)，而在另外其它实施例中项目200可为任何电子装置或系统。此电子装置或系统200的说明性实施例可包含以无线方式互通信的多个实体部分，例如作为静止计算机的部分的处理器和存储器，所述静止计算机例如膝上型计算机、桌上型计算机或服务器计算机，其在一个或一个以上无线链路上与封围在足够小以致能够握在手中的外壳中的传感器和用户输入电路通信。
尽管出于指示性目的结合特定实施例说明若干方面，但本发明不限于此。可在不脱离所描述实施例的范围的情况下作出各种调适和修改。因此，所附权利要求书的精神和范围不应限于以上描述。

Claims (26)

1.一种方法，其包括：
接收真实世界中的场景的图像，所述图像包括到所述真实世界中的点的多个距离；
使用至少所述多个距离识别所述场景中的一组表面；
寻找所述组表面中可在上面投影信息元素的表面；
当所述寻找指示所述信息元素可在所述表面上投影时，一个或一个以上处理器识别使用所述表面的转移函数；
将所述转移函数应用于至少所述信息元素；以及
将由于所述应用而产生的经变换元素存储在存储器中的帧缓冲器中在所述寻找期间识别的特定位置处。
2.根据权利要求1所述的方法，其中：
所述寻找包括将所述图像的对应于所述表面的区中像素的总数目与用以显示所述信息元素的矩形的面积进行比较。
3.根据权利要求1所述的方法，其中：
所述寻找包括测试待用于投影所述信息元素的矩形中的所有像素是否均存在于所述图像的对应于所述表面的区中。
4.根据权利要求3所述的方法，其中：
在所述寻找期间的所述测试期间，识别所述特定位置并将其存储在所述存储器中。
5.根据权利要求3所述的方法，其中：
重复执行所述测试以使形成所述组表面的子集的多个表面与所述信息元素相关联，使得所述信息元素可在所述多个表面的每一者上投影；
所述方法进一步包括将所述信息元素的投影指派到选自所述子集的所述表面。
6.根据权利要求1所述的方法，其进一步包括：
操作投影仪以投影所述帧缓冲器中的所述经变换元素；
在所述操作之后接收用户输入；以及
响应于接收到所述用户输入，针对不同表面重复所述转移函数的所述识别、所述应用和所述存储。
7.根据权利要求6所述的方法，其中：
所述用户输入识别所述不同表面。
8.根据权利要求6所述的方法，其中：
在另一图像中将所述用户输入识别为手示意动作。
9.根据权利要求1所述的方法，其进一步包括：
当所述寻找指示所述信息元素不能投影在所述组表面中的任何表面上时，接收识别不同表面的用户输入；以及
针对所述不同表面重复所述转移函数的所述识别、所述应用和所述存储。
10.根据权利要求1所述的方法，其进一步包括：
接收识别形状的用户输入；以及
使用所述转移函数中的所述形状掩蔽出所述信息元素的一部分。
11.一种或一种以上非暂时计算机可读存储媒体，其包括：
用以接收真实世界中的场景的图像的指令，所述图像包括到所述场景中的点的多个距离；
用以使用所述图像中的至少所述多个距离识别所述场景中的一组表面的指令；
用以寻找所述组表面中可在上面投影信息元素的表面的指令；
用以当所述寻找指示所述信息元素可在所述表面上投影时利用一个或一个以上处理器识别使用所述表面的转移函数的指令；
用以将所述转移函数应用于至少所述信息元素的指令；以及
用以将由于所述应用而产生的经变换元素存储在存储器中的帧缓冲器中在所述寻找期间识别的特定位置处的指令。
12.根据权利要求11所述的一种或一种以上非暂时计算机可读存储媒体，其中：
所述用以检查的指令包括用以将所述图像的对应于所述表面的区中像素的总数目与用以显示所述信息元素的矩形的面积进行比较的指令。
13.根据权利要求11所述的一种或一种以上非暂时计算机可读存储媒体，其中：
所述用以检查的指令包括用以测试待用于显示所述信息元素的矩形中的所有像素是否均存在于所述图像的对应于所述表面的区中的指令。
14.根据权利要求13所述的一种或一种以上非暂时计算机可读存储媒体，其中：
所述特定位置通过执行所述用以检查的指令期间的所述用以测试的指令而识别。
15.根据权利要求13所述的一种或一种以上非暂时计算机可读存储媒体，其中：
所述用以测试的指令经配置以被重复执行以使形成所述组表面的子集的多个表面与所述信息元素相关联，使得所述信息元素可在所述多个表面的每一者上投影；
所述一种或一种以上非暂时计算机可读存储媒体进一步包括用以将所述信息元素的投影指派到选自所述子集的所述表面的指令。
16.根据权利要求11所述的一种或一种以上非暂时计算机可读存储媒体，其中：
用以操作投影仪以投影所述帧缓冲器中的所述经变换元素的指令；以及
用以在所述操作之后接收用户输入的指令；以及
用以针对不同表面执行所述用以识别所述转移函数的指令、所述用以应用的指令和所述用以存储的指令的指令。
17.根据权利要求16所述的一种或一种以上非暂时计算机可读存储媒体，其中：
所述用户输入识别所述不同表面。
18.根据权利要求16所述的一种或一种以上非暂时计算机可读存储媒体，其中：
在至少另一图像中识别所述用户输入。
19.根据权利要求11所述的一种或一种以上非暂时计算机可读存储媒体，其进一步包括：
用以接收识别不同表面的用户输入的指令，其经配置以当所述用以检查的指令的执行指示所述信息元素不能投影在所述组表面中的任何表面上时执行；以及
用以针对所述不同表面重复所述用以识别所述转移函数的指令、所述用以应用的指令和所述用以存储的指令的指令。
20.根据权利要求11所述的一种或一种以上非暂时计算机可读存储媒体，其进一步包括：
用以接收识别形状的用户输入的指令；以及
用以使用所述转移函数中的所述形状掩蔽出所述信息元素的一部分的指令。
21.一种或一种以上装置，其包括：
相机；
一个或一个以上处理器，其操作地耦合到所述相机；
存储器，其操作地耦合到所述一个或一个以上处理器；
投影仪，其操作地耦合到所述存储器中的帧缓冲器，以从其投影信息；以及
保持在所述存储器中的软件，当所述软件由所述一个或一个以上处理器执行时致使所述一个或一个以上处理器：
从所述相机接收真实世界中的场景的图像，所述图像包括到所述真实世界中的点的多个距离；
使用至少所述多个距离识别所述场景中的一组表面；
寻找所述组表面中可在上面投影信息元素的表面；
当所述寻找指示所述信息元素可在所述表面上投影时，识别使用所述表面的转移函数；
将所述转移函数应用于至少所述信息元素；以及
将由于所述应用而产生的经变换元素存储在所述帧缓冲器中在所述寻找期间识别的特定位置处。
22.根据权利要求21所述的一种或一种以上装置，其中：
所述用以检查的软件致使所述一个或一个以上处理器测试待用于显示所述信息元素的矩形中的所有像素是否均存在于所述图像的对应于所述表面的区中。
23.根据权利要求22所述的一种或一种以上装置，其中：
所述用以测试的软件被重复执行以使形成所述组表面的子集的多个表面与所述信息元素相关联，使得所述信息元素可在所述多个表面的每一者上投影；
所述软件进一步致使将所述信息元素的投影指派到所述子集中具有与之相关联的最小元素数目的任何表面。
24.一种系统，其包括操作地耦合到存储器和相机的处理器，所述系统包括：
用于接收真实世界中的场景的图像的装置，所述图像包括到所述真实世界中的点的多个距离；
用于使用至少所述多个距离识别所述场景中的一组表面的装置；
用于寻找所述组表面中可在上面投影信息元素的表面的装置；
用于当所述寻找指示所述信息元素可在所述表面上投影时识别使用所述表面的转移函数的装置；
用于将所述转移函数应用于至少所述信息元素的装置；以及
用于将所述用于应用的装置输出的经变换元素存储在所述存储器中的帧缓冲器中所述用于寻找的装置识别的特定位置处的装置。
25.根据权利要求24所述的系统，其中所述用于寻找的装置包括：
用于测试待用于显示所述信息元素的矩形中的所有像素是否均存在于所述图像的对应于所述表面的区中的装置。
26.根据权利要求25所述的系统，其中：
所述用于测试的装置经配置以被重复操作以使形成所述组表面的子集的多个表面与所述信息元素相关联，使得所述信息元素可在所述多个表面的每一者上投影；且
所述信息元素的投影被指派到所述子集中具有与之相关联的最小元素数目的任何表面。
CN201280048118.0A 2011-08-19 2012-07-14 动态选择真实世界中的表面以用于在上面投影信息 Active CN103875004B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161525628P 2011-08-19 2011-08-19
US61/525,628 2011-08-19
US13/549,388 2012-07-13
US13/549,388 US9245193B2 (en) 2011-08-19 2012-07-13 Dynamic selection of surfaces in real world for projection of information thereon
PCT/US2012/046817 WO2013028280A2 (en) 2011-08-19 2012-07-14 Dynamic selection of surfaces in real world for projection of information thereon

Publications (2)

Publication Number Publication Date
CN103875004A true CN103875004A (zh) 2014-06-18
CN103875004B CN103875004B (zh) 2017-12-08

Family

ID=47712374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280048118.0A Active CN103875004B (zh) 2011-08-19 2012-07-14 动态选择真实世界中的表面以用于在上面投影信息

Country Status (7)

Country Link
US (2) US20130044912A1 (zh)
EP (1) EP2745237B1 (zh)
JP (2) JP2014531787A (zh)
KR (1) KR101575016B1 (zh)
CN (1) CN103875004B (zh)
IN (1) IN2014MN00316A (zh)
WO (2) WO2013028279A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796678A (zh) * 2015-04-28 2015-07-22 联想(北京)有限公司 信息处理方法及电子设备
CN107113417A (zh) * 2014-08-01 2017-08-29 惠普发展公司，有限责任合伙企业 将图像投影到对象上
CN108701344A (zh) * 2016-02-11 2018-10-23 讯宝科技有限责任公司 在确定移动盒体的尺寸时突出显示盒体表面和边缘的方法和系统
CN111788433A (zh) * 2018-03-07 2020-10-16 Bsh家用电器有限公司 交互模块

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US8718356B2 (en) * 2010-08-23 2014-05-06 Texas Instruments Incorporated Method and apparatus for 2D to 3D conversion using scene classification and face detection
US20130044912A1 (en) 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9456187B1 (en) 2012-06-01 2016-09-27 Amazon Technologies, Inc. Edge-based pose detection
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10528853B1 (en) * 2012-06-29 2020-01-07 Amazon Technologies, Inc. Shape-Based Edge Detection
KR102047494B1 (ko) * 2012-09-10 2019-11-21 삼성전자주식회사 투명 디스플레이 장치 및 그 객체 선택 방법
GB2505708B (en) * 2012-09-11 2015-02-25 Barco Nv Projection system with safety detection
JP5964190B2 (ja) * 2012-09-27 2016-08-03 京セラ株式会社 端末装置
CN103777746B (zh) * 2012-10-23 2018-03-13 腾讯科技（深圳）有限公司 一种人机交互方法、终端及系统
KR102001218B1 (ko) * 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
KR101393570B1 (ko) * 2012-12-28 2014-05-27 현대자동차 주식회사 선택적 조명을 이용한 손 제스처 인식 방법 및 시스템
US9311837B2 (en) 2013-03-14 2016-04-12 Martigold Enterprises, Llc Methods and apparatus for message playback
US10277945B2 (en) * 2013-04-05 2019-04-30 Lenovo (Singapore) Pte. Ltd. Contextual queries for augmenting video display
US9563955B1 (en) 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
KR102166719B1 (ko) * 2013-06-27 2020-10-16 삼성전자주식회사 전자장치 및 전자장치를 이용한 정보교환 방법
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN105308535A (zh) * 2013-07-15 2016-02-03 英特尔公司 无需用手的协助
KR20150026649A (ko) * 2013-09-03 2015-03-11 삼성전자주식회사 전자 장치에서 제스처를 설정하는 장치 및 방법
KR102106135B1 (ko) * 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
US20170026636A1 (en) * 2013-12-12 2017-01-26 Testo Ag Method for the positionally accurate projection of a mark onto an object, and projection apparatus
US20150193915A1 (en) * 2014-01-06 2015-07-09 Nvidia Corporation Technique for projecting an image onto a surface with a mobile device
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
CN105993038A (zh) * 2014-02-07 2016-10-05 皇家飞利浦有限公司 操作控制系统的方法及因此的控制系统
KR20150110032A (ko) 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US10572215B1 (en) * 2014-03-31 2020-02-25 Amazon Technologies, Inc. Extendable architecture for augmented reality system
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US9626804B2 (en) * 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
US9582296B2 (en) * 2014-09-18 2017-02-28 International Business Machines Corporation Dynamic multi-user computer configuration settings
US9715865B1 (en) * 2014-09-26 2017-07-25 Amazon Technologies, Inc. Forming a representation of an item with light
KR101909540B1 (ko) * 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
GB2532465B (en) 2014-11-19 2021-08-11 Bae Systems Plc Interactive control station
GB2532464B (en) 2014-11-19 2020-09-02 Bae Systems Plc Apparatus and method for selectively displaying an operational environment
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
US9344615B1 (en) * 2015-01-26 2016-05-17 International Business Machines Corporation Discriminating visual recognition program for digital cameras
WO2016122582A1 (en) 2015-01-30 2016-08-04 Hewlett Packard Enterprise Development Lp Relationship preserving projection of digital objects
EP3255880A4 (en) * 2015-02-03 2018-09-12 Sony Corporation Information processing device, information processing method and program
CN105988568B (zh) * 2015-02-12 2020-07-24 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
US10216273B2 (en) * 2015-02-25 2019-02-26 Bae Systems Plc Apparatus and method for effecting a control action in respect of system functions
CN106033257B (zh) * 2015-03-18 2019-05-31 联想(北京)有限公司 一种控制方法和装置
WO2016151869A1 (en) * 2015-03-23 2016-09-29 Nec Corporation Information processing apparatus, information processing method, and program
US10281976B2 (en) * 2015-07-07 2019-05-07 Seiko Epson Corporation Display device, control method for display device, and computer program
US10856773B2 (en) * 2015-10-30 2020-12-08 Conopco, Inc. Hair diameter measurement
MX2018005143A (es) * 2015-10-30 2018-06-06 Unilever Nv Medicion de rizo del cabello.
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
US11176231B2 (en) * 2016-05-19 2021-11-16 Payfone, Inc. Identifying and authenticating users based on passive factors determined from sensor data
US10249084B2 (en) 2016-06-10 2019-04-02 Microsoft Technology Licensing, Llc Tap event location with a selection apparatus
US10506221B2 (en) 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
US20180039479A1 (en) * 2016-08-04 2018-02-08 Adobe Systems Incorporated Digital Content Search and Environmental Context
US11461820B2 (en) 2016-08-16 2022-10-04 Adobe Inc. Navigation and rewards involving physical goods and services
US10139961B2 (en) * 2016-08-18 2018-11-27 Microsoft Technology Licensing, Llc Touch detection using feature-vector dictionary
US10720082B1 (en) * 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
US10430559B2 (en) 2016-10-18 2019-10-01 Adobe Inc. Digital rights management in virtual and augmented reality
KR102048674B1 (ko) * 2017-07-31 2019-11-26 코닉오토메이션 주식회사 조명램프형 멀티미디어 장치
US10300373B2 (en) * 2017-09-08 2019-05-28 Niantic, Inc. Methods and systems for generating detailed datasets of an environment via gameplay
JP6992342B2 (ja) * 2017-09-13 2022-01-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
EP3669260A4 (en) 2017-12-04 2021-03-24 Hewlett-Packard Development Company, L.P. PERIPHERAL DISPLAY DEVICES
HK1258418A2 (zh) * 2018-08-29 2019-11-08 Skala Fintech Company Ltd 使用擴增實境顯示提供一個或多個服務的系統和方法
US10825254B1 (en) * 2019-05-30 2020-11-03 International Business Machines Corporation Augmented reality book selection-assist
US11474671B2 (en) * 2020-01-31 2022-10-18 Salesforce.Com, Inc. Neutralizing designs of user interfaces
TWI724858B (zh) * 2020-04-08 2021-04-11 國軍花蓮總醫院 基於手勢動作的混合實境評量系統
CN113577766B (zh) * 2021-08-05 2024-04-02 百度在线网络技术（北京）有限公司 对象处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6793350B1 (en) * 2003-03-21 2004-09-21 Mitsubishi Electric Research Laboratories, Inc. Projecting warped images onto curved surfaces
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
CN101907459A (zh) * 2010-07-12 2010-12-08 清华大学 基于单目视频的实时三维刚体目标姿态估计与测距方法
US20110154233A1 (en) * 2009-12-23 2011-06-23 Lamarca Anthony G Projected display to enhance computer device use

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3578241D1 (de) 1985-06-19 1990-07-19 Ibm Verfahren zum identifizieren dreidimensionaler objekte mittels zweidimensionaler bilder.
JP3869897B2 (ja) 1997-01-28 2007-01-17 キヤノン株式会社 カメラ制御システムおよび映像受信装置および制御方法および記憶媒体
JP2001211372A (ja) 2000-01-27 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 映像投影装置
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
JP4591720B2 (ja) 2002-05-20 2010-12-01 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
JP4009851B2 (ja) 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
JP2005313291A (ja) 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
US20070050468A1 (en) 2005-08-09 2007-03-01 Comverse, Ltd. Reality context menu (RCM)
JP2007142495A (ja) 2005-11-14 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 平面投影装置、及び平面投影プログラム
US7905610B1 (en) 2006-08-29 2011-03-15 Nvidia Corporation Graphics processor system and associated method for projecting an image onto a three-dimensional object
KR100775123B1 (ko) 2006-09-15 2007-11-08 삼성전자주식회사 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8228170B2 (en) 2008-01-10 2012-07-24 International Business Machines Corporation Using sensors to identify objects placed on a surface
US20090237328A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Mobile virtual and augmented reality system
JP5258399B2 (ja) 2008-06-06 2013-08-07 キヤノン株式会社 画像投影装置及びその制御方法
US7954953B2 (en) * 2008-07-30 2011-06-07 Microvision, Inc. Scanned beam overlay projection
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
JP2010072025A (ja) 2008-09-16 2010-04-02 Nikon Corp プロジェクタ付電子機器
US8516561B2 (en) 2008-09-29 2013-08-20 At&T Intellectual Property I, L.P. Methods and apparatus for determining user authorization from motion of a gesture-based control unit
US20100082629A1 (en) * 2008-09-29 2010-04-01 Yahoo! Inc. System for associating data items with context
US20100153457A1 (en) 2008-12-15 2010-06-17 Grant Isaac W Gestural Interface Device and Method
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
KR20110071349A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20130311329A1 (en) * 2012-03-29 2013-11-21 Digimarc Corporation Image-related methods and arrangements
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
WO2012020410A2 (en) * 2010-08-10 2012-02-16 Pointgrab Ltd. System and method for user interaction with projected content
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
WO2012126103A1 (en) * 2011-03-23 2012-09-27 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
US9560314B2 (en) * 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
US20130044912A1 (en) 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US20130050069A1 (en) 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
WO2013028813A1 (en) 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130207962A1 (en) * 2012-02-10 2013-08-15 Float Hybrid Entertainment Inc. User interactive kiosk with three-dimensional display
US8994650B2 (en) 2012-04-27 2015-03-31 Qualcomm Incorporated Processing image input to communicate a command to a remote display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6793350B1 (en) * 2003-03-21 2004-09-21 Mitsubishi Electric Research Laboratories, Inc. Projecting warped images onto curved surfaces
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
US20110154233A1 (en) * 2009-12-23 2011-06-23 Lamarca Anthony G Projected display to enhance computer device use
CN101907459A (zh) * 2010-07-12 2010-12-08 清华大学 基于单目视频的实时三维刚体目标姿态估计与测距方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113417A (zh) * 2014-08-01 2017-08-29 惠普发展公司，有限责任合伙企业 将图像投影到对象上
CN104796678A (zh) * 2015-04-28 2015-07-22 联想(北京)有限公司 信息处理方法及电子设备
CN108701344A (zh) * 2016-02-11 2018-10-23 讯宝科技有限责任公司 在确定移动盒体的尺寸时突出显示盒体表面和边缘的方法和系统
CN108701344B (zh) * 2016-02-11 2020-09-15 讯宝科技有限责任公司 在确定移动盒体的尺寸时突出显示盒体表面和边缘的方法和系统
CN111788433A (zh) * 2018-03-07 2020-10-16 Bsh家用电器有限公司 交互模块
CN111788433B (zh) * 2018-03-07 2022-12-27 Bsh家用电器有限公司 交互模块

Also Published As

Publication number Publication date
IN2014MN00316A (zh) 2015-09-11
KR20140047733A (ko) 2014-04-22
US20130044912A1 (en) 2013-02-21
EP2745237A2 (en) 2014-06-25
JP2017038397A (ja) 2017-02-16
WO2013028280A2 (en) 2013-02-28
JP2014531787A (ja) 2014-11-27
US9245193B2 (en) 2016-01-26
US20130044193A1 (en) 2013-02-21
WO2013028280A3 (en) 2013-04-18
CN103875004B (zh) 2017-12-08
EP2745237B1 (en) 2022-09-07
JP6273334B2 (ja) 2018-01-31
KR101575016B1 (ko) 2015-12-07
WO2013028279A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
CN103875004A (zh) 动态选择真实世界中的表面以用于在上面投影信息
US20210120181A1 (en) Image display system, information processing apparatus, image display method, image display program, image processing apparatus, image processing method, and image processing program
CN105046213B (zh) 一种增强现实的方法
KR101821729B1 (ko) 의사랜덤 가이드되는 지문등록
KR100953606B1 (ko) 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법
CN112767489B (zh) 一种三维位姿确定方法、装置、电子设备及存储介质
CN109389038A (zh) 一种信息的检测方法、装置及设备
US9792732B2 (en) Systems and methods for activities solver development in augmented reality applications
EP3175614A1 (en) Virtual changes to a real object
CN109684980A (zh) 自动阅卷方法及装置
JP2008250950A (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
CN104079906A (zh) 图像处理装置、投影机及图像处理方法
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN111199169A (zh) 图像处理方法和装置
CN104137026B (zh) 用于制图识别的方法、装置和系统
JP2011118466A (ja) 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器
JP2015102875A (ja) 表示システム及び表示制御装置
CN111258413A (zh) 虚拟对象的控制方法和装置
JP2011180711A (ja) 画像表示装置、画像表示方法、および画面表示プログラム
Sergi et al. A microservices architecture based on a deep-learning approach for an innovative fruition of art and cultural heritage
CN113535055B (zh) 一种基于虚拟现实播放点读物的方法、设备及存储介质
US20190065914A1 (en) Image processing device, setting support method, and non-transitory computer-readable media
KR20150013372A (ko) 모바일 마케팅 어플리케이션 통합 시스템
CN111103967A (zh) 虚拟对象的控制方法和装置
JP6443172B2 (ja) 投影装置、投影装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant