CN106104635B - 遮挡增强现实对象 - Google Patents
遮挡增强现实对象 Download PDFInfo
- Publication number
- CN106104635B CN106104635B CN201380081991.4A CN201380081991A CN106104635B CN 106104635 B CN106104635 B CN 106104635B CN 201380081991 A CN201380081991 A CN 201380081991A CN 106104635 B CN106104635 B CN 106104635B
- Authority
- CN
- China
- Prior art keywords
- foreground object
- image
- augmented reality
- foreground
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003860 storage Methods 0.000 claims description 15
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000000903 blocking effect Effects 0.000 abstract description 7
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000003475 lamination Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 208000030984 MIRAGE syndrome Diseases 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 239000011469 building brick Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- TVLSRXXIMLFWEO-UHFFFAOYSA-N prochloraz Chemical compound C1=CN=CN1C(=O)N(CCC)CCOC1=C(Cl)C=C(Cl)C=C1Cl TVLSRXXIMLFWEO-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Abstract
在各个实施方式中描述了用于遮挡增强现实对象的技术。在一个示例实施方式中，一种方法可包括：接收由图像捕获设备捕获的图像；和识别在所述图像中描绘的前景对象。所述前景对象可没有框标且可被置于所述图像捕获设备与在所述图像中描绘的背景之间。所述方法还可包括产生用于描绘被所述前景对象至少部分地遮挡的增强现实对象的增强现实图像，使得在显示所述增强现实图像时，所述增强现实对象看起来被置于所述前景对象之后。
Description
背景技术
增强现实指的是一种通过利用虚拟对象增强用于描绘现实世界物理对象的景象而将物理世界与虚拟世界融合的技术平台。例如，现实世界物理报纸一被印刷可能就已过时，但增强现实系统可用于将报纸中的文章识别为启动增强现实场景的触发器，该增强现实场景可提供例如具有与文章相关的最新虚拟内容的视频。虽然报纸一般表示基于静态文本和图像的通信介质，但虚拟内容无需受限于这一介质。事实上，在一些增强现实场景中，报纸文章可利用基于音频和/或视频的内容(例如，视频叠层)来增强，该基于音频和/或视频的内容向用户提供附加的或更有意义的信息。
一些增强现实系统在例如智能手机或平板电脑的移动设备上操作。在这样的系统中，移动设备可(例如，在该设备的触摸屏或其他显示器上)显示它的通过叠加在摄像机馈入(camera feed)中的虚拟对象而被增强的摄像机馈入。在以上的报纸示例中，用户可使移动设备的摄像机指向报纸中的文章处，并且移动设备可以显示利用视频或其他虚拟内容增强(例如，代替文章中的静态图像或与文章中的静态图像重叠)的摄像机馈入(即，摄像机的包括现实世界文章的当前视图)。这创建了附加对象或与现实中实际存在的不同对象的幻象。
附图说明
图1A至图1C是示出增强现实环境的示例的概念图。
图2是用于遮挡增强现实对象的示例计算系统的框图。
图3是用于遮挡增强现实对象的示例过程的流程图。
图4是包括具有用于遮挡增强现实对象的指令的计算机可读存储介质的示例计算系统的框图。
具体实施方式
一些增强现实系统向用户提供一定水平的交互性或控制。例如，增强现实场景可以显示虚拟的“购买”按钮或另一允许用户以一些方式控制场景的交互式虚拟对象(例如，按钮，滑块，表盘等)。在一些交互式系统中，用户可例如通过在摄像机前用手或另一物理对象做手势来控制或操纵被呈现在增强现实场景中的虚拟对象，而被允许在虚拟环境中与虚拟对象直接交互。当用户与虚拟对象交互时，增强现实系统则可以改变虚拟对象的外观，从而给出虚拟对象被用户直接影响的印象，这与现实世界对象如何被用户直接影响类似。
在虚拟对象的行为与相似的现实世界对象的行为类似的情况中，虚拟对象将被使用的方式对于用户可能是显而易见的，例如，无需向用户提供任何附加的指令。例如，增强现实按钮可以通过用户用手指“按压”虚拟按钮来激活，就像现实世界按钮会被激活一样。在另一示例中，增强现实音量表盘可由用户的手抓住并顺时针旋转该表盘来“调高”。这些和其他的接口对广大用户群体而言可以是直观的。
在这些和其他的增强现实系统中，虚拟对象通常叠加在来自摄像机的视频馈入上，使得虚拟对象掩盖了对一些包含在视频馈入中的现实世界对象的观察。在报纸文章触发增强现实场景的示例中，增强对象(augmentation)可以被显示为好像出现在现实世界报纸之上、之前，或者另外掩盖现实世界报纸的一部分。虚拟对象对现实世界对象的这种掩盖在一些情况中可以降低增强现实的幻象，尤其在现实世界对象被放置为比虚拟对象要出现的位置更靠近摄像机的情况中。此外，掩盖现实世界前景对象(例如，就在摄像机前面做手势的用户的手)还可能使用户与增强现实场景中的虚拟对象的交互更加困难。此处使用的词条“前景对象”用于描述这样的现实世界对象：被放置为比摄像机馈入的“背景”中的其他现实世界对象更靠近摄像机，且旨在被感知为比在增强现实景象中描绘的虚拟对象更靠近摄像机。
此处描述的技术用于通过利用在摄像机馈入中识别出的现实世界前景对象遮挡虚拟对象来在增强现实场景中更加逼真地显示虚拟对象。例如，如果现实世界对象(例如，用户的手或其他适当的对象)被确定为置于摄像机与虚拟对象被假定所位于的位置之间(即，前景对象旨在置于虚拟对象之前)，则前景对象可被显示为遮挡增强现实景象中的增强对象而非该增强对象遮挡前景对象。某些现实世界对象在虚拟对象之上的这种视觉分层可提供更加逼真的用户界面，且可以增强用户体验。
在一些实施方式中，此处描述的技术可利用二维摄像机(例如在多数移动设备上找到的标准摄像机)来执行，并且前景对象不需要是特定的形状或颜色、或者包含任何诸如框标的区别标记。此外，摄像机不需要被保持在固定的位置，所以该技术适用于现实世界移动设备的使用场景，例如，用户一只手拿着移动设备而另一只手在虚拟环境空间中做手势(例如，指向出现在摄像机之前的虚拟对象)的使用场景。
图1A至图1C是示出增强现实环境的示例的概念图。增强现实环境在三个连续的时间点处被示出。在所有的三个时间点处，该环境包括移动设备110和描绘汽车在路上行驶的背景图像120。移动设备110和背景图像120表示现实世界物理对象。虽然图1A至图1C中示出的事件顺序从用户的视角出发是此处所描述技术的具体实施方式的例示，但应当理解，其他的顺序、事件、或事件的类型也包含在本公开的范围内。此外，虽然背景图像120被示出为二维海报，但应当理解，在某些实施例中，其他的包括三维空间和/或对象的背景也可以用作背景。
图1A示出移动设备110被指向背景图像120期间的示例初始化阶段。具体来说，移动设备110的摄像机可以以在该摄像机的视野内捕获背景图像120的至少一部分的方式被指向，并且该视野可能没有任何被置于移动设备110与背景图像120之间的前景对象。背景图像120的被捕获部分可以被链接到用于启动增强现实场景的触发器和/或另外提供该触发器，或者背景图像120可在增强现实场景被触发后只是位于对移动设备110可见的位置中。在初始化阶段中，背景图像120和任何其他在摄像机视野内的对象可被捕获并被存储为初始化图像，该初始化图像可描绘没有任何被置于背景与摄像机之间的前景对象的背景。之后，初始化图像可例如通过将初始化图像与后续图像相比较来识别在初始化期间未出现的对象，而被用于在后续图像中识别置于背景与摄像机之间的前景对象。
在图1B中，背景图像120已利用增强现实得以重现。具体来说，摄像机馈入中的背景图像120的视图已被增强为包括两个虚拟对象130和140，两个虚拟对象130和140叠加在摄像机馈入中，使得看起来(例如，好像显示在移动设备110的屏幕上)对象置于移动设备110和背景图像120之间。在一些情况中，虚拟对象可利用三维图形技术来渲染，例如，使得这些虚拟对象向用户呈现出从背景图像朝用户移出。
如图1B所示，用户(或其他人)已在移动设备110与背景图像120之间放置了前景对象150。在这种情况中，前景对象150被描绘为用户的手，但应当理解，其他适当的前景对象(例如，笔、棒、或其他物理对象)根据此处描述的技术也可以被使用或被替换地使用。在一些实施方式中，前景对象150可以是任意的形状或颜色，且不需要包括任何类型的区别标记，诸如框标。
在图1B中，前景对象150已被识别为前景对象(与作为背景的部分相反)，且本身被显示在移动设备110的屏幕上，好像看起来比虚拟对象130和140更接近于该设备。在示出的示例中，前景对象150遮挡“汽车”虚拟对象130的一部分，给出前景对象150被置于虚拟对象130之前的外观，与“汽车”虚拟对象130代替地遮挡前景对象150的情况相比，这可提供更加逼真的增强对象。在此示例中，前景对象150可基于当前图像与初始化图像的比较被识别为前景对象，但其他无标记的识别技术也可以被利用或被替代地利用，如下面描述的。
在此示例中，前景对象150也可用于“抓住”图1B中的“汽车”虚拟对象的右前角。而后，如图1C所示，前景对象150可做出箭头160示出的将虚拟对象130在空间中调头的运动的手势，如在设备110上向用户示出的。因此，虚拟对象130可利用简单且直观的手势来操纵，该手势在虚拟对象看起来所位于的增强现实环境空间内发生(例如，利用置于移动设备110的摄像机与背景图像120之间的前景对象150)。由于前景对象150被显示在虚拟对象130之前，用户可具有前景对象150与增强现实景象有关的连续视觉参考，因此提供了提高的逼真性和/或交互时的控制。
在一些实施方式中，移动设备110中的摄像机的位置不需要相对于背景图像120保持固定。此外，移动设备110可沿任意轴或沿多个轴在空间中旋转或平移。像这样，只要背景图像120保持在摄像机的视野内，该设备就可被倾斜，或者可被移动到离背景图像120更近或更远，或者可被摇动。不考虑这样的移动，移动设备110可以能够检测和追踪相对于背景图像120的前景对象150以及在屏幕上显示的虚拟对象130和140。
图2是用于遮挡增强现实对象的示例计算系统200的框图。在一些实施方式中，计算系统200可用于执行上面关于图1A至图1C的移动设备110所描述的功能中的部分或全部。然而，应当理解的是，计算系统200可包括任何适当类型的计算设备，包括例如智能手机、平板电脑、台式机、笔记本电脑、工作站、服务器等。计算系统200还可包括适当的计算设备组，且该功能的部分或全部可在单个设备上执行或者可被分布在不同的设备中。在计算系统200不具有集成的显示器、摄像机、和/或上面关于移动设备110的集成的显示器和摄像机所描述的其他功能组件的情况中，可将外部的显示器、摄像机、和/或其他功能组件可通信地联接到计算系统200以提供相应的功能。
如所示的，示例计算系统200可包括处理器资源212、存储器资源214、接口216、图像捕获设备218、前景对象识别模块220、以及增强现实模块222。应当理解的是，此处示出的组件是为了示例性目的，且在一些情况中，关于特定组件所描述的功能可以由一个或多个不同的或附加的组件来执行。相似地，应当被理解的是，功能中的部分或全部可被组合到比所示出的组件更少的组件中。
处理器资源212可被配置为处理指令以供计算系统200执行。指令可被存储在非暂时性有形计算机可读存储介质上，诸如在存储器资源214中、或在分离的存储设备(未示出)上、或者在存储指令以使可编程处理器执行此处所描述技术的任何其他类型的易失性或非易失性存储器上。可替换地或者另外地，计算系统200可包括用于执行此处所描述技术的专用硬件，诸如一个或多个集成电路、专用集成电路(ASIC)、特定应用专用处理器(ASSP)、现场可编程门阵列(FPGA)、或专用硬件的前述示例的任意组合。在一些实施方式中，处理器资源212可包括多个处理器和/或多种类型的处理器，且存储器资源214可包括多个存储器和/或多种类型的存储器。
接口216可以以硬件或/和软件来实施，且可被配置为例如接收和响应用户所提供的输入。输入可例如经由计算系统的用户接口提供到接口216。计算系统的示例用户接口可包括触摸屏设备、指向设备、键盘、声音输入接口、视觉输入接口等。响应也可以通过接口216，例如经由显示设备上的包括触摸屏设备的显示器、或经由包括声音或触觉反馈的其他用户接口机制来提供。
图像捕获设备218可被配置为以任意期望的帧速率来捕获视频图像(即，一系列连续的视频帧)，或拍摄静止图像，或者既捕获视频图像也拍摄静止图像。图像捕获设备218可以是静止摄像机、视频摄像机、或者能够捕获图像的其他合适类型的设备。图像捕获设备218可被配置为连续地、周期性地、或按需地触发图像捕获。图像捕获设备218可视情况捕获整个视野的视图、或者视野的一部分(例如，物理区域、黑/白对比色等)。此处所使用的图像被理解为包括快照、帧或者帧系列(例如，一个或多个视频帧)、视频流、或其他适当类型的图像或图像集。
前景对象识别模块220可在处理器资源212上执行，且可被配置为在从图像捕获设备218接收到的图像中检测前景对象。例如，前景对象识别模块220可从图像捕获设备218接收图像，并可以利用无标记识别来识别在图像中描绘的前景对象。
在一些实施方式中，前景对象识别可基于由图像捕获设备218捕获的图像中的视觉特征。例如，图像捕获设备218可捕获初始化图像，初始化图像可以描绘没有任何置于背景与设备之间的前景对象的背景。初始化图像可由计算系统200存储于例如存储器资源214中。图像捕获设备218也可以捕获在一段时间之后(例如，在初始化图像被捕获之后)的后续图像。后续图像可以包括背景也可以包括前景对象，例如，用户置于图像捕获设备218之前的前景对象。
为了检测前景对象，模块220可以例如从图像捕获设备218或者从存储器资源214接收初始化图像，且可以接收由图像捕获设备218捕获的、或来自存储器资源214的后续图像。前景对象识别模块220可分析后续图像以检测在初始化图像中未出现的任何前景对象。
前景对象识别模块220也可以被配置为识别与被检测到的前景对象相关联的定位、形状和轨迹信息。例如，模块220可用于在特定的图像中确定前景对象的或者前景对象的特定部分(例如，指纹)的位置。此外，模块220可将手势分析应用于被检测到的前景对象，以例如检测和跟踪手和/或手指状的区域，并确定由前景对象执行的特定手势。
在一些实施方式中，前景对象识别模块220可利用其他适当的无标记技术在前景对象和背景对象之间进行区分。例如，图像捕获设备218可包括三维成像，且被确定离设备最近或与设备在一定距离之内的对象可被认为是前景对象。也可使用非视觉技术来识别前景对象。例如，可使用热成像来识别位于计算系统200最近处的前景对象。在热成像的情况中，计算系统200可包括例如与图像捕获设备218配合或集成的热成像设备，且预期的前景对象(例如，用户的手)的已知热性质或热特征可用于将前景对象从背景对象中区分出。作为另一示例，前景对象识别模块220可使用声音反馈特征来识别位于图像捕获设备218最近处(例如，位于图像捕获设备218一定距离内，或位于比背景对象更接近图像捕获设备218的一定距离处)的前景对象。
不考虑用于识别图像中描绘的前景对象的无标记方法，前景对象识别模块220则可以向增强现实模块222提供与前景对象相关联的信息(例如，定位信息、与识别相关联的置信值、和/或其他适合的信息)。在一些实施方式中，定位信息可利用描述哪些像素与前景对象对应和/或哪些像素与背景对应的像素图来传达。
在一些实施方式中，对应的置信值也可以例如逐像素地或在对象级别上与像素图相关联，以指示图像中的某些像素与前景对象相关联的确定性水平。置信值可以整个或部分地基于与预期的前景对象相关联的一个或多个已知属性。例如，若前景对象可能包括用户的手，则与手相关联的已知属性(例如，形状、颜色、定位等)可以用来确定特定对象确实是前景对象的可能性。类似地，其他预期的前景对象及其各自的属性也可以被定义。在一些情况中，已知属性可包括指示与预期前景对象相关联的可能颜色范围的颜色信息，或者可包括指示与预期前景对象相关联的可能形状的形状信息，或者可包括指示预期前景对象会被置于图像内何处的可能区域的位置信息，或者其他适当的属性。这些属性中的每一个可被单独地使用或与其他组合地使用，以确定当在图像中识别特定前景对象时被指派的置信值。
前景对象置信值也可以基于之前接收的图像。例如，若诸如手的前景对象在之前图像中被确信地识别，且之前图像到当前图像仅发生了对象的轻微移动，则当前图像中的对象也是前景对象的可能性可被增加。这样的跨多个图像的前景识别分析可提高这种识别的结果，且可有助于降低由于运动、灯光变化导致的错误的可能性、或其他各种错误引起的效果的可能性。
增强现实模块222可在处理器资源212上执行，且可被配置为产生用于描绘被前景对象至少部分地遮挡的增强现实对象的增强现实图像，使得在增强现实图像被显示时，增强现实对象看起来置于前景对象之后。在一些实施方式中，增强现实模块222可被包括以作为提供上述增强现实功能的可下载应用的部分。例如，该应用可在适当的计算系统上操作，以显示利用在摄像机馈入中叠加的虚拟对象而被增强的摄像机馈入。在该增强对象中，虚拟对象可被呈现为看起来置于现实世界背景之前的叠层，但虚拟对象可至少部分地被也存在于摄像机馈入中的前景对象所遮挡。
部分或全部遮挡可利用适当的技术来实现。例如，在一些实施方式中，来自前景对象识别模块220的定位信息可用于阻止虚拟对象的部分被渲染为到摄像机馈入的部分的叠层。在这样的情况中，会另外与所识别的前景对象重叠的虚拟对象的任何部分可免于被绘制。例如，除了在图像的被识别为由前景对象占据的一部分中，增强现实模块222可将虚拟对象绘制为到摄像机馈入的叠层。在这种情况中，前景对象图可被用作掩膜，以阻止在已识别出前景对象的位置处绘制虚拟对象。
在其他实施方式中，增强现实景象可被渲染为多个层，其中背景作为“最后”层，增强对象作为“中间”层，并且前景对象作为“最前”层。在这样的实施方式中，多个层可从后向前连续地被渲染，使得前景对象看起来在虚拟对象之前，虚拟对象看起来在背景对象之前。
在一些情况中，前景对象可利用阿尔法混合技术来渲染，使得前景对象看起来是半透明的。例如，诸如用户手的前景对象可被半透明地绘制，以使位于手之后的虚拟对象和背景对象也可以被看见。在这种情况中，与前景对象相关联的透明度值可基于在识别前景对象期间所确定的置信水平。例如，若用户手以高置信水平被识别为前景对象，则与手以低置信水平被识别的情况相比，手可以看起来较不透明。前景对象置信值还可以以其他适当的方式被使用，以影响像素在增强现实景象中的渲染方式。
图3是用于遮挡增强现实对象的示例过程300的流程图。例如，过程300可例如由诸如图1A至图1C中示出的移动设备110的移动计算设备来执行，或由图2中示出的计算系统200来执行。为了陈述的清楚，以下描述使用计算系统200作为用于描述过程的示例的基础。然而，应当被理解的是，另外的系统或系统的组合可以被用于执行过程或者过程的多个部分。
过程300起始于在块310处接收由图像捕获设备捕获的图像。在一些实施方式中，图像可由例如与移动设备集成的标准摄像机的二维图像捕获设备来捕获，且可以被存储在移动设备的存储器中。图像可以描绘背景和一个或多个前景对象。前景对象可被置于图像捕获设备与背景之间，且可以没有在其他增强现实系统中可能通常被需要用于对象识别的任何框标或其他区别标记。
在块320处，识别一个或多个前景对象。这样的识别可包括将图像与描绘背景且不描绘任何前景对象的初始化图像相比较，使得在当前图像中新检测到的对象可以被识别为前景对象。在一些情况中，当前图像可(例如，在这样的比较之前)被调整，以考虑图像捕获设备相对于背景的移动，使得该比较不受移动所影响。例如，若初始化图像以一定角度示出背景，且后续图像中的当前视图以不同角度示出背景，则角度差可在后续图像中被反转，使得后续图像的背景与初始化图像的背景对准以用于比较目的。尽管在以上示例中描述了简单的旋转调整，但应当被理解的是，任意的复杂调整和/或变换也在本公开的范围内。
在一些情况中，前景对象的识别可包括产生像素图和对应的像素置信值，对应的像素置信值表示像素与前景对象相关联的确定性水平。例如，图像的RGB或YCC表示可包括与图像中的每个像素(或者像素的某些部分)相关联的值。系统可将初始化图像中的相应像素与后续图像中的相应像素相比较，以确定该值是否相等或者接近相等(例如，大体相等，但有些噪声或其他类型的失真)，且可以产生被确定为不相等的像素的前景图。前景图可例如针对后续图像中的每一个像素或者某些像素组，描述像素是前景对象的部分相对于是背景的部分的可能性。这样的可能性图的使用可被用于考虑包括在后续图像中的任何噪声或其他失真效果。
在一些实施方式中，像素是前景对象的部分相对于是背景的部分的可能性可基于关于前景对象的已知的和/或预期的信息。例如，若系统预期前景对象将是用户的裸手，则关于前景对象的预期信息可包括可在前景对象中预期的皮肤颜色的范围。若多个相邻的像素落入皮肤颜色的范围内，则那些多个相邻的像素可被视为更可能是用户的手的部分，且这样的信息可在产生或改善可能性图时被考虑。作为另一个示例，如果系统预期前景对象将是已知颜色的特定对象，则可预期已知颜色在有效前景对象中发现，这可增加该颜色的像素是前景的部分的可能性。类似地，形状信息可在确定像素是前景对象的部分的可能性时被考虑。例如，若像素组一般以预期前景对象(例如，手、笔、棒等)的形状被分组，则那些像素表示前景对象的可能性更高。此外，关于前景对象被预期所处位置的信息也可以在确定对象是前景对象的可能性时使用。例如，如果图像中存在很可能包括前景对象或很可能不包括前景对象的特定区域，则这样的信息可在产生或改善可能性图时被考虑。
尽管以上描述了与已知初始化图像的可视性比较，但其他无标记方法也可以被使用或替换地被使用，以识别图像中的前景对象。这些方法(例如，使用三维成像、热成像、声成像、或其他适当的技术)可同样地被用于产生像素图、以及特定像素或像素组与前景对象相关联的相应置信值。
在块330处，产生用于描绘被识别出的前景对象至少部分地遮挡的增强现实对象的增强现实图像。在一些实施方式中，增强现实图像可通过除了在图像的被识别出的前景对象所占据的一部分中，将增强现实对象绘制在所接收的图像上来产生。增强现实图像也可以以多个层来产生，其中背景作为“最后”层，增强对象作为“中间”层，并且前景对象作为“最前”层。在这样的实施方式中，多个层可从后向前连续地被渲染，使得前景对象看起来在虚拟对象之前，虚拟对象看起来在背景对象之前。
在一些情况中，前景对象可利用阿尔法混合技术来渲染，使得前景对象看起来是半透明的。例如，诸如用户手的前景对象可被半透明地绘制，使得位于手之后的虚拟对象和背景对象也可以被看见。在这种情况中，与前景对象相关联的透明度值可基于在识别前景对象期间所确定的置信水平。例如，若用户手以高置信水平被识别为前景对象，则与手以低置信水平被识别的情况相比，手可看起来较不透明。前景对象置信值也可以以其他适当的方式被使用，以影响增强现实景象中像素的渲染方式。
图4是示例计算系统400的框图，示例计算系统400包括具有用于遮挡增强现实对象的指令的计算机可读存储介质。计算系统400包括处理器资源402和机器可读存储介质404。
处理器资源402可包括中央处理单元(CPU)、微处理器(例如，基于半导体的微处理器)、和/或其他适合于获取和/或执行被存储在机器可读存储介质404中的指令的硬件设备。处理器资源402可提取、解码、和/或执行指令406、408和410以遮挡增强现实对象，如下所述。作为获取和/或执行指令的替代或者除了获取和/或执行指令外，处理器资源402可包括电子电路，电子电路包括数个用于执行指令406、408和410的功能的电子组件。
机器可读存储介质404可以是任何适合的包含或存储可执行指令的电子的、磁的、光学的或其他物理的存储设备。因此，机器可读存储介质404可包括例如随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储设备、光盘等。在一些实施方式中，机器可读存储介质404可包括非暂时性存储介质，其中术语“非暂时性”不包含暂时性传播信号。如下所述，机器可读存储介质404可利用可执行指令406、408和410的集合来编码。
指令406可以接收图像。指令408可以利用无标记识别来识别在图像中描绘的前景对象。指令410可以产生用于描绘被前景对象至少部分地遮挡的增强现实对象的增强现实图像，使得在显示增强现实图像时，增强现实对象看起来位于前景对象之后。
尽管在上面详细描述了几个实施方式，但其他的修改是可能的。例如，在图中描绘的逻辑流可不需要所示出的特定顺序或相继顺序以获得期望的结果。此外，其它步骤也可以被提供，或者步骤可以从所描述的流中被清除。类似地，其它组件可以被添加到所描述的系统，或者从所描述的系统移除。相应地，其他实施方式在所附权利要求的范围内。
Claims (14)
1.一种方法，包括：
在计算系统处接收由图像捕获设备捕获的图像；
利用所述计算系统识别在所述图像中描绘的前景对象，所述前景对象没有框标且被置于所述图像捕获设备与在所述图像中描绘的背景之间；以及
利用所述计算系统产生用于描绘被所述前景对象至少部分地遮挡的增强现实对象的增强现实图像，使得在显示所述增强现实图像时，所述增强现实对象看起来被置于所述前景对象之后并且所述前景对象看起来是半透明的，其中与所述前景对象相关联的透明度值基于与所述前景对象的识别相关联的置信水平。
2.根据权利要求1所述的方法，其中产生所述增强现实图像包括：除了在所述图像的被所述前景对象占据的一部分中之外，将所述增强现实对象绘制到所述图像上。
3.根据权利要求1所述的方法，其中产生所述增强现实图像包括：将所述前景对象阿尔法混合，使得所述前景对象在所述增强现实图像中看起来是半透明的。
4.根据权利要求1所述的方法，其中识别所述前景对象包括将所述图像与由所述图像捕获设备捕获的初始化图像相比较，所述初始化图像描绘所述背景而不描绘所述前景对象。
5.根据权利要求1所述的方法，其中识别所述前景对象包括产生像素图以及对应的前景置信值，所述前景置信值表示所述像素与所述前景对象相关联的确定性水平。
6.根据权利要求5所述的方法，其中所述前景置信值基于预期的前景对象的已知属性。
7.根据权利要求6所述的方法，其中所述已知属性包括指示与所述预期的前景对象相关联的可能颜色范围的颜色信息。
8.根据权利要求6所述的方法，其中所述已知属性包括指示与所述预期的前景对象相关联的可能形状的形状信息。
9.根据权利要求6所述的方法，其中所述已知属性包括指示所述预期的前景对象会被置于所述图像中何处的可能区域的位置信息。
10.根据权利要求5所述的方法，其中所述前景置信值基于之前接收的图像。
11.根据权利要求5所述的方法，其中所述前景置信值影响所述像素在所述增强现实图像中的渲染方式。
12.根据权利要求11所述的方法，其中所述像素的透明度值基于所述前景置信值。
13.一种系统，包括：
处理器资源；
用以捕获图像的图像捕获设备；
能在所述处理器资源上执行的前景对象识别模块，用以从所述图像捕获设备接收图像，并利用无标记识别来识别在所述图像中描绘的前景对象；以及
能在所述处理器资源上执行的增强现实引擎，用以产生用于描绘被所述前景对象至少部分地遮挡的增强现实对象的增强现实图像，使得在显示所述增强现实图像时，所述增强现实对象看起来被置于所述前景对象之后并且所述前景对象看起来是半透明的，其中与所述前景对象相关联的透明度值基于与所述前景对象的识别相关联的置信水平。
14.一种非暂时性计算机可读存储介质，所述介质存储指令，所述指令在被处理器资源执行时使所述处理器资源：
接收图像；
利用无标记识别来识别在所述图像中描绘的前景对象；以及
产生用于描绘被所述前景对象至少部分地遮挡的增强现实对象的增强现实图像，使得在显示所述增强现实图像时，所述增强现实对象看起来被置于所述前景对象之后并且所述前景对象看起来是半透明的，其中与所述前景对象相关联的透明度值基于与所述前景对象的识别相关联的置信水平。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2013/075798 WO2015082015A1 (en) | 2013-12-06 | 2013-12-06 | Occluding augmented reality objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106104635A CN106104635A (zh) | 2016-11-09 |
| CN106104635B true CN106104635B (zh) | 2019-01-04 |
Family
ID=49766054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380081991.4A Expired - Fee Related CN106104635B (zh) | 2013-12-06 | 2013-12-06 | 遮挡增强现实对象 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10186087B2 (zh) |
| CN (1) | CN106104635B (zh) |
| WO (1) | WO2015082015A1 (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10096161B2 (en) | 2010-06-15 | 2018-10-09 | Live Nation Entertainment, Inc. | Generating augmented reality images using sensor and location data |
| US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
| US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
| US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
| US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
| US9818198B2 (en) * | 2014-10-21 | 2017-11-14 | University Of Louisiana At Lafayette | Method for near-realtime workspace mapping |
| US9916681B2 (en) * | 2014-11-04 | 2018-03-13 | Atheer, Inc. | Method and apparatus for selectively integrating sensory content |
| US9934615B2 (en) | 2016-04-06 | 2018-04-03 | Facebook, Inc. | Transition between binocular and monocular views |
| US10257501B2 (en) | 2016-04-06 | 2019-04-09 | Facebook, Inc. | Efficient canvas view generation from intermediate views |
| US9870064B2 (en) | 2016-06-13 | 2018-01-16 | Rouslan Lyubomirov DIMITROV | System and method for blended reality user interface and gesture control system |
| GB2551396B (en) * | 2016-06-17 | 2018-10-10 | Imagination Tech Ltd | Augmented reality occlusion |
| US10147237B2 (en) * | 2016-09-21 | 2018-12-04 | Verizon Patent And Licensing Inc. | Foreground identification for virtual objects in an augmented reality environment |
| US10249096B2 (en) * | 2017-05-17 | 2019-04-02 | International Business Machines Corporation | Mixing virtual image data and physical image data |
| US10357715B2 (en) * | 2017-07-07 | 2019-07-23 | Buxton Global Enterprises, Inc. | Racing simulation |
| CN108037863B (zh) * | 2017-12-12 | 2021-03-30 | 北京小米移动软件有限公司 | 一种显示图像的方法和装置 |
| US11450009B2 (en) * | 2018-02-26 | 2022-09-20 | Intel Corporation | Object detection with modified image background |
| CN108615261B (zh) * | 2018-04-20 | 2022-09-09 | 深圳市天轨年华文化科技有限公司 | 增强现实中图像的处理方法、处理装置及存储介质 |
| EP3599539B1 (en) | 2018-07-26 | 2023-08-23 | Nokia Technologies Oy | Rendering objects in virtual views |
| CN108819607A (zh) * | 2018-08-09 | 2018-11-16 | 陈东生 | 一种新型图案描绘方法 |
| CN110837764B (zh) * | 2018-08-17 | 2022-11-15 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、电子设备及视觉交互系统 |
| KR20200032625A (ko) | 2018-09-18 | 2020-03-26 | 삼성전자주식회사 | 냉장고 및 그의 제어방법 |
| US11353259B2 (en) * | 2018-09-18 | 2022-06-07 | Samsung Electronics Co., Ltd. | Augmented-reality refrigerator and method of controlling thereof |
| WO2020076946A1 (en) * | 2018-10-09 | 2020-04-16 | Google Llc | Selecting augmented reality objects for display based on contextual cues |
| WO2020106299A1 (en) | 2018-11-21 | 2020-05-28 | Hewlett-Packard Development Company, L.P. | Augmenting live images of a scene for occlusion |
| CN110221690B (zh) * | 2019-05-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
| EP3748583A1 (en) * | 2019-06-04 | 2020-12-09 | My Virtual Reality Software AS | Subsurface utility visualization |
| US11107291B2 (en) * | 2019-07-11 | 2021-08-31 | Google Llc | Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes |
| CN111340878B (zh) * | 2020-05-15 | 2021-03-05 | 支付宝(杭州)信息技术有限公司 | 图像处理方法以及装置 |
| US20230351704A1 (en) * | 2020-07-27 | 2023-11-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Computer vision and artificial intelligence method to optimize overlay placement in extended reality |
| US11783550B2 (en) | 2020-09-17 | 2023-10-10 | Apple Inc. | Image composition for extended reality systems |
| US11836871B2 (en) | 2021-03-22 | 2023-12-05 | Apple Inc. | Indicating a position of an occluded physical object |
| CN113419625A (zh) * | 2021-06-16 | 2021-09-21 | 歌尔智能科技有限公司 | Ar设备图像控制方法及系统 |
| CN116860113B (zh) * | 2023-08-16 | 2024-03-22 | 深圳职业技术大学 | 一种xr组合场景体验生成方法、系统及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676953A (zh) * | 2008-08-22 | 2010-03-24 | 奥多比公司 | 自动视频图像分割 |
| CN101853505A (zh) * | 2010-05-13 | 2010-10-06 | 复旦大学 | 一种基于像素扩散的前景提取方法 |
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN102473324A (zh) * | 2009-08-18 | 2012-05-23 | Metaio有限公司 | 用于在真实环境中表示虚拟信息的方法 |
| CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
| CN102591449A (zh) * | 2010-10-27 | 2012-07-18 | 微软公司 | 虚拟内容和现实内容的低等待时间的融合 |
| CN103038771A (zh) * | 2010-02-22 | 2013-04-10 | 耐克国际有限公司 | 增强现实设计系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8139142B2 (en) * | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
| GB201103200D0 (en) * | 2011-02-24 | 2011-04-13 | Isis Innovation | An optical device for the visually impaired |
| US8565520B2 (en) * | 2011-06-10 | 2013-10-22 | Microsoft Corporation | Determining foreground regions and background regions in an image |
-
2013
- 2013-12-06 US US15/102,159 patent/US10186087B2/en not_active Expired - Fee Related
- 2013-12-06 CN CN201380081991.4A patent/CN106104635B/zh not_active Expired - Fee Related
- 2013-12-06 WO PCT/EP2013/075798 patent/WO2015082015A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676953A (zh) * | 2008-08-22 | 2010-03-24 | 奥多比公司 | 自动视频图像分割 |
| CN102473324A (zh) * | 2009-08-18 | 2012-05-23 | Metaio有限公司 | 用于在真实环境中表示虚拟信息的方法 |
| CN103038771A (zh) * | 2010-02-22 | 2013-04-10 | 耐克国际有限公司 | 增强现实设计系统 |
| CN101853505A (zh) * | 2010-05-13 | 2010-10-06 | 复旦大学 | 一种基于像素扩散的前景提取方法 |
| CN102591449A (zh) * | 2010-10-27 | 2012-07-18 | 微软公司 | 虚拟内容和现实内容的低等待时间的融合 |
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN102509343A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015082015A1 (en) | 2015-06-11 |
| CN106104635A (zh) | 2016-11-09 |
| US20160314622A1 (en) | 2016-10-27 |
| US10186087B2 (en) | 2019-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106104635B (zh) | 遮挡增强现实对象 | |
| US9619105B1 (en) | Systems and methods for gesture based interaction with viewpoint dependent user interfaces | |
| KR101857946B1 (ko) | 스크린샷의 생성 | |
| US9852495B2 (en) | Morphological and geometric edge filters for edge enhancement in depth images | |
| US8007110B2 (en) | Projector system employing depth perception to detect speaker position and gestures | |
| US9898844B2 (en) | Augmented reality content adapted to changes in real world space geometry | |
| CN105579946B (zh) | 对由应用产生的共享状态信息进行管理 | |
| US20170372449A1 (en) | Smart capturing of whiteboard contents for remote conferencing | |
| KR20230044401A (ko) | 확장 현실을 위한 개인 제어 인터페이스 | |
| US9911230B2 (en) | Method and apparatus for controlling virtual monitor | |
| CN106485173B (zh) | 敏感信息展示方法和装置 | |
| CN110968187A (zh) | 由外围设备启用的远程触摸检测 | |
| KR20170009979A (ko) | 터치 입력을 위한 방법 및 시스템 | |
| US11914836B2 (en) | Hand presence over keyboard inclusiveness | |
| WO2018090914A1 (zh) | 三维视觉效果模拟方法及装置、存储介质及显示设备 | |
| US20230388109A1 (en) | Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry | |
| US20180150957A1 (en) | Multi-spectrum segmentation for computer vision | |
| Heo et al. | Hand segmentation and fingertip detection for interfacing of stereo vision-based smart glasses | |
| US20140286574A1 (en) | Computer-readable recording medium recording program for image processing, information processing apparatus, information processing system, and image processing method | |
| An et al. | Finger gesture estimation for mobile device user interface using a rear-facing camera | |
| US20230221830A1 (en) | User interface modes for three-dimensional display | |
| US20220353078A1 (en) | Integrating digital content into displayed data on an application layer via processing circuitry of a server | |
| CN117707378A (zh) | 交互方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181127 Address after: Texas, USA Applicant after: HEWLETT-PACKARD DEVELOPMENT Co.,L.P. Address before: Bracknell Applicant before: Aurisma Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190104 |