CN109997173A - 增强现实模型的自动放置 - Google Patents

增强现实模型的自动放置 Download PDF

Info

Publication number
CN109997173A
CN109997173A CN201780053353.XA CN201780053353A CN109997173A CN 109997173 A CN109997173 A CN 109997173A CN 201780053353 A CN201780053353 A CN 201780053353A CN 109997173 A CN109997173 A CN 109997173A
Authority
CN
China
Prior art keywords
model
position candidate
augmented reality
user
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780053353.XA
Other languages
English (en)
Other versions
CN109997173B (zh
Inventor
B·H·尼德哈姆
D·C·威廉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109997173A publication Critical patent/CN109997173A/zh
Application granted granted Critical
Publication of CN109997173B publication Critical patent/CN109997173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种增强现实模型放置设备的实施例可以包括:位置标识器,用于基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;位置排序器,其通信地耦合到所述位置标识器,用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及位置选择器,其通信地耦合到所述位置排序器,用于从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。公开并要求保护了其他实施例。

Description

增强现实模型的自动放置
相关申请的交叉引用
本申请要求于2016年9月30日提交的美国非临时专利申请第15/282,369号的优先权权益。
技术领域
实施例总体上涉及增强现实应用。更具体地,实施例涉及增强现实模型的自动放置。
背景技术
将增强现实(AR)模型放置在三维(3D)场景中可能是相对繁琐或不灵活的过程。在一些AR系统中,用户可能必须手动将AR模型放置在3D场景中,这可能涉及在AR模型被精确地放置在3D场景中适合于AR模型的预期用途或适合于与AR模型交互的位置之前的过度尝试和错误。在一些AR系统中,用于AR模型的放置位置可以绑定到3D场景中的固定目标或对象,这可能限制使用AR模型或与AR模型交互的灵活性。
附图说明
通过阅读以下说明书和所附权利要求书,并且通过参考以下附图,实施例的各种优点对于本领域技术人员将变得显而易见,在附图中:
图1是根据实施例的增强现实系统的示例的框图;
图2是根据实施例的增强现实模型放置设备的示例的框图;
图3A至3C是根据实施例的增强现实模型放置方法的示例的流程图;
图4是根据实施例的空间中AR模型放置的示例的图示;
图5是根据实施例的空间中AR模型放置的另一示例的图示;以及
图6是根据实施例的增强现实系统的另一示例的框图。
具体实施方式
现在转向图1,一种增强现实系统10的实施例可以包括:扫描器11,用于扫描空间以提供所述空间和所述空间内的人和对象的3D模型;模型存储设备12,其通信地耦合到所述扫描器11,用于存储所述3D模型并且存储AR模型(例如,所述AR模型包括放置约束);位置标识器13,其通信地耦合到所述模型存储设备12,用于(例如,基于所述3D模型、所述AR模型和所述放置约束)标识所述空间中用于所述AR模型的一个或多个候选位置;位置排序器14,其通信地耦合到所述位置标识器13,用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;位置指示器15,其通信地耦合到所述位置排序器14,用于基于所指派的相应排序来(例如,向用户)指示所标识的候选位置中的一个或多个;以及位置选择器16,其通信地耦合到所述位置排序器14和所述位置指示器15,用于选择所述空间中用于所述AR模型的放置位置。增强现实系统10的一些实施例可以进一步包括:AR场景渲染器17,其通信地耦合到所述位置指示器15和所述位置选择器16,用于渲染AR场景以在所指示的候选位置中的每一个处呈现所述AR模型。例如,位置选择器16可以被进一步配置为基于与用户的交互来选择空间中用于AR模型的放置位置。扫描器11还可以通信地耦合到其他系统组件,如例如位置标识器13、位置排序器14和/或位置指示器15(例如,用于跟踪空间中的移动或变化)。
在增强现实系统10的一些实施例中,用于3D模型中候选位置的放置排序标准可以包括例如以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
在AR系统10的一些实施例中,扫描器11可以包括机器视觉系统或者是机器视觉系统的一部分。例如,扫描器11可以包括用于对空间中的对象进行分割、标识、分类和/或以其他方式标识的对象标识和/或图像标识技术。例如,扫描器11可以能够标识空间中的平面表面。扫描器11还可以能够将相关表面分组在一起并将所分组表面标识为诸如桌子、柜子、椅子、凳子等对象。3D模型可以被标记或者包括与所标识的表面或物体相对应的元数据。另外或替代性地,用户可以能够处理3D模型以将表面分组在一起作为对象和/或用元数据来标记表面和/或对象,以便随后帮助对放置位置进行排序/选择。
例如,上述模型存储设备12、位置标识器13、位置排序器14、位置指示器15、位置选择器16、AR场景渲染器17以及系统10的其他组件中的每一个都可以采用硬件、软件或其任何组合来实现。例如,硬件实施方式可以包括如例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等可配置逻辑,或者采用使用如例如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术等电路技术的固定功能逻辑硬件,或其任何组合。替代性地或另外地,这些组件可以在作为存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等机器或计算机可读存储介质中的有待由处理器或计算装置执行的一组逻辑指令的一个或多个模块中实施。处理器或计算装置可以包括例如通用处理器、中央处理单元(CPU)、专用处理器和/或图形处理单元(GPU)的任何组合。例如,用于实施这些部件的操作的计算机程序代码可用一种或多种操作系统可适用/合适的编程语言(包括比如JAVA、JAVASCRIPT、PYTHON、SMALLTALK、C++等面向对象的编程语言)和常规程序编程语言(比如,“C”编程语言或类似的编程语言)的任何组合来撰写。
现在转向图2,一种增强现实模型放置设备20的实施例可以包括:位置标识器21,用于(例如,基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束)标识所述3D模型中用于所述AR模型的一个或多个候选位置;位置排序器22,其通信地耦合到所述位置标识器21,用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及位置选择器23,其通信地耦合到所述位置排序器22,用于从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。增强现实模型放置设备20可以进一步包括:位置指示器24,其通信地耦合到位置排序器22,用于基于所指派的相应排序来(例如,向用户)指示所标识的候选位置中的一个或多个。在一些实施例中,所述放置排序标准的用户设置或其他方面可以有效地利用空排序情况引起绕过位置排序器22,在所述空排序情况中,所有标识的候选位置未被排序或有效地相等排序并且作为所指示的候选位置被位置指示器24指示给用户。
例如,位置指示器24可以被进一步配置为提供视觉指示、音频指示或触觉反馈指示中的一个或多个,以基于所指派的相应排序来指示所标识的候选位置中的一个或多个。位置指示器24还可以被进一步配置为基于指定阈值来限制所指示的候选位置的数量和/或基于与用户的交互来调整所指示的候选位置。
增强现实模型放置设备20的一些实施例可以进一步包括:AR场景渲染器25,其通信地耦合到所述位置指示器24和所述位置选择器23,用于渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型。例如,位置选择器23可以被进一步配置为基于与用户的交互从所指示的(例如,视觉呈现的)候选位置中选择用于AR模型的放置位置。用于3D模型中候选位置的放置排序标准可以包括例如以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
例如,上述位置标识器21、位置排序器22、位置选择器23、位置指示器24、AR场景渲染器25以及设备20的其他组件中的每一个都可以采用硬件、软件或其任何组合来实现。例如,硬件实施方式可以包括如例如PLA、FPGA、CPLD等可配置逻辑,或者采用使用如例如ASIC、CMOS或TTL技术等电路技术的固定功能逻辑硬件,或其任何组合。替代性地或另外地,这些组件可以在作为存储在如RAM、ROM、PROM、固件、闪存等机器或计算机可读存储介质中的有待由处理器或计算装置执行的一组逻辑指令的一个或多个模块中实施。例如,用于实施这些部件的操作的计算机程序代码可用一种或多种操作系统可适用/合适的编程语言(包括比如JAVA、JAVASCRIPT、PYTHON、SMALLTALK、C++等面向对象的编程语言)和常规程序编程语言(比如,“C”编程语言或类似的编程语言)的任何组合来撰写。
现在转向图3A至图3C,增强现实模型放置方法30的实施例可以包括:在框31处,基于3D模型、AR模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;在框32处,基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及在框33处,从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。方法30还可以包括:在框34处,基于所指派的相应排序来(例如,向用户)指示所标识的候选位置中的一个或多个。
例如,方法30的一些实施例可以进一步包括:在框35处,提供所标识的候选位置的视觉指示、音频指示或触觉反馈指示中的一个或多个。方法30还可以包括:在框36处,基于指定阈值来限制所指示的候选位置的数量;和/或在框37处,基于与用户的交互来调整所指示的候选位置。
方法30的一些实施例可以进一步包括:在框38处,渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型;以及在框39处,基于与用户的交互从所指示的候选位置中选择用于AR模型的放置位置。例如,在框40处,用于3D模型中候选位置的放置排序标准可以包括以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
方法30通常可以在已经讨论过的如例如增强现实系统10(参见图1)或增强现实模型放置设备20(参见图2)等设备中实现。更具体地,方法30可以作为逻辑指令集在一个或多个模块中实施,所述逻辑指令集存储在机器或计算机可读存储介质中(如RAM、ROM、PROM、固件、闪存等)、在可配置逻辑中(如例如,PLA、FPGA、CPLD)、在使用电路技术(如例如,ASIC、CMOS或TTL技术或其任何组合)的固定功能逻辑硬件中。例如,用于执行方法30中所示操作的计算机程序代码可用一种或多种操作系统可适用/合适的编程语言(包括比如JAVA、JAVASCRIPT、PYTHON、SMALLTALK、C++等面向对象的编程语言)和常规程序编程语言(比如,“C”编程语言或类似的编程语言)的任何组合来撰写。例如,方法30的实施例可以被实施为如下文的示例18至示例24中所描述的至少一个计算机可读介质。
在增强现实系统的实施例中,用户可能想要与感兴趣对象的比例AR模型交互,所述比例AR模型看起来像是如物理对象将被定位在空间中那样被定位。例如,AR模型可以搁置在(或附接到)附近的平坦表面上。在用户四处移动以获得AR模型的不同视图并与AR模型交互时,AR模型可以相对于此表面保持在固定位置中。例如,用户可以携带诸如智能手机或平板计算机等AR显示装置,或者可以具有头戴式可穿戴显示器,诸如眼镜或虚拟现实头戴式显示设备。在传统的AR系统中,手动选择表面以锚定AR模型可能涉及耗时的反复试验过程,其使得用户分散了他们使用模型的目标。为了产生令人信服的AR体验,所选择的表面应该包含用于放置AR模型的场所,这个场所具有适当大小的空间、相对不那么杂乱、并且位于适于交互的距离和高度处。此外,如果多个共处一地的人要体验共同的AR模型,就好像它是在他们的物理空间中的物理对象一样,那么AR模型必须看起来位于所有人都可以物理访问的表面上。有利地,增强现实系统的一些实施例可以基于一组预先指定的约束来自动呈现一组附近的物理位置以用于锚定AR模型。一些实施例可以可选地将AR模型放置在来自此组场所的、默认的最适合候选位置(例如,基于指派给此候选位置的排序)。
现在转向图4,通过说明性示例可以更好地理解一些实施例。举一个示例,医院校准实验室技术人员站在杂乱的实验室区域,并希望与特定模型患者自控镇痛(PCA)装置的AR模型进行交互,例如,从而了解在真实装置满足在医院中使用的条件之前如何对其进行校准。实验室技术人员可能会戴上一副AR眼镜并说“OK,Cal,给我看一下要校准的PCAModel 3”。AR系统可以自动提供AR交互位置或自动提供候选位置的选择(例如,基于一组标准)。例如,AR眼镜可以在实验室空间中的三个位置中显示装置的暗淡图像。可以在桌子42上的第一候选位置处呈现第一AR模型41,此第一候选位置靠近实验室技术人员站在的位置。可以在距离上可移动的桌子44上的第二候选位置处呈现第二AR模型43。可以在凳子46上的第三候选位置处呈现第三AR模型45。桌子47可能不会被指示为候选位置,因为桌子47上的空间不足或太过杂乱(例如,或者可能未被排序足够高供指示)。每个排序较高的候选放置位置可以被突出显示,可以闪烁,或者可以具有其他注释以将它们清楚地标记为选项。
现在转向图5,AR系统的实施例的示例可以替代性地或另外地呈现附加视觉信息以指示用于AR模型的候选位置。例如,箭头可以指向空间的可见区域中的候选位置,并且还指示了在实验室技术人员的当前视图之外的其他候选位置。第一箭头51可以指向第一AR模型52,并且箭头51可以用“1”来标记,以指示排序最高的位置。第二箭头53可以指向第二AR模型54,并且箭头53可以用“2”来标记,以指示下一个排序最高的位置。第三箭头55可以指向第三AR模型56,并且箭头55可以用“3”来标记,以指示排序第三高的位置。
指示不一定必须施加在这些候选位置中的位置处。指示可以指示用户视图之外的位置。例如,另一箭头57可以不指向任何特定AR模型或候选位置,而是指向指示技术人员可以寻找其他候选位置的地方的方向(例如,在实验室技术人员的当前视图之外)。箭头57可以包括诸如“更多”等标签以帮助指导技术人员。另外或替代性地,声音或触觉反馈指示可帮助导航到候选位置。例如,更快的嘟嘟声或音调的改变可以指示用户何时接近了好的候选项(例如,当用户转头时,或利用凝视跟踪时)。在一些实施例中,音频指示可以是局部的(例如,立体声指示可以在左耳中发出嘟嘟声以指示左侧的位置)。在一些实施例中,空间中的环绕声系统可以在用户后方、上方或下方创建声音(例如,合成语音模块可以说“看这里”)。导航触觉反馈对于听力受损用户可能特别有用。
然后,在上述任一示例中,实验室技术人员可以用他们的手指指向候选位置并说出“那一个”。此时,其他两个候选AR图像可以消失,并且可以将所选候选位置处的AR模型升级或增强为全彩色交互式AR模型。替代性地,AR系统的实施例可以被配置为仅显示和自动选择排序最高(最适合)的候选项。在这个示例中,响应于实验室技术人员说“OK,Cal,给我看一下要校准的PCA Model 3”,AR系统将立即将AR模型锚定到排序最高的位置(例如候选位置1),从而消除了实验室技术人员选择位置的需要。然后,用户可以说“不在那里,在其他地方”,并且使系统示出下一个排序最高的位置。在这些示例中的任一个示例中,AR系统的实施例有利地消除了实验室技术人员使用反复试验来明确选择和表达放置AR模型的位置的需要,从而减少了开始使用AR模型工作的时间。
与AR模型放置被过度约束到特定位置、特定视觉目标或特定对象的传统AR系统相比,例如,一些实施例的另一个好处是AR模型放置非常灵活并且适用于改变的空间。AR系统的一些实施例可以减少或消除放置AR模型所需的时间和精力,同时还能够实现放置AR模型的丰富方法,从而使用户能够专注于计划任务而不会被选择放置位置的行为分心。
现在转向图6,增强现实系统60的实施例可以包括:房间扫描器61,用于扫描房间以提供房间和房间内的人和对象的3D模型;以及3D模型存储设备62,其通信地耦合到房间扫描器61以存储3D模型。AR模型存储设备63可以存储一个或多个AR模型。例如,AR模型可以包括放置约束。用户64可以与AR系统60交互,并且这种交互可以由用户输入模块65捕获/处理。基于用户输入,模型检索模块66可以从AR模型存储设备63中检索所选择的要显示的AR模型67。AR系统60可以进一步包括:位置标识模块68,其耦合到3D模型存储设备62和要显示的AR模型67,用于(例如,基于对房间的3D模型、AR模型和放置约束的3D分析)标识房间中用于AR模型的一个或多个候选位置。
位置排序模块69可以通信地耦合到位置标识模块68,用于基于放置排序标准对所述一个或多个标识的候选位置进行排序。位置选择模块70可以通信地耦合到位置排序模块69,用于选择房间中用于AR模型的放置位置。位置选择模块70还可以通信地耦合到用户输入模块65,用于基于与用户64的交互来选择放置位置。位置指示模块71通信地耦合到位置选择模块70,用于基于所指派的相应排序(例如,以及基于与用户64的交互)来(例如,向用户)指示所标识的候选位置中的一个或多个。增强现实系统60的一些实施例可以进一步包括:AR显示装置72,其通信地耦合到所述位置指示模块71和所述要显示的AR模型67,用于呈现AR场景,所述AR场景包括在所指示的候选位置中的每一个处视觉地呈现的所述AR模型。
在系统60的一些实施例中,房间扫描器61可以包括一个或多个3D相机、一个或多个深度相机和/或一个或多个二维(2D)相机、接近传感器、激光器、超声波测距仪、以及用于开发房间的3D模型的其他传感器或装置的任何组合。例如,房间扫描器61可以包括一个或多个INTEL REALSENSE相机。例如,系统60的一些实施例可以利用同时定位和映射(SLAM)算法来相对于一个或多个相机或传感器映射空间的3D模型。尽管结合房间空间描述了系统60,但是系统60的其他实施例也可以应用于室外或其他空间。
在系统60的一些实施例中,可以从模型存储设备中预处理或检索空间的3D模型的全部或一部分。例如,空间可以具有固定的家具、柜台、设备等,其不需要实时扫描。可以为空间的3D模型提供空间的3D计算机辅助设计(CAD)模型。例如,3D CAD模型可以用作房间扫描器61进行附加机器视觉处理的起始点以进行补充。另外或替代性地,用户64(或先前用户)可以处理3D模型以在扫描时标识对象,这些对象稍后可以帮助作出放置排序决定。
实时扫描可以是AR系统60的一些实施例的重要组成部分,然而,可以开发或提供3D模型,以考虑环境的变化。例如,空间随时间变化,家具被移动,杂乱出现/被清除等。空间/房间照明也可能改变并可能影响排序或放置决定。例如,对于与不同AR模型的交互,可以优选在完全太阳下的位置或阴影中的位置(或者采光好的位置对比较暗的位置)。对象或区域的表观颜色可能影响排序/放置决策。例如,表观颜色可能随着光线而变化,并且可能影响该位置中的AR模型的可见性或对比度。例如,如果用户想要与AR锁交互,则物理手柄/闩锁是处于打开位置还是闭合位置会影响交互。实时扫描可以提供这种类型的信息。
在系统60的一些实施例中,3D模型存储设备62和AR模型存储设备63可以包括易失性存储器和非易失性存储器的任何组合。类似地,要显示的AR模型67可以存储在易失性和非易失性存储器的任何组合中。AR模型存储设备还可以包括服务器或云存储装置、或者从其中检索到要显示的AR模型的云服务。例如,AR模型可以包括物理装置或对象的交互式CAD模型或者可以是从所述交互式CAD模型中导出的。
在系统60的一些实施例中,用户输入模块65可以包括一个或多个3D相机、一个或多个深度相机、一个或多个二维(2D)相机、接近传感器、激光器、超声波测距仪、以及用于捕获和处理与用户64的交互的其他传感器或装置的任何组合。例如,用户输入模块65可以包括一个或多个INTEL REALSENSE相机。在一些实施例中,用户输入模块65可以与房间扫描器61共享组件。用户输入模块支持的交互模式的非限制性示例可以包括键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式中的一种或多种。
在系统60的一些实施例中,AR显示装置72可以包括头戴式可穿戴装置,如AR眼镜(例如DAQRI SMART HELMET)或AR头戴式显示设备。合适的AR显示装置72的另一个示例包括移动电话或平板计算机。例如,可以在AR显示装置72处执行AR场景渲染。另外或替代性地,可以在计算装置上执行AR场景渲染,所述计算装置无线地耦合到AR显示装置72以将预处理的AR场景流式传输到AR显示装置72。
在系统60的一些实施例中,模型检索模块66可以包括用户界面,用户64可以与所述用户界面交互以选择感兴趣的AR模型。一旦用户选择了要显示的AR模型,模型检索模块66就可以从AR模型存储设备63中检索AR模型并使所述AR模型可用作要显示的AR模型67。
在系统60的一些实施例中,位置标识模块68可以对房间的3D模型执行分析以标识用于AR模型的候选位置。在扫描之后,3D模型可以包括房间中的表面的数字表示,其包括多边形的3D坐标(例如,X、Y和Z坐标)。例如,3D模型可以包括在扫描时找到的表面的位置、取向、尺寸和特征。位置标识模块68可标识3D模型中具有用于适用于放置AR模型的尺寸和取向的表面。例如,位置标识模块68可以将AR模型的占用面积的大小与3D模型中水平表面的大小进行比较,以标识候选位置。位置标识模块68还可以确定AR模型的高度/宽度/深度,并比较3D模型中的其他表面的位置,以确定是否存在对AR模型的任何干扰。所标识的候选位置还可以包含AR模型的比例和方向规范。例如,候选位置还可以指示AR模型的前部应指向a)用户,或指向b)与其所在表面相对准(例如,使其与桌子对齐)。在任何情况下,标识的候选位置可以包括坐标位置(例如,AR模型的推荐的X、Y、Z锚定点)、取向(例如,AR模型的推荐的俯仰、偏航、滚动——即,沿着X轴、Y轴和Z轴旋转)、以及AR模型的推荐比例(1.0适用于真人大小,较小的数字使用“娃娃屋”样式AR,较大的数字进行交互,就像用户和房间较小一样)。AR模型推荐信息可以独立于关于候选位置本身的位置/取向信息。
AR模型还可以包括诸如附加间隙要求之类的约束(例如,针对AR模型上的门或面板,用于访问端口等)。一些实施例可以将候选位置与用户偏好进行比较(例如,用于排序/消除)。分析可以进一步对连接的表面进行分组并利用元数据(例如桌子、椅子、计数器等)对标签表面执行对象标识。其他特征可以包括表面纹理(例如平面、柔软、柔性、杂乱等)。3D模型可以从头开始构建,或者3D模型可以被提供和加载。可以对3D模型进行后处理以添加元数据(例如,用户可以使用附加信息标记3D模型中的表面/结构)。
预先指定的放置约束可以包括典型或所需的放置位置,例如地板、天花板、墙壁、桌子和/或平坦表面。附加的预先指定的约束可以包括占用面积或表面积、高度、宽度深度、固定位置和/或可移动位置。放置约束还可以包括访问模型(例如,正面和背面)、优选间隙(例如门打开)、正常安装(例如水平/垂直、桌子、墙壁、天花板等)、稳定性要求、高度等。在一些实施例中,用户可以改写放置约束。例如,AR模型可以与约束相反放置(例如,对于操作而言不是最佳的),以在放置在AR模型的最终位置之前与之交互(例如,在安装之前检查桌上的吊扇)。
在系统60的一些实施例中,位置排序模块69可以使用物理空间的3D模型(例如,包括用户)、AR模型和用户设置来创建放置AR模型的排序的一组可能位置。例如,位置排序模块69可以基于多个标准的加权对来自位置标识模块68的所标识的候选位置进行排序或评分。一些标准可以是绝对的(例如,缺少标准消除了位置)或相对于其他标准加权。有利地,一些实施例可以允许丰富和意料之外的标准,其解决了在何处放置AR模型以供用户与之交互的问题,并且帮助引导用户选择放置位置。
放置排序标准的一个示例可以包括标记的位置。例如,实验室可以具有指派用于与AR模型交互的空间,并且此空间可以用诸如QR码、条形码或其他机器可读符号等视觉标签来标记。放置目标也可能是UV或IR目标,这些目标可能对人们不可见,但是仍然可能是机器可读的。
放置排序标准的另一示例可以包括明确配置的位置。用户可以具有个人配置,其指定在此空间中提供的(多个)确切位置或标准的个人权重,例如优选水平的面向上的表面(例如,桌子)到垂直的(墙壁)或水平的面向下的表面(天花板)。
放置排序标准的另一示例可以包括基于过去交互的常用位置。例如,如果此实验室技术人员通常与实验室中桌面上的AR模型进行交互,则此区域的排序可能高于其他位置。
放置排序标准的另一个示例可以包括水平或垂直空间,其是平坦的并且没有杂乱会干扰AR体验。例如,桌子或墙壁上的空白区域。房间扫描器61可以标识杂乱为在否则平坦表面上的干扰(例如,杂乱可能破坏平坦表面)。
放置排序标准的另一示例可以包括位置的稳定性(例如,稳定位置对比移动位置)。在一个示例中,如果位置在被房间扫描器61捕获时或者在被位置排序模块69评估时在移动,则可以将位置标识为移动场所。另一个示例包括更复杂的算法,如机器视觉或图像标识,其可以标识可能移动的场所,如椅子或凳子的顶部。
放置排序标准的另一示例可以包括与用户的接近度。较近的位置(如图5中的候选位置1)可以优于相距更远的位置(如图5中的候选位置2)。
放置排序标准的另一示例可以包括对用户的可见性。用户前面的位置可能比用户后面的位置权重更大。
放置排序标准的另一示例可以包括提供物理交互的位置。例如,站立时在前臂高度的位置可能优于在天花板附近或地板上的位置。
放置排序标准的另一示例可以包括协作可见或可访问的位置。给定意图同时与AR模型交互的第二或第三用户,位置排序模块69可以支持对所有用户可见和/或在所有用户可及范围内的位置。
放置排序标准的另一示例可以包括没有可见中断的位置。在美学上,用户可能更喜欢AR模型看起来没有穿过背景中的接缝,例如黑板、白板或墙壁上绘画的边缘。
放置排序标准的另一示例可以包括位置的语义/环境属性。例如,用户可能更喜欢远离阳光的AR交互位置、远离房间中的交通流量、靠近电源插头(用于用真实装置替换AR模型)、干燥位置对比潮湿位置(例如,不在水槽里)。语义适用于位置的含义(例如,除了它在那里之外的含义)和/或模型中对象的定义方面。例如,在陶瓷头骨顶部的蜡烛的AR模型的候选位置可能在10月份排序较高(例如,对于万圣节)。例如,水面可以被认为是平坦的,但是不能容纳比水重的任何东西。如果对象被标识为水族箱,则对于大多数AR模型,顶部表面可以排序较低(例如,但是对于玩具船的AR模型可能排序较高)。放置排序标准可以包括房间中的对象(例如,一摞书)的物理建模。如果AR模型对应于相对较重的物理装置,则位置排序模块69可以将较低排序给予较不稳定的表面(例如,这一摞书得到较低排序)。虽然使用AR模型可能对选择位置没有任何害处,因此用户仍然可以选择水族箱的顶部(例如,取决于交互点——最终放置物理模型或仅与AR模型交互)。
在系统60的一些实施例中,位置选择模块70可以简单地选择排序最高的位置或者可以与用户64交互以以使用户64能够从一组所指示的候选位置中选择一个位置。例如,位置选择模块70可以可选地包括用于将用户64引导到当前不可见位置的界面,例如用户64后面的候选位置。
在系统60的一些实施例中,位置指示模块71可以提供可以是低保真度(例如,低对比度)的初始视觉指示。在一些实施例中,取决于可用的计算资源,初始指示可以是更简单或更粗糙的AR模型。
在另一个说明性示例中,用户可以走进具有插着花的花瓶的空间。可以向用户呈现用于花瓶的多个可能位置,在环境中排序。计算上排序高的位置可以与非常规位置一起呈现,这可能最终在美学上令人愉悦并且引导用户选择较低排序的位置。例如,窗台可能比花瓶窄,这降低了它的排序,但是门槛可能足够宽以便在充足的阳光下稳定。可以呈现多个选项,包括较低排序,以便用户可以选择(有利地,用户可以快速地可视化许多位置而无需反复试验)。
根据一些实施例,AR系统可以包括要放置的模型之间的不同选项。例如,用户可以具有四个不同的花瓶。一些实施例可以示出一个候选位置中的一个花瓶和不同候选位置中的不同花瓶。花瓶可能有不同的颜色选项。一些实施例可以在一个位置示出红色花瓶而在另一个位置示出蓝色花瓶(例如,基于照明或美学)。
在另一个说明性示例中,用户可能想要玩AR玩具或动作人物。用户可能具有较大的(例如AR城堡)和较小的(例如AR超级英雄)。一些实施例可以示出空间中与每个/任一个一起玩的区域的多个选项。例如,AR城堡可以显示在桌子或地板上,而AR超级英雄可以显示在许多较小的空间中。可以基于排序的组合来呈现选项。例如,最高排序可以是地板上的AR城堡,第二排序可以是沙发上的AR超级英雄。最终,用户决定选择哪个。
在另一个说明性示例中,一件实验室设备可以是壁挂式、桌面式或移动式选项。每个选项可以显示在相同的空间中以供用户与之交互和评估。候选位置排序可以基于可用模型(例如,来自分组或组)、以及这些模型的合适位置。
在另一个说明性示例中,AR模型的操作方面可以基于用户交互来触发。例如,在几个候选位置处同时打开几个AR灯可能没有帮助。在一些实施例中,AR灯最初可以处于OFF状态。使用凝视跟踪或手势标识,仅用户选择(例如,通过观察或指向它)的灯的AR模型可以变得可操作,使得还示出了来自AR灯的光投射图案的附加建模。类似地,动画AR模型可以以静态显示,仅在用户已选择它时才开始运动。例如,直升机的AR模型可能具有在用户观看时开始旋转的刀片。在选择放置位置之前,用户可以轮流尝试候选位置中的AR模型。
在一些实施例中,用户界面可以包括预设各种设置并随后调整那些设置以改善用户体验的能力。例如,用户可以增大/减小各种显示/排序阈值,使得用户不会被候选项淹没。最初,一些实施例可以示出前N个(用户可选择的)候选位置,然后在用户指示时显示下一个集合。例如,用户界面可以包括用于调整排序类别的滑动条,并且用户交互可以影响指示哪些位置(例如,滑动条用于接近度、稳定性、美观性等)。
附加说明和示例:
示例1可以包括一种增强现实系统,其包括:扫描器,用于扫描空间以提供所述空间和所述空间内的人和对象的三维(3D)模型;模型存储设备,其通信地耦合到所述扫描器,用于存储所述3D模型并且存储增强现实(AR)模型,所述AR模型包括放置约束;位置标识器,其通信地耦合到所述模型存储设备,用于基于所述3D模型、所述AR模型和所述放置约束来标识所述空间中用于所述AR模型的一个或多个候选位置;位置排序器,其通信地耦合到所述位置标识器,用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;位置指示器,其通信地耦合到所述位置排序器,用于基于所指派的相应排序来指示所标识的候选位置中的一个或多个;以及位置选择器,其通信地耦合到所述位置排序器和所述位置指示器,用于从所述一个或多个标识的候选位置中选择所述空间中用于所述AR模型的放置位置。
示例2可以包括如示例1所述的增强现实系统,进一步包括:AR场景渲染器,其通信地耦合到所述位置指示器和所述位置选择器,用于渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型,其中,所述位置选择器进一步用于基于与用户的交互从所述所指示的候选位置中选择所述空间中用于所述AR模型的所述放置位置。
示例3可以包括如示例1至2中任一项所述的增强现实系统,其中,用于所述3D模型中的候选位置的所述放置排序标准包括以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
示例4可以包括一种增强现实模型放置设备,其包括:位置标识器,用于基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;位置排序器,其通信地耦合到所述位置标识器,用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及位置选择器,其通信地耦合到所述位置排序器,用于从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。
示例5可以包括如示例4所述的增强现实模型放置设备,进一步包括:位置指示器,其通信地耦合到所述位置排序器,用于基于所指派的相应排序来指示所标识的候选位置中的一个或多个。
示例6可以包括如示例5所述的增强现实模型放置设备,其中,所述位置指示器进一步用于提供视觉指示、音频指示或触觉反馈指示中的一个或多个,以基于所述所指派的相应排序来指示所述所标识的候选位置中的一个或多个。
示例7可以包括如示例5至6中任一项所述的增强现实模型放置设备,进一步包括:AR场景渲染器,其通信地耦合到所述位置指示器和所述位置选择器,用于渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型,其中,所述位置选择器进一步用于基于与用户的交互从所述所指示的候选位置中选择所述空间中用于所述AR模型的所述放置位置。
示例8可以包括如示例4至7中任一项所述的增强现实模型放置设备,其中,用于所述3D模型中的候选位置的所述放置排序标准包括以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
示例9可以包括如示例5至8中任一项所述的增强现实模型放置设备,其中,所述位置指示器进一步用于基于指定阈值来限制所指示的候选位置的数量。
示例10可以包括如示例5至9所述的增强现实模型放置设备,其中,所述位置指示器进一步用于基于与用户的交互来调整所指示的候选位置。
示例11可以包括一种增强现实模型放置方法,其包括:基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。
示例12可以包括如示例11所述的增强现实模型放置方法,进一步包括:基于所指派的相应排序来指示所标识的候选位置中的一个或多个。
示例13可以包括如示例12所述的增强现实模型放置方法,进一步包括:提供所述所标识的候选位置的视觉指示、音频指示或触觉反馈指示中的一个或多个。
示例14可以包括如示例12至13中任一项所述的增强现实模型放置方法,进一步包括:渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型;以及基于与用户的交互从所述所指示的候选位置中选择用于所述AR模型的所述放置位置。
示例15可以包括如示例11至14中任一项所述的增强现实模型放置方法,其中,用于所述3D模型中的候选位置的所述放置排序标准包括以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
示例16可以包括如示例12至15中任一项所述的增强现实模型放置方法,进一步包括:基于指定阈值来限制所指示的候选位置的数量。
示例17可以包括如示例12至16所述的增强现实模型放置方法,进一步包括:基于与用户的交互来调整所指示的候选位置。
示例18可以包括至少一种计算机可读介质,包括一组指令,所述指令在被计算装置执行时使得所述计算装置:基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。
示例19可以包括如示例18所述的至少一种计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置基于所指派的相应排序来指示所标识的候选位置中的一个或多个。
示例20可以包括如示例19所述的至少一个计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置提供所标识的候选位置的视觉指示、音频指示或触觉反馈指示中的一个或多个。
示例21可以包括如示例19至20中任一项所述的至少一种计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置:渲染AR场景以在所指示的候选位置中的每一个处呈现所述AR模型;并且基于与用户的交互从所述所指示的候选位置中选择用于所述AR模型的所述放置位置。
示例22可以包括如示例18至21中任一项所述的至少一种计算机可读介质,其中,用于所述3D模型中的候选位置的所述放置排序标准包括以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
示例23可以包括如示例19至22中任一项所述的至少一种计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置基于指定阈值来限制所指示的候选位置的数量。
示例24可以包括如示例19至23中任一项所述的至少一种计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置基于与用户的交互来调整所指示的候选位置。
示例25可以包括一种增强现实模型放置设备,其包括:用于基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置的装置;用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序的装置;以及用于从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置的装置。
示例26可以包括如示例25所述的增强现实模型放置设备,进一步包括:用于基于所指派的相应排序来指示所标识的候选位置中的一个或多个的装置。
示例27可以包括如示例26所述的增强现实模型放置设备,进一步包括:用于提供所述所标识的候选位置的视觉指示、音频指示或触觉反馈指示中的一个或多个的装置。
示例28可以包括如示例26至27中任一项所述的增强现实模型放置设备,进一步包括:用于渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型的装置;以及用于基于与用户的交互从所述所指示的候选位置中选择用于所述AR模型的所述放置位置的装置。
示例29可以包括如示例25至28中任一项所述的增强现实模型放置设备,其中,用于所述3D模型中的候选位置的所述放置排序标准包括以下各项中的一项或多项:所述候选位置与用于所述AR模型的先前选择的放置位置相匹配、所述候选位置与放置约束相匹配、所述候选位置与用户偏好相匹配、所述候选位置的稳定性、所述候选位置与用户的接近度、所述候选位置对用户的可见性、所述候选位置对用户的可访问性、所述候选位置对多个用户的可访问性、相对于所述候选位置处的所述AR模型的可见中断、或所述候选位置的环境属性。
示例30可以包括如示例26至29中任一项所述的增强现实模型放置设备,进一步包括:用于基于指定阈值来限制所指示的候选位置的数量的装置。
示例31可以包括如示例26至30所述的增强现实模型放置设备,进一步包括:用于基于与用户的交互来调整所述所指示的候选位置的装置。
实施例适用于所有类型的半导体集成电路(“IC”)芯片。这些IC芯片的示例包括但不限于:处理器、控制器、芯片组部件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片、片上系统(SoC)、SSD/NAND控制器ASIC等。另外,在一些附图中,利用线条表示信号导体线。一些线条可以是不同的以指示更多组成的信号路径,具有数字标记以指示组成的信号路径的编号和/或在一端或多端具有箭头以指示主要信息流方向。然而,这不应当以限制的方式进行解释。相反,可结合一个或多个示例性实施例来使用这种附加细节,以便于更容易理解电路。不管是否具有附加的信息,任何所表示的信号线都可实际包括可在多个方向上行进的一个或多个信号,并且可用任何合适类型的信号方案来实施,例如用差分对实施的数字或模拟线、光纤线和/或单端线。
可能已经给出了示例大小/模型/值/范围,但是实施例不限于此。随着制造技术(例如,光刻)随时间推移而成熟,预计可以制造出更小尺寸的器件。另外,至IC芯片和其他部件的众所周知的功率/接地连接在图中可被示出或可未被示出,这是出于展示和讨论的简单性起见和以便不使实施例的某些方面模糊。此外,可以以框图的形式示出一些安排,以便避免使实施例模糊,并且也是考虑到关于这样的框图安排的实施方式的细节高度取决于内部待实施实施例的这一事实,即这样的细节应很好地在本领域技术人员的权限内。在陈述了特定的细节(例如,电路)以便描述示例性实施例的情况下,本领域技术人员应显而易见的是,可以在没有这些特定细节或具有这些特定细节的变型的情况下实践实施例。因此,本说明书将被视为说明性的而非限制性的。
此处使用的术语“耦合”是指讨论部件之间的任何类型的关系,直接的或间接的,并且可以应用于电的、机械的、流体的、光学的、电磁的、电动机械的或其他连接。此外,此处使用的术语“第一”,“第二”等只促进讨论,除非另外指明,其不带有特殊的时间或级别意义。
如在本申请和权利要求书中所使用的,由术语“中的一项或多项”联接的一系列项目可意指所列术语的任何组合。例如,短语“A、B或C中的一个或多个”可意指A;B;C;A和B;A和C;B和C;或A、B和C。
本领域技术人员将从以上描述中领会到,实施例的宽泛技术可以以各种形式实施。因此,虽然已经结合其特定示例描述了这些实施例,但是实施例的实际范围不应由此受限,因为其他的修改在本领域技术人员学习了附图、说明书和所附权利要求之后就将变得显而易见。

Claims (24)

1.一种增强现实模型放置设备,包括:
位置标识器,用于基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;
位置排序器,其通信地耦合到所述位置标识器,用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及
位置选择器,其通信地耦合到所述位置排序器,用于从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。
2.如权利要求1所述的增强现实模型放置设备,进一步包括:
位置指示器,其通信地耦合到所述位置排序器,用于基于所指派的相应排序来指示所标识的候选位置中的一个或多个。
3.如权利要求2所述的增强现实模型放置设备,其中,所述位置指示器进一步用于提供视觉指示、音频指示或触觉反馈指示中的一个或多个,以基于所指派的相应排序来指示所标识的候选位置中的一个或多个。
4.如权利要求2至3中任一项所述的增强现实模型放置设备,进一步包括:
AR场景渲染器,其通信地耦合到所述位置指示器和所述位置选择器,用于渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型,
其中,所述位置选择器进一步用于基于与用户的交互从所指示的候选位置中选择用于所述AR模型的所述放置位置。
5.如权利要求2至3中任一项所述的增强现实模型放置设备,其中,所述位置指示器进一步用于基于指定阈值来限制所指示的候选位置的数量。
6.如权利要求2至3中任一项所述的增强现实模型放置设备,其中,所述位置指示器进一步用于基于与用户的交互来调整所指示的候选位置。
7.一种增强现实模型放置方法,包括:
基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;
基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及
从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。
8.如权利要求7所述的增强现实模型放置方法,进一步包括:
基于所指派的相应排序来指示所标识的候选位置中的一个或多个。
9.如权利要求8所述的增强现实模型放置方法,进一步包括:
提供所标识的候选位置的视觉指示、音频指示或触觉反馈指示中的一个或多个。
10.如权利要求8至9中任一项所述的增强现实模型放置方法,进一步包括:
渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型;以及
基于与用户的交互从所指示的候选位置中选择用于所述AR模型的所述放置位置。
11.如权利要求8至9中任一项所述的增强现实模型放置方法,进一步包括:
基于指定阈值来限制所指示的候选位置的数量。
12.如权利要求8至9中任一项所述的增强现实模型放置方法,进一步包括:
基于与用户的交互来调整所述所指示的候选位置。
13.至少一种计算机可读介质,包括一组指令,所述指令在被计算装置执行时使得所述计算装置:
基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置;
基于放置排序标准向所述一个或多个标识的候选位置指派相应排序;以及
从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置。
14.如权利要求13所述的至少一种计算机可读存储介质,包括另一组指令,所述指令在被计算装置执行时使所述计算装置:
基于所指派的相应排序来指示所标识的候选位置中的一个或多个。
15.如权利要求14所述的至少一种计算机可读存储介质,包括另一组指令,所述指令在被计算装置执行时使所述计算装置:
提供所标识的候选位置的视觉指示、音频指示或触觉反馈指示中的一个或多个。
16.如权利要求14至15中任一项所述的至少一种计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置:
渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型;以及
基于与用户的交互从所指示的候选位置中选择用于所述AR模型的所述放置位置。
17.如权利要求14至15中任一项所述的至少一种计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置:
基于指定阈值来限制所指示的候选位置的数量。
18.如权利要求14至15中任一项所述的至少一种计算机可读介质,包括另一组指令,所述指令在被计算装置执行时使得所述计算装置:
基于与用户的交互来调整所指示的候选位置。
19.一种增强现实模型放置设备,包括:
用于基于三维(3D)模型、增强现实(AR)模型和针对所述AR模型的放置约束来标识所述3D模型中用于所述AR模型的一个或多个候选位置的装置;
用于基于放置排序标准向所述一个或多个标识的候选位置指派相应排序的装置;以及
用于从所述一个或多个标识的候选位置中选择用于所述AR模型的放置位置的装置。
20.如权利要求19所述的增强现实模型放置设备,进一步包括:
用于基于所指派的相应排序来指示所标识的候选位置中的一个或多个的装置。
21.如权利要求20所述的增强现实模型放置设备,进一步包括:
用于提供所标识的候选位置的视觉指示、音频指示或触觉反馈指示中的一个或多个的装置。
22.如权利要求20至21中任一项所述的增强现实模型放置设备,进一步包括:
用于渲染AR场景以在所指示的候选位置中的每一个处视觉地呈现所述AR模型的装置;以及
用于基于与用户的交互从所指示的候选位置中选择用于所述AR模型的所述放置位置的装置。
23.如权利要求20至21中任一项所述的增强现实模型放置设备,进一步包括:
用于基于指定阈值来限制所指示的候选位置的数量的装置。
24.如权利要求20至21中任一项所述的增强现实模型放置设备,进一步包括:
用于基于与用户的交互来调整所指示的候选位置的装置。
CN201780053353.XA 2016-09-30 2017-09-29 增强现实模型的自动放置 Active CN109997173B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/282,369 2016-09-30
US15/282,369 US10068379B2 (en) 2016-09-30 2016-09-30 Automatic placement of augmented reality models
PCT/US2017/054636 WO2018064641A1 (en) 2016-09-30 2017-09-29 Automatic placement of augmented reality models

Publications (2)

Publication Number Publication Date
CN109997173A true CN109997173A (zh) 2019-07-09
CN109997173B CN109997173B (zh) 2023-09-29

Family

ID=61758790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053353.XA Active CN109997173B (zh) 2016-09-30 2017-09-29 增强现实模型的自动放置

Country Status (4)

Country Link
US (1) US10068379B2 (zh)
EP (1) EP3520085A4 (zh)
CN (1) CN109997173B (zh)
WO (1) WO2018064641A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751707A (zh) * 2019-10-24 2020-02-04 北京达佳互联信息技术有限公司 动画显示方法、装置、电子设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296080B2 (en) 2017-06-19 2019-05-21 Disney Enterprises, Inc. Systems and methods to simulate user presence in a real-world three-dimensional space
US10391408B2 (en) 2017-06-19 2019-08-27 Disney Enterprises, Inc. Systems and methods to facilitate user interactions with virtual objects depicted as being present in a real-world space
US10282903B1 (en) * 2017-11-16 2019-05-07 International Business Machines Corporation System and method for matching virtual reality goals with an optimal physical location
US20190156410A1 (en) 2017-11-17 2019-05-23 Ebay Inc. Systems and methods for translating user signals into a virtual environment having a visually perceptible competitive landscape
US10672159B2 (en) * 2018-04-02 2020-06-02 Microsoft Technology Licensing, Llc Anchor graph
CN110727973B (zh) * 2018-06-27 2023-02-24 西安海平方网络科技有限公司 模型的位姿确定方法、装置、计算机设备和存储介质
US10445942B1 (en) * 2018-06-29 2019-10-15 Microsoft Technology Licensing, Llc Ranking of hologram placement locations based on unexposed information
GB2576213A (en) * 2018-08-10 2020-02-12 Sony Corp A method for mapping an object to a location in virtual space
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
US10839607B2 (en) 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
EP3914998A1 (en) 2019-08-30 2021-12-01 Apple Inc. Method and device for sketch-based placement of virtual objects
US20220392174A1 (en) * 2019-11-15 2022-12-08 Sony Group Corporation Information processing apparatus, information processing method, and program
US11657850B2 (en) * 2020-12-09 2023-05-23 Amazon Technologies, Inc. Virtual product placement
US11681835B2 (en) * 2020-12-31 2023-06-20 Hexagon Technology Center Gmbh Rapid positioning drawing system and method
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681811A (zh) * 2011-03-10 2012-09-19 微软公司 照片表示视图的基于主题的增强
CN105229588A (zh) * 2013-03-15 2016-01-06 埃尔瓦有限公司 用于增强现实系统中的交叉现实选择、拖拽和放置
US20160171767A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US9147291B2 (en) * 2012-04-20 2015-09-29 Samsung Electronics Co., Ltd. Method and apparatus of processing data to support augmented reality
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US10824310B2 (en) 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9767768B2 (en) 2012-12-20 2017-09-19 Arris Enterprises, Inc. Automated object selection and placement for augmented reality
US20140253590A1 (en) 2013-03-06 2014-09-11 Bradford H. Needham Methods and apparatus for using optical character recognition to provide augmented reality
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9767614B2 (en) 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681811A (zh) * 2011-03-10 2012-09-19 微软公司 照片表示视图的基于主题的增强
CN105229588A (zh) * 2013-03-15 2016-01-06 埃尔瓦有限公司 用于增强现实系统中的交叉现实选择、拖拽和放置
US20160171767A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751707A (zh) * 2019-10-24 2020-02-04 北京达佳互联信息技术有限公司 动画显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3520085A1 (en) 2019-08-07
EP3520085A4 (en) 2020-05-27
CN109997173B (zh) 2023-09-29
WO2018064641A1 (en) 2018-04-05
US10068379B2 (en) 2018-09-04
US20180096528A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN109997173A (zh) 增强现实模型的自动放置
US20200273255A1 (en) Mixed-reality guide data collection and presentation
US11922489B2 (en) Curated environments for augmented reality applications
CN104871214B (zh) 用于具扩增实境能力的装置的用户接口
CN108701352A (zh) 使用基于三维对象模型的识别的图像修改与增强
WO2022022036A1 (zh) 一种展示方法、装置、设备、存储介质及计算机程序
US9330501B2 (en) Systems and methods for augmenting panoramic image data with performance related data for a building
US11756294B2 (en) Scene classification
CN107004279A (zh) 自然用户界面相机校准
DE112015002463T5 (de) Systeme und Verfahren zum gestischen Interagieren in einer im Umfeld vorhandenen Computerumgebung
CN107680165A (zh) 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN107430437A (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
AU2019447524B2 (en) Method, apparatus and storage medium for displaying three-dimensional space view
CN106233340B (zh) 用于延迟解耦合着色的技术
CN106527719A (zh) 基于ar虚拟现实技术和实时三维建模的待售房屋考察系统
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
CN105787990A (zh) 材料的着色cg表现
US9595125B2 (en) Expanding a digital representation of a physical plane
CN106778670A (zh) 手势识别装置及识别方法
US11967030B2 (en) Method, device and computer program product for manipulating virtual bounding volumes
WO2022049777A1 (ja) 家具レイアウトvrシステム、家具レイアウトvr方法及びプログラム
KR20160066292A (ko) 사물 인터넷 기기 제어 시스템 및 방법
CN110134975A (zh) 灯饰的设计方法、电子设备及电子设备可读存储介质
CN109493412A (zh) 复用场景点光源可见性的超采样光线跟踪方法
Zhang et al. Sceneviewer: Automating residential photography in virtual environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant