CN113438964A - 增强现实模型对准 - Google Patents

增强现实模型对准 Download PDF

Info

Publication number
CN113438964A
CN113438964A CN202080013673.4A CN202080013673A CN113438964A CN 113438964 A CN113438964 A CN 113438964A CN 202080013673 A CN202080013673 A CN 202080013673A CN 113438964 A CN113438964 A CN 113438964A
Authority
CN
China
Prior art keywords
augmented reality
machine
reality model
image
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080013673.4A
Other languages
English (en)
Inventor
J·瓦格纳
S·克乌夫
S·M·罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Inc
Original Assignee
Caterpillar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Inc filed Critical Caterpillar Inc
Publication of CN113438964A publication Critical patent/CN113438964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

公开了一种用于增强现实模型对准的设备。该设备可以接收识别机器的用户输入，识别与该机器相关联的增强现实模型，以及用指示目标标记的多个位置的多个图标显示机器的表示。该设备可以检测用户对多个图标中的一个图标的选择，并且可以基于所选择的图标来确定用于叠加增强现实模型的取向。该设备可以检测由设备的图像捕获组件捕获的图像中的目标标记并且可以使用该取向将增强现实模型叠加在图像上。

Description

增强现实模型对准
技术领域
本发明总体上涉及增强现实，并且更具体地涉及增强现实模型对准。
背景技术
增强现实是一种真实世界环境的交互式体验，其中真实世界中的对象通过计算机生成的信息进行增强。例如，计算机生成的信息(例如，图像、文本等)可以叠加在真实世界的数字图像上(例如，当该图像通过相机、录像机等进行捕获时)。然而，可能难以正确对准和/或定向计算机生成的信息特别是三维图像或模型，以将该信息适当地叠加在数字图像中(例如，相对于与计算机生成的信息相关的真实世界对象)。
美国专利申请公开第2018/0150931号(“′931公布”)中公开了一种针对增强现实对准叠加信息的尝试。特别地，′931公布公开了“由增强现实处理模块运行的增强现实应用程序可以按照基于增强现实图像的已确定的位置和方向的关系相对于一个或多个识别的目标点而将增强现实图像叠加在数字图像上。增强现实图像因此与交互式显示器上的数字图像对准。”虽然使用‘931公布的技术存在有益效果，但使用本发明的技术可以获得附加的或不同的有益效果。
发明内容
根据一些实施方式，本发明涉及一种用于增强现实模型对准的方法。该方法可以包括通过设备接收识别机器的用户输入；通过设备识别与机器相关联的增强现实模型；用指示目标标记的多个位置的多个图标显示机器的表示；通过设备检测用户对多个图标中的一个图标的选择；通过设备并基于所选择的图标确定用于叠加增强现实模型的取向；通过设备检测由设备的图像捕获组件捕获的图像中的目标标记；以及通过设备使用该取向将增强现实模型叠加在图像上。
根据一些实施方式，本发明涉及一种用于增强现实模型对准的设备。该设备可以包括存储器和耦合到该存储器的一个或多个处理器。一个或多个处理器可以被配置为接收识别机器的信息；识别与机器相关联的增强现实模型；检测与机器的表示的用户交互，该交互识别目标标记相对于机器的位置；基于位置确定用于叠加增强现实模型的取向；检测由设备获取的图像中的目标标记；以及将增强现实模型叠加在图像上，其中增强现实模型基于该取向在图像中取向。
根据一些实施方式，本发明涉及一种存储用于增强现实模型对准的一个或多个指令的非暂时性计算机可读介质。该一个或多个指令在由设备的一个或多个处理器执行时，可以使一个或多个处理器针对与机器相关联的目标标记从多个位置中选择一个位置；基于该位置确定用于叠加与机器相关联的增强现实模型的取向；检测图像中的目标标记；以及基于该取向将增强现实模型叠加在图像上。
附图说明
图1至图3是增强现实模型对准的示例的图。
图4是其中可以实现本文描述的系统和/或方法的示例性环境的图。
图5是图4的一个或多个设备的示例性组件的图。
图6是用于增强现实模型对准的示例性过程的流程图。
具体实施方式
图1至图3是增强现实模型对准的示例100的图。
如图1所示，用户设备(例如，平板电脑、移动电话等)可以显示用户界面110，该用户界面可以由用户(诸如机器技术人员)使用以帮助诊断与机器相关联的问题、检查机器、对机器进行维护等。用户界面110可以是在用户设备上执行的应用程序的一部分。如图所示，用户界面110可以显示一个或多个菜单，诸如允许用户选择机器的菜单和/或允许用户指示用户设备显示增强现实用户界面的菜单，如图所示.
如附图标记120所示，用户可以与用户界面110交互以提供识别机器的输入。例如，用户可以提供输入以识别机器的类型(例如，拖拉机、挖掘机、推土机等，如图所示)和/或识别特定机器(例如，使用序列号、车辆识别号等)。例如，如图所示，用户可以与机器的图像或图标交互以选择机器。用户设备可以以不同的方式识别机器，诸如通过将用户设备捕获的机器图像与存储在(例如，用户设备或服务器设备的)存储器中的机器图像进行比较。
如进一步所示，用户设备可以识别与机器相关联的增强现实模型130。增强现实模型130可以包括机器和/或机器的组件(例如，机器部件)的三维模型，诸如发动机组件、传动组件、线路或电线、流体管线、控制系统、液压系统等。用户设备可以能够以多个取向显示增强现实模型130。例如，增强现实模型130可以以任何可能的取向显示，并且可以旋转到任何其他取向。用户设备可以使用存储在用户设备的存储器中的信息(例如，指示机器与机器的增强现实模型130之间的关系的信息)和/或通过从服务器请求增强现实模型130(例如，通过向服务器发送识别机器的信息，并在来自服务器的响应中接收增强现实模型130)来识别增强现实模型130。
如附图标记140所示，用户可以与用户界面110交互以指示用户设备显示增强现实用户界面150。增强现实用户界面150可以显示由用户设备的图像捕获组件(例如，集成到用户设备中的相机、集成到用户设备中的摄像机、集成到用户设备中的录像机等)捕获的图像。增强现实用户界面150还可以显示叠加在捕获图像上的增强现实模型130，如下文更详细描述的。如附图标记160所示，增强现实用户界面150可以包括允许用户指示用户设备显示目标标记选择用户界面210的输入机制(例如，图标)，如下面结合图2所描述的。
如图2所示，目标标记选择用户界面210可以显示机器的表示220(有时称为机器表示)和多个图标230。图标230可以指示真实世界目标标记相对于机器的位置(例如，在机器上、在机器与用户设备之间、在机器附近等)。图标230可以与用于将增强现实模型130叠加在图像上的取向相关联。用户设备可以存储指示用于增强现实模型130的图标与对应取向之间的关系的信息。因此，不同的图标230可以对应于相对于机器的不同位置和/或用于将增强现实模型130叠加在图像上的不同取向。
用户设备可以基于机器的用户标识来标识要显示的表示220，如上文结合图1所描述的。例如，用户设备可以使用存储在用户设备的存储器中的信息(例如，指示机器与机器的表示220之间的关系的信息)和/或通过从服务器请求表示220(例如，通过向服务器发送识别机器的信息，并在来自服务器的响应中接收表示220)来识别表示220。
用户设备可以识别与机器和/或机器的增强现实模型130相关联的一组参考取向或一组允许的目标标记位置。用户设备可以在表示220上显示对应于每个参考取向和/或每组允许的目标标记位置的图标230。例如，图标230可以与指示增强现实模型130将被显示的取向的参考取向相关联。参考取向可以指示参考点和相对于参考点的x轴、y轴和/或z轴方向。表示220可以经由用户与目标标记选择用户界面210的交互而旋转，并且可以基于表示220的显示视图来显示或隐藏一个或多个图标230(例如，可以显示在表示220一侧正被显示的图标230，并且可以隐藏在相对侧未被显示的图标230)。附加地或替代地，用户设备可以显示目标标记的可能位置的列表，并且用户可以从列表中选择项目。
如附图标记240所示，用户可以与目标标记选择用户界面210交互以选择多个图标230中的一个图标230。对图标230的选择可以使用户设备存储取向的指示，增强现实模型130将通过该取向叠加在用户设备捕获的图像250上。例如，用户设备可以使用与图标相关联的图标标识符来查找在用户设备存储的数据结构中识别的对应取向。附加地或替代地，对图标230的选择可以使用户设备显示增强现实用户界面150，其可以显示正由用户设备捕获的图像250。
如进一步所示，图像250可以包括目标标记260。例如，用户可以将目标标记放置在由图标230指示的位置。目标标记260可以包括可以放置在机器上的物理标记，诸如磁性标记、贴花等。附加地或替代地，目标标记260可以是机器的可识别组件(例如，机器部件、机器的一部分等)。目标标记260可以具有特定的形状，可以包括特定的图案(例如，快速响应(QR)码、条形码等)，可以包括特定的编码信息，可以包括特定的文本，和/或诸如可由用户设备(例如，用户设备的图像处理器)识别的类似物。
用户可以移动和/或定向用户设备以捕获机器的图像250和目标标记260。用户设备可以检测图像250中的目标标记260，并且可以使用与用户选择的图标230相关联的取向将增强现实模型130叠加在图像250上。以此方式，增强现实模型130可以与真实世界的机器适当地对准以帮助用户执行与机器相关联的各种任务，如本文别处所述。
增强现实模型130的取向可以包括例如增强现实模型130的旋转(例如，相对于默认旋转)。增强现实模型130可以由旋转的三个元素(例如，围绕x轴、y轴和/或z轴)定义。增强现实模型130的取向可以由默认取向和一组旋转(例如，围绕一个或多个轴)来定义。增强现实模型130可以与多个参考取向相关联，诸如针对每个图标230和/或每个图标230所表示的每个位置一个参考取向。当图标230被选择时，用户设备可以识别对应于图标230的参考取向(例如，使用存储图标标识符与增强现实模型130的对应参考取向之间的关系的数据结构)。如上所述，参考取向可以指示与所选择的图标230相关联的参考点和相对于参考点的x轴、y轴和/或z轴方向。当将增强现实模型130叠加在图像250上时，用户设备可以用参考取向显示增强现实模型130。例如，用户设备可以通过将增强现实模型130的参考点与所选择的图标230所相关联的参考点对准并基于与所选择的图标230相关联的x轴、y轴和z轴的方向来定向增强现实模型130来放置增强现实模型130。
用户设备可以基于图像250中的目标标记260的角度(例如，图像250中的目标标记260的取向)来修改参考取向。例如，参考取向可以对应于目标标记260的默认角度，诸如当目标标记260的表面在图像250中旋转零度时(例如，没有旋转)。用户设备可以确定(例如，估计)目标标记260相对于默认角度的相对角度，并且可以基于相对角度来修改参考取向，诸如通过将参考取向旋转等于该角度的量、等于该角度的比例的量、基于该角度确定的量等。
附加地或替代地，用户设备可以确定用于将增强现实模型130叠加在图像250上的位置。该位置可以相对于目标标记260。例如，增强现实模型130可以由以特定方式排列以形成增强现实模型130的一组点(例如，像素、体素等)表示。参考点可以指增强现实模型130上的特定点(例如，特定像素、特定体素等)。增强现实模型130可以与多个参考点相关联，诸如针对每个图标230和/或每个图标230所表示的每个位置一个参考点。当图标230被选择时，用户设备可以识别对应于图标230的参考点(例如，使用存储图标标识符与增强现实模型130的对应参考点之间的关系的数据结构)。
当将增强现实模型130叠加在图像250上时，用户设备可以将参考点与目标标记260(例如，目标标记260上的点，诸如中心点、拐角点等)。尽管上面将单个参考点描述为用于对准，但是在一些实施方式，一组参考点可以用于将增强现实模型130与目标标记260对准(例如，目标标记260上的一组点，诸如目标标记260的轮廓、目标标记260上的形状等)。
增强现实模型130在三维空间中的位置和取向可以由三个平移元素和三个旋转元素来定义，这意味着增强现实模型130可以具有六个自由度。
用户设备可以确定当将增强现实模型130叠加在图像250上时要显示的尺寸。增强现实模型130可以与默认尺寸(例如，默认缩放级别)相关联。类似地，目标标记260可以与默认尺寸(例如，所捕获的图像250中的默认尺寸)相关联。用户设备可以将图像中的目标标记260的尺寸与目标标记260的默认尺寸进行比较，并且可以基于比较来调整增强现实模型130的尺寸(例如，相对于默认尺寸)。附加地或替代地，用户设备可以估计用户设备与目标标记260之间的距离(例如，基于目标标记260的尺寸和目标标记260的已知尺寸)，并且可以确定用于基于距离显示增强现实模型130的尺寸。
如图3所示，并且通过附图标记310，经由目标标记选择用户界面210与不同图标230(例如，不同于如图2所示选择的图标230)的用户交互可以使用户设备存储增强现实模型130将被叠加在图像250上的不同取向的指示。因此，增强现实用户界面150可以显示由用户设备捕获的图像250并且可以在与图2所示不同的取向上显示增强现实模型130。例如，当在图像250中检测到目标标记260时，用户设备可以用于基于所选择的图标230和/或目标标记260确定的取向、位置或尺寸来叠加增强现实模型130，如上所述。以此方式，用户可以查看用帮助用户执行与机器相关联的一个或多个任务的取向、位置和/或尺寸叠加在包括机器或机器的一部分的图像250上的增强现实模型130。
用户设备可以验证目标标记260是否相对于机器正确放置和/或可以确定目标标记260是否错位。例如，用户设备可以确定目标标记260的预期位置(例如，基于对图标230的选择)并且可以确定目标标记260的实际位置(例如，基于分析图像250以确定目标标记260相对于机器的一个或多个组件、机器的轮廓、机器的边缘等的位置)。如果实际位置与预期位置相差阈值量(例如，阈值距离)，则用户设备可以输出目标标记260错位的通知。
尽管上面将一些操作描述为由用户设备基于用户选择来执行，但是在一些实施方式中，该选择可以由用户设备来执行。例如，用户设备可以基于机器的要对其进行操作(例如，检查、诊断、修理等)的组件来选择图标230(例如，可以选择与图标230相关联的位置)。例如，用户可以向用户设备提供指示机器的组件(例如，部件、系统、子系统等)的输入，或者用户设备可以与机器的通信组件进行通信以接收识别要检查和/或修理的机器组件的信息(例如，诊断报告)。用户设备可以基于该组件来选择图标230和/或对应位置。用户设备可以选择最靠近该组件的图标230(例如，从所有可能的图标230中)。附加地或替代地，用户设备可以基于存储图标标识符与对应机器组件之间的关系的数据结构来选择图标230(例如，指示用于叠加增强现实模型130以辅助对该组件进行作业的最佳位置)。
用户设备可以推荐要由用户选择的图标230(例如，在用户设备选择图标230之后，如上所述)。附加地或替代地，用户设备可以向用户通知由用户设备选择的图标230(例如，通过显示识别由用户设备选择的图标230的信息)。用户可以接受该选择或者可以用用户选择超控该选择。类似地，用户设备可以向用户通知目标标记260应该由用户放置的位置(例如，在机器上)。
用户可以提供输入以将图标230添加机器的表示220以在将来使用。例如，用户可以将目标标记260放置在机器上未被现有(例如，存储的)图标230指示的位置处。用户然后可以与用户设备交互以修改所显示的增强现实模型130的参数，诸如取向、位置、尺寸等。用户可以提供输入以保存(例如，存储)标识取向、位置和/或尺寸的信息，并且可以与表示220交互以选择机器上要为其创建图标230的位置。用户设备然后可以将增强现实模型130的位置和参数与标识图标230的图标标识符相关联地存储。用户设备可以显示创建的图标230以供将来与表示220一起使用。附加地或替代地，用户设备可以将此类信息传输到服务器以与其他用户设备共享。
尽管上面结合单个图标230和单个目标标记260描述了一些操作，但是在一些实施方式中，可以选择多个图标230，并且可以在图像250中检测多个目标标记260。上述技术可以应用于多个目标标记260，诸如通过使用多个目标标记260确定取向、位置、尺寸等。以此方式，可以以更高的准确度将增强现实模型130叠加在机器上。
如以上所指出的，图1至图3被提供作为示例。其他示例可能与结合图1至图3所描述的不同。
图4是其中可以实现本文描述的系统和/或方法的示例性环境400的图。如图4所示，环境400可以包括用户设备410(其可以包括图像捕获组件420和图像处理器430)、机器440、目标标记450、服务器460和网络470。环境400的一些设备(例如，用户设备410和服务器460)可以经由有线连接、无线连接或有线连接和无线连接的组合互连。
用户设备410包括一个或多个能够接收、获取和/或捕获图像、显示图像以及将增强现实信息(例如，增强现实模型)叠加在所显示的图像上的设备。例如，用户设备410可以包括通信和/或计算设备，诸如移动电话(例如，智能电话、无线电话等)、膝上型计算机、平板计算机、手持计算机、可穿戴通信设备(例如，智能手表、一副智能眼镜等)或类似类型的设备。如图所示，用户设备410可以包括图像捕获组件420和/或图像处理器430。
图像捕获组件420包括一个或多个能够捕获图像的设备。例如，图像捕获组件420可以包括照相机、录像机、摄像机等。图像捕获组件可以捕获包括机器440、机器440的一部分和/或目标标记450的图像。图像处理器430包括能够处理图像(诸如通过分析图像的内容、检测图像中的内容等)的一个或多个设备。例如，图像处理器430可以包括处理组件，诸如以下结合图5更详细描述的处理器520。图像处理器430可以能够检测由图像捕获组件420捕获的图像中的目标标记450并将增强现实模型叠加在图像上，如本文别处所述。
机器440可以包括执行与行业(诸如采矿、建筑、农业、运输或任何其他行业)相关联的操作的任何机器。作为一些示例，机器440可以是车辆、反铲装载机、冷刨机、轮式装载机、压实机、伐木归堆机、林业机械、货运代理、收割机、挖掘机、工业装载机、钳式装载机、物料搬运机、自动平地机、铺管机、路料复拌机、滑移装载机、集材机、伸缩臂叉车、拖拉机、推土机、拖拉机铲运机或其他地上设备、地下设备或船舶设备。机器440可以包括一个或多个能够发生故障并且可以被诊断、检查、修理、维护等的部件或组件。
目标标记450可以包括物理标记(例如，磁性标记、贴花)或机器440的组件或部件。目标标记450可以对应于上述目标标记260。
服务器460包括能够接收、存储、处理和/或提供与对准增强现实模型相关联的信息的一个或多个设备。例如，服务器460可以与用户设备410通信以传送或接收增强现实模型(例如，与机器440相关联)、机器440的表示、与表示相关联的一个或多个图标等。服务器460可以包括存储指示机器、增强现实模型、机器的表示、图标等之间的关系的信息的数据结构。
网络470包括一个或多个有线网络和/或无线网络。例如，网络470可以包括蜂窝网(例如，长期演进(LTE)网络、码分多址(CDMA)网络、3G网络、4G网络、5G网络、另一种类型的下一代网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如公共交换电话网络(PSTN))、专用网络、自组织网络、内联网、互联网、基于光纤的网络、云计算网络等，和/或这些或其他类型网络的组合。
图4所示的设备和网络的数量和布置是作为示例提供的。实际上，与图4中所示的那些相比，可以存在附加的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或不同布置的设备和/或网络。此外，图4中所示的两个或更多个设备可以在单个设备内实现，或者图4中所示的单个设备可以实现为多个分布式设备。附加地或替代地，环境400的一组设备(例如，一个或多个设备)可以执行被描述为由环境400的另一组设备执行的一个或多个功能。
图5是设备500的示例性组件的图。设备500可以对应于用户设备410、图像捕获组件420、图像处理器430和/或服务器460。在一些实施方式中，用户设备410、图像捕获组件420、图像处理器430和/或服务器460可以包括一个或多个设备500和/或设备500的一个或多个组件。如图5所示，设备500可以包括总线510、处理器520、存储器530、存储组件540、输入组件550、输出组件560和通信接口570。
总线510包括允许在设备500的多个组件之间进行通信的组件。处理器520以硬件、固件和/或硬件和软件的组合来实现。处理器520是中央处理单元(CPU)、图形处理单元(GPU)、控制器、图像处理器(例如，图像处理器430)或另一种类型的处理组件。在一些实施方式中，处理器520包括能够被编程以执行功能的一个或多个处理器。存储器530包括随机存取存储器(RAM)、只读存储器(ROM)和/或另一种类型的动态或静态存储设备，其存储供处理器520使用的信息和/或指令。
存储组件540存储与设备500的操作和使用相关的信息和/或软件。例如，存储组件540可以包括硬盘(例如，磁盘、光盘和/或磁光盘)、固态驱动器(SSD)和/或另一种类型的非暂时性计算机可读介质，以及相应的驱动器。
输入组件550包括允许设备500接收信息的组件，诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)。附加地或替代地，输入组件550可以包括用于捕获图像的组件，诸如图像捕获组件420。输出组件560包括提供来自设备500的输出信息的组件(经由例如显示器、扬声器、触觉反馈组件、音频或视觉指示器等)。
通信接口570包括类似收发器的组件(例如，收发器、单独的接收器、单独的发射器等)，其使设备500能够与其他设备通信，诸如经由有线连接、无线连接或有线连接和无线连接的组合。通信接口570可以允许设备500从另一个设备接收信息和/或向另一个设备提供信息。例如，通信接口570可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、无线局域网接口、蜂窝网接口等。
设备500可以执行本文描述的一个或多个过程。设备500可以基于处理器520执行由诸如存储器530和/或存储组件540之类的非暂时性计算机可读介质存储的软件指令来执行这些过程。如本文所使用的，术语“计算机可读介质”是指非暂时性存储器设备。存储器设备包括单个物理存储设备内的存储空间或分布在多个物理存储设备上的存储空间。
软件指令可以从另一计算机可读介质或经由通信接口570从另一设备读入存储器530和/或存储组件540。当被执行时，存储在存储器530和/或存储组件540中的软件指令可以使处理器520执行本文描述的一个或多个过程。附加地或替代地，硬件电路可以代替软件指令或与软件指令结合使用以执行本文描述的一个或多个过程。因此，本文描述的实施方式不限于硬件电路和软件的任何特定组合。
图5中所示的组件的数量和布置是作为示例提供的。在实践中，设备500可以包括与图5中所示的那些组件相比附加组件、更少组件、不同组件或不同布置的组件。附加地或替代地，设备500的一组组件(例如，一个或多个组件)可以执行被描述为由设备500的另一组组件执行的一个或多个功能。
图6是用于增强现实模型对准的示例性过程600的流程图。图6的一个或多个过程框可由用户设备(例如，用户设备410)执行。在一些实施方式中，图6的一个或多个过程框可由与用户设备分离或包括用户设备的另一设备或一组设备执行，诸如图像捕获组件420、图像处理器430、服务器460等。
如图6所示，过程600可以包括针对与机器相关联的目标标记从多个位置中选择一个位置(框610)。例如，用户设备(例如，使用处理器520、输入组件550等)可以针对与机器相关联的目标标记从多个位置中选择一个位置，如上所述。在一些实施方式中，该位置可以基于用户输入来确定。例如，用户设备可以提供识别机器的输入，用户设备可以用指示目标标记的多个位置的多个图标显示机器的表示(例如，对应于多个取向)，以及用户设备可以检测用户选择多个图标中的一个图标。该位置可以基于所选择的图标来确定。附加地或替代地，该位置可以基于识别机器的组件的输入(例如，多个位置中距离机器最近的位置)来确定。
如图6中进一步所示，过程600可以包括基于位置确定用于叠加与机器相关联的增强现实模型的取向(框620)。例如，用户设备(例如，使用处理器520、存储器530等)可以确定用于叠加与机器相关联的增强现实模型的取向，如上所述。该取向可以基于位置来确定。
如图6中进一步所示，过程600可以包括检测图像中的目标标记(框630)。例如，用户设备(例如，使用图像处理器430、处理器520、输入组件550等)可以检测图像中的目标标记，如上所述。目标标记可以包括放置在机器上的物理标记、放置在机器上的贴花、机器的组件等。目标标记可以位于机器上或机器附近。
如图6中进一步所示，过程600可以包括基于取向将增强现实模型叠加在图像上(框640)。例如，设备(例如，使用图像处理器430、处理器520、输出组件560等)可以基于取向将增强现实模型叠加在图像上，如上所述。
过程600可以包括附加的操作，诸如以下描述的和/或结合本文其他地方描述的一个或多个其他过程的任何单个操作或操作的任何组合。
过程600可以包括基于所选择的图标识别增强现实模型的参考点并且基于参考点将增强现实模型叠加在图像上(例如，通过将参考点与图像中的目标标记对准)。过程600可以包括确定(例如，估计)设备与目标标记和/或机器之间的距离，并且基于该距离将增强现实模型叠加在图像上(例如，通过基于该距离确定要显示增强现实模型的尺寸并基于该尺寸显示增强现实模型)。过程600可以包括估计目标标记在图像中取向的角度并且基于该角度将增强现实模型叠加在图像上(例如，通过基于该角度确定取向)。过程600可以包括确定目标标记错位并输出目标标记错位的通知。
尽管图6示出了过程600的示例框，但是在一些实施方式中，与图6中所描绘的框相比，过程600可以包括附加的框、较少的框、不同的框或不同布置的框。附加地或替代地，过程600的框中的两个或更多个框可以被并行地执行。
工业实用性
本文描述的技术可以使用增强现实来帮助技术人员诊断机器的问题、检查机器、修理机器等。例如，技术人员可以能够在用户设备的显示器上查看隐藏于或位于机器内部(例如，在机器的隔室内)的机器组件。如果增强现实模型被准确地叠加(例如，具有适当的取向、位置、尺寸等)在由技术人员使用的用户设备捕获的机器图像上，则技术人员可以能够更快和/或更准确地识别组件。本文描述的技术通过提高增强现实模型在叠加在机器或机器的一部分的图像上时定向、定位或确定尺寸的准确性来帮助如此快速且准确地识别组件。
如本文所使用的，冠词“一”和“一个”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。另外，如本文所使用的，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。此外，短语“基于”旨在表示“至少部分基于”。
前述公开提供了说明和描述，但不旨在穷举或将实施方式限制为所公开的精确形式。可以根据以上公开进行修改和变化，或者可以从实施方式的实践中获得修改和变化。本说明书旨在仅被视为示例，真实范围由以下权利要求书及其等价物指出。即使在权利要求中记载特征的特定组合和/或在说明书中公开了特征的特定组合，但是这些组合不旨在限制各个实施方式的公开。尽管下面列出的每项从属权利要求可以直接依赖于仅一项权利要求，但是各个实施方式的公开包括与权利要求集中的每项其他权利要求相结合的每项从属权利要求。

Claims (10)

1.一种方法，包括：
通过设备(410)接收识别机器(440)的用户输入；
通过所述设备(410)识别与所述机器(440)相关联的增强现实模型(130)；
通过所述设备(410)用指示目标标记(260)的多个位置的多个图标(230)显示所述机器(440)的表示(220)；
通过所述设备(410)检测用户对所述多个图标(230)中的一个图标(230)的选择；
通过所述设备(410)并基于所选择的图标(230)确定用于叠加所述增强现实模型(130)的取向；
通过所述设备(410)检测由所述设备(410)的图像捕获组件(420)捕获的图像(250)中的所述目标标记(260)；以及
通过所述设备(410)使用所述取向将所述增强现实模型(130)叠加在所述图像(250)上。
2.根据权利要求1所述的方法，其中，所述多个图标(230)中的不同图标(230)与用于叠加所述增强现实模型(130)的不同取向相关联。
3.根据前述权利要求中任一项所述的方法，还包括：
基于所选择的图标(230)识别所述增强现实模型(130)的参考点；以及
其中将所述增强现实模型(130)叠加在所述图像(250)上还包括：
将所述参考点与所述图像(250)中的所述目标标记(260)对准。
4.根据前述权利要求中任一项所述的方法，还包括：
估计所述设备(410)与所述目标标记(260)之间的距离；
基于所述距离确定要显示所述增强现实模型(130)的尺寸；以及
其中将所述增强现实模型(130)叠加在所述图像(250)上还包括：
基于所述尺寸显示所述增强现实模型(130)。
5.根据前述权利要求中任一项所述的方法，还包括：
估计所述目标标记(260)在所述图像(250)中取向的角度；以及
其中确定用于叠加所述增强现实模型(130)的所述取向包括：
基于所述角度确定所述取向。
6.根据前述权利要求中任一项所述的方法，其中，基于接收识别所述机器(440)的所述用户输入来识别所述机器(440)的所述表示。
7.根据前述权利要求中任一项所述的方法，其中所述目标标记(260)包括放置在所述机器(440)上的物理标记。
8.一种设备(410)，包括：
存储器(530)；以及
耦合到所述存储器(530)的一个或多个处理器(520)，所述一个或多个处理器(520)被配置为：
针对与机器(440)相关联的目标标记(260)从多个位置中选择一个位置；
基于所述位置确定用于叠加与所述机器(440)相关联的增强现实模型(130)的取向；
检测图像(250)中的所述目标标记(260)；以及
基于所述取向将所述增强现实模型(130)叠加在所述图像(250)上。
9.根据权利要求8所述的设备，其中，在选择所述位置时，所述一个或多个处理器(520)被配置为：
接收识别所述机器(440)的组件的输入；以及
基于所述组件选择所述位置。
10.根据权利要求8至9中任一项所述的设备，其中，所述一个或多个处理器(520)还被配置为：
用对应于所述目标标记(260)的多个位置的多个图标(230)显示所述机器(440)的表示(220)；以及
其中在选择所述位置时，所述一个或多个处理器(520)被配置为：
检测与所述多个图标(230)中的一个图标(230)的交互，其中所述位置是基于所述图标(230)选择的。
CN202080013673.4A 2019-02-12 2020-01-23 增强现实模型对准 Pending CN113438964A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/274033 2019-02-12
US16/274,033 US10983672B2 (en) 2019-02-12 2019-02-12 Augmented reality model alignment
PCT/US2020/014725 WO2020167438A1 (en) 2019-02-12 2020-01-23 Augmented reality model orientation alignment

Publications (1)

Publication Number Publication Date
CN113438964A true CN113438964A (zh) 2021-09-24

Family

ID=69726755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013673.4A Pending CN113438964A (zh) 2019-02-12 2020-01-23 增强现实模型对准

Country Status (5)

Country Link
US (1) US10983672B2 (zh)
CN (1) CN113438964A (zh)
AU (1) AU2020221180B2 (zh)
DE (1) DE112020000410T5 (zh)
WO (1) WO2020167438A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097997A (zh) * 2022-05-23 2022-09-23 广东虚拟现实科技有限公司 标记图案的部署方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2020014275A (es) * 2020-12-18 2022-06-20 De La Garza Jesus Eduardo Jimenez Sistema de alineacion portatil para maquinaria.

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN105278826A (zh) * 2014-07-11 2016-01-27 爱迪生创意科技有限公司 增强现实系统
US20160328883A1 (en) * 2015-05-05 2016-11-10 PTC, Inc. Augmented reality system
CN107251101A (zh) * 2015-02-25 2017-10-13 英特尔公司 针对使用具有参数的标记的增强现实的场景修改
US20180150931A1 (en) * 2016-11-29 2018-05-31 Caterpillar Inc. Screen zoom feature for augmented reality applications
US10002442B1 (en) * 2017-12-21 2018-06-19 Capital One Services, Llc Placement of augmented reality objects using a guide marker
US20180336729A1 (en) * 2017-05-19 2018-11-22 Ptc Inc. Displaying content in an augmented reality system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645220B2 (en) 2009-08-28 2014-02-04 Homer Tlc, Inc. Method and system for creating an augmented reality experience in connection with a stored value token
US10242456B2 (en) 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US9779550B2 (en) 2012-10-02 2017-10-03 Sony Corporation Augmented reality system
JP6323040B2 (ja) 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
HK1198318A2 (zh) 2014-07-09 2015-03-27 Senmedia Ltd 基於 標記的增強現實系統
CN107004044A (zh) * 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN105278826A (zh) * 2014-07-11 2016-01-27 爱迪生创意科技有限公司 增强现实系统
CN107251101A (zh) * 2015-02-25 2017-10-13 英特尔公司 针对使用具有参数的标记的增强现实的场景修改
US20160328883A1 (en) * 2015-05-05 2016-11-10 PTC, Inc. Augmented reality system
US20180150931A1 (en) * 2016-11-29 2018-05-31 Caterpillar Inc. Screen zoom feature for augmented reality applications
US20180336729A1 (en) * 2017-05-19 2018-11-22 Ptc Inc. Displaying content in an augmented reality system
US10002442B1 (en) * 2017-12-21 2018-06-19 Capital One Services, Llc Placement of augmented reality objects using a guide marker

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097997A (zh) * 2022-05-23 2022-09-23 广东虚拟现实科技有限公司 标记图案的部署方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2020167438A1 (en) 2020-08-20
AU2020221180A1 (en) 2021-09-02
US10983672B2 (en) 2021-04-20
AU2020221180B2 (en) 2022-12-01
US20200257412A1 (en) 2020-08-13
DE112020000410T5 (de) 2021-10-28

Similar Documents

Publication Publication Date Title
Cho et al. Projection-recognition-projection method for automatic object recognition and registration for dynamic heavy equipment operations
Son et al. Real-time vision-based warning system for prevention of collisions between workers and heavy equipment
Fang et al. A framework for real-time pro-active safety assistance for mobile crane lifting operations
CN109903337B (zh) 用于确定挖掘机的铲斗的位姿的方法和装置
US10564127B2 (en) Augmented reality visualization for pipe inspection
US9990543B2 (en) Vehicle exterior moving object detection system
US9909283B2 (en) Image display apparatus for shovel
US9871968B2 (en) Imaging system for generating a surround-view image
US10147339B2 (en) Evaluation apparatus and evaluation method
CN107845113B (zh) 目标元素定位方法、装置以及用户界面测试方法、装置
JP5390813B2 (ja) 空間情報表示装置及び支援装置
US10997889B2 (en) Display control device, display control method, program, and display system
US20220101552A1 (en) Image processing system, image processing method, learned model generation method, and data set for learning
AU2020221180B2 (en) Augmented reality model orientation alignment
US10805597B2 (en) Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method
US20220412048A1 (en) Work assist server, work assist method, and work assist system
Chi et al. Rebar inspection integrating augmented reality and laser scanning
US20210279659A1 (en) Construction site productivity capture using computer vision
CN116348735A (zh) 信息处理装置、信息处理方法、程序
CN113688847A (zh) 一种挖掘机运行模式切换的控制方法、装置和挖掘机
CN114730482A (zh) 关联多人增强现实系统中的设备坐标系
US20220228341A1 (en) System and method therein for remote operation of a working machine comprising a tool
US20160150189A1 (en) Image processing system and method
US10801644B2 (en) Pipelaying guidance
US20170307362A1 (en) System and method for environment recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination