CN109146964A - 优化用于姿态估计的标记管理的方法和设备 - Google Patents

优化用于姿态估计的标记管理的方法和设备 Download PDF

Info

Publication number
CN109146964A
CN109146964A CN201810612192.XA CN201810612192A CN109146964A CN 109146964 A CN109146964 A CN 109146964A CN 201810612192 A CN201810612192 A CN 201810612192A CN 109146964 A CN109146964 A CN 109146964A
Authority
CN
China
Prior art keywords
data
label
equipment
module
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810612192.XA
Other languages
English (en)
Inventor
A.劳伦
P.罗伯特
P.茹埃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN109146964A publication Critical patent/CN109146964A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及用于检测在环境中分布的标记以估计运行增强现实应用的设备的姿态的方法、设备或系统。检测标记和播放AR应用是对于设备的处理资源的两个竞争任务。当要检测的标记数量需要设备的大部分处理资源时，可能会影响应用处理。本公开提出了不同的实施例以根据用于两个任务的所需要的处理资源来优化要检测的标记列表以检测。

Description

优化用于姿态估计的标记管理的方法和设备
技术领域
本公开涉及，尤其是当要检测的标记的数量需要设备的处理资源的大部分时，检测在环境中分布的标记以估计包括照相机的设备的姿态的领域。
背景技术
增强现实(AR)应用实时将数字信息集成到用户的环境中。使用具体的AR设备(平板电脑、手机、AR眼镜)实时显示复合视图。典型的应用包括在真实环境中插入虚拟三维(3D)对象。为此，AR应用必须相对于先验已知的参考系不断地估计AR设备在空间中的姿态。AR设备配备有照相机并在由照相机获取的图像中搜索标记。在AR中用于定位虚拟对象的常用方法是使用在环境中具有已知姿态的二维(2D)标记，以相对于此标记估计设备的姿态并且关于该标记定位虚拟对象。2D标记可以是专门为跟踪而设计的合成图像(例如像ARUCO标记的基准标记)，或者之前由应用学习的任何适当图像(足够有纹理而无规律图案)。3D对象也可以被用作标记。由这种标记所解决的应用的示例是将增强现实特征叠加到具体的3D对象。这些AR效果在由用户在包含感兴趣对象的场景之前持有的AR设备当前捕捉的视频中执行。例如，3D对象可被扭曲或对象纹理可被修改。这些操作需要这些对象的表征。
对于广泛的AR应用，在整个环境中均匀分布的多个标记是必要的。标记可以彼此独立，也就是说，每个标记定义其自己的参考系，其中可以播放动画而不考虑其他的参考系，例如在博物馆AR应用中。标记也可以属于一个通用范围的参考系并且在此参考系内从位置到位置标记方位，例如将在整个空间、建筑物中甚至外面发生的娱乐AR应用中。
播放AR应用是对设备的处理消耗。检测标记也是处理消耗。在AR设备的照相机获取的图像中，需要搜索的标记越多，需要的处理资源越多。因此，在AR应用中，两个处理在竞争设备的处理资源。取决于AR设备的处理资源，具有要检测的许多标记可能使设备渲染AR场景的性能崩溃。某些设备能够支持非常有限数量的标记的检测，而其他设备能够检测更大的数量同时保持所需要的处理资源以播放AR应用。
避免这种缺陷的一种可能是审慎地在环境中放置标记以限制其数量。这种解决方案并不令人满意，因为首先，设备的定位和姿态估计不够精确和可靠，并且其次，其对环境的变化不稳健。事实上，如果移动对象遮挡了它们(即在照相机和标记之间的对象)或根据照明条件，标记的可见性可改变。另外一种可能性是建立无标记环境。这种方式需要甚至更多的处理资源以执行计算机视觉，以便估计设备的位置和姿态。SLAM技术(同时定位与地图创建)针对于构建或更新未知环境的地图，而同时保持跟踪设备在其内的位置。SLAM并不针对识别在环境内的具体对象(标记)。它不适用于AR应用，在AR应用中动画以可能最终被移动的标记为中心(例如，在每个标记定义其自己的参考系而不考虑其他的参考系的博物馆AR应用中)。
缺乏用于优化要检测的标记的集合，以便最小化所需要的处理资源，同时确保可靠的姿态估计的方案。
发明内容
本公开的目的是克服缺少用于优化要检测的标记列表的方法，以便最小化所需要的处理资源，同时确保用于运行增强现实应用的系统的可靠的姿态估计。
本公开涉及用于设备的检测标记的方法。所述方法包括：
-根据所述设备的位置以及根据表示所述设备的标记检测性能的第一数据，在标记集合中选择标记列表；所述第一数据与所述标记集合的标记相关联；所述标记被选择为在所述位置的附近，并且所述列表根据所述第一数据被排序；
-在由所述设备检测所述标记列表的标记时，生成表示标记检测性能的第二数据；以及
-根据所述第二数据更新所述第一数据。根据本原理的一个方面，选择所述标记列表包括：
-向标记管理模块发送包括设备的位置的请求，所述第一数据被存储在与所述标记管理模块相关联的存储器中；以及
-从所述标记管理模块接收，响应于所述请求的、根据设备的所述位置和所述第一数据计算的所述标记列表。根据本原理的另一方面，更新所述第一数据包括：
-向标记管理模块发送第二数据，所述第一数据储被存储在与所述标记管理模块相关联的存储器中；以及
-根据所述第二数据修改所述存储器。
在一个实施例中，更新所述第一数据包括：
-从对等设备接收对应于发送对等设备的标记检测性能的第一数据；
-根据所接收的第一数据更新存储在本地存储器中的第一数据；以及
-将更新后的第一数据传送给对等设备。
在一个实施例中，上述方法还包括根据对所述标记列表的标记的检测来估计所述设备的姿态。
本公开还涉及配置为检测标记的设备。所述设备包括与至少一个处理器相关联的至少一个存储器，所述处理器被配置为：
-根据所述设备的位置以及根据表示所述设备的标记检测性能的第一数据在标记集合中选择标记列表；所述第一数据与所述标记集合的标记相关联；所述标记被选择为在所述位置的附近，并且所述列表根据所述第一数据被排序；
-在由所述设备检测标记列表的标记时，生成表示标记检测性能的第二数据；以及
-根据所述第二数据更新所述第一数据。在一个实施例中，所述设备包括通信接口，所述通信接口被配置为通过下述选择标记列表：
-向标记管理模块发送包括设备的位置的请求，所述第一数据被存储在与所述标记管理模块相关联的存储器中；以及
-从所述标记管理模块接收，响应于所述请求的、根据设备的所述位置和所述第一数据选择的所述标记列表。
根据本原理的另一方面，所述设备包括通信接口，并且更新所述第一数据包括：
-经由所述通信接口向标记管理模块发送第二数据，所述第一数据被存储在与所述标记管理模块相关联的存储器中；以及
-根据所述第二数据修改所述存储器。
根据本原理的另一方面，所述设备包括通信接口，并且更新所述第一数据包括：
-从对等设备经由所述通信接口接收对应于发送对等设备的标记检测性能的第一数据；
-根据所接收的第一数据更新存储在本地存储器中的第一数据；以及
-经由通信接口将更新后的第一数据传输给对等设备。
在一个实施例中，所述至少一个处理器还被配置为根据对所述标记列表的标记的检测来估计所述设备的姿态。
附图说明
在阅读以下描述时，本公开将被更好地理解，并且将会出现其他的具体特征和优点，所述描述参考附图，其中：
-图1示出了根据本原理的特定实施例，包括基准(fiducial)标记和AR设备的环境(即真实场景)；
-图2图示了根据本原理的特定实施例，在三个模块中的AR应用的分解；
-图3图解地图示了根据本原理的特定实施例，图2的三个模块的第一实施例，其中三个模块在独立设备中实现；
-图4图解地图示了根据本原理的特定实施例，图2的三个模块的第二实施例，其中三个模块在以对等模式彼此连接的不同设备中实现；
-图5图解地图示了根据本原理的特定实施例，基于客户端-服务器模型的图2的三个模块的第三实施例；
-图6图解地示出了根据非限制性有利实施例，在诸如图3、图4或图5的设备的处理设备中实现的方法的实施例；
-图7示出了根据非限制性实施例的关于图3至图5描述的实施例中的一个实施例，可以被配置为实现关于图6描述的方法的设备70的示例性架构。
具体实施方式
现在参考附图描述主题，其中相同的附图标记始终用于指代相同的元件。在下面的描述中，为了解释的目的，阐述了许多具体细节以便提供对主题的透彻理解。应该理解，可以在没有这些具体细节的情况下实践主题实施例。
根据本公开的非限制性实施例，根据运行应用的设备的可用处理资源以及一方面用于标记检测和另一方面用于AR应用的所需要的处理资源，包括检测用于增强现实应用的标记(例如，2D基准标记)的方法和设备的系统。
图1示出了包括基准标记11和AR设备12的环境(即真实场景)。所述环境还包括桌子，标记置于在桌子上的铅笔的旁边。AR设备12的照相机13正在捕捉场景的图像。当运行时，AR应用处理所捕捉的图像，以便根据照相机检测已知标记的存在、它们的位置和方向。根据这些数据，AR应用计算在根据检测到的标记定义的参考系中照相机的交互姿态(reciprocal pose)(即位置和方向)。在图1的示例中，只有一个二维基准标记，其是参考系的中心。如果用户旋转或移动设备12，标记不再在照相机13的视场内。因此，为了继续AR体验，可以在环境中分布其他标记。标记可以是没有规则图案的表面纹理或甚至三维物体。用于在捕捉图像中的标记识别和检测的具体数据被存储在由AR应用操作的存储器中。有利地，该存储器是AR设备12的元件。AR设备12包括至少一个屏幕14，在屏幕14上渲染捕捉的图像，在图像中已经根据检测到的标记根据AR设备的估计姿态集成了虚拟对象。在图1的示例中，虚拟三维字符被添加到参考系的中心处。在图1的示例中，该中心对应于检测到的基准标记。在AR应用中标记的检测是关键的，因为字符似乎必须例如在桌子上行走。如果AR设备的姿势相对于标记近似，则字符将例如飞过桌子或被插入到桌子，与此示例应用希望的相反。随后确保用于AR应用的标记检测和姿态估计模块的良好运行条件是最重要的。根据图1的示例，AR设备12是智能手机。在其他实施例中，AR设备可以是例如配备有前视图照相机的平板电脑或头戴式显示器(HMD)设备。
图2图示了根据本原理的特定实施例，三个模块中的AR应用的分解。增强现实引擎(ARE)21是确保虚拟对象的计算和渲染的模块，例如将它们集成在由图1的AR设备12的照相机13捕捉的图像中，并将它们渲染在AR设备的屏幕14上。该模块需要根据至少一个标记对AR设备的姿态进行精确和稳健的估计，以便能够可靠地运行AR体验。
标记检测和姿态估计模块(MD&PE)22负责确定标记的选择并且根据与所选择的和检测到的标记相关联的参考系来估计设备的姿态。MD和PE模块首先负责从AR设备的位置可能可见的标记列表内选择标记的子集，并且其次，检测由AR设备的照相机捕捉的即将出现的图像中的所述标记的子集的标记。一旦选择了标记的子集，则根据本领域技术人员已知的技术并根据存储在与MD&PE模块相关联的存储器中的数据执行检测过程。要被检测的标记可以是二维标记，例如基准标记、纹理表面或，例如，定向为标记的环境的三维对象。
从AR设备的位置可能可见的标记列表由标记管理(MM)模块23提供。MD&PE模块向MM模块发送对标记列表的请求。关于环境的每个已知标记的集合的数据被存储在与MM模块23相关联的存储器中。该标记的集合可以根据AR应用进行评估；新的标记可能被添加，并且某些可能从所述集合中被移除。与该标记的集合的标记相关联的数据包括以下信息：
-唯一的标记标识符；
-检测信息数据，例如标记的检测方法的类型(ARUCO、Vuforia、3D检测...)和具体于检测方法的数据(例如用于ARUCO的ID、用于Vuforia的数据库、用于3D标记的3D模型...)。它们可以用关于检测标记所需要的资源(例如存储器和处理资源)的数据(例如统计数据)来完成；
-根据应用的位置。位置格式取决于MD&PE模块定位在环境中的AR设备的方式。在室外环境中，位置数据可以是GPS坐标。在室内环境中，位置可以被表示为与房间或房间的一部分相关联的标识符。MM模块使用位置信息来选择在AR设备附近中的且因此可通过AR设备12的照相机13可见的标记，以及丢弃从此位置不可见的标记。优选地，附近的概念意味着通过AR设备从AR设备的实际位置标记可能是可检测的。从附近排除从AR设备的实际位置不是可检测的、具有较高水平的置信度，例如超过80％或90％的置信度的标记；
-根据应用的层次信息。可以根据它们在AR应用中的作用和其重要性以分层方式组织标记。由于标记可以是静止的或移动的，由于标记可参照根据另一个标记定义的参考系，由于AR动画可附加到标记，标记在应用中不具有相同的作用。表示这种分层关系的数据对选择用于MD&PE模块的标记列表可以是有用的；
-标记检测性能(MDP)数据，是标记如何容易可检测的表示。该信息是从由AR设备12的MD&PE模块提供的反馈数据计算的。根据下面详细描述的不同实施例，在一个变型中，标记检测性能数据是根据来自运行AR应用的不同AR设备的多个MD&PE模块的反馈数据计算的。当接收新的反馈数据时，MM模块更新标记检测性能数据。MDP数据被用于选择和排序标记列表中的标记，以响应请求而发送到MD&PE模块。例如，标记列表可以仅包括具有相对于超过阈值的检测性能的分数的标记，检测性能越好，分数越高；该列表按分数以降序排列整理。
在图2至图6中，模块是功能单元，其可与可区分的物理单元相关或不相关。例如，这些模块或它们中的某些可以被集中在一个唯一的组件或电路中，或者对软件的功能有贡献。相反，某些模块可能由单独的物理实体组成。与本公开相兼容的装置使用纯硬件来实现，例如使用分别为《专用集成电路》、《现场可编程门阵列》、《超大规模集成》的ASIC或FPGA或VLSI等专用硬件，，或来自被嵌入在设备中的多个集成电子组件或者来自硬件和软件组件的混合。
图3图解地图示了图2的三个模块的第一实施例，其中三个模块在独立设备30中实现。在该示例实施例中，AR设备(例如平板电脑、智能手机或配备有前置照相机的HMD)在环境中运行AR应用。为了在由设备的照相机捕捉的图像上渲染虚拟对象，增强现实引擎21需要根据来自标记检测和姿态估计模块22的环境中的至少一个标记对AR设备的姿态进行稳健的估计。首先，MD&PE模块22根据来自标记管理模块23的设备位置，请求可能可见的标记列表。只有当MD&PE模块22检测设备进入新位置时，才可以请求标记列表。在一个变型中，周期性地请求标记列表的更新，例如每秒或每5秒。在另一变型中，当观察到标记检测中的修改时，例如，当没有检测到列表的标记时，或者当检测到的标记离开照相机的视场时，或者更一般地，当检测到的标记不再被检测到时，或当用于其检测的必需存储器和/或处理资源超过阈值变化时，MD&PE模块请求列表的更新。MD&PE模块处理由AR设备30的照相机捕捉的图像以检测由MM模块23提供的列表的标记，并且监测列表的标记是否被检测到，并且如果是，监测用于其检测的存储器和处理资源。MD&PE模块22根据检测到的标记估计AR设备30的姿态，并将该姿态传送到ARE 21。并行地，MD&PE模块22在检测列表的标记的同时，将监测到的数据反馈给MM模块23。
如参考图2所描述的，相对于环境的每个已知标记的集合的数据被存储在与MM模块23相关联的存储器中。经来自MD&PE模块22的请求，MM模块23从请求中指示的位置建立可能可见的标记列表。根据表示标记检测性能的数据排列该列表的标记。当从MD&PE模块22接收监测反馈时，MM模块23更新在其相关联的存储器中的这些数据。因而，来自MD&PE模块的下一个请求将得到、响应根据更新的检测性能数据被选择和排序的标记列表。在图3的示例实施例中，设备30是独立的。与MM模块23相关联的存储器中的标记数据根据AR设备30的MD&PE模块22的活动而被设置和更新。
图4图解地图示了图2的三个模块的第二实施例，其中三个模块在以对等模式彼此连接的不同设备40中实现。AR设备40的ARE模块和MD&PE模块与图2和图3的ARE 21和MD&PE模块22相似。如MM模块23，标记管理模块43依其设备的MD&PE模块的请求建立标记列表，并收集来自MD&PE的标记检测性能数据。另外，AR设备40的MM模块43与其他AR设备40的MM模块43共享其标记数据。换句话说，MM模块43包括通信接口，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE802.11接口或接口)。通过此通信接口，当MM模块43从它们相关联的MD&PE模块接收反馈数据时，MM模块43从其他MM模块43接收数据。MM模块43一方面根据来自其相关联的MD&PE模块22的监测到的反馈MDP数据，以及另一方面根据来自其他MM模块43的接收到的MDP数据，更新其自己的MDP数据。
MM模块43保存与MM模块43实现在其中的设备40相关联的存储器中的可连接对等体的列表。根据与通信设备的类型相关的公知手段(例如WiFi或)保持更新该列表。当从相关联的MD&PE模块接收反馈数据时，MM模块43将反馈数据发送给可连接的对等体。在一个变型中，当在性能数据内检测到显著变化或改变时，例如当与标记相关联的性能数据突然减少超过预定百分比(例如50％或75％)或者当检测到已经在一段时间内未被检测到的标记时，MM模块43将反馈数据发送给可连接的对等体。
MM模块43接收来自在不同设备40中实施的对等MM模块43的反馈数据。设备40不具有相同的处理资源。由对等MM模块发送和接收的反馈数据包括关于标记检测性能(MDP)的信息和关于关联设备40的处理资源的信息。远程MDP根据两个设备40(远程设备和本地设备)的处理资源与本地MDP合并。具有比第二设备40更多的处理资源的第一设备40根据它们的处理资源之间的差异来适配从第二设备接收的反馈数据，以将这些数据与其自己的MDP合并。
图5图解地图示了基于客户端-服务器模型的图2的三个模块的第三实施例。在该示例实施例中，图2的MD&PE模块和ARE在增强现实设备50中实现。设备50不包括MM模块。服务器设备51实现由每个客户设备50共享的MM模块53。设备50的MD&PE模块和服务器设备51的MM模块包括通信接口，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)。MD&PE模块通过它们的通信接口向MM模块53发送所排序的标记列表的请求。如在图4的对等实施例中那样，由MD&PE模块发送到MM模块53的反馈数据收集发送客户端设备50的MDP和处理资源信息。在一个变型中，反馈数据不包括处理资源信息，服务器设备51将每个客户端设备50的处理资源信息存储在本地存储器中。服务器设备51的MM模块根据关联的处理资源来存储和合并MDP数据。当从MD&PE模块接收请求时，MM模块53根据与在请求中提供的位置相关联的标记检测性能数据以及根据请求列表的设备50的处理资源建立标记列表。
图6图解地示出了根据非限制性有利实施例的在诸如图3、图4或图5的设备的处理设备中实现的方法600的实施例。例如作为图3、图4或图5的实施例之一被构造的三个模块实现所述方法的步骤并交换消息。增强现实应用程序开始在AR设备上运行。所述应用需要对设备进行稳健的姿态估计。设备的姿态是参照被放置在其附近环境中的标记而被估计的。
在步骤601中，标记检测和姿态估计模块62检测环境中设备的位置。该位置比精确的空间坐标更邻近。在室外环境中，位置数据可以是GPS坐标。在室内环境中，位置可以被表示为与房间或房间的一部分相关联的标识符。在步骤601，MD&PE模块向标记管理器模块63发送消息602，根据检测到的位置请求标记列表。
在步骤603中，MM模块63响应于来自MD&PE模块62的消息602而构建标记列表。如关于图1所描述的与数据相关联的标记的集合被存储在与MM模块相关联的存储器中。MM模块62建立从实现请求MD&PE模块的设备的位置和处理资源可能可见的、排序的标记列表。处理资源信息可以是消息602的一部分。在一个变型中，实现用于AR应用的MD&PE模块的设备的处理资源信息被存储在与MM模块63相关联的存储器中。标记列表可以被排序，例如，根据与存储器中的每个标记相关联的标记检测数据。作为对请求602的响应，排序的标记列表在消息604中被发送给请求MD&PE模块62。
在步骤605中，MD&PE模块62接收排序的标记列表。在连续的步骤606中，MD&PE模块62执行在由与设备相关联的照相机捕捉的图像中的、接收到的列表的标记的检测。根据要检测的每个标记的类型可以使用不同的算法。在检测标记时，MD&PE模块监测用于列表中的每个标记的标记检测性能信息。如果在步骤605期间没有检测到标记，向MM模块发送新的请求602以获得新的标记列表。MD&PE模块可以在请求602中设置标志以指示这是新的请求以便获得不同的标记。
在步骤607中，根据检测到的标记来估计实现MD&PE模块的设备的姿态。模块62向包括姿态估计的增强现实引擎61发送消息608。模块60向MM模块63发送消息609，消息609包括关于在步骤606期间监测的标记检测性能的反馈数据。
在步骤610中，增强现实引擎61使用通过消息608接收的姿态估计来运行AR应用。ARE 61正在处理资源消耗。根据应用需求，这种消耗随时间而变化。ARE 61可以向MM模块63发送消息612，消息612包括表示当前使用的处理资源的数据。在一个变型中，消息612也被发送到MD&PE模块62，其在步骤607中将这些数据添加到消息609至MM模块62。
在步骤611中，MM模块63将经由消息609接收的反馈数据与存储在与模块63相关联的存储器中的标记数据合并。对于列表中的标记，新的标记检测性能数据(MDP)与用于给定标记的存储的MDP数据的合并是根据实现ARE 61和MD&PE模块62的设备的处理资源来执行的。设备的平均处理资源可以被存储在与模块63相关联的存储器中，并且可以在从ARE 61接收到消息612时被更新。在一个变型中，处理资源被包括在消息609中。
在步骤613中，即使对于图5的MM模块53，MM模块63可以通过向对等MM模块发送消息614，与远程MM模块共享存储在其关联的存储器中的标记数据。
图7示出了根据关于图3至图5描述的实施例中的一个实施例，可以被配置为实现关于图6描述的方法的设备70的示例性架构。
设备70包括通过数据和地址总线71链接在一起的以下元件：
-微处理器72(或CPU)，其例如是DSP(或数字信号处理器)；
-ROM(或只读存储器)73；
-RAM(或随机存取存储器)74；
-存储接口75；
-用于从应用对要传送的数据进行接收的I/O接口76；和
-电源，例如电池。
根据一个示例，电源在设备外部。在每个提及的存储器中，说明书中使用的“寄存器”一词可以对应于小容量区域(某些比特位)或非常大的区域(例如整个程序或大量的接收或解码数据)。ROM 73至少包括程序和参数。ROM 73可以存储根据本原理的算法和指令以执行技术。当开启时，CPU 72将程序上传到RAM中并实施对应的指令。
RAM 74包括在寄存器中由CPU 72实施并在设备70开启之后上传的程序、在寄存器中的输入数据、在寄存器中的方法的在不同状态中的中间数据以及被用于在寄存器中方法的实施的其他变量。
根据示例，设备70被配置为实现关于图6描述的方法，并且属于包括以下各项的集合：
-移动设备；
-游戏设备；
-平板电脑(或平板计算机)；
-膝上型电脑；
-服务器(例如网络服务器)。
自然地，本公开不限于先前描述的实施例。
具体地，本公开不限于用于管理增强现实应用的标记以提高姿态估计的方法，并且扩展到用于管理虚拟现实应用的标记的方法或用于优化环境中AR或VR标记的分布的方法以及实现这些方法的任何设备。实现这些方法必需的计算的实现方式不限于在着色器(shader)类型微程序中的实现方式，并且扩展到任何程序类型(例如可以由CPU类型的微处理器实施的程序)的实现方式。本公开的方法的使用不限于实况利用，并且扩展到任何其他利用，例如用于作为在录音棚中的后期制作处理所知的处理。
这里描述的实现方式可以用例如方法或过程、装置、软件程序、数据流或信号来实现。即使仅在实现方式的单一形式(例如，仅作为方法或设备讨论)的背景中讨论，所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以在例如诸如例如处理器的装置中实现，处理器通常指包括例如计算机、微处理器、集成电路或可编程逻辑器件的处理设备。处理器还包括通信设备，诸如，例如智能手机、平板电脑、计算机、移动电话、便携/个人数字助理(“PDA”)以及促成终端用户之间信息通信的其他设备。
本文描述的各种过程和特征的实现方式可以体现在各种不同的设备或应用中，具体地，例如，与数据编码、数据解码、视图生成、纹理处理以及图像和相关的纹理信息和/或深度信息的其他处理相关联的装置或应用。这样的装置的示例包括编码器、解码器、从解码器输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网页服务器、机顶盒、膝上型电脑、个人电脑、手机、PDA和其他通信设备。应该清楚，该装置可以是移动的，以及甚至可以被安装在移动车辆中。
另外，方法可以通过由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以被存储在处理器可读介质上，诸如，例如集成电路，软件载体或诸如例如硬盘、紧密型光盘(“CD”)、光盘(诸如，例如，DVD，通常被称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)的其他存储设备。指令可以形成可触知地体现在处理器可读介质上的应用程序。例如，指令可以是硬件、固件、软件或其组合。指令可以在例如操作系统、单独的应用程序或两者的组合中找到。因此，处理器可以被表征为例如被配置为进行处理的设备和包括具有用于进行处理的指令的处理器可读介质(诸如存储设备)的设备。此外，除指令之外或代替指令，处理器可读介质可以存储由实现方式产生的数据值。
对于本领域技术人员而言显而易见的是，实现方式可以产生格式化为携带可以例如存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式中的一个实现方式产生的数据。例如，信号可以被格式化以将用于写入或读取所描述的实施例的语法的规则作为数据携带，或者作为由所描述的实施例写入的实际语法值作为数据携带。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路传输。该信号可以存储在处理器可读介质上。
已经描述了多种实现方式。然而，无论如何，可以理解的是，可以进行各种修改。例如，不同实现方式的元件可以被组合、补充、修改或移除以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以替代所公开的那些结构和过程，并且所得到的实现方式将以至少基本上相同的方式执行至少基本上相同的功能，以取得与所公开的实现方式至少基本上相同的结果。相应地，这些和其他实现方式是由本申请构思的。

Claims (10)

1.一种用于设备的检测标记的方法，所述方法包括：
-根据所述设备的位置以及根据表示所述设备的标记检测性能的第一数据，在标记集合中选择标记列表；所述第一数据与所述标记集合的标记相关联；所述标记被选择为在所述位置的附近，并且所述列表根据所述第一数据被排序；
-在由所述设备检测所述标记列表的标记时，生成表示标记检测性能的第二数据；以及
-根据所述第二数据更新所述第一数据。
2.如权利要求1所述的方法，其中选择标记列表包括：
-向标记管理模块发送包括设备的位置的请求，所述第一数据被存储在与所述标记管理模块相关联的存储器中；以及
-从所述标记管理模块接收，响应于所述请求的、根据设备的所述位置和所述第一数据计算的标记列表。
3.如权利要求1所述的方法，其中更新所述第一数据包括：
-向标记管理模块发送所述第二数据，所述第一数据被存储在与所述标记管理模块相关联的存储器中；以及
-根据所述第二数据修改所述存储器。
4.如权利要求1所述的方法，其中更新所述第一数据包括：
-从对等设备接收对应于发送对等设备的标记检测性能的第一数据；
-根据所接收的第一数据更新存储在本地存储器中的第一数据；以及
-将更新后的第一数据传送给对等设备。
5.如权利要求1至4中一项所述的方法，还包括根据所述标记列表的标记的检测来估计所述设备的姿态。
6.一种被配置为检测标记的设备，所述设备包括与至少一个处理器相关联的至少一个存储器，所述处理器被配置为：
-根据所述设备的位置以及根据表示所述设备的标记检测性能的第一数据在标记集合中选择标记列表；所述第一数据与所述标记集合的标记相关联；所述标记被选择为在所述位置的附近，并且所述列表根据所述第一数据被排序；
-在由所述设备检测标记列表的标记时，生成代表标记检测性能的第二数据；以及
-根据所述第二数据更新所述第一数据。
7.如权利要求6所述的设备，其中所述设备还包括通信接口，所述通信接口被配置为通过下述选择标记列表：
-向标记管理模块发送包括设备的位置的请求，所述第一数据被存储在与所述标记管理模块相关联的存储器中；以及
-从所述标记管理模块接收，响应于所述请求的、根据设备的所述位置和所述第一数据选择的标记列表。
8.如权利要求6所述的设备，其中所述设备还包括通信接口，并且其中更新所述第一数据包括：
-经由所述通信接口向标记管理模块发送所述第二数据，所述第一数据被存储在与所述标记管理模块相关联的存储器中；以及
-根据所述第二数据修改所述存储器。
9.如权利要求6所述的设备，其中所述设备还包括通信接口，并且其中更新所述第一数据包括：
-从对等设备经由所述通信接口接收对应于发送对等设备的标记检测性能的第一数据；
-根据所接收的第一数据更新存储在本地存储器中的第一数据；以及
-经由所述通信接口将更新后的第一数据传送给对等设备。
10.如权利要求6至9中的一项所述的设备，其中，所述至少一个处理器还被配置为根据对所述标记列表的标记的检测来估计所述设备的姿态。
CN201810612192.XA 2017-06-16 2018-06-14 优化用于姿态估计的标记管理的方法和设备 Pending CN109146964A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17305737.3 2017-06-16
EP17305737.3A EP3416092A1 (en) 2017-06-16 2017-06-16 Method and devices to optimize marker management for pose estimation

Publications (1)

Publication Number Publication Date
CN109146964A true CN109146964A (zh) 2019-01-04

Family

ID=59269972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810612192.XA Pending CN109146964A (zh) 2017-06-16 2018-06-14 优化用于姿态估计的标记管理的方法和设备

Country Status (5)

Country Link
US (1) US20180365855A1 (zh)
EP (2) EP3416092A1 (zh)
JP (1) JP2019053032A (zh)
KR (1) KR20180137412A (zh)
CN (1) CN109146964A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
WO2020145984A1 (en) * 2019-01-11 2020-07-16 Hewlett-Packard Development Company, L.P. Optimized mesh representations
WO2020169084A1 (en) * 2019-02-22 2020-08-27 100 Fire Limited A method and system for selecting and displaying augmented reality content
US11382699B2 (en) * 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
KR20220076048A (ko) * 2020-11-30 2022-06-08 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141925A (zh) * 2010-02-02 2011-08-03 微软公司 使用第三方目标状态的适用性检测
WO2015050288A1 (ko) * 2013-10-01 2015-04-09 목포대학교산학협력단 소셜 증강현실 서비스 시스템 및 방법
WO2015176163A1 (en) * 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
US20160077015A1 (en) * 2011-09-25 2016-03-17 Theranos, Inc. Systems and methods for multi-analysis
CN106605377A (zh) * 2015-02-27 2017-04-26 松下电器（美国）知识产权公司 信号生成方法、信号生成装置以及程序
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110187731A1 (en) * 2009-07-10 2011-08-04 Yasuhiro Tsuchida Marker display control device, integrated circuit, and marker display control method
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
EP3159829A1 (en) * 2015-10-21 2017-04-26 Thomson Licensing Methods of detecting and managing a fiducial marker displayed on a display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141925A (zh) * 2010-02-02 2011-08-03 微软公司 使用第三方目标状态的适用性检测
US20160077015A1 (en) * 2011-09-25 2016-03-17 Theranos, Inc. Systems and methods for multi-analysis
WO2015050288A1 (ko) * 2013-10-01 2015-04-09 목포대학교산학협력단 소셜 증강현실 서비스 시스템 및 방법
WO2015176163A1 (en) * 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
CN106605377A (zh) * 2015-02-27 2017-04-26 松下电器（美国）知识产权公司 信号生成方法、信号生成装置以及程序

Also Published As

Publication number Publication date
EP3416098A1 (en) 2018-12-19
JP2019053032A (ja) 2019-04-04
US20180365855A1 (en) 2018-12-20
KR20180137412A (ko) 2018-12-27
EP3416092A1 (en) 2018-12-19

Similar Documents

Publication Publication Date Title
CN109146964A (zh) 优化用于姿态估计的标记管理的方法和设备
US11729245B2 (en) Platform for constructing and consuming realm and object feature clouds
CN107004028B (zh) 可缩放3d地图绘制系统
JP6931138B1 (ja) デバイスローカリゼーションのためのマルチシンクアンサンブルモデル
CN109325978A (zh) 增强现实显示的方法、姿态信息的确定方法及装置
JP6353175B1 (ja) 視覚特徴を使用した画像の自動結合
JP6571262B2 (ja) 複数のモデルに基づくオブジェクトの表示
Shao et al. Marble: Mobile augmented reality using a distributed ble beacon infrastructure
WO2021093703A1 (zh) 基于光通信装置的交互方法和系统
CN105657825A (zh) 一种定位方法、移动终端、云服务器及定位系统
CN110263800B (zh) 基于图像的位置确定
CN106840167B (zh) 基于街景地图的目标物地理位置的二维量测算方法
CN104253864A (zh) 一种数据分层存储方法及系统
Noreikis et al. SnapTask: Towards efficient visual crowdsourcing for indoor mapping
Tang et al. CrowdLoc: Robust image indoor localization with edge-assisted crowdsensing
CN112882569B (zh) Ar交互方法、终端设备及云端地图管理系统
Yookwan Wireless visual sensor network for 3D scene perception and reconstruction
Park et al. AnchorLoc: Large-Scale, Real-Time Visual Localisation Through Anchor Extraction and Detection
Peter Crowd-sourced reconstruction of building interiors
CN116916443A (zh) 定位方法、装置、通信设备及存储介质
CN111754449A (zh) 基于光通信装置的场景重构方法和相应的电子设备
TW201339985A (zh) 交替視覺呈現技術
CN109633528A (zh) 一种位置确定系统、方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20190606

Address after: Paris France

Applicant after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Applicant before: THOMSON LICENSING

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104

WD01 Invention patent application deemed withdrawn after publication