CN108140129A - 检测和管理显示器设备上显示的基准标记的方法 - Google Patents

检测和管理显示器设备上显示的基准标记的方法 Download PDF

Info

Publication number
CN108140129A
CN108140129A CN201680061657.6A CN201680061657A CN108140129A CN 108140129 A CN108140129 A CN 108140129A CN 201680061657 A CN201680061657 A CN 201680061657A CN 108140129 A CN108140129 A CN 108140129A
Authority
CN
China
Prior art keywords
reference mark
attribute
attribute information
new
portable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680061657.6A
Other languages
English (en)
Inventor
埃里克·休伯特
帕特里斯·希尔斯林
让-欧德斯·马维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108140129A publication Critical patent/CN108140129A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提出了一种检测现实世界中的显示器设备(2)上显示的基准标记的方法，其中包括相机和标记检测器单元在内的便携式设备(1)执行以下操作：获得当前属性信息，当前属性信息表示与显示的基准标记(5)相关联的至少一个可修改属性的当前值；根据当前属性信息在显示器设备上显示的图像中检测显示的基准标记；根据当前属性信息和检测到的显示的基准标记，计算表示在现实世界中便携式设备相对于显示的基准标记的姿态的姿态信息；以及获得表示至少一个可修改属性的第一新值的第一新属性信息，第一新值取决于计算出的姿态信息。

Description

检测和管理显示器设备上显示的基准标记的方法
技术领域
本公开的领域是基于标记的增强现实系统的领域。
更具体地，本公开涉及一种检测现实世界中的在显示器设备上显示的基准标记的方法，以及一种管理在显示器设备上显示的这种基准标记的方法。
背景技术
通常，基于标记的增强现实系统包括：捕获模块，从相机捕获图像；跟踪模块(也称为“标记检测器单元”)，检测基准标记(例如，2D条形码标记)并且推导出相机的姿态(即，位置和取向)；以及呈现模块，使用姿态组合原始图像和虚拟组分(即，3D计算机产生的对象)，然后将增强图像呈现在屏幕上。
这样的系统例如嵌入在便携式设备(光学或透视设备)或个人计算机中，也包括相机和屏幕。便携式设备例如是智能电话、平板电脑、头戴式显示器(HMD)等。
基于标记的增强现实系统多种多样并且面向若干应用领域(例如，游戏、市场营销、医学成像等)。
基准标记在相机的视野中被定位于现实世界中。在任何环境下，基准标记都必须是容易且可靠地可检测到的。基准标记通常包括由几何上简单的形状(例如，正方形或长方形)组成的2D黑白图案。在大多数系统中，基准标记被印刷(例如，在要被粘贴在现实对象、地板或墙上的标签上)。在一些其它系统中，基准标记显示在诸如电视机之类的显示器设备(不要与呈现增强图像的屏幕混淆)上。
顾名思义，基于标记的增强现实系统高度依赖于标记检测器的可靠性。当标记检测丢失或不稳定时，就会失去现实对象与虚拟对象之间的链路，并将打破用户沉浸。这可以由以下任何限制引起：
·标记超出相机视野界线；
·与到相机的距离相比，标记大小太小，并且相机分辨率不够；
·标记大小太大(或现在相机太近了)：标记比相机的视野大；
·与相机所捕获的图像中的其余内容相比，标记内部对比度太低：例如，标记现在处于阴影中，而图片的主要部分非常亮；
·当相机刚好位于标记的前方时，也可能会出现一些检测不稳定。
基于标记的增强现实系统受到标记属性的限制。全部已知的基于标记的增强现实系统使用静态标记，即具有固定(不变化的)属性(包括位置和取向)的(打印的或显示的)标记。当使用这样的静态标记时，系统的标记检测效率受到标记属性的初始设置选择的限制。不幸的是，即使仔细选择了标记属性，在标记检测丢失或不稳定的情况下也不总是能够防止上面列出的限制。
因此，需要提高基于标记的增强现实系统的鲁棒性。
发明内容
本公开的特定方面涉及一种检测在现实世界中的显示器设备上显示的基准标记的方法，其中包括相机和标记检测器单元在内的便携式设备执行以下操作：
-获得当前属性信息，当前属性信息表示与所述显示的基准标记相关联的至少一个可修改属性的当前值；
-根据所述当前属性信息在所述显示器设备上显示的图像中检测所述显示的基准标记；
-根据所述当前属性信息和所述检测到的显示的基准标记，计算表示在现实世界中所述便携式设备相对于所述显示的基准标记的姿态的姿态信息；以及
-获得表示所述至少一个可修改属性的第一新值的第一新属性信息，所述第一新值取决于所述计算出的姿态信息。
一般原理是使用“动态显示的标记”而不是通常使用的静态(打印的或显示的)标记。“动态显示的标记”是指在显示器设备上显示的并且与至少一个可修改属性相关联的标记。
利用所提出的解决方案，当可以检测动态显示的标记时，并且由此当可以计算便携式设备的当前姿态时，考虑计算出的当前姿态，对动态显示的标记的至少一个可修改属性的值进行改变(从当前值到第一新值)。这允许自适应更新动态显示的标记，这提高了标记检测效率，并且由此提高了执行所提出的检测方法的基于标记的增强现实系统的鲁棒性。
在检测方法的特定实现中，获得第一新属性信息包括：根据所述计算出的姿态信息，将所述至少一个可修改属性的当前值改变为第一新值。
因此，在上述自适应更新时，便携式设备自己执行对至少一个可修改属性的当前值的改变。
在检测方法的备选实现中，获得第一新属性信息包括：
-发送所述计算出的姿态信息，以允许标记管理器设备根据所述计算出的姿态信息将所述至少一个可修改属性的当前值改变为所述第一新值；以及
-接收表示所述第一新值的所述第一新属性信息。
因此，在前述自适应更新的该备选实现中，改变至少一个可修改属性的当前值不是由便携式设备执行的，而是由标记管理器设备执行的。
根据检测方法的特定特征，如果没有检测到所述显示的基准标记，则便携式设备执行以下操作：
-获得表示所述至少一个可修改属性的第二新值的第二新属性信息；以及
-根据所述第二新属性信息，在所述显示器设备上显示的图像中检测所述显示的基准标记。
利用所提出的解决方案，当不能检测到动态显示的标记时，并且由此当不能计算便携式设备的当前姿态时，动态显示的标记的至少一个可修改属性的值也被改变(从当前值到第二新值)，但是使用猜测和/或系统状态历史(即，至少一个可修改属性的先前值和/或便携式设备的姿态的先前值)来改变。这允许校正性地更新动态显示的标记，这也提高了标记检测效率。
在检测方法的特定实现中，获得第二新属性信息包括：将所述至少一个可修改属性的当前值改变为第二新值。
因此，在上述校正性更新中，便携式设备自己执行对至少一个可修改属性的当前值的改变。
在检测方法的备选实现中，获得第二新属性信息包括：
-发送失败信息，以允许所述标记管理器设备将所述至少一个可修改属性的当前值改变为所述第二新值；以及
-接收表示所述第二新值的所述第二新属性信息。
因此，在前述校正性更新的该备选实现中，改变至少一个可修改属性的当前值不是由便携式设备执行的，而是由标记管理器设备执行的。
本公开的另一方面涉及一种管理在现实世界中的在显示器设备上显示的至少一个基准标记的方法，其中标记管理器设备执行以下操作：
-发送表示与所述显示的基准标记相关联的至少一个可修改属性的当前值的当前属性信息，以允许便携式设备在所述显示器上显示的图像中检测所述显示的基准标记；
-接收表示在现实世界中所述便携式设备相对于所述显示的基准标记的姿态的姿态信息；
-根据所述接收到的姿态信息，将所述至少一个可修改属性的当前值改变为第一新值；以及
-向所述便携式设备发送表示所述第一新值的第一新属性信息。
这与上述自适应更新的备选实现相对应，其中至少一个可修改属性的当前值的改变是由标记管理器设备执行的。
根据管理方法的特定特征，如果标记管理器设备没有接收到所述姿态信息，而是接收到了指示未检测到所述显示的基准标记的失败信息，则标记管理器设备执行以下操作：
-将所述至少一个可修改属性的当前值改变为第二新值；以及
-发送表示所述至少一个可修改属性的所述第二新值的第二新属性信息。
这与上述校正性更新的备选实现相对应，其中至少一个可修改属性的当前值的改变是由标记管理器设备执行的。
根据管理方法的特定特征，标记管理器设备管理在所述显示器设备上显示的并且均与不同的便携式设备相关联的若干基准标记。当执行将所述至少一个可修改属性的当前值改变为第一新值或第二新值的步骤时，对于所述显示的基准标记中的一个给定的显示的基准标记，标记管理器设备处理所述给定的显示的基准标记和所述显示的基准标记中的其它显示的基准标记之间的至少一种冲突情况。
因此，可以在相同显示器设备上显示若干基准标记(每个基准标记是由不同的用户使用不同的便携式设备检测的)。
根据管理方法的特定特征，所述至少一种冲突情况属于包括以下各项的组：
-至少两个显示的基准标记之间的碰撞；以及
-至少两个显示的基准标记之间的遮挡。
根据检测方法和/或管理方法的特定特征，所述至少一个可修改属性属于包括以下各项的组：
-所述显示的基准标记在所述显示的图像中的位置；
-所述显示的基准标记在所述显示的图像中的取向；
-所述显示的基准标记在所述显示的图像中的大小；
-所述显示的基准标记在所述显示的图像中的颜色；
-所述显示的基准标记在所述显示的图像中的亮度；
-所述显示的基准标记在所述显示的图像中的对比度；
-所述显示的基准标记在所述显示的图像中的图案。
根据实现，可以使用这些可修改属性中的一个或若干个。该列表不是穷举的。通过增加所使用的可修改属性的数量，我们提高了标记检测效率。
在检测方法和/或管理方法的特定实现中，便携式设备是光学透视设备或视频透视设备。
本公开的另一方面涉及一种计算机程序产品，其包括程序代码指令，所述程序代码指令用于当在计算机或处理器上执行所述程序时实现以上提及的(在不同实施例中的任何实施例中的)检测基准标记的方法和/或(在不同实施例的任何实施例中的)管理基准标记的方法。
本公开的另一方面涉及一种非暂时性计算机可读载体介质，存储上述计算机程序产品，即在由计算机或处理器执行时使得计算机或处理器执行检测基准标记的方法和/或管理基准标记的方法的程序。
本公开的另一方面涉及一种基于标记的增强现实系统的便携式设备，所述便携式设备包括相机和标记检测器单元，并且被配置为检测在现实世界中的显示器设备上显示的基准标记。所述便携式设备包括：
-用于获得当前属性信息的装置，所述当前属性信息表示与所述显示的基准标记相关联的至少一个可修改属性的当前值；
-用于根据所述当前属性信息在所述显示器设备上显示的图像中检测所述显示的基准标记的装置；
-用于根据所述当前属性信息和所述检测到的显示的基准标记计算表示在现实世界中所述便携式设备相对于显示的基准标记的姿态的姿态信息的装置；以及
-用于获得表示所述至少一个可修改属性的新的值的新的属性信息的装置，所述新的值取决于所述计算出的姿态信息。
本公开的另一方面涉及一种基于标记的增强现实系统的便携式设备，所述便携式设备包括相机和标记检测器单元，并且被配置为检测在现实世界中的显示器设备上显示的基准标记，所述便携式设备包括：
-接收器，被配置为获得当前属性信息，当前属性信息表示与所述显示的基准标记相关联的至少一个可修改属性的当前值；
-检测器，被配置为根据当前属性信息在所述显示器设备上显示的图像中检测显示的基准标记；
-处理器，被配置为根据所述当前属性信息和所述检测到的显示的基准标记，计算表示在现实世界中所述便携式设备相对于显示的基准标记的姿态的姿态信息；以及
-接收器或处理器，被配置为获得表示所述至少一个可修改属性的新的值的新的属性信息，所述新的值取决于所述计算出的姿态信息。
有利地，在各种实施例中的任何一个实施例中，便携式设备包括用于实现其所执行的如上所述的检测基准标记的方法中的步骤的装置。
本公开的另一方面涉及一种基于标记的增强现实系统的标记管理器设备，所述标记管理器设备被配置为管理在现实世界中的显示器设备上显示的至少一个基准标记。所述标记管理器设备包括：
-用于发送表示与所述显示的基准标记相关联的至少一个可修改属性的当前值的当前属性信息以允许便携式设备在所述显示器上显示的图像中检测所述显示的基准标记的装置；
-用于接收表示在现实世界中所述便携式设备相对于显示的基准标记的姿态的姿态信息的装置；以及
-用于根据所述接收到的姿态信息将所述至少一个可修改属性的当前值改变为新的值的装置；以及
-用于向所述便携式设备发送表示所述第一新值的第一新属性信息的装置。
本公开的另一方面涉及一种基于标记的增强现实系统的标记管理器设备，所述标记管理器设备被配置为管理在现实世界中的显示器设备上显示的至少一个基准标记。所述标记管理器设备包括：
-发送器，被配置为发送表示与所述显示的基准标记相关联的至少一个可修改属性的当前值的当前属性信息，以允许便携式设备在所述显示器上显示的图像中检测所述显示的基准标记；
-接收器，被配置为接收表示在现实世界中所述便携式设备相对于显示的基准标记的姿态的姿态信息；以及
-处理器，被配置为用于根据所述接收到的姿态信息，将所述至少一个可修改属性的当前值改变为新的值；以及
-发送器，被配置为向所述便携式设备发送表示所述第一新值的第一新属性信息。
有利地，在各种实施例中的任何一个实施例中，标记管理器设备包括用于实现其所执行的如上所述管理基准标记的方法中的步骤的装置。
附图说明
根据通过示意和非详尽示例的方式给出的以下描述以及根据附图，实施例的其他特征和优点将是清楚的，其中：
-图1A和图1B提供了根据本发明的特定实施例的动态标记位置和规模随时间演变的示例的示意图；
-图2A和图2B分别是根据本发明第一实施例的检测基准标记的方法和管理基准标记的对应方法的流程图；
-图3A和图3B分别是根据本发明第二实施例的检测基准标记的方法和管理基准标记的对应方法的流程图；
图4是本发明的多用户实施例的示意图；
图5示出了根据本发明的特定实施例的便携式设备的简化结构；以及
图6示出了根据本发明的特定实施例的标记管理器设备的简化结构。
具体实施方式
在本文档的全部附图中，相似的元件和步骤由相同的附图标记表示。
现在参考图1A和图1B，我们提出了可以应用本公开的特定实施例的基于标记的增强现实系统的示例。
该系统的示例包括标记管理器设备3(例如，个人计算机)、显示器设备2(例如，电视机)和便携式设备1(例如，智能电话、平板电脑、头戴式显示器(HMD)或任何光学或透视设备)。
标记管理器设备3管理至少一个基准标记以及在显示器设备2上的该基准标记的显示。(视觉地显现在显示器设备2上的)显示的基准标记在图1A中被参考为5，在图1B中被参考为5’。
在图1A和图1B的示例中，标记管理器设备3经由直接链路7与显示器设备2通信。在备选实施例(未示出)中，通过网络实现了链路。
在图1A和图1B的示例中，仅示出了一个显示的基准标记5、5’，对应于单用户实施例。多用户实施例参见图4，在该实施例中，相同显示器设备上显示了若干标记。
便携式设备1包括相机、屏幕、捕获模块、跟踪模块(也称为“标记检测器单元”)和呈现模块。捕获模块从相机捕获图像。在图1A和图1B的示例中，所捕获的图像与在显示器设备2上显示的图像的一部分相对应，并且该部分在图1A中被参考为6，在图1B中被参考为6’。跟踪模块在所捕获的图像中检测显示的基准标记5、5’，并且推导出相机的姿态(即，位置和取向)。呈现模块使用该姿态将原始捕获的图像(或者在光学透视便携式设备的情况下的现实世界视图)与一个或若干个虚拟组分(即，3D计算机产生的对象)组合，然后将增强的图像呈现在屏幕上。
在图1A和图1B的示例中，便携式设备1经由通过网络4的链路8a、8b与标记管理器设备3通信。在备选实施例(未示出)中，实现了直接链路(即，不通过网络)。
图1A和图1B示出了所提出的解决方案的一般原理，即，使用与至少一个可修改属性相关联的动态显示标记5、5’。更确切地，图1A和图1B提供了动态标记的两个属性(即，其位置和规模)随时间演变的示例的示意图。在该示例中，在T＝t0(图1A中示出的情况)和T＝t1(图1B中示出的情况)之间，用户移动了便携式设备1，转换到右边同时更靠近显示器设备2。显示的标记(图1A中参考的5和图1B中参考的5’)相应地移动和按比例缩放。如果不是，则便携式设备1的相机将不再能够看见显示的标记。
根据实现，动态标记的一个或若干属性是可修改的。可修改属性的非穷举列表包括：
-显示的基准标记在所显示的图像(即，在显示器设备2上显示的图像)中的位置；
-显示的基准标记在所显示的图像中的取向；
-显示的基准标记在所显示的图像中的大小；
-显示的基准标记在所显示的图像中的颜色；
-显示的基准标记在所显示的图像中的亮度；
-显示的基准标记在所显示的图像中的对比度；
-显示的基准标记在所显示的图像中的图案；
-...
通过改变一个或若干可修改属性的值(即，通过对一个或若干标记属性进行实时修改)，所提出的解决方案允许防止(在标记检测丢失或不稳定的情况下的)背景解决方案中的上面列出的限制中的至少一些。换句话说，所提出的解决方案允许例如以下动作中的一个或全部来改变所显示的动态标记：
·移动显示的标记(即，改变其位置)以确保它保持在相机视野内；
·改变显示的标记的大小，以适合于便携式设备1和显示器设备2之间的距离；
·改变显示的标记的颜色和/或亮度和/或对比度，以适合于便携式设备1的相机所捕获的图像；
·改变显示的标记的取向，以避免显示的标记直接显示在检测器的前面(即，估计的姿态可以在接近值之间波动的情况)。
在下面详细描述的实施例中，这些改变动作可以前摄地或者作为故障切换机制来完成。对于这两者，我们在标记管理器设备3和便携式设备1之间使用反馈回路。
现在参考图2A和图2B，根据本原理的第一实施例，我们提出了一种检测基准标记(由便携式设备1执行；图2A)的方法和管理基准标记的相应方法(由标记管理器设备3执行；图2B)。
现在我们详细描述图2A的流程图。
在初始化步骤21中，便携式设备1接收(由标记管理器设备3发送的)初始化属性信息，初始化属性信息表示与显示的基准标记相关联的每个可修改属性的初始化值。
在标记检测步骤22中，便携式设备1尝试根据当前属性信息(在该阶段，是初始化属性信息)在显示器设备2上显示的图像中检测显示的基准标记。
如果在步骤22中没有找到显示的基准标记(即，在测试步骤23处为否定答案的情况下)，则便携式设备1执行：
·步骤210，在该步骤中，便携式设备1发送失败信息以允许标记管理器设备将一个、若干个或全部可修改属性的当前值(在目前情况下的初始值)改变为新的值，并且获得表示新的值的新的属性信息；以及
·步骤211，在该步骤中，便携式设备1接收由标记管理器设备3发送的新的属性信息，并且返回到标记检测步骤22(在此阶段，当前属性信息是由标记管理器设备3发送的新的属性信息)。
如果在步骤22中发现了显示的基准标记(即，在测试步骤23处为肯定回答的情况下)，则便携式设备1执行标记跟踪步骤24，在该步骤中，在预定时间段之后，便携式设备1再次尝试根据当前属性信息在显示器设备2上显示的图像中检测显示的基准标记。
如果在步骤24中未找到显示的基准标记(即，在测试步骤25处为否定答案的情况下)，则便携式设备1执行步骤210和211(已在上面描述)并返回到标记检测步骤22。
如果在步骤24中找到了显示的基准标记(即，在测试步骤25处为肯定答案的情况下)，则便携式设备1执行：
·步骤26，在该步骤中，便携式设备1根据当前属性信息和检测到的显示的基准标记，计算表示在现实世界中便携式设备相对于显示的基准标记的姿态的姿态信息；
·步骤27，在该步骤中，便携式设备1发送计算出的姿态信息，以允许标记管理器设备根据计算出的姿态信息将一个、若干个或全部可修改属性的当前值改变为新的值，并且获得表示新的值的新的属性信息；
·步骤28，在该步骤中，便携式设备1使用计算出的姿态信息将原始捕获的图像(或者在光学透视便携式设备的情况下的现实世界视图)与一个或若干个虚拟组分相组合，然后在便携式设备1的屏幕上呈现增强图像；
·步骤29，在该步骤中，便携式设备1接收由标记管理器设备3发送的新的属性信息，并且返回到标记跟踪步骤24(在此阶段，当前属性信息是由标记管理器设备3发送的新的属性信息)。
现在我们详细描述图2B的流程图。
在初始化步骤220中，标记管理器设备3向便携式设备1发送初始化属性信息(参见上面的定义)。
在步骤221中，标记管理器设备3根据当前属性信息(在此阶段为初始化属性信息)管理基准标记在显示器设备2上的显示。
在测试步骤222中，标记管理器设备3检测其是否已经接收到由便携式设备1发送的且包含失败信息(参见图2A的步骤210)或计算出的姿态信息(参见图2A的步骤27)在内的消息。在测试步骤222处为否定答案的情况下，标记管理器设备3保持在步骤222处。在测试步骤222处为肯定答案的情况下，标记管理器设备3执行：
·步骤223，在该步骤中，标记管理器设备3将一个、若干个或全部可修改属性的当前值改变为新的值，并且获得表示新的值的新的属性信息；
·步骤224，在该步骤中，标记管理器设备3向便携式设备1发送新的属性信息；
·步骤225，在该步骤中，标记管理器设备3根据新的属性信息管理基准标记在显示器设备2上的显示；以及返回到步骤222。
如图2A和图2B所示，提出了改善标记检测的鲁棒性的两种独立方式：在失败之后校正性地更新标记属性(参见图2A的步骤210至211)，或者自适应地(且前摄地)更新标记属性，以避免或至少减少检测失败率(参见图2A的步骤26至29和图2B中的在接收到计算出的姿态信息之后的步骤223至225)。
在第一次成功检测之前的校正性更新的情况下，由于标记管理器设备3处于“盲”模式，因此其可以使用合适属性的任何种类的最佳猜测来调整显示的标记。在第一次成功检测后的校正性更新的情况下，标记管理器设备3可以考虑系统状态历史(例如，标记属性和设备姿态)来调整显示的标记。
在自适应更新的情况下(即，在标记跟踪期间)，标记管理器设备3可以根据便携设备1相对于显示器设备2的移动来调整标记属性。
现在参考图3A和图3B，根据本原理的第二实施例，我们提出了一种检测基准标记(由便携式设备1执行；图3A)的方法和管理基准标记的对应方法(由标记管理器设备3执行；图3B)。
与图2A和图2B中示出的且上面讨论的第一实施例的不同之处在于，便携式设备1初始知道初始化属性信息，并且执行将一个、若干个或全部可修改属性的当前值改变为新的值(并且由此获得表示新的值的新的属性信息)。
现在我们详细描述图3A的流程图。
在初始化步骤31中，便携式设备1向标记管理器设备3发送初始化属性信息(参见上面的定义)。
标记检测步骤32与图2A的标记检测步骤22相同。
如果在步骤32中没有找到显示的基准标记(即，在测试步骤33处为否定答案的情况下)，则便携式设备1执行：
·步骤310，在该步骤中，便携式设备1将一个、若干个或全部可修改属性的当前值(在目前情况下为初始化值)改变为新的值，并且获得表示新的值的新的属性信息；以及
·步骤311，在该步骤中，便携式设备1向标记管理器设备3发送新的属性信息，并且返回到标记检测步骤32。
如果在步骤32中发现了显示的基准标记(即，在测试步骤33处为肯定答案的情况下)，则便携式设备1执行与图2A的标记跟踪步骤24相同的标记跟踪步骤34。
如果在步骤34中未找到显示的基准标记(即，在测试步骤35处为否定答案的情况下)，则便携式设备1执行步骤310和311，并且返回到标记检测步骤32。
如果在步骤34中找到了显示的基准标记(即，在测试步骤35处为肯定答案的情况下)，则便携式设备1执行：
·与图2A的步骤26相同的步骤36(计算姿态信息)；
·步骤37，在该步骤中，便携式设备1根据计算出的姿态信息将一个、若干个或全部可修改属性的当前值改变为新的值，并且获得表示新的值的新的属性信息；
·与图2A的步骤28相同的步骤38(在便携式设备1的屏幕上呈现增强图像)；
·步骤39，在该步骤中，便携式设备1向标记管理器设备3发送新的属性信息，并且返回到标记跟踪步骤34。
现在我们详细描述图3B的流程图。
在初始化步骤320中，标记管理器设备3接收由便携式设备1发送的初始化属性信息(参见上面的定义)。
步骤321与图2A的步骤221相同(根据当前属性信息管理基准标记在显示器设备2上的显示)。
在测试步骤322中，标记管理器设备3检测其是否已经接收到由便携式设备1发送的且包含新的属性信息在内的消息(参见图3A的步骤311和39)。在否定答案的情况下，标记管理器设备3保持在步骤322处。在测试步骤322处为肯定回答的情况下，标记管理器设备3执行步骤323，在该步骤中，标记管理器设备3根据新的属性信息管理基准标记在显示器设备2上的显示；以及返回到步骤322。
图4是本发明的多用户实施例的示意图。标记管理器设备3管理若干基准标记51、52、53...在显示器设备2上的显示。显示的基准标记中的每一个与不同的便携式设备11、12、13...相关联。在该示例中，每一个便携式设备经由通过网络4的链路(8a1，8b)、(8a2，82)、(8a3，8b)...与标记管理器设备3通信。
当执行将一个、若干个或全部可修改属性的当前值改变为新的值(参见图2B的步骤223)的步骤时，针对显示的基准标记中的一个给定的显示的基准标记(例如，51)，标记管理器设备3处理给定的显示的基准标记(例如，51)和显示的基准标记中的其它基准标记(例如，52、53...)之间的一种或若干种冲突情况。例如，处理以下冲突情况：至少两个显示的基准标记之间的碰撞(collision)；以及至少两个显示的基准标记之间的遮挡。
图5示出了根据本原理的特定实施例的便携式设备1的简化结构。
便携式设备1包括非易失性存储器53(例如，只读存储器(ROM)或硬盘)、易失性存储器51(例如，随机存取存储器或RAM)、处理器52、相机54和屏幕55。
非易失性存储器53是非暂时性计算机可读载体介质。它存储可执行程序代码指令530，所述可执行程序代码指令530由处理器52执行以便使得能够实现上述检测基准标记的方法。
在初始化时，程序代码指令530从非易失性存储器53被传送到易失性存储器51以由处理器52执行。同样地，易失性存储器51包括用于存储所述执行所需的变量和参数的寄存器。
在图2A所示的第一实施例中，输入56包括由标记管理器设备3发送的初始化属性信息和新的属性信息，并且输出57包括被发送给标记管理器设备3的失败信息和计算出的姿态信息。
在图3A所示的第二实施例中，输出57包括被发送给标记管理器设备3的初始化属性信息和新的属性信息。
在特定实现中，程序代码指令530的一些部分(531、532和533)在由处理器52执行时使得能够实现上面讨论的捕获模块、跟踪模块(也被称为“标记检测器单元”)以及呈现模块。在备选实现中，这些模块是硬件模块，包括被配置为执行其各自功能的电子电路。这些单元中的每一个还可以以硬件和软件的组合来实现。
图6示出了根据本原理的特定实施例的标记管理器设备3的简化结构。
标记管理器设备3包括非易失性存储器63(例如，只读存储器(ROM)或硬盘)、易失性存储器61(例如，随机存取存储器或RAM)和处理器62。
非易失性存储器63是非暂时性计算机可读载体介质。它存储可执行程序代码指令630，所述可执行程序代码指令530由处理器62执行以便使得能够实现上述管理基准标记的方法。
在初始化时，程序代码指令630从非易失性存储器63被传送到易失性存储器61以由处理器62执行。同样地，易失性存储器61包括用于存储所述执行所需的变量和参数的寄存器。
在图2B所示的第一实施例中，输出65包括被发送给便携式设备1的初始化属性信息和新的属性信息，并且输入64包括由便携式设备1发送的失败信息和计算出的姿态信息。
在图3B所示的第二实施例中，输入64包括由便携式设备1发送的初始化属性信息和新的属性信息。
可以使用便携式设备1和标记管理器设备3的不同实现。事实上，(由便携式设备1执行的)检测基准标记的方法的全部步骤和(由标记管理器设备3执行的)管理基准标记的方法的全部步骤可以同样通过以下操作来良好地实现：
·通过执行由可编程计算机器(例如，PC型装置、DSP(数字信号处理器)或微控制器)执行的程序代码指令集。该程序代码指令可以存储在可拆卸的(例如，软盘、CD-ROM或DVD-ROM)或不可拆卸的非暂时性计算机可读载体介质中；或者
·通过专用机器或组件(例如，FPGA(现场可编程门阵列)、ASIC(专用集成电路))或任何专用硬件组件。
换句话说，便携式设备1和标记管理器设备3的公开内容不限于计算机程序指令的形式的纯粹的基于软件的实现，而是也可以以硬件形式或者组合硬件部和软件部的任何形式来实现。

Claims (15)

1.一种检测显示器设备(2)上显示的基准标记的方法，所述方法的特征在于：包括相机和标记检测器单元在内的便携式设备(1)执行以下操作：
-获得(21，211)当前属性信息，所述当前属性信息表示与所显示的基准标记(5)相关联的至少一个可修改属性的当前值；
-根据所述当前属性信息，在所述显示器设备上显示的图像中检测(24；24)所显示的基准标记；
-根据所述当前属性信息和检测到的所显示的基准标记，计算(26；36)表示所述便携式设备相对于所显示的基准标记的姿态的姿态信息；以及
-获得(27，29；37)表示所述至少一个可修改属性的第一新值的第一新属性信息，所述第一新值取决于计算出的姿态信息。
2.根据权利要求1所述的方法，其特征在于，获得所述第一新属性信息包括：根据所述计算出的姿态信息，将所述至少一个可修改属性的当前值改变(37)为所述第一新值。
3.根据权利要求1所述的方法，其特征在于，获得所述第一新属性信息包括：
-发送(27)所述计算出的姿态信息，以允许标记管理器设备(3)根据所述计算出的姿态信息将所述至少一个可修改属性的当前值改变为所述第一新值；以及
-接收(29)表示所述第一新值的所述第一新属性信息。
4.根据权利要求1至3中任一项所述的方法，其特征在于，如果未检测到所显示的基准标记，则所述便携式设备执行以下操作：
-获得(210，211；310)表示所述至少一个可修改属性的第二新值的第二新属性信息；以及
-根据所述第二新属性信息，在所述显示器设备上显示的图像中检测(22；32)所显示的基准标记。
5.根据权利要求4所述的方法，其特征在于，获得所述第二新属性信息包括：将所述至少一个可修改属性的当前值改变(310)为所述第二新值。
6.根据权利要求4所述的方法，其特征在于，获得所述第二新属性信息包括：
-发送(210)失败信息，以允许标记管理器设备将所述至少一个可修改属性的当前值改变为所述第二新值；以及
-接收(211)表示所述第二新值的所述第二新属性信息。
7.一种管理在显示器设备(2)上显示的至少一个基准标记的方法，所述方法的特征在于：标记管理器设备(3)执行以下操作：
-发送(220)表示与所显示的基准标记(5)相关联的至少一个可修改属性的当前值的当前属性信息，以允许便携式设备(1)在所述显示器设备上显示的图像中检测所显示的基准标记；
-接收(222)表示所述便携式设备相对于所显示的基准标记的姿态的姿态信息；
-根据接收到的姿态信息，将所述至少一个可修改属性的当前值改变(223)为第一新值；以及
-向所述便携式设备发送(224)表示所述第一新值的第一新属性信息。
8.根据权利要求7所述的方法，其特征在于，如果所述标记管理器设备没有接收到所述姿态信息，而是接收到了指示未检测到所显示的基准标记的失败信息，则所述标记管理器设备执行以下操作：
-将所述至少一个可修改属性的当前值改变(223)为第二新值；以及
-发送(224)表示所述至少一个可修改属性的所述第二新值的第二新属性信息。
9.根据权利要求7至8中任一项所述的方法，其特征在于，所述标记管理器设备(3)管理在所述显示器设备(2)上显示的并且均与不同的便携式设备(11至13)相关联的若干基准标记(51至53)，并且，当执行将所述至少一个可修改属性的当前值改变为所述第一新值或第二新值的步骤(223)时，对于所显示的基准标记中给定的所显示的基准标记，所述标记管理器设备处理所述给定的所显示的基准标记与所显示的基准标记中的其它所显示的基准标记之间的至少一种冲突情况。
10.根据权利要求9所述的方法，其特征在于，所述至少一种冲突情况属于包括以下各项的组：
-至少两个所显示的基准标记之间的碰撞；以及
-至少两个所显示的基准标记之间的遮挡。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述至少一个可修改属性属于包括以下各项的组：
-所显示的基准标记在所显示的图像中的位置；
-所显示的基准标记在所显示的图像中的取向；
-所显示的基准标记在所显示的图像中的大小；
-所显示的基准标记在所显示的图像中的颜色；
-所显示的基准标记在所显示的图像中的亮度；
-所显示的基准标记在所显示的图像中的对比度；
-所显示的基准标记在所显示的图像中的图案。
12.根据权利要求1至11中任一项所述的方法，其特征在于，所述便携式设备(1)是光学透视设备或视频透视设备。
13.一种存储程序代码指令的非暂时性计算机可读载体介质(53)，所述程序代码指令用于当在计算机或处理器(52)上执行程序时实现根据权利要求1至12中至少一项所述的方法。
14.一种基于标记的增强现实系统的便携式设备(1)，所述便携式设备包括相机和标记检测器单元，并且被配置为检测在显示器设备(2)上显示的基准标记，其特征在于，所述便携式设备包括：
-用于获得当前属性信息的装置(51-53)，所述当前属性信息表示与所显示的基准标记相关联的至少一个可修改属性的当前值；
-用于根据所述当前属性信息在所述显示器设备上显示的图像中检测所显示的基准标记的装置(51-53)；
-用于根据所述当前属性信息和检测到的所显示的基准标记计算表示所述便携式设备相对于所显示的基准标记的姿态的姿态信息的装置(51-53)；以及
-用于获得表示所述至少一个可修改属性的新的值的新的属性信息的装置(51-53)，所述新的值取决于计算出的姿态信息。
15.一种基于标记的增强现实系统的标记管理器设备(3)，所述标记管理器设备被配置为管理在显示器设备(2)上显示的至少一个基准标记，其特征在于，所述标记管理器设备包括：
-用于发送表示与所显示的基准标记相关联的至少一个可修改属性的当前值的当前属性信息以允许便携式设备在所述显示器上显示的图像中检测所显示的基准标记的装置(61-63)；
-用于接收表示所述便携式设备相对于所显示的基准标记的姿态的姿态信息的装置(61-63)；以及
-用于根据接收到的姿态信息将所述至少一个可修改属性的当前值改变为新的值的装置(61-63)；以及
-用于向所述便携式设备发送表示所述第一新值的第一新属性信息的装置(61-63)。
CN201680061657.6A 2015-10-21 2016-10-10 检测和管理显示器设备上显示的基准标记的方法 Pending CN108140129A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306690.7 2015-10-21
EP15306690.7A EP3159829A1 (en) 2015-10-21 2015-10-21 Methods of detecting and managing a fiducial marker displayed on a display device
PCT/EP2016/074229 WO2017067810A1 (en) 2015-10-21 2016-10-10 Methods of detecting and managing a fiducial marker displayed on a display device

Publications (1)

Publication Number Publication Date
CN108140129A true CN108140129A (zh) 2018-06-08

Family

ID=54477985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061657.6A Pending CN108140129A (zh) 2015-10-21 2016-10-10 检测和管理显示器设备上显示的基准标记的方法

Country Status (10)

Country Link
US (1) US20180308248A1 (zh)
EP (2) EP3159829A1 (zh)
JP (1) JP2018534677A (zh)
KR (1) KR20180070660A (zh)
CN (1) CN108140129A (zh)
BR (1) BR112018008101A2 (zh)
CA (1) CA3002697A1 (zh)
MX (1) MX2018004769A (zh)
RU (1) RU2731254C2 (zh)
WO (1) WO2017067810A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112823328A (zh) * 2018-10-08 2021-05-18 微软技术许可有限责任公司 使用被绘制在外部显示器上的同步图像用于hmd相机校准的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229387B2 (en) 2016-05-12 2019-03-12 Validfill Llc Information and tracking marking system and method with modifiable marks
EP3416092A1 (en) * 2017-06-16 2018-12-19 Thomson Licensing Method and devices to optimize marker management for pose estimation
US20200111256A1 (en) * 2018-10-08 2020-04-09 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
CN110287744B (zh) * 2019-06-17 2020-12-25 珠海格力电器股份有限公司 一种识别二维码的方法及装置
US11768374B1 (en) * 2022-06-24 2023-09-26 Rockwell Collins, Inc. Vehicle including head wearable display device and imperceptible reference fiducials and method therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130109961A1 (en) * 2011-10-31 2013-05-02 Nokia Corporation Apparatus and method for providing dynamic fiducial markers for devices
US20130148851A1 (en) * 2011-12-12 2013-06-13 Canon Kabushiki Kaisha Key-frame selection for parallel tracking and mapping
CN103593175A (zh) * 2012-08-17 2014-02-19 索尼电脑娱乐欧洲有限公司 对象定位的装置和方法
US20150255021A1 (en) * 2014-03-06 2015-09-10 3M Innovative Properties Company Augmented information display
CN105518570A (zh) * 2013-08-28 2016-04-20 Lg电子株式会社 显示增强现实图像的便携式装置及其控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331384B (zh) * 2005-12-23 2011-11-09 G科德系统有限公司 定位图形
WO2011004612A1 (ja) * 2009-07-10 2011-01-13 パナソニック株式会社 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130109961A1 (en) * 2011-10-31 2013-05-02 Nokia Corporation Apparatus and method for providing dynamic fiducial markers for devices
US20130148851A1 (en) * 2011-12-12 2013-06-13 Canon Kabushiki Kaisha Key-frame selection for parallel tracking and mapping
CN103593175A (zh) * 2012-08-17 2014-02-19 索尼电脑娱乐欧洲有限公司 对象定位的装置和方法
CN105518570A (zh) * 2013-08-28 2016-04-20 Lg电子株式会社 显示增强现实图像的便携式装置及其控制方法
US20150255021A1 (en) * 2014-03-06 2015-09-10 3M Innovative Properties Company Augmented information display

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID SCHERFGEN 等: "A robust inside-out approach for 3D interaction with large displays", 《2015 IEEE SYMPOSIUM ON 3D USER INTERFACES (3DUI)》 *
NICK PEARS 等: "Smart Phone Interaction with Registered Displays", 《IEEE PERVASIVE COMPUTING》 *
YOUNGJIN HONG 等: "Mobile pointing and input system using active marker", 《2006 IEEE/ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112823328A (zh) * 2018-10-08 2021-05-18 微软技术许可有限责任公司 使用被绘制在外部显示器上的同步图像用于hmd相机校准的方法
CN112823328B (zh) * 2018-10-08 2024-04-12 微软技术许可有限责任公司 用于执行相机系统的内部和/或外部校准的方法

Also Published As

Publication number Publication date
KR20180070660A (ko) 2018-06-26
EP3365837A1 (en) 2018-08-29
RU2731254C2 (ru) 2020-08-31
CA3002697A1 (en) 2017-04-27
RU2018118363A3 (zh) 2020-04-03
MX2018004769A (es) 2018-05-30
BR112018008101A2 (pt) 2018-11-06
WO2017067810A1 (en) 2017-04-27
EP3159829A1 (en) 2017-04-26
US20180308248A1 (en) 2018-10-25
RU2018118363A (ru) 2019-11-25
JP2018534677A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
CN108140129A (zh) 检测和管理显示器设备上显示的基准标记的方法
KR101757930B1 (ko) 데이터 송신 방법 및 시스템
US9195871B2 (en) Information processing method and system
US10438373B2 (en) Method and system for determining a pose of camera
US8994752B2 (en) Image processing device, image processing method, and program
WO2017222644A1 (en) Smart capturing of whiteboard contents for remote conferencing
US10706584B1 (en) Hand tracking using a passive camera system
CN113574863A (zh) 使用深度信息渲染3d图像的方法和系统
US20150135144A1 (en) Apparatus for obtaining virtual 3d object information without requiring pointer
US20240071016A1 (en) Mixed reality system, program, mobile terminal device, and method
US10602077B2 (en) Image processing method and system for eye-gaze correction
JP5350427B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
DE102022100546A1 (de) Bildverarbeitung in Abhängigkeit von der Geometrie eines verformbaren elektronischen Geräts sowie entsprechende Geräte und Verfahren
US10402939B2 (en) Information processing device, information processing method, and program
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN110349504A (zh) 一种基于ar的博物馆导览系统
US20220321851A1 (en) Portable projection mapping device and projection mapping system
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
Li et al. A hybrid pose tracking approach for handheld augmented reality
EP3089104B1 (en) Apparatus and method for insertion of photograph taker into a photograph
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
JP2016071496A (ja) 情報端末装置、方法及びプログラム
CN113077306B (zh) 图像处理方法、装置及设备
CN117635717A (zh) 信息处理方法、装置、电子设备及存储介质
CN107742275B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190522

Address after: Paris France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608