CN109272454B - 一种增强现实设备的坐标系校准方法及装置 - Google Patents

一种增强现实设备的坐标系校准方法及装置 Download PDF

Info

Publication number
CN109272454B
CN109272454B CN201810841785.3A CN201810841785A CN109272454B CN 109272454 B CN109272454 B CN 109272454B CN 201810841785 A CN201810841785 A CN 201810841785A CN 109272454 B CN109272454 B CN 109272454B
Authority
CN
China
Prior art keywords
coordinate system
augmented reality
real
coordinate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810841785.3A
Other languages
English (en)
Other versions
CN109272454A (zh
Inventor
周轶霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810841785.3A priority Critical patent/CN109272454B/zh
Publication of CN109272454A publication Critical patent/CN109272454A/zh
Priority to TW108116870A priority patent/TWI712004B/zh
Priority to PCT/CN2019/094835 priority patent/WO2020019962A1/zh
Application granted granted Critical
Publication of CN109272454B publication Critical patent/CN109272454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/604—Rotation of a whole image or part thereof using a CORDIC [COordinate Rotation Digital Compute] device

Abstract

本说明书提供一种增强现实设备的坐标系校准方法及装置。所述方法包括：利用增强现实设备扫描预设图案，获取增强现实设备中所述预设图案的图像信息；获取所述图像信息中的参考点在所述增强设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；基于所述图像坐标信息、所述真实坐标信息，获得所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系，根据所述转换关系将所述设备坐标系进行校准。利用本说明书中各个实施例，可以不限制AR设备设置在同一个位置、同一个姿势进行AR坐标系的校准，操作方便，实用性强，满足了不同位置用户的AR设备的坐标系校准的需求。

Description

一种增强现实设备的坐标系校准方法及装置
技术领域
本说明书属于增强现实技术领域，尤其涉及一种增强现实设备的坐标系校准方法及装置。
背景技术
随着科技的发展，增强现实技术即AR(Augmented Reality)技术的应用越来越多，AR技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，人们可以利用AR设备体验虚拟与现实结合的场景。
但是，AR设备中的AR坐标系通常是与AR设备初始化时的姿势、位置相关，不同的AR设备在初始化时位置和姿势不同，AR坐标系可能就会不同。不同的用户之间无法在同一个AR空间下进行互动，因此，AR应用通常是单机应用。现有技术中，对于AR设备的坐标系校准的方法，通常是将各个设备放置在同一个位置，保持同一个姿势，再将设备进行初始化。可以看出，这种方法局限性比较强，操作不方便，不能实现不同位置的用户的AR坐标系的校准。因此，亟需一种能够方便多个AR设备坐标系校准的实施方案。
发明内容
本说明书目的在于提供一种增强现实设备的坐标系校准方法及装置，方法简单，实现了不同的AR设备的AR坐标系的校准。
一方面本说明书实施例提供了一种增强现实设备的坐标系校准方法，包括：
利用增强现实设备扫描预设图案，获取增强现实设备中所述预设图案的图像信息；
获取所述图像信息中的参考点在所述增强设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；
基于所述图像坐标信息、所述真实坐标信息，确定所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系；
根据所述转换关系将所述设备坐标系进行校准。
进一步地，所述方法的另一个实施例中，所述参考点在真实坐标系中的真实坐标信息获取方法包括：
确定所述图像信息中的标定点；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
进一步地，所述方法的另一个实施例中，所述确定所述图像信息中的标定点包括：
选取一个所述参考点作为所述标定点；
相应地，所述确定所述参考点在所述真实坐标系中的真实坐标信息，包括：
以所述标定点为坐标原点，选取所述标定点之外的两个参考点与所述标定点的连线所在的直线作为坐标轴，构建所述真实坐标系；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
进一步地，所述方法的另一个实施例中，所述确定所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系包括：
获取所述增强现实设备的所述设备坐标系转换为所述图像坐标系的设备转换矩阵；
根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，计算所述真实坐标系转变为所述图像坐标系的真实转换矩阵；
相应地，所述根据所述转换关系将所述设备坐标系进行校准的方法包括：
根据所述设备转换矩阵、所述真实转换矩阵，将所述设备坐标系进行校准。
进一步地，所述方法的另一个实施例中，所述根据所述设备转换矩阵、所述真实转换矩阵，将所述设备坐标系进行校准，包括：
按照下述公式实现第一增强现实设备和第二增强现实设备的设备坐标系的校准：
PcameraA_real -1PcameraA_AROARA＝PcameraB_real -1PcameraB_AROARB
上式中，PcameraA_real表示所述第一增强现实设备对应的真实转换矩阵，PcameraA_AR表示所述第一增强现实设备对应的设备转换矩阵，OARA表示点O在所述第一增强现实设备的设备坐标系中的坐标，PcameraB_real表示所述第二增强现实设备对应的真实转换矩阵，PcameraB_AR表示所述第二增强现实设备对应的设备转换矩阵，OARB表示点O在所述第二增强现实设备的设备坐标系中的坐标。
进一步地，所述方法的另一个实施例中，所述根据所述转换关系将所述设备坐标系进行校准的方法还包括：
若进行设备坐标系校准的增强现实设备大于2个，则以其中任意一个增强现实设备的设备坐标系为基准进行设备坐标系的校准。
进一步地，所述方法的另一个实施例中，所述根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，计算所述真实坐标系转变为所述图像坐标系的真实转换矩阵，包括：
根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，利用SolvePnP算法，计算获得所述真实转换矩阵。
进一步地，所述方法的另一个实施例中，所述预设图案包括二维码、条形码中的至少一种。
另一方面，本说明书提供了增强现实设备的坐标系校准装置，包括：
图像信息获取模块，用于利用增强现实设备扫描预设图案，获取增强现实设备中所述预设图案的图像信息；
坐标信息获取模块，用于获取所述图像信息中的参考点在所述增强设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；
转换关系确定模块，用于基于所述图像坐标信息、所述真实坐标信息，获得所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系；
设备坐标系校准模块，用于根据所述转换关系将所述设备坐标系进行校准。
进一步地，所述装置的另一个实施例中，所述坐标信息获取模块包括真实坐标获取单元，
所述真实坐标获取单元具体用于：
确定所述图像信息中的标定点；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
进一步地，所述装置的另一个实施例中，所述真实坐标获取单元还用于：
选取一个所述参考点作为所述标定点；
以所述标定点为坐标原点，选取所述标定点之外的两个参考点与所述标定点的连线所在的直线作为坐标轴，构建所述真实坐标系；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
进一步地，所述装置的另一个实施例中，所述转换关系确定模块包括：
设备转换矩阵计算单元，用于获取所述增强现实设备的所述设备坐标系转换为所述图像坐标系的设备转换矩阵；
真实转换矩阵计算单元，用于根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，计算所述真实坐标系转变为所述图像坐标系的真实转换矩阵；
相应地，所述设备坐标系校准模块用于根据所述设备转换矩阵、所述真实转换矩阵，将所述设备坐标系进行校准。
进一步地，所述装置的另一个实施例中，所述设备坐标系校准模块具体用于：
按照下述公式实现第一增强现实设备和第二增强现实设备的设备坐标系的校准：
PcameraA_real -1PcameraA_AROARA＝PcameraB_real -1PcameraB_AROARB
上式中，PcameraA_real表示所述第一增强现实设备对应的真实转换矩阵，PcameraA_AR表示所述第一增强现实设备对应的设备转换矩阵，OARA表示点O在所述第一增强现实设备的设备坐标系中的坐标，PcameraB_real表示所述第二增强现实设备对应的真实转换矩阵，PcameraB_AR表示所述第二增强现实设备对应的设备转换矩阵，OARB表示点O在所述第二增强现实设备的设备坐标系中的坐标。
进一步地，所述装置的另一个实施例中，所述设备坐标系校准模块还用于：
若进行设备坐标系校准的增强现实设备大于2个，则以其中任意一个增强现实设备的设备坐标系为基准进行设备坐标系的校准。
进一步地，所述装置的另一个实施例中，所述坐标系校准处理单元具体用于：根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，利用SolvePnP算法，计算获得所述真实转换矩阵。
进一步地，所述装置的另一个实施例中，所述图像信息获取模块获取到的所述预设图案的图像信息中的预设图案包括二维码、条形码中的至少一种。
再一方面，本说明书实施例提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现权利要求上述增强现实设备的坐标系校准方法。
又一方面，本说明书实施例提供了增强现实设备的坐标系校准系统，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述增强现实设备的坐标系校准方法。
本说明书提供的增强现实设备的坐标系校准方法、装置、系统，基于不同AR设备中的预设图案的图像信息，可以获得AR设备的图像坐标系、AR坐标系、真实坐标系之间的转换关系，根据各坐标系之间的转换关系可以实现不同AR设备的AR坐标系的校准，使得不同的用户可以共享虚拟物体的位置、方向，得到相同的体验，使得多用户之间的AR体验互动成为可能，为后续AR应用的联机开发提供了理论基础。本说明实施例提供的方法可以不限制AR设备设置在同一个位置、保持同一个姿势进行AR坐标系的校准，操作方便，实用性强，满足了不同位置用户的AR设备的坐标系校准的需求。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书提供的一个实施例中的增强现实设备的坐标系校准方法的流程示意图；
图2是本说明书一个实施例中利用二维码图像构建真实坐标系的示意图；
图3是本说明书又一个实施例中增强现实设备的坐标系校准方法的流程示意图；
图4是本说明书提供的增强现实设备的坐标系校准装置一个实施例的模块结构示意图；
图5是本说明一个实施例中设备坐标系校准模块的结构示意图；
图6是本说明书提供的一种增强现实设备的坐标系校准系统实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
增强现实技术即AR技术在工程、医疗、军事、航海航空中的应用也越来越多，应用AR技术开发的应用程序也越来越多，如：苹果公司推出的一款增强现实应用程序软件开发工具包ARKit。本说明书实施例中的增强现实设备也可以称为AR设备，可以包括带有AR应用的客户端，如：智能手机、平板电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)等电子设备。
在使用AR设备时，需要确定出AR设备中的设备坐标系(即AR坐标系)，AR坐标系是AR设备中的Camera(相机)坐标系(即本说明书实施例中的图像坐标系)与真实世界的真实坐标系之间的桥梁。AR设备可以实现虚拟世界与真实世界进行交互，利用AR设备中的AR坐标系可以将虚拟世界与真实世界连接起来。通常情况下AR设备中的AR坐标系是AR设备初始化成功后AR设备中的Camera在真实世界中的位置，AR坐标系的Y轴的方向是重力的反方向，X轴、Z轴的方向与AR设备的姿势相关。因此，即使是同一台AR设备，在启动过程中只要AR设备的位置发生变化或者AR设备的姿势有所不同，初始化后的AR坐标系就会有所差异。因此，不同AR设备之间不能共享虚拟物体的位置、方向，这样就会造成AR体验的孤立，不同用户之间无法在同一个AR空间下进行互动。
本说明书实施例提供的增强现实设备的坐标系校准方法，将不同的AR设备扫描预设图案，基于AR设备中扫描到的预设图案的图像信息，可以获得AR设备的AR坐标系、真实坐标系以及图像坐标系之间的转换关系，根据坐标系之间的转换关系，可以实现不同的AR设备的AR坐标系的校准。对于AR设备的位置、姿势不需要进行限定，可以不需要将不同的AR设备固定在同一个固定点、保持同一个姿势实现AR设备的坐标系的校准。方法简单灵活，适用性广，满足了不同用户之间AR设备坐标系校准的需求。
具体地，图1是本说明书提供的一个实施例中的增强现实设备的坐标系校准方法的流程示意图，如图1所示，本说明书实施例提供的增强现实设备的坐标系校准方法，包括：
S2、利用增强现实设备扫描预设图案，获取增强现实设备中所述预设图案的图像信息。
具体地，可以控制AR设备扫描预设图案，扫描后对AR设备中的Camera的数据进行处理，即处理Camera中的每一帧图像信息，获取到AR设备中预设图案的图像信息。在利用AR设备扫描预设图案时，不同的AR设备可以扫描同一个预设图案，也可以将预设图案的图像(如：照片)等信息发送至不同的AR设备，或者将预设图案复制多份，不同的AR设备扫描预设图案的复制图像，或者也可以不同的AR设备扫描具有相同图像特征并且尺寸相同的图案。
本说明书一个实施例中预设图案可以是二维码、条形码或者其他具有特征的平面图案。二维码、条形码等平面图案在日常生活中比较常见，比较容易引导用户使用AR设备扫描预设图案，对于二维码或者条形码的扫描用户比较容易操作。例如：若用户A、B、C分别位于不同的城市，用户A、B、C可以共同商定使用同一个二维码图像作为预设图案，用户A、B、C可以利用各自的AR设备扫描商定的二维码图像，用户A、B、C的AR设备中可以获得二维码图像的图像信息。
S4、获取所述图像信息中的参考点在所述增强设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息。
具体地，可以在预设图案中选取出参考点，参考点可以是预设图案中的任意像素点，如：可以是预设图案中的角点、中心点、或者预设图案中具有特殊特征的点等，参考点的数量可以根据实际需要进行设置，如：4个，本说明书实施例不作具体限定。通过分析AR设备中的预设图案的图像信息，可以获得预设图案的图像信息中的参考点在AR设备的图像坐标系中的图像坐标信息、以及参考点在真实坐标系中的真实坐标信息。参考点在AR设备的图像坐标系中的图像坐标信息可以通过分析AR设备中预设图案的图像信息，从AR设备的自身系统获得，如：可以通过AR设备的检测条形码请求获得预设图案的图像信息中的参考点在AR设备的图像坐标系中的坐标信息。图像坐标系可以表示AR设备的Camera坐标系，真实坐标系可以表示真实世界的坐标系，真实坐标系的具体构建方法可以根据实际需要选择，本说明书实施例不作具体限定。
预设图案的图像信息中的参考点在真实坐标系中的坐标信息可以根据预设图像的实际尺寸以及参考点在预设图案中的实际位置确定。
本说明书一个实施例中，所述参考点在真实坐标系中的真实坐标信息获取方法包括：
确定所述图像信息中的标定点；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
其中，标定点可以是参考点中的一个也可以是预设图案中除去参考点之外的其他像素点。标定点可以用于确定真实坐标系的相对位置，可以作为真实坐标系中参考点在预设图案中的基准点。根据标定点和参考点在预设图案中的相对位置，确定出参考点在真实坐标系中的真实坐标信息。例如：可以以标定点为坐标原点，构建真实坐标系，如：若预设图案时矩形、方形或平行四边形，可以将平行于预设图案的边长的方向作为坐标轴，构建真实坐标系，根据预设图案的实际尺寸，以及参考点在预设图案中的位置，确定出参考点的真实坐标信息。
本说明书一个实施例中，所述确定所述图像信息中的标定点包括：
选取一个所述参考点作为所述标定点；
相应地，所述确定所述参考点在所述真实坐标系中的真实坐标信息，包括：
以所述标定点为坐标原点，选取所述标定点之外的两个参考点与所述标定点的连线所在的直线作为坐标轴，构建所述真实坐标系；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
图2是本说明书一个实施例中利用二维码图像构建真实坐标系的示意图，如图2所示，本说明书一个实施例中，可以选取二维码图像的四个角点作为参考点，并且可以将左下角的参考点作为标定点。以左下角的参考点作为原点，以二维码图像中标定点所在的两个边长所在的直线作为坐标轴，如图2所示，可以构建出真实坐标系，获得参考点在真实坐标系中的真实坐标信息。如：若二维码图像的边长为1分米，则四个参考点在真实坐标系中的坐标信息可以表示为：(0，0)、(1，0)、(1，1)、(0，1)。当然，根据实际需要，参考点还可以选择二维码图像中的其他位置，如：二维码图像的中心点等，真实坐标系的构建方法也可以根据实际需要进行调整，如：可以以二维码图像之外的一点作为坐标原点构建真实坐标系等，本说明书实施例不作具体限定。
需要说明的是，本说明书实施例中不同的AR设备的真实坐标系的构建方法是相同的，这样可以确保参考点在不同的AR设备中的真实坐标信息相同。
若多个二维码图像的尺寸相同，如图2所示，若选取二维码图像的4个角点作为参考点，则不同的AR设备可以扫描尺寸相同的二维码图像，获得预设图案的图像信息。此时，不同的AR设备扫描获得的二维码图像中的参考点的真实坐标信息可以认为是相同的。
S6、基于所述图像坐标信息、所述真实坐标信息，确定所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系。
获得参考点在AR设备的图像坐标系中的图像坐标信息、在真实坐标系中的真实坐标信息后，可以通过分析参考点的图像坐标信息、真实坐标信息，获得真实坐标系、图像坐标系以及AR坐标系即设备坐标系之间的转换关系。如：可以根据参考点的真实坐标信息、图像坐标信息，计算如何将参考点进行偏移、旋转等操作，能够将参考点在真实坐标系中的真实坐标信息转换为图像坐标系中的位置，获得真实坐标系和图像坐标系之间的转换关系。同时，可以利用AR设备系统获得AR设备的AR坐标系与图像坐标系之间的转换关系，如：可以通过基于OpenGL(开放式图形接口)中的视图变换矩阵获得AR设备的AR坐标系与图像坐标系之间的转换关系，也可以通过ARKit的API(Application Program Interface，应用程序编程接口)直接获取AR设备的AR坐标系与图像坐标系之间的转换关系(如：可以通过ARKit的API利用AR Camera中的view Matrix(视点矩阵)获得)。ARKit可以表示苹果公司推出的一款增强现实应用程序软件开发工具包，API可以表示操作系统留给应用程序的一个调用接口。
S8、根据所述转换关系将所述设备坐标系进行校准。
本说明书一个实施例中，利用真实坐标系和图像坐标系之间的转换关系、以及AR坐标系和图像坐标系之间的转换关系，可以间接的获得AR坐标系与真实坐标系之间的转换关系，实现了将不同的AR设备的AR坐标系校准到真实坐标系的，实现了不同AR设备的坐标系的校准。
如：若某个AR设备的真实坐标系和图像坐标系之间的转换关系为：A×k＝B，AR坐标系与图像坐标系之间的转换关系为：C×p＝B，其中，A可以表示真实坐标系中像素点O的坐标，B可以表示图像坐标系中像素点O的坐标，C可以表示AR坐标系中像素点O的坐标，k、p均表示转换系数。则可以获得AR坐标系和真实坐标系之间的转换关系可以表示为：C＝A×(k/p)。可以将AR设备的AR坐标系校准到真实坐标系中，利用该方法可以对不同的AR设备进行坐标系的校准，获得不同AR设备的AR坐标系与真实坐标系之间的转换关系，实现AR设备的坐标系的校准，使得不同的AR设备的AR坐标系能够进行统一。
本说明书实施例提供的增强现实设备的坐标系校准方法，基于不同AR设备中的预设图案的图像信息，可以获得AR设备的图像坐标系、AR坐标系、真实坐标系之间的转换关系，根据各坐标系之间的转换关系可以实现不同AR设备的AR坐标系的校准，使得不同的用户可以共享虚拟物体的位置、方向，得到相同的体验，为后续AR应用的联机开发提供了理论基础。本说明实施例提供的方法可以不限制AR设备设置在同一个位置、保持同一个姿势进行AR坐标系的校准，操作方便，实用性强，满足了不同位置用户的AR设备的坐标系校准的需求。
在上述实施例的基础上，本说明书一个实施例中，所述确定所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系包括：
获取所述增强现实设备的所述设备坐标系转换为所述图像坐标系的设备转换矩阵；
根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，计算所述真实坐标系转变为所述图像坐标系的真实转换矩阵；
相应地，所述根据所述转换关系将所述设备坐标系进行校准的方法包括：
根据所述设备转换矩阵、所述真实转换矩阵，将所述设备坐标系进行校准。
具体地，在计算真实坐标系和图像坐标系之间的转换关系时，本说明书一个实施例可以利用获得的参考点的图像坐标信息、真实坐标信息、以及AR设备的相机内参矩阵，通过计算参考点的位移、偏移、旋转等，获得真实坐标系和图像坐标系之间的真实转换矩阵。相机内参矩阵可以表示从相机坐标系到像平面坐标系的变换关系，像平面坐标系是用像素单位来表示的，而相机坐标系(即图像坐标系)则是以毫米为单位来表示，因此，要完成改变换过程就需要先得到像平面的像素单位与毫米单位之间的线性关系。本说明书实施例中的相机内参矩阵可以由AR设备中的相机的参数获得。
本说明书一个实施例中，真实坐标系和图像坐标系之间的真实转换矩阵可以通过所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，利用SolvePnP算法计算获得。SolvePnP可以表示OpenCV库里面提供的一个求解Camera旋转、平移的算法，OpenCV可以表示一个主要针对实时计算机视觉的编程的功能库。
利用SolvePnP算法可以计算AR设备的相机的姿势，计算出真实坐标系和图像坐标系之间的真实转换矩阵。
同时，可以利用AR设备获取到AR坐标系与图像坐标系之间的设备转换矩阵，利用真实转换矩阵和设备转换矩阵，可以将不同的AR设备的AR坐标系进行校准。
本说明书一个实施例中，所述根据所述设备转换矩阵、所述真实转换矩阵，将所述设备坐标系进行校准，可以包括：
按照下述公式(1)实现第一增强现实设备和第二增强现实设备的设备坐标系的校准：
PcameraA_real -1PcameraA_AROARA＝PcameraB_real -1PcameraB_AROARB (1)
上式中，PcameraA_real可以表示所述第一增强现实设备对应的真实转换矩阵，PcameraA_AR可以表示所述第一增强现实设备对应的设备转换矩阵，OARA可以表示点O在所述第一增强现实设备的设备坐标系中的坐标，PcameraB_real可以表示所述第二增强现实设备对应的真实转换矩阵，PcameraB_AR可以表示所述第二增强现实设备对应的设备转换矩阵，OARB可以表示点O在所述第二增强现实设备的设备坐标系中的坐标。
假设有两台AR设备A和B，已经知真实世界中的一个点O，做如下定义：点O在AR设备A的图像坐标系下的坐标为OcameraA，点O在AR设备B的图像坐标系下的坐标为OcameraB，真实坐标系下的点O的坐标为Oreal，真实坐标系转变为AR设备A的图像坐标系的真实转换矩阵为PcameraA_real，真实坐标系转变为AR设备B的图像坐标系的真实转换矩阵为PcameraB_real，点O在AR设备A的AR坐标系下的坐标为OARA，点O在AR设备B的AR坐标系下的坐标为OARB，AR设备A的AR坐标系转换为AR设备A的图像坐标系的设备矩阵为PcameraA_AR，AR设备B的AR坐标系转换为AR设备B的图像坐标系的设备矩阵为PcameraB_AR。则可以得到如下方程组：
Figure BDA0001745742660000111
通过对上述公式(2)进行转换变行可以获得上述公式(1)，因此计算获得不同的AR设备的真实坐标系和图像坐标系之间的真实转换矩阵、AR坐标系与图像坐标系之间的设备转换矩阵后，可以利用公式(1)将点O的坐标信息进行校准，方法简单，准确，实现了不同的AR设备的坐标系校准。
在上述实施例的基础上，本说明书一个实施例中，所述将所述设备坐标系进行校准的方法还包括：
若进行设备坐标系校准的增强现实设备大于2个，则以其中任意一个增强现实设备的设备坐标系为基准进行设备坐标系的校准。
例如：若需要对3个AR设备进行坐标系的校准，可以分别获得3个AR设备对应的真实坐标系和图像坐标系之间的真实转换矩阵、AR坐标系与图像坐标系之间的设备转换矩阵，可以以其中任意一个AR设备的AR坐标系为基准，获得另外2个AR设备的AR坐标系与该AR坐标系之间的转换关系，如：可以得到下述公式(3)：
Figure BDA0001745742660000112
将AR设备B、C的AR坐标系校准到AR设备A的AR坐标系中，实现了3个AR设备的坐标系的校准。
图3是本说明书又一个实施例中增强现实设备的坐标系校准方法的流程示意图，下面结合图3，具体介绍本说明书实施例中AR设备坐标系的校准流程：
(1)AR设备初始化。AR设备启动是需要进行初始化。
(2)处理AR设备的相机中的帧数据。用户可以利用AR设备扫描预设的二维码图像，扫描后，可以处理AR设备的相机中的图像信息的帧数据。
(3)识别AR设备的图像信息中是否有二维码图像，若有，则执行步骤(4)，若没有，则返回步骤(2)直至识别到二维码图像。
(4)获取二维码图像中四个角点在图像坐标系中的图像坐标信息，以及二维码图像中四个角点在真实坐标系中的真实坐标信息。
(5)根据二维图像的图像坐标信息、真实坐标信息、AR设备的相机内参矩阵，使用SolvePnP算法计算AR设备的相机姿势，获得真实坐标系转变为AR设备的图像坐标系的真实转换矩阵。
(6)获取AR设备的AR空间视图变换矩阵即AR设备的AR坐标系转换为图像坐标系的设备转换矩阵。
(7)利用上述公式(1)计算出不同AR设备的AR坐标系的转换关系，完成AR设备的坐标系的校准。
本说明书实施例提供的方法，基于不同AR设备中的预设图案的图像信息，可以实现不同AR设备的AR坐标系的校准，使得不同的用户可以共享虚拟物体的位置、方向，得到相同的体验，使得多用户之间的AR体验互动成为可能，为后续AR应用的联机开发提供了理论基础。本说明实施例提供的方法可以不限制AR设备设置在同一个位置、同一个姿势进行AR坐标系的校准，操作方便，实用性强，满足了不同位置用户的AR设备的坐标系校准的需求，提高了用户体验。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
基于上述所述的增强现实设备的坐标系校准方法，本说明书一个或多个实施例还提供一种增强现实设备的坐标系校准装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
具体地，图4是本说明书提供的增强现实设备的坐标系校准装置一个实施例的模块结构示意图，如图4所示，本说明书中提供的增强现实设备的坐标系校准装置包括：图像信息获取模块41、坐标信息获取模块42、转换关系确定模块43、设备坐标系校准模块44，其中：
图像信息获取模块41，可以用于利用增强现实设备扫描预设图案，获取增强现实设备中所述预设图案的图像信息；
坐标信息获取模块42，可以用于获取所述图像信息中的参考点在所述增强设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；
转换关系确定模块43，可以用于基于所述图像坐标信息、所述真实坐标信息，确定所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系；
设备坐标系校准模块44，可以用于根据所述转换关系将所述设备坐标系进行校准。
本说明书实施例提供的增强现实设备的坐标系校准装置，基于不同AR设备中的预设图案的图像信息，可以获得AR设备的图像坐标系、AR坐标系、真实坐标系之间的转换关系，根据各坐标系之间的转换关系可以实现不同AR设备的AR坐标系的校准，使得不同的用户可以共享虚拟物体的位置、方向，得到相同的体验，为后续AR应用的联机开发提供了理论基础。本说明实施例提供的方法可以不限制AR设备设置在同一个位置、同一个姿势进行AR坐标系的校准，操作方便，实用性强，满足了不同位置用户的AR设备的坐标系校准的需求。
在上述实施例的基础上，所述坐标信息获取模块包括真实坐标获取单元，
所述真实坐标获取单元具体用于：
确定所述图像信息中的标定点；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
在上述实施例的基础上，所述真实坐标获取单元还用于：
选取一个所述参考点作为所述标定点；
以所述标定点为坐标原点，选取所述标定点之外的两个参考点与所述标定点的连线所在的直线作为坐标轴，构建所述真实坐标系；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
本说明书实施例提供的增强现实设备的坐标系校准装置，基于预设图案的实际尺寸以及参考点与标定点之间的相对位置，获取参考点在真实坐标系中的坐标信息。由于不同的AR使用的相同尺寸的预设图案，能够实现基于预设图案中参考点的真实坐标信息进行AR设备的坐标系的校准。
图5是本说明一个实施例中设备坐标系校准模块的结构示意图，如图5所示，在上述实施例的基础上，所述转换关系确定模块43包括：
设备转换矩阵计算单元51，可以用于获取所述增强现实设备的所述设备坐标系转换为所述图像坐标系的设备转换矩阵；
真实转换矩阵计算单元52，可以用于根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，计算所述真实坐标系转变为所述图像坐标系的真实转换矩阵；
相应地，所述设备坐标系校准模块44可以用于根据所述设备转换矩阵、所述真实转换矩阵，将所述设备坐标系进行校准。
本说明书实施例，利用AR设备的图像坐标系与真实坐标系的真实转换矩阵，以及AR坐标系与图像坐标系之间的转换矩阵，可以获取不同AR设备之间AR坐标系之间的转换关系，为AR设备的坐标系的校准提供了准确的理论基础。
在上述实施例的基础上，所述设备坐标系校准模块具体用于：
按照下述公式实现第一增强现实设备和第二增强现实设备的设备坐标系的校准：
PcameraA_real -1PcameraA_AROARA＝PcameraB_real -1PcameraB_AROARB
上式中，PcameraA_real表示所述第一增强现实设备对应的真实转换矩阵，PcameraA_AR表示所述第一增强现实设备对应的设备转换矩阵，OARA表示点O在所述第一增强现实设备的设备坐标系中的坐标，PcameraB_real表示所述第二增强现实设备对应的真实转换矩阵，PcameraB_AR表示所述第二增强现实设备对应的设备转换矩阵，OARB表示点O在所述第二增强现实设备的设备坐标系中的坐标。
本说明书实施例，提供了不同AR设备的坐标系转换公式，能够准确的将各AR设备的坐标系进行校准。
在上述实施例的基础上，所述设备坐标系校准模块还用于：
若进行设备坐标系校准的增强现实设备大于2个，则以其中任意一个增强现实设备的设备坐标系为基准进行设备坐标系的校准。
在上述实施例的基础上，所述坐标系校准处理单元具体用于：根据所述图像坐标信息、所述真实坐标信息、所述增强真实设备的相机内参矩阵，利用SolvePnP算法，计算获得所述真实转换矩阵。
本说明书实施例，利用SolvePnP算法可以计算出AR设备中相机的姿势，获得AR设备的真实坐标系与图像坐标系之间的真实转换矩阵，方法简单准确。
在上述实施例的基础上，所述图像信息获取模块获取到的所述预设图案的图像信息中的预设图案包括二维码、条形码中的至少一个。
本说明书实施例，将二维码、条形码等具有特征、且日常生活比较常见的平面图案作为预设图案，方便引导用户扫描，操作方便，提高了用户体验。
需要说明书的是，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本说明书一个实施例中，还可以提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现上述实施例中视频数据的处理方法，例如可以实现如下方法：
利用增强现实设备扫描预设图案，获取增强现实设备中所述预设图案的图像信息；
获取所述图像信息中的参考点在所述增强设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；
基于所述图像坐标信息、所述真实坐标信息，确定所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系；
根据所述转换关系将所述设备坐标系进行校准。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。
本说明书实施例提供的上述增强现实设备的坐标系校准方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在PC端实现、linux系统实现，或其他例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。本说明书提供的一种增强现实设备的坐标系校准系统的一个实施例中，图6是本说明书提供的一种增强现实设备的坐标系校准系统实施例的模块结构示意图，如图6所示，本说明书实施例提供的增强现实设备的坐标系校准系统可以包括处理器61以及用于存储处理器可执行指令的存储器62，
处理器61和存储器62通过总线63完成相互间的通信；
所述处理器61用于调用所述存储器62中的程序指令，以执行上述各地震数据处理方法实施例所提供的方法，例如包括：利用增强现实设备扫描预设图案，获取增强现实设备中所述预设图案的图像信息；获取所述图像信息中的参考点在所述增强设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；基于所述图像坐标信息、所述真实坐标信息，确定所述真实坐标系、所述图像坐标系、所述增强现实设备的设备坐标系之间的转换关系，根据所述转换关系将所述设备坐标系进行校准。
需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机数据处理和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (16)

1.一种增强现实设备的坐标系校准方法，包括：
控制不同的增强现实设备扫描预设图案，获取不同增强现实设备中所述预设图案的图像信息；
获取不同增强现实设备中的图像信息中的参考点在各个增强现实设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；
基于所述图像坐标信息、所述真实坐标信息，确定所述真实坐标系与不同增强现实设备中的图像坐标系之间的转换关系、以及不同增强现实设备的设备坐标系与图像坐标系之间的转换关系；
根据所述转换关系将不同增强现实设备的设备坐标系进行校准，以将增强现实设备的坐标系的进行统一；
其中，所述确定所述真实坐标系与不同增强现实设备中的图像坐标系之间的转换关系、以及不同增强现实设备的设备坐标系与图像坐标系之间的转换关系包括：
获取不同增强现实设备的设备坐标系转换为对应的图像坐标系的设备转换矩阵；
根据所述图像坐标信息、所述真实坐标信息、所述增强现实设备的相机内参矩阵，计算所述真实坐标系转变为不同增强现实设备的图像坐标系的真实转换矩阵；
相应地，所述根据所述转换关系将不同增强现实设备的设备坐标系进行校准的方法包括：
根据所述设备转换矩阵、所述真实转换矩阵，将不同增强现实设备的设备坐标系进行校准。
2.如权利要求1所述的方法，所述参考点在真实坐标系中的真实坐标信息获取方法包括：
确定所述图像信息中的标定点；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
3.如权利要求2所述的方法，所述确定所述图像信息中的标定点包括：
选取一个所述参考点作为所述标定点；
相应地，所述确定所述参考点在所述真实坐标系中的真实坐标信息，包括：
以所述标定点为坐标原点，选取所述标定点之外的两个参考点与所述标定点的连线所在的直线作为坐标轴，构建所述真实坐标系；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
4.如权利要求1所述的方法，所述根据所述设备转换矩阵、所述真实转换矩阵，将不同增强现实设备的设备坐标系进行校准，包括：
按照下述公式实现第一增强现实设备和第二增强现实设备的设备坐标系的校准：
PcameraA_real -1PcameraA_AROARA＝PcameraB_real -1PcameraB_AROARB
上式中，PcameraA_real表示所述第一增强现实设备对应的真实转换矩阵，PcameraA_AR表示所述第一增强现实设备对应的设备转换矩阵，OARA表示点O在所述第一增强现实设备的设备坐标系中的坐标，PcameraB_real表示所述第二增强现实设备对应的真实转换矩阵，PcameraB_AR表示所述第二增强现实设备对应的设备转换矩阵，OARB表示点O在所述第二增强现实设备的设备坐标系中的坐标。
5.如权利要求4所述的方法，所述根据所述转换关系将不同增强现实设备的设备坐标系进行校准的方法还包括：
若进行设备坐标系校准的增强现实设备大于2个，则以其中任意一个增强现实设备的设备坐标系为基准进行设备坐标系的校准。
6.如权利要求1所述的方法，所述根据所述图像坐标信息、所述真实坐标信息、所述增强现实设备的相机内参矩阵，计算所述真实坐标系转变为不同增强现实设备的图像坐标系的真实转换矩阵，包括：
根据所述图像坐标信息、所述真实坐标信息、不同增强现实设备的相机内参矩阵，利用SolvePnP算法，计算获得不同增强现实设备的真实转换矩阵。
7.如权利要求1-6任一项所述的方法，所述预设图案包括二维码、条形码中的至少一种。
8.一种增强现实设备的坐标系校准装置，包括：
图像信息获取模块，用于控制增强现实设备扫描预设图案，获取不同增强现实设备中所述预设图案的图像信息；
坐标信息获取模块，用于获取不同增强现实设备中的图像信息中的参考点在各个增强现实设备的图像坐标系中的图像坐标信息，和所述参考点在真实坐标系中的真实坐标信息；
转换关系确定模块，用于基于所述图像坐标信息、所述真实坐标信息，确定所述真实坐标系与不同增强现实设备中的所述图像坐标系之间的转换关系、以及不同增强现实设备的设备坐标系与图像坐标系之间的转换关系；
设备坐标系校准模块，用于根据所述转换关系将不同增强现实设备的设备坐标系进行校准，以将增强现实设备的坐标系的进行统一；
其中，所述转换关系确定模块包括：
设备转换矩阵计算单元，用于获取不同增强现实设备的设备坐标系转换为对应的图像坐标系的设备转换矩阵；
真实转换矩阵计算单元，用于根据所述图像坐标信息、所述真实坐标信息、所述增强现实设备的相机内参矩阵，计算所述真实坐标系转变为不同增强现实设备的图像坐标系的真实转换矩阵；
相应地，所述设备坐标系校准模块用于：根据所述设备转换矩阵、所述真实转换矩阵，将不同增强现实设备的设备坐标系进行校准。
9.如权利要求8所述的装置，所述坐标信息获取模块包括真实坐标获取单元，
所述真实坐标获取单元具体用于：
确定所述图像信息中的标定点；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
10.如权利要求9所述的装置，所述真实坐标获取单元还用于：
选取一个所述参考点作为所述标定点；
以所述标定点为坐标原点，选取所述标定点之外的两个参考点与所述标定点的连线所在的直线作为坐标轴，构建所述真实坐标系；
根据所述预设图案中所述参考点与所述标定点之间的相对位置，确定所述参考点在所述真实坐标系中的真实坐标信息。
11.如权利要求8所述的装置，所述设备坐标系校准模块具体用于：
按照下述公式实现第一增强现实设备和第二增强现实设备的设备坐标系的校准：
PcameraA_real -1PcameraA_AROARA＝PcameraB_real -1PcameraB_AROARB
上式中，PcameraA_real表示所述第一增强现实设备对应的真实转换矩阵，PcameraA_AR表示所述第一增强现实设备对应的设备转换矩阵，OARA表示点O在所述第一增强现实设备的设备坐标系中的坐标，PcameraB_real表示所述第二增强现实设备对应的真实转换矩阵，PcameraB_AR表示所述第二增强现实设备对应的设备转换矩阵，OARB表示点O在所述第二增强现实设备的设备坐标系中的坐标。
12.如权利要求11所述的装置，所述设备坐标系校准模块还用于：
若进行设备坐标系校准的增强现实设备大于2个，则以其中任意一个增强现实设备的设备坐标系为基准进行设备坐标系的校准。
13.如权利要求8所述的装置，所述坐标系校准处理单元具体用于：根据所述图像坐标信息、所述真实坐标信息、不同增强现实设备的相机内参矩阵，利用SolvePnP算法，计算获得不同增强现实设备的真实转换矩阵。
14.如权利要求8所述的装置，所述图像信息获取模块获取到的所述预设图案的图像信息中的预设图案包括二维码、条形码中的至少一种。
15.一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现权利要求1-7任一项所述的方法。
16.一种增强现实设备的坐标系校准系统，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7任一项所述的方法。
CN201810841785.3A 2018-07-27 2018-07-27 一种增强现实设备的坐标系校准方法及装置 Active CN109272454B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810841785.3A CN109272454B (zh) 2018-07-27 2018-07-27 一种增强现实设备的坐标系校准方法及装置
TW108116870A TWI712004B (zh) 2018-07-27 2019-05-16 擴增實境設備的座標系校準方法及裝置
PCT/CN2019/094835 WO2020019962A1 (zh) 2018-07-27 2019-07-05 一种增强现实设备的坐标系校准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810841785.3A CN109272454B (zh) 2018-07-27 2018-07-27 一种增强现实设备的坐标系校准方法及装置

Publications (2)

Publication Number Publication Date
CN109272454A CN109272454A (zh) 2019-01-25
CN109272454B true CN109272454B (zh) 2020-07-03

Family

ID=65148337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810841785.3A Active CN109272454B (zh) 2018-07-27 2018-07-27 一种增强现实设备的坐标系校准方法及装置

Country Status (3)

Country Link
CN (1) CN109272454B (zh)
TW (1) TWI712004B (zh)
WO (1) WO2020019962A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272454B (zh) * 2018-07-27 2020-07-03 阿里巴巴集团控股有限公司 一种增强现实设备的坐标系校准方法及装置
CN110988947B (zh) * 2019-02-20 2020-09-22 以见科技(上海)有限公司 一种基于实时动态载波相位差分技术的增强现实定位方法
CN110322484B (zh) * 2019-05-29 2023-09-08 武汉幻石佳德数码科技有限公司 多设备共享的增强现实虚拟空间的校准方法及系统
CN110160749B (zh) * 2019-06-05 2022-12-06 歌尔光学科技有限公司 应用于增强现实设备的校准装置及校准方法
CN110335307B (zh) * 2019-06-26 2021-07-09 Oppo广东移动通信有限公司 标定方法、装置、计算机存储介质和终端设备
CN112230256B (zh) * 2019-07-15 2024-04-09 苏州宝时得电动工具有限公司 自主机器人及其定位校准方法、装置和存储介质
CN110718043B (zh) * 2019-10-17 2021-07-30 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
CN111260793B (zh) * 2020-01-10 2020-11-24 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN111540060B (zh) * 2020-03-25 2024-03-08 深圳奇迹智慧网络有限公司 增强现实设备的显示校准方法、装置、电子设备
CN111627114A (zh) * 2020-04-14 2020-09-04 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备
CN112102479B (zh) * 2020-09-18 2021-09-28 贝壳找房(北京)科技有限公司 基于模型对齐的增强现实方法和装置、存储介质、电子设备
CN114869528A (zh) * 2022-05-02 2022-08-09 先临三维科技股份有限公司 扫描数据处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN108022267A (zh) * 2016-10-31 2018-05-11 北京新长征天高智机科技有限公司 一种摄像机标定装置及标定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816789B2 (ja) * 2009-11-16 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
CN102939139B (zh) * 2010-04-13 2015-03-04 索尼电脑娱乐美国公司 共享虚拟空间中便携式设备的校准
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
JP6070206B2 (ja) * 2013-01-18 2017-02-01 日本電気株式会社 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
TWI590189B (zh) * 2015-12-23 2017-07-01 財團法人工業技術研究院 擴增實境方法、系統及電腦可讀取非暫態儲存媒介
CN107564089B (zh) * 2017-08-10 2022-03-01 腾讯科技（深圳）有限公司 三维图像处理方法、装置、存储介质和计算机设备
CN107560637B (zh) * 2017-08-21 2021-02-19 歌尔光学科技有限公司 头戴显示设备校准结果验证方法及头戴显示设备
CN108318029A (zh) * 2017-11-27 2018-07-24 中国电子科技集团公司电子科学研究院 姿态跟踪与图像叠加方法及显示设备
CN109272454B (zh) * 2018-07-27 2020-07-03 阿里巴巴集团控股有限公司 一种增强现实设备的坐标系校准方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
CN108022267A (zh) * 2016-10-31 2018-05-11 北京新长征天高智机科技有限公司 一种摄像机标定装置及标定方法
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法

Also Published As

Publication number Publication date
TWI712004B (zh) 2020-12-01
CN109272454A (zh) 2019-01-25
TW202008305A (zh) 2020-02-16
WO2020019962A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
CN109272454B (zh) 一种增强现实设备的坐标系校准方法及装置
CN109192054B (zh) 一种地图区域合并的数据处理方法及装置
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN112933599B (zh) 三维模型渲染方法、装置、设备及存储介质
JP7386812B2 (ja) 照明推定
US9135678B2 (en) Methods and apparatus for interfacing panoramic image stitching with post-processors
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
CN109767466A (zh) 画面渲染方法、装置、终端及对应的存储介质
CN110806847A (zh) 一种分布式多屏幕显示方法、装置、设备及系统
CN109718554B (zh) 一种实时渲染方法、装置及终端
CN116977525B (zh) 一种图像渲染方法、装置、存储介质及电子设备
US10212406B2 (en) Image generation of a three-dimensional scene using multiple focal lengths
JP6126523B2 (ja) Ｔｖ映像向け加速超解像処理方法及び同方法によるｔｖ映像向け加速超解像処理装置、第１〜６加速超解像処理プログラム、並びに第１〜２記憶媒体
CN112132909B (zh) 参数获取方法及装置、媒体数据处理方法和存储介质
CN115129278A (zh) 图像显示控制方法、系统、可读存储介质及电子设备
CN116612244B (zh) 一种图像生成方法、装置、存储介质及电子设备
CN111292245A (zh) 图像处理方法和装置
CN112837424B (zh) 图像处理方法、装置、设备和计算机可读存储介质
CN114520898B (zh) 投影设备控制方法和装置、投影设备及存储介质
CN116740114B (zh) 一种基于凸包检测的目标物边界拟合方法及装置
US11741626B2 (en) Surface projection determination of a multidimensional object in a viewport space
US20140313194A1 (en) Culling for Higher-Order Motion Blur Rasterization
CN117496288A (zh) 三维解析模型的训练方法、虚拟图像创建方法及装置
CN115908975A (zh) 色彩预测模型训练方法、装置以及设备
CN116912467A (zh) 图像拼接方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200930

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200930

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: Greater Cayman, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right