CN113807192A - 一种用于增强现实的多目标识别校准方法 - Google Patents

Abstract

本发明涉及一种用于增强现实的多目标识别校准方法，包括：读取原识别图，将原识别图切分为多个子识别图；存储切分的多个子识别图第一信息；获取采集图像；若采集图像中存在子识别图，则执行步骤S5，否则返回步骤S3重新获取采集图像；存储采集图像中子识别图第二信息，之后返回步骤S3，直至获取存储所有子识别图第二信息；筛选得到当前追踪质量最高的子识别图，并获取该子识别图的当前空间坐标、偏移量及缩放系数，之后在对应的世界坐标位置生成虚拟3D模型、将缩放系数应用至3D模型。与现有技术相比，本发明针对增强现实技术的二维图像识别进行优化和提升，能够在识别图被遮挡的情况下有效提高识别及追踪质量。

Description

一种用于增强现实的多目标识别校准方法

技术领域

本发明涉及图像追踪识别技术领域，尤其是涉及一种用于增强现实的多目标识别校准方法。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，其广泛运用多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，以将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息进行模拟仿真，从而应用到真实世界中，两种信息互为补充，就能够实现对真实世界的“增强”。

增强现实的基本原理为：创建一个坐标系，该坐标系的原点默认为移动设备本身，在此坐标系内识别到的平面(如桌面)、物体(如杯子)、二维图像(如一幅图)都对应该坐标系下的一个坐标数据。假设设备移动，不进行任何操作，则默认情况下，该坐标系内的所有虚拟物体都会移动，而通过对现实世界真实存在的物体的追踪，可以反向推断出摄像机的移动方向和距离，将这个距离应用在该坐标系的虚拟3D模型上，可以保持虚拟3D模型的相对静止。

因此，增强现实技术需要对二维图像进行追踪识别，并能反馈该图像在空间中的位移变化情况，正常情况下移动设备的摄像头捕捉到识别图，将会对该图像进行实时的跟踪，并反馈其在三维空间中的位置，若跟踪过程中摄像头画面识别图被遮挡，则会造成跟踪丢失，导致所生成的虚拟模型无法和真实的三维环境进行匹配(具体表现为：移动相机模型不再固定在目标位置，而发生抖动或消失)。比如在进行文物修复时，拥有文物的3D模型(已经在电脑上通过三维建模软件进行修复好的完整模型)仅能在电脑上查看，而通过增强现实技术，就能实现虚拟模型与真实待修复文物的叠加效果，进而指导后续的文物修复工作(可以透视文物内部的碎片裂纹等)。但值得注意的是，在文物修复过程中，势必需要对文物进行转动，修复人员的工具、手掌、手臂等均有可能对识别图产生遮挡，这就会导致虚拟3D模型抖动、消失。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于增强现实的多目标识别校准方法，以在识别图被遮挡情况下能够保证识别及追踪质量。

本发明的目的可以通过以下技术方案来实现：一种用于增强现实的多目标识别校准方法，包括以下步骤：

S1、读取原识别图，将原识别图切分为多个子识别图；

S2、存储切分的多个子识别图第一信息；

S3、获取采集图像；

S4、若采集图像中存在子识别图，则执行步骤S5，否则返回步骤S3重新获取采集图像；

S5、存储采集图像中子识别图第二信息，之后返回步骤S3，直至获取存储所有子识别图第二信息；

S6、筛选得到当前追踪质量最高的子识别图，并获取该子识别图的当前空间坐标、偏移量及缩放系数，之后在对应的世界坐标位置生成虚拟3D模型、将缩放系数应用至3D模型。

进一步地，所述步骤S1具体包括以下步骤：

S11、读取用户设置的原识别图及识别精度；

S12、按照识别精度，将原识别图切分为多个子识别图。

进一步地，所述识别精度的数值与切分的多个子识别图的数量相同。

进一步地，所述步骤S2中子识别图第一信息包括子识别图ID以及子识别图相对于原识别图中心的坐标偏移量。

进一步地，所述步骤S3具体是通过移动设备的摄像头采集图像。

进一步地，所述步骤S5中子识别图第二信息包括子识别图ID以及子识别图的世界坐标信息。

进一步地，所述步骤S6具体包括以下步骤：

S61、筛选得到当前追踪质量最高的子识别图；

S62、获取该子识别图的空间坐标，计算该子识别图相对于当前中心识别图的偏移量，即当前偏移量，并结合子识别图第一信息，进一步确定子识别图的缩放系数；

S63、根据子识别图的当前空间坐标及当前偏移量，确定该子识别图的世界坐标位置，在该世界坐标位置生成虚拟3D模型；

S64、将缩放系数应用至生成的3D模型。

进一步地，所述步骤S62具体包括以下步骤：

S621、获取该子识别图的空间坐标，将该空间坐标减去当前中心识别图的空间坐标，以得到子识别图的当前偏移量；

S622、结合子识别图的当前偏移量和对应的子识别图第一信息，得到该子识别图的缩放系数，具体是将子识别图的当前偏移量与子识别图相对于原始识别图中心的坐标偏移量进行比较，以确定该子识别图的缩放系数。

进一步地，所述步骤S63具体是将子识别图的当前空间坐标与当前偏移量相加，以确定该子识别图的世界坐标位置。

进一步地，所述步骤S64中若缩放系数不等于1，则将缩放系数应用至生成的3D模型，否则无需将缩放系数应用至生成的3D模型。

与现有技术相比，本发明具有以下优点：

一、本发明通过对原识别图进行切分，以得到多个相互独立的子识别图，之后才获取到实时采集图像时，通过判别子识别图、计算子识别图的当前偏移量及缩放系数，以在对应世界坐标位置生成虚拟3D模型，并按照缩放系数对3D模型进行相应尺寸的缩放，当识别图被遮挡时，也不会影响对整个图像的追踪，由于子识别图是相互独立的，即使用户在操作过程中遮挡了某个或若干个子识别图，只要图像画面中扔存在有子识别图，那么就不会发生虚拟3D模型抖动、消失的现象。

二、本发明在对采集图像完成所有子识别图的识别后，会筛选出追踪质量最高的子识别图进行后续跟踪，以将该子识别图的虚拟3D模型建立在对应的世界坐标位置，若当前跟踪的子识别图受到外界影响、追踪质量降低，那么会自动重新筛选出自动筛选出当前状况下跟踪质量最高的子识别图，由此保证图像追踪质量。

附图说明

图1为本发明的方法流程示意图；

图2为实施例中采集图像中子识别图获取过程；

图3为实施例中子识别图对应3D模型生成过程。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种用于增强现实的多目标识别校准方法，包括以下步骤：

S1、读取原识别图，将原识别图切分为多个子识别图，具体是先读取用户设置的原识别图及识别精度，之后按照识别精度，将原识别图切分为多个子识别图，其中，识别精度的数值与切分的多个子识别图的数量相同；

S2、存储切分的多个子识别图第一信息(包括子识别图ID以及子识别图相对于原识别图中心的坐标偏移量)；

S3、获取采集图像(通过移动设备的摄像头采集图像)；

S4、若采集图像中存在子识别图，则执行步骤S5，否则返回步骤S3重新获取采集图像；

S5、存储采集图像中子识别图第二信息(包括子识别图ID以及子识别图的世界坐标信息)，之后返回步骤S3，直至获取存储所有子识别图第二信息；

S6、筛选得到当前追踪质量最高的子识别图，并获取该子识别图的当前空间坐标、偏移量及缩放系数，之后在对应的世界坐标位置生成虚拟3D模型、将缩放系数应用至3D模型，具体的：

S61、筛选得到当前追踪质量最高的子识别图；

S62、获取该子识别图的空间坐标，计算该子识别图相对于当前中心识别图的偏移量，即当前偏移量，并结合子识别图第一信息，进一步确定子识别图的缩放系数：

首先获取该子识别图的空间坐标，将该空间坐标减去当前中心识别图的空间坐标，以得到子识别图的当前偏移量；

之后结合子识别图的当前偏移量和对应的子识别图第一信息，得到该子识别图的缩放系数，具体是将子识别图的当前偏移量与子识别图相对于原始识别图中心的坐标偏移量进行比较，以确定该子识别图的缩放系数；

S63、根据子识别图的当前空间坐标及当前偏移量，确定该子识别图的世界坐标位置(将子识别图的当前空间坐标与当前偏移量相加，以确定该子识别图的世界坐标位置)，在该世界坐标位置生成虚拟3D模型；

S64、将缩放系数应用至生成的3D模型：若缩放系数不等于1，则将缩放系数应用至生成的3D模型，否则无需将缩放系数应用至生成的3D模型。

本实施例中应用上述技术方案，首先需要从采集图像中获取所有子识别图，之后再进行3D模型生成，如图2和图3所示：

1)读取用户设置的识别图和识别精度(识别精度决定了将识别图划分成几份，本实施例设置为9，则会将把图片划分成九宫格)，并将识别图划分为相应精度下的子识别图；

2)储存划分好的子识别图信息，子识别图的信息包括：识别图的ID，识别图相对于中心点的偏移量。

本实施例的子识别图划分情况与偏移量如表1所示(以九宫格划分方式为例，实际数值和识别图的原本尺寸大小有关)。

表1

3)获取用户设备摄像头的图像信息，并获取画面中是否有子识别图，首先保存其ID，和世界坐标，直至获取到了识别图中所有子识别图ID和坐标信息，之后逐个计算其余子识别图和中心识别图的偏移量，如，使用ID＝1的子识别图世界坐标(X＝*,Y＝*,Z＝*)减去位于中心的ID＝5(X＝0,Y＝0,Z＝0)的子识别图世界坐标：

若结果等于理论数值：X＝-1,Y＝1,Z＝0，则证明识别图被打印出来之后，缩放系数K为1，即没有被缩放，故ID＝1的子识别图的偏移量被设置为(X＝-1,Y＝1,Z＝0)；

若结果不等于理论数值：X＝-1,Y＝1,Z＝0，则以当前的子识别图的世界坐标除以理论数值，得到缩放系数K(如相减结果X＝-2,Y＝2,Z＝0，则证明识别图缩放系数为2，识别图打印过程中被缩放过了，X,Y方向均扩大2倍)。

4)获取当前捕捉到的子识别图数量，是否等于第2)步中切分后存储子识别图的数量，若相等，则证明所有识别图均以获取完毕(获取的同时坐标也记录完毕)，开始生成3D模型；

若不等，则继续重复步骤3)，直至数量相等，开始下一步骤。

5)对获取到的所有识别图进行循环，得到其追踪质量，选择当前追踪质量最佳的子识别图，进行追踪，每一帧都将返回该图片的空间坐标值W(该坐标值随着摄像机的位置变化也在不断变化)使用该坐标值与当前追踪的子识别图偏移量O相加，并实例化3D模型，若缩放系数K不等于1，则将缩放系数应用至模型，使模型同样缩放相应大小。

综上可知，本发明将识别图原图根据应用场景和需求切分为若干个子识别图，每一个子识别图互相独立，用户通过移动设备的摄像头(AR眼镜，手机，平板电脑等等)，扫描采集待识别图像。待所有子识别图识别完毕之后，将根据跟踪质量，选取跟踪质量最高的子识别图进行跟踪，并反馈该图在真实世界的空间位置，虚拟3D模型在该位置出现。当前跟踪的子识别图如果受外界影响，跟踪质量降低，将会自动筛选出当前状况下跟踪质量最好的子识别图。由于子识别彼此互相独立，用户在操作过程中如果遮挡了某个或若干个子识别图，只要画面中扔存在有子识别图，就能可靠地完成跟踪。

此外，采用本发明方法，也不会影响正常工作，无需刻意对识别图进行避让，能够有效提高生产效率和工作的流畅程度；整个过程运算速度快，容错率高，能够适应更加复杂情况下的图像追踪。而且在实际应用中，如在追踪的某识别图后，实时返回的并不止识别图的空间坐标信息，同样也包括旋转角度信息等，那么同时将位置、旋转角度信息应用至生成的3D模型上，就能够产生“虽然移动相机，但是模型仍然固定在工作台上”的效果。

Claims (10)

1.一种用于增强现实的多目标识别校准方法，其特征在于，包括以下步骤：

S1、读取原识别图，将原识别图切分为多个子识别图；

S2、存储切分的多个子识别图第一信息；

S3、获取采集图像；

S4、若采集图像中存在子识别图，则执行步骤S5，否则返回步骤S3重新获取采集图像；

S5、存储采集图像中子识别图第二信息，之后返回步骤S3，直至获取存储所有子识别图第二信息；

S6、筛选得到当前追踪质量最高的子识别图，并获取该子识别图的当前空间坐标、偏移量及缩放系数，之后在对应的世界坐标位置生成虚拟3D模型、将缩放系数应用至3D模型。

2.根据权利要求1所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、读取用户设置的原识别图及识别精度；

S12、按照识别精度，将原识别图切分为多个子识别图。

3.根据权利要求2所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述识别精度的数值与切分的多个子识别图的数量相同。

4.根据权利要求1～3任一所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S2中子识别图第一信息包括子识别图ID以及子识别图相对于原识别图中心的坐标偏移量。

5.根据权利要求1所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S3具体是通过移动设备的摄像头采集图像。

6.根据权利要求4所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S5中子识别图第二信息包括子识别图ID以及子识别图的世界坐标信息。

7.根据权利要求6所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S6具体包括以下步骤：

S61、筛选得到当前追踪质量最高的子识别图；

S62、获取该子识别图的空间坐标，计算该子识别图相对于当前中心识别图的偏移量，即当前偏移量，并结合子识别图第一信息，进一步确定子识别图的缩放系数；

S63、根据子识别图的当前空间坐标及当前偏移量，确定该子识别图的世界坐标位置，在该世界坐标位置生成虚拟3D模型；

S64、将缩放系数应用至生成的3D模型。

8.根据权利要求7所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S62具体包括以下步骤：

S621、获取该子识别图的空间坐标，将该空间坐标减去当前中心识别图的空间坐标，以得到子识别图的当前偏移量；

S622、结合子识别图的当前偏移量和对应的子识别图第一信息，得到该子识别图的缩放系数，具体是将子识别图的当前偏移量与子识别图相对于原始识别图中心的坐标偏移量进行比较，以确定该子识别图的缩放系数。

9.根据权利要求8所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S63具体是将子识别图的当前空间坐标与当前偏移量相加，以确定该子识别图的世界坐标位置。

10.根据权利要求7所述的一种用于增强现实的多目标识别校准方法，其特征在于，所述步骤S64中若缩放系数不等于1，则将缩放系数应用至生成的3D模型，否则无需将缩放系数应用至生成的3D模型。

Images