CN117768627A - 一种增强现实方法和计算装置 - Google Patents

Abstract

一种增强现实方法包括：摄取第一图像帧以及获取第一相机位姿数据后，在第一图像帧中确定数字内容的第一跟踪点坐标以及生成包括第一相机光心坐标的第一封闭空间，将第一射线和第一封闭空间的表面的交点作为第一虚拟锚点，根据第一相机光心坐标和第一虚拟锚点的坐标将数字内容投影在第一图像帧上，以得到增强现实图像帧；后续图像帧通过计算图像帧对应的虚拟位姿，可以将数字内容渲染到对应的背景纹理上，且数字内容与背景的大小变化保持一致。这样可以在任何场景生成虚拟锚点以实现增强现实功能，具有更好的适用性。本申请还提供一种能够实现上述增强现实方法的计算装置。

Description

一种增强现实方法和计算装置

技术领域

本申请涉及图像处理领域，尤其涉及一种增强现实方法和计算装置。

背景技术

增强现实(augmented reality，AR)是一种将虚拟数字内容与真实世界叠加的技术。

现有一种增强现实的方法大致如下：根据定位系统生成周围背景的点云，根据拟合点云生成平面，点击屏幕与平面的交汇处，计算屏幕与平面的交汇点作为锚点，根据该锚点将数字内容投影至相机，将投影后的数字内容与背景叠加。

对于不能生成背景点云的场景，上述方法不能生成锚点，也就无法实现上述方法。

发明内容

有鉴于此，本申请提供一种增强现实方法和计算装置，能够在相机周围生成封闭空间的表面，基于该表面的虚拟锚点能够将数字内容投影在各种场景，由于该方法不需要背景点云生成锚点，因此具有更好的适用性。

第一方面提供一种增强现实方法，该方法包括：使用相机摄取第一图像帧以及获取第一图像帧对应的第一相机位姿数据后，在第一图像帧中确定数字内容的第一跟踪点坐标以及生成包括第一相机光心的第一封闭空间，将在第一相机姿态下从第一相机光心坐标发出且经过第一跟踪点坐标的射线作为第一射线，再确定第一虚拟锚点为第一封闭空间的表面与第一射线的交点，根据第一相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第一图像帧上，以得到增强现实图像帧。其中，第一相机位姿数据包括第一相机光心坐标和第一相机姿态数据。第一封闭空间的形状可以是但不限于立方体，圆柱体，圆锥体。第一封闭空间的大小不作限定。

依此实施，能够根据实际需要生成封闭空间，从相机光心坐标发出的射线与封闭空间的表面之间的交点作为数字内容的虚拟锚点。这样不依赖背景点云生成锚点，可以在任何场景生成虚拟锚点以实现增强现实功能，因此具有更好的适用性。

在第一方面的第一种可能的实现方式中，上述增强现实方法还包括：在第一图像帧中确定包括第一跟踪点坐标的图像跟踪区域；使用相机摄取第二图像帧以及获取第二图像帧对应的第二相机位姿数据；根据图像跟踪区域确定在第二图像帧中的第二跟踪点坐标；根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标计算背景点坐标；当根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据时，根据第二图像帧对应的第一虚拟相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第二图像帧上。第二图像帧可以是第一图像帧之后的任意一个图像帧。第二相机位姿数据包括第二相机光心坐标和第二相机姿态数据。依此可以实时计算第一图像帧之后的每个图像帧对应的虚拟相机位姿，根据该虚拟相机位姿和第一虚拟锚点可以投影得到每个图像帧对应的增强现实帧。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据包括：根据第一相机光心坐标和第一虚拟锚点的坐标确定第一距离；根据第一相机光心坐标和背景点坐标确定第二距离；确定尺度对齐比例为第一距离与第二距离之比；根据第一相机光心坐标，尺度对齐比例和第二相机光心坐标计算第一虚拟相机光心坐标；根据第一虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。依此可以确定尺度对齐比例，根据尺度对齐比例计算出的虚拟相机光心坐标和虚拟相机位姿数据进行投影，能够将数字内容与背景区域保持贴合。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，上述增强现实方法还包括：当数字内容与第二图像帧的背景区域没有贴合时，根据第二跟踪点坐标和第二图像帧对应的第一虚拟相机位姿数据确定第二射线；确定第二虚拟锚点为第一封闭空间的表面与第二射线的交点；根据第二图像帧对应的第一虚拟相机位姿数据和第二虚拟锚点的坐标将数字内容投影在第二图像帧上。背景点坐标的误差可能导致数字内容与背景区域不贴合，依此实施能够在不计算背景点坐标的情况下更新虚拟相机位姿和虚拟锚点，以实现增强现实功能，从而减少数字内容与背景不贴合的情况。

结合第一方面，在第一方面的第四种可能的实现方式中，上述增强现实方法还包括：当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标不能确定背景点坐标时，根据预设的尺度对齐比例、第一相机光心坐标和第二相机光心坐标确定第二虚拟相机光心坐标；根据第二虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据；根据第二图像帧对应的第二虚拟相机位姿数据和第二跟踪点坐标确定第三射线；确定第三虚拟锚点为第一封闭空间的表面与第三射线的交点；根据第二图像帧对应的第二虚拟相机位姿和第三虚拟锚点的坐标将数字内容投影在第二图像帧上。在不能计算出背景点坐标时，依此提供了一种计算虚拟相机位姿数据和虚拟锚点的方法，以实现增强现实功能，提高了方案实施的灵活性。

结合第一方面或第一方面以上任一实现方式，在第一方面的第五种可能的实现方式中，在第一图像帧中确定数字内容的第一跟踪点坐标包括：根据作用于屏幕的触控操作确定触控点坐标；将触控点坐标转换为在第一图像帧中数字内容的第一跟踪点坐标。这样可以触摸屏幕的任一位置，然后根据该位置确定数字内容的跟踪点坐标。

结合第一方面或第一方面以上任一实现方式，在第一方面的第六种可能的实现方式中，在第一图像帧中确定数字内容的第一跟踪点坐标包括：根据作用于屏幕的触控操作确定第一图像帧中数字内容的第一跟踪点坐标为预设坐标。这样可以触摸屏幕选择预设坐标作为数字内容的跟踪点坐标。

结合第一方面或第一方面以上任一实现方式，在第一方面的第七种可能的实现方式中，上述增强现实方法还包括：使用相机摄取第三图像帧以及获取第三图像帧对应的第三相机位姿数据，然后在第三图像帧中确定数字内容的第三跟踪点坐标以及生成包括第三相机光心的第二封闭空间；将在第三相机姿态下从第三相机光心坐标发出且经过第三跟踪点坐标的射线作为第四射线，确定第四虚拟锚点为第二封闭空间与第四射线的交点。第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据。这样提供了一种更新虚拟锚点的方法，基于更新后的虚拟锚点可以调整数字内容的位置。

第二方面提供一种计算装置，其包括相机，位姿传感器和处理器；相机用于摄取第一图像帧；位姿传感器用于获取第一图像帧对应的第一相机位姿数据，第一相机位姿数据包括第一相机光心坐标和第一相机姿态数据；处理器用于在第一图像帧中确定数字内容的第一跟踪点坐标；生成包括第一相机光心的第一封闭空间；确定第一射线为在第一相机姿态下从第一相机光心坐标发出且经过第一跟踪点坐标的射线后，确定第一虚拟锚点为第一封闭空间的表面与第一射线的交点，根据第一相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第一图像帧上，以得到增强现实图像帧。

结合第二方面，在第二方面的第一种可能的实现方式中，处理器还用于在第一图像帧中确定包括第一跟踪点坐标的图像跟踪区域；相机还用于摄取第二图像帧；位姿传感器还用于获取第二图像帧对应的第二相机位姿数据；处理器还用于根据图像跟踪区域确定在第二图像帧中的第二跟踪点坐标；当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标确定背景点坐标时，根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据；根据第二图像帧对应的第一虚拟相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第二图像帧上。

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，处理器具体用于根据第一相机光心坐标和第一虚拟锚点的坐标确定第一距离；根据第一相机光心坐标和背景点坐标确定第二距离；确定尺度对齐比例为第一距离与第二距离之比；根据第一相机光心坐标，尺度对齐比例和第二相机光心坐标计算第一虚拟相机光心坐标；根据第一虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。

结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，处理器还用于当数字内容与第二图像帧的背景区域没有贴合时，根据图像跟踪区域在第二图像帧中确定第二跟踪点坐标；根据第二跟踪点坐标和第二图像帧对应的第一虚拟相机位姿数据确定第二射线；确定第二虚拟锚点为第一封闭空间的表面与第二射线的交点；根据第二图像帧对应的第一虚拟相机位姿数据和第二虚拟锚点的坐标将数字内容投影在第二图像帧上。

结合第二方面，在第二方面的第四种可能的实现方式中，处理器还用于当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标不能确定背景点坐标时，根据预设的尺度对齐比例、第一相机光心坐标和第二相机光心坐标确定第二虚拟相机光心坐标；根据第二虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据；根据第二图像帧对应的第二虚拟相机位姿数据和第二跟踪点坐标确定第三射线；确定第三虚拟锚点为第一封闭空间的表面与第三射线的交点；根据第二图像帧对应的第二虚拟相机位姿和第三虚拟锚点的坐标将数字内容投影在第二图像帧上。

结合第二方面或第二方面以上任一实现方式，在第二方面的第五种可能的实现方式中，处理器具体用于根据作用于屏幕的触控操作确定触控点坐标；将触控点坐标转换为在第一图像帧中数字内容的第一跟踪点坐标。

结合第二方面或第二方面以上任一实现方式，在第二方面的第六种可能的实现方式中，处理器具体用于根据作用于屏幕的触控操作确定第一图像帧中数字内容的第一跟踪点坐标为预设坐标。

结合第二方面或第二方面以上任一实现方式，在第二方面的第七种可能的实现方式中，相机还用于摄取第三图像帧；位姿传感器还用于获取第三图像帧对应的第三相机位姿数据，第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据；处理器还用于在第三图像帧中确定数字内容的第三跟踪点坐标；生成包括第三相机光心的第二封闭空间；确定第四虚拟锚点为第二封闭空间与第四射线的交点，第四射线是在第三相机姿态下从第三相机光心坐标发出且经过第三跟踪点坐标的射线。第二方面的名词解释，各单元执行的步骤和有益效果可参阅第一方面的相应记载。

第三方面提供一种计算装置，其包括处理器和存储器，所述存储器用于存储程序；所述处理器通过执行程序用于实现第一方面或第一方面任意一种可能实现方式记载的方法。

第四方面提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行第一方面或第一方面任意一种可能实现方式记载的方法。

第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面或第一方面任意一种可能实现方式记载的方法。

第六方面提供了一种芯片系统，该芯片系统包括至少一个处理器和接口，该接口用于接收数据和/或指令，至少一个处理器用于支持计算装置实现第一方面或第一方面的任意一种可能实现方式涉及的功能。在一种可能的设计中，芯片系统还可以包括存储器，存储器，用于保存计算装置必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

附图说明

图1A为本申请实施例中室内场景的一个示意图；

图1B为本申请实施例中室内场景的数字内容的一个示意图；

图2为本申请实施例中增强现实方法的一个流程图；

图3为本申请实施例中选择跟踪点坐标和图像跟踪区域的一个示意图；

图4为本申请实施例中封闭空间和虚拟锚点的一个示意图；

图5为本申请实施例中增强现实方法的另一个流程图；

图6为本申请实施例中生成虚拟相机位姿和虚拟锚点的一个示意图；

图7为本申请实施例中生成虚拟相机位姿和虚拟锚点的另一个示意图；

图8为本申请实施例中生成虚拟相机位姿和虚拟锚点的另一个示意图；

图9为本申请实施例中纠正跟踪点坐标的一个示意图；

图10为本申请实施例中计算装置的一个结构图；

图11为本申请实施例中计算装置的另一个结构图。

具体实施方式

本申请的增强现实方法可以应用于计算装置。计算装置可以是终端或芯片，终端也可以称为终端设备、用户设备(user equipment，UE)、移动台、移动终端等。终端可以广泛应用于各种场景，例如，设备到设备(device-to-device，D2D)、车物(vehicle toeverything， V2X)通信、机器类通信(machine-type communication，MTC)、物联网(internet of things， IOT)、虚拟现实、增强现实、工业控制、自动驾驶、远程医疗、智能电网、智能家具、智能办公、智能穿戴、智能交通、智慧城市等。

终端可以是手机、平板电脑、AR设备、虚拟现实(virtual reality，VR)设备、混合现实(mixed reality，MR)设备、带无线收发功能的电脑、可穿戴设备、车辆、飞机、轮船、机器人、机械臂、智能家居设备等。本申请的实施例对终端所采用的具体技术和具体设备形态不做限定。

参阅图1A和图1B，在一个实施例中，用户通过相机取景时，摄取如图1A所示的室内场景图像。用户可以在屏幕上选择数字内容(如卡通松鼠)放在地面上，如图1B所示。

有一些实际场景难以生成背景点云，按照现有方法就不能实现增强现实功能。本申请提供一种增强现实方法能够克服上述问题。下面对其进行介绍，参阅图2，在一个实施例中，本申请的增强现实方法包括：

步骤201、使用相机摄取第一图像帧以及获取第一图像帧对应的第一相机位姿数据。

本实施例中，在使用相机取景时，可以选择任意一张图像帧作为第一图像帧。相机位姿数据可以是位姿传感器确定的。位姿传感器可以包括图像传感数据，深度数据，惯性传感器数据，磁力计数据中的一项或多项以及定位单元。惯性传感器数据是通过惯性测量单元 (inertial measurement unit，IMU)测量得到的。定位单元可以是即时定位与地图构建(simultaneous localization and mapping，SLAM)单元,视觉惯性里程计(visual-inertial odometry，VIO)单元或其他定位单元。定位单元还可以包括后端捆绑调整模块(bundle adjustment，BA)优化模块或闭环纠正模块。

具体的，定位单元根据图像传感数据，深度数据，惯性传感器数据，磁力计数据中的一项或多项确定相机位姿数据。相机位姿数据可以是6自由度(degree-o-freedom，DOF)数据或3DOF数据。6DOF数据包括三维坐标和姿态数据。3DOF包括三维坐标或姿态数据。三维坐标包括(X轴坐标，Y轴坐标，Z轴坐标)，姿态数据包括(翻滚角、俯仰角、倾斜角)。第一相机位姿数据包括第一相机光心坐标和第一相机姿态数据，第一相机姿态数据用于表示第一相机姿态。

步骤202、在第一图像帧中确定数字内容的第一跟踪点坐标。

第一跟踪点坐标对应于数字内容在场景中的位置，该位置也称为背景点。数字内容包括以数字形式存在的文本、图像、声音、三维物体等。

对于具有触控屏的计算装置，计算装置可以根据作用于屏幕的触控操作确定触控点坐标；将触控点坐标转换为在第一图像帧中数字内容的第一跟踪点坐标。或者，计算装置根据作用于屏幕的触控操作确定第一图像帧中数字内容的第一跟踪点坐标为预设坐标。触控操作可以是但不限于点击操作或者拖曳操作。

需要说的是，在生成第一跟踪点坐标之后，还可以生成包括第一跟踪点坐标的图像跟踪区域。可选的，图像跟踪区域可以是以第一跟踪点坐标为中心的区域。

本申请中，不同图像帧的图像跟踪区域对应同一个背景区域。具体的，图像跟踪区域可以是矩形，正方形或圆形，也可以其他形状。如图3所示，在一个示例中，用户在屏幕上点击后，根据点击位置生成第一跟踪点坐标31和图像跟踪区域32。

步骤203、生成包括第一相机光心的第一封闭空间。

具体可以根据封闭空间参数生成封闭空间。封闭空间参数值可以是预设的，也可以是由用户输入。封闭空间参数包括形状类型和空间尺寸参数，形状类型可以是立方体，正方体，圆柱体或圆锥体等。每种形状可以配置相应的空间尺寸参数，例如立方体的空间尺寸参数包括长度，宽度和高度。正方体的空间尺寸参数包括边长。圆柱体的空间参数包括底面半径和高度。封闭空间形状和空间尺寸参数可以根据实际情况进行选择，本申请不作限定。

步骤204、确定第一虚拟锚点为第一封闭空间的表面与第一射线的交点。

第一射线是在第一相机姿态下从第一相机光心坐标发出且经过第一跟踪点坐标的射线。图4为封闭空间和锚点的一个示意图。参阅图4，在一个示例中，封闭空间41为立方体，从相机光心401发出的射线经过跟踪点坐标402之后，与封闭空间41的表面交汇于虚拟锚点 403，在背景42中的背景点421位于该射线的延长线上。

步骤205、根据第一相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第一图像帧上，以得到增强现实图像帧。应理解，投影后可以执行渲染等步骤，本申请不作限定。步骤 202和步骤203并无固定先后顺序。

本实施例中，能够根据实际需要生成封闭空间，从第一相机光心坐标发出的射线与第一封闭空间的表面之间的交点作为数字内容的第一虚拟锚点，根据第一相机位姿数据和第一虚拟锚点能够将数字内容投影到第一图像帧，从而得到增强现实图像。这样不依赖背景点云生成锚点，在没有环境数据时也可以在任意位置摆放数字内容，而且能够将数字内容与背景贴合，因此具有更好的适用性。

本申请还可以对第一图像帧之后的其他图像帧进行增强现实处理。参阅图5，在另一个实施例中，本申请的增强现实方法还包括：

步骤501、在第一图像帧中确定包括第一跟踪点坐标的图像跟踪区域。

步骤502、使用相机摄取第二图像帧以及获取第二图像帧对应的第二相机位姿数据。第二图像帧可以是第一图像帧之后的任意一个图像帧。第二相机位姿数据包括第二相机光心坐标和第二相机姿态数据，第二相机姿态数据对应于第二相机姿态。

步骤503、根据图像跟踪区域确定在第二图像帧中的第二跟踪点坐标。

可选的，根据第一图像帧的图像跟踪区域可以确定第二图像帧的图像跟踪区域，然后确定第二跟踪点坐标为第二图像帧的图像跟踪区域的中心坐标。

步骤504、根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标是否能够确定背景点坐标，若是，执行步骤505，若否，执行步骤507。

步骤505、根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据。

具体的，第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标后，使用计算机视觉定位技术中的三角测量方法对上述数据进行处理，可以得到背景点坐标。

可选的，步骤505包括：根据第一相机光心坐标和第一虚拟锚点的坐标确定第一距离；根据第一相机光心坐标和背景点坐标确定第二距离；确定尺度对齐比例为第一距离与第二距离之比；根据第一相机光心坐标，尺度对齐比例和第二相机光心坐标计算第一虚拟相机光心坐标；根据第一虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。应理解，第二图像帧对应的第一虚拟相机位姿数据包括第一虚拟相机光心坐标和第二相机姿态数据。

具体的，将第一距离记为Dv，第二距离记为Dt，尺度对齐比例记为Scale，它们满足以下公式：Scale＝Dv/Dt。

将尺度对齐比例记为Scale，第一相机光心坐标记为refPosition，第二相机光心坐标记为currPosition，虚拟相机光心的坐标记为virtualPosition，它们满足以下公式：

virtualPosition＝Scale*(currPosition-refPosition)。

参阅图6，在一个示例中，封闭空间61为立方体，相机光心601到虚拟锚点603的距离为Dv，相机光心601到背景点621的距离为Dt，可得Scale＝Dv/Dt。

相机光心601的坐标为refPosition，相机光心631的坐标为currPosition，按照virtualPosition＝Scale*(currPosition-refPosition)可以计算出虚拟相机光心632的坐标为virtualPosition。虚拟相机光心632对应的虚拟相机姿态数据与相机光心631对应的相机姿态数据相同。

由于第一虚拟相机光心到第一虚拟锚点的距离与第二相机光心到背景点的距离之间的比例为尺度对齐比例，因此在投影时数字内容的缩放比例与背景的缩放比例相同，从而使得数字内容与背景贴合。

步骤506、根据第二图像帧对应的第一虚拟相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第二图像帧上。

步骤507、根据预设的尺度对齐比例、第一相机光心坐标和第二相机光心坐标确定第二虚拟相机光心坐标。预设的尺度对齐比例Scale可以是0。按照 virtualPosition＝Scale*(currPosition-refPosition)可以计算出第二虚拟相机光心坐标。

需要说明的是，本申请也可以不执行步骤507，直接将第二虚拟相机光心坐标设置为预设的虚拟相机光心坐标，预设的虚拟相机光心坐标可以根据实际情况进行设置，本申请不作限定。

步骤508、根据第二虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据。第二虚拟相机位姿数据包括第二虚拟相机光心坐标和第二相机姿态数据。

步骤509、根据第二图像帧对应的第二虚拟相机位姿数据和第二跟踪点坐标确定第三射线。第三射线是在第二相机姿态下从第二虚拟相机光心坐标发出且经过第二跟踪点坐标的射线。

步骤510、确定第三虚拟锚点为第一封闭空间的表面与第三射线的交点。

步骤511、根据第二图像帧对应的第二虚拟相机位姿和第三虚拟锚点的坐标将数字内容投影在第二图像帧上。

下面以一个示意图对第二虚拟相机位姿和第三虚拟锚点进行介绍，参阅图7，在一个示例中，封闭空间71为立方体，相机光心701，虚拟锚点703和背景点721在一条直线上。当相机处于相机光心731时，可以获取在相机光心731处的相机位姿数据，然后根据相机光心731对应的相机姿态数据和虚拟相机光心741的坐标可以确定虚拟相机位姿，在该虚拟相机位姿下根据虚拟相机光心741和跟踪点742确定射线743，将射线743与封闭空间71的交点作为虚拟锚点744。然后根据虚拟相机位姿和虚拟锚点744的坐标将数字内容投影，从而得到增强现实图像帧。

需要说明的是，步骤501可以在步骤202之后执行。步骤502在步骤205之后执行。图像跟踪区域可参阅图2所示实施例中的相应记载。

本实施例中，摄取第二图像帧之后，可以确定第二图像帧对应的第一虚拟相机位姿以及尺度对齐比例，根据第一虚拟锚点，第二图像帧对应的第一虚拟相机位姿以及尺度对齐比例能够实现增强现实功能，而且能够按照尺度对齐比例缩放数字内容，使得数字内容与背景贴合。

其次，在没有成功计算出背景点坐标的情况下也能获取第二虚拟相机位姿和第三虚拟锚点的坐标，从而实现增强现实功能，因此提高了方案实施的灵活性。当第三虚拟锚点与第一虚拟锚点处于第一封闭空间的同一平面时，可以实现数字内容与背景的缩放比例一致，使数字内容与背景贴合。

在实际应用中，相机位姿计算可能有误差，跟踪点坐标也可能出现误差，这些误差可能导致尺度对齐比例和虚拟相机位姿不正确，导致数字内容与背景没有贴合。本申请对此可以进行修正，下面对修正过程进行介绍，在一个可选实施例中，本申请的增强现实方法还包括：当数字内容与第二图像帧的背景区域没有贴合时，根据第二跟踪点坐标和第二图像帧对应的第一虚拟相机位姿数据确定第二射线；确定第二虚拟锚点为第一封闭空间的表面与第二射线的交点；根据第二图像帧对应的第一虚拟相机位姿数据和第二虚拟锚点的坐标将数字内容投影在第二图像帧上。

其中，第二射线是在第二相机姿态下从第一虚拟相机光心坐标发出且经过第二跟踪点坐标的射线。

本实施例中，当数字内容与第二图像帧的背景区域没有贴合时，可以采用第二图像帧对应的第一虚拟相机姿态数据和第二跟踪点坐标重新确定虚拟锚点，以得到目标增强现实图像帧。本申请可以不显示步骤506生成的增强现实图像帧且显示目标增强现实图像帧，能够减少数据内容与背景不贴合的图像帧。

参阅图8和图9，在一个示例中，相机中心801、虚拟锚点803和虚拟相机光心832的位置如图8所示。根据虚拟锚点803和虚拟相机光心832投影时，投影点为图9所示的投影点912。投影点912不是图像跟踪区域92的中心点，因此卡通松鼠不能与背景贴合。

当检测到卡通松鼠与背景不贴合时，将通过跟踪点841和虚拟相机光心832的射线与封闭空间81的交点作为虚拟锚点842，根据虚拟锚点842和虚拟相机光心832将虚拟松鼠进行投影，投影点为图9所示的投影点911，投影点911是图像跟踪区域92的中心点，由此能够纠正投影位置的偏差。

当用户要调整数字内容的位置时，用户可以重新选择数字内容的摆放位置，而且可以选择封闭空间参数生成新的封闭空间。下面对其进行介绍，在一个可选实施例中，本申请的增强现实方法还包括：使用相机摄取第三图像帧以及获取第三图像帧对应的第三相机位姿数据，在第三图像帧中确定数字内容的第三跟踪点坐标；确定第四射线是在第三相机姿态下从第三相机光心坐标发出且经过第三跟踪点坐标的射线，生成包括第三相机光心的第二封闭空间；确定第四虚拟锚点为第二封闭空间与第四射线的交点。其中，第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据，第三相机位姿数据对应于第三相机姿态。依此可以更新封闭空间、虚拟锚点以及虚拟相机光心，然后根据更新后的虚拟锚点和更新后的虚拟相机光心实现增强现实功能。本实施例中生成封闭空间，计算虚拟锚点的具体过程可参阅图2所示实施例的相应记载，此处不再赘述。

本申请还提供一种计算装置1000能够实现上述实施例中的增强现实方法。参阅图10，在一个实施例中，计算装置1000包括相机1001，位姿传感器1002和处理器1003。

相机1001用于摄取第一图像帧；位姿传感器1002用于获取第一图像帧对应的第一相机位姿数据，处理器1003用于在第一图像帧中确定数字内容的第一跟踪点坐标；生成包括第一相机光心的第一封闭空间；将在第一相机姿态下从第一相机光心坐标发出且经过第一跟踪点坐标的射线作为第一射线，确定第一虚拟锚点为第一封闭空间的表面与第一射线的交点，根据第一相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第一图像帧上，以得到增强现实图像帧。

在一个可选实施例中，处理器1003还用于在第一图像帧中确定包括第一跟踪点坐标的图像跟踪区域；相机1001还用于摄取第二图像帧；位姿传感器1002还用于获取第二图像帧对应的第二相机位姿数据；处理器1003还用于根据图像跟踪区域确定在第二图像帧中的第二跟踪点坐标；当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标确定背景点坐标时，根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据；根据第二图像帧对应的第一虚拟相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第二图像帧上。

在另一个可选实施例中，处理器1003具体用于根据第一相机光心坐标和第一虚拟锚点的坐标确定第一距离；根据第一相机光心坐标和背景点坐标确定第二距离；确定尺度对齐比例为第一距离与第二距离之比；根据第一相机光心坐标，尺度对齐比例和第二相机光心坐标计算第一虚拟相机光心坐标；根据第一虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。

在另一个可选实施例中，处理器1003还用于当数字内容与第二图像帧的背景区域没有贴合时，根据第二跟踪点坐标和第二图像帧对应的第一虚拟相机位姿数据确定第二射线；确定第二虚拟锚点为第一封闭空间的表面与第二射线的交点；根据第二图像帧对应的第一虚拟相机位姿数据和第二虚拟锚点的坐标将数字内容投影在第二图像帧上。

在另一个可选实施例中，处理器1003还用于当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标不能确定背景点坐标时，根据预设的尺度对齐比例、第一相机光心坐标和第二相机光心坐标确定第二虚拟相机光心坐标；根据第二虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据；根据第二图像帧对应的第二虚拟相机位姿数据和第二跟踪点坐标确定第三射线；确定第三虚拟锚点为第一封闭空间的表面与第三射线的交点；根据第二图像帧对应的第二虚拟相机位姿和第三虚拟锚点的坐标将数字内容投影在第二图像帧上。

在一个可选实施例中，处理器1003具体用于根据作用于屏幕的触控操作确定触控点坐标；将触控点坐标转换为在第一图像帧中数字内容的第一跟踪点坐标。

在另一个可选实施例中，处理器1003具体用于根据作用于屏幕的触控操作确定第一图像帧中数字内容的第一跟踪点坐标为预设坐标。

在另一个可选实施例中，相机1001还用于摄取第三图像帧；位姿传感器1002还用于获取第三图像帧对应的第三相机位姿数据，第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据；处理器1003还用于在第三图像帧中确定数字内容的第三跟踪点坐标；生成包括第三相机光心的第二封闭空间；确定第四射线是在第三相机姿态下从第三相机光心坐标发出且经过第三跟踪点坐标的射线，确定第四虚拟锚点为第二封闭空间与第四射线的交点。

本实施例中，位姿传感器1002执行的步骤可以由相机1001实现。本实施例中的名词解释，相机1001，位姿传感器1002和处理器1003执行的步骤和有益效果可参阅图2所示实施例、图5所示实施例或可选实施例中的相应记载。

本申请还提供一种计算装置1100能够实现上述实施例中的增强实现方法。如图11所示，计算装置1100包括：相机1101，深度传感器1102，处理器1103，惯性测量单元 1104，输入单元1105，显示单元1106，存储器1107，通信接口1108和磁力计1109。相机 1101，深度传感器1102，惯性测量单元1104，输入单元1105，显示单元1106，存储器 1107，通信接口1108和磁力计1109与处理器1103之间通过总线连接。

总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。总线可包括在计算装置1100的各部件之间传送信息的通路。

处理器1103可以包括中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)、微处理器(micro processor，MP)或者数字信号处理器(digital signal processor，DSP)等处理器中的任意一种或多种。

深度传感器1102用于测量场景的深度信息。深度传感器1102可以是但不限于激光传感器。

惯性测量单元1104用于获取计算装置的运动数据，如线加速度，角速度等。

输入单元1105可以是触控屏，键盘，鼠标或其他输入设备。

显示单元1106可以是显示器。

磁力计1109用于测量计算装置的偏航角。

存储器1107可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)。处理器104还可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器，机械硬盘(hard diskdrive，HDD)或固态硬盘(solid state drive，SSD)。

存储器1107中存储有可执行的程序代码，处理器1103执行该可执行的程序代码以分别实现前述相机、位姿传感器和处理器的功能，从而实现增强现实方法。即存储器1107存储有用于执行增强现实方法的指令。

通信接口1108使用例如但不限于网络接口卡、收发器一类的收发模块，来实现计算装置1100与其他设备或通信网络之间的通信。

应理解，本申请不限定计算装置1100中的相机，深度传感器，处理器，惯性测量单元，输入单元，显示单元，存储器，通信接口和磁力计的个数。

本申请实施例还提供了一种包含指令的计算机程序产品。所述计算机程序产品可以是包含指令的，能够运行在计算装置上或被储存在任何可用介质中的软件或程序产品。当所述计算机程序产品在至少一个计算装置上运行时，使得至少一个计算装置执行增强现实方法。

本申请实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算装置能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如， DVD)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括指令，所述指令指示计算装置执行增强现实方法。

在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例记载的技术方案的范围。

Claims (19)

1.一种增强现实方法，其特征在于，包括：

使用相机摄取第一图像帧以及获取所述第一图像帧对应的第一相机位姿数据，所述第一相机位姿数据包括第一相机光心坐标和第一相机姿态数据；

在所述第一图像帧中确定数字内容的第一跟踪点坐标；

生成包括第一相机光心的第一封闭空间；

确定第一虚拟锚点为所述第一封闭空间的表面与第一射线的交点，所述第一射线是在第一相机姿态下从所述第一相机光心坐标发出且经过所述第一跟踪点坐标的射线；

根据所述第一相机位姿数据和所述第一虚拟锚点的坐标将所述数字内容投影在所述第一图像帧上，以得到增强现实图像帧。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一图像帧中确定包括所述第一跟踪点坐标的图像跟踪区域；

使用相机摄取第二图像帧以及获取所述第二图像帧对应的第二相机位姿数据，所述第二相机位姿数据包括第二相机光心坐标和第二相机姿态数据；

根据所述图像跟踪区域确定在所述第二图像帧中的第二跟踪点坐标；

当根据所述第一相机位姿数据，所述第一跟踪点坐标，所述第二相机位姿数据和所述第二跟踪点坐标确定背景点坐标时，根据第一相机光心坐标，所述第一虚拟锚点的坐标，所述背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据；

根据所述第二图像帧对应的第一虚拟相机位姿数据和所述第一虚拟锚点的坐标将所述数字内容投影在所述第二图像帧上。

3.根据权利要求2所述的方法，其特征在于，所述根据第一相机光心坐标，所述第一虚拟锚点的坐标，所述背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据包括：

根据所述第一相机光心坐标和所述第一虚拟锚点的坐标确定第一距离；

根据所述第一相机光心坐标和所述背景点坐标确定第二距离；

确定尺度对齐比例为所述第一距离与所述第二距离之比；

根据所述第一相机光心坐标，所述尺度对齐比例和所述第二相机光心坐标计算第一虚拟相机光心坐标；

根据所述第一虚拟相机光心坐标和所述第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述数字内容与所述第二图像帧的背景区域没有贴合时，根据所述第二跟踪点坐标和所述第二图像帧对应的第一虚拟相机位姿数据确定第二射线；

确定第二虚拟锚点为所述第一封闭空间的表面与第二射线的交点；

根据第二图像帧对应的第一虚拟相机位姿数据和所述第二虚拟锚点的坐标将所述数字内容投影在所述第二图像帧上。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当根据所述第一相机位姿数据，所述第一跟踪点坐标，所述第二相机位姿数据和所述第二跟踪点坐标不能确定背景点坐标时，根据预设的尺度对齐比例、第一相机光心坐标和所述第二相机光心坐标确定第二虚拟相机光心坐标；

根据所述第二虚拟相机光心坐标和所述第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据；

根据所述第二图像帧对应的第二虚拟相机位姿数据和所述第二跟踪点坐标确定第三射线；

确定第三虚拟锚点为所述第一封闭空间的表面与所述第三射线的交点；

根据所述第二图像帧对应的第二虚拟相机位姿和所述第三虚拟锚点的坐标将所述数字内容投影在所述第二图像帧上。

6.根据权利要求1至5中任一项所述的方法，其特征在于，在所述第一图像帧中确定数字内容的第一跟踪点坐标包括：

根据作用于屏幕的触控操作确定触控点坐标；

将所述触控点坐标转换为在所述第一图像帧中数字内容的第一跟踪点坐标。

7.根据权利要求1至5中任一项所述的方法，其特征在于，在所述第一图像帧中确定数字内容的第一跟踪点坐标包括：

根据作用于屏幕的触控操作确定所述第一图像帧中数字内容的第一跟踪点坐标为预设坐标。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

使用相机摄取第三图像帧以及获取所述第三图像帧对应的第三相机位姿数据，所述第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据；

在所述第三图像帧中确定数字内容的第三跟踪点坐标；

生成包括第三相机光心的第二封闭空间；

确定第四虚拟锚点为所述第二封闭空间与第四射线的交点，所述第四射线是在第三相机姿态下从所述第三相机光心坐标发出且经过第三跟踪点坐标的射线。

9.一种计算装置，其特征在于，包括：

相机，用于摄取第一图像帧；

位姿传感器，用于获取所述第一图像帧对应的第一相机位姿数据，所述第一相机位姿数据包括第一相机光心坐标和第一相机姿态数据；

处理器，用于在所述第一图像帧中确定数字内容的第一跟踪点坐标；生成包括第一相机光心的第一封闭空间；确定第一虚拟锚点为所述第一封闭空间的表面与第一射线的交点，所述第一射线是在第一相机姿态下从所述第一相机光心坐标发出且经过所述第一跟踪点坐标的射线；根据所述第一相机位姿数据和所述第一虚拟锚点的坐标将所述数字内容投影在所述第一图像帧上，以得到增强现实图像帧。

10.根据权利要求9所述的计算装置，其特征在于，

所述处理器还用于在所述第一图像帧中确定包括所述第一跟踪点坐标的图像跟踪区域；

所述相机还用于摄取第二图像帧；

所述位姿传感器还用于获取所述第二图像帧对应的第二相机位姿数据，所述第二相机位姿数据包括第二相机光心坐标和第二相机姿态数据；

所述处理器还用于根据所述图像跟踪区域确定在所述第二图像帧中的第二跟踪点坐标；当根据所述第一相机位姿数据，所述第一跟踪点坐标，所述第二相机位姿数据和所述第二跟踪点坐标确定背景点坐标时，根据第一相机光心坐标，所述第一虚拟锚点的坐标，所述背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据；根据所述第二图像帧对应的第一虚拟相机位姿数据和所述第一虚拟锚点的坐标将所述数字内容投影在所述第二图像帧上。

11.根据权利要求10所述的计算装置，其特征在于，所述处理器具体用于根据所述第一相机光心坐标和所述第一虚拟锚点的坐标确定第一距离；根据所述第一相机光心坐标和所述背景点坐标确定第二距离；确定尺度对齐比例为所述第一距离与所述第二距离之比；根据所述第一相机光心坐标，所述尺度对齐比例和所述第二相机光心坐标计算第一虚拟相机光心坐标；根据所述第一虚拟相机光心坐标和所述第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。

12.根据权利要求11所述的计算装置，其特征在于，所述处理器还用于当所述数字内容与所述第二图像帧的背景区域没有贴合时，根据所述第二跟踪点坐标和所述第二图像帧对应的第一虚拟相机位姿数据确定第二射线；确定第二虚拟锚点为所述第一封闭空间的表面与第二射线的交点；根据第二图像帧对应的第一虚拟相机位姿数据和所述第二虚拟锚点的坐标将所述数字内容投影在所述第二图像帧上。

13.根据权利要求10所述的计算装置，其特征在于，所述处理器还用于当根据所述第一相机位姿数据，所述第一跟踪点坐标，所述第二相机位姿数据和所述第二跟踪点坐标不能确定背景点坐标时，根据预设的尺度对齐比例、第一相机光心坐标和所述第二相机光心坐标确定第二虚拟相机光心坐标；根据所述第二虚拟相机光心坐标和所述第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据；根据所述第二图像帧对应的第二虚拟相机位姿数据和所述第二跟踪点坐标确定第三射线；确定第三虚拟锚点为所述第一封闭空间的表面与所述第三射线的交点；根据所述第二图像帧对应的第二虚拟相机位姿和所述第三虚拟锚点的坐标将所述数字内容投影在所述第二图像帧上。

14.根据权利要求9至13中任一项所述的计算装置，其特征在于，所述处理器具体用于根据作用于屏幕的触控操作确定触控点坐标；将所述触控点坐标转换为在所述第一图像帧中数字内容的第一跟踪点坐标。

15.根据权利要求9至13中任一项所述的计算装置，其特征在于，所述处理器具体用于根据作用于屏幕的触控操作确定所述第一图像帧中数字内容的第一跟踪点坐标为预设坐标。

16.根据权利要求9至13中任一项所述的计算装置，其特征在于，

所述相机还用于摄取第三图像帧；

所述位姿传感器还用于获取所述第三图像帧对应的第三相机位姿数据，所述第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据；

所述处理器还用于在所述第三图像帧中确定数字内容的第三跟踪点坐标；生成包括第三相机光心的第二封闭空间；确定第四虚拟锚点为所述第二封闭空间与第四射线的交点，所述第四射线是在第三相机姿态下从所述第三相机光心坐标发出且经过第三跟踪点坐标的射线。

17.一种计算装置，其特征在于，包括处理器和存储器，存储器用于存储指令，处理器用于执行所述指令，以使得所述计算装置执行权利要求1至8中任一项所述的方法。

18.一种计算机可读存储介质，存储有指令，其特征在于，当所述指令由计算机运行时，所述计算机执行权利要求1至8中任一项所述的方法。

19.一种包含指令的计算机程序产品，其特征在于，当所述指令被计算机运行时，使得所述计算机执行权利要求1至8中任一项所述的方法。