CN108830936B - 3d模型抖动预防方法及装置 - Google Patents

Abstract

本发明提供一种3D模型抖动预防方法及装置，涉及AR增强现实技术领域，3D模型抖动预防方法包括：获取ARToolKit所追踪的Marker；根据Marker，对图像中的最新变换矩阵进行计算；最新变换矩阵中包括Marker的三维坐标；如果计算出最新变换矩阵，则基于最新变换矩阵及上一次获得的变换矩阵，判断Marker的位移是否超过预设阈值；如果是，则将最新变换矩阵压入矩阵队列中；如果否，则将上一次获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。本发明通过去除位移没有超过预设阈值，即位移不明显的变换矩阵，对其不进行上报，改善AR增强部分图形或图像的稳定性，有效消除或缓解在后续3D建模过程中的抖动现象。

Description

3D模型抖动预防方法及装置

技术领域

本发明涉及AR增强现实技术领域，尤其是涉及一种3D模型抖动预防方法及装置。

背景技术

开源AR引擎ARToolKit在自然图片的处理方面，应用比较广泛，对用户的限制也小很多。尤其对一些特征比较明显的图像的处理，效果会更好，如Marker/MultiMarker，是一种经过特殊处理的图像，需要在边缘包裹两层，最外侧是包裹了白色/浅色边缘，内侧是包裹了黑色边缘或者深色边缘，可以提高识别度。

现有ARToolKit在追踪Marker的过程中，存在一些缺陷，致使AR呈现效果差，难于投入实际商用产品中。3D空间位置的变换矩阵决定了AR增强模型渲染的位置和角度，由于相机成像质量，环境光照和算法选择特征点等影响，导致通过每帧视频图像计算AR Marker位置和还原3D数据时存在一定的误差，在Marker物体没有移动的情况下，这些存在误差的数据在上报给3D建模工具时会导致3D模型发生剧烈的抖动。

发明内容

有鉴于此，本发明的目的在于提供一种3D模型抖动预防方法及装置，通过去除位移没有超过预设阈值，即位移不明显的变换矩阵，对其不进行上报，改善AR增强部分图形或图像的稳定性，有效消除或缓解在后续3D建模过程中的抖动现象。

第一方面，本发明实施例提供了一种3D模型抖动预防方法，包括：

获取ARToolKit所追踪的Marker；

根据Marker，对图像中的最新变换矩阵进行计算；最新变换矩阵中包括Marker的三维坐标；

如果计算出最新变换矩阵，则基于最新变换矩阵及上一次获得的变换矩阵，判断Marker的位移是否超过预设阈值；

如果是，则将最新变换矩阵压入矩阵队列中；

如果否，则将上一次获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，将最新变换矩阵压入消息队列中之后，还包括：

将最新变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据Marker，计算得到图像中的最新变换矩阵，包括：

提取Marker中的特征点；

基于特征点，进行屏幕坐标变换；

根据屏幕坐标变换结果，计算得到图像中的最新变换矩阵。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，基于最新变换矩阵及上一次获得的变换矩阵，判断Marker的位移是否超过预设阈值，包括：

计算最新变换矩阵和上一次获得的变换矩阵中3D坐标系中位置的距离；

判断距离是否超过预设距离阈值；

如果是，则判断Marker的位移超过预设阈值；

如果否，则判断Marker的位移没有超过预设阈值。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据Marker，对图像中的最新变换矩阵进行计算之后，还包括：

如果没有计算出最新变换矩阵，则返回步骤：获取ARToolKit所追踪的Marker。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，矩阵队列大小为3。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，最新变换矩阵和上一次获得的变换矩阵均为3*4矩阵，3*4矩阵中第四列的三个元素为Marker的三维坐标。

第二方面，本发明实施例还提供一种3D模型抖动预防装置，包括：

图像获取模块，用于获取ARToolKit所追踪的Marker；

矩阵计算模块，用于根据Marker，对图像中的最新变换矩阵进行计算；最新变换矩阵中包括Marker的三维坐标；

位移判断模块，用于在计算出最新变换矩阵后，基于最新变换矩阵及上一次获得的变换矩阵，判断Marker的位移是否超过预设阈值；

压入队列模块，用于在位移判断模块的判断结果为是时，将最新变换矩阵压入矩阵队列中；在位移判断模块的判断结果为否时，将上一次获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，压入队列模块，还用于将最新变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，矩阵计算模块包括：

特征点提取模块，用于提取Marker中的特征点；

坐标变换模块，用于基于特征点，进行屏幕坐标变换；

矩阵计算子模块，用于根据屏幕坐标变换结果，计算得到图像中的最新变换矩阵。

本发明实施例带来了以下有益效果：

在本发明实施例提供的3D模型抖动预防方法中，首先获取ARToolKit所追踪的Marker；根据Marker，对图像中的最新变换矩阵进行计算；最新变换矩阵中包括Marker的三维坐标；如果计算出最新变换矩阵，则基于最新变换矩阵及预先记录的基于上一帧图像获得的变换矩阵，判断Marker的位移是否超过预设阈值；如果是，则将最新变换矩阵压入矩阵队列中；如果否，则将基于上一帧图像获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。本发明通过去除位移没有超过预设阈值，即位移不明显的变换矩阵，对其不进行上报，大大消除了在后续3D建模过程中发生抖动的问题，改善了AR增强部分图形或图像的稳定性，有效消除或缓解了抖动现象。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种3D模型抖动预防方法的流程图；

图2为本发明实施例一提供的另一种3D模型抖动预防方法的流程图；

图3为本发明实施例一提供的另一种3D模型抖动预防方法的流程图；

图4为本发明实施例二提供的一种3D模型抖动预防装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有ARToolKit在追踪Marker的过程中，在Marker没有移动的情况下，常常将存在误差的数据上报给3D建模工具，导致3D模型发生剧烈的抖动。

基于此，本发明实施例提供一种3D模型抖动预防方法及装置，通过去除位移没有超过预设阈值，即位移不明显的变换矩阵，对其不进行上报，改善AR增强部分图形或图像的稳定性，有效消除或缓解在后续3D建模过程中的抖动现象。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种3D模型抖动预防方法进行详细介绍。

实施例一：

本发明实施例提供了一种3D模型抖动预防方法，参见图1所示，该方法包括以下步骤：

S11：获取ARToolKit所追踪的Marker。

Marker是一种经过特殊处理的图像，其形状为方形，而且有连续的边缘，该连续的边缘可以是全是白色或黑色，也可以是彩色的)。另外在Marker里面的图形部分，通常为差别较大的两种颜色分别表示前后景，默认情况下，边缘的厚度占图形图片的1/4。本发明实施例中，首先基于ARToolKit引擎对Marker进行追踪。

S12：根据Marker，对图像中的最新变换矩阵进行计算。

在追踪到Marker后，进一步计算其中的最新变换矩阵，该最新变换矩阵中包括Marker的三维坐标。变换矩阵计算过程具体包括以下步骤，参见图2所示：

S121：提取Marker中的特征点。

S122：基于特征点，进行屏幕坐标变换。

S123：根据屏幕坐标变换结果，计算得到图像中的最新变换矩阵。

具体实现的时候，提取图片的特征然后进行跟踪。ARToolKit中会先对图片进行处理，得到一组数据，后续追踪过程使用的其实是处理得到的数据集。选择提取图片特征的程度，数值越大提取的特征越多。当相机离图片越近的时候，追踪效果会越好。在提取到图像的特征点后，进行屏幕坐标变换，进一步根据屏幕坐标变换的结果，得到图像中的最新变换矩阵。

通过以上三个步骤，可以使ARToolKit追踪得到marker在图像中的变换矩阵，包括三维坐标和角度信息。Maker的变换矩阵是一个三行四列的矩阵，第四列的三个元素是Marker的三维坐标。

如果计算出最新变换矩阵，则执行步骤S13：基于最新变换矩阵及上一次获得的变换矩阵，判断Marker的位移是否超过预设阈值。

其中，最新变换矩阵和上一次获得的变换矩阵均为3*4矩阵，3*4矩阵中第四列的三个元素为Marker的三维坐标。具体判断过程包括以下步骤，参见图3所示：

S131：计算最新变换矩阵和上一次获得的变换矩阵中3D坐标系中位置的距离。

S132：判断距离是否超过预设距离阈值。

如果是，则执行步骤S133：判断Marker的位移超过预设阈值。

如果否，则执行步骤S134：判断Marker的位移没有超过预设阈值。

通过最新变换矩阵和上一次获得的变换矩阵中3D坐标系中位置的距离的计算，及距离与预设距离阈值的比较，可以判断出Marker的位移是否超过预设阈值，即Marker的位移是否很明显。

如果Marker的位移超过阈值，则执行步骤S14：将最新变换矩阵压入矩阵队列中。

上述矩阵队列大小为3。一般在ARToolKit引擎追踪的过程中，会记录最近三次计算获得的变换矩阵，也就是矩阵队列的大小为3，每次会将队尾的变换矩阵进行上报。根据上述判断过程，如果Marker的位移超过阈值，则将最新变换矩阵压入矩阵队列中，该过程之后，还包括：

S16：将最新变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

如果Marker的位移没有超过阈值，则执行步骤S15：将上一次获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

具体的，根据上述判断过程，如果Marker的位移没有超过阈值，则表明该最新变换矩阵会引起后续3D建模模型的抖动，这时，将该最新变换矩阵去除，将上一次获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，可以有效地去除或缓解3D建模过程中的抖动现象。

在上述步骤S12：根据Marker，对图像中的最新变换矩阵进行计算之后，还包括：

S17：如果没有计算出最新变换矩阵，则返回步骤S11：获取ARToolKit所追踪的Marker。这时对应的Marker已经在取景图像中消失，发送追踪失败通知信息。

本发明实施例通过去除位移没有超过预设阈值，即位移不明显的变换矩阵，对其不进行上报，大大消除了在后续3D建模过程中发生抖动的问题，改善了AR增强部分图形或图像的稳定性，有效消除或缓解了抖动现象。

实施例二：

本发明实施例还提供一种3D模型抖动预防装置，参见图4所示，该装置包括：图像获取模块21、矩阵计算模块22、位移判断模块23和压入队列模块24。

其中，图像获取模块21，用于获取ARToolKit所追踪的Marker；矩阵计算模块22，用于根据Marker，对图像中的最新变换矩阵进行计算；最新变换矩阵中包括Marker的三维坐标和角度信息；位移判断模块23，用于在计算出最新变换矩阵后，基于最新变换矩阵及上一次获得的变换矩阵，判断Marker的位移是否超过预设阈值；压入队列模块24，用于在位移判断模块的判断结果为是时，将最新变换矩阵压入矩阵队列中；在位移判断模块的判断结果为否时，将上一次获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

进一步，在位移判断模块23的判断结果为是，将最新变换矩阵压入矩阵队列中后，压入队列模块24，还用于将最新变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

进一步，上述矩阵计算模块22包括：特征点提取模块221、坐标变换模块222和矩阵计算子模块223。

其中，特征点提取模块221，用于提取Marker中的特征点；坐标变换模块222，用于基于特征点，进行屏幕坐标变换；矩阵计算子模块223，用于根据屏幕坐标变换结果，计算得到图像中的最新变换矩阵。

在本发明实施例提供的3D模型抖动预防装置中，图像获取模块21首先获取ARToolKit所追踪的Marker；矩阵计算模块22，根据Marker，对图像中的最新变换矩阵进行计算；最新变换矩阵中包括Marker的三维坐标；如果计算出最新变换矩阵，则通过位移判断模块23，基于最新变换矩阵及预先记录的基于上一帧图像获得的变换矩阵，判断Marker的位移是否超过预设阈值；如果是，则通过压入队列模块24将最新变换矩阵压入矩阵队列中；如果否，则通过压入队列模块24将基于上一帧图像获得的变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。本发明实施例所提供的装置，通过去除位移没有超过预设阈值，即位移不明显的变换矩阵，对其不进行上报，大大消除了在后续3D建模过程中发生抖动的问题，改善了AR增强部分图形或图像的稳定性，有效消除或缓解了抖动现象。

本发明实施例所提供的3D模型抖动预防装置中，各个模块与前述3D模型抖动预防方法具有相同的技术特征，因此，同样可以实现上述功能。本装置中各个模块的具体工作过程参见上述方法实施例，在此不再赘述。

本发明实施例所提供的3D模型抖动预防方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种3D模型抖动预防方法，其特征在于，包括：

获取ARToolKit所追踪的Marker；

根据所述Marker，对图像中的最新变换矩阵进行计算；所述最新变换矩阵中包括所述Marker的三维坐标；

如果计算出所述最新变换矩阵，则基于所述最新变换矩阵及上一次获得的变换矩阵，判断所述Marker的位移是否超过预设阈值；

如果是，则将所述最新变换矩阵压入矩阵队列中；

如果否，则将所述上一次获得的变换矩阵作为所述矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

2.根据权利要求1所述的方法，其特征在于，所述将所述最新变换矩阵压入消息队列中之后，还包括：

将所述最新变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

3.根据权利要求1所述的方法，其特征在于，所述根据Marker，对图像中的最新变换矩阵进行计算，包括：

提取所述Marker中的特征点；

基于所述特征点，进行屏幕坐标变换；

根据所述屏幕坐标变换结果，计算得到图像中的所述最新变换矩阵。

4.根据权利要求1所述的方法，其特征在于，所述基于所述最新变换矩阵及上一次获得的变换矩阵，判断所述Marker的位移是否超过预设阈值，包括：

计算所述最新变换矩阵和所述上一次获得的变换矩阵中3D坐标系中位置的距离；

判断所述距离是否超过预设距离阈值；

如果是，则判断所述Marker的位移超过预设阈值；

如果否，则判断所述Marker的位移没有超过预设阈值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述Marker，对图像中的最新变换矩阵进行计算之后，还包括：

如果没有计算出所述最新变换矩阵，则返回步骤：获取ARToolKit所追踪的Marker。

6.根据权利要求1所述的方法，其特征在于，所述矩阵队列大小为3。

7.根据权利要求1所述的方法，其特征在于，所述最新变换矩阵和所述上一次获得的变换矩阵均为3*4矩阵，所述3*4矩阵中第四列的三个元素为所述Marker的三维坐标。

8.一种3D模型抖动预防装置，其特征在于，包括：

图像获取模块，用于获取ARToolKit所追踪的Marker；

矩阵计算模块，用于根据所述Marker，对图像中的最新变换矩阵进行计算；所述最新变换矩阵中包括所述Marker的三维坐标；

位移判断模块，用于在计算出所述最新变换矩阵后，基于所述最新变换矩阵及上一次获得的变换矩阵，判断所述Marker的位移是否超过预设阈值；

压入队列模块，用于在所述位移判断模块的判断结果为是时，将所述最新变换矩阵压入矩阵队列中；在所述位移判断模块的判断结果为否时，将所述上一次获得的变换矩阵作为所述矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

9.根据权利要求8所述的装置，其特征在于，

所述压入队列模块，还用于将所述最新变换矩阵作为矩阵队列中处于队尾的变换矩阵进行上报，以便进行后续3D建模过程。

10.根据权利要求8所述的装置，其特征在于，所述矩阵计算模块包括：

特征点提取模块，用于提取所述Marker中的特征点；

坐标变换模块，用于基于所述特征点，进行屏幕坐标变换；

矩阵计算子模块，用于根据所述屏幕坐标变换结果，计算得到图像中的所述最新变换矩阵。

Images