CN114842033B - 一种用于智能ar设备的图像处理方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种用于智能AR设备的图像处理方法，该方法包括：S1：实时采集环境图像，检测目标区域并提取特征点；S2：提取每张环境图像的色调图像，基于色调获取每个连通域的匹配链，进而筛选出载体连通域；S3：构建每帧色调图像的拓扑结构，将相邻帧的拓扑结构进行匹配，组成多个拓扑边缘对，根据拓扑边缘对的方向变化获取AR设备的旋转方向；S4：获取每个载体连通域的面积变化情况，得到AR设备的前进方向；基于旋转方向和前进方向获取目标区域在当前帧图像中的候选区域，将候选区域与目标区域进行特征点匹配，完成目标跟踪；本方法能够实时跟踪目标区域，提高目标跟踪的速度和精度。

Description

一种用于智能AR设备的图像处理方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种用于智能AR设备的图像处理方法。

背景技术

AR技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

实现AR需要对视频图像的目标进行匹配跟踪，然而由于视频图像中光线变化和视角变化产生的噪点对特征点的干扰，以及AR设备的主体是人，当人头部的动作幅度较大或动作变化过快时，会对目标跟踪造成较大影响。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种用于智能AR设备的图像处理方法，所采用的技术方案具体如下：

公开一种用于智能AR设备的图像处理方法，该方法包括以下步骤：

S1:实时采集环境图像，检测采集的环境图像的初始帧图像的AR交互区域作为目标区域，并提取目标区域的特征点；

S2:将当前帧图像之前的每张环境图像转换至包括色调的颜色空间，并提取色调图像，获取每张色调图像中的连通域，将每相邻两帧色调图像中的连通域基于色调进行匹配，每个连通域得到一个匹配链，根据匹配链的长度获取每个连通域的共现性，进而筛选出载体连通域；

S3:在每帧色调图像中，以载体连通域的中心点作为节点，构建拓扑结构，基于拓扑结构中相邻拓扑边缘之间的角度差将相邻帧的拓扑结构进行匹配，组成多个拓扑边缘对，根据每个拓扑结构的所有拓扑边缘对的方向变化获取AR设备的旋转方向；

S4:获取每个载体连通域的面积变化情况，根据每帧色调图像中的所有面积变化情况得到AR设备的前进方向；将所述旋转方向和所述前进方向组成AR设备的状态参数，根据状态参数获取所述目标区域在当前帧图像中的候选区域，将候选区域与所述目标区域进行特征点匹配，完成目标跟踪。

获取所述匹配链之前，还包括以下步骤：

构建每张色调图像中所有连通域的面积直方图，进而进行阈值分割得到面积阈值，将大于面积阈值的连通域保留，进行匹配链的获取。

步骤S2中的所述匹配链的获取过程包括：

S21:对于相邻两帧色调图像，以前面一帧色调图像中的所有连通域组成第一集合，后面一帧色调图像中的所有连通域组成第二集合，在第一集合和第二集合中分别选取一个连通域，根据对应的色调获取这两个连通域之间的边权值，基于边权值将第一集合中的连通域和第二集合中的连通域进行匹配，得到相互匹配的多个连通域对；

S22:获取每两帧相邻色调图像的连通域对，对于其中任一连通域，由所有色调图像中对应的连续相互匹配的所有连通域组成该连通域的匹配链。

步骤S21中所述得到相互匹配的多个连通域对之后还包括以下步骤：

对于相互匹配的连通域对，以前面一帧色调图像中的连通域中心点作为起点，以后面一帧色调图像中的连通域中心点作为终点，形成一个方向向量，获取所有方向向量的方向，以数量最多的同一方向作为标准方向，基于标准方向将非标准方向的方向向量进行修正，得到修正后的连通域对。

步骤S2中的所述载体连通域的筛选方法为：

获取每个连通域对应的匹配链的长度，以及所有匹配链中的最长值，以每个连通域的匹配链的长度与所述最长值的比值作为所述共现性，选取共现性大于共现阈值的连通域作为所述载体连通域。

步骤S3中的所述拓扑边缘对的获取步骤包括：

S31：获取每条拓扑边缘的角度，任意选取一个角度作为初始角度，从初始角度开始选取一个方向进行角度的记录，按序排列的所有角度组成拓扑结构的角度序列；

S32：获取相邻拓扑边缘之间的角度差，根据相邻帧的拓扑结构对应的角度差获取拓扑边缘之间的边权值，将相邻帧对应的拓扑结构的拓扑边缘进行匹配，组成所述拓扑边缘对。

步骤S3中的所述拓扑边缘的获取方法为：

获取拓扑结构的边界轮廓，以边界轮廓上的节点作为边界节点，每两个相邻的边界节点组成一条所述拓扑边缘。

步骤S3中的所述旋转方向的获取方法为：

获取每个拓扑边缘对中两条拓扑边缘的中心点连线，以相邻帧的拓扑结构中所有拓扑边缘对的中心点连线的矢量加和的结果作为所述旋转方向。

步骤S4中的所述前进方向的获取步骤包括：

S411：根据匹配链获取每个载体连通域在每帧色调图像中的面积，以载体连通域在初始帧图像中的面积作为标准面积，获取每帧图像中每个载体连通域的面积变化情况；

S412：对于每帧色调图像，将面积减少的载体连通域划分为减少集合，将面积增加的载体连通域划分为增加集合，通过将减少集合和增加集合进行匹配获取所述前进方向。

步骤S4中的所述候选区域的获取过程包括：

S421：根据所述状态参数获取所述目标区域在当前帧图像中的虚目标区域；

S422：获取当前帧图像与相邻的前一帧色调图像中属于同一连通域对的两个载体连通域的中心点坐标，获取两个中心点坐标沿旋转方向的第一偏移距离，在所有连通域对的第一偏移距离中选取最大第一偏移距离；

S423：获取两个中心点坐标沿前进方向的第二偏移距离，在所有连通域对的第二偏移距离中选取最大第二偏移距离；

S424：以最大第一偏移距离和最大第二偏移距离中的较大值作为偏移长度，以所述虚目标区域的中心点开始分别向旋转方向的反方向和前进方向的反方向延长所述偏移长度，形成一个偏移范围；将偏移范围去除属于所述虚目标区域的部分得到所述候选区域。

本发明实施例至少具有如下有益效果：

本发明方法通过对载体连通域构建拓扑结构获取AR设备的前进方向和旋转方向，进而获取目标区域在当前帧图像中的候选区域，进行特征点匹配，完成目标追踪。通过确定候选区域作为特征点匹配的范围，减小了匹配范围和匹配数量，提高了目标跟踪的速度和精度，能够快速在当前帧图像中识别出目标区域。

附图说明

图1为本发明的步骤流程图；

图2为三角网拓扑结构的构建示意图；

图3为旋转方向计算示例图。

具体实施方式

实施例1，一种用于智能AR设备的图像处理方法，请参阅图1，该方法包括以下步骤：

步骤S1，实时采集环境图像，检测采集的环境图像的初始帧图像的AR交互区域作为目标区域，并提取目标区域的特征点。

实时采集环境图像，本发明实施例通过实时采集环境图像进行目标区域是实时追踪。首先对初始帧图像进行目标检测得到AR交互区域作为目标区域，通过surf算子进行特征点提取，提取的特征点为能表示物体的特征描述子的点，根据实际交互环境确定，具体指的可能是目标区域的角点、梯度变化大的点等等。

步骤S2，将当前帧图像之前的每张环境图像转换为包括色调的颜色空间，并提取色调图像，识别每张色调图像中的连通域，将每相邻两帧的色调图像中的连通域基于色调进行匹配，每个连通域得到一个匹配链，根据匹配链的长度获取每个连通域的共现性，进而筛选出载体连通域。

具体的步骤包括：

S2.1：提取色调图像。

将当前帧图像之前的每张环境图像转换至包括色调的颜色空间，在本发明实施例中将RGB图像转化至HIS为颜色空间，得到HIS图像，提取其中的H通道，即色调通道，得到色调图像。

在其他实施例中还可以将RGB图像转化至HIS颜色空间、HSV颜色空间以及HSL颜色空间等其他包括色调的颜色空间。

S2.2：识别每张色调图像中的连通域，并对连通域进行初步筛选。

对提取的色调图像通过分水岭分割算法得到多个连通域，色调图像中不同的物体对应不同的连通域。

以面积作为横坐标，以每个面积对应的数量作为纵坐标，构建每张色调图像中所有连通域的面积直方图，进而进行阈值分割得到面积阈值，将大于面积阈值的连通域保留，进行匹配链的获取。

通过otsu阈值分割方法对面积直方图进行阈值分割，得到面积阈值，筛选出大于面积阈值的连通域，完成初步筛选，将保留下来的连通域进行后续的计算。

S2.3：将每相邻两帧的色调图像中的连通域基于色调进行匹配，每个连通域得到一个匹配链。

通过计算相邻帧图像中连通域的对应关系，得到匹配关系，才能知道上一帧图像中的某个连通域对应的物体在下一帧图像中是否存在。

对于相邻两帧色调图像，以前面一帧色调图像中的所有连通域组成第一集合，后面一帧色调图像中的所有连通域组成第二集合，在第一集合和第二集合中分别选取一个连通域，根据对应的色调获取这两个连通域之间的边权值，基于边权值将第一集合中的连通域和第二集合中的连通域进行匹配，得到相互匹配的多个连通域对。

相邻帧图像中属于同一个物体的两个连通域的色调值相近，基于此进行连通域的匹配。

在第一集合和第二集合中分别选取一个连通域，基于色调均值计算对应的边权值：

其中，

表示不同集合中的两个连通域的边权值，

表示第i帧图像中第j个连通域的色调均值，

表示第i+1帧图像中第k个连通域的色调均值。

本发明实施例中的匹配采用KM匹配算法，由于KM匹配计算的是边权值的和最大时对应的匹配关系，对于待匹配的连通域，色调差值越小，越接近最佳匹配，因此取倒数作为边权值。

采用KM匹配算法对第一集合和第二集合中的连通域进行匹配，得到最佳匹配结果。

优选的，基于色调进行相互匹配的连通域，可能会由于某一连通域在前面一帧色调图像中出现，但是由于视角的改变在后面一帧色调图像中并不存在，导致出现错误的匹配关系，此时需要进行进一步的修正，具体的修正过程为：

对于相互匹配的连通域对，以前面一帧色调图像中的连通域中心点作为起点，以后面一帧色调图像中的连通域中心点作为终点，形成一个方向向量，获取所有方向向量的方向，以数量最多的同一方向作为标准方向，基于标准方向将非标准方向的方向向量进行修正，得到修正后的连通域对。

如果前面一帧某一连通域的标准方向在后面一帧的交点位于图像外部，则表示在两帧图像的变化中，该连通域在视野中消失，即该连通域没有匹配对象。

获取每两帧相邻色调图像的连通域对，对于其中任一连通域，由所有色调图像中对应的连续相互匹配的所有连通域组成该连通域的匹配链。

通过相邻帧图像的连通域匹配可以得到每两帧相邻图像上所有连通域的对应关系，进而在连续帧图像上每个连通域都可以形成一个连通域匹配链，即不同帧图像上同一个连通域的相邻匹配关系形成的匹配链。

例如：视野范围内有一个物体A，在第一帧图像上的连通域为

，在第二帧图像上的连通域为

，…，第n帧图像上的连通域为

，则物体A形成的连通域匹配链为：

-

-…-

，物体A对应的匹配链的长度为n，即为连通域匹配链中的连通域数量。

S2.4：获取每个连通域对应的匹配链的共现性，进而筛选载体连通域。

获取每个连通域对应的匹配链的长度，以及所有匹配链中的最长值，以每个连通域的匹配链的长度与最长值的比值作为共现性，选取共现性大于共现阈值的连通域作为载体连通域。

对于每个连通域的匹配链的共现性为：

其中，w表示共现性，l表示连通域的匹配链的长度，L表示所有匹配链长度中的最长值。

最长值对应的连通域在到当前帧为止的所有帧图像中出现次数最多。

选取共现性大于共现阈值的连通域作为载体连通域，在本发明实施例中，共现阈值为0.9。

步骤S3，在每帧色调图像中，以载体连通域的中心点作为节点，构建拓扑结构，基于拓扑结构中相邻拓扑边缘之间的角度差将相邻帧的拓扑结构进行匹配，组成多个拓扑边缘对，根据每个拓扑结构的所有拓扑边缘对的方向差值获取AR设备的旋转方向。

具体的步骤包括：

S3.1：在每帧色调图像中，以载体连通域的中心点作为节点，构建拓扑结构。

以各个载体连通域的中心点作为不规则分布的节点，将这些节点数据作为输入数据，通过三角化进行三角网拓扑结构的构建，如图2所示。

S3.2：获取每个拓扑结构的拓扑边缘。

获取拓扑结构的边界轮廓，以边界轮廓上的节点作为边界节点，每两个相邻的边界节点组成一条拓扑边缘。

S3.3：获取相邻帧的拓扑结构组成的多个拓扑边缘对。

获取每条拓扑边缘的角度，任意选取一个角度作为初始角度，从初始角度开始选取一个方向进行角度的记录，按序排列的所有角度组成拓扑结构的角度序列；获取相邻拓扑边缘之间的角度差，根据相邻帧的拓扑结构对应的角度差获取拓扑边缘之间的边权值，将相邻帧对应的拓扑结构的拓扑边缘进行匹配，组成拓扑边缘对。

选定一个方向，如逆时针方向，得到每条拓扑边缘的方向，以该方向与水平向右的0度方向之间的夹角作为每条拓扑边缘的角度。

然后任意选取一个角度作为初始角度，并选取一个方向，按序记录拓扑边界轮廓的所有拓扑边缘的角度，组成角度序列。

由于视角旋转后，每条拓扑边缘本身的角度可能会发生改变，无法进行相邻帧拓扑结构的匹配，因此通过相邻拓扑边缘之间的角度差来进行拓扑边缘的匹配。

计算相邻两帧图像对应的拓扑结构中的拓扑边缘之间的边权值：

其中，

表示不同拓扑结构中的拓扑边缘之间的边权值，

表示第i帧图像的拓扑结构的第u条拓扑边缘的角度，

表示第i帧图像的拓扑结构的第v条拓扑边缘的角度，

表示第i+1帧图像的拓扑结构的第u条拓扑边缘的角度，

表示第i+1帧图像的拓扑结构的第v条拓扑边缘的角度。

其中第u条拓扑边缘与第v条拓扑边缘相邻，即

。

通过计算出的边权值对拓扑边缘进行KM算法匹配，得到最佳匹配结果，组成多对拓扑边缘对。

S3.4：获取AR设备的旋转方向。

获取每个拓扑边缘对中两条拓扑边缘的中心点连线，以相邻帧的拓扑结构中所有拓扑边缘对的中心点连线的矢量加和的结果作为旋转方向。

中心点连线的方向为前面一帧的拓扑边缘中心点到后面一帧的拓扑边缘中心点，所有拓扑边缘对的中心点连线的矢量和的方向即为AR设备的旋转方向。

如图3所示，从a的中心点到a1的中心点形成一个向量，同样的，从b的中心点到b1的中心点形成一个向量，从c的中心点到c1的中心点形成一个向量，从d的中心点到d1的中心点形成一个向量，从e的中心点到e1的中心点形成一个向量，最后从f的中心点到f1的中心点形成一个向量，所有向量进行矢量加和，得到的向量的方向即为AR设备的旋转方向。

AR设备的旋转是在三维空间形成的，通过上述步骤将旋转方向用二维数据进行表示，用于本发明实施例中的二维图像中。

步骤S4，获取每个载体连通域的面积变化情况，根据每帧色调图像中的所有面积变化情况得到AR设备的前进方向；将旋转方向和前进方向组成AR设备的状态参数，根据状态参数获取目标区域在当前帧图像中的候选区域，将候选区域与目标区域进行特征点匹配，完成目标跟踪。

具体的步骤包括：

S4.1：获取AR设备的前进方向。

S4.1.1根据匹配链获取每个载体连通域在每帧色调图像中的面积，以载体连通域在初始帧图像中的面积作为标准面积，获取每帧图像中每个载体连通域的面积变化情况。

例如：当前帧为第二帧图像时，第一帧图像到第二帧图像的过程中，连通域a的面积增加了50，则第二帧图像中的连通域a的面积变化值为50；连通域b的面积减少了50，则连通域b的面积变化值为-50。

S4.1.2对于每帧色调图像，将面积减少的载体连通域划分为减少集合，将面积增加的载体连通域划分为增加集合，通过将减少集合和增加集合进行匹配获取前进方向。

对于减少集合和增加集合中的载体连通域，当某个载体连通域增加的面积和另一个载体连通域减少面积相近的时候，这两个载体连通域很可能是随着AR设备的移动同时增加或减少面积，可以根据这种情况判断AR设备的前进方向，而实际情况中，更多的可能是多个小连通域的减少面积和单个大连通域的面积相近或单个大连通域的减少面积和多个小连通域的增加面积相近，因此，首先获取面积变化相近的载体连通域，若相近的连通域对较多，则根据面积变化相近的载体连通域获取AR设备的前进方向。

当面积变化相近的载体连通域的对数大于等于10对时，说明画面中的环境较为简单，随着设备的移动，变化比较规则，此时获取每对面积变化相近的载体连通域，从面积减少的载体连通域的中心点到面积增大的载体连通域的中心点形成一个向量，多个向量的矢量和的方向即为AR设备的前进方向，用

表示。

面积变化相近的载体连通域对数比较多的时候，理想情况下每对得到的向量都是AR设备的前进方向，是相互平行的，通过计算矢量和对可能出现误差的方向进行修正。

当面积变化相近的载体连通域的对数小于10对时，说明环境较为复杂没有那么多同时进行面积变化的载体连通域，此时需要得到每个面积较大的载体连通域对应的多个小载体连通域。

首先通过面积变化相近筛选出参与匹配的载体连通域，当减少集合中存在和增加集合中的载体连通域面积变化相近的载体连通域时，分别从两个集合中去除这些载体连通域，作为公共连通域，剩下的载体连通域即为一对多的情况。

对剩下的载体连通域的面积进行降序排列，先对面积最大的载体连通域计算在另一侧的匹配连通域群，选择载体连通域加和最接近该连通域面积的连通域群作为面积最大的载体连通域对应的匹配连通域群，将该面积最大的载体连通域和对应的匹配连通域群作为一个一对多群体，并从剩下的连通域中去除；通过同样的方法对面积次小的计算对应的匹配连通域群，直到所有元素均被去除。

将每个一对多群体中的大载体连通域与其对应的匹配连通域群中的每个小载体连通域分别组成一对，再结合公共连通域进行KM算法匹配，得到每种匹配数据的最佳匹配，然后计算每个最佳匹配中每两个匹配对之间的夹角，计算得到夹角和，将最小夹角和对应的最佳匹配作为最终匹配。

正确的连通域对的方向向量与前进方向相近，匹配对之间的夹角较小，即这些连通域对的方向相近，而错误的连通域对的方向向量与前进方向的夹角较大。

对每个匹配对之间做面积减小的连通域中心点向面积增大的连通域中心点的向量，称之为前进方向向量，所有前进方向向量的矢量加和的方向作为AR设备的前进方向，用

表示。

S4.2：获取目标区域在当前帧图像中的候选区域。

S4.2.1根据状态参数获取目标区域在当前帧图像中的虚目标区域。

将二元组（

）作为状态参数，而实际物体的移动方向与状态参数相反，例如AR设备从上往下移动时，设备中的环境区域则是从下往上移动了，因此将

作为实际物体的寻找参数用来确定目标区域。

对于初始帧图像，每个连通域的位置都是已知的，假设位置没有变化，依据目标区域在初始帧图像中的位置，获取目标区域在当前帧中的相对位置作为虚目标区域。

S4.2.2获取候选区域。

获取当前帧图像与相邻的前一帧色调图像中属于同一连通域对的两个载体连通域的中心点坐标，获取两个中心点坐标沿旋转方向的第一偏移距离，在所有连通域对的第一偏移距离中选取最大第一偏移距离；获取两个中心点坐标沿前进方向的第二偏移距离，在所有连通域对的第二偏移距离中选取最大第二偏移距离；以最大第一偏移距离和最大第二偏移距离中的较大值作为偏移长度，以虚目标区域的中心点开始分别向旋转方向的反方向和前进方向的反方向延长偏移长度，形成一个偏移范围；将偏移范围去除属于虚目标区域的部分得到候选区域。

获取属于同一连通域对的两个载体连通域的中心点连线，分别计算改中心点连线沿着

方向和沿着

方向的偏移距离，然后选取

方向的最大第一偏离距离和

方向的最大第二偏离距离，选择两个最大偏离距离中的较大值作为当前帧图像上的偏移长度，以虚目标区域的中心点开始分别向

方向的反方向和

方向的反方向延长偏移长度，形成一个偏移范围；将偏移范围去除属于虚目标区域的部分得到候选区域。

S4.2.3将候选区域与目标区域进行特征点匹配，完成目标跟踪。

通过候选区域中的特征点与目标区域中的特征点进行匹配，在候选区域中追踪到目标区域，完成目标跟踪。

需要说明的是，本发明实施例中的每一帧图像作为当前帧图像时，都基于前面所有帧图像进行匹配链的获取，然后获取当前帧的候选区域，实现实时的目标跟踪。

综上所述，本发明实施例实时采集环境图像，检测采集的初始帧图像的AR交互区域作为目标区域，并提取目标区域的特征点；将当前帧图像之前的每张环境图像转换至包括色调的颜色空间，并提取色调图像，识别每张色调图像中的连通域，将每相邻两帧的色调图像中的连通域基于色调进行匹配，每个连通域得到一个匹配链，根据匹配链的长度获取每个连通域的共现性，进而筛选出载体连通域；在每帧色调图像中，以载体连通域的中心点作为节点，构建拓扑结构，基于拓扑结构中相邻拓扑边缘之间的角度差将相邻帧的拓扑结构进行匹配，组成多个拓扑边缘对，根据每个拓扑结构的所有拓扑边缘对的方向变化获取AR设备的旋转方向；获取每个载体连通域的面积变化情况，根据每帧色调图像中的所有面积变化情况得到AR设备的前进方向；将旋转方向和前进方向组成AR设备的状态参数，根据状态参数获取目标区域在当前帧图像中的候选区域，将候选区域与目标区域进行特征点匹配，完成目标跟踪。本发明实施例能够实时跟踪目标区域，提高目标跟踪的速度和精度。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于智能AR设备的图像处理方法，其特征在于，该方法包括以下步骤：

S1:实时采集环境图像，检测采集的环境图像的初始帧图像的AR交互区域作为目标区域，并提取目标区域的特征点；

S2:将当前帧图像之前的每张环境图像转换至包括色调的颜色空间，并提取色调图像，获取每张色调图像中的连通域，将每相邻两帧色调图像中的连通域基于色调进行匹配，每个连通域得到一个匹配链，根据匹配链的长度获取每个连通域的共现性，进而筛选出载体连通域；

S3:在每帧色调图像中，以载体连通域的中心点作为节点，构建拓扑结构，基于拓扑结构中相邻拓扑边缘之间的角度差将相邻帧的拓扑结构进行匹配，组成多个拓扑边缘对，根据每个拓扑结构的所有拓扑边缘对的方向变化获取AR设备的旋转方向；

S4:获取每个载体连通域的面积变化情况，根据每帧色调图像中的所有面积变化情况得到AR设备的前进方向；将所述旋转方向和所述前进方向组成AR设备的状态参数，根据状态参数获取所述目标区域在当前帧图像中的候选区域，将候选区域与所述目标区域进行特征点匹配，完成目标跟踪。

2.根据权利要求1所述的一种用于智能AR设备的图像处理方法，其特征在于，获取所述匹配链之前，还包括以下步骤：

构建每张色调图像中所有连通域的面积直方图，进而进行阈值分割得到面积阈值，将大于面积阈值的连通域保留，进行匹配链的获取。

3.根据权利要求2所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S2中的所述匹配链的获取过程包括：

S21:对于相邻两帧色调图像，以前面一帧色调图像中的所有连通域组成第一集合，后面一帧色调图像中的所有连通域组成第二集合，在第一集合和第二集合中分别选取一个连通域，根据对应的色调获取这两个连通域之间的边权值，基于边权值将第一集合中的连通域和第二集合中的连通域进行匹配，得到相互匹配的多个连通域对；

S22:获取每两帧相邻色调图像的连通域对，对于其中任一连通域，由所有色调图像中对应的连续相互匹配的所有连通域组成该连通域的匹配链。

4.根据权利要求3所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S21中所述得到相互匹配的多个连通域对之后还包括以下步骤：

对于相互匹配的连通域对，以前面一帧色调图像中的连通域中心点作为起点，以后面一帧色调图像中的连通域中心点作为终点，形成一个方向向量，获取所有方向向量的方向，以数量最多的同一方向作为标准方向，基于标准方向将非标准方向的方向向量进行修正，得到修正后的连通域对。

5.根据权利要求1所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S2中的所述载体连通域的筛选方法为：

获取每个连通域对应的匹配链的长度，以及所有匹配链中的最长值，以每个连通域的匹配链的长度与所述最长值的比值作为所述共现性，选取共现性大于共现阈值的连通域作为所述载体连通域。

6.根据权利要求1所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S3中的所述拓扑边缘对的获取步骤包括：

S31：获取每条拓扑边缘的角度，任意选取一个角度作为初始角度，从初始角度开始选取一个方向进行角度的记录，按序排列的所有角度组成拓扑结构的角度序列；

S32：获取相邻拓扑边缘之间的角度差，根据相邻帧的拓扑结构对应的角度差获取拓扑边缘之间的边权值，将相邻帧对应的拓扑结构的拓扑边缘进行匹配，组成所述拓扑边缘对。

7.根据权利要求1所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S3中的所述拓扑边缘的获取方法为：

获取拓扑结构的边界轮廓，以边界轮廓上的节点作为边界节点，每两个相邻的边界节点组成一条所述拓扑边缘。

8.根据权利要求1所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S3中的所述旋转方向的获取方法为：

获取每个拓扑边缘对中两条拓扑边缘的中心点连线，以相邻帧的拓扑结构中所有拓扑边缘对的中心点连线的矢量加和的结果作为所述旋转方向。

9.根据权利要求1所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S4中的所述前进方向的获取步骤包括：

S411：根据匹配链获取每个载体连通域在每帧色调图像中的面积，以载体连通域在初始帧图像中的面积作为标准面积，获取每帧图像中每个载体连通域的面积变化情况；

S412：对于每帧色调图像，将面积减少的载体连通域划分为减少集合，将面积增加的载体连通域划分为增加集合，通过将减少集合和增加集合进行匹配获取所述前进方向。

10.根据权利要求1所述的一种用于智能AR设备的图像处理方法，其特征在于，步骤S4中的所述候选区域的获取过程包括：

S421：根据所述状态参数获取所述目标区域在当前帧图像中的虚目标区域；

S422：获取当前帧图像与相邻的前一帧色调图像中属于同一连通域对的两个载体连通域的中心点坐标，获取两个中心点坐标沿旋转方向的第一偏移距离，在所有连通域对的第一偏移距离中选取最大第一偏移距离；

S423：获取两个中心点坐标沿前进方向的第二偏移距离，在所有连通域对的第二偏移距离中选取最大第二偏移距离；

S424：以最大第一偏移距离和最大第二偏移距离中的较大值作为偏移长度，以所述虚目标区域的中心点开始分别向旋转方向的反方向和前进方向的反方向延长所述偏移长度，形成一个偏移范围；将偏移范围去除属于所述虚目标区域的部分得到所述候选区域。

Images