CN115249254A - 一种基于ar技术的目标跟踪方法及系统 - Google Patents

一种基于ar技术的目标跟踪方法及系统 Download PDF

Info

Publication number
CN115249254A
CN115249254A CN202211148472.2A CN202211148472A CN115249254A CN 115249254 A CN115249254 A CN 115249254A CN 202211148472 A CN202211148472 A CN 202211148472A CN 115249254 A CN115249254 A CN 115249254A
Authority
CN
China
Prior art keywords
image
target detection
target
detection model
gray level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211148472.2A
Other languages
English (en)
Other versions
CN115249254B (zh
Inventor
汪翠芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202211148472.2A priority Critical patent/CN115249254B/zh
Publication of CN115249254A publication Critical patent/CN115249254A/zh
Application granted granted Critical
Publication of CN115249254B publication Critical patent/CN115249254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于AR技术的目标跟踪方法及系统；本方法包括：S1、获取视频图像，视频图像通过AR设备上的摄像装置拍摄得到；S2、分析视频图像的第一帧图像的复杂程度；S3、根据第一帧图像的复杂程度选择目标检测模型；S4、将第一帧图像输入到目标检测模型，对第一帧图像进行特征提取，检测目标所在位置；S5、获取视频图像的第二帧图像。本系统包括图像采集模块、图像分析模块、模型建立模块、模型选择模块、目标检测模块及目标跟踪模块；本发明通过图像的灰度图计算出灰度共生矩阵，并用灰度共生矩阵的熵值表征图像的复杂程度，根据图像复杂程度的变化选择不同的目标检测模型，提高目标的检测效率，更好地实现目标跟踪。

Description

一种基于AR技术的目标跟踪方法及系统
技术领域
本发明涉及图像处理技术领域，特别地涉及一种基于AR技术的目标跟踪方法及系统。
背景技术
增强现实技术(Augmented Reality，简称“AR”)，是一种全新的人机交互技术，该技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，用户可以通过增强现实系统感受到客观物理世界中原本不存在的增强信息。在这个过程中需要实现对真实世界动态物体的认知，从而获得对于运动物体的响应，目标检测与目标跟踪是实现增强现实技术的关键。
在目标跟踪的过程中，受到观察角度变化、物体运动等的影响，容易丢失跟踪的目标，同时目标检测的速度也直接影响目标跟踪的高效性。在人机交互技术，提高目标检测效率以便更好地实现目标跟踪，对提高用户对AR的体验效果具有重要意义。
发明内容
针对上述问题，本申请提供一种基于AR技术的目标跟踪方法及系统，本发明基于图像的复杂程度选择不同的目标检测模型，以提高目标检测效率。
本发明的技术方案为：一种基于AR技术的目标跟踪方法，包括如下步骤：
S1、获取视频图像，所述视频图像通过AR设备上的摄像装置拍摄得到；
S2、分析所述视频图像的第一帧图像的复杂程度；
S3、根据所述第一帧图像的复杂程度选择目标检测模型；
S4、将所述第一帧图像输入到所述目标检测模型，对所述第一帧图像进行特征提取，检测目标所在位置；
S5、获取所述视频图像的第二帧图像，基于所述第一帧图像中目标所在位置信息通过目标跟踪滤波器进行目标跟踪；
在所述步骤S2中，包括：将所述第一帧图像转化为灰度图像，基于所述灰度图像生成灰度共生矩阵，计算所述灰度共生矩阵的熵值
Figure 389580DEST_PATH_IMAGE001
，用所述熵值
Figure 930896DEST_PATH_IMAGE001
表征图像的复杂程度；
所述灰度共生矩阵表示为从灰度为
Figure 65205DEST_PATH_IMAGE002
的像素点出发，坐标偏移量(
Figure 694900DEST_PATH_IMAGE004
，
Figure 572858DEST_PATH_IMAGE005
)的另一像素点灰度为
Figure 974539DEST_PATH_IMAGE006
的概率，所述概率采用以下公式计算：
Figure 279749DEST_PATH_IMAGE007
，式中，
Figure 662320DEST_PATH_IMAGE009
表示像素点
Figure 281651DEST_PATH_IMAGE002
和
Figure 797559DEST_PATH_IMAGE006
的相对距离，
Figure 742512DEST_PATH_IMAGE011
表示像素点
Figure 533751DEST_PATH_IMAGE002
和
Figure 19090DEST_PATH_IMAGE006
的相对角度，
Figure 595696DEST_PATH_IMAGE012
表示像素点
Figure 233920DEST_PATH_IMAGE002
的坐标；
采用以下公式计算所述灰度共生矩阵的熵值
Figure 263187DEST_PATH_IMAGE001
：
Figure 489900DEST_PATH_IMAGE013
，式中，
Figure 983329DEST_PATH_IMAGE014
表示从灰度为
Figure 798314DEST_PATH_IMAGE002
的像素点出发，坐标偏移量(
Figure 642773DEST_PATH_IMAGE004
，
Figure 673177DEST_PATH_IMAGE005
)的另一像素点灰度为
Figure 755534DEST_PATH_IMAGE006
的概率。
更进一步地，在所述步骤S3中，根据所述第一帧图像的复杂程度选择目标检测模型包括：若熵值 小于阈值Q，则选择第一目标检测模型，否则选择第二目标检测模型；
所述第一目标检测模型采用One stage算法进行目标检测，所述第二目标检测模型采用Two stage算法进行目标检测。
更进一步地，所述目标检测模型的训练过程包括：
获取样本图像，用特征框标记所述样本图像中目标所在位置；
提取所述样本图像的灰度图像，生成灰度共生矩阵并计算所述灰度共生矩阵的熵值 ，将熵值 小于阈值Q的样本图像设置为第一训练数据集，将剩余的样本图像设置为第二训练数据集；
对所述第一训练数据集和所述第二训练数据集进行样本扩充，用第一训练数据集对第一目标检测模型进行训练，用第二训练数据集对第二目标检测模型进行训练。
更进一步地，所述步骤S2还包括：
获取所述第一帧图像的尺寸数据M*N，根据所述尺寸数据M*N将所述第一帧图像定义为不同的类型，其中，若M*N小于第一预设尺寸，将所述第一帧图像定义为小型图像；若M*N大于或等于第一预设尺寸且小于第二预设尺寸，将所述第一帧图像定义为中型图像；若M*N大于或等于第二预设尺寸，将所述第一帧图像定义为大型图像；
基于类型对所述第一帧图像进行预处理，其中，对所述小型图像不进行灰度值压缩处理，将所述中型图像按照第一预设级数对所述第一帧图像进行灰度值压缩，将所述大型图像按照第二预设级数对所述第一帧图像进行灰度值压缩。
更进一步地，在完成m次目标跟踪之后，获取当前被选中的目标检测模型的类型信息，所述类型信息包括第一目标检测模型和第二目标检测模型，并计算m次目标跟踪中完成一次目标跟踪的平均时长t，并将平均时长t与时长阈值T进行比较；
在平均时长t大于或等于时长阈值T的情况下，如果当前被选中的目标检测模型为所述第一目标检测模型，则在进行下一次目标检测时，执行所述步骤S2，若计算得到的熵值大于或等于阈值Q，将所述第一目标检测模型更换为所述第二目标检测模型；在所述平均时长t小于时长阈值T的情况下，如果当前被选中的目标检测模型为所述第二目标检测模型，则在进行下一次目标检测前时，执行所述步骤S2，若计算得到的熵值 小于阈值Q，将所述第二目标检测模型更换为所述第一目标检测模型。
更进一步地，在某一帧图像被检测到目标所在位置并输出结果后视为完成一次目标跟踪，获取下一帧待检测图像视为进行下一次目标检测。
一种基于AR技术的目标跟踪系统，包括：
图像采集模块，用于采集视频图像，所述视频图像通过AR设备上的摄像装置进行采集；
图像分析模块，用于对所述视频图像进行分析，将图像转化为灰度图像，基于所述灰度图像生成图像的灰度共生矩阵，计算所述灰度共生矩阵的熵值 ；
模型建立模块，用于构建第一目标检测模型和第二目标检测模型，并对所述第一目标检测模型和第二目标检测模型进行训练；
模型选择模块，用于选择对待检测目标进行检测的目标检测模型；
目标检测模块，用于根据所述模型选择模块所选择的目标检测模型对所述视频图像进行目标检测；
目标跟踪模块，用于对选中的目标进行实时跟踪。
更进一步地，还包括：
图像预处理模块，用于对图像进行预处理，在对图像进行图像分析之前，对图像进行灰度值压缩处理；
模型调整模块，用于对目标检测模型进行更换调整。
本发明具有如下优点：
1、本发明通过图像的灰度图计算出灰度共生矩阵，并用灰度共生矩阵的熵值表征图像的复杂程度，根据图像复杂程度的变化选择不同的目标检测模型，提高目标的检测效率，更好地实现目标跟踪。
2、本发明通过分析样本图像的复杂程度，基于样本图像的复杂程度将划分为不同的训练数据集，用于对目标检测模型进行训练，提高训练效率。
3、本发明对图像进行预处理以提高对图像复杂程度的分析速度，并且基于完成目标检测的时间对目标检测模型进行自适应调整，进一步提高目标跟踪效果。
附图说明
图1为本发明实施例1提供的一种基于AR技术的目标跟踪方法流程示意图。
图2为本发明实施例2提供的一种基于AR技术的目标跟踪系统结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。
实施例1
参见图1，本发明实施例1提供一种基于AR技术的目标跟踪方法，具体包括以下步骤：
S1、获取视频图像，所述视频图像为通过AR设备上的摄像装置拍摄得到的视频数据的多帧图像。
S2、复杂程度计算，将视频图像的第一帧图像转化为灰度图像，基于灰度图像生成图像的灰度共生矩阵（GLCM），计算灰度共生矩阵熵值
Figure 462459DEST_PATH_IMAGE001
；
灰度共生矩阵定义为，从灰度为
Figure 469248DEST_PATH_IMAGE002
的像素点出发，坐标偏移量(
Figure 100080DEST_PATH_IMAGE004
，
Figure 568102DEST_PATH_IMAGE005
)的另一像素点灰度为
Figure 665502DEST_PATH_IMAGE006
的概率，采用以下公式计算：
Figure 419307DEST_PATH_IMAGE015
，
式中，
Figure 791514DEST_PATH_IMAGE009
表示像素点
Figure 566572DEST_PATH_IMAGE002
和
Figure 366032DEST_PATH_IMAGE006
的相对距离，
Figure 610062DEST_PATH_IMAGE011
表示像素点
Figure 972910DEST_PATH_IMAGE002
和
Figure 445935DEST_PATH_IMAGE006
的相对角度，
Figure 213034DEST_PATH_IMAGE012
表示像素点
Figure 882044DEST_PATH_IMAGE002
的坐标。
GLCM表的数值即像素点
Figure 845320DEST_PATH_IMAGE002
和
Figure 611282DEST_PATH_IMAGE006
相邻的数值的组合，相邻指
Figure 749615DEST_PATH_IMAGE016
和
Figure 155189DEST_PATH_IMAGE018
相邻，坐标偏移量(
Figure 672889DEST_PATH_IMAGE004
，
Figure 231040DEST_PATH_IMAGE005
)的取值与图像的纹理相关，纹理越细的情况下坐标偏移量(
Figure 339942DEST_PATH_IMAGE004
，
Figure 232811DEST_PATH_IMAGE005
)的取值越小，坐标偏移量(
Figure 760394DEST_PATH_IMAGE004
，
Figure 484637DEST_PATH_IMAGE005
)的取值影响
Figure 170964DEST_PATH_IMAGE011
的大小，一般情况下
Figure 364179DEST_PATH_IMAGE011
的取值为0°、45°、90°或135°，例如(
Figure DEST_PATH_IMAGE019
，
Figure 489261DEST_PATH_IMAGE005
)的值为（1，0）对应
Figure 271272DEST_PATH_IMAGE011
为0°，(
Figure 391151DEST_PATH_IMAGE004
，
Figure 320929DEST_PATH_IMAGE005
)的值为（1，1）对应
Figure 187385DEST_PATH_IMAGE011
为45°，(
Figure 823903DEST_PATH_IMAGE004
，
Figure 914350DEST_PATH_IMAGE005
)的值为（0，1）对应
Figure 19840DEST_PATH_IMAGE011
为90°， (
Figure 673676DEST_PATH_IMAGE004
，
Figure 968960DEST_PATH_IMAGE005
)的值为（-1，-1）对应
Figure 230308DEST_PATH_IMAGE011
为135°。
在生成图像的灰度共生矩阵后，用灰度共生矩阵的统计量来表征图像的复杂程度，在本实施例中选取灰度共生矩阵的熵值
Figure 603521DEST_PATH_IMAGE001
进行表征，熵值越大图像越复杂，其中，熵值
Figure 546200DEST_PATH_IMAGE001
的计算公式如下：
Figure 970359DEST_PATH_IMAGE020
，
式中，
Figure 855139DEST_PATH_IMAGE014
表示从灰度为
Figure 463450DEST_PATH_IMAGE002
的像素点出发，坐标偏移量(
Figure 724667DEST_PATH_IMAGE004
，
Figure 941016DEST_PATH_IMAGE005
)的另一像素点灰度为
Figure 278587DEST_PATH_IMAGE006
的概率。
S3、模型选取，根据图像的复杂程度选取合适的目标检测模型，具体为，若熵值
Figure 908283DEST_PATH_IMAGE001
小于阈值Q则选择第一目标检测模型，否则选择第二目标检测模型；
在本实施例中，第一目标检测模型优选为YOLOv3模型，采用One stage算法进行目标检测，第二目标检测模型优选为Faster-RCNN模型，采用Two stage算法进行目标检测，应当理解，模型的选择并不以此为限。
基于目标检测的算法类型多样，在其中一种分类方法中，可将其大致分为两类，One stage算法和Two stage算法，Two stage算法将检测问题分为两个阶段，先生成候选区域，在通过卷积神经网络对候选区域进行分类，One stage算法则不生成候选区域，而是直接提取特征，生成物体类别的概率以及位置信息，直接得到最终结果。相较而言，One stage算法检测速度更快，但是在准确度上有所下降，Two stage算法检测时间更长，但是识别的准确度更高，漏识别率低。
对目标检测模型的训练过程如下：
获取样本图像并进行目标标记，所述样本图像为不同角度下拍摄到的包括待检测目标的图像，用特征框标记样本图像中目标所在位置；
对样本图像进行分类，提取样本图像的灰度图像，基于灰度图像生成图像的灰度共生矩阵，并计算样本图像的灰度共生矩阵熵值
Figure 523591DEST_PATH_IMAGE001
，将熵值
Figure 640451DEST_PATH_IMAGE001
小于阈值Q的样本图像设置为第一训练数据集，将剩余的样本图像设置为第二训练数据集；
对训练数据集进行样本扩充，具体为对第一训练数据集和第二训练数据集中的样本图像进行随机裁剪操作，并且以特征框的中心为原点，进行旋转，实现对第一训练数据集和第二训练数据集的扩充；
用训练数据集对目标检测模型进行训练，用第一训练数据集对YOLOv3模型进行训练，用第二训练数据集对Faster-RCNN模型进行训练，得到训练好的YOLOv3模型和Faster-RCNN模型。
S4、特征提取和识别，将第一帧图像输入到选取的目标检测模型中，对第一帧图像进行特征提取，得到特征图，基于特征图估算出目标所在位置，并用特征框标记。
S5、目标跟踪，将视频图像的第二帧图像输入到选取的目标检测模型中，对第二帧图像进行特征提取，得到特征图，以第一帧图像中目标所在位置以及特征图为基础进行目标跟踪，输出第二帧图像的目标位置信息，具体地，利用卡尔曼滤波器进行目标跟踪，通过卡尔曼滤波器预测出第二帧图像的目标位置信息，并与目标进行匹配，得到目标所在位置，实现目标跟踪。
在生成灰度共生矩阵的过程中，不同图像的计算量不相同，图像的灰度级共有256级，图像越大，基于每个像素的邻域生成灰度共生矩阵的计算量越大。
在一种可选的实施方案中，在生成灰度共生矩阵之前先对图像进行预处理，提高计算速度。具体地，根据图像的大小对图像进行灰度值压缩处理，降低图像的灰度级数。设图像的尺寸为M*N，根据图像的尺寸变化将获取到的图像划分为三个类型：当M*N小于第一预设尺寸，定义为小型图像；当M*N大于或等于第一预设尺寸且小于第二预设尺寸，定义为中型图像；当M*N大于或等于第二预设尺寸，定义为大型图像。
在生成图像的灰度共生矩阵时，先基于图像的大小对图像进行预处理，具体包括：当图像的尺寸小于第一预设尺寸，不对图像进行灰度值压缩；当图像的尺寸大于或等于第一预设尺寸且小于第二预设尺寸，按照第一预设级数对图像进行灰度值压缩；当图像的尺寸大于第二预设尺寸，按照第二预设级数对图像进行灰度值压缩。所述第一预设级数和第二预设级数为对图像进行灰度值压缩后图像的灰度级数。
可以想到的是，上述对图像的分类以及压缩过程中，图像分类的参考值可根据实际的计算时间确定，使用同一计算设备计算并生成不同尺寸图像的灰度共生矩阵，分别记录计算的时间，对于计算的时间长的图片进行不同程度的灰度值压缩，设定不同类型压缩级数的意义在于保证数据的准确性，若将尺寸大于某一预设值的图片全部以相同压缩级数进行灰度值压缩，则图片的尺寸越大，数据的准确性越低。在一种更优的实施方案中，可根据实际情况对图像的分类以及压缩过程进行更细致的调整以提高精度。
在一种可选的实施方案中，每完成m次目标跟踪之后，计算m次目标跟踪中完成一次目标跟踪的平均时长t，根据平均时长t的变化对目标检测模型进行调整，具体地，包括以下内容：
每完成m次目标跟踪之后，计算m次目标跟踪中完成一次目标跟踪的平均时长t，获取当前被选中的目标检测模型的类型信息，具体为当前被选中的目标检测模型为Faster-RCNN模型还是YOLOv3模型，并将平均时长t与时长阈值T进行比较，在平均时长t大于或等于时长阈值T的情况下，如果当前被选中的目标检测模型为Faster-RCNN模型，不作处理，如果当前被选中的目标检测模型为YOLOv3模型，则在进行下一次目标检测时，执行步骤S2，若计算得到的熵值
Figure 414503DEST_PATH_IMAGE001
大于或等于阈值Q，将YOLOv3模型更换为Faster-RCNN模型；在平均时长t小于时长阈值T的情况下，如果当前被选中的目标检测模型为Faster-RCNN模型，则在进行下一次目标检测前时，执行步骤S2，若计算得到的熵值
Figure 265916DEST_PATH_IMAGE001
小于阈值Q，将Faster-RCNN模型更换为YOLOv3模型，如果当前被选中的目标检测模型为YOLOv3模型，不作处理。
其中，在某一帧图像被检测到目标所在位置并输出结果后视为完成一次目标跟踪，开始获取下一帧待检测图像时视为进行下一次目标检测。
在对AR设备上的摄像装置拍摄到的视频图像中的某个目标进行跟踪时，不同摄像装置拍摄到的视频帧图像大小不相同，先基于第一帧图像的尺寸数据对图像进行预处理，再根据计算出的图像的灰度共生矩阵的熵值
Figure 337777DEST_PATH_IMAGE001
选择目标检测模型进行目标检测，再通过目标跟踪滤波器进行目标跟踪。其中，视频图像的相邻帧图像之间，图像的复杂程度变化一般不会变化很大，随着摄像装置的移动，当拍摄的场景变得复杂后，将影响目标检测与跟踪的速度，以及准确度。
本发明实施例中提供的方法，在对第一帧图像进行复杂度分析后，后续过程将根据m次目标跟踪中完成一次目标跟踪的平均时长t来决定是否进行第二次对图像进行复杂度分析，若对每一帧图像进行复杂度分析将使得计算任务量繁重，影响目标跟踪效果。
可以想到的是，m次目标跟踪所表示的次数可根据试剂测量数据设定，受到摄像装置拍摄视频的帧率以及摄像装置移动速度的影响。
本发明实施例1提供的一种基于AR技术的目标跟踪方法，通过对图像的复杂程度进行分析，选择不同的目标检测模型对目标进行检测及完成目标的跟踪，提高目标跟踪的效率，更好地实现目标跟踪，人们通过AR设备实现人机交互时有更好的体验；对图像进行预处理以提高对图像复杂程度的分析速度，并且基于完成目标检测的时间对目标检测模型进行自适应调整，进一步提高目标跟踪效果。
实施例2
参见图2，本发明实施例2还提供一种基于AR技术的目标跟踪系统，包括：
图像采集模块：用于采集视频图像，具体为通过AR设备上的摄像装置采集视频图像；
图像分析模块：用于对采集到的视频图像进行分析，具体为将图像转化为灰度图像，基于灰度图像生成图像的灰度共生矩阵（GLCM），计算灰度共生矩阵熵值
Figure 59877DEST_PATH_IMAGE001
；
模型建立模块：用于构建目标检测模型并对目标检测模型进行训练，构建的模型包括YOLOv3模型和Faster-RCNN模型；
模型选择模块：用于选择合适的目标检测模型对目标进行检测，具体为基于灰度共生矩阵熵值
Figure 191781DEST_PATH_IMAGE001
选择用具进行目标检测的目标检测模型；
目标检测模块：用于对所述视频图像进行目标检测，配置为YOLOv3模型和Faster-RCNN模型，基于模型选择模块所选择的目标检测模型对视频图像进行目标检测；
目标跟踪模块：用于对选中的目标进行实时跟踪。
在一种可选的实施方案中，一种基于AR技术的目标跟踪系统，还包括：
图像预处理模块：用于对图像进行预处理，在分析图像的复杂程度之前，对图像进行灰度值压缩处理；
模型调整模块：用于对目标检测模型进行更换调整，具体为对目标检测模块正在使用的目标检测模型进行更换调整。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种基于AR技术的目标跟踪方法，其特征在于，包括如下步骤：
S1、获取视频图像，所述视频图像通过AR设备上的摄像装置拍摄得到；
S2、分析所述视频图像的第一帧图像的复杂程度；
S3、根据所述第一帧图像的复杂程度选择目标检测模型；
S4、将所述第一帧图像输入到所述目标检测模型，对所述第一帧图像进行特征提取，检测目标所在位置；
S5、获取所述视频图像的第二帧图像，基于所述第一帧图像中目标所在位置信息通过目标跟踪滤波器进行目标跟踪；
在所述步骤S2中，包括：将所述第一帧图像转化为灰度图像，基于所述灰度图像生成灰度共生矩阵，计算所述灰度共生矩阵的熵值
Figure 346099DEST_PATH_IMAGE001
，用所述熵值
Figure 646499DEST_PATH_IMAGE001
表征图像的复杂程度；
所述灰度共生矩阵表示为从灰度为
Figure 197828DEST_PATH_IMAGE002
的像素点出发，坐标偏移量(
Figure 94240DEST_PATH_IMAGE003
，
Figure 139425DEST_PATH_IMAGE004
)的另一像素点灰度为
Figure 95880DEST_PATH_IMAGE005
的概率，所述概率采用以下公式计算：
Figure 865997DEST_PATH_IMAGE006
，式中，
Figure 815367DEST_PATH_IMAGE007
表示像素点
Figure 934633DEST_PATH_IMAGE002
和
Figure 812721DEST_PATH_IMAGE005
的相对距离，
Figure 446965DEST_PATH_IMAGE008
表示像素点
Figure 934447DEST_PATH_IMAGE002
和
Figure 439377DEST_PATH_IMAGE005
的相对角度，
Figure 225718DEST_PATH_IMAGE009
表示像素点
Figure 550520DEST_PATH_IMAGE010
的坐标；
采用以下公式计算所述灰度共生矩阵的熵值
Figure 107272DEST_PATH_IMAGE001
：
Figure 935551DEST_PATH_IMAGE011
，式中，
Figure 421021DEST_PATH_IMAGE012
表示从灰度为
Figure 967540DEST_PATH_IMAGE002
的像素点出发，坐标偏移量(
Figure 327983DEST_PATH_IMAGE003
，
Figure 276347DEST_PATH_IMAGE004
)的另一像素点灰度为
Figure 929789DEST_PATH_IMAGE005
的概率。
2.如权利要求1所述的一种基于AR技术的目标跟踪方法，其特征在于，在所述步骤S3中，根据所述第一帧图像的复杂程度选择目标检测模型包括：若熵值
Figure 963604DEST_PATH_IMAGE001
小于阈值Q，则选择第一目标检测模型，否则选择第二目标检测模型；
所述第一目标检测模型采用One stage算法进行目标检测，所述第二目标检测模型采用Two stage算法进行目标检测。
3.如权利要求2所述的一种基于AR技术的目标跟踪方法，其特征在于，所述目标检测模型的训练过程包括：
获取样本图像，用特征框标记所述样本图像中目标所在位置；
提取所述样本图像的灰度图像，生成灰度共生矩阵并计算所述灰度共生矩阵的熵值
Figure 862159DEST_PATH_IMAGE001
，将熵值
Figure 665030DEST_PATH_IMAGE001
小于阈值Q的样本图像设置为第一训练数据集，将剩余的样本图像设置为第二训练数据集；
对所述第一训练数据集和所述第二训练数据集进行样本扩充，用第一训练数据集对第一目标检测模型进行训练，用第二训练数据集对第二目标检测模型进行训练。
4.如权利要求1所述的一种基于AR技术的目标跟踪方法，其特征在于，所述步骤S2还包括：
获取所述第一帧图像的尺寸数据M*N，根据所述尺寸数据M*N将所述第一帧图像定义为不同的类型，其中，若M*N小于第一预设尺寸，将所述第一帧图像定义为小型图像；若M*N大于或等于第一预设尺寸且小于第二预设尺寸，将所述第一帧图像定义为中型图像；若M*N大于或等于第二预设尺寸，将所述第一帧图像定义为大型图像；
基于类型对所述第一帧图像进行预处理，其中，对所述小型图像不进行灰度值压缩处理，将所述中型图像按照第一预设级数对所述第一帧图像进行灰度值压缩，将所述大型图像按照第二预设级数对所述第一帧图像进行灰度值压缩。
5.如权利要求1所述的一种基于AR技术的目标跟踪方法，其特征在于，在完成m次目标跟踪之后，获取当前被选中的目标检测模型的类型信息，所述类型信息包括第一目标检测模型和第二目标检测模型，并计算m次目标跟踪中完成一次目标跟踪的平均时长t，并将平均时长t与时长阈值T进行比较；
在平均时长t大于或等于时长阈值T的情况下，如果当前被选中的目标检测模型为所述第一目标检测模型，则在进行下一次目标检测时，执行所述步骤S2，若计算得到的熵值
Figure 492303DEST_PATH_IMAGE001
大于或等于阈值Q，将所述第一目标检测模型更换为所述第二目标检测模型；在所述平均时长t小于时长阈值T的情况下，如果当前被选中的目标检测模型为所述第二目标检测模型，则在进行下一次目标检测前时，执行所述步骤S2，若计算得到的熵值
Figure 13414DEST_PATH_IMAGE001
小于阈值Q，将所述第二目标检测模型更换为所述第一目标检测模型。
6.如权利要求5所述的一种基于AR技术的目标跟踪方法，其特征在于，在某一帧图像被检测到目标所在位置并输出结果后视为完成一次目标跟踪，获取下一帧待检测图像视为进行下一次目标检测。
7.一种基于AR技术的目标跟踪系统，其特征在于，包括：
图像采集模块，用于采集视频图像，所述视频图像通过AR设备上的摄像装置进行采集；
图像分析模块，用于对所述视频图像进行分析，将图像转化为灰度图像，基于所述灰度图像生成图像的灰度共生矩阵，计算所述灰度共生矩阵的熵值
Figure 450080DEST_PATH_IMAGE001
；
模型建立模块，用于构建第一目标检测模型和第二目标检测模型，并对所述第一目标检测模型和第二目标检测模型进行训练；
模型选择模块，用于选择对待检测目标进行检测的目标检测模型；
目标检测模块，用于根据所述模型选择模块所选择的目标检测模型对所述视频图像进行目标检测；
目标跟踪模块，用于对选中的目标进行实时跟踪。
8.如权利要求7所述的一种基于AR技术的目标跟踪系统，其特征在于，还包括：
图像预处理模块，用于对图像进行预处理，在对图像进行图像分析之前，对图像进行灰度值压缩处理；
模型调整模块，用于对目标检测模型进行更换调整。
CN202211148472.2A 2022-09-21 2022-09-21 一种基于ar技术的目标跟踪方法及系统 Active CN115249254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211148472.2A CN115249254B (zh) 2022-09-21 2022-09-21 一种基于ar技术的目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211148472.2A CN115249254B (zh) 2022-09-21 2022-09-21 一种基于ar技术的目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN115249254A true CN115249254A (zh) 2022-10-28
CN115249254B CN115249254B (zh) 2022-12-30

Family

ID=83699902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211148472.2A Active CN115249254B (zh) 2022-09-21 2022-09-21 一种基于ar技术的目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN115249254B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404086A (zh) * 2008-04-30 2009-04-08 浙江大学 基于视频的目标跟踪方法及装置
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造（中国）有限公司 复杂干扰场景下的目标跟踪方法
CN103810499A (zh) * 2014-02-25 2014-05-21 南昌航空大学 复杂背景下红外弱目标检测与跟踪的应用
CN104376554A (zh) * 2014-10-16 2015-02-25 中海网络科技股份有限公司 一种基于图像纹理的违章停车检测方法
CN104966307A (zh) * 2015-07-10 2015-10-07 成都品果科技有限公司 一种基于实时跟踪的ar算法
CN107077624A (zh) * 2014-09-23 2017-08-18 微软技术许可有限责任公司 跟踪手部/身体姿势
CN110111370A (zh) * 2019-05-15 2019-08-09 重庆大学 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法
CN110796412A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 包裹跟踪方法以及相关装置
CN111401376A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备以及存储介质
WO2020253416A1 (zh) * 2019-06-17 2020-12-24 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN114842033A (zh) * 2022-06-29 2022-08-02 江西财经大学 一种用于智能ar设备的图像处理方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404086A (zh) * 2008-04-30 2009-04-08 浙江大学 基于视频的目标跟踪方法及装置
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造（中国）有限公司 复杂干扰场景下的目标跟踪方法
CN103810499A (zh) * 2014-02-25 2014-05-21 南昌航空大学 复杂背景下红外弱目标检测与跟踪的应用
CN107077624A (zh) * 2014-09-23 2017-08-18 微软技术许可有限责任公司 跟踪手部/身体姿势
CN104376554A (zh) * 2014-10-16 2015-02-25 中海网络科技股份有限公司 一种基于图像纹理的违章停车检测方法
CN104966307A (zh) * 2015-07-10 2015-10-07 成都品果科技有限公司 一种基于实时跟踪的ar算法
CN110111370A (zh) * 2019-05-15 2019-08-09 重庆大学 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法
WO2020253416A1 (zh) * 2019-06-17 2020-12-24 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110796412A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 包裹跟踪方法以及相关装置
CN111401376A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备以及存储介质
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及系统
CN114842033A (zh) * 2022-06-29 2022-08-02 江西财经大学 一种用于智能ar设备的图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN YANG ET AL: "Vision-Inertial Hybrid Tracking for Robust and Efficient Augmented Reality on Smartphones", 《MM "15: PROCEEDINGS OF THE 23RD ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
黄珍 等: "基于移动增强现实技术的复杂场景视频图像多目标跟踪", 《辽东学院学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN115249254B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US10990191B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
Su et al. A novel forgery detection algorithm for video foreground removal
CN109725721B (zh) 用于裸眼3d显示系统的人眼定位方法及系统
CN105469397B (zh) 一种基于系数矩阵分析的目标遮挡检测方法
CN110113560A (zh) 视频智能联动的方法及服务器
CN110688950B (zh) 基于深度信息的人脸活体检测方法、装置
CN115908988A (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN117036737A (zh) 基于信息熵、gms与lc显著检测的特征提取与匹配方法
CN113177397B (zh) 表格的调整方法、装置、设备以及存储介质
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN115249254B (zh) 一种基于ar技术的目标跟踪方法及系统
CN111080683A (zh) 图像处理方法、装置、存储介质及电子设备
CN108256578B (zh) 一种灰度图像的识别方法、装置、设备及可读存储介质
CN109886212A (zh) 从滚动指纹合成现场指纹的方法和装置
CN110910332B (zh) 一种视觉slam系统动态模糊处理方法
CN114399432A (zh) 目标识别方法、装置、设备、介质及产品
CN113011250A (zh) 一种手部三维图像识别方法及系统
CN115131619B (zh) 基于点云和图像融合的特高压零件分拣方法和系统
CN112329497A (zh) 一种目标识别方法、装置及设备
CN110148151A (zh) 一种运动目标提取方法与装置
CN111414827B (zh) 基于稀疏编码特征的深度图像人体检测方法及系统
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质
CN113592892A (zh) 一种行人统计方法、装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant