CN110427833A - 一种手势跟踪方法、系统和存储介质 - Google Patents

一种手势跟踪方法、系统和存储介质 Download PDF

Info

Publication number
CN110427833A
CN110427833A CN201910618550.2A CN201910618550A CN110427833A CN 110427833 A CN110427833 A CN 110427833A CN 201910618550 A CN201910618550 A CN 201910618550A CN 110427833 A CN110427833 A CN 110427833A
Authority
CN
China
Prior art keywords
response diagram
coordinate
frame
tracking
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910618550.2A
Other languages
English (en)
Inventor
谭攻坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Code Communication Technology Co Ltd
Original Assignee
Guangzhou Code Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Code Communication Technology Co Ltd filed Critical Guangzhou Code Communication Technology Co Ltd
Priority to CN201910618550.2A priority Critical patent/CN110427833A/zh
Publication of CN110427833A publication Critical patent/CN110427833A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手势跟踪方法、系统和存储介质，所述方法包括以下步骤：获取输入图像；从输入图像中确定目标框；提取目标框中的图像的方向梯度直方图特征和颜色特征；将梯度直方图特征和颜色特征输入到相关滤波器得到第一响应图；将目标框中的图像输入到神经网络得到第二响应图；对第一响应图和第二响应图进行加权处理得到第三响应图；根据第三响应图得到目标的跟踪坐标；将跟踪坐标、梯度直方图特征和颜色特征作为训练样本，对相关滤波器进行在线训练。本发明通过结合相关滤波器的平滑特性和神经网络的高鲁棒性，使得手势跟踪方法能在较长一段时间内，实现高精度，高稳定性的视觉跟踪。本发明可以广泛应用于图像处理领域。

Description

一种手势跟踪方法、系统和存储介质
技术领域
本发明涉及图像处理领域，尤其是一种手势跟踪方法、系统和存储介质。
背景技术
目前，手势识别被应用在各类人机交互系统之间，所述人机交互系统，通过图像采集用户的手部图像，并从中提取出用户的手势动作，然后根据手势动作作出对应的响应，如执行操作等等。手势识别已经成为很多人机交互系统的标配。
在手势识别系统采集用户的手势时，由于人的手部动作一般不是静止的，因而涉及到手势跟踪的问题。在用户快速移动手部时，不同时刻的手部图像会在图像中留下残影，导致摄像头获取的图像中的手部出现变形，这种变形会导致手部跟踪坐标发生剧烈变化，影响跟踪精度。而采用传统的相关滤波器方案对手势进行跟踪时，对变形图像的鲁棒性比较差，该问题尤为突出。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种手势跟踪方法、系统和存储介质，以提升手势跟踪的精度。
本发明实施例的第一方面提供了：
一种手势跟踪方法，包括以下步骤：
获取输入图像；
从输入图像中确定目标框；
提取目标框中的图像的方向梯度直方图特征和颜色特征；
将梯度直方图特征和颜色特征输入到相关滤波器得到第一响应图；
将目标框中的图像输入到神经网络得到第二响应图；
对第一响应图和第二响应图进行加权处理得到第三响应图；
根据第三响应图得到目标的跟踪坐标；
将跟踪坐标、梯度直方图特征和颜色特征作为训练样本，对相关滤波器进行在线训练。
进一步，在对相关滤波器进行在线训练之前，还包括以下步骤：
采用主成分分析法对训练样本进行筛选。
进一步，所述根据第三响应图得到目标的跟踪坐标，其具体包括：
通过线性插值的方法将第三响应图的像素大小处理成与目标框的像素大小相同的第四响应图；
根据第四响应图中的峰值位置映射在输入图像中的位置得到目标的跟踪坐标。
进一步，所述从输入图像中确定目标框，其具体为：
当输入图像为第一帧时，获取关键点的第一坐标，根据第一坐标从输入图像中确定目标框；
当输入图像不为第一帧时，根据上一帧的跟踪坐标从输入图像中确定目标框。
进一步，还包括以下步骤：
根据第三响应图得到目标的跟踪坐标的置信度；
判断跟踪坐标的置信度是否小于第一预设值；
在确定跟踪坐标的置信度小于第一预设值后，将下一帧输入图像初始化为第一帧。
进一步，还包括以下步骤：
获取关键点的第二坐标；
计算跟踪坐标和关键点的第二坐标之间的距离；
判断所述距离是否大于第二预设值；
在确定所述距离大于第二预设阈值后，将下一帧输入图像初始化为第一帧。
进一步，所述关键点为通过神经网络进行特征提取得到的手腕关键点。
本发明实施例的第二方面提供了：
一种手势跟踪系统，包括：
获取单元，用于获取输入图像；
确定单元，用于从输入图像中确定目标框；
特征提取器，用于提取目标框中的图像的方向梯度直方图特征和颜色特征；
第一响应图处理单元，用于将梯度直方图特征和颜色特征输入到相关滤波器得到第一响应图；
第二响应图处理单元，用于将目标框中的图像输入到神经网络得到第二响应图；
第三响应图处理单元，用于对第一响应图和第二响应图进行加权处理得到第三响应图；
跟踪坐标处理单元，用于根据第三响应图得到目标的跟踪坐标；
在线训练单元，用于将跟踪坐标、梯度直方图特征和颜色特征作为训练样本，对相关滤波器进行在线训练。
本发明实施例的第三方面提供了：
一种手势跟踪系统，包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行所述的手势跟踪方法。
本发明实施例的第四方面提供了：
一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的手势跟踪方法。
本发明的有益效果是：本发明通过结合相关滤波器的平滑特性和神经网络的高鲁棒性，使得手势跟踪方法能在较长一段时间内，实现高精度，高稳定性的视觉跟踪，并且由于结合神经网络的鲁棒性，相关滤波器的计算参数可以极大地进行压缩而不会影响跟踪算法的鲁棒性；同样的，神经网络结合了相关滤波框架的平滑特性，神经网络的特征提取参数也可以较大幅度地压缩，因此，本发明可以在几乎不影响跟踪稳定性的前提下压缩计算量。
附图说明
图1为本发明一种具体实施例的手势跟踪方法的流程图；
图2为本发明另一种具体实施例的手势跟踪方法的流程图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
本实施例公开了手势跟踪方法，该方法应用在手势交互系统之中。其中，手势交互系统一般包括至少一个处理器和至少一个用于采集用户手部图像的摄像头。手势交互系统可以根据摄像头的所采集的用户手部的图像，进行手部位置的跟踪，所述手势交互系统会根据位置跟踪的结果，执行操作，或者在显示屏显示手势轨迹。
参照图1，本实施例的方法包括步骤S101～S108：
S101、获取输入图像。
在本步骤中，所述输入图像为摄像头所拍摄的图像，其以帧作为单位，获取输入图像时，每次可以获取一帧或者多帧输入图像，但是对于输入图像的处理是按照获取的先后顺序进行处理的。
S102、从输入图像中确定目标框。
在本步骤中，通过从输入图像中确定目标框可以减少特征提取的运算量。而所述目标框的确定方式有两种，第一种是通过将输入图像输入到一个卷积神经网络进行粗定位，定位能够代表手部位置的关键点在输入图像中的位置，然后再确定目标框。所述目标框的大小可以是预设的，也可以跟随输入图像中人体的大小进行调整。第二种方式是根据从上一帧输入图像中得到的跟踪坐标来确定本帧输入图像的目标框。第二种方式的实质是利用相邻两帧输入图像中手部位移有限的特点，从而快速定位出手部的大致位置。比方说，以上一帧输入图像中得到的跟踪坐标作为中心点，按照设定的形状在本帧输入图像中进行框选，从而得到本帧输入图像的目标框。其中，所述设定的形状一般为矩形。同样，在第二种方式中，目标框的大小是可以预设的，也可以是跟随输入图像中人体的大小进行调整。
第一种方式通常用于初始化，而在后续跟踪时，通常采用第二种方式。
S103、提取目标框中的图像的方向梯度直方图特征和颜色特征。
其中，方向梯度直方图特征又称作HOG(Histogram of Oriented Gradient)特征，HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。所述颜色特征，是指CN(Color Names)特征，其实质上是将原来RGB三原色通道映射成生活中常用的11种颜色通道，分别为黑、蓝、棕、灰、绿、橙、粉红、紫、红、白和黄色。当然，所述颜色特征也可以采用RGB颜色表示。本实施例采用CN特征，将原来RGB三原色通道映射成生活中常用的11种颜色通道，可以较好地提升颜色特征提取能力。
S104、将梯度直方图特征和颜色特征输入到相关滤波器得到第一响应图。
所述第一响应图每个像素点的数值大小表示识别目标在该位置的可能性。所述相关过滤是用于图像跟踪的方法，其可以预测目标在图像中的位置。提取到梯度直方图特征和CN特征后，将梯度直方图特征转换成频域，输入到相关滤波器中，算出频域中最大的共振区域，得到当前帧的梯度响应图。而CN特征则利用颜色反向投影，以初始化图像的CN特征进行模板，以当前帧的CN特征进行反向投影的搜索图，得到基于CN特征的反向投影响应图，两者直接通过加权融合的方式，得到基于相关滤波器的第一相应图。
S105、将目标框中的图像输入到神经网络得到第二响应图。
所述神经网络为卷积神经网络，是一种常见深度学习方案，所述神经网络在使用之前经过大量的标注数据训练。所述第二响应图与第一响应图类似，其每个像素点的数值大小表示识别目标在该位置的可能性。神经网络相对于相关滤波器在识别变形图像时，具有更好的鲁棒性，而在普通的正常图像的识别中，相关过滤器相对于神经网络具有更好的平滑特性。
S106、对第一响应图和第二响应图进行加权处理得到第三响应图。
本步骤将神经网络和相关滤波器的输出的响应图进行加权，其中权重分配可以根据实际的经验得到。因此，在本实施例中，可以根据平滑特性和鲁棒性的需要，调整权重因子。
S107、根据第三响应图得到目标的跟踪坐标。
本步骤在第三响应图中，找出峰值，即第三响应图中数值最大的像素点，然后将峰值的位置映射到输入图像中，从而得出目标的跟踪坐标。当然了，所述跟踪坐标是指在输入图像的坐标系中的坐标。所述输入图像的坐标系可以预先设置，例如，以输入图像的左下角作为原点，建立直角坐标系，则可以利用该坐标系表示输入图像每个像素的位置。
S108、将跟踪坐标、梯度直方图特征和颜色特征作为训练样本，对相关滤波器进行在线训练。
本步骤将神经网络和相关滤波器结合得出的跟踪坐标作为相关滤波器的训练数据，能够提升相关滤波器的鲁棒性。
因此，本实施例具备以下优点：本发明通过结合相关滤波器的平滑特性和神经网络的高鲁棒性，使得手势跟踪方法能在较长一段时间内，实现高精度，高稳定性的视觉跟踪，并且由于结合神经网络的鲁棒性，相关滤波器的计算参数可以极大地进行压缩而不会影响跟踪算法的鲁棒性；同样的，神经网络结合了相关滤波框架的平滑特性，神经网络的特征提取参数也可以较大幅度地压缩，因此，本发明可以在几乎不影响跟踪稳定性的前提下压缩计算量。因此，本实施例可以在运算能力有限的嵌入式设备中，实现较高精度的手势跟踪。
作为优选的实施例，由于并不是全部的训练样本都适合作为相关滤波器的训练数据的，需要对训练数据进行筛选，在对相关滤波器进行在线训练之前，还包括以下步骤：
采用主成分分析法对训练样本进行筛选。
具体地，主成分分析法是指PCA(Principal Component Analysis)，它是一种使用最广泛的无监督训练算法。此处我们使用PCA来进行样本的筛选，在相关滤波框架中的在线训练环节，将无用的样本剔除。由于在跟踪过程中，需要实时地对相关滤波器进行在线训练，而每一次的训练样本都是通过上一帧的跟踪输出得到。当跟踪出现偏差后，将若直接将上一帧的数据用来训练，则导致训练样本本身存在错误，会破环相关滤波器的现有权重，所以加入PCA进行样本的筛选后，错误的样本会过滤掉，能保证训练样本的一致性和稳定性。
作为优选的实施例，由于响应图在特征提取的环节下会存在下采样的操作，因而得到的响应图分辨率比较低，比如说，目标框的输入大小是255*255，而得到的响应图的分辨率可能只有17*17。因而需要对响应图进行上采样，将响应图进行线性插值，将大小恢复至与目标框的大小一致，然后再通过遍历的方式，得到峰值坐标来作为跟踪坐标。因此，在本实施例中，所述根据第三响应图得到目标的跟踪坐标，其具体包括：
通过线性插值的方法将第三响应图的像素大小处理成与目标框的像素大小相同的第四响应图；相当于通过线性插值的方式将第三响应图进行拉伸及像素补充，得到第四响应图。
根据第四响应图中的峰值位置映射在输入图像中的位置得到目标的跟踪坐标。
当然了，在本实施例中，需要根据目标框在输入图像中的位置，将第四响应图峰值的位置映射为输入图像的坐标系中的坐标。本实施例通过线性插值的方法，可以增加响应图的精度和稳定性。
作为优选的实施例，由于目标框会根据上一帧的跟踪坐标生成，因而在本实施例中，所述从输入图像中确定目标框，其具体为：
当输入图像为第一帧时，获取关键点的第一坐标，根据第一坐标从输入图像中确定目标框；
当输入图像不为第一帧时，根据上一帧的跟踪坐标从输入图像中确定目标框。
具体地，所述关键点为通过神经网络识别得到的可以表示手部位置的关键点，例如是手腕关节。第一坐标是指关键点在输入图像中的坐标。在初始化时，由于没有上一帧图像的跟踪坐标，因此需要通过神经网络来识别关键点，从而初始化目标框。
而至于关键点在输入图像的位置，可以通过经过训练的卷积神经网络进行特征识别，然后根据识别结果的峰值，在输入图像中确定关键点的位置。
此外，关于根据上一帧的跟踪坐标从输入图像中确定目标框，其具体是指，以跟踪坐标为中心，选取一个矩形范围，作为目标框框选的范围。所述矩形范围的大小可以是预设的，也可以是根据人体在输入图像中的大小变化的。
作为优选的实施例，在实际情况中，由于人手部可能非常快地移动，从而导致目标框没有正确框选出手部的位置，导致跟踪失效，因此，为了修正这个问题，本实施例还包括以下步骤：
根据第三响应图得到目标的跟踪坐标的置信度；
判断跟踪坐标的置信度是否小于第一预设值；
在确定跟踪坐标的置信度小于第一预设值后，将下一帧输入图像初始化为第一帧。
如果在本实施例中，跟踪坐标的置信度过低，则将目标框初始化，即将下一帧输入图像初始化为第一帧，根据神经网络所识别的关键点位置初始化目标框，使得目标框的位置得到校正。
作为优选的实施例，同样为了解决目标丢失的问题，本实施例提供另一种方式，本实施例还包括以下步骤：
获取关键点的第二坐标；
计算跟踪坐标和关键点的第二坐标之间的距离；
判断所述距离是否大于第二预设值；
在确定所述距离大于第二预设阈值后，将下一帧输入图像初始化为第一帧。
作为优选的实施例，所述关键点为通过神经网络进行特征提取得到的手腕关键点。
本实施例可以按照设定的间隔执行，例如每1秒执行一次，每100帧执行一次。本实施例同样通过神经网络确定关键点的第二坐标，然后计算输出的跟踪坐标和关键点的第二坐标之间的距离，如果两者距离过大，则说明我们的输出结果可能已经偏离实际目标，需要重新初始化目标框。
参照图2，本实施例公开一种手势识别方法，其包括以下步骤：
S201、获取摄像头采集的图像。
S202、提取人体关键点，得到手部关键点的坐标。
S203、根据手部关键点的坐标初始化跟踪器的目标框。
S204、根据目标框中的图像，跟踪手部位置，得到跟踪坐标。
S205、根据跟踪坐标的置信度和手部关键点的坐标，判断是否需要初始化跟踪器。如需要初始化跟踪器，则返回执行步骤S203。如果不需要重新初始化跟踪器，则执行步骤S206。
S206、得到手部位置的跟踪坐标。
S207、将跟踪坐标映射到输出设备，如显示屏等，进行手势交互。
本实施例公开了一种手势跟踪系统，其包括：
获取单元，用于获取输入图像；
确定单元，用于从输入图像中确定目标框；
特征提取器，用于提取目标框中的图像的方向梯度直方图特征和颜色特征；
第一响应图处理单元，用于将梯度直方图特征和颜色特征输入到相关滤波器得到第一响应图；
第二响应图处理单元，用于将目标框中的图像输入到神经网络得到第二响应图；
第三响应图处理单元，用于对第一响应图和第二响应图进行加权处理得到第三响应图；
跟踪坐标处理单元，用于根据第三响应图得到目标的跟踪坐标；
在线训练单元，用于将跟踪坐标、梯度直方图特征和颜色特征作为训练样本，对相关滤波器进行在线训练。
本实施例公开了一种手势跟踪系统，其包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行所述的手势跟踪方法。
本实施例公开了一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的手势跟踪方法。
上述系统和存储介质实施例可以用于执行上述的方法实施例，并且对应的技术特征可以实现相同的技术效果。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种手势跟踪方法，其特征在于：包括以下步骤：
获取输入图像；
从输入图像中确定目标框；
提取目标框中的图像的方向梯度直方图特征和颜色特征；
将梯度直方图特征和颜色特征输入到相关滤波器得到第一响应图；
将目标框中的图像输入到神经网络得到第二响应图；
对第一响应图和第二响应图进行加权处理得到第三响应图；
根据第三响应图得到目标的跟踪坐标；
将跟踪坐标、梯度直方图特征和颜色特征作为训练样本，对相关滤波器进行在线训练。
2.根据权利要求1所述的一种手势跟踪方法，其特征在于：在对相关滤波器进行在线训练之前，还包括以下步骤：
采用主成分分析法对训练样本进行筛选。
3.根据权利要求1所述的一种手势跟踪方法，其特征在于：所述根据第三响应图得到目标的跟踪坐标，其具体包括：
通过线性插值的方法将第三响应图的像素大小处理成与目标框的像素大小相同的第四响应图；
根据第四响应图中的峰值位置映射在输入图像中的位置得到目标的跟踪坐标。
4.根据权利要求1所述的一种手势跟踪方法，其特征在于：所述从输入图像中确定目标框，其具体为：
当输入图像为第一帧时，获取关键点的第一坐标，根据第一坐标从输入图像中确定目标框；
当输入图像不为第一帧时，根据上一帧的跟踪坐标从输入图像中确定目标框。
5.根据权利要求4所述的一种手势跟踪方法，其特征在于：还包括以下步骤：
根据第三响应图得到目标的跟踪坐标的置信度；
判断跟踪坐标的置信度是否小于第一预设值；
在确定跟踪坐标的置信度小于第一预设值后，将下一帧输入图像初始化为第一帧。
6.根据权利要求4所述的一种手势跟踪方法，其特征在于：还包括以下步骤：
获取关键点的第二坐标；
计算跟踪坐标和关键点的第二坐标之间的距离；
判断所述距离是否大于第二预设值；
在确定所述距离大于第二预设阈值后，将下一帧输入图像初始化为第一帧。
7.根据权利要求4-6任一项所述的一种手势跟踪方法，其特征在于：所述关键点为通过神经网络进行特征提取得到的手腕关键点。
8.一种手势跟踪系统，其特征在于：包括：
获取单元，用于获取输入图像；
确定单元，用于从输入图像中确定目标框；
特征提取器，用于提取目标框中的图像的方向梯度直方图特征和颜色特征；
第一响应图处理单元，用于将梯度直方图特征和颜色特征输入到相关滤波器得到第一响应图；
第二响应图处理单元，用于将目标框中的图像输入到神经网络得到第二响应图；
第三响应图处理单元，用于对第一响应图和第二响应图进行加权处理得到第三响应图；
跟踪坐标处理单元，用于根据第三响应图得到目标的跟踪坐标；
在线训练单元，用于将跟踪坐标、梯度直方图特征和颜色特征作为训练样本，对相关滤波器进行在线训练。
9.一种手势跟踪系统，其特征在于：包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行如权利要求1-7任一项所述的手势跟踪方法。
10.一种存储介质，其存储有程序，其特征在于：所述程序被处理器执行时实现如权利要求1-7任一项所述的手势跟踪方法。
CN201910618550.2A 2019-07-10 2019-07-10 一种手势跟踪方法、系统和存储介质 Pending CN110427833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910618550.2A CN110427833A (zh) 2019-07-10 2019-07-10 一种手势跟踪方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910618550.2A CN110427833A (zh) 2019-07-10 2019-07-10 一种手势跟踪方法、系统和存储介质

Publications (1)

Publication Number Publication Date
CN110427833A true CN110427833A (zh) 2019-11-08

Family

ID=68409213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910618550.2A Pending CN110427833A (zh) 2019-07-10 2019-07-10 一种手势跟踪方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN110427833A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132017A (zh) * 2020-09-22 2020-12-25 广州华多网络科技有限公司 图像处理方法、装置及电子设备
CN113014793A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 一种视频处理方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169994A (zh) * 2017-05-15 2017-09-15 上海应用技术大学 基于多特征融合的相关滤波跟踪方法
CN107644217A (zh) * 2017-09-29 2018-01-30 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN109785358A (zh) * 2018-11-23 2019-05-21 山东航天电子技术研究所 一种基于循环确认机制的抗遮挡红外小目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169994A (zh) * 2017-05-15 2017-09-15 上海应用技术大学 基于多特征融合的相关滤波跟踪方法
CN107644217A (zh) * 2017-09-29 2018-01-30 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
CN109461172A (zh) * 2018-10-25 2019-03-12 南京理工大学 人工与深度特征联合的相关滤波视频自适应跟踪方法
CN109785358A (zh) * 2018-11-23 2019-05-21 山东航天电子技术研究所 一种基于循环确认机制的抗遮挡红外小目标跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014793A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 一种视频处理方法及电子设备
CN112132017A (zh) * 2020-09-22 2020-12-25 广州华多网络科技有限公司 图像处理方法、装置及电子设备
CN112132017B (zh) * 2020-09-22 2024-04-02 广州方硅信息技术有限公司 图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109684924B (zh) 人脸活体检测方法及设备
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN108986140B (zh) 基于相关滤波和颜色检测的目标尺度自适应跟踪方法
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN108596102B (zh) 基于rgb-d的室内场景物体分割分类器构造方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN112215795B (zh) 一种基于深度学习的服务器部件智能检测方法
CN109598234A (zh) 关键点检测方法和装置
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN109472193A (zh) 人脸检测方法及装置
CN109145803A (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN110647875A (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN109902662A (zh) 一种行人重识别方法、系统、装置和存储介质
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
WO2022127494A1 (zh) 位姿识别模型训练方法、装置、位姿识别方法和终端设备
CN109635634A (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN109409250A (zh) 一种基于深度学习的无交叠视域跨摄像机行人再识别方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN110427833A (zh) 一种手势跟踪方法、系统和存储介质
WO2023165616A1 (zh) 图像模型隐蔽后门的检测方法及系统、存储介质、终端
Geng et al. An improved helmet detection method for YOLOv3 on an unbalanced dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191108

RJ01 Rejection of invention patent application after publication