CN117333904B - 一种多特征融合的行人跟踪方法 - Google Patents

一种多特征融合的行人跟踪方法 Download PDF

Info

Publication number
CN117333904B
CN117333904B CN202311346658.3A CN202311346658A CN117333904B CN 117333904 B CN117333904 B CN 117333904B CN 202311346658 A CN202311346658 A CN 202311346658A CN 117333904 B CN117333904 B CN 117333904B
Authority
CN
China
Prior art keywords
image frames
identification
features
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311346658.3A
Other languages
English (en)
Other versions
CN117333904A (zh
Inventor
庞成俊
潘石柱
罗焰金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Rayin Technology Co ltd
Original Assignee
Hangzhou Rayin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Rayin Technology Co ltd filed Critical Hangzhou Rayin Technology Co ltd
Priority to CN202311346658.3A priority Critical patent/CN117333904B/zh
Publication of CN117333904A publication Critical patent/CN117333904A/zh
Application granted granted Critical
Publication of CN117333904B publication Critical patent/CN117333904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多特征融合的行人跟踪方法,属于图像处理技术领域,具体包括:通过相似行人目标的空间坐标的偏差量小于预设偏差量的图像帧数量以及不同图像帧的空间坐标的偏差量、相似行人目标的相似度进行相似行人目标的识别偏差概率的确定,将识别偏差概率小于预设概率的相似相认目标作为二次识别目标;通过二次识别目标的空间坐标的偏差量进行可信图像帧以及可信度的确定,并根据可信图像帧的可信度以及不同的可用特征的相似度确定可用特征的特异评估值以及特异特征,并采用交叉图像帧的不同的特异特征以及特异评估值对二次识别目标进行识别,从而进一步提升了轨迹识别的效率和准确性。

Description

一种多特征融合的行人跟踪方法
技术领域
本发明属于图像识别技术领域,尤其涉及一种多特征融合的行人跟踪方法。
背景技术
行人跟踪是目标跟踪中的一种特定目标跟踪方式,在进行行人跟踪时,现有的算法往往仅采用目标在图像中的外观特征,通过将目标在图像中外观特征转换为一个特征向量,通过对特征向量的相似度比较来区分或判别来关联当前帧图像和上一帧图像中的同一目标,但在一幅图像中的多个目标的外观特征相似且行动轨迹发生交叉时,此时就很难区分两个目标是否是同一个目标。
因此为了解决行人轨迹识别的技术问题,在发明专利CN202011333900.X《一种基于深度学习的跨摄像头行人多目标跟踪方法和装置》中通过提取行人人脸特征和步态特征,并对多种特征进行特征融合或者匹配,从而实现对行人的移动轨迹识别,但是却存在以下技术问题:
在单一的摄像装置中的不同的视频帧中若没有类似外观的行人的移动轨迹存在交叉,由于不同的行人之间的空间位置存在一定程度的差异,此时若采用多特征的行人轨迹识别方法,则会导致识别的效率难以满足要求。
当具有类似外观的行为的移动轨迹存在交叉的前提下,由于不同的行文的步态特征、外观特征以及身体特征等特征的相似度和可靠性不尽相同,若不能根据相似性和可靠性进行特征的筛选,则无法实现对不同的行人的移动轨迹的准确识别。
针对上述技术问题,本发明提供了一种多特征融合的行人跟踪方法。
发明内容
为实现本发明目的,本发明采用如下技术方案:
根据本发明的一个方面,提供了一种多特征融合的行人跟踪方法。
一种多特征融合的行人跟踪方法,其特征在于,具体包括:
S1根据监控图像的分析结果进行行人目标的外观图像特征的相似度大于预设相似度的行人目标的确定,并将其作为相似行人目标;
S2通过相似行人目标的空间坐标的偏差量小于预设偏差量的图像帧数量以及不同图像帧的空间坐标的偏差量、相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定,将识别偏差概率小于预设概率的相似行人目标作为二次识别目标;
S3将所述二次识别目标的空间坐标的偏差量小于预设偏差量的图像帧作为交叉图像帧,并根据交叉图像帧的不同的识别特征的相似度、识别准确率进行不同的识别特征的识别可靠性的确定,并根据所述识别可靠性进行可用特征的确定;
S4通过二次识别目标的空间坐标的偏差量进行可信图像帧以及可信度的确定,并根据可信图像帧的可信度以及不同的可用特征的相似度确定所述可用特征的特异评估值以及特异特征,并采用交叉图像帧的不同的特异特征以及特异评估值对所述二次识别目标进行识别。
本发明的有益效果在于:
1、通过进行相似行人目标的识别偏差概率的确定,实现了从空间坐标的偏差量较小导致的识别偏差以及相似行人目标的相似度两个角度对识别偏差概率的确定,从而实现了对容易被混淆或者错误识别的相似行人目标的确定,既保证了识别偏差概率较低的用户的轨迹识别效率,同时也保证了识别偏差概率较高的用户的轨迹识别的准确性。
2、通过根据交叉图像帧的不同的识别特征的相似度、识别准确率进行不同的识别特征的识别可靠性的确定,从不同的识别特征的相似情况以及由于遮挡或者像素较少导致的识别准确率较低两个角度对识别特征进行筛选,避免采用多种的可靠性不足的识别特征导致的二次识别目标的辨识结果不够准确的技术问题的出现。
3、通过根据可信图像帧的可信度以及不同的可用特征的相似度确定所述可用特征的特异评估值以及特异特征,既考虑到不同的可信图像帧由于空间坐标的偏差较小导致的二次识别目标的识别结果存在偏差的技术问题,同时还考虑到不同的可用特征在可信图像帧中的差异,实现了对可用图像帧的降维处理,提升了识别结果的效率和准确性。
进一步的技术方案在于,所述外观图像特征根据所述行人目标的图像大小、图像侧影轮廓、图像颜色、图像紧密度和图像深度中的任意一个或者多个图像特征进行确定。
进一步的技术方案在于,所述预设相似度根据所述监控图像的图像帧数量以及图像帧中的行人目标的数量进行确定,其中所述监控图像的图像帧数量越多、图像帧中的行人目标的数量越多,则所述预设相似度越低。
进一步的技术方案在于,所述预设空间偏差量小于预设偏差量,其中所述预设空间偏差量以及预设偏差量根据所述监控图像的图像帧的像素数量和图像面积进行确定。
进一步的技术方案在于,所述相似行人目标的识别偏差概率的取值范围在0到1之间,其中当所述识别偏差概率越大,则所述相似行人目标的识别存在偏差的概率越大。
进一步的技术方案在于,所述识别特征包括人脸特征、步态特征、外观特征、全局光流特征、HOG图像特征、SIFT图像特征。
进一步的技术方案在于,所述可信图像帧确定的方法为:
将所述图像帧中的二次识别目标的空间坐标的偏差量作为所述图像帧的可信度,并将可信度满足要求的图像帧作为可信图像帧。
进一步的技术方案在于,采用交叉图像帧的不同的特异特征以及特异评估值对所述二次识别目标进行识别,具体包括:
通过所述交叉图像帧的不同的特异特征的特异评估值对特异特征进行加权处理得到融合特征,并根据所述融合特征,采用基于SVM算法的分类模型进行所述二次识别目标的识别结果的确定。
另一方面,本发明提供了一种计算机系统,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行上述的一种多特征融合的行人跟踪方法。
另一方面,本申请实施例中提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述的一种多特征融合的行人跟踪方法。
其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显。
图1是一种多特征融合的行人跟踪方法的流程图;
图2是识别特征的识别可靠性的确定的方法的流程图;
图3是一种计算机可读存储介质的框架图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
申请人发现,现有技术方案中在基于监控图像进行行人轨迹跟踪时,忽视了采用多种特征进行行人轨迹的识别,同时由于不同特征在不同的行人的相似情况也存在差异,因此若不能根据相似情况对特征进行降维处理,则不仅会导致识别效率较低,同时识别准确率也难以保证。
实施例
为解决上述问题,根据本发明的一个方面,如图1所示,提供了一种多特征融合的行人跟踪方法,其特征在于,具体包括:
S1根据监控图像的分析结果进行行人目标的外观图像特征的相似度大于预设相似度的行人目标的确定,并将其作为相似行人目标;
具体的,所述外观图像特征根据所述行人目标的图像大小、图像侧影轮廓、图像颜色、图像紧密度和图像深度中的任意一个或者多个图像特征进行确定。
需要说明的是,所述预设相似度根据所述监控图像的图像帧数量以及图像帧中的行人目标的数量进行确定,其中所述监控图像的图像帧数量越多、图像帧中的行人目标的数量越多,则所述预设相似度越低。
S2通过相似行人目标的空间坐标的偏差量小于预设偏差量的图像帧数量以及不同图像帧的空间坐标的偏差量、相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定,将识别偏差概率小于预设概率的相似行人目标作为二次识别目标;
在其中的一个可能的实施例中,上述步骤S2中的所述相似行人目标的识别偏差概率的确定的方法为:
S21将所述相似行人目标的空间坐标的偏差量小于预设偏差量的图像帧作为交叉图像帧,并判断所述交叉图像帧中是否存在相似行人目标的空间坐标的偏差量小于预设空间偏差量的重复图像帧,若是,则根据所述相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定,若否,则进入下一步骤;
S22根据所述相似行人目标的相似度进行所述交叉图像帧的预设相似数量的确定,并判断所述交叉图像帧的数量是否小于预设相似数量,若是,则进入下一步骤,若否,则进入步骤S24;
S23通过所述交叉图像帧的空间坐标的偏差量进行所述交叉图像帧的空间坐标的偏差量的最小值的确定,并根据所述交叉图像帧的空间坐标的偏差量的最小值确定所述相似行人目标的图像交叉情况是否严重,若否,则进入下一步骤,若是,则通过所述相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定;
S24通过所述交叉图像帧的空间坐标的偏差量进行所述交叉图像帧的空间坐标的偏差量的最小值以及平均值的确定,并结合所述交叉图像帧的数量以及在所述监控图像的图像帧的比例进行所述相似行人目标的交叉图像严重程度的确定;
S25获取所述监控图像的图像帧的像素点数量以及尺寸,并结合所述相似行人目标的相似度以及所述相似行人目标的交叉图像严重程度进行所述相似行人目标的识别偏差概率的确定。
进一步需要说明的是,所述预设空间偏差量小于预设偏差量,其中所述预设空间偏差量以及预设偏差量根据所述监控图像的图像帧的像素数量和图像面积进行确定。
进一步的,所述相似行人目标的识别偏差概率的取值范围在0到1之间,其中当所述识别偏差概率越大,则所述相似行人目标的识别存在偏差的概率越大。
在另外的一个可能的实施例中,上述步骤S2中的所述相似行人目标的识别偏差概率的确定的方法为:
将所述相似行人目标的空间坐标的偏差量小于预设偏差量的图像帧作为交叉图像帧,通过所述交叉图像帧的空间坐标的偏差量进行所述交叉图像帧的空间坐标的偏差量的最小值以及平均值的确定,并结合所述交叉图像帧的数量以及在所述监控图像的图像帧的比例进行所述相似行人目标的交叉图像严重程度的确定;
当所述形似行人目标的交叉图像严重程度大于预设严重程度限定值时:
通过所述相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定;
当所述形似行人目标的交叉图像严重程度不大于预设严重程度限定值时:
获取所述监控图像的图像帧的像素点数量以及尺寸,并结合所述相似行人目标的相似度以及所述相似行人目标的交叉图像严重程度进行所述相似行人目标的识别偏差概率的确定。
在本实施例中,通过进行相似行人目标的识别偏差概率的确定,实现了从空间坐标的偏差量较小导致的识别偏差以及相似行人目标的相似度两个角度对识别偏差概率的确定,从而实现了对容易被混淆或者错误识别的相似行人目标的确定,既保证了识别偏差概率较低的用户的轨迹识别效率,同时也保证了识别偏差概率较高的用户的轨迹识别的准确性。
S3将所述二次识别目标的空间坐标的偏差量小于预设偏差量的图像帧作为交叉图像帧,并根据交叉图像帧的不同的识别特征的相似度、识别准确率进行不同的识别特征的识别可靠性的确定,并根据所述识别可靠性进行可用特征的确定;
在其中的一个可能的实施例中,如图2所示,上述步骤S3中的所述识别特征的识别可靠性的确定的方法为:
根据所述交叉图像帧的识别特征的识别结果确定是否存在未识别到二次识别目标的识别特征的交叉图像帧,若是,则确定所述识别特征不属于可用特征,若否,则进入下一步骤;
根据所述交叉图像帧的二次识别目标的识别特征的相似度确定是否存在相似度不满足要求的交叉图像帧,若是,则确定所述识别特征不属于可用特征,若否,则进入下一步骤;
基于所述交叉图像帧的识别特征的识别结果进行得到二次识别目标的识别特征的像素数量小于预设像素数量的交叉图像帧的数量以及在所述交叉图像帧的数量的比例的确定,并结合二次识别目标的识别特征的像素数量的最小值进行所述交叉图像帧的识别特征的识别准确率的确定,并判断所述交叉图像帧的识别特征的识别准确率是否满足要求,若是,则进入下一步骤,若否,则确定所述识别特征不属于可用特征;
采用所述交叉图像帧的二次识别目标的识别特征的相似度进行二次识别目标的识别特征的相似度大于预设特征相似度的交叉图像帧的数量以及在所述交叉图像帧的数量的比例的确定,并结合所述交叉图像帧的二次识别目标的识别特征的相似度的最大值进行所述交叉图像帧的识别特征的相似度评估量的确定,通过所述相似度评估量以及所述识别准确率确定所述识别特征的识别可靠性。
在其中的一个可能的实施例中,上述步骤S3中的所述识别特征包括人脸特征、步态特征、外观特征、全局光流特征、HOG图像特征、SIFT图像特征。
在另外的一个可能的实施例中,上述步骤S3中的所述识别特征的识别可靠性的确定的方法为:
基于所述交叉图像帧的识别特征的识别结果进行得到二次识别目标的识别特征的像素数量的最小值的确定,采用所述交叉图像帧的二次识别目标的识别特征的相似度进行二次识别目标的识别特征的相似度的最大值的确定;
当所述二次识别目标的识别特征的像素数量的最小值以及二次识别目标的识别特征的相似度的最大值任意一项不满足要求时:
则确定所述识别特征不属于可用特征;
当所述二次识别目标的识别特征的像素数量的最小值以及二次识别目标的识别特征的相似度的最大值均满足要求时:
当二次识别目标的识别特征的像素数量小于预设像素数量的交叉图像帧的数量以及二次识别目标的识别特征的相似度大于预设特征相似度的交叉图像帧的数量均小于图像帧数量限定值时:
则确定所述识别特征属于可用特征;
当二次识别目标的识别特征的像素数量小于预设像素数量的交叉图像帧的数量以及二次识别目标的识别特征的相似度大于预设特征相似度的交叉图像帧的数量任意一项不小于图像帧数量限定值时:
基于所述交叉图像帧的识别特征的识别结果进行得到二次识别目标的识别特征的像素数量小于预设像素数量的交叉图像帧的数量以及在所述交叉图像帧的数量的比例的确定,并结合二次识别目标的识别特征的像素数量的最小值进行所述交叉图像帧的识别特征的识别准确率的确定;
采用所述交叉图像帧的二次识别目标的识别特征的相似度进行二次识别目标的识别特征的相似度大于预设特征相似度的交叉图像帧的数量以及在所述交叉图像帧的数量的比例的确定,并结合所述交叉图像帧的二次识别目标的识别特征的相似度的最大值进行所述交叉图像帧的识别特征的相似度评估量的确定;通过所述相似度评估量以及所述识别准确率确定所述识别特征的识别可靠性。
在本实施例中,通过根据交叉图像帧的不同的识别特征的相似度、识别准确率进行不同的识别特征的识别可靠性的确定,从不同的识别特征的相似情况以及由于遮挡或者像素较少导致的识别准确率较低两个角度对识别特征进行筛选,避免采用多种的可靠性不足的识别特征导致的二次识别目标的辨识结果不够准确的技术问题的出现。
S4通过二次识别目标的空间坐标的偏差量进行可信图像帧以及可信度的确定,并根据可信图像帧的可信度以及不同的可用特征的相似度确定所述可用特征的特异评估值以及特异特征,并采用交叉图像帧的不同的特异特征以及特异评估值对所述二次识别目标进行识别。
在其中的一个可能的实施例中,上述步骤S4中的所述可信图像帧确定的方法为:
将所述图像帧中的二次识别目标的空间坐标的偏差量作为所述图像帧的可信度,并将可信度满足要求的图像帧作为可信图像帧。
具体的,上述步骤S4中的所述可用特征的特异评估值的确定的方法为:
S41根据可信图像帧的可信度以及不同的可信图像帧中的二次识别目标的可用特征的相似度进行不同的可信图像帧中的二次识别目标的可用特征的修正相似度的确定,并判断是否存在修正相似度不满足要求的可信图像帧,若是,则确定所述可用特征不属于特异特征,若否,则进入下一步骤;
S42基于不同的可信图像帧中的二次识别目标的可用特征的修正相似度将所述可信图像帧划分为区别图像帧和其它图像帧,并通过所述其它图像帧的数量以及可信度确定所述可用特征是否不属于特异特征,若是,则进入下一步骤,若否,则进入步骤S44 ;
S43通过所述区别图像帧的数量以及可信度确定所述可用特征是否不属于特异特征,若是,则确定所述可用特征不属于特异特征,若否,则进入下一步骤;
S44根据所述区别图像帧的数量、可信度以及在所述区别图像帧中的二次识别目标的可用特征的修正相似度的最小值进行所述可用特征在所述区别图像帧中的特异性评估量的确定;通过所述其它图像帧的数量、可信度以及在所述其它图像帧中的二次识别目标的可用特征的修正相似度的最大值进行所述可用特征在其它图像帧中的特异性评估量的确定;
S45通过所述可信图像帧的数量以及可信度进行所述可用特征的识别可信度的确定,并结合所述可用特征在所述区别图像帧中的特异性评估量以及在所述其它图像帧中的特异性评估量进行所述可用特征的特异评估值的确定。
可以理解的是,上述步骤S4中的采用交叉图像帧的不同的特异特征以及特异评估值对所述二次识别目标进行识别,具体包括:
通过所述交叉图像帧的不同的特异特征的特异评估值对特异特征进行加权处理得到融合特征,并根据所述融合特征,采用基于SVM算法的分类模型进行所述二次识别目标的识别结果的确定。
在本实施例中,通过根据可信图像帧的可信度以及不同的可用特征的相似度确定所述可用特征的特异评估值以及特异特征,既考虑到不同的可信图像帧由于空间坐标的偏差较小导致的二次识别目标的识别结果存在偏差的技术问题,同时还考虑到不同的可用特征在可信图像帧中的差异,实现了对可用图像帧的降维处理,提升了识别结果的效率和准确性。
实施例
另一方面,本发明提供了一种计算机系统,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行上述的一种多特征融合的行人跟踪方法。
实施例
另一方面,如图3所示,本申请实施例中提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述的一种多特征融合的行人跟踪方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种多特征融合的行人跟踪方法,其特征在于,具体包括:
根据监控图像的分析结果进行行人目标的外观图像特征的相似度大于预设相似度的行人目标的确定,并将其作为相似行人目标;
通过相似行人目标的空间坐标的偏差量小于预设偏差量的图像帧数量以及不同图像帧的空间坐标的偏差量、相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定,将识别偏差概率小于预设概率的相似行人目标作为二次识别目标;
将所述二次识别目标的空间坐标的偏差量小于预设偏差量的图像帧作为交叉图像帧,并根据交叉图像帧的不同的识别特征的相似度、识别准确率进行不同的识别特征的识别可靠性的确定,并根据所述识别可靠性进行可用特征的确定;
通过二次识别目标的空间坐标的偏差量进行可信图像帧以及可信度的确定,并根据可信图像帧的可信度以及不同的可用特征的相似度确定所述可用特征的特异评估值以及特异特征,并采用交叉图像帧的不同的特异特征以及特异评估值对所述二次识别目标进行识别;
所述可用特征的特异评估值的确定的方法为:
S41根据可信图像帧的可信度以及不同的可信图像帧中的二次识别目标的可用特征的相似度进行不同的可信图像帧中的二次识别目标的可用特征的修正相似度的确定,并判断是否存在修正相似度不满足要求的可信图像帧,若是,则确定所述可用特征不属于特异特征,若否,则进入下一步骤;
S42基于不同的可信图像帧中的二次识别目标的可用特征的修正相似度将所述可信图像帧划分为区别图像帧和其它图像帧,并通过所述其它图像帧的数量以及可信度确定所述可用特征是否不属于特异特征,若是,则进入下一步骤,若否,则进入步骤S44;
S43通过所述区别图像帧的数量以及可信度确定所述可用特征是否不属于特异特征,若是,则确定所述可用特征不属于特异特征,若否,则进入下一步骤;
S44根据所述区别图像帧的数量、可信度以及在所述区别图像帧中的二次识别目标的可用特征的修正相似度的最小值进行所述可用特征在所述区别图像帧中的特异性评估量的确定;通过所述其它图像帧的数量、可信度以及在所述其它图像帧中的二次识别目标的可用特征的修正相似度的最大值进行所述可用特征在其它图像帧中的特异性评估量的确定;
S45通过所述可信图像帧的数量以及可信度进行所述可用特征的识别可信度的确定,并结合所述可用特征在所述区别图像帧中的特异性评估量以及在所述其它图像帧中的特异性评估量进行所述可用特征的特异评估值的确定;
采用交叉图像帧的不同的特异特征以及特异评估值对所述二次识别目标进行识别,具体包括:
通过所述交叉图像帧的不同的特异特征的特异评估值对特异特征进行加权处理得到融合特征,并根据所述融合特征,采用基于SVM算法的分类模型进行所述二次识别目标的识别结果的确定。
2.如权利要求1所述的多特征融合的行人跟踪方法,其特征在于,所述外观图像特征根据所述行人目标的图像大小、图像侧影轮廓、图像颜色、图像紧密度和图像深度中的任意一个或者多个图像特征进行确定。
3.如权利要求1所述的多特征融合的行人跟踪方法,其特征在于,所述预设相似度根据所述监控图像的图像帧数量以及图像帧中的行人目标的数量进行确定,其中所述监控图像的图像帧数量越多、图像帧中的行人目标的数量越多,则所述预设相似度越低。
4.如权利要求1所述的多特征融合的行人跟踪方法,其特征在于,所述相似行人目标的识别偏差概率的确定的方法为:
S21将所述相似行人目标的空间坐标的偏差量小于预设偏差量的图像帧作为交叉图像帧,并判断所述交叉图像帧中是否存在相似行人目标的空间坐标的偏差量小于预设空间偏差量的重复图像帧,若是,则根据所述相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定,若否,则进入下一步骤;
S22根据所述相似行人目标的相似度进行所述交叉图像帧的预设相似数量的确定,并判断所述交叉图像帧的数量是否小于预设相似数量,若是,则进入下一步骤,若否,则进入步骤S24;
S23通过所述交叉图像帧的空间坐标的偏差量进行所述交叉图像帧的空间坐标的偏差量的最小值的确定,并根据所述交叉图像帧的空间坐标的偏差量的最小值确定所述相似行人目标的图像交叉情况是否严重,若否,则进入下一步骤,若是,则通过所述相似行人目标的相似度进行所述相似行人目标的识别偏差概率的确定;
S24通过所述交叉图像帧的空间坐标的偏差量进行所述交叉图像帧的空间坐标的偏差量的最小值以及平均值的确定,并结合所述交叉图像帧的数量以及在所述监控图像的图像帧的比例进行所述相似行人目标的交叉图像严重程度的确定;
S25获取所述监控图像的图像帧的像素点数量以及尺寸,并结合所述相似行人目标的相似度以及所述相似行人目标的交叉图像严重程度进行所述相似行人目标的识别偏差概率的确定。
5.如权利要求4所述的多特征融合的行人跟踪方法,其特征在于,所述预设空间偏差量小于预设偏差量,其中所述预设空间偏差量以及预设偏差量根据所述监控图像的图像帧的像素数量和图像面积进行确定。
6.如权利要求1所述的多特征融合的行人跟踪方法,其特征在于,所述识别特征包括人脸特征、步态特征、外观特征、全局光流特征、HOG图像特征、SIFT图像特征。
7.如权利要求1所述的多特征融合的行人跟踪方法,其特征在于,所述识别特征的识别可靠性的确定的方法为:
基于所述交叉图像帧的识别特征的识别结果进行得到二次识别目标的识别特征的像素数量的最小值的确定,采用所述交叉图像帧的二次识别目标的识别特征的相似度进行二次识别目标的识别特征的相似度的最大值的确定;
当所述二次识别目标的识别特征的像素数量的最小值以及二次识别目标的识别特征的相似度的最大值任意一项不满足要求时:
则确定所述识别特征不属于可用特征;
当所述二次识别目标的识别特征的像素数量的最小值以及二次识别目标的识别特征的相似度的最大值均满足要求时:
当二次识别目标的识别特征的像素数量小于预设像素数量的交叉图像帧的数量以及二次识别目标的识别特征的相似度大于预设特征相似度的交叉图像帧的数量均小于图像帧数量限定值时:
则确定所述识别特征属于可用特征;
当二次识别目标的识别特征的像素数量小于预设像素数量的交叉图像帧的数量以及二次识别目标的识别特征的相似度大于预设特征相似度的交叉图像帧的数量任意一项不小于图像帧数量限定值时:
基于所述交叉图像帧的识别特征的识别结果进行得到二次识别目标的识别特征的像素数量小于预设像素数量的交叉图像帧的数量以及在所述交叉图像帧的数量的比例的确定,并结合二次识别目标的识别特征的像素数量的最小值进行所述交叉图像帧的识别特征的识别准确率的确定;
采用所述交叉图像帧的二次识别目标的识别特征的相似度进行二次识别目标的识别特征的相似度大于预设特征相似度的交叉图像帧的数量以及在所述交叉图像帧的数量的比例的确定,并结合所述交叉图像帧的二次识别目标的识别特征的相似度的最大值进行所述交叉图像帧的识别特征的相似度评估量的确定;通过所述相似度评估量以及所述识别准确率确定所述识别特征的识别可靠性。
8.如权利要求1所述的多特征融合的行人跟踪方法,其特征在于,所述可信图像帧确定的方法为:
将所述图像帧中的二次识别目标的空间坐标的偏差量作为所述图像帧的可信度,并将可信度满足要求的图像帧作为可信图像帧。
9.一种计算机系统,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行权利要求1-8任一项所述的一种多特征融合的行人跟踪方法。
10.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-8任一项所述的一种多特征融合的行人跟踪方法。
CN202311346658.3A 2023-10-18 2023-10-18 一种多特征融合的行人跟踪方法 Active CN117333904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311346658.3A CN117333904B (zh) 2023-10-18 2023-10-18 一种多特征融合的行人跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311346658.3A CN117333904B (zh) 2023-10-18 2023-10-18 一种多特征融合的行人跟踪方法

Publications (2)

Publication Number Publication Date
CN117333904A CN117333904A (zh) 2024-01-02
CN117333904B true CN117333904B (zh) 2024-04-23

Family

ID=89275255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311346658.3A Active CN117333904B (zh) 2023-10-18 2023-10-18 一种多特征融合的行人跟踪方法

Country Status (1)

Country Link
CN (1) CN117333904B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718882A (zh) * 2016-01-19 2016-06-29 上海交通大学 一种分辨率自适应特征提取与融合的行人重识别方法
CN106934817A (zh) * 2017-02-23 2017-07-07 中国科学院自动化研究所 基于多属性的多目标跟踪方法及装置
CN109859245A (zh) * 2019-01-22 2019-06-07 深圳大学 视频目标的多目标跟踪方法、装置及存储介质
CN110688873A (zh) * 2018-07-04 2020-01-14 上海智臻智能网络科技股份有限公司 多目标追踪方法及人脸识别方法
CN112270310A (zh) * 2020-11-24 2021-01-26 上海工程技术大学 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置
CN113095232A (zh) * 2021-04-14 2021-07-09 浙江中正智能科技有限公司 一种目标实时跟踪方法
CN116824641A (zh) * 2023-08-29 2023-09-29 卡奥斯工业智能研究院(青岛)有限公司 姿态分类方法、装置、设备和计算机存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334708A (zh) * 2019-07-03 2019-10-15 中国科学院自动化研究所 跨模态目标检测中的差异自动校准方法、系统、装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718882A (zh) * 2016-01-19 2016-06-29 上海交通大学 一种分辨率自适应特征提取与融合的行人重识别方法
CN106934817A (zh) * 2017-02-23 2017-07-07 中国科学院自动化研究所 基于多属性的多目标跟踪方法及装置
CN110688873A (zh) * 2018-07-04 2020-01-14 上海智臻智能网络科技股份有限公司 多目标追踪方法及人脸识别方法
CN109859245A (zh) * 2019-01-22 2019-06-07 深圳大学 视频目标的多目标跟踪方法、装置及存储介质
CN112270310A (zh) * 2020-11-24 2021-01-26 上海工程技术大学 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置
CN113095232A (zh) * 2021-04-14 2021-07-09 浙江中正智能科技有限公司 一种目标实时跟踪方法
CN116824641A (zh) * 2023-08-29 2023-09-29 卡奥斯工业智能研究院(青岛)有限公司 姿态分类方法、装置、设备和计算机存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Robust Object Tracking Based on Adaptive Templates Matching via the Fusion of Multiple Features;Z Li、S Gao、et;;Journal of Visual communication and Image Representation;20171231;44;1-30 *
基于多特征降维和迁移学习的红外人体目标识别方法;王鑫;张鑫;宁晨;;计算机应用;20191231(第12期);82-87 *
室内复杂环境下人员识别跟踪系统研究;张敏;;中国优秀硕士学位论文全文数据库;20230131;1-77 *

Also Published As

Publication number Publication date
CN117333904A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN110427905B (zh) 行人跟踪方法、装置以及终端
CN107330920B (zh) 一种基于深度学习的监控视频多目标追踪方法
JP6994101B2 (ja) 目標物認識方法、装置、記憶媒体および電子機器
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
Nebehay Robust object tracking based on tracking-learning-detection
US20130342636A1 (en) Image-Based Real-Time Gesture Recognition
CN109993769B (zh) 一种深度学习ssd算法结合kcf算法的多目标跟踪系统
CN109035295B (zh) 多目标跟踪方法、装置、计算机设备和存储介质
KR102132722B1 (ko) 영상 내 다중 객체 추적 방법 및 시스템
EP2474163A2 (en) Foreground object detection in a video surveillance system
JP2013210968A (ja) 物体検出装置及びその方法、プログラム
JP2014048962A (ja) 画像処理装置、画像処理方法及びプログラム
CN110490171B (zh) 一种危险姿态识别方法、装置、计算机设备及存储介质
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
US20130243251A1 (en) Image processing device and image processing method
García-Martín et al. Robust real time moving people detection in surveillance scenarios
US20230394796A1 (en) Information processing device, information processing method, and program recording medium
JP2021022315A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111881775B (zh) 一种人脸实时识别方法和装置
CN111444875B (zh) 一种人脸跟踪方法、装置、设备和计算机可读存储介质
CN117333904B (zh) 一种多特征融合的行人跟踪方法
CN110781847A (zh) 一种基于神经网络动作行为识别的方法
Di Caterina et al. An improved mean shift tracker with fast failure recovery strategy after complete occlusion
KR20210155506A (ko) 영상 내 제스처 인식 장치, 방법 및 프로그램
CN111695404A (zh) 行人跌倒检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant