CN110211150A - 一种具有尺度协调机制的实时视觉目标识别方法 - Google Patents

一种具有尺度协调机制的实时视觉目标识别方法 Download PDF

Info

Publication number
CN110211150A
CN110211150A CN201910340918.3A CN201910340918A CN110211150A CN 110211150 A CN110211150 A CN 110211150A CN 201910340918 A CN201910340918 A CN 201910340918A CN 110211150 A CN110211150 A CN 110211150A
Authority
CN
China
Prior art keywords
target
identification
size
frame
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910340918.3A
Other languages
English (en)
Other versions
CN110211150B (zh
Inventor
王鸿鹏
宋玉琳
代婉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201910340918.3A priority Critical patent/CN110211150B/zh
Publication of CN110211150A publication Critical patent/CN110211150A/zh
Application granted granted Critical
Publication of CN110211150B publication Critical patent/CN110211150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种具有尺度协调机制的实时视觉目标识别方法，以目标分割确定待识别主体的大小，协调实时目标跟踪中待识别区域的尺度，从而提高识别精度。该方法首先对采集到的图像按对比度作图像分割，将待识别主体从背景中分割出来以确定待识别主体的大小。此外，在普通的实时视觉目标识别流程中，目标跟踪算法计算出每一帧中跟踪目标主体位置，并将主体位置提供给目标识别算法完成识别。当目标分割后的主体大小与目标跟踪后的主体大小之比高于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数。所提方法能够有效应对目标主体形变、旋转等问题。

Description

一种具有尺度协调机制的实时视觉目标识别方法
技术领域
本发明涉及目标识别领域，尤其涉及一种具有尺度协调机制的实时视觉目标识别方法。
背景技术
随着计算机技术的发展，目标识别由于其在视频监控、场景理解、人机交互等方面具有很高的应用价值，成为了计算机领域的研究热点。视觉目标的实时识别技术涵盖目标定位与目标识别两个环节，其可以定义为，给定视频流中第一帧图像中感兴趣目标的矩形框，作为跟踪算法的输入，估计出所选目标在接下来每帧图像中的位置及大小，上述目标位置及大小再作为识别算法的输入，推理出待识别目标的所属类别。近年来，无论在目标跟踪领域还是目标识别领域均有大量改进算法被提出。
但在实际应用中，目标跟踪与目标识别对目标尺度的需求存在亟待解决的矛盾。具体表现为，对于目标跟踪环节，为尽可能减少背景噪声的引入，跟踪区域应尽可能不覆盖背景区域，因此给定感兴趣目标矩形框尽可能小时跟踪效果更好。而对于目标识别环节，待识别区域包含目标特征越多时识别精度越高，因此待识别目标矩形框尽可能大时识别精度更高。综上，为了在保证跟踪效果前提下尽可能提高识别精度，有必要对两个环节中目标区域尺度进行调整。
发明内容
本发明为解决目标跟踪与目标识别之间存在的矛盾，提出了一种基于目标分割的具有尺度协调机制的实时视觉目标识别方法。该方法首先对采集到的图像按对比度作图像分割，将待识别主体从背景中分割出来以确定待识别主体的位置及大小。此外，在普通的实时视觉目标识别流程中，目标跟踪算法计算每一帧中跟踪目标主体位置，并将主体位置提供给目标识别算法完成识别。当目标分割后的主体大小与目标跟踪后的主体大小之比高于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，所提方法能够有效应对当目标主体形变、旋转等问题。
本发明的具体技术方案如下：
一种具有尺度协调机制的实时视觉目标识别方法，其步骤为：
步骤 1：采集图像，输入视频流序列；
步骤 2：目标检测，确定首帧感兴趣目标的位置与尺寸；
步骤 3：目标跟踪，分别提取目标区域内的 HOG 特征与颜色直方图特征，初始化跟踪器；
步骤 4：跟踪框，分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计；引入单独的相关性滤波尺度估计机制，将不同尺度大小图像块统一到固定模板大小，寻找最优尺度估计，根据目标位置和尺度估计做出跟踪框；
步骤 5：目标识别，依据目标跟踪估计出的目标位置将待识别目标在原图像中裁剪出来，然后将待识别区域的尺寸归一化到自制数据集训练卷积神经网络CNN中输入尺寸参数，在训练好的 CNN 参数上进行一次前向传播得到推理结果作为识别框输出。
步骤 6：目标分割，每一帧图像在目标跟踪更新目标位置的同时，依据对比度分割出图像中的显著区域即为目标区域，在数字图像中通过计算每一个像素与周围的对比度来表示其显著性即属于目标的可能性，显著性越高则越可能属于目标，将显著性较高与较低区域分别以二值图像中的0和1表示，即完成目标分割，做出分割框；
步骤 7：尺度更新判定，计算分割框边长 D2 与识别框边长 D1 的比值，当比值大于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，继续迭代跟踪以及对识别框进行实时识别，使识别框按比例增大为分割框大小；若比值小于阈值，不作任何处理，继续分割下一帧。
所述的步骤5中目标识别过程中，以目标分割确定待识别主体的大小，协调实时目标跟踪中跟踪区域的尺度，基于协调后的尺度确定目标识别中的待识别区域，从而提高识别精度。
发明有益效果：
第一，本发明中充分利用了图像分割技术，针对目标跟踪与识别过程对目标尺度需求的不同，将目标分割结果作为目标参考大小，适时调整待识别区域大小。
第二，本发明在普通目标跟踪加目标识别流程的旁支增加目标分割过程作为位置校正，当尺度更新判定满足条件时更新一次目标位置，而推理过程不需等待判定结果，保证算法实时性。
第三，本发明提出了一种尺度协调机制，既保留了目标跟踪与目标识别各自的优势，同时有效解决二者在尺度需求上的冲突。
附图说明
图1为本发明的目标识别方法结构框图。
图2为尺度协调机制中是否跟新尺度的两个实例。
具体实施方式
一种具有尺度协调机制的实时视觉目标识别方法，其步骤为：
步骤 1：采集图像，输入视频流序列；
步骤 2：目标检测，确定首帧感兴趣目标的位置与尺寸；
步骤 3：目标跟踪，分别提取目标区域内的 HOG 特征与颜色直方图特征，初始化跟踪器；
步骤 4：跟踪框，分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计；引入单独的相关性滤波尺度估计机制，将不同尺度大小图像块统一到固定模板大小，寻找最优尺度估计，根据目标位置和尺度估计做出跟踪框；
步骤 5：目标识别，依据目标跟踪估计出的目标位置将待识别目标在原图像中裁剪出来，然后将待识别区域的尺寸归一化到自制数据集训练卷积神经网络CNN中输入尺寸参数，在训练好的 CNN 参数上进行一次前向传播得到推理结果作为识别框输出。
步骤 6：目标分割，每一帧图像在目标跟踪更新目标位置的同时，依据对比度分割出图像中的显著区域即为目标区域，在数字图像中通过计算每一个像素与周围的对比度来表示其显著性即属于目标的可能性，显著性越高则越可能属于目标，将显著性较高与较低区域分别以二值图像中的0和1表示，即完成目标分割，做出分割框；
步骤 7：尺度更新判定，计算分割框边长 D2 与识别框边长 D1 的比值，当比值大于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，继续迭代跟踪以及对识别框进行实时识别，使识别框按比例增大为分割框大小；若比值小于阈值，不作任何处理，继续分割下一帧。
所述的步骤5中目标识别过程中，以目标分割确定待识别主体的大小，协调实时目标跟踪中跟踪区域的尺度，基于协调后的尺度确定目标识别中的待识别区域，从而提高识别精度。
如图2所示，第一行样例和第二行样例分别对应同一视频流中第2帧和第108帧，该视频为野外场景中黄喉貂的运动视频，由跟踪结果中跟踪框可知，第2帧与第108的跟踪效果均佳，但由于黄喉貂个体发生侧转，使得跟踪框中始终只覆盖到黄喉貂的腿部。对比目标分割结果，其中第2帧目标主体所在外接正方形的分割框所示，与跟踪结果的识别框重合度较高，因此识别框尺度不必更新，而第108帧主体所在外接正方形的分割框与跟踪结果的识别框重合度较低，因此需将识别框更新为目标分割后分割框大小。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (2)

1.一种具有尺度协调机制的实时视觉目标识别方法，其特征在于，其步骤为：
步骤 1：采集图像，输入视频流序列；
步骤 2：目标检测，确定首帧感兴趣目标的位置与尺寸；
步骤 3：目标跟踪，分别提取目标区域内的 HOG 特征与颜色直方图特征，初始化跟踪器；
步骤 4：跟踪框，分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计；引入单独的相关性滤波尺度估计机制，将不同尺度大小图像块统一到固定模板大小，寻找最优尺度估计，根据目标位置和尺度估计做出跟踪框；
步骤 5：目标识别，依据目标跟踪估计出的目标位置将待识别目标在原图像中裁剪出来，然后将待识别区域的尺寸归一化到自制数据集训练卷积神经网络CNN中输入尺寸参数，在训练好的 CNN 参数上进行一次前向传播得到推理结果作为识别框输出；
步骤 6：目标分割，每一帧图像在目标跟踪更新目标位置的同时，依据对比度分割出图像中的显著区域即为目标区域，在数字图像中通过计算每一个像素与周围的对比度来表示其显著性即属于目标的可能性，显著性越高则越可能属于目标，将显著性较高与较低区域分别以二值图像中的0和1表示，即完成目标分割，做出分割框；
步骤 7：尺度更新判定，计算分割框边长 D2 与识别框边长 D1 的比值，当比值大于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，继续迭代跟踪以及对识别框进行实时识别，使识别框按比例增大为分割框大小；若比值小于阈值，不作任何处理，继续分割下一帧。
2.根据权利要求1所述的具有尺度协调机制的实时视觉目标识别方法，其特征在于吗，所述的步骤5中目标识别过程中，以目标分割确定待识别主体的大小，协调实时目标跟踪中跟踪区域的尺度，基于协调后的尺度确定目标识别中的待识别区域，从而提高识别精度。
CN201910340918.3A 2019-04-25 2019-04-25 一种具有尺度协调机制的实时视觉目标识别方法 Active CN110211150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910340918.3A CN110211150B (zh) 2019-04-25 2019-04-25 一种具有尺度协调机制的实时视觉目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910340918.3A CN110211150B (zh) 2019-04-25 2019-04-25 一种具有尺度协调机制的实时视觉目标识别方法

Publications (2)

Publication Number Publication Date
CN110211150A true CN110211150A (zh) 2019-09-06
CN110211150B CN110211150B (zh) 2023-04-18

Family

ID=67786500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910340918.3A Active CN110211150B (zh) 2019-04-25 2019-04-25 一种具有尺度协调机制的实时视觉目标识别方法

Country Status (1)

Country Link
CN (1) CN110211150B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508006A (zh) * 2020-04-23 2020-08-07 南开大学 一种基于深度学习的运动目标同步检测、识别与跟踪方法
CN112767323A (zh) * 2021-01-06 2021-05-07 华兴源创(成都)科技有限公司 一种显示模组中各向异性导电膜粒子的检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004081875A2 (en) * 2003-03-07 2004-09-23 Siemens Corporate Research Inc. System and method for tracking a global shape of an object in motion
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法
CN108109162A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种利用自适应特征融合的多尺度目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004081875A2 (en) * 2003-03-07 2004-09-23 Siemens Corporate Research Inc. System and method for tracking a global shape of an object in motion
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法
CN108109162A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种利用自适应特征融合的多尺度目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐福来;王鸿鹏;张普;赵仲奇;刘景泰;: "基于贝叶斯模型与最佳伙伴相似度量的目标跟踪" *
桑农;王佳龙;李逢;: "基于实例化相关滤波器的鲁棒人手跟踪" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508006A (zh) * 2020-04-23 2020-08-07 南开大学 一种基于深度学习的运动目标同步检测、识别与跟踪方法
CN112767323A (zh) * 2021-01-06 2021-05-07 华兴源创(成都)科技有限公司 一种显示模组中各向异性导电膜粒子的检测方法

Also Published As

Publication number Publication date
CN110211150B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN106875425A (zh) 一种基于深度学习的多目标追踪系统及实现方法
CN109448025B (zh) 视频中短道速滑运动员的自动跟踪与轨迹建模方法
CN108198221A (zh) 一种基于肢体动作的舞台灯光自动跟踪系统及方法
CN107256386A (zh) 基于深度学习的人类行为分析方法
CN110517288A (zh) 基于全景多路4k视频图像的实时目标检测跟踪方法
CN105279769B (zh) 一种联合多特征的层次粒子滤波跟踪方法
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN104167006B (zh) 一种任意手形的手势跟踪方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN109993173B (zh) 一种基于种子生长及边界约束的弱监督图像语义分割方法
CN102999920A (zh) 基于最近邻分类器和均值漂移的目标跟踪方法
CN112464847B (zh) 视频中人体动作切分方法及装置
JP7422456B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN109028226A (zh) 基于双区域图像采集进行油烟浓度判断的油烟机
CN110751056B (zh) 基于改进自顶向下法多人姿态检测的行人运动预测方法
CN102592288A (zh) 一种光照环境变化情况下的行人目标匹配跟踪方法
CN110321937A (zh) 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法
CN111931654A (zh) 一种人员跟踪智能监测方法、系统和装置
CN110070565A (zh) 一种基于图像叠加的船舶轨迹预测方法
CN110211150A (zh) 一种具有尺度协调机制的实时视觉目标识别方法
CN107563299A (zh) 一种利用ReCNN融合上下文信息的行人检测方法
CN103886324B (zh) 一种基于对数似然图像的尺度自适应目标跟踪方法
CN108537826A (zh) 一种基于人工干预的舰船目标跟踪方法
CN111028266B (zh) 畜禽盘点方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant