CN110599517A - 一种基于局部特征和全局hsv特征组合的目标特征描述方法 - Google Patents

一种基于局部特征和全局hsv特征组合的目标特征描述方法 Download PDF

Info

Publication number
CN110599517A
CN110599517A CN201910818301.8A CN201910818301A CN110599517A CN 110599517 A CN110599517 A CN 110599517A CN 201910818301 A CN201910818301 A CN 201910818301A CN 110599517 A CN110599517 A CN 110599517A
Authority
CN
China
Prior art keywords
target
local
features
global
likelihood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910818301.8A
Other languages
English (en)
Inventor
王臻
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910818301.8A priority Critical patent/CN110599517A/zh
Publication of CN110599517A publication Critical patent/CN110599517A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部特征和全局HSV特征组合的目标特征描述方法，包括以下步骤：获取目标对象帧，在目标对象帧中选取背景区域、目标区域、并设定用于计算局部像素块似然度的扩展区域；利用超像素聚类方法将目标区域分割成若干局部块，对每一局部块分别提取边缘方向特征和亮度特征并组合成局部特征描述向量；分别计算背景区域和目标区域的HSV空间颜色特征，并组合成全局特征描述向量；利用局部特征描述向量计算目标区域局部块的似然，通过目标区域中每一个位置像素属于对象目标区域的概率计算全局似然；利用局部块似然和全局似然计算目标区域总体似然概率，根据目标区域的总体似然概率判断特征描述的准确度。本发明提高了目标表观描述的准确度。

Description

一种基于局部特征和全局HSV特征组合的目标特征描述方法
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种基于局部特征和全局HSV特征组合的目标特征描述方法。
背景技术
视觉目标跟踪是机器视觉中的一个热门分支，其在的视频监控、人机交互，增强现实，视觉导航和医学图像分析中有着深入的应用。通常情况下目标跟踪的是对目标状态的估计和判别，给定初始的目标状态下，在连续的图像序列中估计或者判别目标对象的状态。视频跟踪近几年的发展迅速，在有约束或者相对简单的场景取得很好的跟踪效果。然而在现实场景中的，由于目标本身和背景环境的复杂，实现鲁棒和精准的跟踪依旧是个很大的挑战。在跟踪的过程中，算法的性能会收到各种因素的影响，如光线变化，目标对象出现部分遮挡或者全部遮挡，目标发生形变等。
在目标跟踪算法中，针对生成模型，目标表观建模是一个重点环节，目标表观的建模影响后面跟踪的准确性和鲁棒性。在复杂场景下，单一目标表观描述方法都有一些局限制。在实际应用中效果不佳。
发明内容
本发明为克服上述现有技术中目标特征描述对目标的表观描述准确度不高，提取的目标特征应用效果不佳的缺陷，提供一种基于局部特征和全局HSV特征组合的目标特征描述方法。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
一种基于局部特征和全局HSV特征组合的目标特征描述方法，包括以下步骤：
S1：获取目标对象帧，在目标对象帧中分别选取背景区域、目标区域、并设定用于计算局部像素块似然度的扩展区域；
S2：利用超像素聚类方法将目标区域分割成若干局部块，对每一局部块分别提取边缘方向特征和亮度特征，将所述边缘方向特征和亮度特征组合成局部特征描述向量；
S3：分别计算背景区域和目标区域的HSV空间颜色特征，将所述背景区域和目标区域的HSV空间颜色特征组合成全局特征描述向量；
S4：利用局部特征描述向量计算目标区域局部块的似然，通过目标区域中每一个位置像素属于对象目标区域的概率计算全局似然；
S5：利用局部块似然和全局似然计算目标区域总体似然概率，根据目标区域的总体似然概率判断特征描述的准确度。
优选地，利用超像素聚类方法将目标区域分割成若干局部块，所述超像素聚类方法表达式为：
其中，dc代表颜色距离，ds代表空间距离，Ns是最大的空间距离，Nc代表最大颜色距离，D是距离度量，N代表图像的像素个数，K代表聚类个数。
优选地，所述边缘方向特征利用边缘方向直方图描述，所述边缘方向直方图表达公式为：
其中，C为归一化常数，H(x)满足D(x,y)是梯度强度，δ(·)为迪克拉函数，μ是对应量级的bin。
优选地，所述亮度特征利用亮度直方图描述，所述亮度直方图的表达式为：
H(n)＝∑δ(g(i)＝n)
其中，g(·)是局部块的亮度值，其中δ(·)为迪克拉函数，i是局部像素块的编号。
优选地，所述局部特征描述向量表达式为：
v(x)＝{HE,HG}
其中，v(x)表示局部特征描述向量，H是局部块的特征描述符，HE是用边缘表示的边缘方向特征直方图，HG是基于亮度特征提取的亮度直方图全局特征描述向量表达式为：
G＝{HF,HB}
其中，HF和HB分别对应包含目标的前景区域和背景区域提取的颜色直方图。
优选地，目标区域局部块的似然计算公式为：
其中，F表示目标区域，O表示扩展区域，vi是目标区域中第i个图像块的直方图向量，vj是扩展区域或目标区域中被选中的第j个图像块的直方图向量，NO和NF分别表示是O扩展区域和F目标区域中图像块的数量，α是控制函数。
优选地，目标区域全局似然计算公式为：
其中，I(x)是图像I中位置为x的像素值，hi是第i个图像块的颜色直方图,HB和HF分别对应全局模型的背景特征颜色直方图和前景特征颜色直方图，β是对象目标的尺寸和整个图像的比例。
优选地，目标区域总体似然概率计算公式为：
其中，目标区域总体似然概率表征特征描述的准确程度。
与现有技术相比，本发明技术方案的有益效果是：
本发明将视频跟踪视为在视频序列中寻找与目标区域最相似的区域的过程，计算候选区域与目标模型的似然作为判别的置信度，总体似然(概率值)越大，候选区域为目标可能性越大，反之为目标的概率越小。
2、本发明通过对目标区域分块构建局部特征描述向量，通过背景和目标区域的HSV空间颜色特征构建全局特征描述向量，分别计算局部特征和全局特征的似然进而求得总体似然作为判别的置信度。提高了目标表观描述的准确度和目标在复杂场景下的跟踪效果。
附图说明
图1为本发明方法流程图。
图2为目标区域和目标扩展区域示意图。
图3为扩展区域和目标区域进行超像素聚类分块的效果示意图。
图4为目标区域像素块的亮度直方图。
图5为目标区域像素块边缘方向直方图。
图6为背景区域的HSV颜色特征直方图。
图7所示为目标区域的HSV特征直方图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，一种基于局部特征和全局HSV特征组合的目标特征描述方法，包括以下步骤：
S1：获取目标对象帧，在目标对象帧中分别选取背景区域、目标区域、并设定用于计算局部像素块似然度的扩展区域；
如图2所示，F为目标区域和O为目标扩展区域。
S2：利用超像素聚类方法将目标区域分割成若干局部块，对每一局部块分别提取边缘方向特征和亮度特征，将所述边缘方向特征和亮度特征组合成局部特征描述向量；如图3所示，扩展区域O和目标区域F进行超像素聚类分块的效果示意图。
需要说明的是，本发明采用超像素聚类算法将颜色特征相似和空间位置相邻的像素点聚集在一起，作为超像素的子块来处理，能保留子块内的边缘特征和空间信息，包含的像素点属于相同目标。
利用超像素聚类算法将区域换划分成m块，(其中关于扩展区域和前景像素块的统计，如果像素块聚类中心位于目标框区域内即为目标像素块，相反，如果像素块的聚类中心位于扩展区域内判断该像素块为扩展区域的像素块)。
其中，所述超像素聚类方法表达式为：
其中，dc代表颜色距离，ds代表空间距离，Ns是最大的空间距离，Nc代表最大颜色距离，D是距离度量，N代表图像的像素个数，K代表聚类个数。
S3：分别计算背景区域和目标区域的HSV空间颜色特征，将所述背景区域和目标区域的HSV空间颜色特征组合成全局特征描述向量；
如图4所示为目标区域像素块的亮度直方图。图5所示为目标区域像素块边缘方向直方图，其中设置bins＝8。
所述边缘方向特征利用边缘方向直方图描述，所述边缘方向直方图表达公式为：
其中，C为归一化常数，H(x)满足D(x,y)是梯度强度，δ(·)为迪克拉函数，μ是对应量级的bin。
所述亮度特征利用亮度直方图描述，所述亮度直方图的表达式为：
H(n)＝∑δ(g(i)＝n)
其中，g(·)是局部块的亮度值，其中δ(·)为迪克拉函数，i是局部像素块的编号。
所述局部特征描述向量表达式为：
v(x)＝{HE,HG}
其中，v(x)表示局部特征描述向量，H是局部块的特征描述符，HE是用边缘表示的边缘方向特征直方图，HG是基于亮度特征提取的亮度直方图。
需要说明是，设定边缘方向直方图为8bin,同样设定亮度直方图也为8bin，这样描述向量为16维。既能有效的表征目标，又能减少计算量。
全局特征描述向量表达式为：
G＝{HF,HB}
其中，HF和HB分别对应包含目标的前景区域和背景区域提取的颜色直方图。
S4：利用局部特征描述向量计算目标区域局部块的似然，通过目标区域中每一个位置像素属于对象目标区域的概率计算全局似然；
需要说明的是，根据视觉显著性的定义，图像中的元素可以的划分成不同元素或者单元，这些元素同其他的元素具有一定的独特属性。独特性定义为一个图像块的稀有程度。如图6所示，背景区域的HSV颜色特征直方图。图7所示为目标区域的HSV特征直方图。
目标区域局部块的似然计算公式为：
其中，F表示目标区域，O表示扩展区域，vi是目标区域中第i个图像块的直方图向量，vj是扩展区域或目标区域中被选中的第j个图像块的直方图向量，NO和NF分别表示是O扩展区域和F目标区域中图像块的数量，α是控制函数。
需要说明的是，似然函数将似然可靠性控制在一个合理的范围。当i个图像块包含背景信息时，似然度较低，当i个图像块包含目标信息时，有着较高的似然度。
目标区域全局似然计算公式为：
其中，I(x)是图像I中位置为x的像素值，hi是第i个图像块的颜色直方图,HB和HF分别对应全局模型的背景特征颜色直方图和前景特征颜色直方图，β是对象目标的尺寸和整个图像的比例。
S5：利用局部块似然和全局似然计算目标区域总体似然概率，根据目标区域的总体似然概率判断特征描述的准确度。
目标区域总体似然概率计算公式为：
其中，目标区域总体似然概率表征特征描述的准确程度。目标区域总体似然概率大则特征描述的准确程度高，目标区域总体似然概率小则特征描述的准确程低。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，包括以下步骤：
S1：获取目标对象帧，在目标对象帧中分别选取背景区域、目标区域、并设定用于计算局部像素块似然度的扩展区域；
S2：利用超像素聚类方法将目标区域分割成若干局部块，对每一局部块分别提取边缘方向特征和亮度特征，将所述边缘方向特征和亮度特征组合成局部特征描述向量；
S3：分别计算背景区域和目标区域的HSV空间颜色特征，将所述背景区域和目标区域的HSV空间颜色特征组合成全局特征描述向量；
S4：利用局部特征描述向量计算目标区域局部块的似然，通过目标区域中每一个位置像素属于对象目标区域的概率计算全局似然；
S5：利用局部块似然和全局似然计算目标区域总体似然概率，根据目标区域的总体似然概率判断特征描述的准确度。
2.根据权利要求1所述的一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，利用超像素聚类方法将目标区域分割成若干局部块，所述超像素聚类方法表达式为：
其中，dc代表颜色距离，ds代表空间距离，Ns是最大的空间距离，Nc代表最大颜色距离，D是距离度量，N代表图像的像素个数，K代表聚类个数。
3.根据权利要求1所述的一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，所述边缘方向特征利用边缘方向直方图描述，所述边缘方向直方图表达公式为：
其中，C为归一化常数，H(x)满足D(x,y)是梯度强度，δ(·)为迪克拉函数，μ是对应量级的bin。
4.根据权利要求1所述的一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，所述亮度特征利用亮度直方图描述，所述亮度直方图的表达式为：
H(n)＝∑δ(g(i)＝n)
其中，g(·)是局部块的亮度值，其中δ(·)为迪克拉函数，i是局部像素块的编号。
5.根据权利要求1所述的一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，所述局部特征描述向量表达式为：
v(x)＝{HE,HG}
其中，v(x)表示局部特征描述向量，H是局部块的特征描述符，HE是用边缘表示的边缘方向特征直方图，HG是基于亮度特征提取的亮度直方图全局特征描述向量表达式为：
G＝{HF,HB}
其中，HF和HB分别对应包含目标的前景区域和背景区域提取的颜色直方图。
6.根据权利要求1所述的一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，目标区域局部块的似然计算公式为：
其中，F表示目标区域，O表示扩展区域，vi是目标区域中第i个图像块的直方图向量，vj是扩展区域或目标区域中被选中的第j个图像块的直方图向量，NO和NF分别表示是O扩展区域和F目标区域中图像块的数量，α是控制函数。
7.根据权利要求1所述的一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，目标区域全局似然计算公式为：
其中，I(x)是图像I中位置为x的像素值，hi是第i个图像块的颜色直方图,HB和HF分别对应全局模型的背景特征颜色直方图和前景特征颜色直方图，β是对象目标的尺寸和整个图像的比例。
8.根据权利要求6-7任一项所述的一种基于局部特征和全局HSV特征组合的目标特征描述方法，其特征在于，目标区域总体似然概率计算公式为：
其中，目标区域总体似然概率表征特征描述的准确程度。
CN201910818301.8A 2019-08-30 2019-08-30 一种基于局部特征和全局hsv特征组合的目标特征描述方法 Pending CN110599517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910818301.8A CN110599517A (zh) 2019-08-30 2019-08-30 一种基于局部特征和全局hsv特征组合的目标特征描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910818301.8A CN110599517A (zh) 2019-08-30 2019-08-30 一种基于局部特征和全局hsv特征组合的目标特征描述方法

Publications (1)

Publication Number Publication Date
CN110599517A true CN110599517A (zh) 2019-12-20

Family

ID=68856572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910818301.8A Pending CN110599517A (zh) 2019-08-30 2019-08-30 一种基于局部特征和全局hsv特征组合的目标特征描述方法

Country Status (1)

Country Link
CN (1) CN110599517A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017158A (zh) * 2020-07-28 2020-12-01 中国科学院西安光学精密机械研究所 一种基于光谱特性的遥感场景下自适应目标分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016691A (zh) * 2017-04-14 2017-08-04 南京信息工程大学 基于超像素特征的运动目标检测方法
CN109829449A (zh) * 2019-03-08 2019-05-31 北京工业大学 一种基于超像素时空上下文的rgb-d室内场景标注方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016691A (zh) * 2017-04-14 2017-08-04 南京信息工程大学 基于超像素特征的运动目标检测方法
CN109829449A (zh) * 2019-03-08 2019-05-31 北京工业大学 一种基于超像素时空上下文的rgb-d室内场景标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲍华: "复杂场景下基于局部分块和上下文信息的单视觉目标跟踪", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017158A (zh) * 2020-07-28 2020-12-01 中国科学院西安光学精密机械研究所 一种基于光谱特性的遥感场景下自适应目标分割方法
CN112017158B (zh) * 2020-07-28 2023-02-14 中国科学院西安光学精密机械研究所 一种基于光谱特性的遥感场景下自适应目标分割方法

Similar Documents

Publication Publication Date Title
CN110111338B (zh) 一种基于超像素时空显著性分割的视觉跟踪方法
CN108629783B (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN111242027B (zh) 一种融合语义信息的无监督学习场景特征快速提取方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
JP2005513656A (ja) 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法
CN107909079B (zh) 一种协同显著性检测方法
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN111310768B (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN106600613B (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN105184771A (zh) 一种自适应运动目标检测系统及检测方法
Zhu et al. Automatic object detection and segmentation from underwater images via saliency-based region merging
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN110930436B (zh) 一种目标跟踪方法及设备
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
CN110599517A (zh) 一种基于局部特征和全局hsv特征组合的目标特征描述方法
CN109785367B (zh) 三维模型追踪中外点滤除方法和装置
CN109427068A (zh) 基于超像素自动标注的深度学习共分割方法
CN108573217B (zh) 一种结合局部结构化信息的压缩跟踪方法
CN113627342B (zh) 视频深度特征提取优化的方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220