CN109300165B - 一种基于像素特征的新型目标追踪定位方法 - Google Patents

一种基于像素特征的新型目标追踪定位方法 Download PDF

Info

Publication number
CN109300165B
CN109300165B CN201811074019.5A CN201811074019A CN109300165B CN 109300165 B CN109300165 B CN 109300165B CN 201811074019 A CN201811074019 A CN 201811074019A CN 109300165 B CN109300165 B CN 109300165B
Authority
CN
China
Prior art keywords
area
target
point
pixel
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811074019.5A
Other languages
English (en)
Other versions
CN109300165A (zh
Inventor
刘峰
朱一峰
崔子冠
干宗良
唐贵进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201811074019.5A priority Critical patent/CN109300165B/zh
Publication of CN109300165A publication Critical patent/CN109300165A/zh
Application granted granted Critical
Publication of CN109300165B publication Critical patent/CN109300165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于像素特征的新型目标追踪定位方法，包括：人体区域消除：对图像像素点的RGB分量进行三帧差法提取前景，并对前景图像进行二值化处理得到二值图像；检测二值图像中的人体关键点，包括手部关键点、眉心关键点和双足中点；标记二值图像的所有连通区域；目标追踪定位：根据连通区域的像素分布特性来确定目标位置及目标定位点；运动特征修正：根据检测出连通区域中的像素点分布特性对目标使用降维方法来求取区域的矢量方向并进行目标点位置修正。本发明方法可以快速的提取运动特征，无论是在背景简单还是复杂场景中都能快速准确的追踪定位到运动目标，尤其是运动时间短、目标细长的目标时，极具实用性，具有很好地推广前景。

Description

一种基于像素特征的新型目标追踪定位方法
技术领域
本发明属于机器视觉以及图形处理技术领域，具体涉及一种基于像素特征的新型目标追踪定位方法。
背景技术
在传统的运动人体与物件追踪算法中，以基于颜色特征的追踪算法较为优秀，但是这类追踪算法对于目标细小且颜色浅淡的物体追踪性能较差，且很容易丢失目标，不能很好地提取运动目标特征。尤其传统本发明方法面对如高尔夫、羽毛球以及棒球等速度快、形状细长的追踪定位目标，追踪定位效果不佳，不具备通用性与实用性。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种快速准确的目标追踪定位方法。
为解决上述技术问题，本发明采用以下技术方案：
一种基于像素特征的新型目标追踪定位方法，其特征是，包括以下步骤：
人体区域消除：对图像像素点的RGB分量进行三帧差法提取前景，并对前景图像进行二值化处理得到二值图像；
检测二值图像中的人体关键点，包括手部关键点、眉心关键点和双足中点；
标记二值图像的所有连通区域；
目标追踪定位：根据连通区域的像素分布特性来确定目标位置及目标定位点；
运动特征修正：根据检测出连通区域中的像素点分布特性对目标使用降维方法来求取区域的矢量方向并进行目标点位置修正。
进一步地，根据连通区域的像素数确定目标位置及目标定位点具体包括：
若不存在连通区域，则将前后两帧特征点的中值作为目标定位点；
若只有一个连通区域，则将该唯一连通区域作为目标位置，并将该连通区域的质心点作为目标定位点；
若存在超过两个连通区域则进行以下操作：
以像素数作为连通区域面积，选择面积最大的前两个连通区域作为候选的目标区域分别记为area1和area2，对应面积分别记作Maxarea与Secarea；求取Maxarea与Secarea的比值，若比值超出预定倍数以上，则直接以面积最大的连通区域作为目标位置，并将该连通区域的质心点作为目标定位点；
否则，以原始未去除人体的二值图像Hightlight作为模板，分别用连通区域area1和area2的质心点与手部关键点连线作为长轴做出扁椭圆形区域来计算运动区域，分别记为Sportarea1和Sportarea2；以计算两个运动区域的像素值，如若存在其中一个运动区域像素数为零，则将像素数为非零的运动区域所对应的连通区域作为目标区域，其质心点作为目标定位点进行输出；如若两个运动区域均存在数值，则继续进行筛选判定；
再以眉心关键点与双足关键点的中点建立人体椭圆区域，以来区分人体内外侧；
分别确定连通区域area1和area2的质心点位于人体椭圆区域的内外某侧，并进行以下判断：
若两个连通区域均位于人体椭圆区域外侧；先分别计算两个连通区域质心点与手部关键点的1范数，分别记作Dis1和Dis2；将数值较大的记作MaxDis，将数值较小的记作MinDis；
如果MaxDis/MinDis＜1.6，则认为两个连通区域位于人体同一侧；此时使用两个连通区域area1和area2对应的运动区域Sportarea 1和Sportarea 2中像素的质心点与其所属连通区域area1和area2的质心点来求解欧氏距离，以欧氏距离来表示该运动区域的像素疏密度，记作DenDis1和DenDis2；选择DenDis1和DenDis2中较小的连通区域作为目标位置，对应连通区域的质心点作为目标定位点；如果MaxDis/MinDis＞＝1.6，则选取MinDis所属的连通区域作为目标位置，对应连通区域的质心点作为目标定位点；
若连通区域Maxarea在人体椭圆区域的内侧，而Secarea位于人体椭圆区域外侧，此时将两个运动区域的图像模板分别换做人体去除后的二值图像BW，以此得到两个新的运动区域来作为辅助运动区域，分别记作Sport-areasupport1和Sport_areasupport2；针对每个连通区域计算运动区域与辅助运动区域的比值，即Sportarea/Sport_areasupport，记Maxarea的比值为PixelsDiffer1，Secarea的比值为PixelsDiffer2；点Coorfeature作为目标定位点，表达式如下；
Figure GDA0003719371070000041
若连通区域Maxarea在人体椭圆区域外，而Secarea位于人体椭圆区域内侧；点Coorfeature作为目标定位点，表达式如下；
Figure GDA0003719371070000042
式1和式2中，Th为筛选阈值；
如若两个连通区域各个特征均不满足以上筛选条件，则直接以连通区域Maxarea作为目标区域，其质心点作为目标定位点。
再进一步地，用连通区域的质心点与手部关键点连线作为长轴做出扁椭圆形区域，公式如式3：
EllipseEqu＝A*x2+B*x*y+C*y2+f (3)，
A＝a2*(sinθ)2+b2*(cosθ)2 (4)，
B＝2*(a2-b2)*(sinθ)2*(cosθ)2 (5)，
C＝a2*(cosθ)2+b2*(sinθ)2 (6)，
f＝-a2*b2 (7)，
Figure GDA0003719371070000043
cbar和rbar为连通区域质心像素行列坐标值，chand和rhand为手部关键点像素行列坐标值，a和b为椭圆长短轴的像素数。
优选地，做扁椭圆形区域时取a为150个像素，b为15像素。
进一步地，以眉心关键点与双足中点建立人体椭圆区域，公式如式3：
其中A的表达式见式4，B的表达式见式5，C的表达式见式6，f的表达式见式7，θ的表达式如下，见式9
θ＝atan(ceye-cfoot/reye-rfoot) (9)，
同时，建立人体椭圆区域时a取300像素，b取60像素。
进一步地，对图像像素点的RGB分量进行三帧差法提取前景包括以下步骤：
记视频序列中第n+1帧、第n帧和第n-1帧的图像分别为fk+1、fk和fk-1，三帧对应像素点的灰度值记为fk+1(x，y)、fk(x，y)和fk-1(x，y)，按照式1分别得到差分图像Dk+1和Dk，再对差分图像Dk+1和Dk按照式2进行与操作，得到图像D′k；
Dk(x，y)＝|fk(x，y)-fk-1(x，y)| (10)，
D′k(x，y)＝|fk+1(x，y)-fk(x，y)|∩|fk(x，y)-fk-1(x，y)| (11)，
再对上述步骤中得到的差分结果D′k进行二值化处理，得到初步的运动区域提取结果R′k，表达式如下：
Figure GDA0003719371070000051
取值为255和0的像素分别对应于前景和背景。
再进一步地，针对三帧差分法处理后的图像采用中值滤波法处理椒盐噪声，中值滤波的输出表达式如下：
Yo(i，j)＝med{C}
＝med{Yi(x，y)|x∈[i-1，i+1]，y∈[j-1，j+1]} (13)，
其中在像素Yi(i，j)处窗口区域点值的集合为C。
进一步地，根据检测出连通区域中的像素点分布特性对目标使用降维本发明方法来求取区域的矢量方向并进行目标点位置修正，包括：
i.首先提取检测出的目标位置的所有像素坐标值，将图像坐标系中的坐标值映射到笛卡尔坐标中，表达式如下：
Figure GDA0003719371070000061
再采用PCA方法进行降维处理，得到处理后特征值Proj；
ii.利用计算得到的特征值Proj，按照公式15计算斜率，并重新映射回原有坐标系；再根据斜率与原始定位点，以公式16的方式拟合出目标真实位置，并进行延伸处理从而修正原始定位点，表达式如下：
Figure GDA0003719371070000062
clubr＝rbar+differlength*cosθ
clubc＝cbar+differlength*sinθ (16)，
其中，Coor代表原始坐标，Coorfix代表映射后坐标，rmax代表图像最大行值；斜率Slope用行列特征值Projr/c进行计算；(rbar，cbar)代表目标区域原始质心位置，(clubr，clubc)代表修正后的目标定位点，differlength为需要修正的长度。
优选地，在修正定位点之前，设置了一个阈值判定，以筛选出不适宜使用公式15的情况：对于Slope＞90或是Slope＜0.1以下的帧，采取保持某一坐标不变，只对另一坐标进行延长或缩短计算，表达式如下：
if Slope＞90,
Figure GDA0003719371070000071
if Slope＜0.1,
Figure GDA0003719371070000072
本发明所达到的有益效果：
1、传统的两帧差分法偏向于目标运动较为缓慢的场景，当运动较快时，由于目标在相邻帧的图像上的位置相差较大，两帧图像相减后并不能得到完整的运动目标，因此，本发明在两帧差分法的基础上提出了改进型三帧差分法，更适合提取运动较快的目标；
2、本发明方法采用中值滤波来消除图像的椒盐噪声使图像更平滑，更加适应目标追踪定位处理的要求；
3、传统的追踪算法对于目标细小且颜色浅淡的物体追踪性能较差，且很容易丢失目标，不能很好地提取运动目标特征。本发明设计了一种基于像素特征的新型追踪算法，无论是在背景简单还是复杂场景中，都能快速准确地追踪定位到运动目标；
4、本追踪算法对高尔夫这类运动时间短，追踪目标细长的专业运动，可以准确的捕捉运动目标，并快速的提取运动特征，极具实用性，具有很好地推广前景。
附图说明
图1是本发明方法具体实施例的流程示意图；
图2是本发明方法具体实施例的提取前景的流程示意图图；
图3是本发明采用的中值滤波流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例：本实施例的应用场景是人挥动球杆打高尔夫球，追踪定位目标是球杆。
首先进行人体区域消除：对图像像素点的RGB分量进行三帧差法提取前景，并对前景图像进行二值化处理得到二值图像；检测二值图像中的人体关键点，在具体实施例中可以采用现有的骨骼检测算法来实现，所述人体关键点包括手部关键点、眉心关键点和双足中点等18个关键点。
在进行图像分析之前，需要对图像进行预处理。本实施例利用彩色摄像机捕获颜色信息丰富的彩色动作视频，但在运动检测过程中，需要简化颜色信息。灰度图像既能表征图像的主要特征，又携带较少的信息量，因此适合后续的识别过程。因此，第一步需要对原始图像进行灰度处理并进行前景提取。
传统的两帧差分法偏向于目标运动较为缓慢的场景，当运动较快时，由于目标在相邻帧的图像上的位置相差较大，两帧图像相减后并不能得到完整的运动目标。因此，本发明在两帧差分法的基础上提出了改进型三帧差分法进行前景提取。
在本实施例对图像像素点的RGB分量进行三帧差法提取前景具体包括以下步骤：
记视频序列中第n+1帧、第n帧和第n-1帧的图像分别为fk+1、fk和fk-1，三帧对应像素点的灰度值记为fk+1(x，y)、fk(x，y)和fk-1(x，y)，按照式1分别得到差分图像Dk+1和Dk，再对差分图像Dk+1和Dk按照式2进行与操作，得到图像D′k；
Dk(x，y)＝|fk(x，y)-fk-1(x，y)| (10)，
D′k(x，y)＝|fk+1(x，y)-fk(x，y)|∩|fk(x，y)-fk-1(x，y)| (11)，
再对上述步骤中得到的差分结果D′k进行二值化处理，得到初步的运动区域提取结果R′k，表达式如下：
Figure GDA0003719371070000091
在差分后的D′k中还包含了连续两顿之间的场景的变化，这种变化由很多因素构成，包括目标的移动、光照、阴影、噪音等。同时给定一个阚值T，当差分中某一像素值的差大于给定阈值时，则认为该像素为前景像素，反之则认为是背景像素。取值为255和0的像素分别对应于前景(即运动目标区域)和背景(非运动目标区域)。
图像背景区域存在一定的椒盐噪声，为了更好地保留边缘的尖锐度，并且会洗去均匀介质区域中的纹理，在具体实施例中优选地，在三帧差法步骤之后进行中值滤波。
采用中值滤波法将图像背景去噪，为整体的前景处理效果提高精确度。
中值滤波由首先用于一维信号处理，后来很快被用到二维图像平滑中。其实现原理是把数字图像中一点的值用该点的一个区域的各个点的值的中值代替，这个区域的选取方式可以有很多种，如线状、方形、十字形、圆形、零星等。不同形状的窗口产生不同的滤波效果，使用中必须根据图像的内容和不同的要求加以选择。
在具体的实施例中，若要处理一幅尺寸为m*n大小的图像，利用3*3大小的滑动方形滤波窗口。在像素Yi(i，j)处窗口区域点值的集合为C，那么中值滤波的输出为
Yo(i，j)＝med{C}
＝med{Yi(x，y)|x∈[i-1，i+1]，y∈[j-1，j+1]} (13)，
对于i和j的取值范围可以根据系统的需求来确定。在整幅图像的边缘，中值滤波时的邻域并不能取满9个值，因此在程序的处理过程中可以将这些边缘点放弃掉不进行处理，也可以对这些点采用其他处理方法。具体实施例中采用放弃不处理的方法，这样可以简化系统的程序流程，而且本文所要得到的结果与图像边缘无关。中值滤波之所以在去除脉冲噪声、椒盐噪声的同时又能保留图像的边缘细节，这是因为它不依赖于邻域内那些与典型值差别很大的值，由于它不是简单的取平均值，所以产生的模糊比较小，它在一定条件下可以克服线性滤波器带来的图像细节模糊，且对抑制图像中的脉冲干扰和椒盐噪声特别有效。
本实施例采集的JPG图像大小为1280*720，利用一个7*7大小的滑动窗口将其非图像边缘像素进行中值滤波，其方法实现的流程图如图2所示。
经过中值滤波后，在处理后的图中可以看出图像中的椒盐噪声基本上全部消除，画面整体较为干净并且目标人物较为平滑。运动区域的的边缘由于中值滤波而变得柔化，系统所要分析的球杆并没有因此而受到影响。由于本本发明方法主要针对运动较快的目标定位的前景提取，因此在前景提取中要尽可能要消除人体部分，所以选择加大内核以更好地去除背景，以期更加精准地保留目标。结果处理后的图像中的噪声几近完全消除，并且目标(球杆)更加突显，有利于后续的球杆定位处理。
由于背景差分法本身存在的一些缺陷，会使处理后的图像存在像素破碎的问题，造成本应是连续的前景在提取后出现不完整的情况，因此在具体实施例中优选地，对采用中值滤波处理后的图像进行形态学处理。
形态学主要是为了获取物体的拓扑和结构信息，通过物体和结构元素相互作用的某些运算，得到物体更本质的形态。当形态学运用到图像处理中，它的主要作用是利用形态学的基本运算，如腐蚀和膨胀运算，对图像进行观察和处理，从而达到改善图像质量的目地。
形态学处理中最为常见的两种形式便是腐蚀与膨胀。用一个结构元素，一般为3×3大小的，扫描图像中的每一个像素，用操作数矩阵扫描图像中的每一个像素。在用操作数矩阵中每一个像素与覆盖的像素做“与”操作，如果全部为1，则图像中的该像素为1，反之为0。而膨胀操作正好相反，全部为0时，则图像素中的该像素为0，反之为1。
腐蚀的作用是消除物体的边界点，使目标缩小。如公式18表示用结构B腐蚀A，需要注意的是B中需要定义一个原点，当B的原点平移到图像A的像元(x，y)时，如果B在(x，y)处，完全被包含在图像A重叠的区域，也就是B中为1的元素位置上对应的A图像值全部也要为1，则将输出图像对应的像元(x，y)赋值为1，否则赋值为0。所以腐蚀操作会消除那些小的且无意义的物体，使边界向内部收缩的过程。
相反，膨胀的作用当然是使目标增大，填充物体内细小的空洞，并且平滑物体的边界，边界向外部扩张的作用，计算公式如下：
Figure GDA0003719371070000121
Figure GDA0003719371070000122
优选地，针对于中值滤波后的图像对其进行形态学处理，采用闭运算来对图像进行最后一步的处理。闭运算是先膨胀后腐蚀的过程，可以填充物体内细小的空洞，并平滑物体边界。经测试，通过闭运算后的前景图像消除了缝隙与空洞，使得整体更加紧密，为后续球杆定位处理创造了优良的预处理环境。
经过对图像像素点的RGB分量进行三帧差法提取前景，并对前景图像进行二值化处理得到二值图像以及检测二值图像中的人体关键点，整个画面中基本上只保留了人体区域、球杆以及少许杂质。以人体18个关键点为中心，取半径为60像素圆形区域，对其中的像素值不为零值的像素进行归零处理。这样可以很好的去除人体区域，使图像中几乎只保留球杆的部分，减少了球杆定位的计算复杂度；另外通过优选地加入中值滤波和形态学处理后可以更加有效地减少球杆定位时的计算复杂度，同时也可以很好的将目标特征从原始图像中提取出来。
接下来标记二值图像的所有连通区域；后进行目标追踪定位即根据连通区域的像素分布特性来确定目标位置及目标定位点。
在本实施例中，作为追踪目标的球杆形状规则且为一个结合紧密的整体，在图像中可以看作是一个较为明显的连通区域。利用之前处理后的二值图像，在处理后的图像中寻找所有存在的连通区域。根据测试样本可以明显的看出，球杆区域较大且明显，转而言之，球杆所在的连通区域中的像素数较多。
因此，设计阈值筛选出连通区域面积(以像素数计算)最大的前两位作为球杆区域的候选。在已得到的面积大小前两位的连通区域中，再设置筛选条件进行判断，选择出正确的球杆区域，提取特征。需要注意的是，本发明的区域筛选条件是一步一步递进，每一层筛选都会输出一定的结果。随着层数递进，条件就越严苛，直至遍历所有情况。具体本发明方法目标追踪定位方法如下所示：
i.在人体区域消除后的图像中，可能图像整体干净无杂质，也有可能复杂多杂质。因此，本发明方法第一步先进行连通区域数量检测：低于两个连通区域的，若是只有唯一，则输出唯一连通区域的质心点。若是不存在连通区域，则以前后两帧特征点的中值作为特征输出；
ii.若是画面中存在超过两个连通区域存在，则选取像素数量前两位的连通区域作为球杆的备选区域。为了说法更加简明易懂，我们之后以面积大小代换像素数量多少，分别记作Maxarea与Secarea。我们再利用一个先验知识：在多次测试中，我们可以发现杂质所在的连通区域面积一般比较细小，而目标(本实施中目标为球杆)所在的连通区域一般面积大小是杂质数倍。因此，筛选的第二步需要先Maxarea/Secarea的值，结果超出预先设定的倍数以上时，直接以面积最大区域质心作为特征输出；在本实施例中，预先设定的倍数为三倍。
iii.引入第一个新的判决概念：运动区域检测。依据运动常识我们可以知道，球杆在运动过程中是一直与人体相连接的，而杂质(干扰项)一般是在人体之外(大部分是由背景消除不干净以及影子而产生的)不与人体相连。简而言之，以前景提取后的二值图像HightLight作为图像模板，用两个连通区域area1和area2的质心点(cbar，rbar)与手部关键点(chand，rhand)连线作为长轴，分别作出一个扁椭圆形区域，公式如下：
EllipseEqu＝A*x2+B*x*y+C*y2+f (3)，
A＝a2*(sinθ)2+b2*(cosθ)2 (4)，
B＝2*(a2-b2)*(sinθ)2*(cosθ)2 (5)，
C＝a2*(cosθ)2+b2*(sinθ)2 (6)，
f＝-a2*b2 (7)，
Figure GDA0003719371070000151
在本实施例中取a为150个像素，b为15像素。
再计算区域内像素数的多少，以此作为连通区域的运动区域，分别记为Sportarea1和Sportarea2；如若是球杆所在的连通区域，其运动区域Sportarea内的像素数大概率会比杂质区域要多得多。因此，本发明方法第三步排除出Sportarea为零的候选，以另外一个非零区域的质心作为特征输出；分别计算两个运动区域Sportarea1和Sportarea2的像素数，如若存在其中一个运动区域像素数为零，则将像素数为非零的运动区域所对应的连通区域作为目标区域，其质心点作为目标定位点进行；如若两个运动区域均存在数值，则继续进行筛选判定；
再以眉心关键点与双足关键点的中点建立人体椭圆区域，以来区分人体内外侧，建立人体椭圆区域的表达式见式3：
其中A的表达式见式4，B的表达式见式5，C的表达式见式6，f的表达式见式7，θ的表达式如下，见式9
θ＝atan(ceye-cfoot/reye-rfoot) (9)，
本实施例中a取300像素，b取60像素。
分别确定连通区域area1和area2的质心点位于人体椭圆区域的内外某侧，并进行以下判断：
若两个连通区域均位于人体椭圆区域外侧；先分别计算两个连通区域质心点与手部关键点的1范数，分别记作Dis1和Dis2；将数值较大的记作MaxDis，将数值较小的记作MinDis；
如果
Figure GDA0003719371070000161
则认为两个连通区域位于人体同一侧；此时使用运动区域Sportarea 1和Sportarea 2中像素的质心点与其所属连通区域的质心点来求解欧氏距离，以欧氏距离来表示该运动区域的像素疏密度，记作DenDis1和DenDis2：欧式距离越小则越紧密，反则欧式距离越大则认为越稀疏；选择DenDis1和DenDis2中较小的即像素紧密的连通区域作为目标位置，对应连通区域的质心点作为目标定位点；如果MaxDis/MinDis＞＝1.6，则选取MinDis所属的连通区域作为目标位置，对应连通区域的质心点作为目标定位点；
若连通区域Maxarea在人体椭圆区域的内侧，而Secarea位于人体椭圆区域外侧，此时将两个运动区域的图像模板分别换做人体去除后的二值图像BW，以此得到两个新的运动区域来作为辅助运动区域，分别记作Sport_areasupport1和Sport_areasupport2；针对每个连通区域计算运动区域与辅助运动区域的比值，即Sportarea/Sport_areasupport，记Maxarea的比值为PixelsDiffer1，Secarea的比值为PixelsDiffer2；点Coorfeature作为目标定位点，表达式如下；
Figure GDA0003719371070000162
若连通区域Maxarea在人体椭圆区域外，而Secarea位于人体椭圆区域内侧；点Coorfeature作为目标定位点，表达式如下；
Figure GDA0003719371070000163
Figure GDA0003719371070000171
式1和式2中，Th为筛选阈值；在本实施例中，Th的取值为5。
如若两个连通区域各个特征均不满足以上筛选条件，则直接以连通区域Maxarea作为目标区域，其质心点作为目标定位点。
运动特征修正：根据检测出连通区域中的像素点分布特性对目标使用降维本发明方法来求取区域的矢量方向并进行目标点位置修正，
在具体实施本发明方法的场景中可能会对球杆轨迹进行分析，因为本发明方法基于2D图像进行设计，所以球杆轨迹需要根据追踪球杆运动来进行计算。因此，需要将所有球杆定位点修正至球杆的杆头位置。
在球杆定位的方法中是通过选取最大连通区域来确定球杆在图像中的位置，因此可以利用检测出连通区域中的像素点分布特性来对球杆进行主成分分析处理，使其由二维降为一维(直线)来替代原有的区域，这样更有利于后续计算与分析。在本实施例中本步具体实现步骤如下，包括：
i.首先提取检测出的目标位置的所有像素坐标值，将图像坐标系中的坐标值映射到笛卡尔坐标中，表达式如下：
Figure GDA0003719371070000172
其中，rmax代表图像最大行值，Coorrfix和Coorcfix代表映射后的行列坐标值，Coorc和Coorr为目标区域原始像素的行列坐标值，Connectcoor代表处理后的像素行列坐标集合。再利用经典PCA方法进行降维处理，得到映射特征向量，记作Proj，其中Projr与Projc代表特征向量中的行列参数；
ii.利用PCA算法得到的特征向量Proj，计算斜率，表达式如下：
Figure GDA0003719371070000181
斜率Slope用特征向量中行列参数Projr与Projc进行计算。
并重新映射回原有坐标系；再根据斜率与原始定位点，拟合出目标真实位置，并进行延伸处理从而修正原始定位点，表达式如下：
clubr＝rbar+differlength*cosθ
clubc＝cbar+differlength*sinθ (16)，
其中，Coor代表原始坐标；(rbar，cbar)代表目标区域原始质心位置，(clubr，clubc)代表修正后的目标定位点，differlength为需要修正的长度，以第一帧中球杆长度为基准，进行补全计算。
最后，本修正算法是在四个象限中分别进行计算得到，但是在相邻象限之间(水平或是垂直)会出现边界跳变，从而产生判定错位问题。因此在修正定位点之前，先设置了一个阈值判定，以筛选出不适宜使用公式12的情况：对于Slope＞90或是Slope＜0.1以下的帧，采取保持某一坐标不变，只对另一坐标进行延长或缩短计算，这样可以大大减小了算法复杂度，而且也能保证了计算精度。具体实现如公式13所示：
if Slope＞90，
Figure GDA0003719371070000182
if Slope＜0.1，
Figure GDA0003719371070000191
本发明方法提供了一种基于像素特征的新型目标追踪算法，无论是在背景简单还是复杂场景中，都能快速准确的追踪定位到运动目标。在高尔夫、棒球、羽毛球这类运动场景中追踪如球杆等运动时间短、目标细长的目标时，本发明方法可以准确的捕捉运动目标，并快速的提取运动特征，极具实用性，具有很好地推广前景。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于像素特征的目标追踪定位方法，其特征是，包括以下步骤：
人体区域消除：对图像像素点的RGB分量进行三帧差法提取前景，并对前景图像进行二值化处理得到二值图像；
检测二值图像中的人体关键点，包括手部关键点、眉心关键点和双足中点；
标记二值图像的所有连通区域；
目标追踪定位：根据连通区域的像素分布特性来确定目标位置及目标定位点；
运动特征修正：根据检测出连通区域中的像素点分布特性对目标使用降维方法来求取区域的矢量方向并进行目标点位置修正；
根据连通区域的像素分布特性来确定目标位置及目标定位点具体包括：
若不存在连通区域，则将前后两帧特征点的中值作为目标定位点；
若只有一个连通区域，则将该唯一连通区域作为目标位置，并将该连通区域的质心点作为目标定位点；
若存在超过两个连通区域则进行以下操作：
以像素数作为连通区域面积，选择面积最大的前两个连通区域作为候选的目标区域分别记为area1和area2，对应面积分别记作Maxarea与Secarea；求取Maxarea与Secarea的比值，若比值超出预定倍数以上，则直接以面积最大的连通区域作为目标位置，并将该连通区域的质心点作为目标定位点；
否则，以原始未去除人体的二值图像Hightlight作为模板，分别用连通区域area1和area2的质心点与手部关键点连线作为长轴做出扁椭圆形区域来计算运动区域，分别记为Sportarea1和Sportarea2；分别计算两个运动区域的像素数，如若存在其中一个运动区域像素数为零，则将像素数为非零的运动区域所对应的连通区域作为目标区域，其质心点作为目标定位点进行输出；如若两个运动区域均存在数值，则继续进行筛选判定；再以眉心关键点与双足关键点的中点建立人体椭圆区域，来区分人体内外侧；
分别确定连通区域area1和area2的质心点位于人体椭圆区域的内外某侧，并进行以下判断：
若两个连通区域均位于人体椭圆区域外侧；先分别计算两个连通区域质心点与手部关键点的1范数，分别记作Dis1和Dis2；将数值较大的记作MaxDis，将数值较小的记作MinDis；
如果MaxDis/MinDis＜1.6，则认为两个连通区域位于人体同一侧；此时使用运动区域Sportarea1和Sportarea2中像素的质心点与其所属连通区域的质心点来求解欧氏距离，以欧氏距离来表示该运动区域的像素疏密度，记作DenDis1和DenDis2；选择DenDis1和DenDis2中较小的连通区域作为目标位置，对应连通区域的质心点作为目标定位点；如果MaxDis/MinDis＞＝1.6，则选取MinDis所属的连通区域作为目标位置，对应连通区域的质心点作为目标定位点；
若连通区域Maxarea在人体椭圆区域的内侧，而Secarea位于人体椭圆区域外侧，此时将两个运动区域的图像模板分别换做人体去除后的二值图像BW，以此得到两个新的运动区域来作为辅助运动区域，记作Sport_areasupport1和Sport_areasupport2；针对每个连通区域计算运动区域与辅助运动区域的比值，即Sportarea/Sport_areasupport，记Maxarea的比值为PixelsDiffer1，Secarea的比值为PixelsDiffer2；点Coorfeature作为目标定位点，表达式如下；
Figure FDA0003719371060000031
若连通区域Maxarea在人体椭圆区域外，而Secarea位于人体椭圆区域内侧；点Coorfeature作为目标定位点，表达式如下；
Figure FDA0003719371060000032
式1和式2中，Th为筛选阈值；
如若两个连通区域各个特征均不满足以上筛选条件，则直接以连通区域Maxarea作为目标区域，其质心点作为目标定位点；
分别计算两个运动区域的像素数，如若存在其中一个运动区域像素数为零，则将像素数为非零的所对应的连通区域作为目标区域，其质心点作为目标定位点进行输出；如若两个运动区域均存在数值，则继续进行筛选判定；再以眉心关键点与双足关键点的中点建立人体椭圆区域，来区分人体内外侧。
2.根据权利要求1所述的目标追踪定位方法，其特征是，用连通区域的质心点与手部关键点连线作为长轴做出扁椭圆形区域，表达式如下：
EllipseEqu＝A*x2+B*x*y+C*y2+f (3)，
A＝a2*(sinθ)2+b2*(cosθ)2 (4)，
B＝2*(a2-b2)*(sinθ)2*(cosθ)2 (5)，
C＝a2*(cosθ)2+b2*(sinθ)2 (6)，
f＝-a2*b2 (7)，
θ＝atan(cbar-chand)/(rabr-rhand) (8)，
其中，cbar和rbar为连通区域质心像素行列坐标值，chand和rhand为手部关键点像素行列坐标值，a和b为椭圆长短轴的像素数。
3.根据权利要求2所述的目标追踪定位方法，其特征是，取a为150个像素，b为15像素。
4.根据权利要求1所述的目标追踪定位方法，其特征是，以眉心关键点与双足中点建立人体椭圆区域，表达式如下：
EllipseEqu＝A*x2+B*x*y+C*y2+f (3)，
A＝a2*(sinθ)2+b2*(cosθ)2 (4)，
B＝2*(a2-b2)*(sinθ)2*(cosθ)2 (5)，
C＝a2*(cosθ)2+b2*(sinθ)2 (6)，
f＝-a2*b2 (7)，
θ＝atan(ceye-cfoot/reye-rfoot) (9)，
其中，reye和ceye为眉心关键点中点行列坐标值，rfoot和cfoot为双足中点行列坐标值。
5.根据权利要求4所述的目标追踪定位方法，其特征是，a取300像素，b取60像素。
6.根据权利要求1所述的目标追踪定位方法，其特征是，对图像像素点的RGB分量进行三帧差法提取前景包括以下步骤：
记视频序列中第n+1帧、第n帧和第n-1帧的图像分别为fk+1、fk和fk-1，三帧对应像素点的灰度值记为fk+1(x，y)、fk(x，y)和fk-1(x，y)，按照式1分别得到差分图像Dk+1和Dk，再对差分图像Dk+1和Dk按照式2进行与操作，得到图像D′k；
Dk(x，y)＝|fk(x，y)-fk-1(x，y)| (10)，
D′k(x，y)＝|fk+1(x，y)-fk(x，y)|∩|fk(x，y)-fk-1(x，y)| (11)，
再对上述步骤中得到的差分结果D′k进行二值化处理，得到初步的运动区域提取结果R′k，表达式如下：
Figure FDA0003719371060000051
取值为255和0的像素分别对应于前景和背景。
7.根据权利要求6所述的目标追踪定位方法，其特征是，针对三帧差分法处理后的图像采用中值滤波法处理椒盐噪声，中值滤波的输出表达式如下：
Yo(i，j)＝med{C}
＝med{Yi(x，y)|x∈[i-1，i+1]，y∈[j-1，j+1]} (13)，
其中在像素Yi(i，j)处窗口区域点值的集合为C。
8.根据权利要求1所述的目标追踪定位方法，其特征是，根据检测出连通区域中的像素点分布特性对目标使用降维本发明方法来求取区域的矢量方向并进行目标点位置修正，包括：
i.首先提取检测出的目标位置的所有像素坐标值，将图像坐标系中的坐标值映射到笛卡尔坐标中，表达式如下：
Figure FDA0003719371060000061
其中，rmax代表图像最大行值，Coorrfix和Coorcfix代表映射后的行列坐标值，Coorc和Coorr为目标区域原始像素的行列坐标值，Connectcoor代表处理后的像素行列坐标集合；再利用经典PCA方法进行降维处理，得到映射特征向量，记作Proj，其中Projr与Projc代表特征向量中的行列参数；
ii.利用计算得到的特征向量Proj，计算斜率，表达式如下：
Figure FDA0003719371060000062
斜率Slope用特征向量中行列参数Projr与Projc进行计算；
重新映射回原有坐标系；再根据斜率与原始定位点，拟合出目标真实位置，并进行延伸处理从而修正原始定位点，表达式如下：
clubr＝rbar+differlength*cosθ
clubc＝cbar+differlength*sinθ (17)，
其中，Coor代表原始坐标，(rbar，cbar)代表目标区域原始质心位置，(clubr，clubc)代表修正后的目标定位点，differlength为需要修正的长度。
9.根据权利要求8所述的目标追踪定位方法，其特征是，在修正定位点之前，设置了一个阈值判定，以筛选出不适宜使用公式16的情况：对于Slope＞90或是Slope＜0.1以下的帧，采取保持某一坐标不变，只对另一坐标进行延长或缩短计算，表达式如下：
if Slope＞90，
Figure FDA0003719371060000071
if Slope＜0.1，
Figure FDA0003719371060000072
CN201811074019.5A 2018-09-14 2018-09-14 一种基于像素特征的新型目标追踪定位方法 Active CN109300165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811074019.5A CN109300165B (zh) 2018-09-14 2018-09-14 一种基于像素特征的新型目标追踪定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811074019.5A CN109300165B (zh) 2018-09-14 2018-09-14 一种基于像素特征的新型目标追踪定位方法

Publications (2)

Publication Number Publication Date
CN109300165A CN109300165A (zh) 2019-02-01
CN109300165B true CN109300165B (zh) 2022-08-30

Family

ID=65163096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811074019.5A Active CN109300165B (zh) 2018-09-14 2018-09-14 一种基于像素特征的新型目标追踪定位方法

Country Status (1)

Country Link
CN (1) CN109300165B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934161B (zh) * 2019-03-12 2023-04-28 天津瑟威兰斯科技有限公司 基于卷积神经网络的车辆识别与检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198033A (zh) * 2007-12-21 2008-06-11 北京中星微电子有限公司 一种二值图像中前景图像的定位方法及装置
CN104616290A (zh) * 2015-01-14 2015-05-13 合肥工业大学 一种统计矩阵模型和自适应阈值相结合的目标检测算法
CN105913441A (zh) * 2016-04-27 2016-08-31 四川大学 一种用于改善视频中目标检测性能的阴影去除方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198033A (zh) * 2007-12-21 2008-06-11 北京中星微电子有限公司 一种二值图像中前景图像的定位方法及装置
CN104616290A (zh) * 2015-01-14 2015-05-13 合肥工业大学 一种统计矩阵模型和自适应阈值相结合的目标检测算法
CN105913441A (zh) * 2016-04-27 2016-08-31 四川大学 一种用于改善视频中目标检测性能的阴影去除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
监控视频中基于运动目标显著性的关键帧提取方法;胡圆圆等;《南京邮电大学学报》;20160229;第36卷(第1期);第34-41页 *

Also Published As

Publication number Publication date
CN109300165A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN107886086B (zh) 一种基于图像视频的目标动物检测方法及装置
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
WO2022007431A1 (zh) 一种Micro QR二维码的定位方法
KR101303877B1 (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
CN106846359A (zh) 基于视频序列的运动目标快速检测方法
Archana et al. Object detection and tracking based on trajectory in broadcast tennis video
CN104834893A (zh) 一种正面视角的行人步态周期检测方法
CN107067416A (zh) 一种运动目标的检测方法
CN111462027B (zh) 基于多尺度梯度和抠图的多聚焦图像融合方法
TWI749364B (zh) 移動偵測方法及移動偵測系統
CN109544694A (zh) 一种基于深度学习的增强现实系统虚实混合建模方法
CN109961016B (zh) 面向智能家居场景的多手势精准分割方法
CN110909631A (zh) 一种手指静脉图像roi提取和增强方法
CN110751635A (zh) 一种基于帧间差分和hsv颜色空间的口腔检测方法
CN113362280B (zh) 一种基于医学造影的动态目标跟踪方法
CN109300165B (zh) 一种基于像素特征的新型目标追踪定位方法
CN114494306B (zh) 边缘梯度协方差引导的甲骨卜辞文字轮廓修复方法
Wei et al. DA-DRN: A degradation-aware deep Retinex network for low-light image enhancement
CN111145216B (zh) 一种视频图像目标的跟踪方法
JP2000134638A (ja) 画像処理装置
CN113763432A (zh) 基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法
Jiang et al. Player detection and tracking in broadcast tennis video
CN112967288A (zh) 一种多媒体数据处理方法、通信设备及可读存储介质
CN110502968B (zh) 基于轨迹点时空一致性的红外弱小运动目标的检测方法
CN103051893A (zh) 基于五边形搜索及五帧背景对齐的动背景视频对象提取

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant