CN103455817A - 一种鲁棒的时空域的人体特征提取方法 - Google Patents

一种鲁棒的时空域的人体特征提取方法 Download PDF

Info

Publication number
CN103455817A
CN103455817A CN2013101591199A CN201310159119A CN103455817A CN 103455817 A CN103455817 A CN 103455817A CN 2013101591199 A CN2013101591199 A CN 2013101591199A CN 201310159119 A CN201310159119 A CN 201310159119A CN 103455817 A CN103455817 A CN 103455817A
Authority
CN
China
Prior art keywords
space
gradient
time
human body
calculate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101591199A
Other languages
English (en)
Inventor
刘亚洲
张艳
孙权森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN2013101591199A priority Critical patent/CN103455817A/zh
Publication of CN103455817A publication Critical patent/CN103455817A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种鲁棒的时空域的人体特征提取方法。输入一组包含人体数据的视频，从中选择一个时空体；计算时空体每帧图像的梯度，得到梯度时空体；根据方向量化步长
Figure 836455DEST_PATH_IMAGE002
和
Figure 827545DEST_PATH_IMAGE004
，对梯度时空体进行方向划分，获得方向不同的通道；根据空间量化步长
Figure DEST_PATH_IMAGE006
，对每个通道进行空间划分；对于每个通道，计算其特征描述子；将所有通道的特征描述子串接起来，形成一组特征描述子。按照不同的步长调节参数
Figure 854276DEST_PATH_IMAGE002
、
Figure 334936DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE008
，重复上述步骤，直到生成预设组数的具有不同描述能力的特征描述子。本发明显著提高了人体检测的鲁棒性，在一定程度上解决了低信噪比的问题。

Description

一种鲁棒的时空域的人体特征提取方法
技术领域
本发明涉及计算机视觉和模式识别领域，更具体地说，涉及一种时空域的综合利用外观信息和运动信息的多层次描述的人体特征提取方法。
背景技术
人体检测是指在输人图像或者视频序列中确定所有人体的位置及大小的过程。计算机可以进一步实现对于人的行为进行响应，最终实现人机交互或者计算机自动处理识别的目的。有效的特征提取方法可以显著提升人体检测器的鲁棒性以及减少虚警。
根据特征类型的不同，可以分为基于灰度的特征和基于梯度的特征以及基于多特征融合的方法。对于人体外观存在的差异，很多研究结果表明，基于梯度的人体表达方式较基于灰度的表达方式对于光照等变化具有更好的鲁棒性。而相对近期的很多研究结果表明，基于梯度统计信息的方法对于边缘的平移和旋转具有更好的鲁棒性，因此基于梯度统计的方法在人体检测方面取得了很好的效果。例如：Lowe提出了著名的尺度不变描述子（Scale-Invariant Feature Transform，SIFT）进行物体检测；Wu等阐述了基于统计抽象程度的多层次表达方式的思想。
人体检测中的难点问题主要是人体数据本身具有较大的类内散度。这种大的类内散度，主要来自于两个方面的影响：弱配准和低信噪比。低信噪比是指人体数据中噪声所占比例较大而能够被用于对人体进行判别的信息相对较少。弱配准是指因人体形态上的差异而很难将人体的各个部分进行比较好的对齐。另外，对于检测运动的人体，如果单一地通过动态特征或者静态特征进行表达，容易造成鲁棒性不足或者速度过慢的问题。
发明内容
本发明的目的在于，针对视频序列中的人体检测及行为识别中，人体数据的类内散度比较大的问题，尝试从时空联合特征的角度来研究人体及其运动模式,提出了一种时空域的综合利用外观信息和运动信息的多层次描述的人体特征提取方法。
实现本发明目的的技术解决方案为：一种鲁棒的时空域的人体特征提取方法，该方法包括以下步骤：
1）输入一组包含人体数据的视频，从中选择一个时空体；
2）计算时空体每帧图像的梯度，得到梯度时空体；
3）根据方向量化步长                                               
Figure 2013101591199100002DEST_PATH_IMAGE002
和
Figure 2013101591199100002DEST_PATH_IMAGE004
，对梯度时空体进行方向划分，获得方向不同的通道；
4）根据空间量化步长
Figure 2013101591199100002DEST_PATH_IMAGE006
，对每个通道进行空间划分；
5）对于每个通道，计算其特征描述子；
6）将所有通道的特征描述子串接起来，形成一组特征描述子。
7）按照不同的步长调节参数
Figure 727804DEST_PATH_IMAGE002
、
Figure 267238DEST_PATH_IMAGE004
和
Figure 2013101591199100002DEST_PATH_IMAGE008
，重复步骤3）~ 步骤6），直到生成预设组数的具有不同描述能力的特征描述子。
上述方法中，所述步骤1）中的时空体是指从视频中选择相邻的若干帧作为一组，并在该组每帧图像的相同位置选择相同尺度的矩形区域图像，由所有矩形区域图像组成的图像序列。
上述方法中，所述步骤1）中时空体的单帧图像坐标由
Figure 2013101591199100002DEST_PATH_IMAGE010
轴
Figure 2013101591199100002DEST_PATH_IMAGE012
轴表示，帧序列由
Figure 2013101591199100002DEST_PATH_IMAGE014
轴表示，时空体上的任意一点可由（
Figure 2013101591199100002DEST_PATH_IMAGE016
）表示。
上述方法中，所述步骤3）包括以下具体步骤：
31）计算梯度时空体每帧图像的边缘组成的曲面的切平面的空间方向
Figure 2013101591199100002DEST_PATH_IMAGE018
-
Figure 2013101591199100002DEST_PATH_IMAGE020
，其中，表示切平面的法线与
Figure 2013101591199100002DEST_PATH_IMAGE022
轴之间的夹角，
Figure 899918DEST_PATH_IMAGE020
表示切平面的法线在
Figure 258219DEST_PATH_IMAGE010
轴
Figure 730788DEST_PATH_IMAGE012
轴所在平面上的投影与
Figure 2013101591199100002DEST_PATH_IMAGE024
轴之间的夹角；
32）采用方向量化步长
Figure 31188DEST_PATH_IMAGE002
和
Figure 956419DEST_PATH_IMAGE004
作为量化步长分别对切平面的方向参数
Figure 118410DEST_PATH_IMAGE018
和
Figure 179907DEST_PATH_IMAGE020
进行量化，将梯度时空体划分成个不同方向的通道，即：，其中，
Figure 2013101591199100002DEST_PATH_IMAGE032
是
Figure 778772DEST_PATH_IMAGE018
和
Figure 128982DEST_PATH_IMAGE020
量化后的角度， 
Figure 2013101591199100002DEST_PATH_IMAGE034
， 
Figure 2013101591199100002DEST_PATH_IMAGE036
是
Figure 343931DEST_PATH_IMAGE018
和
Figure 463197DEST_PATH_IMAGE020
量化后索引的数目，
Figure 2013101591199100002DEST_PATH_IMAGE038
，
Figure 2013101591199100002DEST_PATH_IMAGE040
称为每个通道的角度； 
33）对于每个通道
Figure 839821DEST_PATH_IMAGE042
，只保留量化后梯度角度为
Figure 2013101591199100002DEST_PATH_IMAGE044
的像素点，其他像素点的梯度置为0；
上述方法中，所述步骤32）中
Figure 677327DEST_PATH_IMAGE002
和与梯度特征的旋转鲁棒性成正比，与方向确定性成反比。
上述方法中，所述步骤4）中对于每个通道
Figure 732056DEST_PATH_IMAGE042
，利用切平面方向为
Figure 30314DEST_PATH_IMAGE044
的一组间距为
Figure 417433DEST_PATH_IMAGE006
的平行平面将其进行空间划分，即：
Figure 2013101591199100002DEST_PATH_IMAGE046
 ，其中，o表示空间划分的数目；
上述方法中，所述步骤4）中
Figure 988833DEST_PATH_IMAGE006
与梯度特征的平移鲁棒性成正比，与位置确定性成反比。
上述方法中，所述步骤5）包括以下具体步骤：
51）在每个通道中生成一个立方体特征区域；
52）在特征区域内计算每个划分的梯度强度；
53）选择具有最大梯度强度的划分，计算和归一化其特征描述子；
上述方法中，所述步骤51）中的特征区域可以是随机生成的，也可以是按照一定步长有规则地生成的；
上述方法中，所述步骤52）中划分的梯度强度是指划分内的所有像素的梯度强度的和；
上述方法中，所述步骤53）中对于每个通道
Figure 879429DEST_PATH_IMAGE042
，具有最大梯度强度的划分的特征描述子为一个9维的异质向量，将其表示为
Figure 2013101591199100002DEST_PATH_IMAGE048
，其中的各个分量的物理意义和计算方式如下：
（a） 
Figure 2013101591199100002DEST_PATH_IMAGE050
是具有最大梯度强度
Figure 2013101591199100002DEST_PATH_IMAGE052
的划分的索引值，可以将这个索引值归一化为
Figure 2013101591199100002DEST_PATH_IMAGE054
，其中，
Figure 2013101591199100002DEST_PATH_IMAGE056
表示任意划分的梯度强度，o表示空间划分的数目；
（b） 
Figure 2013101591199100002DEST_PATH_IMAGE058
是每个划分的梯度强度中的最大值, 将其归一化为
Figure 2013101591199100002DEST_PATH_IMAGE060
；
（c）是所有划分的梯度强度的标准差，可以用如下方式计算：
Figure 2013101591199100002DEST_PATH_IMAGE064
其中；
（d） 
Figure 2013101591199100002DEST_PATH_IMAGE068
是具有最大梯度强度的划分
Figure 50385DEST_PATH_IMAGE052
内所有非零像素点位置的均值，可以通过如下公式来计算：
Figure 2013101591199100002DEST_PATH_IMAGE070
                     
其中：
Figure 2013101591199100002DEST_PATH_IMAGE072
         — 非零像素点的数目；
Figure 2013101591199100002DEST_PATH_IMAGE074
  — 特征区域的中心；
Figure 2013101591199100002DEST_PATH_IMAGE076
     — 特征区域的尺寸，即宽、高和长；
（e）和
Figure 2013101591199100002DEST_PATH_IMAGE080
是
Figure 724467DEST_PATH_IMAGE052
内所有非零像素点位置分布沿着法向方向和切平面方向的标准差，可以利用如下公式计算：
Figure 2013101591199100002DEST_PATH_IMAGE082
             
其中：
Figure 2013101591199100002DEST_PATH_IMAGE084
 — 位置均值经过坐标系旋转后的新坐标系下的坐标；
Figure 2013101591199100002DEST_PATH_IMAGE086
 — 点
Figure 2013101591199100002DEST_PATH_IMAGE088
经过坐标系旋转后的新坐标系下的坐标；
位置均值点及其他非零像素点在经过坐标系旋转后的新坐标可以用以下公式计算：
Figure 2013101591199100002DEST_PATH_IMAGE090
                   
其中A为当前通道的坐标系旋转矩阵，假设当前通道的角度为
Figure 22593DEST_PATH_IMAGE044
，则旋转矩阵可以表示为：
Figure 2013101591199100002DEST_PATH_IMAGE092
Figure 2013101591199100002DEST_PATH_IMAGE094
Figure 2013101591199100002DEST_PATH_IMAGE096
 。
上述方法中，所述步骤6）中特征描述子的形式为
Figure DEST_PATH_IMAGE098
 。
本发明与现有技术相比，其显著优点：本发明通过在方向划分和空间划分时采用不同的量化步长来实现对人体数据的不同层次的抽象，可以得到从确定性描述到统计性描述的一系列具有不同描述特性的人体表示。该描述子这种可变的描述能力，有效地解决了弱配准问题，并使其在描述复杂的物体运动时具有一定的优势。另外，时空域的分析方法综合利用了静态外观特征和动态运动特征，与单一地通过动态特征或者静态特征进行表达相比，具有更丰富的判别信息，显著提高了人体检测的鲁棒性，在一定程度上解决了低信噪比的问题。
附图说明
图1基于时空域的多层次描述的特征提取流程图。
图2是人体的时空体表示及梯度时空体示意图。
图3时空体的方向划分示意图。
图4时空体的空间划分示意图。
具体实施方式
本发明的整体操作流程如图1 所示。下面结合附图对本发明的具体实施方式作进一步详细的说明。
步骤1：输入一组包含人体数据视频，从中选择时空体。
首先，从视频中选择一组相邻的帧，帧序列数通常取5到10帧。如果帧序列数太少，则在人体运动较慢时，运动信息体现得不明显，反之，则计算量较大，后续处理速度较慢。
然后，在每帧图像的相同位置选择相同大小的矩形区域图像，所有矩形区域图像组成的图像序列即为时空体，如图21所示。时空体的单帧图像坐标由
Figure 282542DEST_PATH_IMAGE010
轴
Figure 250498DEST_PATH_IMAGE012
轴表示，帧序列由轴表示，时空体上的任意一点可由（
Figure 248115DEST_PATH_IMAGE016
）表示。
步骤2：计算时空体21的每帧图像的梯度，得到梯度时空体22。
对于时空体21上的任意一点
Figure DEST_PATH_IMAGE100
，分别计算其沿
Figure 50986DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE102
和
Figure 376794DEST_PATH_IMAGE022
坐标轴方向的方向偏导数为
Figure DEST_PATH_IMAGE104
。而通过该点的平面的法线方向可以计算为：
Figure DEST_PATH_IMAGE106
                         （1）
其中
Figure DEST_PATH_IMAGE108
为梯度的强度。
在球面极坐标系的表示中，可以将平面的法线的方向表示为：
Figure DEST_PATH_IMAGE110
                     （2）
其中，
Figure 209489DEST_PATH_IMAGE018
表示法线与轴之间的夹角，而
Figure 382162DEST_PATH_IMAGE020
表示法线在
Figure 691920DEST_PATH_IMAGE010
轴
Figure 952525DEST_PATH_IMAGE012
轴所在平面上的投影与
Figure 5932DEST_PATH_IMAGE024
轴之间的夹角。
由(2)可得：
Figure DEST_PATH_IMAGE112
              （3）
至此，可以将梯度时空体22中任何一个点表示成一个七元组
Figure DEST_PATH_IMAGE114
。
步骤3：根据方向量化步长
Figure 783395DEST_PATH_IMAGE002
和
Figure 451005DEST_PATH_IMAGE004
，对梯度时空体进行方向划分，获得方向不同的通道。
以
Figure 743446DEST_PATH_IMAGE002
和
Figure 538227DEST_PATH_IMAGE004
为量化步长分别对方向参数
Figure 419464DEST_PATH_IMAGE018
和
Figure 71025DEST_PATH_IMAGE020
进行量化。根据量化结果，可以将时空体划分成
Figure 54025DEST_PATH_IMAGE028
个通道，即:
Figure DEST_PATH_IMAGE116
（4）
其中：
Figure DEST_PATH_IMAGE118
     — 方向参数
Figure DEST_PATH_IMAGE120
和
Figure DEST_PATH_IMAGE122
量化后索引的数目，
Figure 573868DEST_PATH_IMAGE038
；
Figure DEST_PATH_IMAGE124
    — 方向参数量化后的角度，
Figure 300823DEST_PATH_IMAGE034
；
Figure 388864DEST_PATH_IMAGE040
  — 称为每个通道的方向角度；
以下用表示梯度时空体的一个通道
Figure DEST_PATH_IMAGE126
。因此方向划分后的所有通道可以表示为：
(5)
在每个通道
Figure 979432DEST_PATH_IMAGE042
中，只保留那些方向参数量化后为
Figure 320414DEST_PATH_IMAGE040
的像素，而其他的像素点置零。
这里方向量化步长
Figure 579357DEST_PATH_IMAGE002
和
Figure 333687DEST_PATH_IMAGE004
都取，方向划分的结果如图3所示。
根据方向划分方法可知，参数
Figure 257649DEST_PATH_IMAGE002
和控制梯度特征的方向确定性：当
Figure 148562DEST_PATH_IMAGE002
和取值较大时，保留的特征的方向确定性较小，旋转鲁棒性较大；反之，则保留的特征的方向确定性较大，旋转鲁棒性较小。
步骤4：根据空间量化步长，对每个通道进行空间划分。
对于通道
Figure 433416DEST_PATH_IMAGE042
，利用法线方向为
Figure 768582DEST_PATH_IMAGE040
的一组间距为的平面将梯度时空体分成多个划分。
通过空间划分，可以进一步把每个通道表示为多个空间划分：
Figure 766198DEST_PATH_IMAGE046
(6)
其中o表示空间划分的数目。
这里以通道角度
Figure 264176DEST_PATH_IMAGE044
为
Figure DEST_PATH_IMAGE132
角度为例，空间划分结果如图4所示。
根据空间划分方法可知，参数
Figure 707927DEST_PATH_IMAGE008
控制梯度特征的位置确定性：当
Figure 111095DEST_PATH_IMAGE008
取值较大时，保留的梯度特征的位置确定性较小，平移鲁棒性较大；反之，则保留的梯度特征的位置确定性较大，平移鲁棒性较小。
步骤5：对于每个通道，计算其特征描述子；
步骤51：对于每个通道
Figure 993600DEST_PATH_IMAGE042
，生成一个立方体特征区域。
特征区域可以是随机生成的，也可以是按照一定步长有规则地生成的。设时空体的尺寸为
Figure DEST_PATH_IMAGE134
，其中
Figure DEST_PATH_IMAGE136
、
Figure DEST_PATH_IMAGE138
和分别为宽、高和长，在时空体中生成的特征区域为
Figure DEST_PATH_IMAGE142
，其中
Figure 408401DEST_PATH_IMAGE100
表示特征区域左上角的点，
Figure 537900DEST_PATH_IMAGE076
表示特征区域的尺寸。
步骤52：在特征区域
Figure 975835DEST_PATH_IMAGE142
内，计算每个划分的梯度强度，空间划分的梯度强度可以表示为：
 
Figure DEST_PATH_IMAGE144
             (7)
其中方程
Figure DEST_PATH_IMAGE146
用于计算划分内的所有像素的梯度强度的和。
步骤53：选择具有最大梯度强度的划分, 计算并归一化该划分的特征描述子。
对于每个通道
Figure 334135DEST_PATH_IMAGE042
，该特征描述子是一个9维的异质的向量，将其表示为
Figure 996585DEST_PATH_IMAGE048
，向量的各个分量的物理意义和计算方式如下：
（a） 
Figure 844455DEST_PATH_IMAGE050
是具有最大梯度强度
Figure 707369DEST_PATH_IMAGE052
的划分的索引值，可以将这个索引值归一化为
Figure 931677DEST_PATH_IMAGE054
，
Figure DEST_PATH_IMAGE148
的计算如式（7）所示，这里省去了方向标识，o表示空间划分的数目；
（b） 
Figure 667738DEST_PATH_IMAGE058
是每个划分的梯度强度中的最大值, 将其归一化为
Figure 80264DEST_PATH_IMAGE060
；
（c）
Figure 29635DEST_PATH_IMAGE062
是所有划分的梯度强度的标准差，可以用如下方式计算，
Figure 211217DEST_PATH_IMAGE064
其中
Figure 604153DEST_PATH_IMAGE066
；
（d） 
Figure 503975DEST_PATH_IMAGE068
是具有最大梯度强度的划分
Figure 70086DEST_PATH_IMAGE052
内所有非零像素点位置的均值，可以通过如下公式来计算：
Figure 293126DEST_PATH_IMAGE070
                     （8）
其中：
Figure 919279DEST_PATH_IMAGE072
         — 表示非零像素点的数目；
  — 表示特征区域的中心；
     — 表示特征区域的尺寸；
（e）和
Figure 491413DEST_PATH_IMAGE080
是
Figure 37932DEST_PATH_IMAGE052
内所有非零像素点位置分布沿着法向方向和切平面方向的标准差，可以利用如下公式计算：
Figure 211425DEST_PATH_IMAGE082
             （9）
其中：
Figure 409057DEST_PATH_IMAGE084
— 为位置均值经过坐标系旋转后的新坐标系下的坐标；
Figure 377013DEST_PATH_IMAGE086
— 为点
Figure 473145DEST_PATH_IMAGE088
经过坐标系旋转后的新坐标系下的坐标；
位置均值点及其他非零像素点在经过坐标系旋转后的新坐标可以用以下公式计算：
Figure 856853DEST_PATH_IMAGE090
                   （10）
其中A为当前通道的坐标系旋转矩阵，假设当前通道的主方向角为
Figure 987620DEST_PATH_IMAGE044
，则旋转矩阵可以表示为：
Figure DEST_PATH_IMAGE092A
Figure DEST_PATH_IMAGE094A
       （11）
步骤6：将所有方向的通道的特征描述子串接起来，得到一组特征描述子即：
Figure 21490DEST_PATH_IMAGE098
   （12）
步骤7：按照不同的步长分别改变方向量化步长
Figure 208889DEST_PATH_IMAGE002
、
Figure 194162DEST_PATH_IMAGE004
和空间量化步长
Figure 300658DEST_PATH_IMAGE008
，重复步骤3~ 步骤6，直到生成预设组数的具有不同描述能力的特征描述子。

Claims (11)

1.一种鲁棒的时空域的人体特征提取方法，其特征在于步骤如下：
1）输入一组包含人体数据的视频，从中选择一个时空体；
2）计算时空体每帧图像的梯度，得到梯度时空体；
3）根据方向量化步长                                               
Figure DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE004
，对梯度时空体进行方向划分，获得方向不同的通道；
4）根据空间量化步长
Figure DEST_PATH_IMAGE006
，对每个通道进行空间划分；
5）对于每个通道，计算其特征描述子；
6）将所有通道的特征描述子串接起来，形成一组特征描述子；
7）按照不同的步长调节参数
Figure 740269DEST_PATH_IMAGE002
、
Figure 331787DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE008
，重复步骤3）~ 步骤6），直到生成预设组数的具有不同描述能力的特征描述子。
2.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于：所述步骤1）中时空体是指从视频中选择相邻的若干帧作为一组，并在该组每帧图像的相同位置选择相同尺度的矩形区域图像，由所有矩形区域图像组成的立方体图像序列；时空体的单帧图像坐标由
Figure DEST_PATH_IMAGE010
轴
Figure DEST_PATH_IMAGE012
轴表示，帧序列数由时间轴表示。
3.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于所述步骤3）包括以下具体步骤：      
31）计算梯度时空体每帧图像的边缘组成的曲面的切平面的空间方向-
Figure DEST_PATH_IMAGE018
，其中，
Figure 337658DEST_PATH_IMAGE016
表示切平面的法线与
Figure 254799DEST_PATH_IMAGE014
轴之间的夹角，表示切平面的法线在
Figure DEST_PATH_IMAGE020
轴
Figure DEST_PATH_IMAGE022
轴所在平面上的投影与
Figure 557308DEST_PATH_IMAGE010
轴之间的夹角；
32）采用方向量化步长
Figure 433998DEST_PATH_IMAGE002
和作为量化步长分别对切平面的方向参数
Figure 851389DEST_PATH_IMAGE016
和
Figure 50290DEST_PATH_IMAGE018
进行量化，将梯度时空体
Figure DEST_PATH_IMAGE024
划分成
Figure DEST_PATH_IMAGE026
个不同方向的通道，即：
Figure DEST_PATH_IMAGE028
，其中，
Figure DEST_PATH_IMAGE030
是
Figure 906119DEST_PATH_IMAGE016
和
Figure 696221DEST_PATH_IMAGE018
量化后的角度， ， 
Figure DEST_PATH_IMAGE034
是
Figure 778446DEST_PATH_IMAGE016
和
Figure 515458DEST_PATH_IMAGE018
量化后索引的数目，
Figure DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE038
称为每个通道
Figure DEST_PATH_IMAGE040
的角度； 
33）对于每个通道
Figure 240442DEST_PATH_IMAGE040
，只保留量化后梯度角度为
Figure DEST_PATH_IMAGE042
的像素点，其他像素点的梯度置为0。
4.根据权利要求1或3所述的时空域的人体特征提取方法，其特征在于：所述步骤32）中
Figure 467024DEST_PATH_IMAGE002
和
Figure 708650DEST_PATH_IMAGE004
与梯度特征的旋转鲁棒性成正比，与方向确定性成反比。
5.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于：所述步骤4）中对于每个通道，利用切平面方向为
Figure 955140DEST_PATH_IMAGE042
的一组间距为的平行平面将其进行空间划分，即：
Figure DEST_PATH_IMAGE044
 ，其中，o表示空间划分的数目。
6.根据权利要求1或5所述的鲁棒的时空域的人体特征提取方法，其特征在于：所述步骤4）中
Figure 143862DEST_PATH_IMAGE006
与梯度特征的平移鲁棒性成正比，与位置确定性成反比。
7.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于所述步骤5）包括以下具体步骤：
51）在每个通道中生成一个立方体特征区域；
52）在特征区域内计算每个划分的梯度强度；
53）选择具有最大梯度强度的划分，计算和归一化其特征描述子。
8.根据权利要求1或7所述的鲁棒的时空域的人体特征提取方法，其特征在于：所述步骤51）中的特征区域可以是随机生成的，也可以是按照一定步长有规则地生成的。
9.根据权利要求1或7所述的鲁棒的时空域的人体特征提取方法，其特征在于：所述步骤52）中划分的梯度强度是指划分内的所有像素的梯度强度的和。
10.根据权利要求1或7所述的鲁棒的时空域的人体特征提取方法，其特征在于：所述步骤53）中对于每个通道
Figure 222677DEST_PATH_IMAGE040
，具有最大梯度强度的划分的特征描述子为一个9维的异质向量，将其表示为
Figure DEST_PATH_IMAGE046
，其中的各个分量的物理意义和计算方式如下：
（a） 
Figure DEST_PATH_IMAGE048
是具有最大梯度强度
Figure DEST_PATH_IMAGE050
的划分的索引值，可以将这个索引值归一化为
Figure DEST_PATH_IMAGE052
，其中，
Figure DEST_PATH_IMAGE054
表示任意划分的梯度强度，o表示空间划分的数目；
（b） 
Figure DEST_PATH_IMAGE056
是每个划分的梯度强度中的最大值, 将其归一化为；
（c）
Figure DEST_PATH_IMAGE060
是所有划分的梯度强度的标准差，用如下方式计算：
Figure DEST_PATH_IMAGE062
其中
Figure DEST_PATH_IMAGE064
；
（d） 
Figure DEST_PATH_IMAGE066
是具有最大梯度强度的划分
Figure 97485DEST_PATH_IMAGE050
内所有非零像素点位置的均值，通过如下公式来计算：
Figure DEST_PATH_IMAGE068
                     
其中：
Figure DEST_PATH_IMAGE070
         — 非零像素点的数目；
  — 特征区域的中心；
Figure DEST_PATH_IMAGE074
     — 特征区域的尺寸，即宽、高和长；
（e）
Figure DEST_PATH_IMAGE076
和
Figure DEST_PATH_IMAGE078
是内所有非零像素点位置分布沿着法向方向和切平面方向的标准差，利用如下公式计算：
             
其中：
Figure DEST_PATH_IMAGE082
 — 位置均值经过坐标系旋转后的新坐标系下的坐标；
Figure DEST_PATH_IMAGE084
 — 点
Figure DEST_PATH_IMAGE086
经过坐标系旋转后的新坐标系下的坐标；
位置均值点及其他非零像素点在经过坐标系旋转后的新坐标可以用以下公式计算：
Figure DEST_PATH_IMAGE088
                   
其中A为当前通道的坐标系旋转矩阵，假设当前通道的角度为
Figure 196601DEST_PATH_IMAGE042
，则旋转矩阵可以表示为：
Figure DEST_PATH_IMAGE090
Figure DEST_PATH_IMAGE092
Figure DEST_PATH_IMAGE094
 。
11.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于：所述步骤6）中特征描述子的形式为
Figure DEST_PATH_IMAGE096
 。
CN2013101591199A 2013-04-28 2013-04-28 一种鲁棒的时空域的人体特征提取方法 Pending CN103455817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101591199A CN103455817A (zh) 2013-04-28 2013-04-28 一种鲁棒的时空域的人体特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101591199A CN103455817A (zh) 2013-04-28 2013-04-28 一种鲁棒的时空域的人体特征提取方法

Publications (1)

Publication Number Publication Date
CN103455817A true CN103455817A (zh) 2013-12-18

Family

ID=49738159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101591199A Pending CN103455817A (zh) 2013-04-28 2013-04-28 一种鲁棒的时空域的人体特征提取方法

Country Status (1)

Country Link
CN (1) CN103455817A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886588A (zh) * 2014-02-26 2014-06-25 浙江大学 一种三维人体姿态投影的特征提取方法
CN106372636A (zh) * 2016-08-25 2017-02-01 上海交通大学 基于hop_top的视频显著性检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010031103A1 (en) * 1999-12-03 2001-10-18 Mun-Churl Kim Texture description method and texture-based image retrieval method using gabor filter in frequency domain
CN101957916B (zh) * 2010-02-11 2012-06-27 中国人民解放军国防科学技术大学 使用m进小波提取图像仿射不变特征的方法
CN102955944A (zh) * 2011-08-29 2013-03-06 北京邮电大学 一种用于人体检测的人体局部特征提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010031103A1 (en) * 1999-12-03 2001-10-18 Mun-Churl Kim Texture description method and texture-based image retrieval method using gabor filter in frequency domain
CN101957916B (zh) * 2010-02-11 2012-06-27 中国人民解放军国防科学技术大学 使用m进小波提取图像仿射不变特征的方法
CN102955944A (zh) * 2011-08-29 2013-03-06 北京邮电大学 一种用于人体检测的人体局部特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAZHOU LIU 等: "Granularity-tunable Gradients Partition (GGP) Descriptors for Human Detection", 《COMPUTER VISION AND PATTERN RECOGNITION,2009.CVPR 2009.IEEE CONFERENCE ON》 *
刘亚洲: "基于时空分析和多粒度特征表示的人体检测方法研究", 《中国博士学位论文全文数据库 信息科技辑（月刊）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886588A (zh) * 2014-02-26 2014-06-25 浙江大学 一种三维人体姿态投影的特征提取方法
CN103886588B (zh) * 2014-02-26 2016-08-17 浙江大学 一种三维人体姿态投影的特征提取方法
CN106372636A (zh) * 2016-08-25 2017-02-01 上海交通大学 基于hop_top的视频显著性检测方法

Similar Documents

Publication Publication Date Title
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
JP4613994B2 (ja) 動態推定装置、動態推定方法、プログラム
CN103020993A (zh) 一种双通道颜色对比度融合的视觉显著性检测方法
CN105205441A (zh) 用于从点云提取特征区域的方法和设备
CN104933738B (zh) 一种基于局部结构检测和对比度的视觉显著图生成方法
CN102509104B (zh) 基于置信度图的增强现实场景虚拟对象判别和检测方法
CN103337072A (zh) 一种基于纹理与几何属性联合模型的室内对象解析方法
US10582179B2 (en) Method and apparatus for processing binocular disparity image
WO2014036813A1 (zh) 图像特征的提取方法及装置
CN104598889B (zh) 人体行为识别的方法和装置
CN102695056A (zh) 一种提取压缩视频关键帧的方法
CN105989611A (zh) 带有阴影去除的分块感知哈希跟踪方法
CN104794737A (zh) 一种深度信息辅助粒子滤波跟踪方法
CN106650615A (zh) 一种图像处理方法及终端
Ardiyanto et al. Partial least squares-based human upper body orientation estimation with combined detection and tracking
Li et al. RGBD relocalisation using pairwise geometry and concise key point sets
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN105913451B (zh) 一种基于图模型的自然图像超像素分割方法
CN106530353B (zh) 针对双目视觉系统稀疏三维重建的三维运动点检测方法
CN103810707A (zh) 一种基于移动视觉焦点的图像视觉显著性检测方法
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
JP6391033B1 (ja) 画像処理装置、画像処理方法、ならびに、プログラム
CN103455817A (zh) 一种鲁棒的时空域的人体特征提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131218