CN107341476A - 一种基于系统计算原理的无监督人体模型构建方法 - Google Patents
一种基于系统计算原理的无监督人体模型构建方法 Download PDFInfo
- Publication number
- CN107341476A CN107341476A CN201710551476.8A CN201710551476A CN107341476A CN 107341476 A CN107341476 A CN 107341476A CN 201710551476 A CN201710551476 A CN 201710551476A CN 107341476 A CN107341476 A CN 107341476A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- meta
- limb
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000010276 construction Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 7
- 210000003414 extremity Anatomy 0.000 claims description 90
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000011143 downstream manufacturing Methods 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 210000000245 forearm Anatomy 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000012986 modification Methods 0.000 abstract description 4
- 230000004048 modification Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract 3
- 238000005755 formation reaction Methods 0.000 abstract 3
- 238000012300 Sequence Analysis Methods 0.000 abstract 1
- 230000004075 alteration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明中提出的一种基于系统计算原理的无监督人体模型构建方法，其主要内容包括：从视频输入获取肢体图像、检索运动骨架、生成肢体模板、定位人体上身图像结构、运用Meta模型公式和肢体预检测，其过程为，先从视频输入获取肢体图像，生成序列特定模型，进行前进提取和连贯动作分析，再进行运动骨架检索，从而生成肢体模型，接着定位人体上身图像结构，进行模型配置，然后运用Meta模型公式修改形状和颜色，最后肢体预检测。本发明有效改善了背景杂波、照明变化、遮挡等现实问题带来的影响，提高了识别人体姿势等的准确度，增加对照度变化的鲁棒性；同时允许自动优化生成模型，减少了大量人力。
Description
技术领域
本发明涉及人体模型构建领域，尤其是涉及了一种基于系统计算原理的无监督人体模型构建方法。
背景技术
人体模型构建一直以来都是计算机图形学研究的热点和难点。它被用来侦测和分析人类个体的形状和外观数据，其应用领域非常广泛，如人体三维数据收集、人像打印；服装设计、虚拟试衣、个性化量身定做；美体塑型行业体型分析、评价；影视行业真人三维建模；医学工程、生理解剖；工业模型扫描与设计；文物研究与修复等。还可以构建车辆驾驶人员的人体模型，当司机有打电话、发短信等危险行为时自动发出警报。因此，发展与构建人体模型相关的技术，将大大方便我们的生活。然而传统人体模型构建都会受到背景杂波、照明变化、遮挡等现实问题的影响，使其不能投入很好的应用。
本发明提出了一种基于系统计算原理的无监督人体模型构建方法，先从视频输入获取肢体图像，生成序列特定模型，进行前进提取和连贯动作分析，再进行运动骨架检索，从而生成肢体模型，接着定位人体上身图像结构，进行模型配置，然后运用Meta模型公式修改形状和颜色，最后肢体预检测。本发明有效改善了背景杂波、照明变化、遮挡等现实问题带来的影响，提高了识别人体姿势等的准确度，增加对照度变化的鲁棒性；同时允许自动优化生成模型，减少了大量人力。
发明内容
针对用户编辑图像不方便的问题，本发明的目的在于提供一种基于系统计算原理的无监督人体模型构建方法，先从视频输入获取肢体图像，生成序列特定模型，进行前进提取和连贯动作分析，再进行运动骨架检索，从而生成肢体模型，接着定位人体上身图像结构，进行模型配置，然后运用Meta模型公式修改形状和颜色，最后肢体预检测。
为解决上述问题，本发明提供一种基于系统计算原理的无监督人体模型构建方法，其主要内容包括：
(一)从视频输入获取肢体图像；
(二)检索运动骨架；
(三)生成肢体模板；
(四)定位人体上身图像结构；
(五)运用Meta模型公式；
(六)肢体预检测。
其中，所述的从视频输入获取肢体图像，从相干运动分析检索序列特定的肢体表示开始，令表示形态学操作的双差异图像(DDI)中的前景运动像素从给定的输入流中获得的数量；定义参考帧t*具有最大平均DDI；在DDI的前景估计在产生前景形状的粗略近似；使用图形切割分割构建相对稀疏的前景图和紧凑的密集背景图；基于最大流量技术，采用图形切割方案在其中执行精确的前景提取所得到的前景提案中剩下的异常值图通过形态学上的闭合消除；再通过所有帧t≠t*来跟踪被摄体上身的运动；通过将前向/后向跟踪应用于提取的前景实体上，各向同性地分配的NF特征；使用测试和重复方案自动调整特征间距离，实现所有输入场景的恒定NF；
从所产生的特征轨迹中检索身体部位的初始估计；特征i的轨迹是空间时间序列其中，NL是帧数，是帧速率；是完整的NV轨迹集成对轨迹距离通过下式表示：
其中，和是所有帧的平均值；<·,·>代表标量积，α＝0.01；
采用迭代归一化剪切聚类来分割轨迹数据集，而不是将轨迹集合分解成两个子集群的
其中，αb＝20.0和βb＝200.0。
其中，所述的检索运动骨架，使用不同的基于距离的联合可信度标准：
其中，是特征组和之间假定联合的t＝0的位置；公式(3)导致原始值从和改变为和
其中，所述的生成肢体模板，虽然有足够的骨骼提取特征，但稀疏的身体部位模式仅给出真实人体肢体形状的近似值，并且必须充满肢体模板；的所有像素x：根据下式定义肢体模板i：
通过在相应的肢体掩模覆盖的区域中收集信息可以学习每个身体部分的颜色模板；通过扫描每个掩模的外周构造形状模板，避免来自前景区域的形状贡献；学习的身体部位模板不考虑人体四肢的变形行为，但在下游处理中，这种变形将被平均化。
其中，所述的定位人体上身图像结构，上身图像结构表示允许统一观察对象的外观和运动学约束；每个模型包括一个树形图，其顶点代表在肢体提取阶段发现的身体部位的外观；每个图形边缘编码先前提取的骨架；上身图像结构进一步增加了针对包含顺序特定肢体取向信息的关节角度阵列；
一个“切换”斜率参数kθ允许关节角度限制的集成：如果关节的旋转角度在限度内，kθ保持较小，确保几乎无约束的关节运动，否则kθ会显著增加；模型肢体可以围绕主轴翻转，在翻转过程中自动采用关节角度，但仅限于前臂；
为了定位图像结构模型，输入彩色图像I(x)首先将其转换成二进制线图像，使用定向倒角距离，将所学习的肢体周长的稀疏减少。
其中，所述的运用Meta模型公式，令表示使用上述技术从NM序列提取的身体模型的数组；对于每个模型，MiSi＝[si,0,…,si,NG-1]是平滑和归一化形状模板的阵列；令为每个肢体检索的颜色模板；是包含所有观察到的Mi第j个方向的阵列；任何模型i包含常数NJ的关节，并且包括阵列其观察到关节k的所有关节角度；每个Meta肢体Mmeta有形状累加器阵列Sacc＝[Sacc,0,…,Sacc,NG-1]和颜色累加器阵列根据下式：
NI表示已经集成到Mmeta中的序列特定模型的数量，还有一个联合位置的蓄能器阵列；要初始化Meta模型，需令Mmeta＝M0；来自M0的肢体模板被复制到Meta模型的累加器中，因此将NI设置为1；此外，从NI以及关节极限和角度分布复制拓扑和连通性。
进一步地，所述的对齐输入模型，通过将每个模型的关节设置为链接上下限之间的中心角度，将Mi实例化为采取典型姿势；定向统计用于查找这些中心角；指定的肢体作为实例化过程中的锚点，并被固定为其平均方向；然后将实例化模型的细化肢体形状投影到人工查询图像Ia(x)；每个投影形状模板si,j的重心坐标存储在bi,j中；将Meta肢体k定义为对应于模型肢体：
调整Mi中所有肢体的以身体为中心的坐标系，使在Mi和Mmeta中聚焦的肢体相同；必须保持每个中的值和每个一致，则Mi与当前的Meta模型一致。
进一步地，所述的学习Meta形状原型和获取Meta颜色原型，依赖于Mi的每个形状模板si,j与对应的Meta形状原型smeta,j之间的近似配准，应用2D迭代最近点方法，在迭代最近点定位之后，假定si,j和smeta,j是最佳对齐的，对齐的si,j最终被并入sacc,j；
将上述匹配迭代最近点方法定位的结果转发到对齐颜色原型ci,j与相应的颜色累加器cacc,j；定义二进制持久色彩掩模Mi,j(x)，根据下式：
对于所有ci>0,j，公式(8)抑制在序列之间显著变化的颜色信息；
反投影到图像内容产生相应身体部分的反投影映射采用窗口直方图反投影；的反投影产生C躯干(x)；基于Cj(x)，定义具有取向θj和尺度sj的Meta块j的颜色提示图令c′meta,j为cmeta,j的二进制表示；当且仅当‖cmeta,j(x)‖>0时，具有c′meta,j(x)＝1；是c′meta,j的实例，通过定向和缩放匹配Meta肢体j的期望状态；
其中，*是卷积，汇总了中的所有非零像素。
进一步地，所述的Gabor原型生成，使用Gabor小波作为可调谐的局部频率滤波器，用于构建每个Meta肢体的Gabor网格图；图形节点对应于平均Gabor幅度射流Ji,j，j＝0,…,NQ,i-1，从输入流中学习；给定平均射流，重新开始批量学习，计算每个协方差矩阵，其最大特征值提供了节点可靠性的便利度量通过检查它们的绝对部分来比较两个归一化的复合射流JA和JB；
查询图像I(x)的Gabor射流表示产生方向θi中的Meta肢体i的Gabor提示图，并且具有尺度si：
其中，投影G的节点到I(x)。
其中，所述的肢体预检测，定义Meta肢体i的颜色Gabor检测图，假设有效的存在，则：
其中，G(x)是的快捷方式，C(x)代表 是的峰值 表示的最大值；
对输入图像I(x)中的纹理和颜色给出了Meta肢体最可能的尺度估计。
附图说明
图1是本发明一种基于系统计算原理的无监督人体模型构建方法的系统流程图。
图2是本发明一种基于系统计算原理的无监督人体模型构建方法的检索运动骨架。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于系统计算原理的无监督人体模型构建方法的系统流程图。主要包括从视频输入获取肢体图像，检索运动骨架，生成肢体模板，定位人体上身图像结构，运用Meta模型公式和肢体预检测。
从视频输入获取肢体图像，从相干运动分析检索序列特定的肢体表示开始，令表示形态学操作的双差异图像(DDI)中的前景运动像素从给定的输入流中获得的数量；定义参考帧t*具有最大平均DDI；在DDI的前景估计在产生前景形状的粗略近似；使用图形切割分割构建相对稀疏的前景图和紧凑的密集背景图；基于最大流量技术，采用图形切割方案在其中执行精确的前景提取所得到的前景提案中剩下的异常值图通过形态学上的闭合消除；再通过所有帧t≠t*来跟踪被摄体上身的运动；通过将前向/后向跟踪应用于提取的前景实体上，各向同性地分配的NF特征；使用测试和重复方案自动调整特征间距离，实现所有输入场景的恒定NF；
从所产生的特征轨迹中检索身体部位的初始估计；特征i的轨迹是空间时间序列其中，NL是帧数，是帧速率；是完整的NV轨迹集成对轨迹距离通过下式表示：
其中，和是所有帧的平均值；<·,·>代表标量积，α＝0.01；
采用迭代归一化剪切聚类来分割轨迹数据集，而不是将轨迹集合分解成两个子集群的
其中，αb＝20.0和βb＝200.0。
生成肢体模板，虽然有足够的骨骼提取特征，但稀疏的身体部位模式仅给出真实人体肢体形状的近似值，并且必须充满肢体模板；的所有像素x：根据下式定义肢体模板i：
通过在相应的肢体掩模覆盖的区域中收集信息可以学习每个身体部分的颜色模板；通过扫描每个掩模的外周构造形状模板，避免来自前景区域的形状贡献；学习的身体部位模板不考虑人体四肢的变形行为，但在下游处理中，这种变形将被平均化。
定位人体上身图像结构，上身图像结构表示允许统一观察对象的外观和运动学约束；每个模型包括一个树形图，其顶点代表在肢体提取阶段发现的身体部位的外观；每个图形边缘编码先前提取的骨架；上身图像结构进一步增加了针对包含顺序特定肢体取向信息的关节角度阵列；
一个“切换”斜率参数kθ允许关节角度限制的集成：如果关节的旋转角度在限度内，kθ保持较小，确保几乎无约束的关节运动，否则kθ会显著增加；模型肢体可以围绕主轴翻转，在翻转过程中自动采用关节角度，但仅限于前臂；
为了定位图像结构模型，输入彩色图像I(x)首先将其转换成二进制线图像，使用定向倒角距离，将所学习的肢体周长的稀疏减少。
运用Meta模型公式，令表示使用上述技术从NM序列提取的身体模型的数组；对于每个模型，MiSi＝[si,0,…,si,NG-1]是平滑和归一化形状模板的阵列；令 为每个肢体检索的颜色模板；是包含所有观察到的Mi第j个方向的阵列；任何模型i包含常数NJ的关节，并且包括阵列其观察到关节k的所有关节角度；每个Meta肢体Mmeta有形状累加器阵列Sacc＝[Sacc,0,…,Sacc,NG-1]和颜色累加器阵列 根据下式：
NI表示已经集成到Mmeta中的序列特定模型的数量，还有一个联合位置的蓄能器阵列；要初始化Meta模型，需令Mmeta＝M0；来自M0的肢体模板被复制到Meta模型的累加器中，因此将NI设置为1；此外，从NI以及关节极限和角度分布复制拓扑和连通性。
对齐输入模型，通过将每个模型的关节设置为链接上下限之间的中心角度，将Mi实例化为采取典型姿势；定向统计用于查找这些中心角；指定的肢体作为实例化过程中的锚点，并被固定为其平均方向；然后将实例化模型的细化肢体形状投影到人工查询图像Ia(x)；每个投影形状模板si,j的重心坐标存储在bi,j中；将Meta肢体k定义为对应于模型肢体：
调整Mi中所有肢体的以身体为中心的坐标系，使在Mi和Mmeta中聚焦的肢体相同；必须保持每个中的值和每个一致，则Mi与当前的Meta模型一致。
学习Meta形状原型和获取Meta颜色原型，依赖于Mi的每个形状模板si,j与对应的Meta形状原型smeta,j之间的近似配准，应用2D迭代最近点方法，在迭代最近点定位之后，假定si,j和smeta,j是最佳对齐的，对齐的si,j最终被并入sacc,j；
将上述匹配迭代最近点方法定位的结果转发到对齐颜色原型ci,j与相应的颜色累加器cacc,j；定义二进制持久色彩掩模Mi,j(x)，根据下式：
对于所有ci>0,j，公式(7)抑制在序列之间显著变化的颜色信息；
反投影到图像内容产生相应身体部分的反投影映射采用窗口直方图反投影；的反投影产生C躯干(x)；基于Cj(x)，定义具有取向θj和尺度sj的Meta块j的颜色提示图令c′meta,j为cmeta,j的二进制表示；当且仅当‖cmeta,j(x)‖>0时，具有c′meta,j(x)＝1；是c′meta,j的实例，通过定向和缩放匹配Meta肢体j的期望状态；
其中，*是卷积，汇总了中的所有非零像素。
Gabor原型生成，使用Gabor小波作为可调谐的局部频率滤波器，用于构建每个Meta肢体的Gabor网格图；图形节点对应于平均Gabor幅度射流Ji,j，j＝0,…,NQ,i-1，从输入流中学习；给定平均射流，重新开始批量学习，计算每个协方差矩阵，其最大特征值提供了节点可靠性的便利度量通过检查它们的绝对部分来比较两个归一化的复合射流JA和JB；
查询图像I(x)的Gabor射流表示产生方向θi中的Meta肢体i的Gabor提示图，并且具有尺度si：
其中，投影G的节点到I(x)。
肢体预检测，定义Meta肢体i的颜色Gabor检测图，假设有效的存在，则：
其中，G(x)是的快捷方式，C(x)代表 是的峰值 表示的最大值；
对输入图像I(x)中的纹理和颜色给出了Meta肢体最可能的尺度估计。
图2是本发明一种基于系统计算原理的无监督人体模型构建方法的检索运动骨架。使用不同的基于距离的联合可信度标准：
其中，是特征组和之间假定联合的t＝0的位置；公式(14)导致原始值从和改变为和
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于系统计算原理的无监督人体模型构建方法，其特征在于，主要包括从视频输入获取肢体图像(一)；检索运动骨架(二)；生成肢体模板(三)；定位人体上身图像结构(四)；运用Meta模型公式(五)；肢体预检测(六)。
2.基于权利要求书1所述的从视频输入获取肢体图像(一)，其特征在于，从相干运动分析检索序列特定的肢体表示开始，令表示形态学操作的双差异图像(DDI)中的前景运动像素从给定的输入流中获得的数量；定义参考帧t*具有最大平均DDI；在DDI的前景估计在产生前景形状的粗略近似；使用图形切割分割构建相对稀疏的前景图和紧凑的密集背景图；基于最大流量技术，采用图形切割方案在其中执行精确的前景提取所得到的前景提案中剩下的异常值图通过形态学上的闭合消除；再通过所有帧t≠t*来跟踪被摄体上身的运动；通过将前向/后向跟踪应用于提取的前景实体上，各向同性地分配的NF特征；使用测试和重复方案自动调整特征间距离，实现所有输入场景的恒定NF；
从所产生的特征轨迹中检索身体部位的初始估计；特征i的轨迹是空间时间序列其中，NL是帧数，是帧速率；v是完整的NV轨迹集成对轨迹距离通过下式表示：
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&alpha;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<msub>
<mi>N</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&Delta;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>t</mi>
</msubsup>
<mo>-</mo>
<msub>
<mover>
<mi>&Delta;</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<msub>
<mi>N</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<mn>2</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mo><</mo>
<msubsup>
<mi>vel</mi>
<mi>i</mi>
<mi>t</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>vel</mi>
<mi>j</mi>
<mi>t</mi>
</msubsup>
<mo>></mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，和是所有帧的平均值；<·,·>代表标量积，α＝0.01；
采用迭代归一化剪切聚类来分割轨迹数据集，而不是将轨迹集合v分解成两个子集群的NCut(v0,v1)；
<mrow>
<msup>
<mi>NCut</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mn>0</mn>
</msub>
<mo>,</mo>
<msub>
<mi>V</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>N</mi>
<mi>C</mi>
<mi>u</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mn>0</mn>
</msub>
<mo>,</mo>
<msub>
<mi>V</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>b</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msub>
<mi>&alpha;</mi>
<mi>b</mi>
</msub>
</mrow>
<msub>
<mi>&beta;</mi>
<mi>b</mi>
</msub>
</mfrac>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，αb＝20.0和βb＝200.0。
3.基于权利要求书1所述的检索运动骨架(二)，其特征在于，使用不同的基于距离的联合可信度标准：
其中，是特征组和之间假定联合的t＝0的位置；公式(3)导致原始值从和改变为和
4.基于权利要求书1所述的生成肢体模板(三)，其特征在于，虽然有足够的骨骼提取特征，但稀疏的身体部位模式仅给出真实人体肢体形状的近似值，并且必须充满肢体模板；的所有像素x：根据下式定义肢体模板i：
通过在相应的肢体掩模覆盖的区域中收集信息可以学习每个身体部分的颜色模板；通过扫描每个掩模的外周构造形状模板，避免来自前景区域的形状贡献；学习的身体部位模板不考虑人体四肢的变形行为，但在下游处理中，这种变形将被平均化。
5.基于权利要求书1所述的定位人体上身图像结构(四)，其特征在于，上身图像结构表示允许统一观察对象的外观和运动学约束；每个模型包括一个树形图，其顶点代表在肢体提取阶段发现的身体部位的外观；每个图形边缘编码先前提取的骨架；上身图像结构进一步增加了针对包含顺序特定肢体取向信息的关节角度阵列；
一个“切换”斜率参数kθ允许关节角度限制的集成：如果关节的旋转角度在限度内，kθ保持较小，确保几乎无约束的关节运动，否则kθ会显著增加；模型肢体可以围绕主轴翻转，在翻转过程中自动采用关节角度，但仅限于前臂；
为了定位图像结构模型，输入彩色图像I(x)首先将其转换成二进制线图像，使用定向倒角距离，将所学习的肢体周长的稀疏减少。
6.基于权利要求书1所述的运用Meta模型公式(五)，其特征在于，令表示使用上述技术从NM序列提取的身体模型的数组；对于每个模型，MiSi＝[si,0,…,si,NG-1]是平滑和归一化形状模板的阵列；令为每个肢体检索的颜色模板；是包含所有观察到的Mi第j个方向的阵列；任何模型i包含常数NJ的关节，并且包括阵列其观察到关节k的所有关节角度；每个Meta肢体MMeta有形状累加器阵列Sacc＝[Sacc,0,…,Sacc,NG-1]和颜色累加器阵列根据下式：
<mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>m</mi>
<mi>e</mi>
<mi>t</mi>
<mi>a</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>S</mi>
<mrow>
<mi>a</mi>
<mi>c</mi>
<mi>c</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<msub>
<mi>N</mi>
<mi>I</mi>
</msub>
</mfrac>
<mo>,</mo>
<msub>
<mi>c</mi>
<mrow>
<mi>m</mi>
<mi>e</mi>
<mi>t</mi>
<mi>a</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>c</mi>
<mrow>
<mi>a</mi>
<mi>c</mi>
<mi>c</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<msub>
<mi>N</mi>
<mi>I</mi>
</msub>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
NI表示已经集成到MMeta中的序列特定模型的数量，还有一个联合位置的蓄能器阵列；要初始化Meta模型，需令MMeta＝M0；来自M0的肢体模板被复制到Meta模型的累加器中，因此将NI设置为1；此外，从NI以及关节极限和角度分布复制拓扑和连通性。
7.基于权利要求书6所述的对齐输入模型，其特征在于，通过将每个模型的关节设置为链接上下限之间的中心角度，将Mi实例化为采取典型姿势；定向统计用于查找这些中心角；指定的肢体作为实例化过程中的锚点，并被固定为其平均方向；然后将实例化模型的细化肢体形状投影到人工查询图像Ia(x)；每个投影形状模板si,j的重心坐标存储在bi,j中；将Meta肢体k定义为对应于模型肢体：
调整Mi中所有肢体的以身体为中心的坐标系，使在Mi和MMeta中聚焦的肢体相同；必须保持每个中的值和每个一致，则Mi与当前的Meta模型一致。
8.基于权利要求书6所述的学习Meta形状原型和获取Meta颜色原型，其特征在于，依赖于Mi的每个形状模板si,j与对应的Meta形状原型smeta,j之间的近似配准，应用2D迭代最近点方法，在迭代最近点定位之后，假定si,j和smeta,j是最佳对齐的，对齐的si,j最终被并入sacc,j；
将上述匹配迭代最近点方法定位的结果转发到对齐颜色原型ci,j与相应的颜色累加器cacc,j；定义二进制持久色彩掩模Mi,j(x)，根据下式：
对于所有ci>0,j，公式(8)抑制在序列之间显著变化的颜色信息；
反投影到图像内容产生相应身体部分的反投影映射采用窗口直方图反投影；的反投影产生C躯干(x)；基于Cj(x)，定义具有取向θj和尺度sj的Meta块j的颜色提示图令c′meta,j为cmeta,j的二进制表示；当且仅当‖cmeta,j(x)‖>0时，具有c′meta,j(x)＝1；是c′meta,j的实例，通过定向和缩放匹配Meta肢体j的期望状态；
<mrow>
<msub>
<mi>C</mi>
<mrow>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<mi>j</mi>
</msub>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>C</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msubsup>
<mi>c</mi>
<mrow>
<mi>m</mi>
<mi>e</mi>
<mi>t</mi>
<mi>a</mi>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;c</mi>
<mrow>
<mi>m</mi>
<mi>e</mi>
<mi>t</mi>
<mi>a</mi>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，*是卷积，汇总了中的所有非零像素。
9.基于权利要求书6所述的Gabor原型生成，其特征在于，使用Gabor小波作为可调谐的局部频率滤波器，用于构建每个Meta肢体的Gabor网格图；图形节点对应于平均Gabor幅度射流Ji,j，j＝0,…,NQ,i-1，从输入流中学习；给定平均射流，重新开始批量学习，计算每个协方差矩阵，其最大特征值提供了节点可靠性的便利度量通过检查它们的绝对部分来比较两个归一化的复合射流JA和JB；
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>A</mi>
<mi>b</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>J</mi>
<mi>A</mi>
</msub>
<mo>,</mo>
<msub>
<mi>J</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>j</mi>
</munder>
<msub>
<mi>a</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<msub>
<mi>a</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
查询图像I(x)的Gabor射流表示产生方向θi中的Meta肢体i的Gabor提示图，并且具有尺度si：
<mrow>
<msub>
<mi>G</mi>
<mrow>
<msub>
<mi>&theta;</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msubsup>
<mi>N</mi>
<mrow>
<mi>Q</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
<mo>*</mo>
</msubsup>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>g</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>&Element;</mo>
<msubsup>
<mi>G</mi>
<mrow>
<mi>G</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
<mo>*</mo>
</msubsup>
</mrow>
</munder>
<msub>
<mi>S</mi>
<mrow>
<mi>A</mi>
<mi>b</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>J</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>J</mi>
<mi>I</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，投影G的节点到I(x)。
10.基于权利要求书1所述的肢体预检测(六)，其特征在于，定义Meta肢体i的颜色Gabor检测图，假设有效的存在，则：
其中，G(x)是的快捷方式，C(x)代表 是的峰值 表示的最大值；
<mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>s</mi>
</munder>
<mrow>
<mo>(</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>x</mi>
</munder>
<msub>
<mover>
<mi>G</mi>
<mo>&OverBar;</mo>
</mover>
<msub>
<mi>&theta;</mi>
<mrow>
<mi>t</mi>
<mi>y</mi>
<mi>p</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
</msub>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>14</mn>
<mo>)</mo>
</mrow>
</mrow>
对输入图像I(x)中的纹理和颜色给出了Meta肢体最可能的尺度估计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710551476.8A CN107341476A (zh) | 2017-07-07 | 2017-07-07 | 一种基于系统计算原理的无监督人体模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710551476.8A CN107341476A (zh) | 2017-07-07 | 2017-07-07 | 一种基于系统计算原理的无监督人体模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107341476A true CN107341476A (zh) | 2017-11-10 |
Family
ID=60218477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710551476.8A Withdrawn CN107341476A (zh) | 2017-07-07 | 2017-07-07 | 一种基于系统计算原理的无监督人体模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107341476A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108597578A (zh) * | 2018-04-27 | 2018-09-28 | 广东省智能制造研究所 | 一种基于二维骨架序列的人体运动评估方法 |
| CN110390705A (zh) * | 2018-04-16 | 2019-10-29 | 北京搜狗科技发展有限公司 | 一种生成虚拟形象的方法及装置 |
-
2017
- 2017-07-07 CN CN201710551476.8A patent/CN107341476A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| THOMAS WALTHER等: "Unsupervised construction of human body models using principles of organic computing", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1704.03724》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390705A (zh) * | 2018-04-16 | 2019-10-29 | 北京搜狗科技发展有限公司 | 一种生成虚拟形象的方法及装置 |
| CN110390705B (zh) * | 2018-04-16 | 2023-11-10 | 北京搜狗科技发展有限公司 | 一种生成虚拟形象的方法及装置 |
| CN108597578A (zh) * | 2018-04-27 | 2018-09-28 | 广东省智能制造研究所 | 一种基于二维骨架序列的人体运动评估方法 |
| CN108597578B (zh) * | 2018-04-27 | 2021-11-05 | 广东省智能制造研究所 | 一种基于二维骨架序列的人体运动评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Balan et al. | Detailed human shape and pose from images | |
| Uddin et al. | Human activity recognition using body joint‐angle features and hidden Markov model | |
| CN102184541B (zh) | 多目标优化人体运动跟踪方法 | |
| Sundaresan et al. | Markerless motion capture using multiple cameras | |
| CN108647663B (zh) | 基于深度学习和多层次图结构模型的人体姿态估计方法 | |
| Chen et al. | Inferring 3D shapes and deformations from single views | |
| CN109086706A (zh) | 应用于人机协作中的基于分割人体模型的动作识别方法 | |
| CN104036546A (zh) | 一种基于自适应形变模型的任意视角人脸三维重构方法 | |
| Stoll et al. | Template Deformation for Point Cloud Fitting. | |
| CN107194985A (zh) | 一种面向大场景的三维可视化方法及装置 | |
| Demirdjian et al. | Avoiding the" streetlight effect": tracking by exploring likelihood modes | |
| CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
| US20210375045A1 (en) | System and method for reconstructing a 3d human body under clothing | |
| CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
| Baumberger et al. | 3d face reconstruction from video using 3d morphable model and silhouette | |
| Zhou et al. | A Bayesian framework for extracting human gait using strong prior knowledge | |
| Krahnstöver et al. | Automatic acquisition and initialization of articulated models | |
| CN107341476A (zh) | 一种基于系统计算原理的无监督人体模型构建方法 | |
| Kang et al. | Appearance-based structure from motion using linear classes of 3-d models | |
| CN100369064C (zh) | 一种基于视频内容的人体姿态变形方法 | |
| Cohen et al. | 3D body reconstruction for immersive interaction | |
| CN115810219A (zh) | 一种基于rgb摄像头的三维手势追踪方法 | |
| Mikic | Human body model acquisition and tracking using multi-camera voxel data | |
| Wang et al. | 3D-2D spatiotemporal registration for sports motion analysis | |
| Zhang et al. | Human model adaptation for multiview markerless motion capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171110 |