CN117670968A - 用于人体运动姿态分析的多目摄像机选择方法和装置 - Google Patents
用于人体运动姿态分析的多目摄像机选择方法和装置 Download PDFInfo
- Publication number
- CN117670968A CN117670968A CN202211021032.0A CN202211021032A CN117670968A CN 117670968 A CN117670968 A CN 117670968A CN 202211021032 A CN202211021032 A CN 202211021032A CN 117670968 A CN117670968 A CN 117670968A
- Authority
- CN
- China
- Prior art keywords
- camera
- human
- calculating
- space
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 20
- 238000010187 selection method Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012163 sequencing technique Methods 0.000 claims abstract description 13
- 230000000452 restraining effect Effects 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明提供用于人体运动姿态分析的多目摄像机选择方法和装置。所述方法包括：标定多目摄像机，获取摄像机内参、外参；判断是否存在人眼，若有则进行标记并记录位置；通过任意2个标定了人眼位置的摄像机，计算出置信度最高的人眼空间位置；计算人脸正面朝向方向，使用该方向将人体姿态空间分割为前后两个部分；计算所有摄像机与人脸正面的空间位置关系；将身体所有关节点进行一次所有视点统一的三维重建；计算肢体空间体积；计算任意一关节点是否被身体部分遮挡；获取摄像机排序中完全无遮挡的摄像机列表；再通过摄像机与人脸正面的空间位置关系进行约束，删除掉空间位置处于后部分的摄像机。本发明提升了摄像机筛选的准确率。
Description
技术领域
本发明属于运动分析技术领域，具体涉及用于人体运动姿态分析的多目摄像机选择方法和装置。
背景技术
当前的基于多摄像机视频分析人体运动姿态技术主要有2类方法，一类是通过粘贴标记点辅助算法分析人体关节点，另一类是不粘贴标记点，通过先验知识估计人体关节点。第一类借助标记点的方法由于需要提前对采集对象进行标记点的粘贴，在很多场景下无法使用，通用性较差；第二类不粘贴标记点的方法，仅依靠先验知识估计人体关节点，准确率较低。针对这种现状，本发明采用了不粘贴标记点的方式，增强了人体运动分析的通用性，同时，通过多摄像机选择技术，提高了人体关节点识别的准确率。
现有的人体动作捕获及姿态分析系统采用背景差分法和帧间差分法相结合的算法提取视频中的人体目标，能够提升从背景噪声分离出人体目标的鲁棒性。目前已有的多摄像相机优选方法，例如中国专利申请CN201910524334-多目相机系统的最优视角选择方法和三维人体骨骼检测方法，可以解决部分简单场景的多摄像相机优选问题，但由于缺少约束条件，存在相机选择不正确的问题。
综上所述，现有技术的缺点是借助标记点的方法由于需要提前对采集对象进行标记点的粘贴，在很多场景下无法使用，通用性较差；目前不粘贴标记点的方法，仅依靠先验知识估计人体关节点，容易对关节点产生误判，准确率较低。
发明内容
有鉴于此，针对上述缺陷，本发明提供了一种不需粘贴标记点的有效提升人体关节点识别准确率的多摄像机选择方法。本发明的方案采用了不粘贴标记点的方式，增强了人体运动分析的通用性，同时，通过多摄像机选择技术，利用识别的人眼分析出人体与摄像机的空间位置关系，并以此作为针对每个关节的多摄像机选择的约束条件，从而提高了人体关节点识别的准确率。本发明基于多目视觉的人体关节点识别方法，需要在单目人体关节点识别的基础上进行三维重建，从而生成三维人体关节点数据。由于人体关节点，特别是四肢，分布在以躯干为重心的两侧。在运动过程中，人体关节点存在着变化的空间位置。存在着由躯干、肢体对关节点的遮挡情况。多目人体关节点识别过程中的任意一个视角，均不能够完整的观察到人体的全部关节点。基于图像的人体关节点识别算法，在被遮挡的情况下就难以获取准确的关节点估计结果。由于多目模式下，不同视角图像之间的识别概率不能有效统一，因此，并不适合直接使用识别概率去除错误点或取得有效点。
第一方面，本发明提供了用于人体运动姿态分析的多目摄像机选择方法，包括：
步骤1、标定多目摄像机，获取摄像机内参和外参；
步骤2、处理每个摄像机拍摄的图像，判断是否存在人眼，若有则进行标记并记录位置；
步骤3、通过任意2个标定了人眼位置的摄像机，计算出置信度最高的人眼的空间位置，计算人脸正面朝向方向，使用该方向将人体姿态空间分割为前后两个部分P-Front和P-Back；
步骤4、计算所有摄像机与人脸正面的空间位置关系；
步骤5、将身体所有关节点进行一次所有视点统一的三维重建；
步骤6、获取躯干、头颈、四肢的基本空间位置，使用基础人体参数计算肢体空间体积；
步骤7、基于摄像机内外参，计算每一个摄像机视点中，任意一关节点是否被身体部分遮挡；
步骤8、对于每一个关节点，根据被遮挡情况排序摄像机，获取摄像机排序中完全无遮挡的摄像机列表；再通过摄像机与人脸正面的空间位置关系进行约束，删除掉空间位置处于P-Back的摄像机。
优选地，使用COCO-WholeBody方法分析判断是否存在人眼。
优选地，步骤4具体包括标识摄像机属于P-Front或P-Back，作为后续关节点筛选摄像机的补充条件。
优选地，步骤6中，以圆柱体近似替代肢体空间。
优选地，步骤8中还包括：
若筛选后的摄像机数目不足2个，补充被遮挡角度较小的摄像机。
优选地，步骤8后还包括：
步骤9、依据每一个关节点的摄像机选择，再一次重建所有三维关节点。
进一步地，步骤9后还包括：
步骤10、多次迭代步骤2至步骤6以减少初次重建误差。
第二方面，本发明提供了用于人体运动姿态分析的多目摄像机选择装置，包括：
标定模块，用于标定多目摄像机，获取摄像机内参和外参；
人眼判断模块，用于处理每个摄像机拍摄的图像，判断是否存在人眼，若有则进行标记并记录位置；
空间分割模块，用于通过任意2个标定了人眼位置的摄像机，计算出置信度最高的人眼的空间位置，计算人脸正面朝向方向，使用该方向将人体姿态空间分割为前后两个部分P-Front和P-Back；
空间位置计算模块，用于计算所有摄像机与人脸正面的空间位置关系；
三维重建模块，用于将身体所有关节点进行一次所有视点统一的三维重建；
肢体空间计算模块，用于获取躯干、头颈、四肢的基本空间位置，使用基础人体参数计算肢体空间体积；
遮挡计算模块，用于基于摄像机内外参，计算每一个摄像机视点中，任意一关节点是否被身体部分遮挡；
摄像机选择模块，用于对于每一个关节点，根据被遮挡情况排序摄像机，获取摄像机排序中完全无遮挡的摄像机列表；再通过摄像机与人脸正面的空间位置关系进行约束，删除掉空间位置处于P-Back的摄像机。
第三方面，本发明提供了一种电子设备，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行前述第一方面任一项方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行前述第一方面任一项方法的步骤。
通过采用以上技术方案，本发明取得的有益技术效果是，经过以上摄像机选择方法，可以得到准确度较高的人体运动姿态关节点的三维信息。本发明增加了通过识别图像上低精度人眼位置，分析出拍摄到人眼的摄像机与人正面的低精度空间位置关系，进而得到所有摄像机与人脸正面的低精度空间位置关系，将每个摄像机与人脸正面的低精度空间位置关系作为补充的约束条件，从而提升了摄像机筛选的准确率。
附图说明
图1是本发明实施例的人体空间位置示意图；
图2是本发明实施例的多摄像机位置示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例提供了一种不需粘贴标记点的有效提升人体关节点识别准确率的多摄像机选择方法。基于多目视觉的人体关节点识别方法，需要在单目人体关节点识别的基础上进行三维重建，从而生成三维人体关节点数据。由于人体关节点，特别是四肢，分布在以躯干为重心的两侧。在运动过程中，人体关节点存在着变化的空间位置。存在着由躯干、肢体对关节点的遮挡情况。多目人体关节点识别过程中的任意一个视角，均不能够完整的观察到人体的全部关节点。基于图像的人体关节点识别算法，在被遮挡的情况下就难以获取准确的关节点估计结果。由于多目模式下，不同视角图像之间的识别概率不能有效统一，因此，并不适合直接使用识别概率去除错误点或取得有效点。
本实施例提供的多摄像机选择方法详细步骤如下：
步骤1、标定多目摄像机，获取摄像机内参、外参。
步骤2、处理每个摄像机拍摄的图像，使用COCO-WholeBody方法分析，判断是否存在人眼，若有则进行标记并记录位置。
步骤3、通过任意2个标定了人眼位置的摄像机，计算出置信度最高的人眼的空间位置。计算人脸正面朝向方向。使用该方向将人体姿态空间分割为前后两个部分P-Front，P-Back。人体空间位置如图1所示。
步骤4、计算所有摄像机与人脸正面的空间位置关系，即标识摄像机属于P-Front或P-Back，作为后续关节点筛选摄像机的补充条件。
步骤5、将身体所有关节点进行一次所有视点统一的三维重建。
步骤6、获取躯干、头颈、四肢的基本空间位置，使用基础人体参数计算肢体空间体积，以圆柱体近似替代。
步骤7、基于摄像机内外参，计算每一个摄像机视点中，任意一关节点是否被身体部分遮挡。
步骤8、对于每一个关节点，根据被遮挡情况排序摄像机，获取摄像机排序中完全无遮挡的摄像机列表。再通过摄像机与人脸正面的空间位置关系进行约束，删除掉空间位置处于P-Back的摄像机。若筛选后的摄像机数目不足2个，补充被遮挡角度较小的摄像机。多摄像机位置如图2所示。
步骤9、依据每一个关节点的摄像机选择，再一次重建所有三维关节点。
步骤10、从步骤2到步骤6的过程，可多次迭代，以减少初次重建误差。
经过以上的摄像机选择方法，可以得到准确度较高的人体运动姿态关节点的三维信息。本实施例提供了一种高准确率的多摄像机选择方法，并增加了通过识别图像上低精度人眼位置，分析出拍摄到人眼的摄像机与人正面的低精度空间位置关系，进而得到所有摄像机与人脸正面的低精度空间位置关系，将每个摄像机与人脸正面的低精度空间位置关系作为补充的约束条件，从而提升了摄像机筛选的准确率。
本实施例还提供了用于人体运动姿态分析的多目摄像机选择装置，包括：
标定模块，用于标定多目摄像机，获取摄像机内参和外参；
人眼判断模块，用于处理每个摄像机拍摄的图像，判断是否存在人眼，若有则进行标记并记录位置；
空间分割模块，用于通过任意2个标定了人眼位置的摄像机，计算出置信度最高的人眼的空间位置，计算人脸正面朝向方向，使用该方向将人体姿态空间分割为前后两个部分P-Front和P-Back；
空间位置计算模块，用于计算所有摄像机与人脸正面的空间位置关系；
三维重建模块，用于将身体所有关节点进行一次所有视点统一的三维重建；
肢体空间计算模块，用于获取躯干、头颈、四肢的基本空间位置，使用基础人体参数计算肢体空间体积；
遮挡计算模块，用于基于摄像机内外参，计算每一个摄像机视点中，任意一关节点是否被身体部分遮挡；
摄像机选择模块，用于对于每一个关节点，根据被遮挡情况排序摄像机，获取摄像机排序中完全无遮挡的摄像机列表；再通过摄像机与人脸正面的空间位置关系进行约束，删除掉空间位置处于P-Back的摄像机。
关于用于人体运动姿态分析的多目摄像机选择装置的具体限定可以参见上文中对于用于人体运动姿态分析的多目摄像机选择方法的限定，在此不再赘述。上述用于人体运动姿态分析的多目摄像机选择装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
特别地，根据本实施例，本发明公开一种电子设备，该设备包括一个或者多个处理器和存储器，存储器，用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，使得所述处理器实现本发明实施例提供的用于人体运动姿态分析的多目摄像机选择方法。
特别地，根据本实施例，上述任一实施例描述的用于人体运动姿态分析的多目摄像机选择方法可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于人体运动姿态分析的多目摄像机选择方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
所述一个或多个程序被存储在只读存储器ROM中的程序或者随机访问存储器RAM中的程序而执行各种适当的动作和处理。在随机访问存储器RAM中，包括服务器完成相应业务的软件程序，还包括车辆驾驶操作所需的各种程序和数据。服务器与其被控制的硬件设备、只读存储器ROM、随机访问存储器RAM通过总线彼此相连，各种输入/输出接口也连接至总线。
以下部件连接至输入/输出接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管CRT、液晶显示器LCD等以及扬声器等的输出部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至输入/输出接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储器。
特别地，根据本实施例，上述任一实施例描述的用于人体运动姿态分析的多目摄像机选择方法可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于人体运动姿态分析的多目摄像机选择方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.用于人体运动姿态分析的多目摄像机选择方法，其特征在于，包括：
步骤1、标定多目摄像机，获取摄像机内参和外参；
步骤2、处理每个摄像机拍摄的图像，判断是否存在人眼，若有则进行标记并记录位置；
步骤3、通过任意2个标定了人眼位置的摄像机，计算出置信度最高的人眼的空间位置，计算人脸正面朝向方向，使用该方向将人体姿态空间分割为前后两个部分P-Front和P-Back；
步骤4、计算所有摄像机与人脸正面的空间位置关系；
步骤5、将身体所有关节点进行一次所有视点统一的三维重建；
步骤6、获取躯干、头颈、四肢的基本空间位置，使用基础人体参数计算肢体空间体积；
步骤7、基于摄像机内外参，计算每一个摄像机视点中，任意一关节点是否被身体部分遮挡；
步骤8、对于每一个关节点，根据被遮挡情况排序摄像机，获取摄像机排序中完全无遮挡的摄像机列表；再通过摄像机与人脸正面的空间位置关系进行约束，删除掉空间位置处于P-Back的摄像机。
2.根据权利要求1所述的方法，其特征在于：
使用COCO-WholeBody方法分析判断是否存在人眼。
3.根据权利要求1所述的方法，其特征在于：
步骤4具体包括标识摄像机属于P-Front或P-Back，作为后续关节点筛选摄像机的补充条件。
4.根据权利要求1所述的方法，其特征在于：
步骤6中，以圆柱体近似替代肢体空间。
5.根据权利要求1所述的方法，其特征在于：
步骤8中还包括：
若筛选后的摄像机数目不足2个，补充被遮挡角度较小的摄像机。
6.根据权利要求1所述的方法，其特征在于：
步骤8后还包括：
步骤9、依据每一个关节点的摄像机选择，再一次重建所有三维关节点。
7.根据权利要求6所述的方法，其特征在于：
步骤9后还包括：
步骤10、多次迭代步骤2至步骤6以减少初次重建误差。
8.用于人体运动姿态分析的多目摄像机选择装置，其特征在于，包括：
标定模块，用于标定多目摄像机，获取摄像机内参和外参；
人眼判断模块，用于处理每个摄像机拍摄的图像，判断是否存在人眼，若有则进行标记并记录位置；
空间分割模块，用于通过任意2个标定了人眼位置的摄像机，计算出置信度最高的人眼的空间位置，计算人脸正面朝向方向，使用该方向将人体姿态空间分割为前后两个部分P-Front和P-Back；
空间位置计算模块，用于计算所有摄像机与人脸正面的空间位置关系；
三维重建模块，用于将身体所有关节点进行一次所有视点统一的三维重建；
肢体空间计算模块，用于获取躯干、头颈、四肢的基本空间位置，使用基础人体参数计算肢体空间体积；
遮挡计算模块，用于基于摄像机内外参，计算每一个摄像机视点中，任意一关节点是否被身体部分遮挡；
摄像机选择模块，用于对于每一个关节点，根据被遮挡情况排序摄像机，获取摄像机排序中完全无遮挡的摄像机列表；再通过摄像机与人脸正面的空间位置关系进行约束，删除掉空间位置处于P-Back的摄像机。
9.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211021032.0A CN117670968A (zh) | 2022-08-24 | 2022-08-24 | 用于人体运动姿态分析的多目摄像机选择方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211021032.0A CN117670968A (zh) | 2022-08-24 | 2022-08-24 | 用于人体运动姿态分析的多目摄像机选择方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117670968A true CN117670968A (zh) | 2024-03-08 |
Family
ID=90064638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211021032.0A Pending CN117670968A (zh) | 2022-08-24 | 2022-08-24 | 用于人体运动姿态分析的多目摄像机选择方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670968A (zh) |
-
2022
- 2022-08-24 CN CN202211021032.0A patent/CN117670968A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| US9426444B2 (en) | Depth measurement quality enhancement | |
| US9418480B2 (en) | Systems and methods for 3D pose estimation | |
| US11600008B2 (en) | Human-tracking methods, systems, and storage media | |
| US10674139B2 (en) | Methods and systems for human action recognition using 3D integral imaging | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| US11615547B2 (en) | Light field image rendering method and system for creating see-through effects | |
| KR20080020595A (ko) | 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템 | |
| KR100560464B1 (ko) | 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법 | |
| CN113313097B (zh) | 人脸识别方法、终端及计算机可读存储介质 | |
| CN112396073A (zh) | 基于双目图像的模型训练方法、装置及数据处理设备 | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| CN111798486B (zh) | 基于人体运动预测的多视角人体运动捕捉方法 | |
| US20230394832A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| Botterill et al. | New Conditional Sampling Strategies for Speeded-Up RANSAC. | |
| JP7354767B2 (ja) | 物体追跡装置および物体追跡方法 | |
| US10504235B2 (en) | Method for generating three dimensional images | |
| CN114022531A (zh) | 图像处理方法、电子设备和存储介质 | |
| CN114842466A (zh) | 目标检测方法、计算机程序产品和电子设备 | |
| CN112396654A (zh) | 用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置 | |
| CN117670968A (zh) | 用于人体运动姿态分析的多目摄像机选择方法和装置 | |
| CN112767452B (zh) | 摄像机主动感知方法及系统 | |
| CN113240638B (zh) | 基于深度学习的目标检测方法、设备及介质 | |
| KR20160039447A (ko) | 스테레오 카메라를 이용한 공간분석시스템 | |
| WO2022018811A1 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |