CN113610969B - 一种三维人体模型生成方法、装置、电子设备及存储介质 - Google Patents

一种三维人体模型生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113610969B
CN113610969B CN202110974124.XA CN202110974124A CN113610969B CN 113610969 B CN113610969 B CN 113610969B CN 202110974124 A CN202110974124 A CN 202110974124A CN 113610969 B CN113610969 B CN 113610969B
Authority
CN
China
Prior art keywords
human body
dimensional
detected
initial
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110974124.XA
Other languages
English (en)
Other versions
CN113610969A (zh
Inventor
方芹
陈铁义
缪宁杰
罗文东
周霖
朱程利
王澍
魏文力
田梁玉
吴敏彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dadao Hechuang Technology Co ltd
Hangzhou Zhicheng Electronic Technology Co ltd
Zhejiang Guangpo Intelligent Technology Co ltd
Innovation And Entrepreneurship Center Of State Grid Zhejiang Electric Power Co ltd
State Grid Corp of China SGCC
Original Assignee
Beijing Dadao Hechuang Technology Co ltd
Hangzhou Zhicheng Electronic Technology Co ltd
Zhejiang Guangpo Intelligent Technology Co ltd
Innovation And Entrepreneurship Center Of State Grid Zhejiang Electric Power Co ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dadao Hechuang Technology Co ltd, Hangzhou Zhicheng Electronic Technology Co ltd, Zhejiang Guangpo Intelligent Technology Co ltd, Innovation And Entrepreneurship Center Of State Grid Zhejiang Electric Power Co ltd, State Grid Corp of China SGCC filed Critical Beijing Dadao Hechuang Technology Co ltd
Priority to CN202110974124.XA priority Critical patent/CN113610969B/zh
Publication of CN113610969A publication Critical patent/CN113610969A/zh
Application granted granted Critical
Publication of CN113610969B publication Critical patent/CN113610969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维人体模型生成方法，包括：获取在多个视角中拍摄的待检测图像；检测待检测图像包含的人体区域，并检测人体区域中包含的骨骼关键点数据组；利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵，并利用融合亲和性矩阵确定人体区域之间的匹配关系；利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型；本方法可从多个视角分析人物的姿态，并可提取待检测图像中包含人体区域及骨骼关键点数据，最后可利用人体区域之间的匹配关系及骨骼关键点数据组生成三维人体模型，可全面有效还原人体三维姿态；本发明还提供一种三维人体模型生成装置、电子设备及存储介质，具有上述有益效果。

Description

一种三维人体模型生成方法、装置、电子设备及存储介质
技术领域
本发明涉及三维人体模型领域，特别涉及一种三维人体模型生成方法、装置、电子设备及存储介质。
背景技术
随着监控摄像头的广泛使用，视频监控和分析已在众多场景中得到应用。在相关技术中，视频监控及分析方案基于单个视角进行监控和分析，只能从单个视角对视频画面中出现的人物进行姿态分析，难以全面有效地重构人物的三维姿态，进而难以全面有效地分析人物的姿态及运动情况。
发明内容
本发明的目的是提供一种三维人体模型生成方法、装置、电子设备及存储介质，可从多个视角分析人物的姿态，并可提取待检测图像中包含人体区域及骨骼关键点数据，最后可利用人体区域之间的匹配关系及骨骼关键点数据组生成三维人体模型，可全面有效还原人体三维姿态。
为解决上述技术问题，本发明提供一种三维人体模型生成方法，包括：
获取在多个视角中拍摄的待检测图像；
检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；
利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；
利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型。
可选地，所述检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组，包括：
在所述待检测图像中执行人体检测操作，得到所述待检测图像包含的人体区域；
在所述人体区域中执行人体骨骼关键点检测，得到所述人体区域包含的骨骼关键点数据组。
可选地，所述在所述人体区域中执行人体骨骼关键点检测之前，还包括：
将所述人体区域输入空间变换网络进行修正计算，得到修正后的人体区域；
利用修正后的人体区域执行所述在所述人体区域中执行人体骨骼关键点检测的步骤。
可选地，所述利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，包括：
计算所述人体区域之间的外观相似度，并利用所述外观相似度构建所述待检测图像之间的外观亲和性矩阵；
利用所述骨骼关键点数据组计算所述人体区域之间的几何相似度，并利用所述几何相似度构建所述待检测图像之间的几何亲和性矩阵；
利用所述外观亲和性矩阵及所述几何亲和性矩阵，构建所述待检测图像之间的融合亲和性矩阵。
可选地，当所述视角的数量为两个时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：
创建所述待检测图像之间的初始置换矩阵，并计算所述初始置换矩阵与所述融合亲和性矩阵的内积；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；
调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述内积最大；
将所述内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。
可选地，当所述视角的数量为三个及三个以上时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：
创建所述待检测图像之间的初始置换矩阵；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；
计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积；
将所述内积及所述低秩项输入目标函数，得到所述目标函数的输出值；
调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述输出值最小；
将所述输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。
可选地，所述利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型，包括：
利用确定所述匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，所述初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值；
利用所述初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据；
对所述三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的所述三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至所述后验分布数据最大；
利用所述后验分布数据最大时的初始三维人体姿态生成所述三维人体模型。
本发明还提供一种三维人体模型生成装置，包括：
图像获取模块，用于获取在多个视角中拍摄的待检测图像；
检测模块，用于检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；
匹配模块，用于利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；
模型生成模块，用于利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型。
本发明还提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的三维人体模型生成方法。
本发明还提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上所述的三维人体模型生成方法。
本发明提供一种三维人体模型生成方法，包括：获取在多个视角中拍摄的待检测图像；检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型。
可见，本方法利用多个视角拍摄的待检测图像，对人物的三维姿态进行了构造，得到了三维人体模型。在相关技术中，视频监控及分析基于单个视角进行，只能从单个视角对人物的姿态及运动情况进行有限分析。而在本方法中，首先可从多个视角中对人物的姿态及运动情况进行分析，同时，本方法在采集了多个视角拍摄的待检测图像后，还对待检测图像中包含人体区域及骨骼关键点数据进行了检测提取，并对人体区域的匹配关系进行了计算，最后可根据人体区域的匹配关系及骨骼关键点数据组，对人体的三维人体模型进行构造，可全面有效地还原人体姿态及人体的运动情况，进而有效提升监控人员的分析及管理效率。本发明还提供一种三维人体模型生成装置、电子设备及存储介质，具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种三维人体模型生成方法的流程图；
图2为本发明实施例所提供的利用对极约束计算两人体区域几何相似度的示意图；
图3为本发明实施例所提供的一种三维人体模型生成装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，视频监控及分析方案基于单个视角进行监控和分析，只能从单个视角对视频画面中出现的人物进行姿态分析，难以全面有效地重构人物的三维姿态，进而难以全面有效地分析人物的姿态及运动情况。有鉴于此，本发明提供一种三维人体模型生成方法，可从多个视角分析人物的姿态，并可提取待检测图像中包含人体区域及骨骼关键点数据，最后可利用人体区域之间的匹配关系及骨骼关键点数据组生成三维人体模型，可全面有效还原人体三维姿态。请参考图1，图1为本发明实施例所提供的一种三维人体模型生成方法的流程图，该方法可以包括：
S101、获取在多个视角中拍摄的待检测图像。
可以理解的是，为了利用图像采集设备拍摄的二维的待检测图像进行三维人体模型生成，图像采集设备需从至少两个不同的角度对同一场景中的人物进行拍摄。同样可以理解的是，图像采集设备需进行标定配准，确定相互之间的位置信息、朝向信息以及图像采集参数。只有图像采集设备经过标定配准后，才能够利用图像采集设备拍摄的待检测图像进行三维人体模型生成。
需要说明的是，本发明实施例并不限定具体的图像采集设备，例如可以为双目摄像机，也可以为单目摄像机。进一步，本发明实施例也不限定图像采集设备的数量，该数量与图像采集设备的种类有关，例如当图像采集设备为双目摄像机时，该设备的数量可为一个或多个；当图像采集设备为单目摄像机时，该设备的数量至少为两个。当然，也可以将双目摄像机及单目摄像机进行组合使用，用户可根据实际应用需求进行设定，只要能够利用图像采集设备从至少两个不同的角度对同一场景中的人物进行拍摄即可。本发明实施例也不限定图像采集设备的标定配准方法，用户可参考摄像机立体标定的相关技术。
进一步，本发明实施例也不限定图像采集设备所拍摄的场景中可包含人物的数量，该数量可任意调整。
S102、检测待检测图像包含的人体区域，并检测人体区域中包含的骨骼关键点数据组。
由于本发明旨在生成人体三维模型，因此首先需要对待检测图像中包含人体信息的人体区域进行检测，以便针对性地利用人体区域进行三维人体模型生成。同时，由于三维人体模型的核心数据为人体骨骼数据，因此本发明在得到人体区域后，还对人体区域包含的骨骼关键点数据组进行了提取，该骨骼关键点数据组包含了人体区域中人体各个关节的二维坐标。这些二维坐标均基于待检测图像的二维坐标系，可表示人体各个关节在待检测图像中的位置。
可以理解的是，在待检测图像中提取人体区域可利用目标识别网络实现。本发明实施例并不限定具体的目标识别网络，例如可以为任意的基于卷积神经网络（CNN，Convolutional Neural Networks）的目标识别网络，也可以YOLO（You Only Look Once）类型的目标识别网络，用户可根据实际应用需求进行选择。在本发明实施例中，考虑到fasterR-CNN目标识别网络能够快速且有效地进行人体区域检测，因此可用faster R-CNN目标识别网络在待检测图像中提取人体区域。需要说明的是，本发明实施例并不限定faster R-CNN目标识别网络的部署及训练方式，用户可参考相关技术。
进一步，可以理解的是，在人体区域中提取骨骼关键点数据组的功能可利用单人骨骼关键点检测器实现，单人骨骼关键点检测器是一种可提取图像中单个人物骨骼关键点数据的深度卷积神经网络。需要说明的是，本发明实施例并不限定单人骨骼关键点检测器基于的网络结构，例如可以为传统的卷积神经网络结构，也可以为Stacked Hourglass网络结构，其中Stacked Hourglass可利用多尺度特征来识别人物姿态。考虑到采用StackedHourglass网络结构可提升骨骼关键点数据组的提取准确度，因此在本发明实施例中，单人骨骼关键点检测器可采用Stacked Hourglass网络结构。
在一种可能的情况中，检测待检测图像包含的人体区域，并检测人体区域中包含的骨骼关键点数据组的过程，可以包括：
步骤11：在待检测图像中执行人体检测操作，得到待检测图像包含的人体区域；
步骤12：在人体区域中执行人体骨骼关键点检测，得到人体区域包含的骨骼关键点数据组。
进一步，考虑到利用目标识别网络提取人体区域时，可能出现人体区域提取错误的情况，例如人体并未出现在该区域中央，或是人体在人体区域中所占据的面积较小，又或是人体区域中的人体信息不完全。当人体区域提取错误时，将会影响骨骼关键点数据组提取的效率及准确度，因此在得到人体区域之后，也可以对人体区域进行修正，以确保人体处于人体区域中央、人体数据完整且人体所占人体区域的比例符合计算要求。本发明实施例并不限定对人体区域进行修正的具体方法，当每次提取人体区域时均会出现相同的检测错误时，可对人体检测区域进行放大或是缩小，也可以对人体检测区域在待检测图像中沿预设方向进行移动；当然，也可以将人体区域输入空间变换网络中进行修正，其中空间变化网络（Spatial Transformer Networks）可对输入的图像进行平移、旋转、缩放及裁剪等操作，以确保图像维持空间不变性。考虑到空间变换网络可自动实现对人体区域的修正，因此在本发明实施例中，可采用空间变化网络对人体区域进行修正。
在一种可能的情况中，在人体区域中执行人体骨骼关键点检测之前，还可以包括：
步骤21：将人体区域输入空间变换网络进行修正计算，得到修正后的人体区域；
步骤22：利用修正后的人体区域执行在人体区域中执行人体骨骼关键点检测的步骤。
需要说明的是，本发明实施例并不限定空间变化网络对人体区域进行修正计算的具体过程，本发明也不限定空间变换网络的具体结构，用户可参考空间变换网络的相关技术。在一种可能的情况中，空间变换网络可以分为三个模块：1）本地网络（LocalizationNetwork）；2）网格生成器( Grid Generator)；3）采样器（Sampler）。本地网络是一个用来回归变换参数的网络，其输入来自卷积神经网络的深度特征，输出空间变换参数。空间变换参数的形式可以多样，如需实现2D仿射变换，就是一个6维（2x3）向量的输出；网格生成器可根据本地网络产生的空间变换参数，以及边界框在图像中的位置，计算出新的坐标位置；采样器利用采样网格和输入的特征图同时作为输入产生输出，得到了特征图经过变换之后的结果。
S103、利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵，并利用融合亲和性矩阵确定人体区域之间的匹配关系。
在得到人体区域及人体区域包含的骨骼关键点数据组后，还需对人体区域之间的匹配关系进行确定，才可进行三维人体模型的构建。在本发明实施例中，采用待检测图像之间的融合亲和性矩阵确定人体区域之间的匹配关系，而融合亲和性矩阵中包含有人体区域之间的相似度信息，可用于确定不同视角中的人体区域之间的匹配关系。需要说明的是，本发明实施例并不限定融合亲和性矩阵中包含有哪种人体区域之间的相似度信息，例如可以包含有人体区域之间的外观相似度信息，也可以包含有人体区域的骨骼关键点数据组之间的几何相似度信息，其中，可以理解的是，对于同一场景中的同一人物，其骨架结构具有几何相似性，进而可通过骨骼关键点数据组之间的几何相似度信息确定人体区域之间的匹配关系。当然，融合亲和性矩阵中也可以包含以上两种信息的组合，即通过外观特征和几何特征两方面进一步提升匹配计算的准确性。
需要说明的是，本发明实施例并不限定计算人体区域之间外观相似度的具体计算方式，该计算可通过任意计算图像相似度的深度学习卷积网络实现。在本发明实施例中，优选地，可采用行人重识别深度卷积网络（Person re-ID CNN）计算人体区域之间的外观相似度。需要说明的是，本发明实施例并不限定利用行人识别深度卷积网络进行外观相似度计算的具体过程，用户可参考相关技术。在一种可能的情况中，可将两个人体区域输入同一行人重识别卷积网络提取深度外观特征，然后计算两人体区域之间深度外观特征的欧式距离，得到外观相似度。当然，为了方便后续的矩阵计算，也可以将外观相似度进行归一化处理，以减少计算量。本发明实施例并不限定归一化处理的具体方式，用户可参考相关技术，例如可利用Sigmoid函数进行归一化。
进一步，本发明也不限定计算人体区域之间几何相似度的具体计算方式，用户可参考计算三维几何相似度的相关技术。在一种可能的情况中，可采用对极约束（Epipolarconstraint）的方式计算人体区域之间的几何相似度。需要说明的是，本发明实施例并不限定利用对极约束计算人体区域的骨骼关键点数据组之间相似性的具体方法，用户可参考对极约束的相关技术。在一种可能的情况中，假设骨骼关键点数据组中包含N个骨骼关键点，那么对于两个不同待检测图像和/>中的人体区域，其几何相似度可通过如下公式进行计算：
；
其中，和/>分别表示待检测图像待检测图像/>和/>中的人体区域，/>表示两人体区域的几何相似性，/>和/>分别表示人体区域/>和/>中的第n个骨骼关键点；表示在待检测图像j中与/>相关的极线，/>表示在待检测图像i中与/>相关的极线。请参考图2，图2为本发明实施例所提供的利用对极约束计算两人体区域几何相似度的示意图，视角i和视角j即为待检测图像i和待检测图像j，/>和/>分别为拍摄两待检测图像的图像采集设备的光心，/>和/>为两光心相连直线在各自待检测图像平面的焦点，点P为/>和/>所在直线与/>和/>所在直线的交点。在此图中，/>为/>和/>所在直线，而/>为/>和/>所在直线。/>表示点到直线之间的距离。在利用如上公式计算两个人体区域的几何一致性后，也可以对/>进行归一化操作。需要说明的是本发明并不限定具体的归一化方式，例如可通过Sigmoid函数进行归一化。
可以理解的是，图2所示的光心以及光心连线在各自图像平面的交点，均为图像采集设备的校准数据，即本发明实施例需要对图像采集设备进行光学校准，然后才可利用校准数据进行计算。
在计算得到人体区域之间的外观相似度及几何相似度后，便可构建待检测图像之间的外观亲和性矩阵及几何亲和性矩阵，并利用外观亲和新矩阵及集合亲和性矩阵构造融合亲和性矩阵。对于待检测图像i和待检测图像j，设和/>分别为i和j中包含的人体区域数量，那么i和j之间的融合亲和性矩阵、外观亲和性矩阵及几何亲和性矩阵可分别表示为：/>、/>以及/>，其中/>表示实数集。外观亲和性矩阵及几何亲和性矩阵中各元素的值分别表示待检测图像i所包含的人体区域与待检测图像j所包含的人体区域之间的外观相似度以及几何相似度。融合亲和性矩阵可通过如下方式进行设置：
；
其中，th为可设置的阈值。
在一种可能的情况中，利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵的过程，可以包括：
步骤31：计算人体区域之间的外观相似度，并利用外观相似度构建待检测图像之间的外观亲和性矩阵；
步骤32：利用骨骼关键点数据组计算人体区域之间的几何相似度，并利用几何相似度构建待检测图像之间的几何亲和性矩阵；
步骤33：利用外观亲和性矩阵及几何亲和性矩阵，构建待检测图像之间的融合亲和性矩阵。
进一步，在得到融合亲和性矩阵后，便可利用该矩阵确定人体区域之间的匹配关系。在本发明实施例中，可利用置换矩阵及匈牙利算法确定人体区域之间的匹配关系。具体的，可首先为待检测图像i和j的融合性亲和矩阵设置初始的置换矩阵/>，并计算/>与/>的内积；随后，不断调整置换矩阵直至内积最大，最后，将内积最大时对应的置换矩阵输入匈牙利算法中进行计算，便可得到人体区域之间的最佳匹配关系。当然在人体区域来自拍摄与三个及三个以上视角的待检测图像时，也可考虑人体区域之间的回路一致性。以视角数量为三个为例，当两个视角中的人体区域建立匹配关系时，这两个人体区域应当在第三个视角中也匹配到同一人体区域，才可满足回路一致性。关于在视角数为三个及三个以上时，判断人体区域是否满足回路一致性的具体过程，将在后续的实施例中进行介绍。
S104、利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型。
在确定了人体区域之间的匹配关系后，便可利用匹配关系及骨骼关键点数据组进行姿态构造，得到最终的三维人体模型。需要说明的是，本发明并不限定利用匹配关系及骨骼关键点数据组进行姿态构造的具体方式，例如可通过立体三角测量的方式进行三维人体模型的生成，也可以利用3DPS模型进行三维人体模型的生成，其中3DPS（3D PictorialStructure）是一种利用人体骨架结构先验知识以及2D姿态数据近似推理3D人体姿态的方法。考虑到人体区域中的骨骼关键点数据组存在计算误差，简单使用三角测量将会降低三维人体模型的生成精度，因此在本发明实施例中可采用3DPS模型进行三维人体模型的生成。
在一种可能的情况中，利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型的过程，可以包括：
步骤41：利用确定匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值。
需要说明的是，本发明实施例并不限定三角测量的具体过程，用户可参考三角测量的相关技术。同时，需要说明的是，关节候选值是通过建立匹配关系的人体区域之间两两进行三角测量得到的，例如当存在三个建立匹配关系的人体区域时，此时某一三维人体骨骼关节点便具有三个候选值。
步骤42：利用初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据。
假设三维骨骼关节点i的空间位置为，给定不同视角下的待检测图像/>，三维人体姿态的后验分布数据可以表示为：
；
其中，表示正比于，/>为三维人体姿态的后验概率；/>表示第v个视角中，3D骨骼关键点的2D投影，同样为后验概率；/>来自于2D骨骼关键点检测器的热力图输出，表示每个关节点的2D空间分布，/>表示关节点的结构依赖，服从于高斯分布。/>指的是在人体结构上存在依存关系的关键点连边，即人体骨架结构先验数据。需要说明的是，本发明并不限定该人体骨架结构先验数据的具体形式，只要能够表示人体骨架结构即可。在一种可能情况中，人体骨架结构先验数据为关键点“鼻”、 “左右肩”、“左右肘”、 “左右腕”、 “左右臀”、 “左右膝”、 “左右踝”的序号分别为0到12，则在结构上有依存连边的有：(0,1)、(0,2)、(1,3)、(2,4)、(3,5)、(4,6)、(0,7)、(0,8)、(7,9)、(8,10)、(9,11)、(10,12)。/>采用如下公式进行计算：
；
其中N表示高斯分布，表示关节点/>和/>的欧式距离，/>和/>分别为该欧式距离的均值及方差，/>和/>均属于人体骨架结构的先验数据。在得到上述三维人体姿态的后验分布数据之后，便可进行推理计算。
步骤43：对三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至后验分布数据最大。
在3DPS模型中，对的推理过程为：将状态空间离散为统一的三维网络，并应用max-product算法进行推理求解，以使/>取值最大，其中状态空间针对的是单个三维骨骼关键点，为该骨骼关键点可能取值的集合。max-product的算法复杂度会随着状态空间维数的增加而快速增长，此处的状态空间维数至的是骨骼关键点可能取值的集合中的元素个数。由于在原有3DPS模型中，推理将会使用由连续空间离散化得到的网状点集进行计算，而点的数量较多，将会增加推理的复杂度，减低推理效率，因此在本发明实施例中，将会采用上述由三角测量得到的每个三维人体骨骼关节点的关节候选值作为状态空间，减小了状态空间的维度；同时本发明实施例只要能在任意两个建立匹配关系的人体区域中检测到三维关节点，便会将该三维关节点作为最终三维人体模型的关节点，可大大减少3DPS模型的计算复杂度，并提升计算效率。
步骤44：利用后验分布数据最大时的初始三维人体姿态生成三维人体模型。
基于上述实施例，本方法利用多个视角拍摄的待检测图像，对人物的三维姿态进行了构造，得到了三维人体模型。在相关技术中，视频监控及分析基于单个视角进行，只能从单个视角对人物的姿态及运动情况进行有限分析。而在本方法中，首先可从多个视角中对人物的姿态及运动情况进行分析，同时，本方法在采集了多个视角拍摄的待检测图像后，还对待检测图像中包含人体区域及骨骼关键点数据进行了检测提取，并对人体区域的匹配关系进行了计算，最后可根据人体区域的匹配关系及骨骼关键点数据组，对人体的三维人体模型进行构造，可全面有效地还原人体姿态及人体的运动情况，进而有效提升监控人员的分析及管理效率。
基于上述实施例，下面对本发明实施例所提供的一种利用融合亲和性矩阵确定人体区域之间的匹配关系的方式进行介绍。在一种可能的情况中，当视角的数量为两个时，利用融合亲和性矩阵确定人体区域之间的匹配关系，包括：
S201、创建待检测图像之间的初始置换矩阵，并计算初始置换矩阵与融合亲和性矩阵的内积；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系；
S202、调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵与融合亲和性矩阵的内积的步骤，直至内积最大；
S203、将内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
基于上述实施例，本方法可通过调整初始置换矩阵，并将内积最大时对应的置换矩阵输出匈牙利算法中计算得到人体区域之间的匹配关系。
基于上述实施例，下面对本发明实施例所提供的另一种利用融合亲和性矩阵确定人体区域之间的匹配关系的方式进行介绍。在一种可能的情况中，当视角的数量为三个及三个以上时，利用融合亲和性矩阵确定人体区域之间的匹配关系，包括：
S301、创建待检测图像之间的初始置换矩阵；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系。
假设矩阵P表示所有相机视角下的所有边界框的对应关系：
；
其中，表示待检测图像i和j的置换矩阵，其中各元素值表示待检测图像i中各人体区域与待检测图像j中各人体区域的对应关系，例如元素值为0表示无对应，而1表示有对应。/>表示视角i至视角i的置换矩阵，由于同视角的人体区域之间没有对应关系，只与自身具有对应关系，因此矩阵/>为单位矩阵。
如果P满足回路一致性，则当且仅当：
；
其中，表示矩阵P的秩，S表示所有待检测图像所拍摄的场景中潜在的人员数量。同时，若P满足回路一致性，则可被因式分解为YYT，其中Y表示所有人体区域与人员的对应关系。
S302、计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积。
S303、将内积及低秩项输入目标函数，得到目标函数的输出值。
目标函数为：
；
其中，A为所有由组成的分块矩阵，其形式类似于矩阵P，/>为低秩项的系数。
S304、调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积的步骤，直至输出值最小。
对上述目标函数进行最小化后，便可得到满足回路一致性的置换矩阵。
S305、将输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
基于上述实施例，本方法可对人体区域的匹配增加回路一致性约束，确保待检测图像所覆盖场景中的人物，可在所有待检测图像中均有相对应的人体区域，进而确保能够使用建立匹配关系的人体区域进行三维人体模型的生成。
下面对本发明实施例提供的三维人体模型生成装置、电子设备及存储介质进行介绍，下文描述的三维人体模型生成装置、电子设备及存储介质与上文描述的三维人体模型生成方法可相互对应参照。
请参考图3，图3为本发明实施例所提供的一种三维人体模型生成装置的结构框图，该装置可以包括：
图像获取模块301，用于获取在多个视角中拍摄的待检测图像；
检测模块302，用于检测待检测图像包含的人体区域，并检测人体区域中包含的骨骼关键点数据组；
匹配模块303，用于利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵，并利用融合亲和性矩阵确定人体区域之间的匹配关系；
模型生成模块304，用于利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型。
可选地，检测模块301，包括：
人体区域检测子模块，用于在待检测图像中执行人体检测操作，得到待检测图像包含的人体区域；
骨骼关键点提取子模块，用于在人体区域中执行人体骨骼关键点检测，得到人体区域包含的骨骼关键点数据组。
可选地，检测模块301，还可以包括：
修正子模块，用于将人体区域输入空间变换网络进行修正计算，得到修正后的人体区域。
可选地，匹配模块303，包括：
外观亲和性矩阵计算子模块，用于计算人体区域之间的外观相似度，并利用外观相似度构建待检测图像之间的外观亲和性矩阵；
几何亲和性矩阵计算子模块，用于利用骨骼关键点数据组计算人体区域之间的几何相似度，并利用几何相似度构建待检测图像之间的几何亲和性矩阵；
融合亲和性矩阵计算子模块，用于利用外观亲和性矩阵及几何亲和性矩阵，构建待检测图像之间的融合亲和性矩阵;
匹配子模块，用于利用融合亲和性矩阵确定人体区域之间的匹配关系。
可选地，当视角的数量为两个时，匹配子模块，可以包括：
第一计算单元，用于创建待检测图像之间的初始置换矩阵，并计算初始置换矩阵与融合亲和性矩阵的内积；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系；
第一调整单元，用于调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵与融合亲和性矩阵的内积的步骤，直至内积最大；
第一匹配单元，用于将内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
可选地，当视角的数量为三个及三个以上时，匹配子模块，可以包括：
创建单元，用于创建待检测图像之间的初始置换矩阵；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系；
第二计算单元，用于计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积；
输出单元，用于将内积及低秩项输入目标函数，得到目标函数的输出值；
第二调整单元，用于调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积的步骤，直至输出值最小；
第二匹配单元，用于将输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
可选地，模型生成模块304，可以包括：
初始数据生成子模块，用于利用确定匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值；
后验分布计算子模块，用于利用初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据；
调整子模块，用于对三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至后验分布数据最大；
模型生成子模块，用于利用后验分布数据最大时的初始三维人体姿态生成三维人体模型。
本发明实施例还提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的三维人体模型生成方法的步骤。
由于电子设备部分的实施例与三维人体模型生成方法部分的实施例相互对应，因此电子设备部分的实施例请参见三维人体模型生成方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的三维人体模型生成方法的步骤。
由于存储介质部分的实施例与三维人体模型生成方法部分的实施例相互对应，因此存储介质部分的实施例请参见三维人体模型生成方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种三维人体模型生成方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种三维人体模型生成方法，其特征在于，包括：
获取在多个视角中拍摄的待检测图像；
检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；
利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；
利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型，包括：
利用确定所述匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，所述初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值；
利用所述初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据；所述后验分布数据表示为：
其中，三维骨骼关节点i的空间位置为 表示实数集，待检测图像为I＝{Iv|v＝1,…,V}，∝表示正比于，p(T|I)为三维人体姿态的后验概率，p(Iv|πv(ti))表示第v个视角中，3D骨骼关键点的2D投影，p(Iv|πv(ti))为后验概率，πv(ti)表示每个关节点的2D空间分布，ε表示人体结构上存在依存关系的关键点连边，ε为人体骨架结构先验数据，p(ti,tj)表示关节点的结构依赖，p(ti,tj)服从于高斯分布，p(ti,tj)采用如下公式进行计算：
p(ti,tj)∝N(||ti-tj|||Lij,σij)；
其中N表示高斯分布，||ti-tj||表示关节点ti和tj的欧式距离，Lij和σij分别为所述欧式距离的均值及方差，Lij和σij均属于人体骨架结构的先验数据；
对所述三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的所述三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至所述后验分布数据最大；
利用所述后验分布数据最大时的初始三维人体姿态生成所述三维人体模型。
2.根据权利要求1所述的三维人体模型生成方法，其特征在于，所述检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组，包括：
在所述待检测图像中执行人体检测操作，得到所述待检测图像包含的人体区域；
在所述人体区域中执行人体骨骼关键点检测，得到所述人体区域包含的骨骼关键点数据组。
3.根据权利要求2所述的三维人体模型生成方法，其特征在于，在所述人体区域中执行人体骨骼关键点检测之前，还包括：
将所述人体区域输入空间变换网络进行修正计算，得到修正后的人体区域；
利用修正后的人体区域执行所述在所述人体区域中执行人体骨骼关键点检测的步骤。
4.根据权利要求1所述的三维人体模型生成方法，其特征在于，所述利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，包括：
计算所述人体区域之间的外观相似度，并利用所述外观相似度构建所述待检测图像之间的外观亲和性矩阵；
利用所述骨骼关键点数据组计算所述人体区域之间的几何相似度，并利用所述几何相似度构建所述待检测图像之间的几何亲和性矩阵；
利用所述外观亲和性矩阵及所述几何亲和性矩阵，构建所述待检测图像之间的融合亲和性矩阵。
5.根据权利要求1所述的三维人体模型生成方法，其特征在于，当所述视角的数量为两个时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：
创建所述待检测图像之间的初始置换矩阵，并计算所述初始置换矩阵与所述融合亲和性矩阵的内积；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；
调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述内积最大；
将所述内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。
6.根据权利要求1所述的三维人体模型生成方法，其特征在于，当所述视角的数量为三个及三个以上时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：
创建所述待检测图像之间的初始置换矩阵；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；
计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积；
将所述内积及所述低秩项输入目标函数，得到所述目标函数的输出值；
调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述输出值最小；
将所述输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。
7.一种三维人体模型生成装置，其特征在于，包括：
图像获取模块，用于获取在多个视角中拍摄的待检测图像；
检测模块，用于检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；
匹配模块，用于利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；
模型生成模块，用于利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型；
所述模型生成模块，包括：
初始数据生成子模块，用于利用确定所述匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，所述初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值；
后验分布计算子模块，用于利用所述初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据；所述后验分布数据表示为：
其中，三维骨骼关节点i的空间位置为 表示实数集，待检测图像为I＝{Iv|v＝1,…,V}，∝表示正比于，p(T|I)为三维人体姿态的后验概率，p(Iv|πv(ti))表示第v个视角中，3D骨骼关键点的2D投影，p(Iv|πv(ti))为后验概率，πv(ti)表示每个关节点的2D空间分布，ε表示人体结构上存在依存关系的关键点连边，ε为人体骨架结构先验数据，p(ti,tj)表示关节点的结构依赖，p(ti,tj)服从于高斯分布，p(ti,tj)采用如下公式进行计算：
p(ti,tj)∝N(||ti-tj|||Lij,σij)；
其中N表示高斯分布，||ti-tj||表示关节点ti和tj的欧式距离，Lij和σij分别为所述欧式距离的均值及方差，Lij和σij均属于人体骨架结构的先验数据；
调整子模块，用于对所述三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的所述三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至所述后验分布数据最大；
模型生成子模块，用于利用所述后验分布数据最大时的初始三维人体姿态生成所述三维人体模型。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的三维人体模型生成方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至6任一项所述的三维人体模型生成方法。
CN202110974124.XA 2021-08-24 2021-08-24 一种三维人体模型生成方法、装置、电子设备及存储介质 Active CN113610969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110974124.XA CN113610969B (zh) 2021-08-24 2021-08-24 一种三维人体模型生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110974124.XA CN113610969B (zh) 2021-08-24 2021-08-24 一种三维人体模型生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113610969A CN113610969A (zh) 2021-11-05
CN113610969B true CN113610969B (zh) 2024-03-08

Family

ID=78309228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110974124.XA Active CN113610969B (zh) 2021-08-24 2021-08-24 一种三维人体模型生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113610969B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821006B (zh) 2022-06-23 2022-09-20 盾钰（上海）互联网科技有限公司 交互式间接推理的孪生体态检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103635937A (zh) * 2011-05-30 2014-03-12 原子能和辅助替代能源委员会 用于在部分已知环境中定位相机和3d重建的方法
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法
CN109407709A (zh) * 2018-09-25 2019-03-01 国网天津市电力公司 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统
CN109740659A (zh) * 2018-12-28 2019-05-10 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备、存储介质
EP3657440A1 (de) * 2018-11-23 2020-05-27 Fielmann Ventures GmbH Verfahren und system zur dreidimensionalen rekonstruktion eines menschlichen kopfes aus mehreren bildern
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置
CN111968169A (zh) * 2020-08-19 2020-11-20 北京拙河科技有限公司 动态人体三维重建方法、装置、设备和介质
CN112329723A (zh) * 2020-11-27 2021-02-05 北京邮电大学 一种基于双目相机的多人人体3d骨骼关键点定位方法
CN112365578A (zh) * 2020-11-11 2021-02-12 杭州勾勾科技有限公司 基于双摄像机的三维人体模型重构系统及方法
CN113111767A (zh) * 2021-04-09 2021-07-13 上海泗科智能科技有限公司 一种基于深度学习3d姿态评估的跌倒检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748036B2 (en) * 2017-11-21 2020-08-18 Nvidia Corporation Training a neural network to predict superpixels using segmentation-aware affinity loss
JP7370777B2 (ja) * 2019-09-13 2023-10-30 株式会社東芝 学習システム、分析システム、学習方法、分析方法、プログラム、及び記憶媒体

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103635937A (zh) * 2011-05-30 2014-03-12 原子能和辅助替代能源委员会 用于在部分已知环境中定位相机和3d重建的方法
CN109242954A (zh) * 2018-08-16 2019-01-18 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法
CN109407709A (zh) * 2018-09-25 2019-03-01 国网天津市电力公司 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统
EP3657440A1 (de) * 2018-11-23 2020-05-27 Fielmann Ventures GmbH Verfahren und system zur dreidimensionalen rekonstruktion eines menschlichen kopfes aus mehreren bildern
CN109740659A (zh) * 2018-12-28 2019-05-10 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备、存储介质
CN111968169A (zh) * 2020-08-19 2020-11-20 北京拙河科技有限公司 动态人体三维重建方法、装置、设备和介质
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置
CN112365578A (zh) * 2020-11-11 2021-02-12 杭州勾勾科技有限公司 基于双摄像机的三维人体模型重构系统及方法
CN112329723A (zh) * 2020-11-27 2021-02-05 北京邮电大学 一种基于双目相机的多人人体3d骨骼关键点定位方法
CN113111767A (zh) * 2021-04-09 2021-07-13 上海泗科智能科技有限公司 一种基于深度学习3d姿态评估的跌倒检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人体关节点多视角融合和人体姿态估计;王梓任;《中国优秀硕士学位论文全文数据库·信息科技辑》;20190915;全文 *
基于骨架信息的人体动作识别研究;顾兰君;中国优秀硕士学位论文全文数据库·信息科技辑;全文 *

Also Published As

Publication number Publication date
CN113610969A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN110458939B (zh) 基于视角生成的室内场景建模方法
Zhang et al. Interacting two-hand 3d pose and shape reconstruction from single color image
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
Boisvert et al. Three-dimensional human shape inference from silhouettes: reconstruction and validation
CN111063021A (zh) 一种空间运动目标的三维重建模型建立方法及装置
EP3182371A1 (en) Threshold determination in for example a type ransac algorithm
EP3249613A1 (en) Data processing method and apparatus
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN102697508A (zh) 采用单目视觉的三维重建来进行步态识别的方法
Zhang Image Understanding
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN107194985A (zh) 一种面向大场景的三维可视化方法及装置
Gouidis et al. Accurate hand keypoint localization on mobile devices
Thang et al. Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
Ramon et al. Multi-view 3D face reconstruction in the wild using siamese networks
Prasad et al. A robust head pose estimation system for uncalibrated monocular videos
CN113610969B (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
KR20100003668A (ko) 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법
Michael et al. Model-based generation of personalized full-body 3D avatars from uncalibrated multi-view photographs
CN116704123A (zh) 一种结合图像主体提取技术的三维重建方法
CN113808256B (zh) 一种结合身份识别的高精度全息人体重建方法
CN113298948B (zh) 三维网格重建方法、装置、设备及存储介质
Song et al. ConcatNet: A deep architecture of concatenation-assisted network for dense facial landmark alignment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant