CN116704140A - 一种人体三维重建方法、系统、计算机及存储介质 - Google Patents

一种人体三维重建方法、系统、计算机及存储介质 Download PDF

Info

Publication number
CN116704140A
CN116704140A CN202310986531.1A CN202310986531A CN116704140A CN 116704140 A CN116704140 A CN 116704140A CN 202310986531 A CN202310986531 A CN 202310986531A CN 116704140 A CN116704140 A CN 116704140A
Authority
CN
China
Prior art keywords
human body
frame sequence
pixel point
dimensional
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310986531.1A
Other languages
English (en)
Other versions
CN116704140B (zh
Inventor
王章野
李吉洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Qiushi Higher Research Institute
Original Assignee
Jiangxi Qiushi Higher Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Qiushi Higher Research Institute filed Critical Jiangxi Qiushi Higher Research Institute
Priority to CN202310986531.1A priority Critical patent/CN116704140B/zh
Publication of CN116704140A publication Critical patent/CN116704140A/zh
Application granted granted Critical
Publication of CN116704140B publication Critical patent/CN116704140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种人体三维重建方法、系统、计算机及存储介质，方法包括：获取包含人物的RGB视频，对RGB视频进行去除动态模糊处理，以获取图片组，图片组包括若干个帧序列图片；提取帧序列图片中的人体关节点为关键点，并通过关键点生成人体三维白模及掩模图像；预设与人体三维白模UV坐标对应的无色纹理贴图，基于帧序列图片及掩模图像对无色纹理贴图进行颜色填充，以获取有色纹理贴图。通过设置无色纹理贴图，进而通过掩模图像与帧序列图像的配合，为无色纹理贴图进行颜色填空，形成有色纹理贴图，其在生成人体三维白模的基础上，一并提供了颜色纹理，即可生成具有颜色纹理的显式模型，可很容易的融入到现有的渲染管线流程中。

Description

一种人体三维重建方法、系统、计算机及存储介质
技术领域
本申请涉及图像数据处理技术领域，特别是涉及一种人体三维重建方法、系统、计算机及存储介质。
背景技术
三维重建技术是指将一系列二维的切片图像重建成三维模型，随着科技的进步，其已逐步应用于医学、影视等领域当中。
传统的人体重建算法或者依赖于同步相机阵列、或者依赖于带有深度信息的RGBD相机等专业设备进行拍摄，而阵列性的高价设备将使得人体三维重建的成本被拉高，普通用户难以承受。为降低成本，一般通过易于获取的RGB图像作为输入，以完成人体三维重建。
但通过RGB图像进行人体三维重建，其仅能完成人体的显示三维模型重建，即仅能生成白模，而无法捕捉对应的纹理信息，难以将其整合进现有的渲染管线流程中。
发明内容
本申请实施例提供了一种人体三维重建方法、系统、计算机及存储介质，以解决现有技术中基于RGB图像进行人体三维重建，仅能生成白模，缺乏对应的纹理信息的技术问题。
第一方面，本申请实施例提供了一种人体三维重建方法，包括以下步骤：
获取包含人物的RGB视频，对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片；
提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像；
预设与所述人体三维白模UV坐标对应的无色纹理贴图；
将所述掩模图像覆盖于所述帧序列图片上，以获取仅包含人物的人体图像；
自所述人物上的每一个第一像素点向所述人体三维白模发射光线，所述光线的颜色与所述第一像素点的颜色对应，以获取有色面片；
基于所述UV坐标，将所述有色面片映射至所述无色纹理贴图中对应的第二像素点上；
基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色；
通过所述需求色为所述第二像素点上色，以获取所述有色纹理贴图。
进一步地，所述对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片的步骤包括：
以帧数为分隔点将所述RGB视频切分为若干个初选图片；
构建神经网络结构，所述神经网络结构包括依次连接的卷积神经网络模块、注意力模块及反卷积神经网络模块；
通过所述神经网络结构对所述初选图片进行去除动态模糊处理，以获取帧序列图片；
逐帧处理若干个所述初选图片，以形成包括若干个所述帧序列图片的图片组。
进一步地，所述通过所述神经网络结构对所述初选图片进行去除动态模糊处理，以获取帧序列图片的步骤包括：
将当前帧的所述初选图片、前一帧的所述初选图片及后一帧的所述初选图片输入所述卷积神经网络模块，以获取第一特征值、第二特征值及第三特征值；
将所述第一特征值、所述第二特征值及所述第三特征值输入所述注意力模块，以获取当前帧的所述初选图片的特征向量；
将所述特征向量输入所述反卷积神经网络模块进行上采样，以获取帧序列图片。
进一步地，所述提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像的步骤包括：
基于openpose网络模型对所述帧序列图片进行人体关节点的提取，以获取关键点；
获取人体三维模板，通过所述关键点的位置调节所述人体三维模板，以形成人体三维白模；
将所述关键点及所述帧序列图片输入SAM网络模型，以生成掩模图像。
进一步地，所述基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色的步骤包括：
获取映射至所述第二像素点上的所述有色面片的数量；
若仅有一个所述有色面片映射至所述第二像素点上，则以所述有色面片的颜色为所述第二像素点的需求色；
若有多个所述有色面片映射至所述第二像素点上，则计算多个所述有色面片的颜色均值，以所述颜色均值为所述第二像素点的需求色；
若所述第二像素点上不存在所述有色面片的映射，则对与所述第二像素点相邻的像素点的颜色进行插值处理，以获取插值颜色，以所述插值颜色为所述第二像素点的需求色。
进一步地，所述插值颜色的计算公式为：
，
其中，表示插值颜色，/>表示与所述第二像素点相邻的某一像素点的颜色，/>表示与所述第二像素点相邻的像素点的数量。
第二方面，本申请实施例提供了一种人体三维重建系统，应用于上述技术方案中的人体三维重建方法，所述系统包括：
处理模块，用于获取包含人物的RGB视频，对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片；
提取模块，用于提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像；
构建模块，用于预设与所述人体三维白模UV坐标对应的无色纹理贴图；
处理模块，用于将所述掩模图像覆盖于所述帧序列图片上，以获取仅包含人物的人体图像；
第一执行模块，用于自所述人物上的每一个第一像素点向所述人体三维白模发射光线，所述光线的颜色与所述第一像素点的颜色对应，以获取有色面片；
第二执行模块，用于基于所述UV坐标，将所述有色面片映射至所述无色纹理贴图中对应的第二像素点上；
判断模块，用于基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色；
生成模块，用于通过所述需求色为所述第二像素点上色，以获取所述有色纹理贴图。
第三方面，本申请实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的人体三维重建方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的人体三维重建方法。
相比于相关技术，本发明的有益效果在于：通过对所述RGB视频进行去除动态模糊处理，可提高后续对所述帧序列图片处理的精确度，提高建模的精度，通过设置所述无色纹理贴图，进而通过所述掩模图像与所述帧序列图像的配合，为所述无色纹理贴图进行颜色填空，形成所述有色纹理贴图，其在生成所述人体三维白模的基础上，一并提供了颜色纹理，即可生成具有颜色纹理的显式模型，可很容易的融入到现有的渲染管线流程中。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
图1为本发明第一实施例中人体三维重建方法的流程图；
图2为本发明第一实施例中人体三维重建方法中帧序列图片的获取流程示意图；
图3为本发明第二实施例中人体三维重建系统的结构框图；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
请参阅图1，本发明第一实施例提供的人体三维重建方法，包括以下：
步骤S10：获取包含人物的RGB视频，对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片；
本申请中，于云端获取包含人物的RGB视频，且后续的全部处理流程全部于云端完成。通过于云端进行处理，降低了对本地设备的要求，极大的降低了用户的使用门槛。
具体地，请参阅图2，所述步骤S10包括：
S110：以帧数为分隔点将所述RGB视频切分为若干个初选图片。
即所述RGB视频为若干个连续帧下的图片组成的视频流，以所述帧数为分隔点，即可获取若干个所述初选图片。
S120：构建神经网络结构，所述神经网络结构包括依次连接的卷积神经网络模块、注意力模块及反卷积神经网络模块；
所述卷积神经网络模块用于提取所述初选图片的特征值，所述注意力模块用于根据特征值形成表征图片的特征向量，所述反卷积神经网络模块用于对所述特征向量进行上采样，以将所述特征向量还原为图片。
S130：通过所述神经网络结构对所述初选图片进行去除动态模糊处理，以获取帧序列图片；
通过所述去除动态模糊处理，可提高后续对所述帧序列图片处理的精确度，提高建模的精度。
具体地，将当前帧的所述初选图片、前一帧的所述初选图片及后一帧的所述初选图片输入所述卷积神经网络模块，以获取第一特征值、第二特征值及第三特征值；
考虑到所述RGB视频的内容具有连续性，因此当前帧与前后帧会存在相关性，因此在去除动态模糊时，将当前帧的前后帧也纳入考虑范围，可进一步提高所述帧序列图片的精确度。
将所述第一特征值、所述第二特征值及所述第三特征值输入所述注意力模块，以获取当前帧的所述初选图片的特征向量；
将所述特征向量输入所述反卷积神经网络模块进行上采样，以获取帧序列图片。
S140：逐帧处理若干个所述初选图片，以形成包括若干个所述帧序列图片的图片组；
可以理解地，对每一帧下的所述初选图片重复进行所述步骤S130，以获取若干个所述帧序列图片，可以理解地，若干个所述帧序列图片同样存在连续性。
步骤S20：提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像；
具体地，所述步骤S20包括：
S210：基于openpose网络模型对所述帧序列图片进行人体关节点的提取，以获取关键点；
将所述帧序列图片作为输入值输入所述openpose网络模型，通过卷积及特征提取后，即可获取人体关节点的位置信息，进而获取所述关键点。
S220：获取人体三维模板，通过所述关键点的位置调节所述人体三维模板，以形成人体三维白模；
优选地，通过SMPL生成模板获取所述人体三维模板，所述人体三维模板具有6890个顶点，通过调节其23个关节点及1个根节点，即可控制所述人体三维模板的体态及动作，进而形成所述人体三维白模。
S230：将所述关键点及所述帧序列图片输入SAM网络模型，以生成掩模图像。
可以理解地，所述SAM网络模型为SegmentAnything网络模型，对其实现原理此处不在进行赘述。
步骤S30：预设与所述人体三维白模UV坐标对应的无色纹理贴图；
步骤S40：将所述掩模图像覆盖于所述帧序列图片上，以获取仅包含人物的人体图像；
通过所述掩模图像覆盖所述帧序列图片上的背景区域，即可获取仅包含人物的所述人体图像。可以理解地，与所述人物对应的每一个第一像素点，均有相应的颜色。
S50：自所述人物上的每一个第一像素点向所述人体三维白模发射光线，所述光线的颜色与所述第一像素点的颜色对应，以获取有色面片；
在三维空间中，从每个所述第一像素点发出光线，即可通过所述光线于所述人体三维白模上找到与所述光线相交的面片。同时，将所述第一像素点的颜色赋予所述面片，以获取所述有色面片。
S60：基于所述UV坐标，将所述有色面片映射至所述无色纹理贴图中对应的第二像素点上；
S70：基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色；
因所述人体三维白模与所述无色纹理贴图的UV坐标相互对应，因此，每一面片均可通过UV坐标的对应关系对应至所述无色纹理贴图中的某一所述第二像素点上，因此，通过其对应关系，可根据所述有色面片的颜色为所述第二像素点上色。
但因为所述无色纹理贴图是固定的，但每一所述帧序列图片均需对所述无色纹理贴图进行一次颜色填充，当不同帧下的人物出现的部分重复时，该部分颜色将会多次映射至所述无色纹理贴图的同一所述第二像素点上；且由于人物的某些部位可能存在被遮挡或出现范围过小的情况，其将导致光线发出后未与面片相交，进而导致颜色缺失。通过对所述第二像素点上的所述有色面片的数量判定，可提供所述第二像素点的上色依据。具体地，所述步骤S70包括：
S710：获取映射至所述第二像素点上的所述有色面片的数量；
S720：若仅有一个所述有色面片映射至所述第二像素点上，则以所述有色面片的颜色为所述第二像素点的需求色；
S730：若有多个所述有色面片映射至所述第二像素点上，则计算多个所述有色面片的颜色均值，以所述颜色均值为所述第二像素点的需求色；
S740：若所述第二像素点上不存在所述有色面片的映射，则对与所述第二像素点相邻的像素点的颜色进行插值处理，以获取插值颜色，以所述插值颜色为所述第二像素点的需求色。
所述插值颜色的计算公式为：
，
其中，表示插值颜色，/>表示与所述第二像素点相邻的某一像素点的颜色，/>表示与所述第二像素点相邻的像素点的数量。
通过设置所述无色纹理贴图，进而通过所述掩模图像与所述帧序列图像的配合，为所述无色纹理贴图进行颜色填空，形成所述有色纹理贴图，其在生成所述人体三维白模的基础上，一并提供了颜色纹理，即可生成具有颜色纹理的显式模型，且可很容易的融入到现有的渲染管线流程中。
请参阅图3，本发明第二实施例提供了一种人体三维重建系统，该系统应用于上述实施例中的所述人体三维重建方法，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
所述系统包括：
处理模块10，用于获取包含人物的RGB视频，对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片；
所述处理模块10包括：
第一单元，用于获取包含人物的RGB视频，以帧数为分隔点将所述RGB视频切分为若干个初选图片；
第二单元，用于构建神经网络结构，所述神经网络结构包括依次连接的卷积神经网络模块、注意力模块及反卷积神经网络模块；
第三单元，用于通过所述神经网络结构对所述初选图片进行去除动态模糊处理，以获取帧序列图片；
所述第三单元具体用于将当前帧的所述初选图片、前一帧的所述初选图片及后一帧的所述初选图片输入所述卷积神经网络模块，以获取第一特征值、第二特征值及第三特征值；
将所述第一特征值、所述第二特征值及所述第三特征值输入所述注意力模块，以获取当前帧的所述初选图片的特征向量；
将所述特征向量输入所述反卷积神经网络模块进行上采样，以获取帧序列图片；
第四单元，用于逐帧处理若干个所述初选图片，以形成包括若干个所述帧序列图片的图片组。
提取模块20，用于提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像；
所述提取模块20包括：
第五单元，用于基于openpose网络模型对所述帧序列图片进行人体关节点的提取，以获取关键点；
第六单元，用于获取人体三维模板，通过所述关键点的位置调节所述人体三维模板，以形成人体三维白模；
第七单元，用于将所述关键点及所述帧序列图片输入SAM网络模型，以生成掩模图像。
构建模块30，用于预设与所述人体三维白模UV坐标对应的无色纹理贴图；
掩盖模块40，用于将所述掩模图像覆盖于所述帧序列图片上，以获取仅包含人物的人体图像；
第一执行模块50，用于自所述人物上的每一个第一像素点向所述人体三维白模发射光线，所述光线的颜色与所述第一像素点的颜色对应，以获取有色面片；
第二执行模块60，用于基于所述UV坐标，将所述有色面片映射至所述无色纹理贴图中对应的第二像素点上；
判断模块70，用于基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色。
所述判断模块70包括：
第八单元，用于获取映射至所述第二像素点上的所述有色面片的数量；
第九单元，用于若仅有一个所述有色面片映射至所述第二像素点上，则以所述有色面片的颜色为所述第二像素点的需求色；
第十单元，用于若有多个所述有色面片映射至所述第二像素点上，则计算多个所述有色面片的颜色均值，以所述颜色均值为所述第二像素点的需求色；
第十一单元，用于若所述第二像素点上不存在所述有色面片的映射，则对与所述第二像素点相邻的像素点的颜色进行插值处理，以获取插值颜色，以所述插值颜色为所述第二像素点的需求色。
生成模块80，用于通过所述需求色为所述第二像素点上色，以获取所述有色纹理贴图。
本发明还提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述技术方案中所述的人体三维重建方法。
本发明还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述技术方案中所述的人体三维重建方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种人体三维重建方法，其特征在于，包括以下步骤：
获取包含人物的RGB视频，对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片；
提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像；
预设与所述人体三维白模UV坐标对应的无色纹理贴图；
将所述掩模图像覆盖于所述帧序列图片上，以获取仅包含人物的人体图像；
自所述人物上的每一个第一像素点向所述人体三维白模发射光线，所述光线的颜色与所述第一像素点的颜色对应，以获取有色面片；
基于所述UV坐标，将所述有色面片映射至所述无色纹理贴图中对应的第二像素点上；
基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色；
通过所述需求色为所述第二像素点上色，以获取所述有色纹理贴图。
2.根据权利要求1所述的人体三维重建方法，其特征在于，所述对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片的步骤包括：
以帧数为分隔点将所述RGB视频切分为若干个初选图片；
构建神经网络结构，所述神经网络结构包括依次连接的卷积神经网络模块、注意力模块及反卷积神经网络模块；
通过所述神经网络结构对所述初选图片进行去除动态模糊处理，以获取帧序列图片；
逐帧处理若干个所述初选图片，以形成包括若干个所述帧序列图片的图片组。
3.根据权利要求2所述的人体三维重建方法，其特征在于，所述通过所述神经网络结构对所述初选图片进行去除动态模糊处理，以获取帧序列图片的步骤包括：
将当前帧的所述初选图片、前一帧的所述初选图片及后一帧的所述初选图片输入所述卷积神经网络模块，以获取第一特征值、第二特征值及第三特征值；
将所述第一特征值、所述第二特征值及所述第三特征值输入所述注意力模块，以获取当前帧的所述初选图片的特征向量；
将所述特征向量输入所述反卷积神经网络模块进行上采样，以获取帧序列图片。
4.根据权利要求1所述的人体三维重建方法，其特征在于，所述提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像的步骤包括：
基于openpose网络模型对所述帧序列图片进行人体关节点的提取，以获取关键点；
获取人体三维模板，通过所述关键点的位置调节所述人体三维模板，以形成人体三维白模；
将所述关键点及所述帧序列图片输入SAM网络模型，以生成掩模图像。
5.根据权利要求1所述的人体三维重建方法，其特征在于，所述基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色的步骤包括：
获取映射至所述第二像素点上的所述有色面片的数量；
若仅有一个所述有色面片映射至所述第二像素点上，则以所述有色面片的颜色为所述第二像素点的需求色；
若有多个所述有色面片映射至所述第二像素点上，则计算多个所述有色面片的颜色均值，以所述颜色均值为所述第二像素点的需求色；
若所述第二像素点上不存在所述有色面片的映射，则对与所述第二像素点相邻的像素点的颜色进行插值处理，以获取插值颜色，以所述插值颜色为所述第二像素点的需求色。
6.根据权利要求5所述的人体三维重建方法，其特征在于，所述插值颜色的计算公式为：
，
其中，表示插值颜色，/>表示与所述第二像素点相邻的某一像素点的颜色，/>表示与所述第二像素点相邻的像素点的数量。
7.一种人体三维重建系统，应用于如权利要求1~6任一项所述的人体三维重建方法，其特征在于，所述系统包括：
处理模块，用于获取包含人物的RGB视频，对所述RGB视频进行去除动态模糊处理，以获取图片组，所述图片组包括若干个帧序列图片；
提取模块，用于提取所述帧序列图片中的人体关节点为关键点，并通过所述关键点生成人体三维白模及掩模图像；
构建模块，用于预设与所述人体三维白模UV坐标对应的无色纹理贴图；
掩盖模块，用于将所述掩模图像覆盖于所述帧序列图片上，以获取仅包含人物的人体图像；
第一执行模块，用于自所述人物上的每一个第一像素点向所述人体三维白模发射光线，所述光线的颜色与所述第一像素点的颜色对应，以获取有色面片；
第二执行模块，用于基于所述UV坐标，将所述有色面片映射至所述无色纹理贴图中对应的第二像素点上；
判断模块，用于基于所述第二像素点上映射的所述有色面片的数量，获取所述第二像素点的需求色；
生成模块，用于通过所述需求色为所述第二像素点上色，以获取所述有色纹理贴图。
8.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的人体三维重建方法。
9.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的人体三维重建方法。
CN202310986531.1A 2023-08-08 2023-08-08 一种人体三维重建方法、系统、计算机及存储介质 Active CN116704140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310986531.1A CN116704140B (zh) 2023-08-08 2023-08-08 一种人体三维重建方法、系统、计算机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310986531.1A CN116704140B (zh) 2023-08-08 2023-08-08 一种人体三维重建方法、系统、计算机及存储介质

Publications (2)

Publication Number Publication Date
CN116704140A true CN116704140A (zh) 2023-09-05
CN116704140B CN116704140B (zh) 2023-10-20

Family

ID=87834270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310986531.1A Active CN116704140B (zh) 2023-08-08 2023-08-08 一种人体三维重建方法、系统、计算机及存储介质

Country Status (1)

Country Link
CN (1) CN116704140B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246230A (zh) * 2007-12-18 2008-08-20 深圳南玻伟光导电膜有限公司 一种半透彩色滤光片
US20190266977A1 (en) * 2016-11-07 2019-08-29 Irystec Software Inc. System and method for age-based gamut mapping
CN111311733A (zh) * 2020-02-11 2020-06-19 深圳市商汤科技有限公司 三维模型处理方法及装置、处理器、电子设备及存储介质
CN112802172A (zh) * 2021-02-24 2021-05-14 网易（杭州）网络有限公司 三维模型的纹理映射方法、装置、存储介质及计算机设备
CN114037802A (zh) * 2021-11-24 2022-02-11 Oppo广东移动通信有限公司 三维人脸模型重建方法、装置、存储介质及计算机设备
CN114299225A (zh) * 2021-12-14 2022-04-08 科大讯飞股份有限公司 动作图像生成方法、模型构建方法、设备及存储介质
CN114494611A (zh) * 2022-04-18 2022-05-13 清华大学 基于神经基函数的智能三维重建方法、装置、设备及介质
CN116246010A (zh) * 2022-12-05 2023-06-09 天津大学 一种基于图像的人体三维重建方法
CN116452745A (zh) * 2023-04-13 2023-07-18 阿里巴巴（中国）有限公司 手部建模、手部模型处理方法、设备和介质
US20230237625A1 (en) * 2022-01-24 2023-07-27 Lemon Inc. Video processing method, electronic device, and storage medium

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246230A (zh) * 2007-12-18 2008-08-20 深圳南玻伟光导电膜有限公司 一种半透彩色滤光片
US20190266977A1 (en) * 2016-11-07 2019-08-29 Irystec Software Inc. System and method for age-based gamut mapping
CN111311733A (zh) * 2020-02-11 2020-06-19 深圳市商汤科技有限公司 三维模型处理方法及装置、处理器、电子设备及存储介质
CN112802172A (zh) * 2021-02-24 2021-05-14 网易（杭州）网络有限公司 三维模型的纹理映射方法、装置、存储介质及计算机设备
CN114037802A (zh) * 2021-11-24 2022-02-11 Oppo广东移动通信有限公司 三维人脸模型重建方法、装置、存储介质及计算机设备
CN114299225A (zh) * 2021-12-14 2022-04-08 科大讯飞股份有限公司 动作图像生成方法、模型构建方法、设备及存储介质
US20230237625A1 (en) * 2022-01-24 2023-07-27 Lemon Inc. Video processing method, electronic device, and storage medium
CN114494611A (zh) * 2022-04-18 2022-05-13 清华大学 基于神经基函数的智能三维重建方法、装置、设备及介质
CN116246010A (zh) * 2022-12-05 2023-06-09 天津大学 一种基于图像的人体三维重建方法
CN116452745A (zh) * 2023-04-13 2023-07-18 阿里巴巴（中国）有限公司 手部建模、手部模型处理方法、设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUICHIRO FUJIMOTO 等: "Geometrically-Correct Projection-Based Texture Mapping onto a Deformable Object", IEEE, pages 540 - 549 *
吴斌 等: "一种三维建筑物模型自动纹理映射方法", 遥感信息, pages 69 - 73 *
张晓 等: "基于单视频图像序列的人体三维姿态重建", 计算机工程与设计, pages 284 - 287 *

Also Published As

Publication number Publication date
CN116704140B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质
CN109325990B (zh) 图像处理方法及图像处理装置、存储介质
CN112784621B (zh) 图像显示方法及设备
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
CN106600686A (zh) 一种基于多幅未标定图像的三维点云重建方法
CN106447604B (zh) 一种变换视频中面部画面的方法和装置
CN109675315A (zh) 游戏角色模型的生成方法、装置、处理器及终端
CN115298708A (zh) 多视角神经人体渲染
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN111476884B (zh) 基于单帧rgbd图像的实时三维人体重建方法及系统
CN111882627A (zh) 图像处理方法、视频处理方法、装置、设备和存储介质
TWI750710B (zh) 圖像處理方法及裝置、圖像處理設備及儲存媒體
CN105678714B (zh) 一种图像处理方法和装置
CN113628327A (zh) 一种头部三维重建方法及设备
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法
CN105488771A (zh) 光场图像编辑方法及装置
CN115428027A (zh) 神经不透明点云
CN113781621A (zh) 三维重建处理的方法、装置、设备及存储介质
KR101454780B1 (ko) 3d 모델의 텍스쳐 생성 방법 및 장치
CN116958378A (zh) 面部贴图重建方法、装置、计算机可读介质及电子设备
CN113989434A (zh) 一种人体三维重建方法及设备
CN116704140B (zh) 一种人体三维重建方法、系统、计算机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant