CN110197156A - 基于深度学习的单图像的人手动作与形状重建方法及装置 - Google Patents

基于深度学习的单图像的人手动作与形状重建方法及装置 Download PDF

Info

Publication number
CN110197156A
CN110197156A CN201910464503.7A CN201910464503A CN110197156A CN 110197156 A CN110197156 A CN 110197156A CN 201910464503 A CN201910464503 A CN 201910464503A CN 110197156 A CN110197156 A CN 110197156A
Authority
CN
China
Prior art keywords
manpower
pictures
sub
hand
rgb picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910464503.7A
Other languages
English (en)
Other versions
CN110197156B (zh
Inventor
刘烨斌
李梦成
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910464503.7A priority Critical patent/CN110197156B/zh
Publication of CN110197156A publication Critical patent/CN110197156A/zh
Application granted granted Critical
Publication of CN110197156B publication Critical patent/CN110197156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的单图像的人手动作与形状重建方法及装置，其中，该方法包括：通过相机采集包含人手的单视角RGB图片；利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记，并对单视角RGB图片进行切割提取人手区域作为子图片，对子图片进行归一化和翻转处理；将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。该方法基于单视角的人手RGB图片，利用深度学习算法检测出人手的姿态参数和形状参数，并使用预先定义的人手三维模板来重建出人手。

Description

基于深度学习的单图像的人手动作与形状重建方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于深度学习的单图像的人手动作与形状重建方法及装置。
背景技术
人与外界进行物理交互主要依赖于人手，人手的姿态检测在计算机视觉、AR/VR人机交互、动作识别领域具有较大的应用。而人手又是人体最为灵活的器官，其具有动作速度快、姿态分布范围大、自遮挡严重等特征，导致人手的姿态检测十分困难，在计算机视觉领域是一个十分具有挑战性的课题。
近些年来，随着摄像技术的发展，一些商用深度相机被开发出来，人们提出了一些基于深度的人手检测与重建技术，但是，深度相机造价高昂，适用范围小，难以扩展到室外的应用中。同时，也有一些学者提出了基于多视点的人手识别技术，但是，多视角技术需要搭建多相机系统，还需要进行复杂的同步和标定工作，难以应用到日常的生活中去。
近些年来，人们对于人手的研究日益增多，一些学者们提出了更高级的人手模板，其中一些模型具有同时可以调节人手姿态和形状的特点，同时通过对大量人手数据的统计分析，对参数提取了PCA特征，使得该模板在使用较少参数的情况下能够得到较大的姿态和形状表示范围。同时近些年来对于深度学习算法研究的深入，使得从单张RGB图片得到三维人手姿态和形状成为可能。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习的单图像的人手动作与形状重建方法，该方法基于单视角的人手RGB图片，利用深度学习算法检测出人手的姿态参数和形状参数，并使用预先定义的人手三维模板来重建出人手。
本发明的另一个目的在于提出一种基于深度学习的单图像的人手动作与形状重建装置。
为达到上述目的，本发明一方面实施例提出了一种基于深度学习的单图像的人手动作与形状重建方法，包括：
S1，通过相机采集包含人手的单视角RGB图片；
S2，利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；
S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；
S4，利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。
本发明实施例的基于深度学习的单图像的人手动作与形状重建方法，通过相机采集包含人手动作的RGB图像；使用区域检测深度学习算法识别人手在图片中的位置，并标记左右手，将手部区域(ROI)进行提取切割，并将左手区域做镜像翻转，统一转换为右手图片，得到一组主要内容是右手的子图片；利用采集的人手数据集训练深度神经网络，使其输出人手图片的姿态和形状；将提取的人手子图片输入训练好的神经网络，得到人手的姿态与形状参数；利用人手模型和驱动模板的相关参数，快速的重建出当前的人手。
另外，根据本发明上述实施例的基于深度学习的单图像的人手动作与形状重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，在步骤S3之前还包括：
获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；
利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；
利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；
根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。
进一步地，在本发明的一个实施例中，所述S2还包括：
对所述子图片进行图像处理，以消除对比度和亮度的差异。
进一步地，在本发明的一个实施例中，所述对所述单视角RGB图片中的人手区域进行标记，包括：
利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的的位置区域，并判断左右手。
进一步地，在本发明的一个实施例中，所述子图片包括左手子图片和右手子图片；
所述翻转处理为：
对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。
为达到上述目的，本发明另一方面实施例提出了一种基于深度学习的单图像的人手动作与形状重建装置，包括：
采集模块，用于通过相机采集包含人手的单视角RGB图片；
处理模块，用于利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；
第一生成模块，用于将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；
重建模块，用于利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。
本发明实施例的基于深度学习的单图像的人手动作与形状重建装置，通过相机采集包含人手动作的RGB图像；使用区域检测深度学习算法识别人手在图片中的位置，并标记左右手，将手部区域(ROI)进行提取切割，并将左手区域做镜像翻转，统一转换为右手图片，得到一组主要内容是右手的子图片；利用采集的人手数据集训练深度神经网络，使其输出人手图片的姿态和形状；将提取的人手子图片输入训练好的神经网络，得到人手的姿态与形状参数；利用人手模型和驱动模板的相关参数，快速的重建出当前的人手。
另外，根据本发明上述实施例的基于深度学习的单图像的人手动作与形状重建装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：
获取模块，用于获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；
第二生成模块，用于利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；
预训练模块，用于利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；
训练模块，用于根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。
进一步地，在本发明的一个实施例中，所述处理模块，还用于对所述子图片进行图像处理，以消除对比度和亮度的差异。
进一步地，在本发明的一个实施例中，所述对所述单视角RGB图片中的人手区域进行标记，包括：
利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的位置区域，并判断左右手。
进一步地，在本发明的一个实施例中，所述子图片包括左手子图片和右手子图片；
所述翻转处理为：
对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于深度学习的单图像的人手动作与形状重建方法流程图；
图2为根据本发明一个实施例的基于深度学习的单图像的人手动作与形状重建装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于深度学习的单图像的人手动作与形状重建方法及装置。
首先将参照附图描述根据本发明实施例提出的基于深度学习的单图像的人手动作与形状重建方法。
图1为根据本发明一个实施例的基于深度学习的单图像的人手动作与形状重建方法流程图。
如图1所示，该基于深度学习的单图像的人手动作与形状重建方法包括以下步骤：
步骤S1，通过相机采集包含人手的单视角RGB图片。
具体地，利用常见的彩色相机，如手机摄像头、数码相机、单反等采集包含人手的单视角RGB图片，其中，人手所占的分辨率要达到一定大小。
步骤S2，利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记，并对单视角RGB图片进行切割提取人手区域作为子图片，对子图片进行归一化和翻转处理。
进一步地，在本发明的一个实施例中，S2还包括：
对子图片进行图像处理，以消除对比度和亮度的差异。
可以理解的是，对子图片进行一些图像处理，尽可能消除对比度、亮度的不同。
进一步地，在本发明的一个实施例中，对单视角RGB图片中的人手区域进行标记，包括：
利用区域检测深度学习算法检测人手所在单视角RGB图片中的位置区域，并判断左右手。
进一步地，子图片包括左手子图片和右手子图片；
对子图片进行翻转处理为：
对子图片中的左手子图片进行镜像翻转得到右手子图片。
具体地，从采集到的RGB图片中，利用区域检测深度学习算法检测人手所在位置，并判定左右手，切割出主要内容为手的子图片，并对左手子图片做镜像翻转，统一为相同大小的右手子图片。
步骤S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数。
进一步地，在步骤S3之前还包括：
获取人手数据集、参数化人手模型和对应的人手纹理贴图，其中，人手数据集为通过真实采集或渲染合成；
利用参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；
利用预训练数据集对人手检测神经网络进行预训练，以使人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；
根据人手数据集对预训练后的人手检测神经网络进行深度训练，以提高人手检测神经网络对数据的泛化能力。
具体地，利用参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用常见的风景图片贴上背景，从而得到预训练数据集，利用预训练数据集对人手检测神经网络进行预训练，保证网路输出的模型姿态和形状参数收敛到一个合理的范围，利用真实采集的人手数据集或者渲染合成的人手数据集，进一步对预训练人手检测神经网络进行训练，以提高网络对真实数据的泛化能力。
修改公开的ResNet50网络，使其最后一层输出维数为26，其中6维为全局位置，10维为人手姿态，10维为人手形状。并使用CUDA进行GPU加速来提高训练速度。
进一步地，在训练好人手检测神经网络后，将步骤S2中得到的右手子图片输入人手检测神经网络中，得到人手的姿态和形状参数。
步骤S4，利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。
其中，使用参数化人手模型，可以同时改变模型的姿态和形状。
具体地，利用训练好的网络，输入处理过的子图片，得到网络输出，可以计算出人手的骨架信息，并利用参数化人手模型的蒙皮算法蒙皮得到人手的形状和姿态，并重建出三角面片格式的人手模型。
根据本发明实施例提出的基于深度学习的单图像的人手动作与形状重建方法，通过相机采集包含人手动作的RGB图像；使用区域检测深度学习算法识别人手在图片中的位置，并标记左右手，将手部区域(ROI)进行提取切割，并将左手区域做镜像翻转，统一转换为右手图片，得到一组主要内容是右手的子图片；利用采集的人手数据集训练深度神经网络，使其输出人手图片的姿态和形状；将提取的人手子图片输入训练好的神经网络，得到人手的姿态与形状参数；利用人手模型和驱动模板的相关参数，快速的重建出当前的人手。
其次参照附图描述根据本发明实施例提出的基于深度学习的单图像的人手动作与形状重建装置。
图2为根据本发明一个实施例的基于深度学习的单图像的人手动作与形状重建装置结构示意图。
如图2所示，该基于深度学习的单图像的人手动作与形状重建装置包括：采集模块100、处理模块200、第一生成模块300和重建模块400。
其中，采集模块100，用于通过相机采集包含人手的单视角RGB图片。
处理模块200，用于利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记，并对单视角RGB图片进行切割提取人手区域作为子图片，对子图片进行归一化和翻转处理。
第一生成模块300，用于将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数。
重建模块400，用于利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。
进一步地，在本发明的一个实施例中，还包括：
获取模块，用于获取人手数据集、参数化人手模型和对应的人手纹理贴图，其中，人手数据集为通过真实采集或渲染合成；
第二生成模块，用于利用参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；
预训练模块，用于利用预训练数据集对人手检测神经网络进行预训练，以使人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；
训练模块，用于根据人手数据集对预训练后的人手检测神经网络进行深度训练，以提高人手检测神经网络对数据的泛化能力。
进一步地，在本发明的一个实施例中，处理模块，还用于对子图片进行图像处理，以消除对比度和亮度的差异。
进一步地，在本发明的一个实施例中，对单视角RGB图片中的人手区域进行标记，包括：
利用区域检测深度学习算法检测人手所在单视角RGB图片中的位置区域，并判断左右手。
进一步地，在本发明的一个实施例中，子图片包括左手子图片和右手子图片；
翻转处理为：
对子图片中的左手子图片进行镜像翻转得到右手子图片。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
根据本发明实施例提出的基于深度学习的单图像的人手动作与形状重建装置，通过相机采集包含人手动作的RGB图像；使用区域检测深度学习算法识别人手在图片中的位置，并标记左右手，将手部区域(ROI)进行提取切割，并将左手区域做镜像翻转，统一转换为右手图片，得到一组主要内容是右手的子图片；利用采集的人手数据集训练深度神经网络，使其输出人手图片的姿态和形状；将提取的人手子图片输入训练好的神经网络，得到人手的姿态与形状参数；利用人手模型和驱动模板的相关参数，快速的重建出当前的人手。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的单图像的人手动作与形状重建方法，其特征在于，包括以下步骤：
S1，通过相机采集包含人手的单视角RGB图片；
S2，利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；
S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；
S4，利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。
2.根据权利要求1所述的方法，其特征在于，在步骤S3之前还包括：
获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；
利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；
利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；
根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。
3.根据权利要求1所述的方法，其特征在于，所述S2还包括：
对所述子图片进行图像处理，以消除对比度和亮度的差异。
4.根据权利要求1所述的方法，其特征在于，所述对所述单视角RGB图片中的人手区域进行标记，包括：
利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的位置区域，并判断左右手。
5.根据权利要求1所述的方法，其特征在于，
所述子图片包括左手子图片和右手子图片；
所述翻转处理为：
对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。
6.一种单图像的人手动作与形状重建装置，其特征在于，包括：
采集模块，用于通过相机采集包含人手的单视角RGB图片；
处理模块，用于利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；
第一生成模块，用于将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；
重建模块，用于利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。
7.根据权利要求6所述的装置，其特征在于，还包括：
获取模块，用于获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；
第二生成模块，用于利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；
预训练模块，用于利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；
训练模块，用于根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。
8.根据权利要求6所述的装置，其特征在于，所述处理模块，还用于对所述子图片进行图像处理，以消除对比度和亮度的差异。
9.根据权利要求6所述的装置，其特征在于，所述对所述单视角RGB图片中的人手区域进行标记，包括：
利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的位置区域，并判断左右手。
10.根据权利要求6所述的装置，其特征在于，
所述子图片包括左手子图片和右手子图片；
所述翻转处理为：
对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。
CN201910464503.7A 2019-05-30 2019-05-30 基于深度学习的单图像的人手动作与形状重建方法及装置 Active CN110197156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910464503.7A CN110197156B (zh) 2019-05-30 2019-05-30 基于深度学习的单图像的人手动作与形状重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910464503.7A CN110197156B (zh) 2019-05-30 2019-05-30 基于深度学习的单图像的人手动作与形状重建方法及装置

Publications (2)

Publication Number Publication Date
CN110197156A true CN110197156A (zh) 2019-09-03
CN110197156B CN110197156B (zh) 2021-08-17

Family

ID=67753546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910464503.7A Active CN110197156B (zh) 2019-05-30 2019-05-30 基于深度学习的单图像的人手动作与形状重建方法及装置

Country Status (1)

Country Link
CN (1) CN110197156B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062263A (zh) * 2019-11-27 2020-04-24 杭州易现先进科技有限公司 手部姿态估计的方法、设备、计算机设备和存储介质
CN111124107A (zh) * 2019-11-14 2020-05-08 清华大学 手与物体复杂交互场景重建方法及装置
CN111897436A (zh) * 2020-08-13 2020-11-06 北京未澜科技有限公司 一种基于单rgb图像的手部抓取对象握力预测方法
CN117152397A (zh) * 2023-10-26 2023-12-01 慧医谷中医药科技(天津)股份有限公司 一种基于热成像投影的三维人脸成像方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150253863A1 (en) * 2014-03-06 2015-09-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Image Processor Comprising Gesture Recognition System with Static Hand Pose Recognition Based on First and Second Sets of Features
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
US9613298B2 (en) * 2014-06-02 2017-04-04 Microsoft Technology Licensing, Llc Tracking using sensor data
CN106919941A (zh) * 2017-04-26 2017-07-04 华南理工大学 一种三维手指静脉识别方法及系统
CN107622257A (zh) * 2017-10-13 2018-01-23 深圳市未来媒体技术研究院 一种神经网络训练方法及三维手势姿态估计方法
US20180130228A1 (en) * 2012-01-17 2018-05-10 Leap Motion, Inc. Systems and Methods of Object Shape and Position Determination in Three-Dimensional (3D) Space
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN108062525A (zh) * 2017-12-14 2018-05-22 中国科学技术大学 一种基于手部区域预测的深度学习手部检测方法
CN108305229A (zh) * 2018-01-29 2018-07-20 深圳市唯特视科技有限公司 一种基于深度学习轮廓网络的多视图重建方法
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN108876721A (zh) * 2018-05-31 2018-11-23 东南大学 基于课程学习的超分辨率图像重建方法及系统
CN109003325A (zh) * 2018-06-01 2018-12-14 网易（杭州）网络有限公司 一种三维重建的方法、介质、装置和计算设备
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN109657634A (zh) * 2018-12-26 2019-04-19 中国地质大学（武汉） 一种基于深度卷积神经网络的3d手势识别方法及系统
CN109771052A (zh) * 2018-12-28 2019-05-21 合刃科技（深圳）有限公司 基于多目成像和多偏振态成像的三维图像建立方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180130228A1 (en) * 2012-01-17 2018-05-10 Leap Motion, Inc. Systems and Methods of Object Shape and Position Determination in Three-Dimensional (3D) Space
US20150253863A1 (en) * 2014-03-06 2015-09-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Image Processor Comprising Gesture Recognition System with Static Hand Pose Recognition Based on First and Second Sets of Features
US9613298B2 (en) * 2014-06-02 2017-04-04 Microsoft Technology Licensing, Llc Tracking using sensor data
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN106919941A (zh) * 2017-04-26 2017-07-04 华南理工大学 一种三维手指静脉识别方法及系统
CN107622257A (zh) * 2017-10-13 2018-01-23 深圳市未来媒体技术研究院 一种神经网络训练方法及三维手势姿态估计方法
CN108062525A (zh) * 2017-12-14 2018-05-22 中国科学技术大学 一种基于手部区域预测的深度学习手部检测方法
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN108305229A (zh) * 2018-01-29 2018-07-20 深圳市唯特视科技有限公司 一种基于深度学习轮廓网络的多视图重建方法
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN108876721A (zh) * 2018-05-31 2018-11-23 东南大学 基于课程学习的超分辨率图像重建方法及系统
CN109003325A (zh) * 2018-06-01 2018-12-14 网易（杭州）网络有限公司 一种三维重建的方法、介质、装置和计算设备
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN109657634A (zh) * 2018-12-26 2019-04-19 中国地质大学（武汉） 一种基于深度卷积神经网络的3d手势识别方法及系统
CN109771052A (zh) * 2018-12-28 2019-05-21 合刃科技（深圳）有限公司 基于多目成像和多偏振态成像的三维图像建立方法及系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
C,NOLKER ET AL: "Visual recognition of continuous hand postures", 《IEEE TRANSACTIONS ON NEURAL NETWORKS》 *
KULON, DOMINIK ET AL: "Example Based 3D Reconstruction from Single 2D Images：互联网检索, Single Image and Hand Reconstruction", 《2006 CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOP (CVPRW"06)》 *
LIU, YEBIN ET AL: "Mask-pose Cascaded CNN for 2D Hand Pose Estimation from Single Color Image", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
YUJUN CAI ET AL: "Weakly-Supervised 3D Hand Pose Estimation from Monocular RGB Images", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
于海龙等: "一种基于sEMG信号的手势识别方法研究", 《江西师范大学学报（自然科学版）》 *
林正日: "基于TOF的单视角物体三维表面重建研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
蔡钦涛: "基于图像的三维重建技术研究", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 *
黄晓立: "基于视觉图像的手指关节角度测量方法和实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124107A (zh) * 2019-11-14 2020-05-08 清华大学 手与物体复杂交互场景重建方法及装置
CN111062263A (zh) * 2019-11-27 2020-04-24 杭州易现先进科技有限公司 手部姿态估计的方法、设备、计算机设备和存储介质
CN111062263B (zh) * 2019-11-27 2023-11-03 杭州易现先进科技有限公司 手部姿态估计的方法、设备、计算机设备和存储介质
CN111897436A (zh) * 2020-08-13 2020-11-06 北京未澜科技有限公司 一种基于单rgb图像的手部抓取对象握力预测方法
CN117152397A (zh) * 2023-10-26 2023-12-01 慧医谷中医药科技(天津)股份有限公司 一种基于热成像投影的三维人脸成像方法及系统
CN117152397B (zh) * 2023-10-26 2024-01-26 慧医谷中医药科技(天津)股份有限公司 一种基于热成像投影的三维人脸成像方法及系统

Also Published As

Publication number Publication date
CN110197156B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110197156A (zh) 基于深度学习的单图像的人手动作与形状重建方法及装置
CN109377557B (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN105354876B (zh) 一种基于移动终端的实时立体试衣方法
CN109427080A (zh) 快速生成大量复杂光源人脸图像的方法
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
CN110310319B (zh) 光照分离的单视角人体服装几何细节重建方法及装置
CN107993216A (zh) 一种图像融合方法及其设备、存储介质、终端
CN108140105A (zh) 具有脸部表情检测能力的头戴式显示器
CN110363133B (zh) 一种视线检测和视频处理的方法、装置、设备和存储介质
CN108805090A (zh) 一种基于平面网格模型的虚拟试妆方法
JP2009523547A5 (zh)
CN110516575A (zh) 基于残差域富模型的gan生成图片检测方法及系统
EP4036863A1 (en) Human body model reconstruction method and reconstruction system, and storage medium
CN105913416A (zh) 一种自动分割三维人脸模型区域的方法
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
CN106373178A (zh) 生成人工图像的装置和方法
CN108154551A (zh) 实时动态重建三维人体模型的方法及系统
CN108305326A (zh) 一种混合虚拟现实的方法
CN106272446B (zh) 机器人动作模拟的方法和装置
CN109360175A (zh) 一种红外与可见光的图像融合方法
CN106204746B (zh) 一种可实现3d模型实时上色的增强现实系统
JP2004506276A (ja) ３次元顔モデリングシステム及びモデリング方法
TWI750710B (zh) 圖像處理方法及裝置、圖像處理設備及儲存媒體
CN109344694A (zh) 一种基于三维人体骨架的人体基本动作实时识别方法
CN102567716A (zh) 一种人脸合成系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant