CN110335342B - 一种用于沉浸式模拟器的手部模型实时生成方法 - Google Patents

一种用于沉浸式模拟器的手部模型实时生成方法 Download PDF

Info

Publication number
CN110335342B
CN110335342B CN201910504554.8A CN201910504554A CN110335342B CN 110335342 B CN110335342 B CN 110335342B CN 201910504554 A CN201910504554 A CN 201910504554A CN 110335342 B CN110335342 B CN 110335342B
Authority
CN
China
Prior art keywords
pixel
depth
hand
skin
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910504554.8A
Other languages
English (en)
Other versions
CN110335342A (zh
Inventor
徐枫
张�浩
黄煦
李晓阳
张晓旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Hengyun Co ltd
Tsinghua University
Original Assignee
Zhongke Hengyun Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Hengyun Co ltd, Tsinghua University filed Critical Zhongke Hengyun Co ltd
Priority to CN201910504554.8A priority Critical patent/CN110335342B/zh
Publication of CN110335342A publication Critical patent/CN110335342A/zh
Application granted granted Critical
Publication of CN110335342B publication Critical patent/CN110335342B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了一种用于沉浸式模拟器的手部模型实时生成方法，包括以下步骤：S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图；S3、将所述近景连通图和具有皮肤特征的连通图做交运算，获得包括一个或多个重叠区域的重叠连通图；S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。本发明方法能够实时获取轻量化人手模型，计算量较小，成本较低，易于推广使用。

Description

一种用于沉浸式模拟器的手部模型实时生成方法
技术领域
本发明涉及一种应用于沉浸式模拟器的轻量级手部模型实时生成方法，属于计算机视觉、计算机图形学技术领域。
背景技术
实时人手模型的生成是计算机视觉与计算机图像学领域中一个重要且基础的问题，它在虚拟现实及混合现实等领域有着非常广泛的应用。在虚拟现实中，通过引入人手模型，再利用实时获得的人手运动进行驱动，可以获得更佳的交互体验；在混合现实中，将实际人手的模型以及运动进行重建并添加到虚拟场景中，可满足多种多样的应用需求，比如沉浸式训练模拟器要求能看到操作人员的双手，就需要用到实时人手模型。沉浸式的模拟训练要求通过VR头盔所见的舱内近景与真实近景高度一致。而且，在模拟器中，模拟训练涉及到大量手与各种操纵单元的交互。因此，生成真实人手的模型和运动是一个重要且具有挑战性的问题，人手模型的重建研究具有极高的科研和应用价值。
发明内容
本发明提出了一种用于沉浸式模拟器的手部模型实时生成方法，采集彩色-深度图像数据，获取深度数据的连续性以及彩色数据的皮肤区域，综合分析深度图的近景连通图和彩色图的皮肤区域连通图，提取有效的手部区域和数据，进而获得手部三维模型。本发明方法计算过程简单，可以实时生成手部模型，进一步的，通过渲染引擎可直接将生成的人手模型渲染到沉浸式训练模拟器的头盔中，增加训练过程的真实感。
为解决上述技术问题，本发明采用了如下技术手段：
一种用于沉浸式模拟器的手部模型实时生成方法，包括以下步骤：
S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；
S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图；
S3、将所述近景连通图和具有皮肤特征的连通图做交运算，获得包括一个或多个重叠区域的重叠连通图；
S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；
S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。
进一步的，所述步骤S1的具体操作如下：
S11、采集含有手部数据的彩色图像和深度图；
S12、将所述深度图中每个像素的深度值与设定的深度阈值比较，并去除深度值大于深度阈值的像素，获得近景深度图；
S13、分析近景深度图中每个像素的连续性，获得近景深度图的连续性表征图；
S14、分析连续性表征图的连通性，获得包含一个或多个连通区域的连续性连通图；
S15、比较连续性连通图中每块连通区域的面积，将面积小于阈值Fa的连通区域的数据删除，获得近景连通图。
进一步的，所述步骤S13的具体操作包括：
1)、以近景深度图中某一像素(u,v)为中心像素，(u,v)为该像素的坐标，计算像素(u,v)的邻域像素中有效像素的数量Ns，所述有效像素指深度值大于0的像素：
2)、计算像素(u,v)与其邻域像素的深度值差值ΔI：
ΔI＝|I(u,v)-I(i,j)| (1)
其中，I(u,v)为像素(u,v)的深度值，I(i,j)为邻域像素的深度值，(i,j)为邻域像素的坐标；
当所述深度值差值ΔI小于阈值T，认为邻域像素(i,j)与像素(u,v)的深度值接近，获得近景深度图中与像素(u,v)深度值接近的邻域像素的数量Nn；
3)、重复上述步骤1)、2)，直到处理完近景深度图中的所有像素；
4)、当Nn大于设置的阈值G且该像素的深度值I(u,v)小于深度阈值时，该像素为近景连通像素，否则，该像素为孤立像素。计算近景深度图的连续性表征图LD-C，连续性表征图中坐标为(u,v)的像素的灰度值为LD-C(u,v)，具体公式如下：
Figure BDA0002091394140000021
其中，ID-N(u,v)表示近景深度图中坐标为(u,v)的像素的深度值。
进一步的，所述邻域像素为中心像素的八连通域内的像素。
进一步的，所述步骤S2，利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图，具体操作如下：
S21、将彩色图像从RGB空间变换到YCbCr空间，检测图像内所有像素点的(Cb,Cr)坐标；
S22、基于椭圆皮肤模型分析图像中每个像素的(Cb,Cr)坐标，当某一像素的(Cb,Cr)坐标位于椭圆皮肤模型内，该像素点为皮肤点，令该像素点的灰度值为255，否则该像素点为非皮肤点，令该像素点的灰度值为0，分析所有像素得到皮肤标记图；
S23、对皮肤标记图进行闭运算，去除皮肤标记图中皮肤区域内的漏洞，即将漏洞处像素点的灰度值设置为255；
S24、分析步骤S23处理后的皮肤标记图的连通性，并去除面积小于阈值Fb的连通区域的数据，获得具有皮肤特征的连通图。
进一步的，所述步骤S4，根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补，具体操作为：
计算重叠连通图中所有重叠区域的面积，当重叠区域的面积大于设置的面积阈值Fc，该重叠区域为有效手部区域，获取所有有效手部区域，并将区域内像素点的深度信息和颜色信息填补到有效手部区域内。
进一步的，所述步骤S5中三角网格的三维顶点坐标的计算公式如下：
Figure BDA0002091394140000031
其中，(x,y,z)为三角网格的三维顶点坐标，K-1为相机内参矩阵。
采用以上技术手段后可以获得以下优势：
本发明提出了一种用于沉浸式模拟器的手部模型实时生成方法，本方法分别处理具有深度数据的深度图和具有皮肤彩色数据的彩色图，获得近景范围内深度数据的连续区域和彩色数据中符合皮肤特征的区域，即近景连通图和皮肤连通图，然后综合分析近景连通图和皮肤连通图，获得重叠区域并提取有效手部数据，最后利用有效的手部数据直接构造轻量型人手的三角网格模型。本发明方法能够实时获取轻量化人手模型，对虚拟现实、混合现实交互过程的内容生成具有较大意义，获得的手部模型可以直接渲染到沉浸式模拟器的VR头盔上，从而获得真实手的视觉效果，增强沉浸式模拟器的真实感。本发明方法计算量较小，可以直接在普通的电脑或工作站等硬件系统上实现，成本较低，易于推广使用。
附图说明
图1为本发明一种用于沉浸式模拟器的手部模型实时生成方法的步骤流程图。
图2为本发明方法实施例的应用场景图，其中，1是VR头盔，2是操作面板，3是操作杆，4是RGBD相机。
图3为本发明方法中构造三角网格的示意图，其中，5是有效手部区域。
图4为本发明方法实施例中的深度图，其中，(a)是采集到的深度图，(b)是处理后的近景连通图。
图5为本发明方法实施例中的彩色图像，其中，(a)是采集到的彩色图像，(b)是处理后具有皮肤特征的连通图。
图6为本发明方法实施例中手部模型示意图，其中，(a)是有效手部区域图，(b)是重建的轻量型手部模型图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
本发明提出了一种用于沉浸式模拟器的手部模型实时生成方法，主要运用在虚拟现实和混合现实交互过程中，如图1所示，具体步骤如下：
S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；具体操作如下：
S11、本实施例以沉浸式的模拟器中的手部模型实时生成为例，如图2所示，沉浸式的模拟器包括飞行训练模拟器、汽车驾驶模拟器或者其他教育/娱乐模拟器，沉浸式的模拟器通常包括佩戴在操作人员头部的VR头盔1、位于操作人员舱房的操作面板2和位于操作人员两侧的操作杆3，其工作原理为：操作人员佩戴上VR头盔，与操作杆进行交互，交互信号输入计算机中进行处理，计算机驱动虚拟场景产生对应的变化，同时操作人员通过VR头盔获得实时变化的虚拟场景的立体视觉信号。为了让受训人员看到手与操作杆的交互过程，提高用户体验，可以在VR头盔上设置RGBD相机4，通过RGBD相机实时采集手部区域的彩色-深度数据，即彩色图像和深度图。
S12、由于RGBD相机与VR头盔固定，所以采集的人手的深度数据范围有限，人为设定一个合适的深度值作为深度阈值，将深度图中每个像素的深度值与设定的深度阈值比较，去除深度值大于深度阈值的像素，获得近景深度图。
S13、为了进一步滤除无效数据，分析近景深度图中每个像素的连续性，获得近景深度图的连续性表征图，具体操作如下：
1)、以近景深度图中某一像素(u,v)为中心像素，(u,v)为该像素的坐标，计算像素(u,v)的邻域像素中有效像素的数量Ns，邻域像素为中心像素的八连通域内的像素，邻域像素的数量优选8个，有效像素指深度值大于0的像素。
2)、计算像素(u,v)与其邻域像素的深度值差值ΔI：
ΔI＝|I(u,v)-I(i,j)| (4)
其中，I(u,v)为像素(u,v)的深度值，I(i,j)为邻域像素的深度值，(i,j)为邻域像素的坐标；
当深度值差值ΔI小于阈值T，T优选5mm，认为邻域像素(i,j)与像素(u,v)的深度值接近，计算并比较所有邻域像素，获得近景深度图中与像素(u,v)深度值接近的邻域像素的数量Nn。
3)、重复上述步骤1)、2)，直到处理完近景深度图中的所有像素。
4)、当Nn大于设置的阈值G且该像素的深度值I(u,v)小于深度阈值时，认为该像素为近景连通像素，否则，认为该像素为孤立像素，其中，阈值G是人为设定的。计算近景深度图的连续性表征图LD-C，连续性表征图中坐标为(u,v)的像素的灰度值为LD-C(u,v)，具体公式如下：
Figure BDA0002091394140000051
其中，ID-N(u,v)表示近景深度图中坐标为(u,v)的像素的深度值。
S14、利用opencv中的连通域分析函数对连续性表征图进行处理，分析连续性表征图的连通性，获得包括一个或多个连通区域的连续性连通图。
S15、根据人体手部的面积设置阈值Fa，比较步骤S14获得的连续性连通图中每块连通区域的面积，将面积小于阈值Fa的连通区域的数据删除，获得近景连通图。
S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图，具体操作如下：
S21、将彩色图像从RGB空间变换到YCbCr空间，检测图像内所有像素点的(Cb,Cr)坐标。
S22、本发明方法基于经典的椭圆皮肤模型分析图像中每个像素的(Cb,Cr)坐标，当某一像素的(Cb,Cr)坐标位于椭圆皮肤模型内，记该像素点为皮肤点，令该像素点的灰度值为255，否则记该像素点为非皮肤点，令该像素点的灰度值为0，分析所有像素得到皮肤标记图。
S23、使用opencv对皮肤标记图进行闭运算，去除皮肤标记图中皮肤区域内的漏洞，即将漏洞处像素点的灰度值设置为255。
S24、分析步骤S23处理后的皮肤标记图的连通性，得到具有连通区域的图像，获得连通区域的具体操作与近景连通图的计算方法相同，然后比较opencv的函数计算的图像中每一个连通区域的面积，去除面积小于阈值Fb的连通区域的数据，获得具有皮肤特征的连通图。
S3、将S1获得的近景连通图和S2获得的具有皮肤特征的连通图做交运算，得到包括一个或多个重叠区域的重叠连通图。
S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；具体操作为：使用opencv的函数计算重叠连通图中所有重叠区域的面积，当重叠区域的面积大于设置的面积阈值Fc，认为该重叠区域为有效手部区域，获取所有的有效手部区域，并将区域内像素点的深度信息和颜色信息填补到有效手部区域内。
S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。如图3所示，从深度图的原点位置(左上角)开始依次紧密排列边长为S像素的正方形，若某个正方形至少有三个顶点位于有效手部区域内，则使用该正方形的有效顶点处的深度值构造三角网格，例如：某个正方形的四个顶点都位于有效手部区域内，则可以将该正方形等分为两个三角形，利用每个三角形顶点处的深度值构造三角网格；如果某个正方形有三个顶点位于有效手部区域内，则可以利用这三个有效的顶点的深度值构造三角网格。三角网格的三维顶点坐标的计算公式如下：
Figure BDA0002091394140000071
其中，(x,y,z)为三角网格的三维顶点坐标，K-1为相机内参矩阵。
本实施例采用一段颜色-深度视频帧序列作为例子进一步说明和验证本发明方法，图4中的(a)为采集到的深度图，深度阈值的取值范围为1～1.2m，优选1m，设定阈值G为4，处理深度数据获得近景深度图；对近景深度图进行连通性分析，并去除面积较小的连通区域，得到近景连通图，如图4中的(b)所示。图5中的(a)为输入的彩色图像，将彩色图从RGB空间变换到YCbCr空间，然后检测每一个像素点处的(Cb,Cr)坐标是否符合椭圆皮肤模型，椭圆皮肤模型表示为256×256分辨率图像上的一个椭圆区域，该椭圆的中心坐标为(113,155.6)，长轴长度为23.4，短轴长度15.2，椭圆长轴与图像水平方向的夹角为43.0度。获得具有皮肤特征的连通图，如图5中的(b)所示。计算近景连通图和具有皮肤特征的连通图的交集，获得有效手部数据区域，如图6中的(a)所示，最后使用有效手部区域的数据构造轻量型手部模型，重建好的手部模型如图6中的(b)所示。
上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，包括以下步骤：
S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；
所述步骤S1的具体操作如下：
S11、采集含有手部数据的彩色图像和深度图；
S12、将所述深度图中每个像素的深度值与设定的深度阈值比较，并去除深度值大于深度阈值的像素，获得近景深度图；
S13、分析近景深度图中每个像素的连续性，获得近景深度图的连续性表征图；其中，所述步骤S13的具体操作包括：
1)、以近景深度图中某一像素(u,v)为中心像素，(u,v)为该像素的坐标，计算像素(u,v)的邻域像素中有效像素的数量Ns，所述有效像素指深度值大于0的像素：
2)、计算像素(u,v)与其邻域像素的深度值差值ΔI：
ΔI＝|I(u,v)-I(i,j)|
其中，I(u,v)为像素(u,v)的深度值，I(i,j)为邻域像素的深度值，(i,j)为邻域像素的坐标；
当所述深度值差值ΔI小于阈值T，认为邻域像素(i,j)与像素(u,v)的深度值接近，获得近景深度图中与像素(u,v)深度值接近的邻域像素的数量Nn；
3)、重复上述步骤1)、2)，直到处理完近景深度图中的所有像素；
4)、计算近景深度图的连续性表征图LD-C，连续性表征图中坐标为(u,v)的像素的灰度值为LD-C(u,v)，具体公式如下：
Figure FDA0002698799940000011
其中，ID-N(u,v)表示近景深度图中坐标为(u,v)的像素的深度值；
S14、分析连续性表征图的连通性，获得包含一个或多个连通区域的连续性连通图；
S15、比较连续性连通图中每块连通区域的面积，将面积小于阈值Fa的连通区域的数据删除，获得近景连通图；
S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图；
S3、将所述近景连通图和具有皮肤特征的连通图做交运算，获得包括一个或多个重叠区域的重叠连通图；
S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；
S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。
2.根据权利要求1所述的一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，所述邻域像素为中心像素的八连通域内的像素。
3.根据权利要求1所述的一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，所述步骤S2的具体操作如下：
S21、将彩色图像从RGB空间变换到YCbCr空间，检测图像内所有像素点的(Cb,Cr)坐标；
S22、基于椭圆皮肤模型分析图像中每个像素的(Cb,Cr)坐标，当某一像素的(Cb,Cr)坐标位于椭圆皮肤模型内，该像素点为皮肤点，令该像素点的灰度值为255，否则该像素点为非皮肤点，令该像素点的灰度值为0，分析所有像素得到皮肤标记图；
S23、对皮肤标记图进行闭运算，去除皮肤标记图中皮肤区域内的漏洞，即将漏洞处像素点的灰度值设置为255；
S24、分析步骤S23处理后的皮肤标记图的连通性，并去除面积小于阈值Fb的连通区域的数据，获得具有皮肤特征的连通图。
4.根据权利要求1所述的一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，所述步骤S4的具体操作为：
计算重叠连通图中所有重叠区域的面积，当重叠区域的面积大于设置的面积阈值Fc，该重叠区域为有效手部区域，获取所有有效手部区域，并将区域内像素点的深度信息和颜色信息填补到有效手部区域内。
5.根据权利要求1所述的一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，所述步骤S5中三角网格的三维顶点坐标的计算公式如下：
Figure FDA0002698799940000031
其中，(x,y,z)为三角网格的三维顶点坐标，I(u,v)表示坐标为(u,v)的像素点的深度值，K-1为相机内参矩阵。
CN201910504554.8A 2019-06-12 2019-06-12 一种用于沉浸式模拟器的手部模型实时生成方法 Expired - Fee Related CN110335342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910504554.8A CN110335342B (zh) 2019-06-12 2019-06-12 一种用于沉浸式模拟器的手部模型实时生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910504554.8A CN110335342B (zh) 2019-06-12 2019-06-12 一种用于沉浸式模拟器的手部模型实时生成方法

Publications (2)

Publication Number Publication Date
CN110335342A CN110335342A (zh) 2019-10-15
CN110335342B true CN110335342B (zh) 2020-12-08

Family

ID=68141150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910504554.8A Expired - Fee Related CN110335342B (zh) 2019-06-12 2019-06-12 一种用于沉浸式模拟器的手部模型实时生成方法

Country Status (1)

Country Link
CN (1) CN110335342B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930231B (zh) * 2020-07-27 2022-02-25 歌尔光学科技有限公司 交互控制方法、终端设备及存储介质
CN113128435B (zh) * 2021-04-27 2022-11-22 南昌虚拟现实研究院股份有限公司 图像中手部区域分割方法、装置、介质及计算机设备
CN114926605B (zh) * 2022-07-19 2022-09-30 北京飞渡科技有限公司 一种三维模型的抽壳方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867311B (zh) * 2011-07-07 2015-11-25 株式会社理光 目标跟踪方法和目标跟踪设备
CN102316352B (zh) * 2011-08-08 2013-11-06 清华大学 一种基于区域连通图的立体视频深度图的制作方法和装置
CN104123529B (zh) * 2013-04-25 2018-04-10 株式会社理光 人手检测方法及系统
US10048765B2 (en) * 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity
CN106373086A (zh) * 2016-09-29 2017-02-01 福州大学 一种基于增强现实的戒指2d在线实时试戴方法及系统
CN107103311A (zh) * 2017-05-31 2017-08-29 西安工业大学 一种连续手语的识别方法及其装置
CN109344701B (zh) * 2018-08-23 2021-11-30 武汉嫦娥医学抗衰机器人股份有限公司 一种基于Kinect的动态手势识别方法

Also Published As

Publication number Publication date
CN110335342A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN110335342B (zh) 一种用于沉浸式模拟器的手部模型实时生成方法
Gaboury Image objects: An archaeology of computer graphics
US10489956B2 (en) Robust attribute transfer for character animation
CN104915978B (zh) 基于体感相机Kinect的真实感动画生成方法
JP7026222B2 (ja) 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
EP4147209A1 (en) Fast and deep facial deformations
CN106710362A (zh) 使用虚拟现实设备进行的飞行训练方法
US20190080510A1 (en) Creating a synthetic model with organic veracity
KR100895978B1 (ko) 디지털 수채 영상 재현 시스템 및 방법
US11055892B1 (en) Systems and methods for generating a skull surface for computer animation
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
Inamoto et al. Intermediate view generation of soccer scene from multiple videos
Weir et al. BurnAR: Feel the heat
CN110134247A (zh) 一种基于vr的船舶运动姿态增强现实互动系统及方法
Shardakov et al. Development of an adaptive module for visualization of the surrounding space for cloud educational environment
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质
CN110765555A (zh) 一种列车运行仿真三维视景展示方法及装置
CN115686202A (zh) 跨Unity/Optix平台的三维模型交互渲染方法
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、系统和处理器
Carozza et al. An immersive hybrid reality system for construction training
Sharma et al. Video Demo: Unsupervised Learning of Depth and Ego-Motion from Cylindrical Panoramic Video
CA3143520C (en) Method of computing simulated surfaces for animation generation and other purposes
CN109214062B (zh) 基于图像显示的虚拟车辆模型及虚拟车辆模型显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201208

CF01 Termination of patent right due to non-payment of annual fee