CN110060351B - 一种基于rgbd相机的动态三维人物重建和直播方法 - Google Patents

一种基于rgbd相机的动态三维人物重建和直播方法 Download PDF

Info

Publication number
CN110060351B
CN110060351B CN201910256218.6A CN201910256218A CN110060351B CN 110060351 B CN110060351 B CN 110060351B CN 201910256218 A CN201910256218 A CN 201910256218A CN 110060351 B CN110060351 B CN 110060351B
Authority
CN
China
Prior art keywords
image
dimensional
rgbd
matting
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910256218.6A
Other languages
English (en)
Other versions
CN110060351A (zh
Inventor
孙正忠
张迎梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Plex VR Digital Technology Shanghai Co Ltd
Original Assignee
Plex VR Digital Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Plex VR Digital Technology Shanghai Co Ltd filed Critical Plex VR Digital Technology Shanghai Co Ltd
Priority to CN201910256218.6A priority Critical patent/CN110060351B/zh
Publication of CN110060351A publication Critical patent/CN110060351A/zh
Application granted granted Critical
Publication of CN110060351B publication Critical patent/CN110060351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于RGBD相机的动态三维人物重建和直播方法，包括步骤S1：对采集到的RGBD图像进行实时抠像，将所述RGBD图像的人物部分抠出；步骤S2：对抠像后的所述RGBD图像进行压缩，并采用视频推流协议进行实时推流；步骤S3：在移动端接收所述RGBD图像的抠像结果，并进行解压，生成三维点云，将点云连成面，得到人体的三维模型；步骤S4：在移动端对三维模型进行双目渲染，通过佩戴三维显示设备即可看到具有立体感和AR效果的图像。该方法计算量相对较小，可以在移动端进行重建，重建速度快，效果好。该方法应用场景广，不仅可以应用于实时三维人物直播，还可以应用于全息通话和全息会议等多个领域，用户可以通过AR，VR和全息设备进行观看。

Description

一种基于RGBD相机的动态三维人物重建和直播方法
技术领域
本发明涉及实时三维重建领域，尤其涉及一种基于RGBD相机的动态三维人物重建和直播方法。
背景技术
由于当前直播行业的兴起，传统的二维视频直播形式单一，沉浸感差，亟需新的直播形式的介入，来提升观众的体验感。而随着增强现实(AR)、虚拟现实(VR)和全息技术的发展，AR、VR和全息设备为三维数据的呈现提供了显示终端，未来的直播方式也极有可能是三维直播。目前，已有一些新的直播形式逐渐涌现出来，接下来简要介绍和分析其中的三种：
1、采用绿幕抠图的技术，将主播人物抠出来，然后更换背景，从而产生主播置身其他场景的效果。这种方式技术上比较简单，形式上具有一定的新颖性，但是最终仍旧是以二维形式呈现在观众面前，缺乏沉浸感。
2、采用360度全景视频直播技术，这是一种多摄像头向外拍摄的方式，比较适合室外直播，用户转动角度观看周围的场景。虽然具有一定的沉浸感，但这使用的是一种二维视频拼接技术，缺乏立体感，同时不适合室内主播的直播，毕竟这时观众的关注点是在主播身上而不是周围的环境。
3、采用3D虚拟偶像技术，对二维视频中主播的骨骼点和脸部关键点进行提取，分析人物的运动，并将人体的运动和脸部的表情信息映射到3D虚拟角色身上，从而驱动3D虚拟偶像具有和真人一样运动和表情。相比前两种方式，这是一种真正的3D呈现方式，可以在AR、VR和全息设备中进行展示，同时虚拟偶像是多样性的，可以是卡通形象也可以偏真人形象，会有一定的受众和市场。但是毕竟与主播本人的形象不同，对于一些大主播和明星来说，粉丝往往更喜欢的是主播本人，而不是一个卡通或者跟与主播相像的虚拟形象。
而本发明的技术是使用RGBD相机直接对主播本人进行实时三维重建和直播，得到的三维人物是主播的真人，可以最大程度上呈现出主播真实的三维形象，从而给观众以更强烈的沉浸感和交互性，具有极佳的体验效果。
目前人体的三维重建常用的方法主要有两种：
1、利用多台RGB相机进行多角度拍摄和重建，然后利用运动恢复结构(SFM)算法进行模型的三维重建。该方法重建质量高，但是速度非常慢，重建一帧往往就需要5-10分钟的时间，几乎无法应用于实时重建的场景。
2、利用多台RGBD相机进行多角度拍摄和重建，可以直接根据RGBD信息恢复出三维点云，通过提前标定的相机参数可以将点云数据融合起来。该方法的重建质量相对较低，但是重建速度相对较快，在电脑端可以达到实时重建的效果。但是由于重建得到的数据量巨大，带宽要求高，难以进行实时传输。
因此，本领域的技术人员致力于开发一种基于RGBD相机的动态人物三维重建和直播方法，在三维人物重建质量和速度上进行提升，使其可以满足直播对三维人物效果和实时性的要求。该技术可以解决三维重建速度慢、数据量大等问题，可应用于三维主播、全息会议和通话等多个领域。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是满足直播对三维人物效果和实时性的要求。
为实现上述目的，本发明提供了一种基于RGBD相机的动态三维人物重建和直播方法，包括如下步骤：
步骤S1：对采集到的RGBD图像进行实时抠像，将所述RGBD图像的人物部分抠出；
步骤S2：对抠像后的所述RGBD图像进行压缩，并采用视频推流协议进行实时推流；
步骤S3：在移动端接收所述RGBD图像的抠像结果，并进行解压，生成三维点云，将点云连成面，得到人体的三维模型；
步骤S4：在移动端对三维模型进行双目渲染，通过佩戴三维显示设备即可看到具有立体感和AR效果的图像。
进一步地，所述步骤S1中的实时抠像，采用的是基于GPU加速的RGB和深度相结合的抠图算法。
进一步地，所述实时抠像可以结合RGB图像，先拍摄空背景，再利用背景减除，去掉背景不变的部分。
进一步地，所述抠像结果的特征为像素越接近深度抠像结果边缘，RGB抠像结果的权值越高；像素越远离深度抠像结果边缘，深度抠像结果的权值越高。
进一步地，所述抠图结果中包括抠像的遮罩图和人体所在区域的包围盒信息。
进一步地，所述步骤S3还包括人体三维模型构建的具体步骤：
S3-1：在移动端接收到RGB图、深度图、遮罩图、包围盒数据信息；
S3-2：根据所述遮罩图、包围盒可以得到所述RGB图中的人物区域；
S3-3：所述RGB图中每一个像素点均可视为三维模型的一个顶点，所述顶点的纹理坐标即为该像素点在RGB图中的坐标值；根据平面的生成方法，将相邻两行顶点之间连成三角形，而在遮罩区域外的顶点可以直接删掉，得到贴有RGB图的平面模型；
S3-4：根据已知的相机参数将顶点由相机坐标系变换到世界坐标系下，再根据深度图中每个像素点的深度值对顶点在深度方向进行偏移，即可得到人体三维模型。
进一步地，所述人体三维模型构建可以在着色器中完成。
进一步地，所述在移动端对三维模型进行双目渲染时，还可以传输声音信息，所述声音信息可以添加到传输的数据流中，在显示端进行解码和播放。
进一步地，所述RGBD相机为可同时采集彩色图像和深度图像的传感器，包括但不限于Kinect Xbox 360、Kinect One、Xtion、Orbbec。
进一步地，所述三维显示端设备包括但不限于AR、VR和全息设备。
从效果上看，三维人物直播的沉浸感和立体感将大大优于传统的视频直播，结合AR,VR和全息显示装置，观众可以面对面地与三维主播进行交流。而与传统的绿幕抠图直播相比，该技术第一步也进行了抠图操作，但是不需要特定的绿幕场景，而是采用基于GPU加速的RGB和深度相结合的抠图算法。对场景要求少，使用范围广。与传统的三维重建方法相比，该方法计算量相对较小，可以在移动端进行重建，重建速度快，效果好。传输RGBD图像和遮罩图，采用视频压缩和推流的技术，与传输模型数据的方法，传输带宽要求低，数据量小。该方法应用场景广，不仅可以应用于实时三维人物直播，还可以应用于全息通话和全息会议等多个领域，用户可以通过AR，VR和全息设备进行观看。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的动态三维人物重建和直播方法流程示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
在三维人物直播的应用中，由于观众只关注主播的正面，在这里采用单个RGBD相机进行图像采集，并进行正面180度的三维重建。然而，该技术的方法同样可以应用到360度的三维重建中，只是涉及到多个RGBD相机的标定和点云融合，并增加一定的传输数据量。该系统的显示端，可以是各种AR、VR和全息设备，如HTC VIVE,Oculus,Hololens,Magic Leap,Lenovo Mirage AR,全息金字塔等。由于该技术对于显示端性能要求不高，在常见的移动手机上即可进行观看，这里以基于手机的联想MirageAR头盔为例。
该三维直播系统的流程如下，如图1所示，包括如下步骤：
S1、对采集到的RGBD图像进行实时抠像，将人物部分抠出。
S2、对抠像后的图像进行压缩，并采用常用的视频推流协议(如RTMP等)进行实时推流。
S3、在移动端接收RGBD图像的抠像结果，进行解压，并生成三维点云，将点云连成面，得到人体的三维模型。
S4、在移动端对三维模型进行双目渲染，通过佩戴Mirage AR头盔即可看到具有立体感和AR效果的图像。
针对步骤S1中的实时抠像，采用的是基于GPU加速的RGB和深度相结合的抠图算法。如果只用深度图来抠像，深度相近的物体无法抠除，这直接造成的结果是脚部与地面由于深度相近无法分开，同时于人体处在同一深度的物体无法扣除，效果较差。因而可以结合RGB图像，首先拍摄空背景，然后利用背景减除，可以去掉背景不变的部分，这就可以很好的解决只用深度图无法扣除的部分。
通过观察和实验，发现通过深度图的抠图结果前景形状较好，但是边缘噪声较多，这往往是由于深度相机的误差造成的。而利用RGB图像的抠图结果边缘平滑，但是容易受阴影和光照变化的影响。因而，在将二者抠图结果相结合时，秉承的原则是像素越接近深度抠像结果边缘，RGB抠像结果的权值越高，而越远离深度抠像结果边缘，深度抠像结果的权值越高。通过这种方法可以取得更精准的抠像结果，并且边缘更准。
在上述抠图结果中，需要记录了抠像的遮罩图和人体所在区域的包围盒信息。通过这两个信息可以准确的知道人体的区域，减少后期的运算量。由于需要传输RGB图、深度图、遮罩图、包围盒等多路数据，尽管经过视频编码和推流可以降低数据量，但是由于移动端带宽有限，往往仍需要降低图像分辨率，虽然可能会对最终重建质量造成一定影响，但是在保证一定分辨率的情况下，仍可以取得不错的模型重建效果。
在移动端接收到RGB图、深度图、遮罩图、包围盒等数据信息后，即可进行模型的重建。由于本发明关注的是图像中的人物，根据遮罩图、包围盒可以将RGB图中的人物区域得到，RGB图中每一个像素点均可视为三维模型的一个顶点，而该顶点的纹理坐标即为该像素点在RGB图中的坐标值。参考平面的生成方法，可以将相邻两行顶点之间连成三角形，而在遮罩区域外的顶点可以直接删掉。由于人体所在图像区域的有效部分通常并不大，因而这样生成的面数在可以接受的范围内。这时已经得到贴有RGB图像的平面模型，接下来本发明根据已知的相机参数将顶点由相机坐标系变换到世界坐标系下，再根据深度图中每个像素点的深度值对顶点在深度方向进行偏移，即可得到最终的人体三维模型，进而对模型进行渲染。上述操作均可以在着色器中完成，大大提高计算速度。
通过结合Lenovo Mirage AR的SDK，即可在AR头盔中对三维模型进行观看，进行沉浸式体验。而声音信息可以直接添加到传输的数据流中，在显示端进行解码和播放。
在本发明的变通实施例中，RGBD相机包括但不限于Kinect Xbox 360、KinectOne、Xtion、Orbbec等可同时采集彩色图像和深度图像的传感器。
在本发明的变通实施例中，三维显示端设备包括但不限于AR、VR和全息设备，如HTC VIVE,Oculus,Hololens,Magic Leap,Lenovo Mirage AR,全息金字塔等。
从效果上看，三维人物直播的沉浸感和立体感将大大优于传统的视频直播，结合AR,VR和全息显示装置，观众可以面对面地与三维主播进行交流。
而与传统的绿幕抠图直播相比，该技术第一步也进行了抠图操作，但是不需要特定的绿幕场景，而是采用基于GPU加速的RGB和深度相结合的抠图算法。对场景要求少，使用范围广。
与传统的三维重建方法相比，该方法计算量相对较小，可以在移动端进行重建，重建速度快，效果好。传输RGBD图像和遮罩图，采用视频压缩和推流的技术，与传输模型数据的方法，传输带宽要求低，数据量小。该方法应用场景广，不仅可以应用于实时三维人物直播，还可以应用于全息通话和全息会议等多个领域，用户可以通过AR，VR和全息设备进行观看。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于RGBD相机的动态三维人物重建和直播方法，其特征在于，包括如下步骤：
步骤S1：对采集到的RGBD图像进行实时抠像，将所述RGBD图像的人物部分抠出；
步骤S2：对抠像后的所述RGBD图像进行压缩，并采用视频推流协议进行实时推流；
步骤S3：在移动端接收所述RGBD图像的抠像结果，并进行解压，生成三维点云，将点云连成面，得到人体的三维模型；
步骤S4：在移动端对三维模型进行双目渲染，通过佩戴三维显示设备即可看到具有立体感和AR效果的图像；
其中，步骤S3中人体三维模型构建的具体步骤包括：
S3-1：在移动端接收到RGB图、深度图、遮罩图、包围盒数据信息；
S3-2：根据所述遮罩图、包围盒得到所述RGB图中的人物区域；
S3-3：所述RGB图中每一个像素点均可视为三维模型的一个顶点，所述顶点的纹理坐标即为该像素点在RGB图中的坐标值；根据平面的生成方法，将相邻两行顶点之间连成三角形，而在遮罩区域外的顶点直接删掉，得到贴有RGB图的平面模型；
S3-4：根据已知的相机参数将顶点由相机坐标系变换到世界坐标系下，再根据深度图中每个像素点的深度值对顶点在深度方向进行偏移，即可得到人体三维模型。
2.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述步骤S1中的实时抠像，采用的是基于GPU加速的RGB和深度相结合的抠图算法，所述实时抠像结合RGB图像，先拍摄空背景，再利用背景减除，去掉背景不变的部分。
3.如权利要求2所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述抠像结果的特征为像素越接近深度抠像结果边缘，RGB抠像结果的权值越高；像素越远离深度抠像结果边缘，深度抠像结果的权值越高。
4.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述抠像结果中包括抠像的遮罩图和人体所在区域的包围盒信息。
5.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述人体三维模型构建在着色器中完成。
6.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述在移动端对三维模型进行双目渲染时，还传输声音信息，所述声音信息添加到传输的数据流中，在显示端进行解码和播放。
7.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述RGBD相机为可同时采集彩色图像和深度图像的传感器，包括但不限于Kinect Xbox 360、Kinect One、Xtion、Orbbec。
8.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述三维显示设备包括但不限于AR、VR和全息设备。
CN201910256218.6A 2019-04-01 2019-04-01 一种基于rgbd相机的动态三维人物重建和直播方法 Active CN110060351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910256218.6A CN110060351B (zh) 2019-04-01 2019-04-01 一种基于rgbd相机的动态三维人物重建和直播方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910256218.6A CN110060351B (zh) 2019-04-01 2019-04-01 一种基于rgbd相机的动态三维人物重建和直播方法

Publications (2)

Publication Number Publication Date
CN110060351A CN110060351A (zh) 2019-07-26
CN110060351B true CN110060351B (zh) 2023-04-07

Family

ID=67317945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910256218.6A Active CN110060351B (zh) 2019-04-01 2019-04-01 一种基于rgbd相机的动态三维人物重建和直播方法

Country Status (1)

Country Link
CN (1) CN110060351B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517356A (zh) * 2019-08-21 2019-11-29 佳都新太科技股份有限公司 实现多路视频融合的三维增强现实的系统、方法及设备
CN110784728B (zh) * 2019-10-21 2022-08-12 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置、以及计算机可读存储介质
CN111739161B (zh) * 2020-07-23 2020-11-20 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备
GB2598345B (en) * 2020-08-27 2023-04-19 Extend Robotics Ltd Remote operation of robotic systems
CN113610980A (zh) * 2021-08-03 2021-11-05 江苏三步科技股份有限公司 基于动作捕捉和三维重建的视频会议方法、终端及系统
CN113823044B (zh) * 2021-10-08 2022-09-13 刘智矫 一种人体三维数据采集房间及其收费方法
CN114549744A (zh) * 2022-01-24 2022-05-27 聚好看科技股份有限公司 一种构建虚拟三维会议场景的方法、服务器和ar设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120257A (zh) * 2015-08-18 2015-12-02 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
WO2015188684A1 (zh) * 2014-06-12 2015-12-17 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN106383576A (zh) * 2016-09-08 2017-02-08 北京美吉克科技发展有限公司 Vr环境中显示体验者身体局部的方法及系统
CN106599770A (zh) * 2016-10-20 2017-04-26 江苏清投视讯科技有限公司 一种基于体感动作识别及抠像的滑雪场景显示方法
CN107438183A (zh) * 2017-07-26 2017-12-05 北京暴风魔镜科技有限公司 一种虚拟人物直播方法、装置及系统
CN109242960A (zh) * 2018-09-15 2019-01-18 武汉智觉空间信息技术有限公司 采用双Kinect和旋转平台的人体实时建模系统及其建模方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644467B2 (en) * 2011-09-07 2014-02-04 Cisco Technology, Inc. Video conferencing system, method, and computer program storage device
CN106648083B (zh) * 2016-12-09 2019-12-31 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN107610041B (zh) * 2017-08-16 2020-10-27 南京华捷艾米软件科技有限公司 基于3d体感摄像头的视频人像抠图方法及系统
CN108076307B (zh) * 2018-01-26 2021-01-05 南京华捷艾米软件科技有限公司 基于ar的视频会议系统和基于ar的视频会议方法
CN109547806A (zh) * 2018-10-23 2019-03-29 佟志强 一种ar替身直播方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015188684A1 (zh) * 2014-06-12 2015-12-17 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN105120257A (zh) * 2015-08-18 2015-12-02 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
CN106383576A (zh) * 2016-09-08 2017-02-08 北京美吉克科技发展有限公司 Vr环境中显示体验者身体局部的方法及系统
CN106599770A (zh) * 2016-10-20 2017-04-26 江苏清投视讯科技有限公司 一种基于体感动作识别及抠像的滑雪场景显示方法
CN107438183A (zh) * 2017-07-26 2017-12-05 北京暴风魔镜科技有限公司 一种虚拟人物直播方法、装置及系统
CN109242960A (zh) * 2018-09-15 2019-01-18 武汉智觉空间信息技术有限公司 采用双Kinect和旋转平台的人体实时建模系统及其建模方法

Also Published As

Publication number Publication date
CN110060351A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110060351B (zh) 一种基于rgbd相机的动态三维人物重建和直播方法
US11087549B2 (en) Methods and apparatuses for dynamic navigable 360 degree environments
US10839591B2 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
CN108648257B (zh) 全景画面的获取方法、装置、存储介质及电子装置
Zhang et al. 3D-TV content creation: automatic 2D-to-3D video conversion
Smolic et al. 3DAV exploration of video-based rendering technology in MPEG
JP4173477B2 (ja) リアルタイムレンダリング方法
JP4783588B2 (ja) 対話式視点ビデオシステムおよびプロセス
WO2019041351A1 (zh) 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
US20140340404A1 (en) Method and apparatus for generating 3d free viewpoint video
CN102340690A (zh) 一种互动电视节目系统及实现方法
US11232628B1 (en) Method for processing image data to provide for soft shadow effects using shadow depth information
JP2019046077A (ja) オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法
CN113989432A (zh) 3d影像的重构方法、装置、电子设备及存储介质
CN113873264A (zh) 显示图像的方法、装置、电子设备及存储介质
Kán et al. Physically-Based Depth of Field in Augmented Reality.
WO2022257480A1 (zh) 直播数据的生成方法、装置、存储介质及电子设备
WO2022001865A1 (zh) 深度图及视频处理、重建方法、装置、设备及存储介质
US9897806B2 (en) Generation of three-dimensional imagery to supplement existing content
CN114615487B (zh) 一种三维模型的显示方法及设备
Hapák et al. Real-time 4D reconstruction of human motion
Rajan et al. A realistic video avatar system for networked virtual environments
Hisatomi et al. Method of 3D reconstruction using graph cuts, and its application to preserving intangible cultural heritage
Grau et al. Stereoscopic 3D sports content without stereo rigs
Dai et al. Integration of multi-channel video and GIS based on LOD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant