CN112738361B - 一种视频直播虚拟演播厅的实现方法 - Google Patents
一种视频直播虚拟演播厅的实现方法 Download PDFInfo
- Publication number
- CN112738361B CN112738361B CN202011578324.5A CN202011578324A CN112738361B CN 112738361 B CN112738361 B CN 112738361B CN 202011578324 A CN202011578324 A CN 202011578324A CN 112738361 B CN112738361 B CN 112738361B
- Authority
- CN
- China
- Prior art keywords
- source
- image
- virtual studio
- layer
- uvmap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000009877 rendering Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 11
- 238000005562 fading Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003796 beauty Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种视频直播虚拟演播厅的实现方法，创建虚拟演播厅场景素材及物品初始位置和形状设计；根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境；编辑虚拟演播厅需要用的输入源；调整虚拟演播厅中的物品位置、大小、形状以及调整镜头的整体范围及角度；将虚拟演播厅的素材和各种输入源合成做输出。本发明使用了uvmap贴图技术，通过定义图片上每个点的位置的信息，这些点与3D模型是相互联系的，以决定表面纹理贴图的位置；UV将图像上每一个点精确对应到模型物体的表面，在点与点之间的间隙位置由软件进行图像光滑插值处理，通过源图灵活的关联到零散的3D模型上，可以将2D图像上的每一点精确对应到3D模型物体表面，做出各种3D效果。
Description
技术领域
本发明涉及虚拟直播技术领域，特别涉及一种视频直播虚拟演播厅的实现方法。
背景技术
在现有技术中，目前同类技术使用的是平面投影方式是将图像沿x，y或z轴直接投影到物体。这种方法使用于纸张，布告，书的封面等(也就是表面平整的物体)。平面投影的缺点是如果表面不平整，或者物体边缘弯曲，就会产生不理想接缝和变形，避免这种情况需要创建带有alpha通道的图像，来掩盖临近的平面投影接缝，而这会是非常烦琐的工作。如果你的图像与表面形状不同，自动缩放就会改变图像的比例以吻合表面，这通常会产生不理想的效果。
基于此，现研究一种能够将2D图像上的每一点精确对应到3D模型物体表面的视频直播虚拟演播厅的实现方法。
发明内容
为解决上述问题，本发明旨在提出一种视频直播虚拟演播厅的实现方法，通过uvmap贴图技术，将2D图像上的每一点精确对应到3D模型物体表面，可以更灵活、简单的做出各种3D效果。
为达到上述目的，本发明的技术方案是这样实现的：
一种视频直播虚拟演播厅的实现方法，所述实现方法包括以下步骤：
S1、创建虚拟演播厅场景素材及物品初始位置和形状设计；
S2、根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境；
S3、编辑虚拟演播厅需要用的输入源；
S4、调整虚拟演播厅中的物品位置、大小、形状以及调整镜头的整体范围及角度；
S5、将虚拟演播厅的素材和各种输入源合成做输出。
进一步的，所述S1中的创建虚拟演播厅场景素材及物品初始位置和形状设计的具体流程为：使用图像编辑工具创建场景图像，设计场景中的物品位置及形状大小，将物品的位置和大小信息保存成xml格式的文件，物品形状和倒影效果使用uvmap图像做映射。
进一步的，所述S2中的根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境的具体流程为：
S21、创建虚拟演播厅源：读取虚拟演播厅xml文件，解析出一个个图层信息，创建图层源，将图层信息传给图层源做初始化处理；
S22、图层源加载初始化图像：当图层需要做3D效果或倒影效果，加载uvmap图像；进行图层源的纹理创建时，创建两个普通纹理和一个uvmap映射纹理，一个普通纹理用于显示初始图像，一个普通纹理用于显示绑定的输入源，uvma p纹理用于该图层的图像效果映射；当图层源渲染时判断当前是否有绑定输入源，如果有绑定输入源就渲染输入源，否则就渲染初始图像；如果有uvma p纹理时，在渲染时使用uvma p纹理做像素映射，否则使用普通方式渲染，图层源渲染完成再通知虚拟演播源刷新主图层；
S23、根据图层信息调整图层源在虚拟演播厅中的位置、大小和图层的有效范围：添加虚拟演播厅的各种镜头预设效果，各种镜头预设效果独立的设置过渡时间，镜头预设效果在直播的过程中动态的切换演播厅的直播效果，使直播效果更加真实；
S24、虚拟演播厅源的实时渲染：当有接收到图层源通知渲染或有切换镜头预设效果时做渲染处理，把所有图层源合成渲染后，再把最终的主图层内容做镜头范围的调整。
进一步的，所述S3中的编辑虚拟演播厅需要用的输入源的具体步骤为：对输入源做效果处理，然后把输入源绑定到虚拟演播厅相应的图层源上。
进一步的，所述输入源包括摄像头、本地各种媒体文件、网络视频、字幕中的至少一种，所述效果处理包括绿幕抠图、美颜处理、字幕叠加、画中画中的至少一种。
进一步的，所述S4中的调整虚拟演播厅中的物品位置、大小、形状以及调整镜头的整体范围及角度的具体步骤为：将输入源绑定到图层后，再根据效果的需求，实现物体的移动、旋转、缩放，并设置自动动画，一键实现渐隐渐现、绕X，Y，Z轴旋转，及按轨道移动。
进一步的，所述S5中的将虚拟演播厅的素材和各种输入源合成做输出的具体步骤为：虚拟演播厅配置完成后先把最终效果输出到预览窗口给用户观看，用户确定效果后再做直播输出，直播输出时从虚拟演播厅源读取主纹理，把主纹理的数据从显存拷到内存做编码的格式转换，再通过网络协议传送给服务器直播出去。
进一步的，所述S1中的创建虚拟演播厅场景素材及物品初始位置和形状设计使用UVMap图像过滤模块，所述UVMap图像过滤模块具体算法为：源图像的最终渲染位置、形状、大小和内容通过UVMap图像中的像素点来决定，取UVM ap图像像素值，如果像素值的a通道值大于0时，就用该像素的r和g值做为源图像像素的位置uv坐标，然后读取源图像这个坐标点的像素来显示到UVMap图像的当前位置上。
进一步的，在所述S2根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境中使用多方位镜头预设模块，所述多方位镜头预设模块预先设置好镜头的各种方位和过渡持续时间，在直播过程中实现自动动画，一键实现渐隐渐现、绕X，Y，Z轴旋转，及按轨道移动的效果。
进一步的，在所述S3编辑虚拟演播厅需要用的输入源中使用多输入源图层绑定模块，所述多输入源图层绑定模块在直播过程中采用动态的切换输入源，支持同时绑定多个图层的输入源，图层和输入源可以随意绑定。
有益效果：本发明使用了uvmap贴图技术，通过定义图片上每个点的位置的信息，这些点与3D模型是相互联系的，以决定表面纹理贴图的位置；另外，UV将图像上每一个点精确对应到模型物体的表面，在点与点之间的间隙位置由软件进行图像光滑插值处理，因此，通过源图灵活的关联到零散的3D模型上，从而可以将2D图像上的每一点精确对应到3D模型物体表面，做出各种3D效果。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的视频直播虚拟演播厅的实现方法的整体流程图；
图2为本发明实施例所述的视频直播虚拟演播厅的实现方法的主体构架图；
图3为本发明实施例所述的视频直播虚拟演播厅的实现方法的主体流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
实施例1
参见图1-3：一种视频直播虚拟演播厅的实现方法，所述实现方法包括以下步骤：
S1、创建虚拟演播厅场景素材及物品初始位置和形状设计：使用图像编辑工具创建场景图像，设计场景中的物品位置及形状大小，将物品的位置和大小信息保存成xml格式的文件，物品形状和倒影效果使用uvmap图像做映射；
S2、根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境：
S21、创建虚拟演播厅源：读取虚拟演播厅xml文件，解析出一个个图层信息，创建图层源，将图层信息传给图层源做初始化处理；
S22、图层源加载初始化图像：当图层需要做3D效果或倒影效果，加载uvmap图像；进行图层源的纹理创建时，创建两个普通纹理和一个uvmap映射纹理，一个普通纹理用于显示初始图像，一个普通纹理用于显示绑定的输入源，uvmap纹理用于该图层的图像效果映射；当图层源渲染时判断当前是否有绑定输入源，如果有绑定输入源就渲染输入源，否则就渲染初始图像；如果有uvmap纹理时，在渲染时使用uvmap纹理做像素映射，否则使用普通方式渲染，图层源渲染完成再通知虚拟演播源刷新主图层；
S23、根据图层信息调整图层源在虚拟演播厅中的位置、大小和图层的有效范围：添加虚拟演播厅的各种镜头预设效果，各种镜头预设效果独立的设置过渡时间，镜头预设效果在直播的过程中动态的切换演播厅的直播效果，使直播效果更加真实；
S24、虚拟演播厅源的实时渲染：当有接收到图层源通知渲染或有切换镜头预设效果时做渲染处理，把所有图层源合成渲染后，再把最终的主图层内容做镜头范围的调整；
S 3、编辑虚拟演播厅需要用的输入源；对输入源做效果处理，然后把输入源绑定到虚拟演播厅相应的图层源上，所述输入源包括摄像头、本地各种媒体文件、网络视频、字幕中的至少一种，所述效果处理包括绿幕抠图、美颜处理、字幕叠加、画中画中的至少一种；
S4、调整虚拟演播厅中的物品位置、大小、形状以及调整镜头的整体范围及角度；将输入源绑定到图层后，再根据效果的需求，实现物体的移动、旋转、缩放，并设置自动动画，一键实现渐隐渐现、绕X，Y，Z轴旋转，及按轨道移动；
S 5、将虚拟演播厅的素材和各种输入源合成做输出：虚拟演播厅配置完成后先把最终效果输出到预览窗口给用户观看，用户确定效果后再做直播输出，直播输出时从虚拟演播厅源读取主纹理，把主纹理的数据从显存拷到内存做编码的格式转换，再通过网络协议传送给服务器直播出去。
需要说明的是，本实施例使用了uVmap贴图技术，通过定义图片上每个点的位置的信息，这些点与3D模型是相互联系的，以决定表面纹理贴图的位置；另外，UV将图像上每一个点精确对应到模型物体的表面，在点与点之间的间隙位置由软件进行图像光滑插值处理，因此，通过源图灵活的关联到零散的3D模型上，从而可以将2D图像上的每一点精确对应到3D模型物体表面，做出各种3D效果。
在具体实现中，所述S1中的创建虚拟演播厅场景素材及物品初始位置和形状设计使用UVMap图像过滤模块，所述UVMap图像过滤模块具体算法为：源图像的最终渲染位置、形状、大小和内容通过UVMap图像中的像素点来决定，取UVMap图像像素值，如果像素值的a通道值大于O时，就用该像素的r和g值做为源图像像素的位置uv坐标，然后读取源图像这个坐标点的像素来显示到UVMap图像的当前位置上。
在具体实现中，在所述S2根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境中使用多方位镜头预设模块，所述多方位镜头预设模块预先设置好镜头的各种方位和过渡持续时间，在直播过程中实现自动动画，一键实现渐隐渐现、绕X，Y，Z轴旋转，及按轨道移动的效果。
在具体实现中，在所述S3编辑虚拟演播厅需要用的输入源中使用多输入源图层绑定模块，所述多输入源图层绑定模块在直播过程中采用动态的切换输入源，支持同时绑定多个图层的输入源，图层和输入源可以随意绑定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种视频直播虚拟演播厅的实现方法，其特征在于，所述实现方法包括以下步骤：
S1、创建虚拟演播厅场景素材及物品初始位置和形状设计；具体流程为：使用图像编辑工具创建场景图像，设计场景中的物品位置及形状大小，将物品的位置和大小信息保存成xml格式的文件，物品形状和倒影效果使用uvmap图像做映射；所述S1中的创建虚拟演播厅场景素材及物品初始位置和形状设计使用UVMap图像过滤模块，所述UVMap图像过滤模块具体算法为：源图像的最终渲染位置、形状、大小和内容通过UVMap图像中的像素点来决定，取UVMap图像像素值，如果像素值的a通道值大于0时，就用该像素的r和g值做为源图像像素的位置uv坐标，然后读取源图像这个坐标点的像素来显示到UVMap图像的当前位置上；
S2、根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境；具体流程为：
S21、创建虚拟演播厅源：读取虚拟演播厅xml文件，解析出一个个图层信息，创建图层源，将图层信息传给图层源做初始化处理；
S22、图层源加载初始化图像：当图层需要做3D效果或倒影效果，加载uvmap图像；进行图层源的纹理创建时，创建两个普通纹理和一个uvmap映射纹理，一个普通纹理用于显示初始图像，一个普通纹理用于显示绑定的输入源，uvmap纹理用于该图层的图像效果映射；当图层源渲染时判断当前是否有绑定输入源，如果有绑定输入源就渲染输入源，否则就渲染初始图像；如果有uvmap纹理时，在渲染时使用uvmap纹理做像素映射，否则使用普通方式渲染，图层源渲染完成再通知虚拟演播源刷新主图层；
S23、根据图层信息调整图层源在虚拟演播厅中的位置、大小和图层的有效范围：添加虚拟演播厅的各种镜头预设效果，各种镜头预设效果独立的设置过渡时间，镜头预设效果在直播的过程中动态的切换演播厅的直播效果，使直播效果更加真实；
S24、虚拟演播厅源的实时渲染：当有接收到图层源通知渲染或有切换镜头预设效果时做渲染处理，把所有图层源合成渲染后，再把最终的主图层内容做镜头范围的调整；
S3、编辑虚拟演播厅需要用的输入源；具体步骤为：对输入源做效果处理，然后把输入源绑定到虚拟演播厅相应的图层源上；
S4、调整虚拟演播厅中的物品位置、大小、形状以及调整镜头的整体范围及角度；
S5、将虚拟演播厅的素材和各种输入源合成做输出。
2.根据权利要求1所述的视频直播虚拟演播厅的实现方法，其特征在于，所述输入源包括摄像头、本地各种媒体文件、网络视频、字幕中的至少一种，所述效果处理包括绿幕抠图、美颜处理、字幕叠加、画中画中的至少一种。
3.根据权利要求1所述的视频直播虚拟演播厅的实现方法，其特征在于，所述S4中的调整虚拟演播厅中的物品位置、大小、形状以及调整镜头的整体范围及角度的具体步骤为：将输入源绑定到图层后，再根据效果的需求，实现物体的移动、旋转、缩放，并设置自动动画，一键实现渐隐渐现、绕X，Y，Z轴旋转，及按轨道移动。
4.根据权利要求1所述的视频直播虚拟演播厅的实现方法，其特征在于，所述S5中的将虚拟演播厅的素材和各种输入源合成做输出的具体步骤为：虚拟演播厅配置完成后先把最终效果输出到预览窗口给用户观看，用户确定效果后再做直播输出，直播输出时从虚拟演播厅源读取主纹理，把主纹理的数据从显存拷到内存做编码的格式转换，再通过网络协议传送给服务器直播出去。
5.根据权利要求1所述的视频直播虚拟演播厅的实现方法，其特征在于，在所述S2根据选择的场景方案构建出虚拟演播厅并加载场景素材初始化环境中使用多方位镜头预设模块，所述多方位镜头预设模块预先设置好镜头的各种方位和过渡持续时间，在直播过程中实现自动动画，一键实现渐隐渐现、绕X，Y，Z轴旋转，及按轨道移动的效果。
6.根据权利要求1所述的视频直播虚拟演播厅的实现方法，其特征在于，在所述S3编辑虚拟演播厅需要用的输入源中使用多输入源图层绑定模块，所述多输入源图层绑定模块在直播过程中采用动态的切换输入源，支持同时绑定多个图层的输入源，图层和输入源可以随意绑定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011578324.5A CN112738361B (zh) | 2020-12-28 | 2020-12-28 | 一种视频直播虚拟演播厅的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011578324.5A CN112738361B (zh) | 2020-12-28 | 2020-12-28 | 一种视频直播虚拟演播厅的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112738361A CN112738361A (zh) | 2021-04-30 |
| CN112738361B true CN112738361B (zh) | 2024-04-19 |
Family
ID=75606407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011578324.5A Active CN112738361B (zh) | 2020-12-28 | 2020-12-28 | 一种视频直播虚拟演播厅的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112738361B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177900B (zh) * | 2021-05-26 | 2024-04-26 | 广州市百果园网络科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113436343A (zh) * | 2021-06-21 | 2021-09-24 | 广州博冠信息科技有限公司 | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103638A (zh) * | 2017-05-27 | 2017-08-29 | 杭州万维镜像科技有限公司 | 一种虚拟场景与模型的快速渲染方法 |
| KR20200112191A (ko) * | 2019-03-21 | 2020-10-05 | (주)일마그나 | 영상 속 2d 오브젝트에 3d 텍스처를 자동으로 매핑해서 3d 오브젝트를 생성하는 시스템 및 방법 |
| CN112017264A (zh) * | 2020-09-10 | 2020-12-01 | 网易（杭州）网络有限公司 | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9870646B2 (en) * | 2015-06-26 | 2018-01-16 | Virtual Outfits, Llc | Three-dimensional model generation based on two-dimensional images |
-
2020
- 2020-12-28 CN CN202011578324.5A patent/CN112738361B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103638A (zh) * | 2017-05-27 | 2017-08-29 | 杭州万维镜像科技有限公司 | 一种虚拟场景与模型的快速渲染方法 |
| KR20200112191A (ko) * | 2019-03-21 | 2020-10-05 | (주)일마그나 | 영상 속 2d 오브젝트에 3d 텍스처를 자동으로 매핑해서 3d 오브젝트를 생성하는 시스템 및 방법 |
| CN112017264A (zh) * | 2020-09-10 | 2020-12-01 | 网易（杭州）网络有限公司 | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112738361A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11079912B2 (en) | Method and apparatus for enhancing digital video effects (DVE) | |
| US11721071B2 (en) | Methods and systems for producing content in multiple reality environments | |
| US6763175B1 (en) | Flexible video editing architecture with software video effect filter components | |
| US7854518B2 (en) | Mesh for rendering an image frame | |
| US9137504B2 (en) | System and method for projecting multiple image streams | |
| US7907792B2 (en) | Blend maps for rendering an image frame | |
| US8306399B1 (en) | Real-time video editing architecture | |
| US20110074784A1 (en) | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-d images into stereoscopic 3-d images | |
| CN112738361B (zh) | 一种视频直播虚拟演播厅的实现方法 | |
| US20070291184A1 (en) | System and method for displaying images | |
| US20070291047A1 (en) | System and method for generating scale maps | |
| US6763176B1 (en) | Method and apparatus for real-time video editing using a graphics processor | |
| GB2113950A (en) | Image composition system | |
| WO2021135320A1 (zh) | 一种视频的生成方法、装置及计算机系统 | |
| CN110401795A (zh) | 图像处理装置、图像处理方法和程序 | |
| CN102257806A (zh) | 肤色增强的图像处理方法和系统 | |
| JP2011023902A (ja) | 画像処理装置および画像処理方法 | |
| CN102739984A (zh) | 一种高清虚拟布景的实现方法及系统 | |
| US20080260290A1 (en) | Changing the Aspect Ratio of Images to be Displayed on a Screen | |
| GB2157121A (en) | Image composition system | |
| CN113923379B (zh) | 一种自适应视窗的多画面合成方法及处理终端 | |
| Ohm et al. | Signal Composition, Rendering and Presentation | |
| CN112988101A (zh) | 图像的处理方法及装置、非易失性存储介质、处理器 | |
| JPH0261687A (ja) | Ｃａｄホログラフィシステムの輝度制御方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |