CN107484036A - 一种弹幕显示方法和装置 - Google Patents
一种弹幕显示方法和装置 Download PDFInfo
- Publication number
- CN107484036A CN107484036A CN201710799059.5A CN201710799059A CN107484036A CN 107484036 A CN107484036 A CN 107484036A CN 201710799059 A CN201710799059 A CN 201710799059A CN 107484036 A CN107484036 A CN 107484036A
- Authority
- CN
- China
- Prior art keywords
- barrage
- video pictures
- models
- visual angle
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Abstract
本发明实施例公开了一种弹幕显示方法和装置，该方法包括：获取3D视频画面的深度信息；使用所述深度信息建立所述3D视频画面的3D模型；在所述3D模型中识别前景图像；在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。本发明实施例可以提高弹幕效果。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种弹幕显示方法和装置。
背景技术
视频已经成为人们生活中重要的娱乐活动之一，例如：播放电视剧、电影或者体育赛事等，或者还可以是玩游戏或者播放主播节目等等。然而，目前为了增加人们之间的互动，现在播放器往往支持弹幕，人们可以通过弹幕功能在视频中发表议论，且其他人可以观看到。但目前弹幕是平面的，并且是直接覆盖视频画面，从而影响人们观看视频，且还会分散人们对视频的注意力。可见，目前视频的弹幕效果比较差。
发明内容
本发明实施例提供了一种弹幕显示方法和装置，可以提高视频的弹幕效果。
第一方面，本发明实施例提供一种弹幕显示方法，包括：
获取3D视频画面的深度信息；
使用所述深度信息建立所述3D视频画面的3D模型；
在所述3D模型中识别前景图像；
在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
第二方面，本发明实施例提供一种弹幕显示装置，包括：
获取模块，用于获取3D视频画面的深度信息；
建立模块，用于使用所述深度信息建立所述3D视频画面的3D模型；
识别模块，用于在所述3D模型中识别前景图像；
渲染模块，用于在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
本发明实施例中，获取3D视频画面的深度信息；使用所述深度信息建立所述3D视频画面的3D模型；在所述3D模型中识别前景图像；在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。由于弹幕信息不会遮挡前景图像，从而可以提高弹幕效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种弹幕显示方法的流程示意图；
图2是本发明实施例提供的一种弹幕显示的示意图；
图3是本发明实施例提供的另一种弹幕显示方法的流程示意图；
图4是本发明实施例提供的一种深度信息计算的示意图；
图5是本发明实施例提供的一种前景图像的示意图；
图6是本发明实施例提供的一种弹幕显示装置的结构示意图；
图7是本发明实施例提供的另一种弹幕显示装置的结构示意图；
图8是本发明实施例提供的另一种弹幕显示装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本发明实施例提供的一种弹幕显示方法的流程示意图，如图1所示，包括以下步骤：
101、获取3D视频画面的深度信息。
其中，上述3D视频画面可以是3D视频中的画面，或者上述3D视频画面可以是由2D视频画面转换成的3D视频画面。且上述3D视频画面可以是第一视角画面或者第二视角画面，其中，第一视角画面可以是左眼画面，而上述第二视角画面可以是右眼画面，或者上述第一视角画面可以是右眼画面，而第二视角画面可以是左眼画面。
而上述深度信息可以是通过对上述3D视频画面的图像块进行分析，以得的上述3D视频画面的各图像块的深度信息，当然，本发明实施例中，对深度信息的获取方法不作限定。
102、使用所述深度信息建立所述3D视频画面的3D模型。
其中，上述3D模型可以是包括上述3D视频画面的多个图像块的深度信息的3D模型，且3D模型也可以称作3D点云。
103、在所述3D模型中识别前景图像。
其中，上述前景图像可以是前景人物图像，或者可以是前景景物图像等等，对此本发明实施例不作限定。另外，上述识别可以通过视频语义分割算法进行识别。且上述识别前景图像还可以是通过视频语义分割算法扣出上述前景图像，使得弹幕不遮挡前景图像。
104、在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
其中，上述弹幕信息可以是文字弹幕、图形弹幕或者弹幕立体模型等等，对此本发明实施例不作限定。在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息，可以是在所述3D模型中的弹幕位置中除所述前景图像之外的位置贴上弹幕信息。
需要说明的是，上述步骤仅是以一视频画面进行说明，本发明实施例中，对3D视频的每个帧画面均可以采用上述步骤，从而使弹幕不遮挡前景，从而达到实景弹幕效果。另外，本发明实施例中，上述方法可以通过播放器软件来实现，例如：本地播放器或者在线播放器，具体可以应用于计算机、手机、服务器等支持播放器的智能设备。
本发明实施例中，通过上述步骤可以实现将弹幕能够嵌入的3D视频的实景中，作为实景的一部分，且不遮挡前景图像(例如：主角)，例如：如图2所示，其中，视频中人物后面黑板上的弹幕文字，即为实景弹幕。
本发明实施例中，获取3D视频画面的深度信息；使用所述深度信息建立所述3D视频画面的3D模型；在所述3D模型中识别前景图像；在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。由于弹幕信息不会遮挡前景图像，从而可以提高弹幕效果。
请参考图3，图3是本发明实施例提供的另一种弹幕显示方法的流程示意图，如图3所示，包括以下步骤：
301、获取3D视频画面的深度信息。
其中，步骤301可以参见图1所示的实施例中步骤101的说明，此处不作赘述。
302、使用所述深度信息建立所述3D视频画面的3D模型。
其中，步骤302可以参见图1所示的实施例中步骤102的说明，此处不作赘述。
可选的，所述获取3D视频画面的深度信息，包括：
将3D视频画面分成N×N个图像块，搜索每个图像块在另一3D视频画面中的偏移距离，根据每个图像块的偏移距离，计算该图像块的深度信息，其中，所述N为预设整数，所述3D视频画面为3D视频的第一视角画面，所述另一3D视频画面为3D视频的第二视角画面，或者所述3D视频画面为3D视频的第二视角画面，所述另一3D视频画面为3D视频的第一视角画面。
例如：如图4所示，以N为16进行举例，把左半部分画面(例如：左眼图像)分成很多16×16图像块，而上述搜索每个图像块在另一3D视频画面中的偏移距离，可以采用类似于H.264标准的编码运动矢量估计的方法，采用均方误差(Mean Squared Error，MSE)最小化的方式从邻域开始搜索这些图像块在右半部分画面(例如：右眼图像)中的偏移距离，其中，偏移距离越靠左，景深越近，即可求得每图像块的深度信息，其中，图4中只显示了部分图像块的对应关系。
通过上述N×N个图像块可以获取上述3D视频画面的各图像块的深度信息，从而可以提高3D模型的精确度。
可选的，该实施方式中，所述使用所述深度信息建立所述3D视频画面的3D模型，包括：
对每个图像块的中心点的深度值进行去噪处理，以生成包括景深信息的3D模型。
其中，上述对每个图像块的中心点进行去噪处理可以是，把这些图像块的中心点做纠错和卡尔曼滤波(Kalman)去噪处理，从而得到包含一个景深信息的3D模型(或者称作3D点云)。
该实施方式中，通过上述去噪处理，可以使得3D模型更加精确。
303、通过预先训练的图像语义分割网络，分离所述3D模型中深度小于所述弹幕位置深度的前景图像。
其中，上述图像语义分割网络可以是预先通过训练好的图像语义分割网络，优选的，该图像语义分割网络可以是卷积神经网络(Fully Convolutional Networks，FCN)。另外，分离所述3D模型中深度小于所述弹幕位置深度的前景图像可以是分离上述视频画面中深度小于所渲染弹幕位置深度的前景区域。且还可以标记这些像素。例如，如图5所示，通过步骤303可以分离如图5所示的前景人物图像。
需要说明的是，本实施例中，步骤303为可选的，即上述前景图像还可以通过其他方式进行识别，对此本发明实施例不作限定。
304、在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
可选的，所述在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息，包括：
将所述3D视频画面渲染为背景画面，并根据用户设置的弹幕锚点和所述3D模型的坐标，确定所述3D模型的弹幕位置，并采用透视矩阵，按照深度缩放大小和贴合附着角度在所述弹幕位置渲染3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型，其中，渲染所述3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型时，排除所述前景图像。
其中，上述渲染步骤可以是由视频播放器的渲染器来实例，该渲染器可以由图形程序接口OpenGL(Open Graphics Library)或者Direct3D来实现，当然，本发明实施例中对此不作限定。而上述用户设置的弹幕锚点可以是用户在发送实景弹幕时设置的锚点，且该锚点可以由设定处N×N图像块的视频画面在后续帧的MSE搜索得到。且上述透视矩阵可以是无穷远摄像机透视矩阵，而上述贴合附着角度可以是上述渲染3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型需要贴合的角度。即上述步骤可以实现在3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型渲染时，采用无穷远摄像机透视矩阵，按照深度缩放大小和贴合附着角度，并且排除语义分割网络标记好的前景区域像素，以避免遮挡前景图像。
该实施方式中，可以实现3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型作为3D视频画面的3D实景弹幕，且3D实景弹幕不会遮挡前景人物图像，对画面遮挡影响很小，且能够实现透视效果，能够将弹幕逼真的嵌入到视频场景作为场景的一部分，改善观影体验，效果更酷，且还可以激发观众的创造欲和提高视频应用活跃度。
本发明实施例中，针对3D视频可以直接执行上述步骤，且可以是对3D视频的每帧画面均执行上述步骤。而针对2D视频，在所述获取视频画面的深度信息之前，所述方法还可以包括：
通过第一视角模型将2D视频画面转换成3D视频的第一视角画面；
通过第二视角模型将所述2D视频帧画面转换成3D视频的第二视角画面。
该实施方式中，可以实现将2D视频画面换成3D视频的第一视角画面和第二视角画面，之后可以采用上述步骤在第一视角画面和第二视角画面添加不遮挡前景图像的弹幕，不但提高的弹幕的效果，且还可以实现将2D视频转换为3D视频，以提高视频的播放效果。
下面，对2D视频画面转换成3D视频画面进行详细说明：
其中，上述第一视角模型和所述第二触摸模型均可以包括自编码器(AutoEncoder)和生成对抗网络(Generative Adversarial Nets，GAN)。进一步，上述第一视角模型和所述第二触摸模型均可以由自编码器和GAN组成。其中，自编码器可以充当GAN网络的生成器(Generator)，而GAN中的判别器(Discriminator)可以为单个卷积网络(Convolution)或使用效果更好的类似边界平衡生成对抗网络(Boundary EquilibriumGenerative Adversarial Networks，BEGAN)的方式由一个自编码器构成的判别器。本发明实施例中，第一视角模型和第二视角模型采用GAN的方式而不直接使用自编码器的原因是自编码器倾向于生成模糊图像，而GAN能生成更多图像细节，从而可以提高3D视频质量。
另外，本发明实施例中可以通过深度神经网络对获取的大量3D视频对所述第一视角模型和所述第二视角模型进行训练，其中，所述大量3D视频为3D视频的数量超过预设数量阈值。进一步的，述通过深度神经网络对获取的大量3D视频进行学习训练，以得到所述第一视角模型和所述第二视角模型，包括：
对所述大量3D视频进行解码，得到所述大量3D视频中的每一3D视频帧；
对每一3D视频帧进行剪裁，得到每一3D视频帧的第一视角画面和第二视频画面；
将所述第一视角画面经过所述第一视角模型包括的自编码器生成重构的第一视角假样本画面；
通过第一视角真样本画面和所述第一视角假样本画面对所述第一视角模型包括的判别器和生成器进行训练，其中，所述第一视角真样本画面为3D视频帧的第一视角画面；
将所述第一视角画面经过所述第二视角模型包括的自编码器生成重构的第二视角假样本画面；
通过第二视角真样本画面和所述第二视角假样本画面对所述第二视角模型包括的判别器和生成器进行训练，其中，所述第一视角真样本画面为3D视频帧的第二视角画面。
该实施方式中，可以在第一视角模型输入3D视频的第二视角画面(例如：左眼图)像经过自编码器生成重构的第一视角画面(例如：右眼图像)或者第二视角画面自身(例如：左眼图像自身)，作为假样本(Fake Sample)和取自3D视频帧的第一视角画画或者第二视角画面(例如：3D视频实际右眼图像或左眼图像)的真样本(Real Sample)来训练判别器，而训练生成器(即自编码器)的误差为这两部分之和：(1)来自真样本和假样本图像的均方误差(Mean Squared Error，MSE)；(2)输入来自自编码器的假样本并使判别器输出为真时，反向传播到判别器的输入端的误差。同理，对上述第二视角模型进行相应训练，即也可以用输入第一视角画面(例如：右眼图像)来生成第二视角画面(例如：左眼图像)或者第一视角画面自身(例如：右眼图像自身)图像对模型进行训练。
本实施例中，在图1所示的实施例的基础上增加了多种可选的实施方式，且可以进一步提高弹幕效果。
请参考图6，图6是本发明实施例提供的一种弹幕显示装置的结构示意图，如图6所示，包括：
获取模块601，用于获取3D视频画面的深度信息；
建立模块602，用于使用所述深度信息建立所述3D视频画面的3D模型；
识别模块603，用于在所述3D模型中识别前景图像；
渲染模块604，用于在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
可选的，所述获取模块601用于将3D视频画面分成N×N个图像块，搜索每个图像块在另一3D视频画面中的偏移距离，根据每个图像块的偏移距离，计算该图像块的深度信息，其中，所述N为预设整数，所述3D视频画面为3D视频的第一视角画面，所述另一3D视频画面为3D视频的第二视角画面，或者所述3D视频画面为3D视频的第二视角画面，所述另一3D视频画面为3D视频的第一视角画面。
可选的，所述建立模块602用于对每个图像块的中心点的深度值进行去噪处理，以生成包括景深信息的3D模型。
可选的，所述识别模块603用于通过预先训练的图像语义分割网络，分离所述3D模型中深度小于所述弹幕位置深度的前景图像。
可选的，所述渲染模块604用于将所述3D视频画面渲染为背景画面，并根据用户设置的弹幕锚点和所述3D模型的坐标，确定所述3D模型的弹幕位置，并采用透视矩阵，按照深度缩放大小和贴合附着角度在所述弹幕位置渲染3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型，其中，渲染所述3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型时，排除所述前景图像。
可选的，如图7所示，所述装置还包括：
第一转换模块605，用于通过第一视角模型将2D视频画面转换成3D视频的第一视角画面；
第二转换模块606，用于通过第二视角模型将所述2D视频帧画面转换成3D视频的第二视角画面。
本实施例中，上述弹幕显示装置可以实现本发明实施例提供的弹幕显示方法的任意实施方式，且可以达到相同有益效果。且上述弹幕显示装置可以应用于播放器。
请参阅图8，图8是本发明实施例提供的另一种弹幕显示装置的结构示意图，如图8所示，包括：存储器81，以及与存储器81连接的处理器82，其中，存储器81用于存储程序代码，处理器82用于调用存储器81存储的程序，执行如下操作：
获取3D视频画面的深度信息；
使用所述深度信息建立所述3D视频画面的3D模型；
在所述3D模型中识别前景图像；
在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
可选的，处理器82执行的所述获取3D视频画面的深度信息，包括：
将3D视频画面分成N×N个图像块，搜索每个图像块在另一3D视频画面中的偏移距离，根据每个图像块的偏移距离，计算该图像块的深度信息，其中，所述N为预设整数，所述3D视频画面为3D视频的第一视角画面，所述另一3D视频画面为3D视频的第二视角画面，或者所述3D视频画面为3D视频的第二视角画面，所述另一3D视频画面为3D视频的第一视角画面。
可选的，处理器82执行的所述使用所述深度信息建立所述3D视频画面的3D模型，包括：
对每个图像块的中心点的深度值进行去噪处理，以生成包括景深信息的3D模型。
可选的，处理器82执行的所述在所述3D模型中识别前景图像，包括：
通过预先训练的图像语义分割网络，分离所述3D模型中深度小于所述弹幕位置深度的前景图像。
可选的，处理器82执行的所述在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息，包括：
将所述3D视频画面渲染为背景画面，并根据用户设置的弹幕锚点和所述3D模型的坐标，确定所述3D模型的弹幕位置，并采用透视矩阵，按照深度缩放大小和贴合附着角度在所述弹幕位置渲染3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型，其中，渲染所述3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型时，排除所述前景图像。
可选的，所述获取视频画面的深度信息之前，处理器82还用于：
通过第一视角模型将2D视频画面转换成3D视频的第一视角画面；
通过第二视角模型将所述2D视频帧画面转换成3D视频的第二视角画面。
本实施例中，上述弹幕显示装置可以实现本发明实施例提供的弹幕显示方法的任意实施方式，且可以达到相同有益效果。且上述弹幕显示装置可以应用于播放器。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的视频转换方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (12)
1.一种弹幕显示方法，其特征在于，包括：
获取3D视频画面的深度信息；
使用所述深度信息建立所述3D视频画面的3D模型；
在所述3D模型中识别前景图像；
在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
2.如权利要求1所述的方法，其特征在于，所述获取3D视频画面的深度信息，包括：
将3D视频画面分成N×N个图像块，搜索每个图像块在另一3D视频画面中的偏移距离，根据每个图像块的偏移距离，计算该图像块的深度信息，其中，所述N为预设整数，所述3D视频画面为3D视频的第一视角画面，所述另一3D视频画面为3D视频的第二视角画面，或者所述3D视频画面为3D视频的第二视角画面，所述另一3D视频画面为3D视频的第一视角画面。
3.如权利要求2所述的方法，其特征在于，使用所述深度信息建立所述3D视频画面的3D模型，包括：
对每个图像块的中心点的深度值进行去噪处理，以生成包括景深信息的3D模型。
4.如权利要求1至3中任一项所述的方法，其特征在于，所述在所述3D模型中识别前景图像，包括：
通过预先训练的图像语义分割网络，分离所述3D模型中深度小于所述弹幕位置深度的前景图像。
5.如权利要求1至3中任一项所述的方法，其特征在于，所述在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息，包括：
将所述3D视频画面渲染为背景画面，并根据用户设置的弹幕锚点和所述3D模型的坐标，确定所述3D模型的弹幕位置，并采用透视矩阵，按照深度缩放大小和贴合附着角度在所述弹幕位置渲染3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型，其中，渲染所述3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型时，排除所述前景图像。
6.如权利要求1至3中任一项所述的方法，其特征在于，所述获取视频画面的深度信息之前，所述方法还包括：
通过第一视角模型将2D视频画面转换成3D视频的第一视角画面；
通过第二视角模型将所述2D视频帧画面转换成3D视频的第二视角画面。
7.一种弹幕显示装置，其特征在于，包括：
获取模块，用于获取3D视频画面的深度信息；
建立模块，用于使用所述深度信息建立所述3D视频画面的3D模型；
识别模块，用于在所述3D模型中识别前景图像；
渲染模块，用于在所述3D模型中的弹幕位置中除所述前景图像之外的位置渲染弹幕信息。
8.如权利要求7所述的装置，其特征在于，所述获取模块用于将3D视频画面分成N×N个图像块，搜索每个图像块在另一3D视频画面中的偏移距离，根据每个图像块的偏移距离，计算该图像块的深度信息，其中，所述N为预设整数，所述3D视频画面为3D视频的第一视角画面，所述另一3D视频画面为3D视频的第二视角画面，或者所述3D视频画面为3D视频的第二视角画面，所述另一3D视频画面为3D视频的第一视角画面。
9.如权利要求8所述的装置，其特征在于，所述建立模块用于对每个图像块的中心点的深度值进行去噪处理，以生成包括景深信息的3D模型。
10.如权利要求7至9中任一项所述的装置，其特征在于，所述识别模块用于通过预先训练的图像语义分割网络，分离所述3D模型中深度小于所述弹幕位置深度的前景图像。
11.如权利要求7至9中任一项所述的装置，其特征在于，所述渲染模块用于将所述3D视频画面渲染为背景画面，并根据用户设置的弹幕锚点和所述3D模型的坐标，确定所述3D模型的弹幕位置，并采用透视矩阵，按照深度缩放大小和贴合附着角度在所述弹幕位置渲染3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型，其中，渲染所述3D弹幕文字、3D弹幕贴图或者3D弹幕立体模型时，排除所述前景图像。
12.如权利要求7至9中任一项所述的装置，其特征在于，所述装置还包括：
第一转换模块，用于通过第一视角模型将2D视频画面转换成3D视频的第一视角画面；
第二转换模块，用于通过第二视角模型将所述2D视频帧画面转换成3D视频的第二视角画面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710799059.5A CN107484036B (zh) | 2017-09-07 | 2017-09-07 | 一种弹幕显示方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710799059.5A CN107484036B (zh) | 2017-09-07 | 2017-09-07 | 一种弹幕显示方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107484036A true CN107484036A (zh) | 2017-12-15 |
| CN107484036B CN107484036B (zh) | 2018-09-21 |
Family
ID=60583745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710799059.5A Active CN107484036B (zh) | 2017-09-07 | 2017-09-07 | 一种弹幕显示方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107484036B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108347657A (zh) * | 2018-03-07 | 2018-07-31 | 北京奇艺世纪科技有限公司 | 一种显示弹幕信息的方法和装置 |
| CN109286835A (zh) * | 2018-09-05 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 直播间互动元素显示方法、存储介质、设备及系统 |
| CN110889410A (zh) * | 2018-09-11 | 2020-03-17 | 苹果公司 | 浅景深渲染中语义分割的稳健用途 |
| CN111310523A (zh) * | 2018-12-12 | 2020-06-19 | 北京沃东天骏信息技术有限公司 | 弹幕的显示方法及装置 |
| CN113673376A (zh) * | 2021-08-03 | 2021-11-19 | 北京奇艺世纪科技有限公司 | 弹幕生成方法、装置、计算机设备和存储介质 |
| WO2023231666A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京字跳网络技术有限公司 | 信息交互方法、装置、电子设备和存储介质 |
| US11954787B2 (en) | 2019-12-27 | 2024-04-09 | Huawei Technologies Co., Ltd. | Image rendering method in panoramic application and terminal device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130107067A (ko) * | 2012-03-21 | 2013-10-01 | 임성근 | 2ｄ/3ｄ 겸용 전자칠판 |
| US20150020000A1 (en) * | 2013-07-11 | 2015-01-15 | Crackpot Inc. | System and method for creating a unique media and information management platform |
| CN105847718A (zh) * | 2016-06-01 | 2016-08-10 | 上海幻电信息科技有限公司 | 基于场景识别的直播视频弹幕显示方法及其显示装置 |
| CN105916001A (zh) * | 2016-05-12 | 2016-08-31 | 乐视控股（北京）有限公司 | 弹幕显示方法和装置 |
| CN106162303A (zh) * | 2015-04-27 | 2016-11-23 | 北京智谷睿拓技术服务有限公司 | 信息处理方法、信息处理装置及用户设备 |
| CN106303731A (zh) * | 2016-08-01 | 2017-01-04 | 北京奇虎科技有限公司 | 弹幕的显示方法及装置 |
| CN107092643A (zh) * | 2017-03-06 | 2017-08-25 | 武汉斗鱼网络科技有限公司 | 一种弹幕渲染方法及装置 |
-
2017
- 2017-09-07 CN CN201710799059.5A patent/CN107484036B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130107067A (ko) * | 2012-03-21 | 2013-10-01 | 임성근 | 2ｄ/3ｄ 겸용 전자칠판 |
| US20150020000A1 (en) * | 2013-07-11 | 2015-01-15 | Crackpot Inc. | System and method for creating a unique media and information management platform |
| CN106162303A (zh) * | 2015-04-27 | 2016-11-23 | 北京智谷睿拓技术服务有限公司 | 信息处理方法、信息处理装置及用户设备 |
| CN105916001A (zh) * | 2016-05-12 | 2016-08-31 | 乐视控股（北京）有限公司 | 弹幕显示方法和装置 |
| CN105847718A (zh) * | 2016-06-01 | 2016-08-10 | 上海幻电信息科技有限公司 | 基于场景识别的直播视频弹幕显示方法及其显示装置 |
| CN106303731A (zh) * | 2016-08-01 | 2017-01-04 | 北京奇虎科技有限公司 | 弹幕的显示方法及装置 |
| CN107092643A (zh) * | 2017-03-06 | 2017-08-25 | 武汉斗鱼网络科技有限公司 | 一种弹幕渲染方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108347657A (zh) * | 2018-03-07 | 2018-07-31 | 北京奇艺世纪科技有限公司 | 一种显示弹幕信息的方法和装置 |
| CN108347657B (zh) * | 2018-03-07 | 2021-04-20 | 北京奇艺世纪科技有限公司 | 一种显示弹幕信息的方法和装置 |
| CN109286835A (zh) * | 2018-09-05 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 直播间互动元素显示方法、存储介质、设备及系统 |
| CN110889410A (zh) * | 2018-09-11 | 2020-03-17 | 苹果公司 | 浅景深渲染中语义分割的稳健用途 |
| CN110889410B (zh) * | 2018-09-11 | 2023-10-03 | 苹果公司 | 浅景深渲染中语义分割的稳健用途 |
| CN111310523A (zh) * | 2018-12-12 | 2020-06-19 | 北京沃东天骏信息技术有限公司 | 弹幕的显示方法及装置 |
| US11954787B2 (en) | 2019-12-27 | 2024-04-09 | Huawei Technologies Co., Ltd. | Image rendering method in panoramic application and terminal device |
| CN113673376A (zh) * | 2021-08-03 | 2021-11-19 | 北京奇艺世纪科技有限公司 | 弹幕生成方法、装置、计算机设备和存储介质 |
| CN113673376B (zh) * | 2021-08-03 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 弹幕生成方法、装置、计算机设备和存储介质 |
| WO2023231666A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京字跳网络技术有限公司 | 信息交互方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107484036B (zh) | 2018-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107484036B (zh) | 一种弹幕显示方法和装置 | |
| Rematas et al. | Soccer on your tabletop | |
| US10719939B2 (en) | Real-time mobile device capture and generation of AR/VR content | |
| US9237330B2 (en) | Forming a stereoscopic video | |
| US20210279971A1 (en) | Method, storage medium and apparatus for converting 2d picture set to 3d model | |
| CN110322542B (zh) | 重建真实世界3d场景的视图 | |
| US9300947B2 (en) | Producing 3D images from captured 2D video | |
| US20170148222A1 (en) | Real-time mobile device capture and generation of art-styled ar/vr content | |
| US9445072B2 (en) | Synthesizing views based on image domain warping | |
| CN100355272C (zh) | 一种交互式多视点视频系统中虚拟视点的合成方法 | |
| EP2755187A2 (en) | 3d-animation effect generation method and system | |
| US20130127988A1 (en) | Modifying the viewpoint of a digital image | |
| CN107407866A (zh) | 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建 | |
| US20130127993A1 (en) | Method for stabilizing a digital video | |
| CN103609105A (zh) | 用于生成用于显示器的信号的方法和设备 | |
| US20130129192A1 (en) | Range map determination for a video frame | |
| US10861213B1 (en) | System and method for automatic generation of artificial motion blur | |
| US20170064279A1 (en) | Multi-view 3d video method and system | |
| CN102761768A (zh) | 一种实现立体成像的方法及装置 | |
| JP2016540401A (ja) | ３ｄ表示のための深度マップのリマッピング | |
| CN115298708A (zh) | 多视角神经人体渲染 | |
| US20180322689A1 (en) | Visualization and rendering of images to enhance depth perception | |
| US20130011047A1 (en) | Method, System and Computer Program Product for Switching Between 2D and 3D Coding of a Video Sequence of Images | |
| EP4283566A2 (en) | Single image 3d photography with soft-layering and depth-aware inpainting | |
| CN104052990A (zh) | 一种基于融合深度线索的全自动二维转三维方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |