CN110072141B - 一种媒体处理方法、装置、设备和存储介质 - Google Patents

一种媒体处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110072141B
CN110072141B CN201910350490.0A CN201910350490A CN110072141B CN 110072141 B CN110072141 B CN 110072141B CN 201910350490 A CN201910350490 A CN 201910350490A CN 110072141 B CN110072141 B CN 110072141B
Authority
CN
China
Prior art keywords
path
display element
target object
determining
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910350490.0A
Other languages
English (en)
Other versions
CN110072141A (zh
Inventor
徐世炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201910350490.0A priority Critical patent/CN110072141B/zh
Publication of CN110072141A publication Critical patent/CN110072141A/zh
Application granted granted Critical
Publication of CN110072141B publication Critical patent/CN110072141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

本发明实施例公开了一种媒体处理方法、装置、设备和存储介质。该方法包括：接收图像数据；识别所述图像数据包含的目标对象；确定显示元素；在所述图像数据中确定所述显示元素环绕所述目标对象的路径；在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效；当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素，解决显示元素对目标对象的遮挡问题，还解决了显示元素显示方式单一的问题，实现显示元素被目标对象部分遮挡的效果，使得显示元素具有三维的显示效果。

Description

一种媒体处理方法、装置、设备和存储介质
技术领域
本发明实施例涉及直播间技术，尤其涉及一种媒体处理方法、装置、设备和存储介质。
背景技术
在直播平台的应用场景中，观众可以向主播发送显示元素，以增加观众与主播之间的互动。观众所发送的显示元素会以动画的形式呈现在直播画面上。但现有的直播平台中，一方面，显示元素的显示容易对直播画面中的主播造成遮挡，影响观众观看直播；另一方面，由于显示元素一般是以二维的形式显示在直播画面中，展示形式单一，减少了观众发送显示元素的次数，从而降低了直播间的互动性，以及直播间的访问量。
发明内容
本发明实施例提供一种媒体处理方法、装置、设备和存储介质，以实现显示元素被目标对象部分遮挡的效果，进而实现显示元素具有三维的显示效果。
第一方面，本发明实施例提供了一种媒体处理方法，该方法包括：
接收图像数据；
识别所述图像数据包含的目标对象；
确定显示元素；
在所述图像数据中确定所述显示元素环绕所述目标对象的路径；
在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效；
当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
进一步的，在所述图像数据中确定所述显示元素环绕所述目标对象的路径，包括：
获取为所述显示元素所设置的关键参数，所述关键参数用于确定环绕所述目标对象的路径；
从所述图像数据中提取所述目标对象所包括的像素；
调整所述关键参数，使得所述路径与部分所述像素重合。
进一步的，所述路径为椭圆；
在所述图像数据中确定所述显示元素环绕所述目标对象的路径，包括：
确定所述显示元素所包括的关键参数，所述关键参数包括所述椭圆的中心、长轴、短轴；
确定所述目标对象的目标部位，所述目标部位中具有目标点；
将所述关键参数中的中心设置为所述目标点；
根据所述目标部位的边沿确定所述椭圆的两个焦点；
获取所述椭圆的离心率；
将两个所述焦点之间的距离作为半焦距；
将所述半焦距与所述离心率的比值，作为所述长轴的长度；
根据所述长轴的长度、离心率，计算所述短轴的长度；
将所述中心、所述长轴、所述短轴所确定的椭圆，作为所述路径。
进一步的，在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效，包括：
提取所述目标对象的轮廓信息；
将所述轮廓信息所围成的区域确定为屏蔽区域，所述屏蔽区域用于显示所述目标对象的像素；
确定所述路径中所述显示元素与所述屏蔽区域的相对位置；
当根据所述相对位置确定所述显示元素相对所述屏蔽区域靠后时，将所述路径设置为在所述屏蔽区域中无效。
进一步的，确定所述路径中所述显示元素与所述屏蔽区域的相对位置，包括：
在所述屏蔽区域上建立坐标系；
确定所述显示元素在所述坐标系中的坐标值；
判断所述坐标值的纵坐标值大于零；
若是，则确定所述显示元素相对所述屏蔽区域靠后；
若否，则确定所述显示元素相对所述屏蔽区域靠前。
进一步的，当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素，包括：
在有效的路径中，所述屏蔽区域中与所述显示元素重合的第一部分，显示所述显示元素对应的像素；
在无效的路径中，所述屏蔽区域中与所述显示元素重合的第二部分，显示所述目标对象对应的像素。
进一步的，当显示所述图像数据时，按照所述路径移动所述显示元素，还包括：
确定所述路径的垂直线，所述垂直线以从下到上为正方向；
调整所述显示元素的大小，使得所述显示元素的大小沿着所述正方向，从大到小变化。
第二方面，本发明实施例还提供了一种媒体处理方法，该方法包括：
接收直播视频数据，所述直播视频数据中具有主播用户；
确定观众用户赠送至所述主播用户的虚拟物品；
当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，其中，所述虚拟物品在所述主播用户前方、侧面处于显示状态、所述虚拟物品在所述主播用户后方处于隐藏状态。
进一步的，当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，包括：
在所述主播用户之上生成一屏蔽区域，所述屏蔽区域用于屏蔽所述虚拟物品与弹幕；
在所述直播视频数据确定环绕所述主播用户的路径，处于所述虚拟物品在所述主播用户前方、侧面的所述路径在所述屏蔽区域内有效，处于所述虚拟物品在所述主播用户后方的所述路径在所述屏蔽区域内无效；
当显示所述直播视频数据时，按照所述路径移动所述虚拟物品，以在所述路径有效时显示所述虚拟物品、在所述路径无效时隐藏所述虚拟物品。
第三方面，本发明实施例还提供了一种媒体处理装置，该装置包括：
图像数据接收模块，用于接收图像数据；
目标对象识别模块，用于识别所述图像数据包含的目标对象；
显示元素确定模块，用于确定显示元素；
路径确定模块，用于在所述图像数据中确定所述显示元素环绕所述目标对象的路径；
屏蔽区域生成模块，用于在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效；
显示元素处理模块，用于当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
第四方面，本发明实施例还提供了一种媒体处理装置，该装置包括：
直播视频数据接收模块，用于接收直播视频数据，所述直播视频数据中具有主播用户；
虚拟物品确定模块，用于确定观众用户赠送至所述主播用户的虚拟物品；
虚拟物品处理模块，用于当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，其中，所述虚拟物品在所述主播用户前方、侧面处于显示状态、所述虚拟物品在所述主播用户后方处于隐藏状态。
第五方面，本发明实施例还提供了一种媒体处理设备，该设备包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第二方面中任一所述的媒体处理方法。
第六方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面或第二方面中任一所述的媒体处理方法。
本发明实施例通过接收图像数据；识别所述图像数据包含的目标对象；确定显示元素；在图像数据中确定所述显示元素环绕目标对象的路径；在目标对象之上生成一屏蔽区域，部分路径在屏蔽区域内有效，部分路径在屏蔽区域内无效；当显示图像数据时，按照路径移动所述显示元素，以在路径有效时显示显示元素、在路径无效时隐藏显示元素，解决显示元素对目标对象的遮挡问题，还解决了显示元素显示方式单一的问题，实现显示元素被目标对象部分遮挡的效果，使得显示元素具有三维的显示效果。进一步的，相对于需要获取目标对象或者显示元素的深度信息，来确定显示元素相对目标对象靠后，并隐藏在目标对象后面的显示元素的作法，本发明实施例只需要通过设置路径在屏蔽区域内的有效性，并根据路径无效时隐藏显示元素，即可以实现三维的视觉效果，处理过程简单、且占用的诸如中央处理单元/图像处理单元、内存等资源少，处理耗时少，且提高了处理效率。
附图说明
图1A为本发明实施例一提供的一种媒体处理方法的流程图；
图1B为本发明实施例一提供的一种显示元素的显示效果示意图；
图2为本发明实施例二提供的一种媒体处理方法的流程图；
图3A为本发明实施例三提供的一种媒体处理方法的流程图；
图3B为本发明实施例三提供的一种媒体处理方法的原理示意图；
图3C为本发明实施例三提供的一种虚拟物品的显示效果示意图；
图4为本发明实施例四提供的一种媒体处理装置的结构示意图；
图5为本发明实施例五提供的一种媒体处理装置的结构示意图；
图6为本发明实施例六提供的一种媒体处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种媒体处理方法的流程图，图1B为本发明实施例一提供的一种显示元素的显示效果示意图。本实施例可适用于在图像数据中添加显示元素的情况，特别是构造一种三维的视觉效果的情况。该方法可以由媒体处理设备来执行，该媒体处理设备可以是电脑、服务器、移动终端等，该服务器可以是独立服务器或集群服务器，该移动终端可以是手机、平板等。参照图1A，该媒体处理方法具体包括如下步骤：
S110、接收图像数据。
本实施例中，图像数据是不包含深度信息的平面图像，只有左右、上下四个方向，不存在前后。也就是说，本实施例中的图像数据为二维图像，而本实施例所提供的媒体处理方法主要是为了在二维的图像数据上实现三维的显示效果。
本实施例中对图像数据的来源不作限定，该图像数据可以是视频数据或动态图片中的一帧图像。
S120、识别所述图像数据包含的目标对象。
本实施例中，目标对象可以是图像数据中的人物、动物、物品等，可以通过机器学习的方式进行识别。本实施例中的识别操作，可以包括位置检测、分类等，其中，位置检测用于检测目标对象在图像数据中的位置，该位置可以指的是目标对象在图像数据中所对应的像素点的坐标，也可以是目标对象的轮廓在图像数据中所对应的像素点的坐标；分类用于确定目标对象的类别，具体的确定该目标对象是人物、动物或物品等。
进一步的，目标对象的识别结果可以与图像数据关联保存，在需要识别该图像数据包含的目标对象时，根据识别结果与图像数据关联，从预先存储的识别结果中读取图像数据包含的目标对象。
S130、确定显示元素。
本实施例中，显示元素为待添加到图像数据上的元素，可以是文字、图像等。在一些实施例中，如直播的应用场景中，该显示元素可以是弹幕或虚拟物品。
一般的，在将显示元素添加到图像数据上时，可以通过在图像数据上新建一与图像数据平行的图层，在该图层上绘制该显示元素，将该图层与图像数据进行合并，使得合并后的图像为显示有显示元素的图像数据。
需要说明的是，由于显示元素和图像数据均是二维数据，当以图层的形式将显示元素添加到图像数据上时，虽然合并后的图像数据仍然是不存在前后的二维数据，但是显示元素在视觉上始终处于目标对象的前方，即容易造成该显示元素对目标对象的遮挡，影响目标对象的显示效果，视觉上缺乏层次感。本实施例中，将对显示元素的显示方式进行改进，使得增加合并后的图像数据的层次感，增加三维的显示效果。
S140、在所述图像数据中确定所述显示元素环绕所述目标对象的路径。
本实施例中，图像数据中可以显示一个或多个显示元素。进一步的，本实施例中显示元素的显示方式可以是按照环绕目标对象的路径进行显示。进一步的，可以设置有多帧具有顺序的图像数据，按照该顺序，每帧图像数据相对于上一帧图像，显示元素沿着该路径的方向产生预设的位移。当该多帧连续的图像数据依次显示时，即可得到显示元素环绕目标对象的动态显示效果。
在一实施例中，显示元素的路径可以通过获取为显示元素所设置的关键参数，关键参数用于确定环绕目标对象的路径；从图像数据中提取目标对象所包括的像素；调整关键参数，使得路径与部分像素重合，即可实现显示元素环绕目标对象移动的视觉效果。
进一步的，本实施例中，路径大致可以分为规则路径和不规则路径。
一、规则路径
规则路径指的是路径可以使用规则的曲线或直线进行确定，如圆形、椭圆形、矩形、棱形，等等。
示例性的，当路径为圆形时，对应的关键参数为圆心和半径；当路径为椭圆时，对应的关键参数为中心、长轴、短轴；当路径为正方形时，对应的关键参数为中心、四个顶点等。需要说明的，规则路径的关键参数并不唯一，凡是可以唯一确定路径的参数均可以考虑，例如除了可以是使用中心、长轴、短轴确定椭圆的形状和位置之外，还可以是使用焦点、离心率确定椭圆的形状和位置。
具体的，以路径为椭圆为例进行详细说明。如，可以通过确定显示元素所包括的关键参数，关键参数包括椭圆的中心、长轴、短轴。当需要实现显示元素环绕目标对象的目标部位移动的视觉效果时，可以确定该目标部位中具有的目标点，并将关键参数中的中心设置为目标点，该目标点可以是该目标部位的中心。进一步的，根据目标部位的边沿确定椭圆的两个焦点，使得显示元素环绕的路径不会完全与目标对象重合，该焦点可以是靠近边沿、目标对象之外的位置。除了焦点外，可以通过获取椭圆预设的离心率来最终确定椭圆的形状。该离心率也可以是预设的固定值，也可以通过手动调整离心率来调整椭圆的形状。另外一种实现方式，由于显示元素所预设的关键参数为椭圆的中心、长轴、短轴，还需要将两个焦点之间的距离作为半焦距，将半焦距与离心率的比值，作为长轴的长度，进而根据长轴的长度、离心率所构建的方程，计算得到短轴的长度。具体的，长轴为a、短轴为b，离心率为e，椭圆的方程可以表示为a2-b2＝e2a2，在长轴a、离心率e已知的情况下，即可计算得到短轴b。进一步，通过将中心、长轴、短轴可以确定椭圆的方程，从而将椭圆的方程所确定椭圆，作为路径。该路径可以实现显示元素环绕目标部位移动的视觉效果。
二、不规则路径
不规则路径指的是路径可以使用任意的曲线或直线进行确定。本实施例中对如何确定不规则路径的具体方式不作限定。
在一实施例中，可以使用多段规则的曲线或直线进行拼接。如五角星的路径，可以使用多段不同斜率的直线拼接而成，只要确定每一段路径的斜率长度、每一段路径之间的顺序，即可确定拼接成的路径的形状和大小。
在又一实施例中，可以通过环绕该目标对象确定路径所经过的关键点，进一步的，通过使用该关键点进行贝塞尔曲线的绘制，即可确定最终路径的形状和大小。
本实施例中，无论是规则路径，还是不规则路径，均可以使用代码的方式，根据关键参数确定简单的路径或子路径，而无需在内存中存储整个路径所经过的像素，从而进一步简化了确定路径的过程，使得占用的诸如中央处理单元/图像处理单元、内存等资源少，处理耗时少，且提高了处理效率。
S150、在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效。
需要注意的是，虽然可以设置显示元素环绕目标对象进行显示，但是显示元素对目标对象的遮挡问题仍然存在。本实施例中，对经过目标对象的部分路径上的显示元素进行隐藏，从而营造显示元素移动到目标对象的后面的视觉效果，从而使得合并得到的图像数据具有三维的视觉效果。
本实施例中可以通过设置一屏蔽区域，并确定路径在该屏蔽区域内的有效性，来实现对经过目标对象的部分路径上的显示元素进行隐藏。具体的，该屏蔽区域可以是设置在目标对象之上的蒙层，该蒙层用于选择是显示目标对象或者显示元素的像素。并进一步的，根据路径在屏蔽区域上的有效性，来确定显示元素是否被屏蔽区域屏蔽。
S160、当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
本实施例中，在有效的路径中，所述屏蔽区域中与所述显示元素重合的第一部分，显示所述显示元素对应的像素；在无效的路径中，所述屏蔽区域中与所述显示元素重合的第二部分，显示所述目标对象对应的像素。具体的，将移动到目标对象的后面的路径设置为在屏蔽区域内无效，则屏蔽区域中与显示元素重合的第一部分，即第一部分仍然显示目标对象的像素；将移动到目标对象的前面的路径设置为在屏蔽区域内有效，则屏蔽区域中与显示元素重合的第二部分，显示为显示元素的像素。
进一步的，根据该屏蔽区域是否对应于目标对象的全部像素，进行分别描述。
在一种实现方式中，该屏蔽区域对应于目标对象的全部像素，显示元素在环绕目标对象进行移动时，当该路径中有两段子路径与屏蔽区域重叠时，将位于上面的一段子路径设置为在屏蔽区域无效，位于下面的一段子路径设置为在屏蔽区域有效。
在另一种实现方式中，该屏蔽区域对应于目标对象的部分像素，该部分的像素为目标对象中在显示元素的前面的像素。当路径上的显示元素移动到与该屏蔽区域有重叠时，屏蔽该重叠部分上的显示元素，则该重叠的部分仍然显示目标对象的像素。
为了更好的说明显示元素的显示效果，本实施例以图1B所示的显示效果示意图为例进行说明。如图1B所示，图像数据10具有目标对象12，当显示图像数据10时，按照椭圆路径移动显示元素12，该椭圆路径中在目标对象12之后的部分无效，在目标对象12之前的部分有效，进一步的，在该椭圆路径有效时显示显示元素12、在椭圆路径无效时隐藏显示元素12，从而实现目标对象11屏蔽部分述显示元素12，从而使得从视觉上实现显示元素12移动到目标对象12之后的三维显示效果。
本实施例的技术方案，通过接收图像数据；识别所述图像数据包含的目标对象；确定显示元素；在所述图像数据中确定所述显示元素环绕所述目标对象的路径；在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效；当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素，解决显示元素对目标对象的遮挡问题问题，还解决了显示元素显示方式单一的问题，实现显示元素被目标对象部分遮挡的效果，使得显示元素具有三维的显示效果。进一步的，相对于需要获取目标对象或者显示元素的深度信息，来确定显示元素相对目标对象靠后，并隐藏在目标对象后面的显示元素的作法，本发明实施例只需要通过设置路径在屏蔽区域内的有效性，并根据路径无效时隐藏显示元素，即可以实现三维的视觉效果，处理过程简单、且占用的诸如中央处理单元/图像处理单元、内存等资源少，处理耗时少，且提高了处理效率。
实施例二
图2为本发明实施例二提供的一种媒体处理方法的流程图。
本实施例在上述实施例的基础上进一步细化，增加对确定屏蔽区域的生成、路径在屏蔽区域有效性的确定进行描述。参照图2，该方法具体包括如下步骤：
S201、接收图像数据。
S202、识别所述图像数据包含的目标对象。
S203、确定显示元素。
S204、在所述图像数据中确定所述显示元素环绕所述目标对象的路径。
S205、提取所述目标对象的轮廓信息。
本实施例中，目标对象可以是图像数据中的人物、动物、物品等，可以通过机器学习的方式进行识别，该目标对象的识别结果可以包括目标对象的轮廓信息，该轮廓信息是目标对象的轮廓在图像数据中所对应的像素点的坐标。
进一步的，目标对象的轮廓信息可以与图像数据关联保存，在需要提取轮廓信息时，直接进行读取。示例性的，当图像数据为视频数据中的一帧时，可以将该轮廓信息存在视频数据的预设字段中。
S206、将所述轮廓信息所围成的区域确定为屏蔽区域，所述屏蔽区域用于显示所述目标对象的像素。
本实施例中，以该屏蔽区域对应于目标对象的全部像素为例进行说明，将轮廓信息所围成的区域确定为屏蔽区域，默认的显示目标对象的像素。
S207、确定所述路径中所述显示元素与所述屏蔽区域的相对位置。
本实施例中，由于图像数据是不包含深度信息的平面图像，只有左右、上下四个方向，不存在前后。为了实现显示元素被目标对象遮挡的效果，本实施例通过确定显示元素与屏蔽区域的相对位置来确定显示元素是否被目标对象遮挡，具体的，确定显示元素相对屏蔽区域靠后，则屏蔽显示元素。需要注意的是，显示元素相对屏蔽区域靠后、显示元素相对屏蔽区域靠前，只是从视觉效果而言，合并后的图像数据仍然是不包含深度信息的平面图像。
在一实施例中，可以在屏蔽区域上建立坐标系，该坐标系可以是以路径所围成区域的中心为坐标系的原点。当然，对于不好确定路径所围成区域中心的情况，可以在路径所围成区域中任取一点，确定为坐标系的原点。进一步的，确定显示元素在坐标系中的坐标值，并判断坐标值的纵坐标值大于零；若坐标值的纵坐标值大于零，则确定显示元素相对屏蔽区域靠后；若坐标值的纵坐标值小于或等于零，则确定显示元素相对屏蔽区域靠前。当然，也可以在屏蔽区域上确定一水平线，将位于水平线以上的、与屏蔽区域存在重叠的部分路径确定为相对屏蔽区域靠后；将位于水平线以下的、与屏蔽区域存在重叠的部分路径确定为相对屏蔽区域靠前。
S208、根据所述相对位置确定所述路径在所述屏蔽区域中有效性。
具体的，当根据所述相对位置确定所述显示元素相对所述屏蔽区域靠后时，将所述路径设置为在所述屏蔽区域中无效。当根据所述相对位置确定所述显示元素相对所述屏蔽区域靠前时，将所述路径设置为在所述屏蔽区域中有效。
S209、当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
S210、确定所述路径的垂直线，所述垂直线以从下到上为正方向。
本实施例中的垂直线可以是上述坐标系中的纵坐标轴，并以从下到上为正方向。该垂直线的方向，可以是观看该图像数据时的视角。
S211、调整所述显示元素的大小，使得所述显示元素的大小沿着所述正方向，从大到小变化。
本实施例中，通过设置显示元素的大小沿着该正方向，从大到小变化，实现视角越近，显示元素越大的视觉效果，营造更强的三维视觉效果。
实施例三
图3A为本发明实施例三提供的一种媒体处理方法的流程图，图3B为本发明实施例三提供的一种媒体处理方法的原理示意图；图3C为本发明实施例三提供的一种虚拟物品的显示效果示意图。本实施例可适用于在视频中添加虚拟物品的情况，特别是构造一种使用二维的虚拟物品仿照三维视觉效果的情况，该方法可以由媒体处理设备来执行，该媒体处理设备可以是电脑、服务器、移动终端等，该服务器可以是独立服务器或集群服务器，该移动终端可以是手机、平板等。参照图3A和图3B，该媒体处理方法具体包括如下步骤：
S310、接收直播视频数据30，所述直播视频数据30中具有主播用户31。
本实施例中，直播平台中的用户包括主播用户31和观众用户。主播用户31可以通过使用摄像装置录制直播视频数据30。该直播视频数据30可以由主播用户31上传到直播平台、并由直播平台分发给观众用户进行观看。需要注意的是，本实施例中，直播视频数据30中具有主播用户31，一方面指的直播视频数据30中具有主播用户31的图像；另一方面指的是在直播平台中的账户，可以使用识别号进行唯一确定。直播视频数据30包括多帧图像数据。该图像数据是不包含深度信息的平面图像，只有左右、上下四个方向，不存在前后。也就是说，本实施例中的图像数据为二维图像，直播视频数据30为二维视频，而本实施例所提供的媒体处理方法主要是为了在二维的直播视频数据30中实现三维的显示效果。
进一步的，可以通过机器学习的方式对直播视频数据30中的主播用户31进行识别。本实施例中的识别操作，可以包括位置检测，其中，位置检测用于检测主播用户31在直播视频数据30中每一帧图像数据中的位置，该位置可以指的是主播用户31在每一帧图像数据中所对应的像素点的坐标，也可以是主播用户31的轮廓在每一帧图像数据中所对应的像素点的坐标。
进一步的，主播用户31的识别结果可以与每一帧图像数据关联保存，在需要识别该图像数据包含的主播用户31时，根据识别结果与图像数据关联，从预先存储的识别结果中读取图像数据包含的主播用户31。示例性，将识别结果预先存储在直播视频数据30中每一帧图像数据对应的字段中。
S320、确定观众用户赠送至所述主播用户31的虚拟物品32。
本实施例中，虚拟物品32是观众用户针对主播用户31上传的直播节目所赠送的物品，该虚拟物品32一般由直播平台提供，可以是文字、图像等表现形式。进一步的，该虚拟物品32可以是以二维动画的形式显示在直播视频数据30中。具体的，直播视频数据30可以看成具有多帧具有顺序的图像数据。在将虚拟物品32添加到直播视频数据30中时，针对每一帧图像数据，可以通过在图像数据上新建一与图像数据平行的图层，在该图层上预设的位置绘制该虚拟物品32，将该图层与图像数据进行合并，使得合并后的图像为显示有虚拟物品32的图像数据。进一步的，按照直播视频数据30中图像数据的顺序，每帧图像数据相对于上一帧图像，可以将虚拟物品32设置为沿着预设的方向产生预设的位移，从而使得在直播数据播放的过程中，虚拟物品32可以是以二维动画的形式进行显示。
需要说明的是，由于虚拟物品32和直播视频数据30均是二维数据，当以图层的形式将虚拟物品32添加到直播视频数据30中的图像数据上时，虽然合并后的直播视频数据30仍然是不存在前后的二维数据，但是虚拟物品在视觉上始终处于主播用户31的前方，即容易造成该虚拟物品32对主播用户31的遮挡，影响主播用户31的显示效果，视觉上缺乏层次感。本实施例中，将对虚拟物品32的显示方式进行改进，使得增加合并后的直播视频数据30的层次感，增加三维的显示效果。
S330、当播放所述直播视频数据30时，环绕所述主播用户31移动所述虚拟物品32，其中，所述虚拟物品32在所述主播用户31前方、侧面处于显示状态、所述虚拟物品32在所述主播用户31后方处于隐藏状态。
本实施例中，虚拟物品32的显示方式可以是按照环绕主播用户31的路径进行显示。
进一步的，本实施例中，通过设置虚拟物品32在主播用户31前方、侧面处于显示状态、虚拟物品32在主播用户31后方处于隐藏状态，从而使得虚拟物品32的显示在视觉上具有三维的显示效果。需要注意的是，本实施例中的直播视频数据30为二维数据，只有左右、上下四个方向，不存在前后。本实施例中提及的前方、后方是从视觉的层面进行描述。具体的，本实施例通过将虚拟物品32隐藏，来从视觉上来模拟虚拟物品32移动到与主播用户31的后方，即虚拟物品32被主播用户31所遮挡。
本实施例中可以通过在主播用户31之上生成一屏蔽区域33，屏蔽区域33用于屏蔽虚拟物品32与弹幕。该屏蔽区域33可以是设置在主播用户31之上的蒙层，该蒙层用于选择是显示主播用户31、虚拟物品或者弹幕的像素。在屏蔽虚拟物品32与弹幕，共用一屏蔽区域33，可以减少屏蔽区域33的数量。由于屏蔽区域33的生成，需要在内存中占有空间，所以可以通过减少屏蔽区域33的数量，减少对内存的占用，从而增加屏蔽虚拟物品32与弹幕时的流畅性。
其中，弹幕在该屏蔽区域33中无效，即当弹幕滚动到该屏蔽区域33时，被该屏蔽区域33所屏蔽而无法显示。
其中，虚拟物品32则可以根据虚拟物品32所确定的路径在屏蔽区域33上的有效性，来确定虚拟物品32是否被屏蔽区域33屏蔽。具体的，在直播视频数据30确定环绕主播用户31的路径，处于虚拟物品32在主播用户31前方、侧面的路径在屏蔽区域33内有效，处于虚拟物品32在主播用户31后方的所述路径在所述屏蔽区域33内无效。进一步的，当显示直播视频数据30时，按照路径移动虚拟物品32，以在路径有效时显示虚拟物品32、在路径无效时隐藏虚拟物品32。
针对虚拟物品的路径，可以通过获取为虚拟物品所设置的关键参数，关键参数用于确定环绕主播用户31的路径；从直播视频数据30的每一帧图像数据中提取主播用户31所包括的像素；调整关键参数，使得路径与部分像素重合，即可实现虚拟物品环绕主播用户31移动的视觉效果。
进一步的，本实施例中，路径大致可以分为规则路径和不规则路径。
一、规则路径
规则路径指的是路径可以使用规则的曲线或直线进行确定。示例性的，当路径为圆形时，对应的关键参数为圆心和半径；当路径为椭圆时，对应的关键参数为中心、长轴、短轴；当路径为正方形时，对应的关键参数为中心、四个顶点等。需要说明的，规则路径的关键参数并不唯一，凡是可以唯一确定路径的参数均可以考虑，例如除了可以是使用中心、长轴、短轴确定椭圆的形状和位置之外，还可以是使用焦点、离心率确定椭圆的形状和位置。
具体的，以路径为椭圆为例进行详细说明。如，可以通过确定虚拟物品32所包括的关键参数，关键参数包括椭圆的中心、长轴、短轴。当需要实现虚拟物品32环绕主播用户31的目标部位移动的视觉效果时，可以确定该目标部位中具有的目标点，将关键参数中的中心设置为该目标点。该目标部位可以是主播用户31的头部，该目标点可以是头部的中心。进一步的，根据目标部位的边沿确定椭圆的两个焦点，使得虚拟物品32环绕的路径不会完全与主播用户31重合，该焦点可以是靠近边沿、主播用户31之外的位置。除了焦点外，可以通过获取椭圆预设的离心率来最终确定椭圆的形状。该离心率也可以是预设的固定值，也可以通过手动调整离心率来调整椭圆的形状。另外一种实现方式，由于虚拟物品32所预设的关键参数为椭圆的中心、长轴、短轴，还需要将两个焦点之间的距离作为半焦距，将半焦距与离心率的比值，作为长轴的长度，进而根据长轴的长度、离心率所构建的方程，计算得到短轴的长度。具体的，长轴为a、短轴为b，离心率为e，椭圆的方程可以表示为a2-b2＝e2a2，在长轴a、离心率e已知的情况下，即可计算得到短轴b。进一步，通过将中心、长轴、短轴可以确定椭圆的方程，从而将椭圆的方程所确定椭圆，作为路径。该路径可以实现虚拟物品32环绕目标部位移动的视觉效果。
二、不规则路径
不规则路径指的是路径可以使用任意的曲线或直线进行确定。本实施例中对如何确定不规则路径的具体方式不作限定。
在一实施例中，可以使用多段规则的曲线或直线进行拼接。如五角星的路径，可以使用多段不同斜率的直线拼接而成，只要确定每一段路径的斜率长度、每一段路径之间的顺序，即可确定拼接成的路径的形状和大小。
在又一实施例中，可以通过环绕该主播用户31确定路径所经过的关键点，进一步的，通过使用该关键点进行贝塞尔曲线的绘制，即可确定最终路径的形状和大小。
本实施例中，无论是规则路径，还是不规则路径，均可以使用代码的方式，根据关键参数确定简单的路径或子路径，而无需在内存中存储整个路径所经过的像素，从而进一步简化了确定路径的过程，使得占用的诸如中央处理单元/图像处理单元、内存等资源少，处理耗时少，且提高了处理效率。
进一步的，确定路径中虚拟物品32与屏蔽区域33的相对位置；当根据相对位置确定虚拟物品32相对屏蔽区域33靠后时，确定路径在屏蔽区域33中无效。当根据相对位置确定虚拟物品32相对屏蔽区域33靠前时，确定路径在屏蔽区域33中有效。本实施例中，虚拟物品32相对屏蔽区域33靠后、虚拟物品32相对屏蔽区域33靠前，只是从视觉效果而言，合并后的直播视频数据30中的每一帧图像数据仍然是不包含深度信息的二维数据。
在一实施例中，针对每一帧图像数据，可以在屏蔽区域33上建立坐标系，该坐标系可以是以路径所围成区域的中心为坐标系的原点。当然，对于不好确定路径所围成区域中心的情况，可以在路径所围成区域中任取一点，确定为坐标系的原点。进一步的，确定虚拟物品32在坐标系中的坐标值，并判断坐标值的纵坐标值大于零；若坐标值的纵坐标值大于零，则确定虚拟物品32相对屏蔽区域33靠后；若坐标值的纵坐标值小于或等于零，则确定虚拟物品32相对屏蔽区域33靠前。当然，也可以在屏蔽区域33上确定一水平线，将位于水平线以上的、与屏蔽区域33存在重叠的部分路径确定为相对屏蔽区域33靠后；将位于水平线以下的、与屏蔽区域33存在重叠的部分路径确定为相对屏蔽区域33靠前。
再进一步的，当显示直播视频数据30时，按照路径移动虚拟物品32，以在路径有效时显示虚拟物品32、在路径无效时隐藏虚拟物品32。
在上述实施例的基础上，如图3C所示，还可以通过确定路径的垂直线，垂直线以从下到上为正方向；调整虚拟物品32的大小，使得该虚拟物品32的大小沿着所述正方向，从大到小变化。具体的，本实施例中的垂直线可以是上述坐标系中的纵坐标轴，并以从下到上为正方向。该垂直线的方向，可以是观看该直播视频数据30时的视角。通过设置虚拟物品32的大小沿着该正方向，从大到小变化，实现视角越近，虚拟物品32越大的视觉效果，营造更强的三维视觉效果。
本发明实施例通过接收直播视频数据30，所述直播视频数据30中具有主播用户31；确定观众用户赠送至所述主播用户31的虚拟物品32；当播放所述直播视频数据30时，环绕所述主播用户31移动所述虚拟物品32，其中，所述虚拟物品32在所述主播用户31前方、侧面处于显示状态、所述虚拟物品32在所述主播用户31后方处于隐藏状态，解决虚拟物品32对主播用户31的遮挡问题，还解决了虚拟物品32显示方式单一的问题，实现虚拟物品32被主播用户31部分遮挡的效果，使得虚拟物品32具有三维的显示效果，增加了观众用户赠送虚拟物品的次数，从而增加观众用户与主播用户31之间的互动次数，以及增加对主播用户31的访问量。进一步的，相对于需要获取主播用户31或者虚拟物品32的深度信息，来确定虚拟物品32相对主播用户31靠后，并隐藏在处于主播用户31后面的虚拟物品32的作法，本发明实施例只需要通过设置路径在屏蔽区域33内的有效性，并根据路径无效时隐藏虚拟物品32，即可以实现三维的视觉效果，处理过程简单、且占用的诸如中央处理单元/图像处理单元、内存等资源少，处理耗时少，且提高了处理效率。由此，在播放直播视频数据30时，可以达到延时低，无卡顿，实时显示等效果。
实施例四
图4为本发明实施例四提供的一种媒体处理装置的结构示意图。本实施例可适用于在图像数据中添加显示元素的情况，特别是构造一种三维的视觉效果的情况。该装置可以集成于媒体处理设备中，该媒体处理设备可以是电脑、服务器、移动终端等，该服务器可以是独立服务器或集群服务器，该移动终端可以是手机、平板等。参照图4，该媒体处理装置具体包括如下结构：图像数据接收模块410、目标对象识别模块420、显示元素确定模块430、路径确定模块440、屏蔽区域生成模块450和显示元素处理模块460。
图像数据接收模块410，用于接收图像数据。
目标对象识别模块420，用于识别所述图像数据包含的目标对象。
显示元素确定模块430，用于确定显示元素。
路径确定模块440，用于在所述图像数据中确定所述显示元素环绕所述目标对象的路径。
屏蔽区域生成模块450，用于在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效。
显示元素处理模块460，用于当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
在上述技术方案的基础上，路径确定模块440，包括：
关键参数获取单元，用于获取为所述显示元素所设置的关键参数，所述关键参数用于确定环绕所述目标对象的路径。
像素提取单元，用于从所述图像数据中提取所述目标对象所包括的像素；
关键参数调整单元，用于调整所述关键参数，使得所述路径与部分所述像素重合。
在一实施例中，所述路径为椭圆；路径确定模块440，包括：
关键参数确定单元，用于确定所述显示元素所包括的关键参数，所述关键参数包括所述椭圆的中心、长轴、短轴。
目标点确定单元，用于确定所述目标对象的目标部位，所述目标部位中具有目标点。
中心设置单元，用于将所述关键参数中的中心设置为所述目标点。
焦点确定单元，用于根据所述目标部位的边沿确定所述椭圆的两个焦点。
离心率获取单元，用于获取所述椭圆的离心率。
半焦距计算单元，用于将两个所述焦点之间的距离作为半焦距。
长轴确定单元，用于将所述半焦距与所述离心率的比值，作为所述长轴的长度。
短轴确定单元，用于根据所述长轴的长度、离心率，计算所述短轴的长度。
路径生成单元，用于将所述中心、所述长轴、所述短轴所确定的椭圆，作为所述路径。
在上述技术方案的基础上，屏蔽区域生成模块450，包括：
轮廓信息提取单元，用于提取所述目标对象的轮廓信息。
屏蔽区域确定单元，用于将所述轮廓信息所围成的区域确定为屏蔽区域，所述屏蔽区域用于显示所述目标对象的像素。
相对位置确定单元，用于确定所述路径中所述显示元素与所述屏蔽区域的相对位置。
第一路径有效性确定单元，用于当根据所述相对位置确定所述显示元素相对所述屏蔽区域靠后时，将所述路径设置为在所述屏蔽区域中无效。
在上述技术方案的基础上，相对位置确定单元，包括：
坐标系建立子单元，用于在所述屏蔽区域上建立坐标系。
坐标值确定子单元，用于确定所述显示元素在所述坐标系中的坐标值。
相对位置确定子单元，用于判断所述坐标值的纵坐标值大于零；若是，则确定所述显示元素相对所述屏蔽区域靠后；若否，则确定所述显示元素相对所述屏蔽区域靠前。
在上述技术方案的基础上，显示元素处理模块460，包括：
有效路径处理单元，用于在有效的路径中，所述屏蔽区域中与所述显示元素重合的第一部分，显示所述显示元素对应的像素。
无效路径处理单元，用于在无效的路径中，所述屏蔽区域中与所述显示元素重合的第二部分，显示所述目标对象对应的像素。
在上述技术方案的基础上，显示元素处理模块460，还包括：
垂直线确定单元，用于确定所述路径的垂直线，所述垂直线以从下到上为正方向；
大小调整单元，用于调整所述显示元素的大小，使得所述显示元素的大小沿着所述正方向，从大到小变化。
实施例五
图5为本发明实施例五提供的一种媒体处理装置的结构示意图。本实施例可适用于在视频中添加虚拟物品的情况，特别是构造一种使用二维的虚拟物品仿照三维视觉效果的情况，该装置可以集成于媒体处理设备中，该媒体处理设备可以是电脑、服务器、移动终端等，该服务器可以是独立服务器或集群服务器，该移动终端可以是手机、平板等。参照图5，该媒体处理装置具体包括如下结构：直播视频数据接收模块510、虚拟物品确定模块520和虚拟物品处理模块530。
直播视频数据接收模块510，用于接收直播视频数据，所述直播视频数据中具有主播用户。
虚拟物品确定模块520，用于确定观众用户赠送至所述主播用户的虚拟物品。
虚拟物品处理模块530，用于当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，其中，所述虚拟物品在所述主播用户前方、侧面处于显示状态、所述虚拟物品在所述主播用户后方处于隐藏状态。
在上述技术方案的基础上，虚拟物品处理模块530，包括：
屏蔽区域生成单元，用于在所述主播用户之上生成一屏蔽区域，所述屏蔽区域用于屏蔽所述虚拟物品与弹幕。
第二路径有效性确定单元，用于在所述直播视频数据确定环绕所述主播用户的路径，处于所述虚拟物品在所述主播用户前方、侧面的所述路径在所述屏蔽区域内有效，处于所述虚拟物品在所述主播用户后方的所述路径在所述屏蔽区域内无效。
虚拟物品处理单元，用于当显示所述直播视频数据时，按照所述路径移动所述虚拟物品，以在所述路径有效时显示所述虚拟物品、在所述路径无效时隐藏所述虚拟物品。
实施例六
图6为本发明实施例六提供的一种媒体处理设备的结构示意图。如图6所示，该媒体处理设备包括：处理器60、存储器61、输入装置62以及输出装置63。该媒体处理设备中处理器60的数量可以是一个或者多个，图6中以一个处理器60为例。该媒体处理设备中存储器61的数量可以是一个或者多个，图6中以一个存储器61为例。该媒体处理设备的处理器60、存储器61、输入装置62以及输出装置63可以通过总线或者其他方式连接，图6中以通过总线连接为例。该媒体处理设备可以是电脑、服务器、移动终端等，该服务器可以是独立服务器或集群服务器，该移动终端可以是手机、平板等。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的媒体处理方法对应的程序指令/模块(例如，媒体处理装置中的图像数据接收模块410、目标对象识别模块420、显示元素确定模块430、路径确定模块440、屏蔽区域生成模块450和显示元素处理模块460；又例如，媒体处理装置中的直播视频数据接收模块510、虚拟物品确定模块520和虚拟物品处理模块530)。存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或者字符信息，以及产生与媒体处理设备的观众用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置63可以包括扬声器等音频设备。需要说明的是，输入装置62和输出装置63的具体组成可以根据实际情况设定。
处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的媒体处理方法。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种媒体处理方法。
在一实施例中，该方法包括：
接收图像数据；
识别所述图像数据包含的目标对象；
确定显示元素；
在所述图像数据中确定所述显示元素环绕所述目标对象的路径；
在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效；
当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
在又一实施例中，该方法包括：
接收直播视频数据，所述直播视频数据中具有主播用户；
确定观众用户赠送至所述主播用户的虚拟物品；
当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，其中，所述虚拟物品在所述主播用户前方、侧面处于显示状态、所述虚拟物品在所述主播用户后方处于隐藏状态。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的媒体处理方法操作,还可以执行本发明任意实施例所提供的媒体处理方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的媒体处理方法。
值得注意的是，上述媒体处理装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例性的”、“在一实施例中”、或“本实施例中”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。需要理解的是，术语“上”、“下”、“左”、“右”、“前”、“后”等方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化操作，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”，仅仅用于在描述上加以区分，并没有特殊的含义。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种媒体处理方法，其特征在于，包括：
接收图像数据；
识别所述图像数据包含的目标对象；
确定显示元素；
在所述图像数据中确定所述显示元素环绕所述目标对象的路径；
在所述图像数据中确定所述显示元素环绕所述目标对象的路径，包括：
获取为所述显示元素所设置的关键参数，所述关键参数用于确定环绕所述目标对象的路径；
从所述图像数据中提取所述目标对象所包括的像素；
调整所述关键参数，使得所述路径与部分所述像素重合；
在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效；
当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
2.根据权利要求1所述方法，其特征在于，所述路径为椭圆；
在所述图像数据中确定所述显示元素环绕所述目标对象的路径，包括：
确定所述显示元素所包括的关键参数，所述关键参数包括所述椭圆的中心、长轴、短轴；
确定所述目标对象的目标部位，所述目标部位中具有目标点；
将所述关键参数中的中心设置为所述目标点；
根据所述目标部位的边沿确定所述椭圆的两个焦点；
获取所述椭圆的离心率；
将两个所述焦点之间的距离作为半焦距；
将所述半焦距与所述离心率的比值，作为所述长轴的长度；
根据所述长轴的长度、离心率，计算所述短轴的长度；
将所述中心、所述长轴、所述短轴所确定的椭圆，作为所述路径。
3.根据权利要求1所述的方法，其特征在于，在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效，包括：
提取所述目标对象的轮廓信息；
将所述轮廓信息所围成的区域确定为屏蔽区域，所述屏蔽区域用于显示所述目标对象的像素；
确定所述路径中所述显示元素与所述屏蔽区域的相对位置；
当根据所述相对位置确定所述显示元素相对所述屏蔽区域靠后时，将所述路径设置为在所述屏蔽区域中无效。
4.根据权利要求3所述的方法，其特征在于，确定所述路径中所述显示元素与所述屏蔽区域的相对位置，包括：
在所述屏蔽区域上建立坐标系；
确定所述显示元素在所述坐标系中的坐标值；
判断所述坐标值的纵坐标值大于零；
若是，则确定所述显示元素相对所述屏蔽区域靠后；
若否，则确定所述显示元素相对所述屏蔽区域靠前。
5.根据权利要求1所述的方法，其特征在于，当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素，包括：
在有效的路径中，所述屏蔽区域中与所述显示元素重合的第一部分，显示所述显示元素对应的像素；
在无效的路径中，所述屏蔽区域中与所述显示元素重合的第二部分，显示所述目标对象对应的像素。
6.根据权利要求1所述的方法，其特征在于，当显示所述图像数据时，按照所述路径移动所述显示元素，还包括：
确定所述路径的垂直线，所述垂直线以从下到上为正方向；
调整所述显示元素的大小，使得所述显示元素的大小沿着所述正方向，从大到小变化。
7.一种媒体处理方法，其特征在于，包括：
接收直播视频数据，所述直播视频数据中具有主播用户；
确定观众用户赠送至所述主播用户的虚拟物品；
在直播视频数据确定环绕主播用户的路径；
通过获取为所述虚拟物品所设置的关键参数，所述关键参数用于确定环绕所述主播用户的路径；
从所述直播视频数据的每一帧图像数据中提取所述主播用户所包括的像素；
调整所述关键参数，使得所述路径与部分所述像素重合；
当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，其中，所述虚拟物品在所述主播用户前方、侧面处于显示状态、所述虚拟物品在所述主播用户后方处于隐藏状态。
8.根据权利要求7所述的方法，其特征在于，当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，包括：
在所述主播用户之上生成一屏蔽区域，所述屏蔽区域用于屏蔽所述虚拟物品与弹幕；
在所述直播视频数据确定环绕所述主播用户的路径，处于所述虚拟物品在所述主播用户前方、侧面的所述路径在所述屏蔽区域内有效，处于所述虚拟物品在所述主播用户后方的所述路径在所述屏蔽区域内无效；当显示所述直播视频数据时，按照所述路径移动所述虚拟物品，以在所述路径有效时显示所述虚拟物品、在所述路径无效时隐藏所述虚拟物品。
9.一种媒体处理装置，其特征在于，包括：
图像数据接收模块，用于接收图像数据；
目标对象识别模块，用于识别所述图像数据包含的目标对象；
显示元素确定模块，用于确定显示元素；
路径确定模块，用于在所述图像数据中确定所述显示元素环绕所述目标对象的路径；
所述路径确定模块，包括：
关键参数获取单元，用于获取为所述显示元素所设置的关键参数，所述关键参数用于确定环绕所述目标对象的路径；
像素提取单元，用于从所述图像数据中提取所述目标对象所包括的像素；
关键参数调整单元，用于调整所述关键参数，使得所述路径与部分所述像素重合；
屏蔽区域生成模块，用于在所述目标对象之上生成一屏蔽区域，部分所述路径在所述屏蔽区域内有效，部分所述路径在所述屏蔽区域内无效；
显示元素处理模块，用于当显示所述图像数据时，按照所述路径移动所述显示元素，以在所述路径有效时显示所述显示元素、在所述路径无效时隐藏所述显示元素。
10.一种媒体处理装置，其特征在于，包括：
直播视频数据接收模块，用于接收直播视频数据，所述直播视频数据中具有主播用户；
虚拟物品确定模块，用于确定观众用户赠送至所述主播用户的虚拟物品；
在直播视频数据确定环绕主播用户的路径；
通过获取为所述虚拟物品所设置的关键参数，所述关键参数用于确定环绕所述主播用户的路径；
从所述直播视频数据的每一帧图像数据中提取所述主播用户所包括的像素；
调整所述关键参数，使得所述路径与部分所述像素重合；
虚拟物品处理模块，用于当播放所述直播视频数据时，环绕所述主播用户移动所述虚拟物品，其中，所述虚拟物品在所述主播用户前方、侧面处于显示状态、所述虚拟物品在所述主播用户后方处于隐藏状态。
11.一种媒体处理设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的媒体处理方法。
12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的媒体处理方法。
CN201910350490.0A 2019-04-28 2019-04-28 一种媒体处理方法、装置、设备和存储介质 Active CN110072141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910350490.0A CN110072141B (zh) 2019-04-28 2019-04-28 一种媒体处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910350490.0A CN110072141B (zh) 2019-04-28 2019-04-28 一种媒体处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110072141A CN110072141A (zh) 2019-07-30
CN110072141B true CN110072141B (zh) 2022-02-25

Family

ID=67369401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910350490.0A Active CN110072141B (zh) 2019-04-28 2019-04-28 一种媒体处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110072141B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111954075B (zh) * 2020-08-20 2021-07-09 腾讯科技（深圳）有限公司 视频处理模型状态调整方法、装置、电子设备及存储介质
CN112328091B (zh) * 2020-11-27 2022-03-25 腾讯科技（深圳）有限公司 弹幕显示方法、装置、终端及存储介质
CN113274723A (zh) * 2021-05-28 2021-08-20 广州方硅信息技术有限公司 图像信息显示控制方法及其装置、设备与介质
CN113411625A (zh) * 2021-06-15 2021-09-17 北京卡路里信息技术有限公司 直播消息的处理方法及处理装置、电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106411877A (zh) * 2016-09-23 2017-02-15 武汉斗鱼网络科技有限公司 一种基于ar技术的视频直播赠送礼物的实现方法及系统
CN108174227A (zh) * 2017-12-27 2018-06-15 广州酷狗计算机科技有限公司 虚拟物品的显示方法、装置及存储介质
CN108616730A (zh) * 2016-12-27 2018-10-02 北京阿吉比科技有限公司 一种基于虚拟现实的立体弹幕方法及系统
US10116985B2 (en) * 2017-03-07 2018-10-30 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for displaying a bullet curtain in a VR video
CN109286835A (zh) * 2018-09-05 2019-01-29 武汉斗鱼网络科技有限公司 直播间互动元素显示方法、存储介质、设备及系统
CN109309861A (zh) * 2018-10-30 2019-02-05 广州虎牙科技有限公司 一种媒体处理方法、装置、终端设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106411877A (zh) * 2016-09-23 2017-02-15 武汉斗鱼网络科技有限公司 一种基于ar技术的视频直播赠送礼物的实现方法及系统
CN108616730A (zh) * 2016-12-27 2018-10-02 北京阿吉比科技有限公司 一种基于虚拟现实的立体弹幕方法及系统
US10116985B2 (en) * 2017-03-07 2018-10-30 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for displaying a bullet curtain in a VR video
CN108174227A (zh) * 2017-12-27 2018-06-15 广州酷狗计算机科技有限公司 虚拟物品的显示方法、装置及存储介质
CN109286835A (zh) * 2018-09-05 2019-01-29 武汉斗鱼网络科技有限公司 直播间互动元素显示方法、存储介质、设备及系统
CN109309861A (zh) * 2018-10-30 2019-02-05 广州虎牙科技有限公司 一种媒体处理方法、装置、终端设备和存储介质

Also Published As

Publication number Publication date
CN110072141A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110072141B (zh) 一种媒体处理方法、装置、设备和存储介质
US11709545B2 (en) Gaze detection method and apparatus
CN105518712B (zh) 基于字符识别的关键词通知方法及设备
US20160198097A1 (en) System and method for inserting objects into an image or sequence of images
JP2018180655A (ja) 画像処理装置、画像生成方法及びプログラム
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN108176049B (zh) 一种信息提示方法、装置、终端和计算机可读存储介质
US11270499B2 (en) Multi line trace gaze to object mapping for determining gaze focus targets
CN109982036A (zh) 一种全景视频数据处理的方法、终端以及存储介质
CN111970532A (zh) 视频播放方法、装置及设备
US20170225077A1 (en) Special video generation system for game play situation
CN113408484A (zh) 画面展示方法、装置、终端及存储介质
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US10225585B2 (en) Dynamic content placement in media
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
US10674184B2 (en) Dynamic content rendering in media
CN114863066A (zh) 呈现物体真实遮挡关系的增强现实场景的生成方法及系统
Chamaret et al. Video retargeting for stereoscopic content under 3D viewing constraints
CN113938752A (zh) 一种处理方法及装置
CN112363787A (zh) 图像处理方法、装置和电子设备
WO2018000610A1 (zh) 一种基于图像类型判断的自动播放方法和电子设备
US10880533B2 (en) Image generation apparatus, image generation method, and storage medium, for generating a virtual viewpoint image
JP2017208809A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
TWI790560B (zh) 並排影像偵測方法與使用該方法的電子裝置
CN113723202A (zh) 基于视网膜镜像的活体检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant