CN113741836A - 媒体处理方法、装置和系统 - Google Patents

Abstract

本发明实施例公开了一种媒体处理方法、一种媒体处理装置和一种媒体处理系统。所述方法包括：基于目标显示屏的屏体分辨率在操作界面生成显示窗口；根据用户输入信息在显示窗口中生成打折区域；从纹理缓存中读取图像；基于图像和打折区域之间的映射关系对所述图像进行渲染；将渲染后图像发送到目标显示屏，以由目标显示屏在对应打折区域的显示区域显示渲染后图像。本发明可以解决现有技术中由于视频裁剪或分割的效率很低从而导致视频渲染效率低且对特定的显示区域的设置不够灵活的问题。

Description

媒体处理方法、装置和系统

技术领域

本发明涉及媒体处理技术领域，尤其涉及一种媒体处理方法、一种媒体处理装置和一种媒体处理系统。

背景技术

目前，在显示屏播放视频时，经常需要将一个视频的左半部分显示在显示屏的上半部分，这个视频的右半部分显示在显示屏的下半部分，这时需要我们对视频进行处理来适应这种场景。

在现有相关技术中，需要将视频复制为相同的两份，然后将这两份视频分别进行裁剪或者分割得到视频的左半部分和右半部分，将分割后的视频分别渲染到显示屏特定的显示区域，即将视频的左半部分渲染到显示屏的上半部分、以及将视频的右半部分渲染到显示屏的下半部分，然而这种处理方式中视频裁剪或分割的效率很低，从而降低了视频渲染效率，且对特定的显示区域的设置不够灵活。

发明内容

因此，本发明提出一种媒体处理方法、一种媒体处理装置和一种媒体处理系统以及一种计算机可读存储介质，解决现有技术中由于视频裁剪或分割的效率很低从而导致视频渲染效率低且对特定的显示区域的设置不够灵活的问题。

具体地，第一方面，本发明实施例公开一种媒体处理方法，包括：基于目标显示屏的屏体分辨率在操作界面生成显示窗口；根据用户输入信息在所述显示窗口中生成打折区域；从纹理缓存中读取图像；基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像；将所述渲染后图像发送到所述目标显示屏，以由所述目标显示屏在对应所述打折区域的显示区域显示所述渲染后图像。

目前，在显示屏播放视频时经常需要将一个视频的左半部分显示在显示屏的上半部分，这个视频的右半部分显示在显示屏的下半部分，在现有相关技术中需要将视频复制为相同的两份，然后将这两份视频分别进行裁剪或者分割得到视频的左半部分和右半部分，将分割后的视频分别渲染到显示屏特定的显示区域，即将视频的左半部分渲染到显示屏的上半部分以及将视频的右半部分渲染到显示屏的下半部分，然而这种处理方式中视频裁剪或分割的效率很低，从而降低了视频渲染效率，且对特定的显示区域的设置不够灵活；本发明实施例公开的媒体处理方法通过在操作界面生成显示窗口以及根据用户输入信息在显示窗口生成打折区域，从纹理缓存中读取图像，基于图像和打折区域之间的映射关系对图像进行渲染得到渲染后图像，将渲染后图像发送到目标显示屏，由目标显示屏在对应打折区域的显示区域显示渲染后图像，解决现有技术中由于视频裁剪或分割的效率很低从而导致视频渲染效率低且对特定的显示区域的设置不够灵活的问题，轻松实现在显示屏特定的显示区域进行图像例如视频或者图片等媒体的渲染，可以灵活设置显示屏特定的显示区域，提高图像渲染效率。

在本发明的一个实施例中，所述基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像，包括：基于所述图像建立纹理坐标系，得到所述图像的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系。

在本发明的一个实施例中，所述基于所述图像建立纹理坐标系，具体包括：在所述操作界面显示所述图像，并基于显示的所述图像建立所述纹理坐标系；所述根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系，包括：响应用户移动操作，将所述打折区域移动到所述操作界面显示的所述图像的目标位置；基于所述打折区域在所述图像的所述目标位置以及所述图像的所述顶点纹理坐标得到所述打折区域在所述纹理坐标系中的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的映射关系。

在本发明的一个实施例中，所述根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系，包括：接收用户基于所述图像的所述顶点纹理坐标即时输入的所述打折区域的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的所述映射关系。

在本发明的一个实施例中，所述对所述图像进行渲染得到渲染后图像，包括：调用顶点着色器基于所述区域顶点几何坐标绘制对应与所述打折区域相对应的图像的几何图形；调用片段着色器基于所述区域顶点纹理坐标从所述纹理缓存中读取所述相对应的图像的每个像素点的像素值，以及基于所述映射关系将读取的所述像素值赋予到所述几何图形对应所述像素点的位置点，得到所述渲染后图像。

在本发明的一个实施例中，在所述基于目标显示屏的屏体分辨率在操作界面生成显示窗口之前，还包括：对接收的输入图像进行解码处理得到解码后图像；将所述解码后图像缓存到缓存队列中；从所述缓存队列中读取所述解码后图像作为所述图像存储到所述纹理缓存。

在本发明的一个实施例中，所述基于目标显示屏的屏体分辨率在操作界面生成显示窗口，包括：在所述操作界面生成与所述屏体分辨率成预设比例的OpenGL窗口作为所述显示窗口。

第二方面，本发明实施例公开一种媒体处理装置，包括：窗口生成模块，用于基于目标显示屏的屏体分辨率在操作界面生成显示窗口；区域生成模块，用于根据用户输入信息在所述显示窗口中生成打折区域；图像读取模块，用于从纹理缓存中读取图像；图像渲染模块，用于基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像；图像发送模块，用于将所述渲染后图像发送到所述目标显示屏，以由所述目标显示屏在对应所述打折区域的显示区域显示所述渲染后图像。

在本发明的一个实施例中，所述图像渲染模块具体用于：基于所述图像建立纹理坐标系，得到所述图像的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系。

第三方面，本发明实施例公开一种媒体处理系统，包括：处理器和连接所述处理器的存储器；其中所述存储器存储有所述处理器执行的指令，且所述指令使得所述处理器执行操作以进行如前述任意一种媒体处理方法。

第四方面，本发明实施例公开一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储器且存储有计算机可读指令，所述计算机可读指令包括用于执行如前述任意一种媒体处理方法的指令。

由上可知，本发明实施例可以达成以下一个或多个有益效果：解决现有技术中由于视频裁剪或分割的效率很低从而导致视频渲染效率低且对特定的显示区域的设置不够灵活的问题，轻松实现在显示屏特定的显示区域进行图像例如视频或者图片等媒体渲染，可以灵活设置显示屏特定的显示区域，提高图像渲染效率。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明第一实施例公开的媒体处理方法的一种步骤流程图；

图2a为本发明第一实施例公开的媒体处理方法涉及的纹理坐标系的一种示意图；

图2b为本发明第一实施例公开的媒体处理方法涉及的几何坐标系的一种示意图；

图2c为本发明第一实施例公开的媒体处理方法涉及的目标显示屏显示解码后视频帧的一种示意图；

图2d为本发明第一实施例公开的媒体处理方法涉及的用户移动打折区域的一种示意图；

图3为本发明第二实施例公开的媒体处理装置的一种模块示意图；

图4为本发明第三实施例公开的媒体处理系统的一种结构示意图；

图5为本发明第四实施例公开的计算机可读存储介质的一种结构示意图。

【附图标记说明】

S11-S15：媒体处理方法步骤；

20：媒体处理装置；21：窗口生成模块；22：区域生成模块；23：图像读取模块；24：图像渲染模块；25：图像发送模块；

30：媒体处理系统；31：处理器；32：存储器；

40：计算机可读存储介质。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

为了使本领域普通技术人员更好地理解本发明的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解这样使用的术语在适当情况下可以互换，以便这里描述的本发明实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

【第一实施例】

参见图1，本发明第一实施例公开了一种媒体处理方法。如图1所示，媒体处理方法例如包括步骤S11至步骤S15。

步骤S11：基于目标显示屏的屏体分辨率在操作界面生成显示窗口；

步骤S12：根据用户输入信息在所述显示窗口中生成打折区域；

步骤S13：从纹理缓存中读取图像；

步骤S14：基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像；

步骤S15：将所述渲染后图像发送到所述目标显示屏，以由所述目标显示屏在对应所述打折区域的显示区域显示所述渲染后图像。

其中，在步骤S11中，提到的目标显示屏例如为LED显示屏，提到的屏体分辨率为LED显示屏所包括的像素点数量，举例而言，LED显示屏的屏体分辨率例如为4090*2160，当然本发明并不仅限于此。提到的操作界面例如为上位机软件的操作界面，其中上位机软件例如为电脑软件。提到的显示窗口例如为对应目标显示屏的窗口，此处可以理解为，显示窗口的窗口大小例如与目标显示屏的屏体分辨率相同，或者为基于屏体分辨率按照预设比例缩放。

在步骤S12中，提到的用户输入信息例如为用户在上位机软件的输入信息框中输入的信息，用户输入信息例如包括打折区域的区域顶点坐标以及区域大小。提到的打折区域可以理解为对应为目标显示屏所要显示图像例如视频、图片等媒体的显示区域。举例而言，将一个图像例如视频的左半部分显示在目标显示屏的上半部分，图像例如视频的右半部分显示在目标显示屏的下半部分，那么目标显示屏的上半部分显示区域对应一个打折区域，目标显示屏的下半部分区域对应一个打折区域，目标显示屏的屏体分辨率例如4096*2160，那么用户分别输入两个打折区域对应的区域顶点坐标(0,0)和(0,1081)以及区域大小4096*1080。

在步骤S13中，提到的纹理缓存可以理解为一个存储区域，其例如为GPU(图形处理器)的存储区域。提到的图像例如为视频、图片、文本等媒体。纹理缓存中存储的图像的像素按照纹理坐标进行编址。

在步骤S14中，提到的映射关系为打折区域和与打折区域对应的图像之间的映射关系。具体地，映射关系例如为打折区域中的位置点和对应的图像的每个像素点的对应关系。提到的渲染例如包括几何图形绘制以及上色等操作。

在步骤S15中，提到的显示区域例如与打折区域的大小相同，或者基于打折区域等比例缩放。此处可以理解为，显示区域与打折区域一一对应，前面设置打折区域就相当于设置显示区域，显示屏接收到渲染后图像之后，就会在显示区域显示对应的渲染后图像。举例而言，图像例如为解码后视频帧，解码后视频帧例如为YUV格式视频帧、或者RGB格式视频帧等。如图2a和2c所示，解码后视频帧发送到目标显示屏之后，目标显示屏的上半部分区域即对应打折区域R1的显示区域显示解码后视频帧的左半部分，目标显示屏的下半部分区域即对应打折区域R2的显示区域显示解码后视频帧的右半部分。

以上通过在操作界面生成显示窗口以及根据用户输入信息在显示窗口生成打折区域，从纹理缓存中读取图像，基于图像和打折区域的映射关系对图像进行渲染得到渲染后图像，将渲染后图像发送到目标显示屏，由目标显示屏在对应打折区域的显示区域显示渲染后图像，解决现有技术中由于视频裁剪或分割的效率很低从而导致视频渲染效率低且对特定的显示区域的设置不够灵活的问题，轻松实现在显示屏特定的显示区域进行图像渲染，可以灵活设置显示屏特定的显示区域，提高图像渲染效率。

在本发明的其他实施例中，媒体处理方法在步骤S11之前例如还包括：对接收的输入图像进行解码处理得到解码后图像；将所述解码后图像缓存到缓存队列中；从所述缓存队列中读取所述解码后图像作为所述图像存储到所述纹理缓存。

其中，输入图像例如为输入视频源、输入图片或者输入文本等媒体。提到的解码后图像例如为YUV格式或者RGB格式。提到的缓存队列例如为CPU(Central Processing Unit/Processor,中央处理器)的存储区域，此时将解码后图像全部缓存到缓存队列中，便于后续操作。提到的纹理缓存例如为GPU(Graphics Processing Unit,图形处理器)的存储区域，将缓存队列中一个解码后图像存储到纹理缓存中，以便于进行图像渲染。举例而言，输入图像例如为输入视频源，那么媒体处理方法在步骤S11之前具体包括：对接收的输入视频源进行解码处理得到解码后视频源；将所述解码后视频源逐帧缓存到缓存队列中，得到多个解码后视频帧；从所述缓存队列中逐个读取所述解码后视频帧存储到所述纹理缓存。

其中，提到的输入视频源例如为HDMI视频源、DVI视频源等。提到的解码处理例如为利用ffmpeg库进行解码处理，当然本发明并不以此为限，其他解码处理方式同样适用。

在本发明的其他实施例中，步骤S11例如包括：在所述操作界面生成与所述屏体分辨率成预设比例的OpenGL窗口作为所述显示窗口。

其中，提到的预设比例例如为1，则显示窗口的窗口大小与屏体分辨率相同，或者预设比例大于1，则显示窗口的窗口大小大于屏体分辨率，或者预设比例小于1，则显示窗口的窗口大小小于屏体分辨率。此处需要说明的是，预设比例例如为预先设置好的比例值，上位机软件获取屏体分辨率之后自动显示显示窗口，或者为用户即时输入的比例值，即上位机软件在显示显示窗口之前，先提供比例输入框，由用户即时输入。其中使用OpenGL窗口作为显示窗口显示在操作界面，从而基于OpenGL完成后续操作，操作方便，且可靠性高。当然本发明并不仅限于此，显示窗口还可以为基于Windows的D3D(Direct3D)窗口、等其他具有图像处理能力的窗口。

在本发明的其他实施例中，步骤S14例如包括：基于所述图像建立纹理坐标系，得到所述图像的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系。

举例而言，提到的图像例如为解码后视频帧，步骤S14例如具体包括：基于所述解码后视频帧建立纹理坐标系，得到所述解码后视频帧的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；根据所述解码后视频帧的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的解码后视频帧的所述映射关系。

提到的纹理坐标系是一个直角坐标系，纹理坐标系的(0,0)点位于纹理的左下角，而(1,1)点位于纹理的右上角。举例而言，如图2a所示，提到的顶点纹理坐标可以理解为图像例如解码后视频帧在纹理坐标系中的顶点纹理坐标，其中纹理坐标系的原点在图像例如解码后视频帧的左下角，向右为正，向上为正，那么图像例如解码后视频帧的顶点纹理坐标例如为(0,0)、(1,0)、(1,1)和(0,1)。提到的几何坐标系也是一个直角坐标系，几何坐标系的(0,0)点位于显示窗口的中心点，向右为正，向上为正。提到的区域顶点几何坐标例如为归一化后的坐标、或者为非归一化后的坐标。举例而言，以区域顶点几何坐标为归一化后的坐标为例，如图2b所示，显示窗口显示两个打折区域，上半部分打折区域例如为R1，下半部分打折区域例如为R2，因此，打折区域R1对应的区域顶点几何坐标为VR1{(-1.0,1.0),(1.0,1.0),(1.0,0.0),(-1.0,0.0)}，打折区域R2对应的区域顶点几何坐标为VR2{(-1.0,0.0),(1.0,0.0),(1.0,-1.0),(-1.0,-1.0)}。举例而言，如图2a和2b所示，如前所述，将一个图像例如视频的左半部分显示在目标显示屏的上半部分，视频的右半部分显示在目标显示屏的下半部分，则将视频的左半部分渲染到打折区域R1对应的显示区域，将视频的右半部分渲染到打折区域R2对应的显示区域，此处可以理解为打折区域和对应的显示区域相同，则可以得到打折区域R1的四个顶点的纹理采样坐标即区域顶点纹理坐标为：TR1{(0.0,1.0),(0.5,1.0),(0.5,0.0),(0.0,0.0)}，打折区域R2的四个顶点的纹理采样坐标即区域顶点纹理坐标为TR2{(0.5,1.0),(1.0,1.0),(1.0,0.0),(0.5,0.0)}，最后可以得到打折区域和对应的解码后视频帧的映射关系如下：VR1->TR1，以及VR2->TR2。

在本发明的其他实施例中，前述提到的基于所述图像建立纹理坐标系，例如具体包括：在所述操作界面显示所述图像，并基于显示的所述图像建立所述纹理坐标系。

举例而言，图像例如为解码后视频帧，前述提到的基于所述解码后视频帧建立纹理坐标系，例如具体包括：在所述操作界面显示读取的所述解码后视频帧，并基于显示的所述解码后视频帧建立所述纹理坐标系。

此处可以理解为，操作界面除了显示显示窗口之外还可以进一步显示图像例如解码后视频帧，其中解码后视频帧和显示窗口之间可以存在交集，也可以不存在交集，如此一来，方便用户直接观察解码后视频帧与打折区域的对应关系，以及便于后续用户移动打折区域的操作。

进一步地，前述提到的根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系，例如包括：响应用户移动操作，将所述打折区域移动到所述操作界面显示的所述图像的目标位置；基于所述打折区域在所述图像的所述目标位置以及所述图像的所述顶点纹理坐标得到所述打折区域在所述纹理坐标系中的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的映射关系。

举例而言，以解码后视频帧为例，前述提到的根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系例如具体包括：响应用户移动操作，将所述打折区域移动到所述操作界面显示的所述解码后视频帧的目标位置；基于所述打折区域在所述解码后视频帧的所述目标位置以及所述解码后视频帧的所述顶点纹理坐标生成所述打折区域在所述纹理坐标系中的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的解码后视频帧的所述映射关系。

其中，提到的用户移动操作例如为鼠标拖动打折区域的操作。提到的目标位置可以理解为图像例如解码后视频帧对应显示在打折区域的位置。

具体地，举例而言，如图2d所示，前述步骤可以理解为，在操作界面显示显示窗口以及图像例如解码后视频帧，此时需要将解码后视频帧的左半部分显示在目标显示屏的上半部分，解码后视频帧的右半部分显示在目标显示屏的下半部分，即将解码后视频帧左右均分显示在显示屏上下均分的区域，用户使用鼠标拖动打折区域R1移动到图像例如解码后视频帧的左半部分，此时打折区域R1位于解码后视频帧的左半部分，解码后视频帧的边界纹理坐标为(1,0)和(0,1)，可以得到打折区域R1对应的区域顶点纹理坐标为：TR1{(0,1),(0.5,1),(0.5,0),(0,0)}；同理用户使用鼠标拖动打折区域R2移动到解码后视频帧的右半部分，可以得到打折区域R2对应的区域顶点纹理坐标为：TR2{(0.5,1),(1,1),(1,0),(0.5,0)}，前述提到打折区域R1和打折区域R2对应的区域顶点几何坐标为：VR1{(-1.0,1.0),(1.0,1.0),(1.0,0.0),(-1.0,0.0)}，VR2{(-1.0,0.0),(1.0,0.0),(1.0,-1.0),(-1.0,-1.0)}，由此得到映射关系为：VR1->TR1，以及VR2->TR2。通过用户手动拖动打折区域到解码后视频帧的指定位置，操作方法，更加直观。

在本发明的其他实施例中，前述提到的根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系，例如包括：接收用户基于所述图像的所述顶点纹理坐标即时输入的所述打折区域的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的所述映射关系。

举例而言，以解码后视频帧为例，前述提到的根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系例如具体包括：接收用户基于所述解码后视频帧的所述顶点纹理坐标即时输入的所述打折区域的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的解码后视频帧的所述映射关系。

此处可以理解为，除了前述描述的手动拖动打折区域生成映射关系表的操作之外，还可以直接输入打折区域的区域顶点纹理坐标，以得到映射关系。其中直接输入坐标的方式获取映射关系表，准确度更高。

在本发明的其他实施例中，步骤S16例如包括：调用顶点着色器基于所述区域顶点几何坐标绘制对应与所述打折区域相对应的图像的几何图形；以及调用片段着色器基于所述区域顶点纹理坐标从所述纹理缓存中读取所述相对应的图像的每个像素点的像素值，以及基于所述映射关系将读取的所述像素值赋予到所述几何图形对应所述像素点的位置点，得到所述渲染后图像。

其中，提到的顶点着色器(VS,Vertex Shader)是渲染程序中的一个小程序，负责绘制几何图形。提到的片段着色器(FS,Fragment Shader)是渲染程序中的一个小程序，负责计算每个像素的颜色值。提到的顶点着色器和片段着色器例如均在GPU内，此处可以理解为前述渲染过程由GPU执行，GPU执行渲染过程有利于进一步提高渲染效率。提到的像素值即为颜色值，又称灰度值，通过顶点着色器和片段着色器的应用进行视频渲染，当然视频渲染并不仅限于顶点着色器和片段着色器，还可以包括其他渲染程序。

值得一提的是，本发明实施例公开的媒体处理方法其例如执行在上位机的GPU中。提到的上位机例如为PC等设备。

综上所述，本发明第一实施例公开的媒体处理方法解决现有技术中由于视频裁剪或分割的效率很低从而导致视频渲染效率低且对特定的显示区域的设置不够灵活的问题，轻松实现在显示屏特定的显示区域进行图像渲染，可以灵活设置显示屏特定的显示区域，提高图像渲染效率。

【第二实施例】

参见图3，本发明第二实施例公开了一种媒体处理装置。如图3所示，媒体处理装置20例如包括窗口生成模块21、区域生成模块22、图像读取模块23、图像渲染模块24和图像发送模块25。

具体地，窗口生成模块21用于基于目标显示屏的屏体分辨率在操作界面生成显示窗口。区域生成模块22用于根据用户输入信息在所述显示窗口中生成打折区域。图像读取模块23用于从纹理缓存中读取图像。图像渲染模块24用于基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像。图像发送模块25用于将所述渲染后图像发送到所述目标显示屏，以由所述目标显示屏在对应所述打折区域的显示区域显示所述渲染后图像。

在本发明的其他实施例中，本实施例公开的媒体处理装置20例如还包括：解码缓存模块，用于对接收的输入图像进行解码处理得到解码后图像，将所述解码后图像缓存到缓存队列中，以及从所述缓存队列中读取所述解码后图像作为所述图像存储到所述纹理缓存。

在本发明的其他实施例中，窗口生成模块21具体用于在所述操作界面生成与所述屏体分辨率成预设比例的OpenGL窗口作为所述显示窗口。

在本发明的其他实施例中，图像渲染模块24具体用于：基于所述图像建立纹理坐标系，得到所述图像的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系。

在本发明的其他实施例中，图像渲染模块24具体用于在所述操作界面显示所述图像，并基于显示的所述图像建立所述纹理坐标系，得到所述图像的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；响应用户移动操作，将所述打折区域移动到所述操作界面显示的所述图像的目标位置；基于所述打折区域在所述图像的所述目标位置以及所述图像的所述顶点纹理坐标得到所述打折区域在所述纹理坐标系中的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的映射关系。

在本发明的其他实施例中，图像渲染模块24具体用于：基于所述图像建立纹理坐标系，得到所述图像的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；接收用户基于所述图像的所述顶点纹理坐标即时输入的所述打折区域的区域顶点纹理坐标；基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的所述映射关系。

在本发明的其他实施例中，图像渲染模块26具体用于调用顶点着色器基于所述区域顶点几何坐标绘制对应与所述打折区域相对应的图像的几何图形；调用片段着色器基于所述区域顶点纹理坐标从所述纹理缓存中读取所述相对应的图像的每个像素点的像素值，以及基于所述映射关系将读取的所述像素值赋予到所述几何图形对应所述像素点的位置点，得到所述渲染后图像。

需要说明的是，本实施例公开的媒体处理装置20所实现的媒体处理方法如前述第一实施例所述，故在此不再进行详细讲述。可选地，第二实施例中的各个模块和上述其他操作或功能分别为了实现本发明第一实施例中的方法，本实施例公开的媒体处理装置20的技术效果与第一实施例公开的媒体处理方法的技术效果相同，为了简洁，不在此赘述。

【第三实施例】

参见图4，本发明第三实施例公开了一种媒体处理系统。如图4所示，媒体处理系统30例如包括：处理器31和连接处理器31的存储器32。其中存储器32存储有处理器31执行的指令，且所述指令使得处理器31执行操作以进行如第一实施例所述的媒体处理方法。

需要说明的是，本实施例公开的媒体处理系统30其指令使得处理器31执行操作以进行的媒体处理方法如前述第一实施例所述，故在此不再进行详细讲述。可选地，本实施例中的各个处理器、存储器分别为了实现本发明第一实施例中的方法，本实施例公开的媒体处理系统30的技术效果与第一实施例公开的媒体处理方法的技术效果相同，在此不再赘述。

【第四实施例】

参见图5，本发明第四实施例公开了一种计算机可读存储介质。如图5所示，计算机可读存储介质40存储有计算机可读指令。计算机可读指令包括用于执行如前述第一实施例所述的媒体处理方法的指令，故在此不再进行重述。其中，计算机可读存储介质40例如为非易失性存储器，如包括：磁介质(如硬盘、软盘和磁带)，光介质(如CDROM盘和DVD)，磁光介质(如光盘)以及专门构造为用于存储和执行计算机可执行指令的硬件装置(如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机可读存储介质40可由一个或多个处理器或处理装置来执行计算机可读指令。此外，本实施例公开的计算机可读存储介质40的技术效果与第一实施例中媒体处理方法的技术效果相同，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和/或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种媒体处理方法，其特征在于，包括：

基于目标显示屏的屏体分辨率在操作界面生成显示窗口；

根据用户输入信息在所述显示窗口中生成打折区域；

从纹理缓存中读取图像；

基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像；

将所述渲染后图像发送到所述目标显示屏，以由所述目标显示屏在对应所述打折区域的显示区域显示所述渲染后图像。

2.根据权利要求1所述的媒体处理方法，其特征在于，所述基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像，包括：

基于所述图像建立纹理坐标系，得到所述图像的顶点纹理坐标；

基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；

根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系。

3.根据权利要求2所述的媒体处理方法，其特征在于，所述基于所述图像建立纹理坐标系，具体包括：在所述操作界面显示所述图像，并基于显示的所述图像建立所述纹理坐标系；

所述根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系，包括：

响应用户移动操作，将所述打折区域移动到所述操作界面显示的所述图像的目标位置；

基于所述打折区域在所述图像的所述目标位置以及所述图像的所述顶点纹理坐标得到所述打折区域在所述纹理坐标系中的区域顶点纹理坐标；

基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的映射关系。

4.根据权利要求2所述的媒体处理方法，其特征在于，所述根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系，包括：

接收用户基于所述图像的所述顶点纹理坐标即时输入的所述打折区域的区域顶点纹理坐标；

基于所述区域顶点纹理坐标和所述区域顶点几何坐标生成所述打折区域与所述相对应的图像的所述映射关系。

5.根据权利要求3或4所述的媒体处理方法，其特征在于，所述对所述图像进行渲染得到渲染后图像，包括：

调用顶点着色器基于所述区域顶点几何坐标绘制对应与所述打折区域相对应的图像的几何图形；

调用片段着色器基于所述区域顶点纹理坐标从所述纹理缓存中读取所述相对应的图像的每个像素点的像素值，以及基于所述映射关系将读取的所述像素值赋予到所述几何图形对应所述像素点的位置点，得到所述渲染后图像。

6.根据权利要求1所述的媒体处理方法，其特征在于，在所述基于目标显示屏的屏体分辨率在操作界面生成显示窗口之前，还包括：

对接收的输入图像进行解码处理得到解码后图像；

将所述解码后图像缓存到缓存队列中；

从所述缓存队列中读取所述解码后图像作为所述图像存储到所述纹理缓存。

7.根据权利要求1所述的媒体处理方法，其特征在于，所述基于目标显示屏的屏体分辨率在操作界面生成显示窗口，包括：在所述操作界面生成与所述屏体分辨率成预设比例的OpenGL窗口作为所述显示窗口。

8.一种媒体处理装置，其特征在于，包括：

窗口生成模块，用于基于目标显示屏的屏体分辨率在操作界面生成显示窗口；

区域生成模块，用于根据用户输入信息在所述显示窗口中生成打折区域；

图像读取模块，用于从纹理缓存中读取图像；

图像渲染模块，用于基于所述图像和所述打折区域之间的映射关系，对所述图像进行渲染得到渲染后图像；

图像发送模块，用于将所述渲染后图像发送到所述目标显示屏，以由所述目标显示屏在对应所述打折区域的显示区域显示所述渲染后图像。

9.根据权利要求8所述的媒体处理装置，其特征在于，所述图像渲染模块具体用于：基于所述图像建立纹理坐标系，得到所述图像的顶点纹理坐标；基于所述显示窗口建立几何坐标系，得到所述打折区域的区域顶点几何坐标；根据所述图像的所述顶点纹理坐标和所述打折区域的所述区域顶点几何坐标得到所述打折区域与相对应的图像的所述映射关系。

10.一种媒体处理系统，其特征在于，包括：处理器和连接所述处理器的存储器；其中所述存储器存储有所述处理器执行的指令，且所述指令使得所述处理器执行操作以进行如权利要求1至7中任意一项所述的媒体处理方法。

Images