CN111258519A - 屏幕分屏实现方法、装置、终端和介质 - Google Patents

屏幕分屏实现方法、装置、终端和介质 Download PDF

Info

Publication number
CN111258519A
CN111258519A CN201811458389.9A CN201811458389A CN111258519A CN 111258519 A CN111258519 A CN 111258519A CN 201811458389 A CN201811458389 A CN 201811458389A CN 111258519 A CN111258519 A CN 111258519A
Authority
CN
China
Prior art keywords
screen
split
texture
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811458389.9A
Other languages
English (en)
Other versions
CN111258519B (zh
Inventor
郑微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811458389.9A priority Critical patent/CN111258519B/zh
Publication of CN111258519A publication Critical patent/CN111258519A/zh
Application granted granted Critical
Publication of CN111258519B publication Critical patent/CN111258519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本公开实施例公开了一种屏幕分屏实现方法、装置、终端和介质,其中,该方法包括:获取分屏参数以及视频中的目标图像,其中,分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系;基于分屏参数,在目标图像的纹理坐标中对目标图像进行偏移处理,得到与分屏数目相同数量的分屏纹理;基于分屏纹理和对应关系,将分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,目标纹理坐标中的子区域与各分屏区域一一对应。本公开实施例解决了现有的分屏实现方法对终端的性能消耗较大的问题,降低了分屏实现过程中终端的性能消耗,提高了屏幕分屏的实现效率,提高了视频输出帧率。

Description

屏幕分屏实现方法、装置、终端和介质
技术领域
本公开实施例涉及互联网技术领域,尤其涉及一种屏幕分屏实现方法、装置、终端和介质。
背景技术
随着终端性能的提升,终端支持的应用功能也越来越多。其中,分屏显示便是当前用户关注度较高的应用之一。
目前,终端中的分屏特效主要是基于SDK多分屏架构实现,该架构使用多分屏multiview方式实现。具体的分屏过程如下:首先,获取需要分屏显示的图片,按照分屏数目将图片进行多次拆分,对应至多个分屏模块;然后,根据每个模块添加的特效,分别利用单独的渲染通道进行渲染处理;最后,将多个分屏模块绘制到同一屏幕上。
上述实现方法的缺点在于:根据分屏数目,涉及到图片的多次拷贝存储和多次图像计算,导致终端的内存占用量大,性能消耗较大,并且,随着分屏数目的增加,计算量递增,这进一步加剧了分屏显示的图像绘制或渲染效率的降低,以及视频输出帧率的降低。
公开内容
本公开实施例提供一种屏幕分屏实现方法、装置、终端和介质,以提高屏幕分屏的实现效率,提高视频输出帧率。
第一方面,本公开实施例提供了一种屏幕分屏实现方法,该方法包括:
获取分屏参数以及视频中的目标图像,其中,所述分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系;
基于所述分屏参数,在所述目标图像的纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理;
基于所述分屏纹理和所述对应关系,将所述分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,所述目标纹理坐标中的子区域与各分屏区域一一对应。
可选的,所述方法还包括:
对所述目标纹理图像进行渲染,将渲染结果显示在屏幕上。
可选的,基于所述分屏参数,在所述目标图像的纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理,包括:
根据所述分屏数目和所述目标图像上需要分屏显示的图像区域,确定所述目标图像在所述纹理坐标中每次偏移的偏移量以及偏移方向;
根据所述偏移量以及偏移方向,在所述纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理。
可选的,将所述分屏纹理分别映射至所述目标纹理坐标中的对应子区域,包括:
如果所述分屏纹理中需要映射至所述目标纹理坐标中的纹理区域与所述目标纹理坐标中的对应子区域尺寸不一致,则将该分屏纹理进行缩放后映射至所述对应子区域。
可选的,所述分屏参数还包括每个分屏区域的特效参数;
相应的,基于所述分屏纹理和所述对应关系,将所述分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,还包括:
根据所述目标纹理坐标中的子区域与分屏区域的对应关系,将每个分屏区域的特效参数定义的特效添加至所述目标纹理图像的对应区域。
可选的,所述屏幕分屏实现方法基于一个渲染通道实现。
第二方面,本公开实施例还提供了一种屏幕分屏实现装置,该装置包括:
参数与图像获取模块,用于获取分屏参数以及视频中的目标图像,其中,所述分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系;
图像偏移模块,用于基于所述分屏参数,在所述目标图像的纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理;
纹理映射模块,用于基于所述分屏纹理和所述对应关系,将所述分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,所述目标纹理坐标中的子区域与各分屏区域一一对应。
可选的,所述装置还包括:
渲染模块,用于对所述目标纹理图像进行渲染,将渲染结果显示在屏幕上。
可选的,所述图像偏移模块包括:
偏移参数确定单元,用于根据所述分屏数目和所述目标图像上需要分屏显示的图像区域,确定所述目标图像在所述纹理坐标中每次偏移的偏移量以及偏移方向;
分屏纹理确定单元,用于根据所述偏移量以及偏移方向,在所述纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理。
可选的,所述纹理映射模块用于:
如果所述分屏纹理中需要映射至所述目标纹理坐标中的纹理区域与所述目标纹理坐标中的对应子区域尺寸不一致,则将该分屏纹理进行缩放后映射至所述对应子区域。
可选的,所述参数与图像获取模块中的分屏参数还包括每个分屏区域的特效参数;
相应的,所述纹理映射模块还用于:
根据所述目标纹理坐标中的子区域与分屏区域的对应关系,将每个分屏区域的特效参数定义的特效添加至所述目标纹理图像的对应区域。
可选的,所述屏幕分屏实现装置基于一个渲染通道运行。
第三方面,本公开实施例还提供了一种终端,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如本公开任一实施例所述的屏幕分屏实现方法。
第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理装置执行时实现如本公开任一实施例所述的屏幕分屏实现方法。
本公开实施例通过获取分屏参数以及视频中的目标图像,其中,分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系,基于分屏参数,在目标图像的纹理坐标中对目标图像进行偏移处理和纹理映射,从而得到与分屏显示效果相对应的目标纹理图像,解决了现有的分屏实现方法对终端的性能消耗较大的问题;由于分屏过程中不涉及根据分屏数目对目标图像的多次拆分和拷贝,也不涉及针对每个拷贝图像的单独图像计算处理,因而降低了分屏实现过程中终端的性能消耗,提高了屏幕分屏的实现效率,提高了视频输出帧率。
附图说明
图1是本公开实施例提供的一种屏幕分屏实现方法的流程示意图;
图2是本公开实施例提供的另一种屏幕分屏实现方法的流程示意图;
图3是本公开实施例提供的一种目标图像偏移和映射的示意图;
图4是本公开实施例提供的另一种目标图像偏移和映射的示意图;
图5是本公开实施例提供的一种屏幕分屏实现装置的结构示意图;
图6是本公开实施例提供的一种终端的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分而非全部结构。
图1是本公开实施例提供的一种屏幕分屏实现方法的流程示意图,本实施例可适用于在终端上分屏显示视频的情况,该方法可以由屏幕分屏实现装置来执行,该装置可以采用软件和/或硬件的方式实现,并可集成在终端上,例如智能手机、电脑和ipad等。
如图1所示,本公开实施例提供的屏幕分屏实现方法可以包括:
S110、获取分屏参数以及视频中的目标图像,其中,分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系。
终端屏幕进行分屏后的屏幕子区域称为分屏区域,包括沿着终端长度方向或宽度方向进行分屏后的屏幕子区域。分屏参数用于定义视频图像在终端屏幕上分屏显示的信息,包括但不限于分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系,该对应关系即指定了每个分屏区域显示的图像区域。每个分屏区域显示的图像区域可以相同也可以不同。分屏参数中还可包括均匀分屏或非均匀分屏等分屏策略,其中,均匀分屏指每个分屏区域的尺寸均相同,非均匀分屏指分屏区域的尺寸存在差异。
示例性的,用户启用终端上的视频交互应用进行视频拍摄或者播放视频,当用户触发当前显示界面上的分屏控件时,同时选择分屏模式,终端响应于用户操作,获取分屏模式下对应的分屏参数,将视频中的当前图像进行分屏显示。其中,分屏模式可以是应用开发过程中预设的分屏实现方式,每种分屏模式的分屏参数中均包括终端默认配置的分屏数目、分屏策略以及不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系,例如,分屏模式1默认为均匀三分屏,并将当前视频图像中的中间区域同时显示在各分屏区域。此外,当用户触发当前显示界面上的分屏控件时,也可以通过终端提供的配置接口自定义分屏参数,例如自定义分屏数目和每个分屏区域的尺寸,通过区域选择控件指定每个分屏区域显示的图像区域等。
S120、基于分屏参数,在目标图像的纹理坐标中对目标图像进行偏移处理,得到与分屏数目相同数量的分屏纹理。
在目标图像的纹理坐标中对目标图像进行偏移处理,可以按照分屏数目将目标图像上需要显示在每个分屏区域的图像区域的纹理移动至与分屏区域对应的纹理位置。在偏移过程中,可以选择将目标图像的纹理整体偏移,也可以选择只将目标图像上需要分屏显示的图像区域的纹理进行偏移。
不同于现有技术中在分屏过程中需要将目标图像进行多次拷贝,本实施例通过将目标图像的纹理偏移,分屏过程实质上仍是基于目标图像实现,从而避免了目标图像的拷贝与存储对终端内存的占用量。
S130、基于分屏纹理和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系,将分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,目标纹理坐标中的子区域与各分屏区域一一对应。
目标纹理坐标中的各子区域对应的纹理即每个分屏区域对应显示的图像区域的纹理。具体的纹理映射过程即按照分屏参数中的对应关系,将需要分屏显示的图像区域在各分屏纹理中的纹理区域统一映射至目标纹理坐标中的对应子区域。
可选的,该方法还包括:对目标纹理图像进行渲染,将渲染结果显示在屏幕上。本实施例中对目标纹理图像进行一次性地渲染,然后将渲染结果输出至屏幕,便可得到分屏显示的效果。
需要说明的是,本实施例中的屏幕分屏实现方法基于一个渲染通道实现,通过在一个渲染通道中对视频中的目标图像进行纹理偏移与纹理映射,实现分屏效果,相比于现有技术中利用多个渲染通道分别对目标图像的拷贝图像进行渲染,然后再将多个渲染结果进行合成,从而实现分屏的方案,省去了对多个拷贝图像分别进行渲染以及将多个渲染结果进行合成时所涉及的图像计算量,因此,降低了在分屏过程中对终端的性能消耗,提高了屏幕分屏的实现效率,进而提高了视频输出帧率;并且,考虑对目标图像进行多次纹理偏移与映射的计算量要远小于利用多个渲染通道进行图像渲染的计算量,当分屏数目增加时,本实施例方案中对终端的性能消耗也不会明显增加,再次保证了分屏实现的效率与视频的输出帧率,保证了分屏显示的视频的流畅性与逼真度。
例如,将终端中的视频A进行三分屏显示,对于现有技术而言,首先需要将获取的视频中的目标图像拷贝三次,得到拷贝图像A1、A2和A3,并存储;然后利用三个渲染通道分别对拷贝图像A1、A2和A3进行渲染处理,得到渲染结果B1、B2和B3;其次将渲染结果B1、B2和B3进行合成计算,得到合成结果C;最后将合成结果C绘制到一个屏幕上。相当于在每一帧图像的分屏显示过程中,不仅需要占用较大的内存存储3个拷贝图像,还至少涉及5次图像计算,如果每个分屏上设置了不同的视频特效,还需要增加3次视频特效的计算处理,最终导致终端对每一帧视频图像分屏显示的处理速度较慢。然而,对于本实施例方案,利用一个渲染通道对目标图像进行纹理偏移和映射之后,只需要进行1次渲染处理,即使增加视频特效的计算,图像计算量也远小于现有技术,内存占用量也较小,因此,终端对每一帧视频图像分屏显示的处理速度更快,视频A的输出帧率更高,视频播放也更加流畅。
本实施例的技术方案通过获取分屏参数以及视频中的目标图像,基于分屏参数,在目标图像的纹理坐标中对目标图像进行偏移处理和纹理映射,从而得到与分屏显示效果相对应的目标纹理图像,解决了现有的分屏实现方法对终端的性能消耗较大的问题;由于分屏过程中不涉及根据分屏数目对目标图像的多次拆分和拷贝,也不涉及针对每个拷贝图像的单独图像计算处理,因而降低了分屏实现过程中终端的性能消耗,提高了屏幕分屏的实现效率,提高了视频输出帧率。
图2是本公开实施例提供的另一种屏幕分屏实现方法的流程示意图,以上述实施例中各个可选方案为基础进行具体化,可以与上述实施例中各个可选方案结合。如图2所示,本公开实施例提供的屏幕分屏实现方法可以包括:
S210、获取分屏参数以及视频中的目标图像,其中,分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系。
S220、根据分屏数目和目标图像上需要分屏显示的图像区域,确定目标图像在纹理坐标中每次偏移的偏移量以及偏移方向。
其中,偏移量用于表示将目标图像上需要分屏显示的图像区域的纹理移动到与分屏区域对应的纹理位置时的移动距离,具体可以目标图像的纹理坐标为参照标准进行确定。根据每个分屏区域具体显示的图像区域以及不同分屏区域的尺寸,目标图像每次偏移的偏移量可以相同,也可以不相同。
S230、根据偏移量以及偏移方向,在纹理坐标中对目标图像进行偏移处理,得到与分屏数目相同数量的分屏纹理。
分屏纹理的纹理坐标与目标图像的纹理坐标保持一致。同一图像区域在分屏纹理中对应的坐标点与在目标图像上对应的坐标点之间的差值即偏移量的值。
以下针对偏移量相同和偏移量不同的两种情况进行示例性说明:
示例一:将目标图像上的同一区域显示在均匀的三分屏上。如图3所示,目标图像在其纹理坐标中的四个坐标顶点分别为(0,0)、(1,0)、(0,1)和(1,1)。根据当前视频播放的屏幕方向,将屏幕分为分屏1、分屏2和分屏3。其中,分屏1、分屏2和分屏3需要显示的图像区域C均为由坐标点(0,1/3)、(1,1/3)、(0,2/3)和(1,2/3)组成的矩形区域,可以确定出目标图像在其纹理坐标中3次偏移的偏移量以及偏移方向分别如下:
第一次偏移:偏移量1/3,偏移方向为沿竖直方向向上,即将目标图像在其纹理坐标中整体沿竖直方向向上移动1/3,得到分屏纹理1;
第二次偏移:偏移量0,即目标图像未进行偏移,将此时的目标图像纹理记为分屏纹理2;
第三次偏移:偏移量1/3,偏移方向为沿竖直方向向下,即将目标图像在其纹理坐标中整体沿竖直方向向下移动1/3,得到分屏纹理3。
经过上述偏移后,图像区域C对应的纹理在分屏纹理1中对应的坐标区域是由坐标点(0,2/3)、(1,2/3)、(0,1)和(1,1)组成的矩形区域;图像区域C对应的纹理在分屏纹理2中对应的坐标区域仍然是由坐标点(0,1/3)、(1,1/3)、(0,2/3)和(1,2/3)组成的矩形区域;图像区域C对应的纹理在分屏纹理3中对应的坐标区域是由坐标点(0,0)、(1,0)、(0,1/3)和(1,1/3)组成的矩形区域。
示例二,在上述示例一的基础上,如图4所示,如果分屏1和分屏2需要显示的图像区域C保持不变,分屏3需要显示的图像区域变为目标图像上由坐标点(0,2/3)、(1,2/3)、(0,1)和(1,1)组成的图像区域D,则第三次偏移变为:偏移量2/3,偏移方向为沿竖直方向向下,即将目标图像在其纹理坐标中整体沿竖直方向向下移动2/3,得到分屏纹理3。纹理偏移后,图像区域D对应的纹理在分屏纹理3中对应的坐标区域是由坐标点(0,0)、(1,0)、(0,1/3)和(1,1/3)组成的矩形区域。
当不同分屏区域的尺寸不相同时,在目标图像的纹理坐标中对其进行偏移的偏移量也不同。具体的实现过程与上述示例中的过程相同,不再赘述。此外,根据目标图像上需要分屏显示的图像区域的不同,将目标图像在其纹理坐标中沿着水平方向以任意偏移量进行偏移也在本公开实施例的保护范围内。
S240、基于分屏纹理和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系,将分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,目标纹理坐标中的子区域与各分屏区域一一对应。
继续以上述示例一为例,目标纹理坐标与目标图像的纹理坐标保持一致,其四个坐标顶点同样为(0,0)、(1,0)、(0,1)和(1,1)。如图3所示,目标图像的纹理映射过程为:将分屏纹理1中由坐标点(0,2/3)、(1,2/3)、(0,1)和(1,1)组成的矩形区域映射至目标纹理坐标中由相同坐标点组成的子区域;将分屏纹理2中由坐标点(0,1/3)、(1,1/3)、(0,2/3)和(1,2/3)组成的矩形区域映射至目标纹理坐标中由相同坐标点组成的子区域;将分屏纹理3中由坐标点(0,0)、(1,0)、(0,1/3)和(1,1/3)组成的矩形区域映射至目标纹理坐标中由相同坐标点组成的子区域。三次映射完成之后,便得到由三个相同的图像区域C的纹理组成的目标纹理图像,继续对目标纹理图像进行渲染与显示输出,便实现目标图像的分屏显示。
对于示例二,与上述示例一的映射过程相同,如图4所示,同样图像区域C和图像区域D在分屏纹理中对应的纹理区域映射至目标纹理坐标中相同的坐标区域,得到由图像区域C和图像区域D的纹理组成的目标纹理图像。按照本实施方法依次将视频中的所有图像进行分屏处理,便实现终端视频的分屏显示。
可选的,将分屏纹理分别映射至目标纹理坐标中的对应子区域,包括:
如果分屏纹理中需要映射至目标纹理坐标中的纹理区域与目标纹理坐标中的对应子区域尺寸不一致,则将该分屏纹理进行缩放后映射至对应子区域。
由于目标纹理坐标与目标图像的纹理坐标一致,且目标纹理坐标中的子区域与各分屏区域一一对应,相当于在目标纹理坐标的总区域尺寸一定的情况下,分屏数目与每个分屏区域的尺寸决定了目标纹理坐标中各子区域的尺寸。然而,每个分屏区域显示的图像区域是可以任意设置的,因而分屏纹理中需要映射至目标纹理坐标中的纹理区域,相对于目标纹理坐标中的子区域而言,也是可以为任意尺寸。如果分屏纹理中需要映射至目标纹理坐标中的纹理区域尺寸大于目标纹理坐标中的对应子区域尺寸,则缩小该分屏纹理的尺寸;如果分屏纹理中需要映射至目标纹理坐标中的纹理区域尺寸小于目标纹理坐标中的对应子区域尺寸,则放大该分屏纹理的尺寸,直至需要映射的纹理区域尺寸与目标纹理坐标中的对应子区域尺寸一致。
在分屏纹理的缩放过程,可以保持分屏纹理中需要映射至目标纹理坐标对应子区域的纹理区域的中心不变,对分屏纹理进行缩放。如果缩放过程中需要映射的纹理区域的中心发生偏移,则需要将偏移的纹理区域中心调整至与缩放前的中心重合,以保证映射至目标纹理坐标对应子区域的纹理是分屏显示的图像区域的纹理。
在上述技术方案的基础上,可选的,分屏参数还包括每个分屏区域的特效参数;
相应的,基于分屏纹理和对应关系,将分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,还包括:
根据目标纹理坐标中的子区域与分屏区域的对应关系,将每个分屏区域的特效参数定义的特效添加至目标纹理图像的对应区域。
屏幕分屏过程中,可以对各个分屏区域显示的图像内容添加各种特效,例如添加贴纸或者添加滤镜等,以丰富视频的显示效果。对每个分屏区域添加特效的过程与每个分屏纹理映射的过程同时进行,例如将分屏纹理1映射至目标纹理图像的对应子区域1的同时,在该对应子区域1中添加特效,纹理映射完成后得到的目标纹理图像中各个区域便是已经包含有特效的纹理区域。此外,如果每个分屏区域的特效参数一致,也可以将各个分屏区域映射至目标纹理坐标中之后,统一添加特效,得到目标纹理图像。
本实施例的技术方案首先根据分屏数目和目标图像上需要分屏显示的图像区域,确定目标图像在纹理坐标中每次偏移的偏移量以及偏移方向;然后根据偏移量以及偏移方向,在纹理坐标中对目标图像进行偏移处理,得到多个分屏纹理;最后按照分屏参数中的对应关系和纹理坐标对应关系将分屏纹理映射至目标纹理坐标中,得到目标纹理图像,解决了现有的分屏实现方法对终端的性能消耗较大的问题,降低了分屏实现过程中终端的性能消耗,提高了屏幕分屏的实现效率,提高了视频输出帧率。
图5是本公开实施例提供的一种屏幕分屏实现装置的结构示意图,本实施例可适用于在终端上分屏显示视频的情况。该屏幕分屏实现装置可以采用软件和/或硬件的方式实现,并可集成在终端上,例如智能手机、电脑和ipad等。
如图5所示,本公开实施例提供的屏幕分屏实现装置包括参数与图像获取模块310、图像偏移模块320和纹理映射模块330,其中:
参数与图像获取模块310,用于获取分屏参数以及视频中的目标图像,其中,分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系;
图像偏移模块320,用于基于分屏参数,在目标图像的纹理坐标中对目标图像进行偏移处理,得到与分屏数目相同数量的分屏纹理;
纹理映射模块330,用于基于分屏纹理和对应关系,将分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,目标纹理坐标中的子区域与各分屏区域一一对应。
可选的,该装置还包括:
渲染模块,用于对目标纹理图像进行渲染,将渲染结果显示在屏幕上。
可选的,图像偏移模块320包括:
偏移参数确定单元,用于根据分屏数目和目标图像上需要分屏显示的图像区域,确定目标图像在纹理坐标中每次偏移的偏移量以及偏移方向;
分屏纹理确定单元,用于根据偏移量以及偏移方向,在纹理坐标中对目标图像进行偏移处理,得到与分屏数目相同数量的分屏纹理。
可选的,纹理映射模块330用于:
如果分屏纹理中需要映射至目标纹理坐标中的纹理区域与目标纹理坐标中的对应子区域尺寸不一致,则将该分屏纹理进行缩放后映射至对应子区域。
可选的,参数与图像获取模块310中的分屏参数还包括每个分屏区域的特效参数;相应的,纹理映射模块330还用于:
根据目标纹理坐标中的子区域与分屏区域的对应关系,将每个分屏区域的特效参数定义的特效添加至目标纹理图像的对应区域。
可选的,本实施例提供的屏幕分屏实现装置基于一个渲染通道运行。
本公开实施例所提供的屏幕分屏实现装置可执行本公开任意实施例所提供的屏幕分屏实现方法,具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考上述方法实施例中的描述。
图6是本公开实施例提供的一种终端的硬件结构示意图。下面参考图6,其示出了适于用来实现本公开实施例的终端400的结构示意图。本公开实施例中的终端可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的终端仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,终端400可以包括一个或多个处理装置(例如中央处理器、图形处理器等)401,以及用于存储一个或多个程序的存储装置408。其中,处理装置401可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有终端400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常,以下装置可以连接至I/O接口405:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407;包括例如磁带、硬盘等的存储装置408;以及通信装置409。通信装置409可以允许终端400与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的终端400,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置409从网络上被下载和安装,或者从存储装置408被安装,或者从ROM 402被安装。在该计算机程序被处理装置401执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述终端中所包含的;也可以是单独存在,而未装配入该终端中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该终端执行时,使得该终端:获取分屏参数以及视频中的目标图像,其中,所述分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系;基于所述分屏参数,在所述目标图像的纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理;基于所述分屏纹理和所述对应关系,将所述分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,所述目标纹理坐标中的子区域与各分屏区域一一对应。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种屏幕分屏实现方法,其特征在于,包括:
获取分屏参数以及视频中的目标图像,其中,所述分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系;
基于所述分屏参数,在所述目标图像的纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理;
基于所述分屏纹理和所述对应关系,将所述分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,所述目标纹理坐标中的子区域与各分屏区域一一对应。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述目标纹理图像进行渲染,将渲染结果显示在屏幕上。
3.根据权利要求1所述的方法,其特征在于,基于所述分屏参数,在所述目标图像的纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理,包括:
根据所述分屏数目和所述目标图像上需要分屏显示的图像区域,确定所述目标图像在所述纹理坐标中每次偏移的偏移量以及偏移方向;
根据所述偏移量以及偏移方向,在所述纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理。
4.根据权利要求1所述的方法,其特征在于,将所述分屏纹理分别映射至所述目标纹理坐标中的对应子区域,包括:
如果所述分屏纹理中需要映射至所述目标纹理坐标中的纹理区域与所述目标纹理坐标中的对应子区域尺寸不一致,则将该分屏纹理进行缩放后映射至所述对应子区域。
5.根据权利要求1-4中任一所述的方法,其特征在于,所述分屏参数还包括每个分屏区域的特效参数;
相应的,基于所述分屏纹理和所述对应关系,将所述分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,还包括:
根据所述目标纹理坐标中的子区域与分屏区域的对应关系,将每个分屏区域的特效参数定义的特效添加至所述目标纹理图像的对应区域。
6.根据权利要求1所述的方法,其特征在于,所述屏幕分屏实现方法基于一个渲染通道实现。
7.一种屏幕分屏实现装置,其特征在于,包括:
参数与图像获取模块,用于获取分屏参数以及视频中的目标图像,其中,所述分屏参数包括分屏数目和不同分屏区域与目标图像上需要分屏显示的图像区域的对应关系;
图像偏移模块,用于基于所述分屏参数,在所述目标图像的纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理;
纹理映射模块,用于基于所述分屏纹理和所述对应关系,将所述分屏纹理分别映射至目标纹理坐标中的对应子区域,得到目标纹理图像,其中,所述目标纹理坐标中的子区域与各分屏区域一一对应。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
渲染模块,用于对所述目标纹理图像进行渲染,将渲染结果显示在屏幕上。
9.根据权利要求7所述的装置,其特征在于,所述图像偏移模块包括:
偏移参数确定单元,用于根据所述分屏数目和所述目标图像上需要分屏显示的图像区域,确定所述目标图像在所述纹理坐标中每次偏移的偏移量以及偏移方向;
分屏纹理确定单元,用于根据所述偏移量以及偏移方向,在所述纹理坐标中对所述目标图像进行偏移处理,得到与所述分屏数目相同数量的分屏纹理。
10.根据权利要求7所述的装置,其特征在于,所述纹理映射模块用于:
如果所述分屏纹理中需要映射至所述目标纹理坐标中的纹理区域与所述目标纹理坐标中的对应子区域尺寸不一致,则将该分屏纹理进行缩放后映射至所述对应子区域。
11.根据权利要求7-10中任一所述的装置,其特征在于,所述参数与图像获取模块中的分屏参数还包括每个分屏区域的特效参数;
相应的,所述纹理映射模块还用于:
根据所述目标纹理坐标中的子区域与分屏区域的对应关系,将每个分屏区域的特效参数定义的特效添加至所述目标纹理图像的对应区域。
12.根据权利要求7所述的装置,其特征在于,所述屏幕分屏实现装置基于一个渲染通道运行。
13.一种终端,其特征在于,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如权利要求1-6中任一所述的屏幕分屏实现方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-6中任一所述的屏幕分屏实现方法。
CN201811458389.9A 2018-11-30 2018-11-30 屏幕分屏实现方法、装置、终端和介质 Active CN111258519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811458389.9A CN111258519B (zh) 2018-11-30 2018-11-30 屏幕分屏实现方法、装置、终端和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811458389.9A CN111258519B (zh) 2018-11-30 2018-11-30 屏幕分屏实现方法、装置、终端和介质

Publications (2)

Publication Number Publication Date
CN111258519A true CN111258519A (zh) 2020-06-09
CN111258519B CN111258519B (zh) 2021-07-06

Family

ID=70946676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811458389.9A Active CN111258519B (zh) 2018-11-30 2018-11-30 屏幕分屏实现方法、装置、终端和介质

Country Status (1)

Country Link
CN (1) CN111258519B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021197024A1 (zh) * 2020-04-02 2021-10-07 北京字节跳动网络技术有限公司 视频特效配置文件生成方法、视频渲染方法及装置
CN114286115A (zh) * 2021-11-24 2022-04-05 杭州星犀科技有限公司 多路视频的画面显示的控制方法和系统
CN114780197A (zh) * 2022-04-29 2022-07-22 北京字跳网络技术有限公司 分屏渲染方法、装置、设备及存储介质
WO2023071631A1 (zh) * 2021-10-25 2023-05-04 北京字节跳动网络技术有限公司 一种视频处理方法、装置及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090005828A (ko) * 2007-07-10 2009-01-14 엘지디스플레이 주식회사 확장 가능한 멀티 모듈 디스플레이 장치
CN101958003A (zh) * 2009-07-14 2011-01-26 索尼公司 图像处理装置以及图像处理方法
CN102547069A (zh) * 2012-01-19 2012-07-04 西安联客信息技术有限公司 移动终端及其图像分屏处理方法
CN102567381A (zh) * 2010-12-23 2012-07-11 腾讯科技(深圳)有限公司 一种保存图片信息的方法和装置
CN103853512A (zh) * 2012-12-03 2014-06-11 联想(北京)有限公司 一种实现分屏的方法及电子设备
CN105812650A (zh) * 2015-06-29 2016-07-27 维沃移动通信有限公司 一种图像获取方法及电子设备
CN106681606A (zh) * 2016-12-06 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种图片处理方法及终端
CN106792093A (zh) * 2016-12-20 2017-05-31 飞狐信息技术(天津)有限公司 视频分屏播放方法、装置及播放终端
US20170262245A1 (en) * 2016-03-09 2017-09-14 Samsung Electronics Co., Ltd. Configuration and operation of display devices including device management
CN107526504A (zh) * 2017-08-10 2017-12-29 广州酷狗计算机科技有限公司 图像显示的方法及装置、终端及存储介质
CN107635104A (zh) * 2017-08-11 2018-01-26 光锐恒宇(北京)科技有限公司 一种在应用中显示特效的方法和装置
CN108108140A (zh) * 2018-01-09 2018-06-01 福建星网视易信息系统有限公司 一种多屏协同显示方法及存储装置及支持3d显示的设备
CN108228121A (zh) * 2016-12-15 2018-06-29 中科创达软件股份有限公司 一种浏览器分屏的方法、装置及移动终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090005828A (ko) * 2007-07-10 2009-01-14 엘지디스플레이 주식회사 확장 가능한 멀티 모듈 디스플레이 장치
CN101958003A (zh) * 2009-07-14 2011-01-26 索尼公司 图像处理装置以及图像处理方法
CN102567381A (zh) * 2010-12-23 2012-07-11 腾讯科技(深圳)有限公司 一种保存图片信息的方法和装置
CN102547069A (zh) * 2012-01-19 2012-07-04 西安联客信息技术有限公司 移动终端及其图像分屏处理方法
CN103853512A (zh) * 2012-12-03 2014-06-11 联想(北京)有限公司 一种实现分屏的方法及电子设备
CN105812650A (zh) * 2015-06-29 2016-07-27 维沃移动通信有限公司 一种图像获取方法及电子设备
US20170262245A1 (en) * 2016-03-09 2017-09-14 Samsung Electronics Co., Ltd. Configuration and operation of display devices including device management
CN106681606A (zh) * 2016-12-06 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种图片处理方法及终端
CN108228121A (zh) * 2016-12-15 2018-06-29 中科创达软件股份有限公司 一种浏览器分屏的方法、装置及移动终端
CN106792093A (zh) * 2016-12-20 2017-05-31 飞狐信息技术(天津)有限公司 视频分屏播放方法、装置及播放终端
CN107526504A (zh) * 2017-08-10 2017-12-29 广州酷狗计算机科技有限公司 图像显示的方法及装置、终端及存储介质
CN107635104A (zh) * 2017-08-11 2018-01-26 光锐恒宇(北京)科技有限公司 一种在应用中显示特效的方法和装置
CN108108140A (zh) * 2018-01-09 2018-06-01 福建星网视易信息系统有限公司 一种多屏协同显示方法及存储装置及支持3d显示的设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021197024A1 (zh) * 2020-04-02 2021-10-07 北京字节跳动网络技术有限公司 视频特效配置文件生成方法、视频渲染方法及装置
US11856152B2 (en) 2020-04-02 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Video special effect configuration file generation method and apparatus, and video rendering method and apparatus
WO2023071631A1 (zh) * 2021-10-25 2023-05-04 北京字节跳动网络技术有限公司 一种视频处理方法、装置及设备
CN114286115A (zh) * 2021-11-24 2022-04-05 杭州星犀科技有限公司 多路视频的画面显示的控制方法和系统
CN114286115B (zh) * 2021-11-24 2024-04-16 杭州星犀科技有限公司 多路视频的画面显示的控制方法和系统
CN114780197A (zh) * 2022-04-29 2022-07-22 北京字跳网络技术有限公司 分屏渲染方法、装置、设备及存储介质
CN114780197B (zh) * 2022-04-29 2023-12-22 北京字跳网络技术有限公司 分屏渲染方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111258519B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN111258519B (zh) 屏幕分屏实现方法、装置、终端和介质
CN109460233B (zh) 页面的原生界面显示更新方法、装置、终端设备及介质
CN110568982B (zh) 在线演示文稿中的图片裁剪方法、装置、存储介质及设备
CN112954441B (zh) 视频编辑及播放方法、装置、设备、介质
CN112053370A (zh) 基于增强现实的显示方法、设备及存储介质
EP4343580A1 (en) Media file processing method and apparatus, device, readable storage medium, and product
WO2022132033A1 (zh) 基于增强现实的显示方法、装置、设备及存储介质
CN112965780A (zh) 图像显示方法、装置、设备及介质
CN114531553B (zh) 生成特效视频的方法、装置、电子设备及存储介质
CN110647369B (zh) 页面动态显示的方法、装置、移动终端及存储介质
CN114676358A (zh) 控件的显示方法、装置、电子设备、存储介质和程序产品
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
WO2024061064A1 (zh) 展示效果处理方法、装置、电子设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN110134905B (zh) 一种页面更新显示方法、装置、设备及存储介质
CN112995401A (zh) 控件显示方法、装置、设备及介质
CN111833459A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113891141B (zh) 一种视频处理方法、装置及设备
CN111221444A (zh) 分屏特效处理方法、装置、电子设备和存储介质
CN111200705B (zh) 图像处理方法和装置
CN111223105B (zh) 图像处理方法和装置
CN113127101A (zh) 一种应用程序的控制方法、装置、设备及介质
CN111862342A (zh) 增强现实的纹理处理方法、装置、电子设备及存储介质
CN115150653B (zh) 媒体内容的展示方法、装置、电子设备和存储介质
CN111200754B (zh) 一种全景视频的播放方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant