CN107025100A - 播放多媒体数据的方法、界面渲染方法及装置、设备 - Google Patents

播放多媒体数据的方法、界面渲染方法及装置、设备 Download PDF

Info

Publication number
CN107025100A
CN107025100A CN201610070464.9A CN201610070464A CN107025100A CN 107025100 A CN107025100 A CN 107025100A CN 201610070464 A CN201610070464 A CN 201610070464A CN 107025100 A CN107025100 A CN 107025100A
Authority
CN
China
Prior art keywords
information
medium data
broadcast window
transparent region
draw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610070464.9A
Other languages
English (en)
Inventor
李江卫
钟学书
刘永卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610070464.9A priority Critical patent/CN107025100A/zh
Priority to PCT/CN2017/071716 priority patent/WO2017133475A1/zh
Publication of CN107025100A publication Critical patent/CN107025100A/zh
Priority to US16/044,088 priority patent/US10957285B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了播放多媒体数据的方法、界面渲染方法及装置、设备，播放多媒体数据的方法包括：通知在第一绘图层上绘制透明区域；通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。本申请能够避免界面滚动引起的界面白边或数据抖动。

Description

播放多媒体数据的方法、界面渲染方法及装置、设备
技术领域
本申请涉及播放多媒体数据的技术，尤其涉及播放多媒体数据的方法、界面渲染的方法及播放多媒体数据的装置、界面渲染的装置、播放多媒体数据的设备。
背景技术
目前某些场景下，在应用的界面上播放多媒体数据时，需要借助多媒体数据播放服务来播放多媒体数据，在应用的界面上有一个区域作为多媒体数据的显示区域。目前实现该效果的一种方案是在对该应用的界面渲染时，在绘制界面的绘图层绘制一个透明区域，另外，再在另一个绘图层绘制一个播放窗口，将播放窗口的位置重叠于透明区域的位置，播放窗口内显示每一帧待播放的多媒体数据。
当用户执行滚动或翻页等操作时，透明区域的位置发生改变，需要相应的调整播放窗口的位置。但目前对透明区域和播放窗口调整的过程容易造成界面出现白边或数据抖动现象。
发明内容
本申请提供播放多媒体数据的方法、界面渲染的方法及播放多媒体数据的装置、界面渲染的装置，能够避免界面滚动引起的界面白边或数据抖动。
根据本申请实施例的第一方面，提供一种播放多媒体数据的方法，所述方法包括步骤：
通知在第一绘图层上绘制透明区域；通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；
通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。
根据本申请实施例的第二方面，提供一种界面渲染的方法，包括步骤：
将第一信息和第二信息发给图像处理单元GPU进程；所述第一信息用于指示绘制透明区域，所述第二信息用于指示绘制多媒体数据的播放窗口；
当接收到所述GPU进程的通知时，根据所述第一信息在绘图层绘制所述透明区域。
根据本申请实施例的第三方面，提供一种播放多媒体数据的装置，包括：
绘图控制模块，用于通知在第一绘图层上绘制透明区域；通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；
显示控制模块，用于通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。
根据本申请实施例的第四方面，提供一种界面渲染的装置，包括：
通知模块，用于将第一信息和第二信息发给图像处理单元GPU进程；所述第一信息用于指示绘制透明区域，所述第二信息用于指示绘制多媒体数据的播放窗口；
绘图模块，用于当接收到所述GPU进程的通知时，根据所述第一信息在绘图层绘制所述透明区域。
根据本申请实施例的第五方面，提供一种播放多媒体数据的设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
发送第一信息和第二信息；所述第一信息用于指示绘制透明区域，所述第二信息用于指示绘制多媒体数据的播放窗口；
根据所述第一信息通知在第一绘图层上绘制透明区域；根据所述第二信息通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；
当收到所述通知后，根据所述第一信息绘制所述透明区域，根据所述第二信息绘制所述播放窗口；
通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。
由于本申请对透明区域和播放窗口的显示过程进行了同步控制，因此可以避免现有技术中界面滚动时引起的界面白边和数据抖动现象。
附图说明
图1为本申请实施例中设备100的硬件框图；
图2为本申请实施例中播放多媒体数据的方法的流程图；
图3为本申请实施例中界面渲染的方法的流程图；
图3a、图3b、图3c为本申请实施例中三种场景图；
图4为本申请实施例中一个应用实例中的时序图；
图5为本申请实施例中播放多媒体数据的装置或界面渲染的装置的硬件架构图；
图6为本申请实施例中播放多媒体数据的装置软件逻辑框图；
图7为本申请实施例中界面渲染的装置软件逻辑框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1中，设备100具有中央处理器(Central Processing Unit，CPU)101、图形处理器(Graphic Processing Unit，GPU)102等硬件设备，以及操作系统、操作系统内部或上层的应用(例如多媒体数据播放客户端、浏览器、移动终端桌面应用等)等软件，操作系统可以提供多种服务，例如多媒体数据播放服务等。
设备100可以是具有无线通信功能的手持设备、车载设备、可穿戴设备、电视设备、计算设备或连接到无线调制解调器的其它处理设备等等。
GPU 102可以提供界面元素的渲染功能，通过渲染可以实现对界面上的界面元素进行排版。例如，浏览器运行时所呈现的界面效果、操作系统运行时所呈现的桌面效果、应用客户端呈现在操作系统桌面上的某个显示区域的效果均是GPU对待显示的数据的渲染结果。在硬件层面，CPU 101与GPU 102连接。操作系统运行在CPU 101上，应用通过操作系统提供的接口将需要渲染的数据发给GPU；GPU对需要渲染的数据进行渲染，并将渲染后的结果存储，例如，可以存储在GPU 102的显示存储器(VRAM，Video RAM)中。
可以通过渲染引擎调用GPU 102来实现GPU的渲染功能。在某些例子中，渲染引擎可以是属于应用本身所提供的模块，在某些例子中，渲染引擎也可以是操作系统或第三方以插件等形式所提供的模块。在渲染时，渲染引擎可以在VRAM中生成绘图层，绘制层是绘图的介质，在绘图层上绘制界面元素。通过操作系统中提供显示功能的显示应用获取绘图层的绘制结果进行呈现。
在界面上播放多媒体数据的一种方案是，在渲染界面的界面元素时，在一个绘图层设置透明区域，可以通过多媒体数据播放服务在另一个绘图层设置多媒体数据的播放窗口，在一个例子中，播放窗口的位置与透明区域的位置可以重叠(本申请中，重叠是指二者完全重合或基本重合)。
本申请所提供的播放多媒体数据的技术方案能够解决在界面滚动时引起的界面白边或数据抖动。
本申请提供的播放多媒体数据的方法的流程可参考图2，详细过程如下：
S201，通知在第一绘图层上绘制透明区域；通知在第二绘图层上绘制多媒体数据的播放窗口，多媒体数据的播放窗口与透明区域重叠；
S202，通知同步显示透明区域和播放窗口，以及通知在播放窗口中播放所述多媒体数据。
作为例子，S202可以在S201执行完成后运行，执行S201和S202的主体可以相同，也可以不同。例如可以S201和S202均通过GPU进程来执行(GPU进程是当GPU被调用时在操作系统启动的进程)；也可以通过其他主体来执行S201，通过GPU进程来执行S202等。如果S201和S202的执行主体相同，将更有利于控制透明区域和播放窗口的同步显示过程。
本申请通过执行S202来控制显示服务同步显示透明区域和播放窗口，以避免界面白边和数据抖动。
本申请中，“通知”可以理解为通过发送指令指示(或控制)被通知的主体执行某个动作，该通知可以通过计算机执行指令承载。例如，可以通过GPU进程发送一条指令，通知该指令的接收者在第一绘图层上绘制透明区域；或者发送一条指令通知该指令的接收者在第二绘图层上绘制多媒体数据的播放窗口等等。
在S201阶段，绘制透明区域的通知和绘制播放窗口的通知的发送时机可以是获得第一信息和第二信息后，本申请中第一信息用来指示绘制透明区域，第二信息用来指示绘制播放窗口，作为示例，第一信息和第二信息可以是诸如透明区域的坐标或尺寸等信息，也可以是能够计算出透明区域坐标或尺寸的信息。
以下以GPU进程执行图2所示的流程为例，第一信息和第二信息的获取方式可以是GPU进程从其他主体接收，例如，从渲染线程接收，还可以是GPU进程从其他主体接收第一信息，然后根据第一信息计算获得第二信息。
渲染线程发送第一信息或第二信息的时机可以是当初次渲染界面元素时，或者需要重新对界面元素排版时(例如，用户发出触发指令、界面从服务端下载新的业务数据等情况)。对于其他实体将第一信息和第二信息发送给GPU的过程可结合图3参考本文的相关部分描述。
GPU进程通知绘制透明区域和播放窗口的消息中可以携带第一信息和第二信息，也可以通知接收消息的实体从其他途径获取第一信息和第二信息。例如，GPU进程可以通知渲染引擎将第一信息和第二信息分别发给负责绘制透明区域的模块和绘制播放窗口的模块，或者GPU可以通知负责绘制透明区域的模块和绘制播放窗口的模块分别向渲染引擎请求第一信息和第二信息。
对于GPU进程来通知绘制透明区域和播放窗口的方式可以不作限制，例如，GPU进程可以分别启动两个并行的线程，一个线程负责通知绘制透明区域的位置，另一个线程负责通知绘制播放窗口的位置。再例如，GPU进程可以启动一个线程来串行发送绘制透明区域和播放窗口的通知，可以先通知绘制透明区域，再通知绘制播放窗口；也可以先通知播放窗口，再通知绘制透明区域。GPU进程可以通过扩展接口向多媒体播放服务发命令，以便设置播放窗口的位置。例如，可通过以下命令通知多媒体播放服务在绘制层绘制播放窗口，其中SurfaceX表示播放窗口所在的绘制层。
GL_APICALL void GL_APIENTRY glSetSurfaceX(GLint xoffset,GLint yoffset,GLint width,GLint height)
在本申请的S202阶段，可以由GPU进程通知操作系统的显示服务来显示重新排版后的应用的界面以及多媒体数据的播放窗口，由于统一由GPU进程来通知显示服务，因此消除了透明区域和播放窗口的不同步显示问题，避免了白边和抖动现象。GPU进程还可以通知显示服务获取下一帧待显示的多媒体数据。
对于多媒体播放服务绘制播放窗口的方案可参考现有技术的实现方式，以下结合图3描述本申请中界面渲染的详细流程。
S301，将第一信息和第二信息发给GPU进程；第一信息和第二信息的定义参考前文描述；
S302，当接收到GPU进程的通知时，根据第一信息在绘图层绘制透明区域。
图3所述的流程可通过渲染引擎执行，不同于现有技术，渲染引擎发送第二信息的对象是GPU进程而不是多媒体数据播放服务；这里用GPU进程指代S202的执行主体。
获得第一信息的途径可以是根据预设参数获得，或者根据服务器下发的业务数据获得，或者根据用户的触发指令获得。例如，在初次渲染界面元素时，可以根据预设参数获得第一信息，或者将服务器下发的业务数据生成渲染树后获得第一信息，也可以是根据用户的触发指令获得第一信息。获得第二信息的途径可以与第一信息相同，也可以是先获得第一信息后，根据第一信息计算得到第二信息。
根据用户的触发指令生成第一信息和第二信息的过程可以参照以下描述：
用户向界面发出触发指令，该触发指令导致界面元素的位移发生改变。界面接收到用户的触发指令后，可以通知渲染引擎重新渲染，触发指令可以是按键消息、触摸消息等，触发指令中可以包括“上”、“下”、“左”、“右”以及移动距离等信息。界面通知渲染引擎的方式可以是从触发指令中获取与界面元素的位置变化有关的信息(例如代表方向的参数、偏移量的参数等)发给渲染引擎。渲染引擎可以根据界面元素的位置变化信息计算出界面元素新的位置信息，新的位置信息中包括第一信息和第二信息。
第一信息或第二信息可以与设置其他界面元素的位置信息一同发送，需要发送的各种信息可以通过一条消息发送，也可以通过不同的消息发送，具体可根据设计需求确定，本申请不做限制。作为示例，可以通过扩展接口将第一信息和第二信息通知渲染线程；由渲染线程将所述第一信息和第二信息分别通过不同的命令发给GPU进程，以触发GPU进程执行S202阶段的动作。
本申请中，界面滚动可以是在多媒体数据播放时，用户可能会对应用的界面进行某种操作，导致界面元素发生位移(例如用户触发滚动、翻页等动作)。当透明区域所在的界面上界面元素发生位移时，需要重新进行界面排版，透明区域的位置和多媒体数据的播放窗口的位置可能均需要相应调整。本申请中所指的界面不局限于应用的界面、操作系统的桌面等。多媒体数据可以是视频数据、3D动画、游戏数据等。
图3a-图3c列举了用户指令触发发生几种界面滚动现象的应用场景，值得注意，本申请所适用的应用场景不局限于所列举的实例。
图3a描述了浏览器的界面滚动的场景。浏览器界面中的透明区域是在绘制浏览器的界面元素时，由浏览器的渲染引擎所绘制；播放窗口是由多媒体数据播放服务在另一个绘图层绘制。由于透明区域和播放窗口重叠，因此用户看到的是播放窗口的呈现效果。浏览器的界面中其他区域显示有其他的界面元素(图中的文字块、图片块等)。用户通过界面上的滚动条发出触发指令，浏览器300在收到触发指令后，通知浏览器的渲染引擎对界面重新排版。
图3b中，在渲染IPTV的操作系统的界面时，通过操作系统的渲染引擎绘制透明区域，通过多媒体数据播放服务绘制播放窗口；播放窗口和透明区域布满整个界面区域。用户通过遥控器发出上移、下移或翻页等触发指令，IPTV的界面收到触发指令后，通知操作系统的渲染引擎对界面重新排版。
图3c中，平板电脑的桌面上放置有游戏App，游戏App的播放窗口重叠于桌面上的透明区域。用户通过手指左右滑动屏幕发出触发指令，使桌面元素的位置发生改变，桌面响应用户的触发指令，通知操作系统的渲染引擎对桌面元素重新排版。
对于其他可播放多媒体的设备的场景描述不再一一列举。
以下结合图4描述一个应用实例，当用户触发界面滚动时播放多媒体数据的时序图。通信的实体包括负责对应用的界面400进行渲染的渲染引擎401、GPU进程402、多媒体数据播放服务403，显示服务404、渲染引擎中实现绘图功能的绘图模块405。
用户向界面400发出触发指令，触发指令中携带有界面元素的移动方向和偏移量信息。
界面400响应触发指令，生成渲染请求发给渲染引擎401，渲染请求中携带有界面元素的移动方向和偏移量信息；
渲染引擎401计算获得界面元素新的位置信息，其中包括第一信息，并根据第一信息获得第二信息(第一/第二信息的定义参考上文描述)，并通过渲染线程以两条指令分别发给GPU进程402；
GPU进程402将界面元素新的位置信息(包括第一信息)携带在一条绘图通知中发给绘图模块405，将第二信息携带在另一条绘图通知中发给多媒体数据播放服务403。
绘图模块405绘制界面元素时根据第一信息绘制透明区域的新位置，多媒体播放服务403将第二信息通知给该服务所对应的绘制模块，绘制播放窗口。
GPU进程403向显示服务404发送同步显示透明窗口和多媒体数据播放的通知，显示服务404获取绘制结果，呈现于界面，并将下一帧待显示的多媒体播放数据显示在播放窗口。
与前述播放多媒体数据的方法和界面渲染的方法的实施例相对应，本申请还提供了播放多媒体数据的装置和界面渲染的装置的实施例。
本申请播放多媒体数据的装置或界面渲染的装置的实施例可以应用在图1的设备100上，设备100的种类可参考上文描述。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备100的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本申请播放多媒体数据的装置或界面渲染的装置所在设备100的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器、显示存储器之外，实施例中装置所在的设备100通常根据该智能设备的实际功能，还可以包括其他硬件，例如GPU等对此不再赘述。
一个实施例中，设备100作为播放多媒体数据的设备，可以将播放多媒体数据的装置和界面渲染的装置装载于该设备中，另外，多媒体播放服务的可执行指令也可以被装载于设备100中。此时设备100的处理器可以被配置为：
发送第一信息和第二信息；第一信息和第二信息的定义可以参见前文描述；
根据第一信息通知在第一绘图层上绘制透明区域；根据第二信息通知在第二绘图层上绘制多媒体数据的播放窗口，多媒体数据的播放窗口与透明区域可以重叠；
当收到通知后，根据第一信息绘制所述透明区域，根据第二信息绘制所述播放窗口；
通知同步显示所述透明区域和所述播放窗口，以及通知在播放窗口中播放所述多媒体数据。
请参考图6，播放多媒体数据的装置600，包括：
绘图控制模块601，用于通知在第一绘图层上绘制透明区域；通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；
显示控制模块602，用于通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。
装置600可以位于图像处理单元GPU进程中。
在一个实施例中，装置600还可以包括：
接收模块(图未示出)，用于接收第一信息和第二信息，并将所述第一信息和第二信息通知所述绘图控制模块601，所述第一信息用于指示绘制所述透明区域，所述第二信息用于指示绘制所述播放窗口。接收模块在初次渲染界面元素时或用户发出触发指令时，从渲染线程接收所述第一信息和所述第二信息；所述触发指令包括用户的滚动指令或翻页指令。
在另一个实施例中，装置600还包括：
接收模块(图未示出)，用于接收第一信息，所述第一信息用于指示绘制所述透明区域；以及
计算模块(图未示出)，用于根据所述第一信息获得第二信息，所述第二信息用于指示绘制所述播放窗口。
绘图控制模块601通知在第二绘图层上绘制多媒体数据的播放窗口包括：
绘图控制模块601通知多媒体数据播放服务，多媒体数据播放服务根据第二信息在第二绘图层绘制多媒体数据的播放窗口；第二信息用于指示绘制所述播放窗口。
多媒体数据可以包括视频数据、3D动画数据、游戏数据。
请参考图7，界面渲染的装置700包括：
通知模块701，用于将第一信息和第二信息发给图像处理单元GPU进程；所述第一信息用于指示绘制透明区域，所述第二信息用于指示绘制多媒体数据的播放窗口；
绘图模块702，用于当接收到所述GPU进程的通知时，根据所述第一信息在绘图层绘制所述透明区域。
另外，还可以包括：
计算模块(图中未示出)，用于根据在初次渲染界面元素时的预设参数或用户的触发指令获得所述第一信息；所述用户的触发指令包括滚动指令或翻页指令。
计算模块还可以用于根据所述第一信息获得所述第二信息。
通知模块701将所述第一信息和所述第二信息发给所述GPU进程可以包括：
通过扩展接口将所述第一信息和所述第二信息通知渲染线程；
所述渲染线程将所述第一信息和所述第二信息分别通知所述GPU进程。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (23)

1.一种播放多媒体数据的方法，其特征在于，所述方法包括步骤：
通知在第一绘图层上绘制透明区域；通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；
通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。
2.根据权利要求1所述的方法，其特征在于，所述方法运行于图像处理单元GPU进程中。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收第一信息和第二信息，所述第一信息用于指示绘制所述透明区域，所述第二信息用于指示绘制所述播放窗口。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收第一信息，所述第一信息用于指示绘制所述透明区域；
根据所述第一信息获得第二信息，所述第二信息用于指示绘制所述播放窗口。
5.根据权利要求3所述的方法，其特征在于，接收第一信息和第二信息包括：
在初次渲染界面元素时或用户发出触发指令时，从渲染线程接收所述第一信息和所述第二信息；所述触发指令包括用户的滚动指令或翻页指令。
6.根据权利要求1所述的方法，其特征在于，通知在第二绘图层上绘制多媒体数据的播放窗口包括：
图像处理单元GPU进程通知多媒体数据播放服务，所述多媒体数据播放服务根据第二信息在第二绘图层绘制多媒体数据的播放窗口；所述第二信息用于指示绘制所述播放窗口。
7.根据权利要求1所述的方法，其特征在于，所述多媒体数据包括视频数据、3D动画数据、游戏数据。
8.一种界面渲染的方法，其特征在于，包括步骤：
将第一信息和第二信息发给图像处理单元GPU进程；所述第一信息用于指示绘制透明区域，所述第二信息用于指示绘制多媒体数据的播放窗口；
当接收到所述GPU进程的通知时，根据所述第一信息在绘图层绘制所述透明区域。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括步骤：
根据在初次渲染界面元素时的预设参数或用户的触发指令获得所述第一信息；所述用户的触发指令包括滚动指令或翻页指令。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括步骤：根据所述第一信息获得所述第二信息。
11.根据权利要求8所述的方法，其特征在于，将所述第一信息和所述第二信息发给所述GPU进程包括：
通过扩展接口将所述第一信息和所述第二信息通知渲染线程；
所述渲染线程将所述第一信息和所述第二信息分别通知所述GPU进程。
12.一种播放多媒体数据的装置，其特征在于，包括：
绘图控制模块，用于通知在第一绘图层上绘制透明区域；通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；
显示控制模块，用于通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。
13.根据权利要求12所述的装置，其特征在于，所述装置位于图像处理单元GPU进程中。
14.根据权利要求12所述的装置，其特征在于，所述装置还包括：
接收模块，用于接收第一信息和第二信息，并将所述第一信息和第二信息通知所述绘图控制模块，所述第一信息用于指示绘制所述透明区域，所述第二信息用于指示绘制所述播放窗口。
15.根据权利要求12所述的装置，其特征在于，所述装置还包括：
接收模块，用于接收第一信息，所述第一信息用于指示绘制所述透明区域；
计算模块，用于根据所述第一信息获得第二信息，所述第二信息用于指示绘制所述播放窗口。
16.根据权利要求14所述的装置，其特征在于，接收模块接收第一信息和第二信息包括：
在初次渲染界面元素时或用户发出触发指令时，从渲染线程接收所述第一信息和所述第二信息；所述触发指令包括用户的滚动指令或翻页指令。
17.根据权利要求12所述的装置，其特征在于，所述绘图控制模块通知在第二绘图层上绘制多媒体数据的播放窗口包括：
所述绘图控制模块通知多媒体数据播放服务，所述多媒体数据播放服务根据第二信息在第二绘图层绘制多媒体数据的播放窗口；所述第二信息用于指示绘制所述播放窗口。
18.根据权利要求12所述的装置，其特征在于，所述多媒体数据包括视频数据、3D动画数据、游戏数据。
19.一种界面渲染的装置，其特征在于，包括：
通知模块，用于将第一信息和第二信息发给图像处理单元GPU进程；所述第一信息用于指示绘制透明区域，所述第二信息用于指示绘制多媒体数据的播放窗口；
绘图模块，用于当接收到所述GPU进程的通知时，根据所述第一信息在绘图层绘制所述透明区域。
20.根据权利要求19所述的装置，其特征在于，还包括：
计算模块，用于根据在初次渲染界面元素时的预设参数或用户的触发指令获得所述第一信息；所述用户的触发指令包括滚动指令或翻页指令。
21.根据权利要求20所述的装置，其特征在于，所述计算模块还用于根据所述第一信息获得所述第二信息。
22.根据权利要求19所述的装置，其特征在于，所述通知模块将所述第一信息和所述第二信息发给所述GPU进程包括：
通过扩展接口将所述第一信息和所述第二信息通知渲染线程；
所述渲染线程将所述第一信息和所述第二信息分别通知所述GPU进程。
23.一种播放多媒体数据的设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
发送第一信息和第二信息；所述第一信息用于指示绘制透明区域，所述第二信息用于指示绘制多媒体数据的播放窗口；
根据所述第一信息通知在第一绘图层上绘制透明区域；根据所述第二信息通知在第二绘图层上绘制多媒体数据的播放窗口，所述多媒体数据的播放窗口与所述透明区域重叠；
当收到所述通知后，根据所述第一信息绘制所述透明区域，根据所述第二信息绘制所述播放窗口；
通知同步显示所述透明区域和所述播放窗口，以及通知在所述播放窗口中播放所述多媒体数据。
CN201610070464.9A 2016-02-01 2016-02-01 播放多媒体数据的方法、界面渲染方法及装置、设备 Pending CN107025100A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610070464.9A CN107025100A (zh) 2016-02-01 2016-02-01 播放多媒体数据的方法、界面渲染方法及装置、设备
PCT/CN2017/071716 WO2017133475A1 (zh) 2016-02-01 2017-01-19 播放多媒体数据的方法、界面渲染方法及装置、设备
US16/044,088 US10957285B2 (en) 2016-02-01 2018-07-24 Method and system for playing multimedia data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610070464.9A CN107025100A (zh) 2016-02-01 2016-02-01 播放多媒体数据的方法、界面渲染方法及装置、设备

Publications (1)

Publication Number Publication Date
CN107025100A true CN107025100A (zh) 2017-08-08

Family

ID=59500574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610070464.9A Pending CN107025100A (zh) 2016-02-01 2016-02-01 播放多媒体数据的方法、界面渲染方法及装置、设备

Country Status (3)

Country Link
US (1) US10957285B2 (zh)
CN (1) CN107025100A (zh)
WO (1) WO2017133475A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356324A (zh) * 2021-12-16 2022-04-15 阿里巴巴（中国）有限公司 界面处理方法、装置、设备和存储介质
WO2023093776A1 (zh) * 2021-11-25 2023-06-01 华为技术有限公司 界面生成方法及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187701A (zh) * 2018-10-16 2022-10-14 华为技术有限公司 一种内容编辑的方法及终端
CN112035771A (zh) * 2019-06-03 2020-12-04 阿里巴巴集团控股有限公司 基于web的摄像头数据绘制方法、装置及电子设备
CN112581557A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 图层绘制方法及电子设备
CN113126855B (zh) * 2021-05-14 2023-05-12 广州虎牙科技有限公司 客户端交互方法、装置、电子设备和存储介质
CN114466235B (zh) * 2021-12-31 2023-09-15 福建星网视易信息系统有限公司 一种播控设备及其控制灯效的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201608A1 (en) * 2003-04-09 2004-10-14 Ma Tsang Fai System for displaying video and method thereof
US20070229542A1 (en) * 2006-03-30 2007-10-04 Taco Van Ieperen Method and graphical interface for embedding animated content into a computer application
CN102665130A (zh) * 2012-05-14 2012-09-12 青岛海信传媒网络技术有限公司 应用程序窗口与视频播放窗口的显示方法及装置
CN104615418A (zh) * 2014-07-25 2015-05-13 腾讯科技（北京）有限公司 一种可滑动播放窗口的实现方法和装置
CN104954848A (zh) * 2015-05-12 2015-09-30 乐视致新电子科技（天津）有限公司 智能终端的显示图形用户界面的控制方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1145218B1 (en) * 1998-11-09 2004-05-19 Broadcom Corporation Display system for blending graphics and video data
US20030170006A1 (en) 2002-03-08 2003-09-11 Bogda Peter B. Versatile video player
WO2010127043A1 (en) 2009-04-28 2010-11-04 Rey Flemings System and method for annotating multimedia objects
CN102739983B (zh) * 2011-04-11 2016-04-13 腾讯科技（深圳）有限公司 一种实现半透明效果的方法及系统
US20150310833A1 (en) 2011-05-24 2015-10-29 Intel Corporation Displaying Hardware Accelerated Video on X Window Systems
KR20140017420A (ko) * 2012-08-01 2014-02-11 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US9430456B2 (en) * 2012-08-10 2016-08-30 Transaxy Inc. System for entering data into a data processing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201608A1 (en) * 2003-04-09 2004-10-14 Ma Tsang Fai System for displaying video and method thereof
US20070229542A1 (en) * 2006-03-30 2007-10-04 Taco Van Ieperen Method and graphical interface for embedding animated content into a computer application
CN102665130A (zh) * 2012-05-14 2012-09-12 青岛海信传媒网络技术有限公司 应用程序窗口与视频播放窗口的显示方法及装置
CN104615418A (zh) * 2014-07-25 2015-05-13 腾讯科技（北京）有限公司 一种可滑动播放窗口的实现方法和装置
CN104954848A (zh) * 2015-05-12 2015-09-30 乐视致新电子科技（天津）有限公司 智能终端的显示图形用户界面的控制方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093776A1 (zh) * 2021-11-25 2023-06-01 华为技术有限公司 界面生成方法及电子设备
CN114356324A (zh) * 2021-12-16 2022-04-15 阿里巴巴（中国）有限公司 界面处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20190012987A1 (en) 2019-01-10
US10957285B2 (en) 2021-03-23
WO2017133475A1 (zh) 2017-08-10

Similar Documents

Publication Publication Date Title
JP7114633B2 (ja) 画面ミラーリング方法、装置、端末及び記憶媒体
CN107025100A (zh) 播放多媒体数据的方法、界面渲染方法及装置、设备
US10157593B2 (en) Cross-platform rendering engine
US9142044B2 (en) Apparatus, systems and methods for layout of scene graphs using node bounding areas
US9612730B2 (en) Viewing different window content with different attendees in desktop sharing
CN110377263B (zh) 图像合成方法、装置、电子设备及存储介质
CN110007829B (zh) 内容显示方法、装置、终端及存储介质
US10855481B2 (en) Live ink presence for real-time collaboration
US9495064B2 (en) Information processing method and electronic device
WO2023092993A1 (zh) 业务处理方法及电子设备
CN106527864B (zh) 一种界面显示方法及装置
US12073068B2 (en) Image dividing and sharing method
US11024257B2 (en) Android platform based display device and image display method thereof
EP4068120A1 (en) Message management system and method for communication application, and presentation terminal
CN111127469A (zh) 缩略图显示方法、装置、存储介质以及终端
WO2015078260A1 (en) Method and device for playing video content
WO2024067319A1 (en) Method and system for creating stickers from user-generated content
EP3048524B1 (en) Document display support device, terminal, document display method, and computer-readable storage medium for computer program
US9484002B2 (en) System and method for adaptive and persistent media presentations
CN114866835A (zh) 弹幕显示方法、弹幕显示装置和电子设备
CN103885740B (zh) 一种信息处理方法及电子设备
CN116107459A (zh) 页面显示方法、装置、终端设备及存储介质
CN116471366A (zh) 一种特效生成方法、装置、计算机设备及存储介质
CN116909451A (zh) 分享方法、装置及电子设备
CN113660500A (zh) 直播房间的展示方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170808

RJ01 Rejection of invention patent application after publication