CN108174273B - 基于数据合成实现分层控制的方法、系统以及移动终端 - Google Patents

基于数据合成实现分层控制的方法、系统以及移动终端 Download PDF

Info

Publication number
CN108174273B
CN108174273B CN201711483528.9A CN201711483528A CN108174273B CN 108174273 B CN108174273 B CN 108174273B CN 201711483528 A CN201711483528 A CN 201711483528A CN 108174273 B CN108174273 B CN 108174273B
Authority
CN
China
Prior art keywords
data
control
additional
base
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711483528.9A
Other languages
English (en)
Other versions
CN108174273A (zh
Inventor
华杨
杨博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Anyun Century Technology Co Ltd
Original Assignee
Beijing Anyun Century Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Anyun Century Technology Co Ltd filed Critical Beijing Anyun Century Technology Co Ltd
Priority to CN201711483528.9A priority Critical patent/CN108174273B/zh
Publication of CN108174273A publication Critical patent/CN108174273A/zh
Application granted granted Critical
Publication of CN108174273B publication Critical patent/CN108174273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于数据合成实现分层控制的方法、系统以及移动终端，其中方法包括：响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；确定用作基础层的动态显示数据，并且确定所述动态显示数据的基础数据流的基础帧率；基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合基础帧率的附加数据流；以及在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制；其中所述基础层和附加层均能够对所接收的控制指令进行响应。

Description

基于数据合成实现分层控制的方法、系统以及移动终端
技术领域
本发明涉及数据处理领域，并且更具体地涉及一种基于数据合成实现分层控制的方法、系统以及移动终端。
背景技术
目前，随着智能终端及相关技术的快速发展，终端设备已经在人们的生活中越来越普及，极大地方便了人们的生活、娱乐和学习，常见的终端设备包括手机、笔记本电脑、平板电脑、穿戴智能设备等移动终端，或如电视、台式计算机之类的非移动终端。随着终端的普及，人们能够更加方便的进行视频沟通或传送图片。然而，在很多时候，用户在运行特定应用时还需要利用额外的控制功能来实现所期望的控制。现有技术中，当用户希望实现额外的控制功能时，需要将正在运行的特定应用切换到后台。通过这种方式，用户可以在前台(例如显示界面)来使用额外的控制功能。
然而，在实际操作中，用户所期望使用的额外控制功能可能是与正在运行的特定应用相关联的控制。通过现有技术的方式，用户必须在额外的控制功能和正在运行的特定应用之间进行切换。然而，这种方式使得用户无法对正在运行的特定应用进行准确控制。例如，当用户希望将短信验证码输入到特定应用(例如支付应用)中时，必须要切换到短信应用中阅读短信验证码。然后，用户运行特定应用并且将短信验证码输入到特定应用中。这种操作通常会对用户造成极大的不便，这是因为用户可能会忘记短信验证码或者特定应用在被切换到后台后可能会被停止运行。
发明内容
为了解决上述问题，提供一种基于数据合成实现分层控制的方法，所述方法包括：
响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；
确定用作基础层的动态显示数据，并且确定所述动态显示数据的基础数据流的基础帧率；
基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合基础帧率的附加数据流；以及
在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制；其中所述基础层和附加层均能够对所接收的控制指令进行响应。
所述控制数据包括用于对动态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。
通过触发浮动标识来生成针对于分层控制的触发请求。
通过使用用户设备的摄像器件以基础帧率来获取所述动态显示数据；或者，所述动态显示数据是应用程序运行时所产生的符合基础帧率的显示数据。
其中所述动态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
其中所述基础层的显示区域大于或等于所述附加层的显示区域。
所述位置信息包括至少三个点。
所述基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和动态显示数据进行数据合成的合成区域。
在将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成时，还包括使用修饰数据为基础数据流的部分或全部像素进行修改。
确定所述修饰数据所对应的所述基础数据流中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
所述将控制数据生成符合基础帧率的附加数据流包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，利用相同的数据帧来生成符合基础帧率的附加数据流。
响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合基础帧率的附加数据流。
所述附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据完全替换所述基础数据流的每个数据帧中合成区域内的数据。
所述附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据与所述基础数据流的每个数据帧中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
根据本发明的一个方面，提供一种基于数据合成实现分层控制的方法，所述方法包括：
响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；
确定用过基础层的静态显示数据，并且确定所述静态显示数据的基础数据的第一分辨率；
基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域，并且将所述控制数据生成符合第二分辨率的附加数据；以及
在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制；其中所述基础层和附加层均能够对所接收的控制指令进行响应。
所述控制数据包括用于对静态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。
通过触发浮动标识来生成针对于分层控制的触发请求。
通过使用用户设备的摄像器件以分辨率来获取所述静态显示数据；或者，所述静态显示数据是应用程序运行时所产生的符合预定分辨率的显示数据。
其中所述静态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
其中所述基础层的显示区域大于或等于所述附加层的显示区域。
所述位置信息包括至少三个点。
所述基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和静态显示数据进行数据合成的合成区域。
在将所述附加数据与所述基础数据进行数据合成时，还包括使用修饰数据为基础数据的部分或全部像素进行修改。
确定所述修饰数据所对应的所述基础数据中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
所述将所述控制数据生成符合第二分辨率的附加数据包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，将所述控制数据生成符合比所述第一分辨率高的第二分辨率的附加数据。
响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合第二分辨率的附加数据，并且将所述附加数据与所述基础数据进行数据合成。
所述附加层与合成区域重叠并且所述附加数据的数据完全替换所述基础数据中合成区域内的数据。
所述附加层与合成区域重叠并且所述附加数据的数据与所述基础数据中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
根据本发明的一个方面，提供一种基于数据合成实现分层控制的系统，所述系统包括：
获取单元，响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；确定用作基础层的动态显示数据，并且确定所述动态显示数据的基础数据流的基础帧率；
确定单元，基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域；
生成单元，将所述控制数据生成符合基础帧率的附加数据流；以及
合成单元，在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制；
其中所述基础层和附加层均能够对所接收的控制指令进行响应。
所述控制数据包括用于对动态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。
通过触发浮动标识来生成针对于分层控制的触发请求。
通过使用用户设备的摄像器件以基础帧率来获取所述动态显示数据；或者，所述动态显示数据是应用程序运行时所产生的符合基础帧率的显示数据。
其中所述动态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
其中所述基础层的显示区域大于或等于所述附加层的显示区域。
所述位置信息包括至少三个点。
所述确定单元基于所述至少三个点确定用于将所述控制数据和动态显示数据进行数据合成的合成区域。
在将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成时，还包括所述合成单元使用修饰数据为基础数据流的部分或全部像素进行修改。
所述合成单元确定所述修饰数据所对应的所述基础数据流中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
当所述控制数据中与附加层相关联的显示格式数据不存在变化时，所述生成单元利用相同的数据帧来生成符合基础帧率的附加数据流。
响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，所述生成单元基于所述变化数据生成符合基础帧率的附加数据流。
所述附加层与合成区域重叠并且所述生成单元将所述附加数据流的每个数据帧的数据完全替换所述基础数据流的每个数据帧中合成区域内的数据。
所述附加层与合成区域重叠并且所述生成单元将所述附加数据流的每个数据帧的数据与所述基础数据流的每个数据帧中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
根据本发明的一个方面，提供一种移动终端，包括或用于执行如上所述的系统。
根据本发明的一个方面，提供一种基于数据合成实现分层控制的系统，所述系统包括：
获取单元，响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；确定用过基础层的静态显示数据，并且确定所述静态显示数据的基础数据的第一分辨率；
确定单元，基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域；
生成单元，将所述控制数据生成符合第二分辨率的附加数据；以及
合成单元，在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制；
其中所述基础层和附加层均能够对所接收的控制指令进行响应。
所述控制数据包括用于对静态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。
通过触发浮动标识来生成针对于分层控制的触发请求。
通过使用用户设备的摄像器件以分辨率来获取所述静态显示数据；或者，所述静态显示数据是应用程序运行时所产生的符合预定分辨率的显示数据。
其中所述静态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
其中所述基础层的显示区域大于或等于所述附加层的显示区域。
所述位置信息包括至少三个点。
所述确定单元基于所述至少三个点确定用于将所述控制数据和静态显示数据进行数据合成的合成区域。
在将所述附加数据与所述基础数据进行数据合成时，还包括所述合成单元使用修饰数据为基础数据的部分或全部像素进行修改。
所述合成单元确定所述修饰数据所对应的所述基础数据中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
当所述控制数据中与附加层相关联的显示格式数据不存在变化时，所述生成单元将所述控制数据生成符合比所述第一分辨率高的第二分辨率的附加数据。
响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，所述生成单元基于所述变化数据生成符合第二分辨率的附加数据，并且将所述附加数据与所述基础数据进行数据合成。
所述附加层与合成区域重叠并且所述附加数据的数据完全替换所述基础数据中合成区域内的数据。
所述附加层与合成区域重叠并且所述生成单元将所述附加数据的数据与所述基础数据中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
根据本发明的一个方面，提供一种移动终端，包括或用于执行如上所述的系统。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的基于数据合成实现分层控制的方法的流程图；
图2为根据本发明另一实施方式的基于数据合成实现分层控制的方法的流程图；
图3为根据本发明实施方式的分层控制的示意图；
图4为根据本发明另一实施方式的分层控制的示意图；
图5为根据本发明实施方式的基于数据合成实现分层控制的系统的结构示意图；以及
图6为根据本发明另一实施方式的基于数据合成实现分层控制的系统的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的基于数据合成实现分层控制的方法100的流程图。方法100能够根据针对于分层控制的触发请求，获取用作附加层的控制数据，并且确定用作基础层的动态显示数据。随后，方法100基于确定用于将所述控制数据和动态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合基础帧率的附加数据流。最后，方法100在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制。优选地，为了能够提供控制功能的便利性，所述基础层和附加层均能够对所接收的控制指令进行响应，这是因为方法100是基于对基础层的部分数据进行数据合成来实现分层控制(也可以说，经过合成的显示数据包括了基础层的部分内容和附加层)。
方法100从步骤101处开始。在步骤101，响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据。其中控制数据包括用于对动态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。通常，当用户希望针对当前的应用(例如，游戏应用、视频播放应用、摄像应用等)的动态显示数据进行附加控制时，例如针对游戏进行附加信息查询，针对视频播放进行相关人物的搜索或拍摄视频时，不希望关闭当前应用或将当前应用切换到后台运行。在这种情况下，本申请通过为当前应用的运行界面进行合成控制数据的方式来实现控制数据和当前应用的并存。其中动态显示数据例如是正在播放的视频、运行画面不断变化的应用以及正在录制的视频等。与所述附加层相关联的显示格式数据例如包括控制界面，以及控制界面中的多个控制项，例如控制按钮。此外，本申请通过触发浮动标识(例如，悬浮按钮、悬浮窗或魔球等)来生成针对于分层控制的触发请求。
在步骤102，确定用作基础层的动态显示数据，并且确定所述动态显示数据的基础数据流的基础帧率。其中，用户通过使用用户设备的摄像器件以基础帧率来获取所述动态显示数据，或者，所述动态显示数据是应用程序运行时所产生的符合基础帧率的显示数据。其中动态显示数据可以是通过照相机服务所获取的视频数据。通常，照相机服务可以通过用户设备的前置摄像头或后置摄像头来获取视频数据。
此外，动态显示数据可以是各种文件类型的视频数据，例如电影、短片、个人秀等。并且所述动态显示数据是预先存储在用户设备中的，或者所述动态显示数据是通过有线网络/无线网络接收的。例如，动态显示数据是用户存储在用户设备的存储空间内的视频数据，或者是用户通过用户设备从服务器或其它用户设备经由有线网络/无线网络接收的视频数据。
在步骤103，基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合基础帧率的附加数据流。其中所述动态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。即，控制数据可以在动态显示数据上以悬浮的方式实时移动。通常，所述位置信息包括至少三个点。这三个点是同一平面内的是三个点，并且用于确定进行数据合成的合成区域。其中基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和动态显示数据进行数据合成的合成区域。合成区域例如可以是三角形。当位置信息包括四个点时，合成区域例如可以是矩形或正方形。当位置信息包括五个点时，合成区域例如可以是规则五边形或不规则五边形，依次类推。
其中将控制数据生成符合基础帧率的附加数据流包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，利用相同的数据帧来生成符合基础帧率的附加数据流。并且响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合基础帧率的附加数据流。变化数据通常是由于控制数据(例如，控制界面，控制按钮等)的动态显示效果所导致的。本申请在进行数据合成时，需要确定附加数据流的帧率，为此需要在控制数据中与附加层相关联的显示格式数据存在变化时进行基础帧率的修改。此外，可以根据用户的输入或系统的设置对与附加层相关联的显示格式数据进行修改。当变化数据的帧率小于基础帧率时，为变化数据增加至少一个数据帧以使得所述变化数据的帧率等于所述基础帧率。
在步骤104，在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制。其中所述基础层的显示区域大于或等于所述附加层的显示区域。通过这种方式，实现控制数据和当前应用的并存。当所述基础层的显示区域等于所述附加层的显示区域时，附加层完全覆盖了基础层。这种方式仅是本申请中的一种可能方式。通常情况下，所述基础层的显示区域大于所述附加层的显示区域，例如所述基础层的显示区域是所述附加层的显示区域的2倍、2.5倍、3倍等。
在将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成时，还包括使用修饰数据为基础数据流的部分或全部像素进行修改。确定所述修饰数据所对应的所述基础数据流中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。其中附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据完全替换所述基础数据流的每个数据帧中合成区域内的数据。附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据与所述基础数据流的每个数据帧中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。为此，本申请实现了所述基础层和附加层均能够对所接收的控制指令进行响应的效果。即，当通过数据合成将基础层和附加层进行合成时，用户在进行附加层的控制操作时，还可以通过输入操作来控制基础层，例如放大图像、暂停视频、播放视频等。
图2为根据本发明另一实施方式的基于数据合成实现分层控制的方法200的流程图。方法200能够根据针对于分层控制的触发请求，获取用作附加层的控制数据，并且确定用作基础层的静态显示数据。随后，方法200基于确定用于将所述控制数据和静态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合第二分辨率的附加数据。最后，方法200在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制。优选地，为了能够提供控制功能的便利性，所述基础层和附加层均能够对所接收的控制指令进行响应，这是因为方法200是基于对基础层的部分数据进行数据合成来实现分层控制(也可以说，经过合成的显示数据包括了基础层的部分内容和附加层)。
方法200从步骤201处开始。在步骤201，响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据。其中控制数据包括用于对静态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。通常，当用户希望针对当前的应用(例如，游戏应用、视频播放应用、摄像应用等)的静态显示数据进行附加控制时，例如针对游戏的特定图像中的信息进行附加信息查询，针对视频播放中特定镜头进行相关人物的搜索或拍摄图片时，不希望关闭当前应用或将当前应用切换到后台运行。在这种情况下，本申请通过为当前应用的运行界面进行合成控制数据的方式来实现控制数据和当前应用的并存。其中静态显示数据例如是正在播放的视频的特定镜头、应用的某个运行画面以及随拍摄的图片等。与所述附加层相关联的显示格式数据例如包括控制界面，以及控制界面中的多个控制项，例如控制按钮。此外，本申请通过触发浮动标识(例如，悬浮按钮、悬浮窗或魔球等)来生成针对于分层控制的触发请求。
在步骤202，确定用过基础层的静态显示数据，并且确定所述静态显示数据的基础数据的第一分辨率。其中，用户通过使用用户设备的摄像器件以分辨率来获取所述静态显示数据，或者，所述静态显示数据是应用程序运行时所产生的符合预定分辨率的显示数据。其中静态显示数据可以是通过照相机服务所获取的图片数据。通常，照相机服务可以通过用户设备的前置摄像头或后置摄像头来获取图片数据。
此外，静态显示数据可以是各种文件类型的图片数据，例如jpg、bmp、位图等。并且所述静态显示数据是预先存储在用户设备中的，或者所述静态显示数据是通过有线网络/无线网络接收的。例如，静态显示数据是用户存储在用户设备的存储空间内的图片数据，或者是用户通过用户设备从服务器或其它用户设备经由有线网络/无线网络接收的图片数据。
在步骤203，基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域，并且将所述控制数据生成符合第二分辨率的附加数据。其中所述静态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。即，控制数据可以在静态显示数据上以悬浮的方式实时移动。通常，所述位置信息包括至少三个点。这三个点是同一平面内的是三个点，并且用于确定进行数据合成的合成区域。其中基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和静态显示数据进行数据合成的合成区域。合成区域例如可以是三角形。当位置信息包括四个点时，合成区域例如可以是矩形或正方形。当位置信息包括五个点时，合成区域例如可以是规则五边形或不规则五边形，依次类推。
其中所述将所述控制数据生成符合第二分辨率的附加数据包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，将所述控制数据生成符合比所述第一分辨率高的第二分辨率的附加数据(例如单帧图像)。并且响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合第二分辨率的(动态)附加数据(例如多帧动态图像)，并且将所述(动态)附加数据与所述基础数据进行数据合成。变化数据通常是由于控制数据(例如，控制界面，控制按钮等)的动态显示效果所导致的。本申请在进行数据合成时，需要确定附加数据的分辨率，为此需要在控制数据中与附加层相关联的显示格式数据不存在变化时进行分辨率的修改。而当控制数据中与附加层相关联的显示格式数据存在变化时，本申请需要生成符合第二分辨率的动态附加数据并且利用动态附加数据进行合成。此外，可以根据用户的输入或系统的设置对与附加层相关联的显示格式数据进行修改。
在步骤204，在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制；其中所述基础层和附加层均能够对所接收的控制指令进行响应。其中所述基础层的显示区域大于或等于所述附加层的显示区域。通过这种方式，实现控制数据和当前应用的并存。当所述基础层的显示区域等于所述附加层的显示区域时，附加层完全覆盖了基础层。这种方式仅是本申请中的一种可能方式。通常情况下，所述基础层的显示区域大于所述附加层的显示区域，例如所述基础层的显示区域是所述附加层的显示区域的2倍、2.5倍、3倍等。
在将所述附加数据与所述基础数据进行数据合成时，还包括使用修饰数据为基础数据的部分或全部像素进行修改。确定所述修饰数据所对应的所述基础数据中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。其中所述附加层与合成区域重叠并且所述附加数据的数据完全替换所述基础数据中合成区域内的数据。所述附加层与合成区域重叠并且所述附加数据的数据与所述基础数据中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。为此，本申请实现了所述基础层和附加层均能够对所接收的控制指令进行响应的效果。即，当通过数据合成将基础层和附加层进行合成时，用户在进行附加层的控制操作时，还可以通过输入操作来控制基础层，例如放大图像等。
图3为根据本发明实施方式的分层控制300的示意图。根据本申请的实施方式，在用户设备(或移动终端)的任何应用运行时，支持将控制界面与应用运行界面进行合成。在图3中，用户通过触发按钮301触发对控制界面的激活。应用的运行界面302可以是动态的或静态的。其中动态显示数据例如是正在播放的视频、运行画面不断变化的应用以及正在录制的视频等。其中静态显示数据可以是通过照相机服务所获取的图片数据。通常，照相机服务可以通过用户设备的前置摄像头或后置摄像头来获取图片数据。
图4为根据本发明另一实施方式的分层控制400的示意图。用户通过触发按钮401触发对控制界面的激活，并且应用的运行界面402可以是动态的或静态的。与所述附加层相关联的显示格式数据例如包括控制界面，以及控制界面403中的多个控制项，例如如图4所示的控制按钮。多个控制项中的一个或多个控制项可以是针对用户设备(移动终端)进行功能控制的控制项，也可以是针对运行界面402进行功能控制的控制项。
图5为根据本发明实施方式的基于数据合成实现分层控制的系统500的结构示意图。系统500能够根据针对于分层控制的触发请求，获取用作附加层的控制数据，并且确定用作基础层的动态显示数据。随后，系统500基于确定用于将所述控制数据和动态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合基础帧率的附加数据流。最后，系统500在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制。优选地，为了能够提供控制功能的便利性，所述基础层和附加层均能够对所接收的控制指令进行响应，这是因为系统500是基于对基础层的部分数据进行数据合成来实现分层控制(也可以说，经过合成的显示数据包括了基础层的部分内容和附加层)。
系统500包括：获取单元501、确定单元502、生成单元503以及合成单元504。获取单元501响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据。其中控制数据包括用于对动态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。通常，当用户希望针对当前的应用(例如，游戏应用、视频播放应用、摄像应用等)的动态显示数据进行附加控制时，例如针对游戏进行附加信息查询，针对视频播放进行相关人物的搜索或拍摄视频时，不希望关闭当前应用或将当前应用切换到后台运行。在这种情况下，本申请通过为当前应用的运行界面进行合成控制数据的方式来实现控制数据和当前应用的并存。其中动态显示数据例如是正在播放的视频、运行画面不断变化的应用以及正在录制的视频等。与所述附加层相关联的显示格式数据例如包括控制界面，以及控制界面中的多个控制项，例如控制按钮。此外，本申请通过触发浮动标识(例如，悬浮按钮、悬浮窗或魔球等)来生成针对于分层控制的触发请求。
确定单元502确定用作基础层的动态显示数据，并且确定所述动态显示数据的基础数据流的基础帧率。其中，用户通过使用用户设备的摄像器件以基础帧率来获取所述动态显示数据，或者，所述动态显示数据是应用程序运行时所产生的符合基础帧率的显示数据。其中动态显示数据可以是通过照相机服务所获取的视频数据。通常，照相机服务可以通过用户设备的前置摄像头或后置摄像头来获取视频数据。
此外，动态显示数据可以是各种文件类型的视频数据，例如电影、短片、个人秀等。并且所述动态显示数据是预先存储在用户设备中的，或者所述动态显示数据是通过有线网络/无线网络接收的。例如，动态显示数据是用户存储在用户设备的存储空间内的视频数据，或者是用户通过用户设备从服务器或其它用户设备经由有线网络/无线网络接收的视频数据。
生成单元503基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合基础帧率的附加数据流。其中所述动态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。即，控制数据可以在动态显示数据上以悬浮的方式实时移动。通常，所述位置信息包括至少三个点。这三个点是同一平面内的是三个点，并且用于确定进行数据合成的合成区域。其中基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和动态显示数据进行数据合成的合成区域。合成区域例如可以是三角形。当位置信息包括四个点时，合成区域例如可以是矩形或正方形。当位置信息包括五个点时，合成区域例如可以是规则五边形或不规则五边形，依次类推。
其中将控制数据生成符合基础帧率的附加数据流包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，利用相同的数据帧来生成符合基础帧率的附加数据流。并且响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合基础帧率的附加数据流。变化数据通常是由于控制数据(例如，控制界面，控制按钮等)的动态显示效果所导致的。本申请在进行数据合成时，需要确定附加数据流的帧率，为此需要在控制数据中与附加层相关联的显示格式数据存在变化时进行基础帧率的修改。此外，可以根据用户的输入或系统的设置对与附加层相关联的显示格式数据进行修改。当变化数据的帧率小于基础帧率时，为变化数据增加至少一个数据帧以使得所述变化数据的帧率等于所述基础帧率。
合成单元504在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制。其中所述基础层的显示区域大于或等于所述附加层的显示区域。通过这种方式，实现控制数据和当前应用的并存。当所述基础层的显示区域等于所述附加层的显示区域时，附加层完全覆盖了基础层。这种方式仅是本申请中的一种可能方式。通常情况下，所述基础层的显示区域大于所述附加层的显示区域，例如所述基础层的显示区域是所述附加层的显示区域的2倍、2.5倍、3倍等。
在将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成时，还包括使用修饰数据为基础数据流的部分或全部像素进行修改。确定所述修饰数据所对应的所述基础数据流中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。其中附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据完全替换所述基础数据流的每个数据帧中合成区域内的数据。附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据与所述基础数据流的每个数据帧中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。为此，本申请实现了所述基础层和附加层均能够对所接收的控制指令进行响应的效果。即，当通过数据合成将基础层和附加层进行合成时，用户在进行附加层的控制操作时，还可以通过输入操作来控制基础层，例如放大图像、暂停视频、播放视频等。
图6为根据本发明另一实施方式的基于数据合成实现分层控制的系统600的结构示意图。系统600能够根据针对于分层控制的触发请求，获取用作附加层的控制数据，并且确定用作基础层的静态显示数据。随后，系统600基于确定用于将所述控制数据和静态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合第二分辨率的附加数据。最后，系统600在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制。优选地，为了能够提供控制功能的便利性，所述基础层和附加层均能够对所接收的控制指令进行响应，这是因为系统600是基于对基础层的部分数据进行数据合成来实现分层控制(也可以说，经过合成的显示数据包括了基础层的部分内容和附加层)。
系统600包括：获取单元601、确定单元602、生成单元603以及合成单元604。获取单元601响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据。其中控制数据包括用于对静态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据。通常，当用户希望针对当前的应用(例如，游戏应用、视频播放应用、摄像应用等)的静态显示数据进行附加控制时，例如针对游戏的特定图像中的信息进行附加信息查询，针对视频播放中特定镜头进行相关人物的搜索或拍摄图片时，不希望关闭当前应用或将当前应用切换到后台运行。在这种情况下，本申请通过为当前应用的运行界面进行合成控制数据的方式来实现控制数据和当前应用的并存。其中静态显示数据例如是正在播放的视频的特定镜头、应用的某个运行画面以及随拍摄的图片等。与所述附加层相关联的显示格式数据例如包括控制界面，以及控制界面中的多个控制项，例如控制按钮。此外，本申请通过触发浮动标识(例如，悬浮按钮、悬浮窗或魔球等)来生成针对于分层控制的触发请求。
确定单元602确定用过基础层的静态显示数据，并且确定所述静态显示数据的基础数据的第一分辨率。其中，用户通过使用用户设备的摄像器件以分辨率来获取所述静态显示数据，或者，所述静态显示数据是应用程序运行时所产生的符合预定分辨率的显示数据。其中静态显示数据可以是通过照相机服务所获取的图片数据。通常，照相机服务可以通过用户设备的前置摄像头或后置摄像头来获取图片数据。
此外，静态显示数据可以是各种文件类型的图片数据，例如jpg、bmp、位图等。并且所述静态显示数据是预先存储在用户设备中的，或者所述静态显示数据是通过有线网络/无线网络接收的。例如，静态显示数据是用户存储在用户设备的存储空间内的图片数据，或者是用户通过用户设备从服务器或其它用户设备经由有线网络/无线网络接收的图片数据。
生成单元603基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域，并且将所述控制数据生成符合第二分辨率的附加数据。其中所述静态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。即，控制数据可以在静态显示数据上以悬浮的方式实时移动。通常，所述位置信息包括至少三个点。这三个点是同一平面内的是三个点，并且用于确定进行数据合成的合成区域。其中基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和静态显示数据进行数据合成的合成区域。合成区域例如可以是三角形。当位置信息包括四个点时，合成区域例如可以是矩形或正方形。当位置信息包括五个点时，合成区域例如可以是规则五边形或不规则五边形，依次类推。
其中所述将所述控制数据生成符合第二分辨率的附加数据包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，将所述控制数据生成符合比所述第一分辨率高的第二分辨率的附加数据(例如单帧图像)。并且响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合第二分辨率的(动态)附加数据(例如多帧动态图像)，并且将所述(动态)附加数据与所述基础数据进行数据合成。变化数据通常是由于控制数据(例如，控制界面，控制按钮等)的动态显示效果所导致的。本申请在进行数据合成时，需要确定附加数据的分辨率，为此需要在控制数据中与附加层相关联的显示格式数据不存在变化时进行分辨率的修改。而当控制数据中与附加层相关联的显示格式数据存在变化时，本申请需要生成符合第二分辨率的动态附加数据并且利用动态附加数据进行合成。此外，可以根据用户的输入或系统的设置对与附加层相关联的显示格式数据进行修改。
合成单元604在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制；其中所述基础层和附加层均能够对所接收的控制指令进行响应。其中所述基础层的显示区域大于或等于所述附加层的显示区域。通过这种方式，实现控制数据和当前应用的并存。当所述基础层的显示区域等于所述附加层的显示区域时，附加层完全覆盖了基础层。这种方式仅是本申请中的一种可能方式。通常情况下，所述基础层的显示区域大于所述附加层的显示区域，例如所述基础层的显示区域是所述附加层的显示区域的2倍、2.5倍、3倍等。
在将所述附加数据与所述基础数据进行数据合成时，还包括使用修饰数据为基础数据的部分或全部像素进行修改。确定所述修饰数据所对应的所述基础数据中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。其中所述附加层与合成区域重叠并且所述附加数据的数据完全替换所述基础数据中合成区域内的数据。所述附加层与合成区域重叠并且所述附加数据的数据与所述基础数据中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。为此，本申请实现了所述基础层和附加层均能够对所接收的控制指令进行响应的效果。即，当通过数据合成将基础层和附加层进行合成时，用户在进行附加层的控制操作时，还可以通过输入操作来控制基础层，例如放大图像等。
此外，本发明还包括用于执行如上所述的各种系统的移动终端。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (54)

1.一种基于数据合成实现分层控制的方法，所述方法包括：
响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；
确定用作基础层的动态显示数据，并且确定所述动态显示数据的基础数据流的基础帧率；
基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域，并且将所述控制数据生成符合基础帧率的附加数据流；以及
在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制；其中所述基础层和附加层均能够对所接收的控制指令进行响应，所述控制数据包括用于对动态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据，所述显示格式数据包括控制界面，以及控制界面中的多个控制项，多个控制项中的一个或多个控制项是针对用户设备进行功能控制的控制项，或者是针对运行界面进行功能控制的控制项。
2.根据权利要求1所述的方法，通过触发浮动标识来生成针对于分层控制的触发请求。
3.根据权利要求1所述的方法，通过使用用户设备的摄像器件以基础帧率来获取所述动态显示数据；或者，
所述动态显示数据是应用程序运行时所产生的符合基础帧率的显示数据。
4.根据权利要求3所述的方法，其中所述动态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
5.根据权利要求1所述的方法，其中所述基础层的显示区域大于或等于所述附加层的显示区域。
6.根据权利要求1所述的方法，所述位置信息包括至少三个点。
7.根据权利要求6所述的方法，所述基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和动态显示数据进行数据合成的合成区域。
8.根据权利要求1所述的方法，在将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成时，还包括使用修饰数据为基础数据流的部分或全部像素进行修改。
9.根据权利要求8所述的方法，确定所述修饰数据所对应的所述基础数据流中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
10.根据权利要求1所述的方法，所述将所述控制数据生成符合基础帧率的附加数据流包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，利用相同的数据帧来生成符合基础帧率的附加数据流。
11.根据权利要求10所述的方法，响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合基础帧率的附加数据流。
12.根据权利要求1所述的方法，所述附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据完全替换所述基础数据流的每个数据帧中合成区域内的数据。
13.根据权利要求1所述的方法，所述附加层与合成区域重叠并且所述附加数据流的每个数据帧的数据与所述基础数据流的每个数据帧中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
14.一种基于数据合成实现分层控制的方法，所述方法包括：
响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；
确定用过基础层的静态显示数据，并且确定所述静态显示数据的基础数据的第一分辨率；
基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域，并且将所述控制数据生成符合第二分辨率的附加数据；以及
在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制；其中所述基础层和附加层均能够对所接收的控制指令进行响应，所述控制数据包括用于对静态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据，所述显示格式数据包括控制界面，以及控制界面中的多个控制项，多个控制项中的一个或多个控制项是针对用户设备进行功能控制的控制项，或者是针对运行界面进行功能控制的控制项。
15.根据权利要求14所述的方法，通过触发浮动标识来生成针对于分层控制的触发请求。
16.根据权利要求14所述的方法，通过使用用户设备的摄像器件以分辨率来获取所述静态显示数据；或者，
所述静态显示数据是应用程序运行时所产生的符合预定分辨率的显示数据。
17.根据权利要求16所述的方法，其中所述静态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
18.根据权利要求14所述的方法，其中所述基础层的显示区域大于或等于所述附加层的显示区域。
19.根据权利要求14所述的方法，所述位置信息包括至少三个点。
20.根据权利要求19所述的方法，所述基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域包括：基于所述至少三个点确定用于将所述控制数据和静态显示数据进行数据合成的合成区域。
21.根据权利要求14所述的方法，在将所述附加数据与所述基础数据进行数据合成时，还包括使用修饰数据为基础数据的部分或全部像素进行修改。
22.根据权利要求21所述的方法，确定所述修饰数据所对应的所述基础数据中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
23.根据权利要求14所述的方法，所述将所述控制数据生成符合第二分辨率的附加数据包括：当所述控制数据中与附加层相关联的显示格式数据不存在变化时，将所述控制数据生成符合比所述第一分辨率高的第二分辨率的附加数据。
24.根据权利要求23所述的方法，响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，基于所述变化数据生成符合第二分辨率的附加数据，并且将所述附加数据与所述基础数据进行数据合成。
25.根据权利要求14所述的方法，所述附加层与合成区域重叠并且所述附加数据的数据完全替换所述基础数据中合成区域内的数据。
26.根据权利要求14所述的方法，所述附加层与合成区域重叠并且所述附加数据的数据与所述基础数据中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
27.一种基于数据合成实现分层控制的系统，所述系统包括：
获取单元，响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；确定用作基础层的动态显示数据，并且确定所述动态显示数据的基础数据流的基础帧率；
确定单元，基于所述触发请求中所指示的位置信息确定用于将所述控制数据和动态显示数据进行数据合成的合成区域；
生成单元，将所述控制数据生成符合基础帧率的附加数据流；以及合成单元，在所述合成区域的范围内并且按照时间对准的方式将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成，以实现基于基础层和附加层的分层控制；
其中所述基础层和附加层均能够对所接收的控制指令进行响应，所述控制数据包括用于对动态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据，所述显示格式数据包括控制界面，以及控制界面中的多个控制项，多个控制项中的一个或多个控制项是针对用户设备进行功能控制的控制项，或者是针对运行界面进行功能控制的控制项。
28.根据权利要求27所述的系统，通过触发浮动标识来生成针对于分层控制的触发请求。
29.根据权利要求27所述的系统，通过使用用户设备的摄像器件以基础帧率来获取所述动态显示数据；或者，
所述动态显示数据是应用程序运行时所产生的符合基础帧率的显示数据。
30.根据权利要求29所述的系统，其中所述动态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
31.根据权利要求27所述的系统，其中所述基础层的显示区域大于或等于所述附加层的显示区域。
32.根据权利要求27所述的系统，所述位置信息包括至少三个点。
33.根据权利要求32所述的系统，所述确定单元基于所述至少三个点确定用于将所述控制数据和动态显示数据进行数据合成的合成区域。
34.根据权利要求27所述的系统，在将所述附加数据流的每个数据帧与所述基础数据流的每个数据帧进行数据合成时，还包括所述合成单元使用修饰数据为基础数据流的部分或全部像素进行修改。
35.根据权利要求34所述的系统，所述合成单元确定所述修饰数据所对应的所述基础数据流中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
36.根据权利要求27所述的系统，当所述控制数据中与附加层相关联的显示格式数据不存在变化时，所述生成单元利用相同的数据帧来生成符合基础帧率的附加数据流。
37.根据权利要求36所述的系统，响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，所述生成单元基于所述变化数据生成符合基础帧率的附加数据流。
38.根据权利要求27所述的系统，所述附加层与合成区域重叠并且所述生成单元将所述附加数据流的每个数据帧的数据完全替换所述基础数据流的每个数据帧中合成区域内的数据。
39.根据权利要求27所述的系统，所述附加层与合成区域重叠并且所述生成单元将所述附加数据流的每个数据帧的数据与所述基础数据流的每个数据帧中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
40.一种移动终端，包括或用于执行如权利要求27-39中任意一项所述的系统。
41.一种基于数据合成实现分层控制的系统，所述系统包括：
获取单元，响应于接收到针对于分层控制的触发请求，获取用作附加层的控制数据；确定用过基础层的静态显示数据，并且确定所述静态显示数据的基础数据的第一分辨率；
确定单元，基于所述触发请求中所指示的位置信息确定用于将所述控制数据和静显示数据进行数据合成的合成区域；
生成单元，将所述控制数据生成符合第二分辨率的附加数据；以及合成单元，在所述合成区域的范围内并且以所述基础数据为基础，将所述附加数据与所述基础数据进行数据合成，以实现基于基础层和附加层的分层控制；
其中所述基础层和附加层均能够对所接收的控制指令进行响应，所述控制数据包括用于对静态显示数据进行控制的一个或多个指令和与所述附加层相关联的显示格式数据，所述显示格式数据包括控制界面，以及控制界面中的多个控制项，多个控制项中的一个或多个控制项是针对用户设备进行功能控制的控制项，或者是针对运行界面进行功能控制的控制项。
42.根据权利要求41所述的系统，通过触发浮动标识来生成针对于分层控制的触发请求。
43.根据权利要求41所述的系统，通过使用用户设备的摄像器件以分辨率来获取所述静态显示数据；或者，
所述静态显示数据是应用程序运行时所产生的符合预定分辨率的显示数据。
44.根据权利要求43所述的系统，其中所述静态显示数据与控制数据的数据合成方式为支持实时移动的图像悬浮合成。
45.根据权利要求41所述的系统，其中所述基础层的显示区域大于或等于所述附加层的显示区域。
46.根据权利要求41所述的系统，所述位置信息包括至少三个点。
47.根据权利要求46所述的系统，所述确定单元基于所述至少三个点确定用于将所述控制数据和静态显示数据进行数据合成的合成区域。
48.根据权利要求41所述的系统，在将所述附加数据与所述基础数据进行数据合成时，还包括所述合成单元使用修饰数据为基础数据的部分或全部像素进行修改。
49.根据权利要求48所述的系统，所述合成单元确定所述修饰数据所对应的所述基础数据中的修饰位置，将所述修饰数据与所述修饰位置处的数据进行逐像素点地合成。
50.根据权利要求41所述的系统，当所述控制数据中与附加层相关联的显示格式数据不存在变化时，所述生成单元将所述控制数据生成符合比所述第一分辨率高的第二分辨率的附加数据。
51.根据权利要求50所述的系统，响应于检测到所述控制数据中与附加层相关联的显示格式数据中的变化数据时，所述生成单元基于所述变化数据生成符合第二分辨率的附加数据，并且将所述附加数据与所述基础数据进行数据合成。
52.根据权利要求41所述的系统，所述附加层与合成区域重叠并且所述附加数据的数据完全替换所述基础数据中合成区域内的数据。
53.根据权利要求41所述的系统，所述附加层与合成区域重叠并且所述生成单元将所述附加数据的数据与所述基础数据中合成区域内的数据进行合成，以使得附加层以半透明的方式位于所述合成区域。
54.一种移动终端，包括或用于执行如权利要求41-53中任意一项所述的系统。
CN201711483528.9A 2017-12-29 2017-12-29 基于数据合成实现分层控制的方法、系统以及移动终端 Active CN108174273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711483528.9A CN108174273B (zh) 2017-12-29 2017-12-29 基于数据合成实现分层控制的方法、系统以及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711483528.9A CN108174273B (zh) 2017-12-29 2017-12-29 基于数据合成实现分层控制的方法、系统以及移动终端

Publications (2)

Publication Number Publication Date
CN108174273A CN108174273A (zh) 2018-06-15
CN108174273B true CN108174273B (zh) 2021-01-08

Family

ID=62516212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711483528.9A Active CN108174273B (zh) 2017-12-29 2017-12-29 基于数据合成实现分层控制的方法、系统以及移动终端

Country Status (1)

Country Link
CN (1) CN108174273B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692195A (zh) * 2009-09-29 2010-04-07 聂清永 用于触摸屏上的控制菜单的显示以及控制方法
CN102663786A (zh) * 2012-03-30 2012-09-12 惠州Tcl移动通信有限公司 一种图层叠加方法及采用该图层叠加方法的移动终端
CN202795289U (zh) * 2012-06-14 2013-03-13 东莞宇龙通信科技有限公司 触摸式移动终端
CN104219475A (zh) * 2013-05-31 2014-12-17 睿致科技股份有限公司 视频处理方法、视频显示方法以及视频处理装置
KR20150040110A (ko) * 2013-10-04 2015-04-14 한국전자통신연구원 모바일 융합형 3dtv 방송 송수신 장치 및 방법
CN106454199A (zh) * 2016-10-31 2017-02-22 维沃移动通信有限公司 一种视频通信方法及移动终端
CN107241656A (zh) * 2017-06-30 2017-10-10 广东欧珀移动通信有限公司 一种来电处理方法、装置、存储介质和终端
CN107302635A (zh) * 2017-07-12 2017-10-27 珠海格力电器股份有限公司 一种来电显示方法及其装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371808A1 (en) * 2009-09-25 2016-12-22 Arm Limited Method and apparatus for controlling display operations
US20110274178A1 (en) * 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Method and device for parallel decoding of video data units
TW201232280A (en) * 2011-01-20 2012-08-01 Hon Hai Prec Ind Co Ltd System and method for sharing desktop information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692195A (zh) * 2009-09-29 2010-04-07 聂清永 用于触摸屏上的控制菜单的显示以及控制方法
CN102663786A (zh) * 2012-03-30 2012-09-12 惠州Tcl移动通信有限公司 一种图层叠加方法及采用该图层叠加方法的移动终端
CN202795289U (zh) * 2012-06-14 2013-03-13 东莞宇龙通信科技有限公司 触摸式移动终端
CN104219475A (zh) * 2013-05-31 2014-12-17 睿致科技股份有限公司 视频处理方法、视频显示方法以及视频处理装置
KR20150040110A (ko) * 2013-10-04 2015-04-14 한국전자통신연구원 모바일 융합형 3dtv 방송 송수신 장치 및 방법
CN106454199A (zh) * 2016-10-31 2017-02-22 维沃移动通信有限公司 一种视频通信方法及移动终端
CN107241656A (zh) * 2017-06-30 2017-10-10 广东欧珀移动通信有限公司 一种来电处理方法、装置、存储介质和终端
CN107302635A (zh) * 2017-07-12 2017-10-27 珠海格力电器股份有限公司 一种来电显示方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《分层视频编码技术及其在网络传输中的应用》;孙华;《广播与电视技术》;20050725(第7期);全文 *

Also Published As

Publication number Publication date
CN108174273A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
US11315336B2 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
US9674395B2 (en) Methods and apparatuses for generating photograph
EP2664131B1 (en) Apparatus and method for compositing image in a portable terminal
EP3182716A1 (en) Method and device for video display
US9817235B2 (en) Method and apparatus for prompting based on smart glasses
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
EP3796317A1 (en) Video processing method, video playing method, devices and storage medium
US20180144546A1 (en) Method, device and terminal for processing live shows
CN110572706B (zh) 视频截屏方法、终端及计算机可读存储介质
CN111338536B (zh) 多屏电子设备的屏幕录制方法及装置、多屏电子设备、存储介质
US20180035170A1 (en) Method and device for controlling playing state
US20210042980A1 (en) Method and electronic device for displaying animation
CN111880888B (zh) 预览封面生成方法、装置、电子设备及存储介质
CN111970456A (zh) 拍摄控制方法、装置、设备及存储介质
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
EP3799415A2 (en) Method and device for processing videos, and medium
CN108174273B (zh) 基于数据合成实现分层控制的方法、系统以及移动终端
CN110996115B (zh) 直播视频播放方法、装置、设备、存储介质和程序产品
US9619016B2 (en) Method and device for displaying wallpaper image on screen
CN108159686B (zh) 投影设备投影的方法、装置及存储介质
CN114422687A (zh) 预览图像切换方法及装置、电子设备及存储介质
CN109389547A (zh) 图像显示方法及装置
CN110955328B (zh) 电子设备的控制方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant