CN102685600A

CN102685600A - 数据叠加显示合成方法和系统及显示设备

Info

Publication number: CN102685600A
Application number: CN2012101264883A
Authority: CN
Inventors: 汪宗
Original assignee: Qingdao Hisense Electronics Co Ltd
Current assignee: Qingdao Hisense Electronics Co Ltd
Priority date: 2012-04-26
Filing date: 2012-04-26
Publication date: 2012-09-19
Also published as: WO2013159368A1

Abstract

本发明涉及显示设备技术领域，提供了一种数据叠加显示合成方法和系统及显示设备。所述方法包括：接收第一数据的输入，解码后进行缓冲存储；接收第二数据的输入并解码，对第二数据中的对象进行解析，将第二数据分割成多个分组数据，缓冲存储第二数据的各分组数据；确定第二数据的各分组数据与第一数据之间的各种对应关系；根据所述对应关系，选取相应的第二数据的分组数据与第一数据进行叠加合成处理；对合成后的数据进行显示。本发明除了可以实现简单的多视频流显示之外，还可以利用多个视频流中的对象或元素进行组合，得到全新的图像数据进行显示，满足了用户对画面处理的特殊需求，扩展了多子流应用的使用方式。

Description

数据叠加显示合成方法和系统及显示设备

技术领域

本发明涉及显示设备技术领域，特别涉及一种数据叠加显示合成方法和系统及显示设备。

背景技术

随着多媒体技术、网络技术和通讯技术的发展，流媒体应用将无处不在，基于流媒体的视频或图像显示，如视频点播、远程教育、社交网络及电子商务等也已经日趋流行。在视频或图像显示中，类似于早期电视中的画中画(PIP)、画外画(POP)等显示方式都是基于多个子流的应用场景，随着针对各种数据子流的应用更加丰富，应用场景也更加多样化。

但是在实现本发明过程中，发明人发现，现有的基于多个子流的视频或图像显示均只是对多个子流分别独立地进行显示，子流之间并无任何交互处理。如现有技术中的针对主视频和子视频之间实现画中画回放的方法，其虽然可将子视频放置在主视频画面的一角进行重叠显示，且子视频画面和主视频画面可以有不同的播放进度和速率，但是在播放时子视频画面仍然只是子视频画面、主视频画面也仍然只是主视频画面，两个子流的画面相互独立，彼此之间并不能交互影响，画面内容也无法叠加组合，因而大大限制了多子流应用的扩展和应用场景的多样化。

发明内容

(一)要解决的技术问题

针对上述缺点，本发明为了解决现有技术中多子流画面显示无法交互影响的问题，提供了一种数据叠加显示合成方法和系统及显示设备。

(二)技术方案

为了解决上述技术问题，一方面，本发明提供了一种数据叠加显示合成方法，所述方法包括步骤：S1，接收第一数据的输入，解码后进行缓冲存储；S2，接收第二数据的输入并解码，对第二数据中的对象进行解析，将第二数据分割成多个分组数据，缓冲存储第二数据的各分组数据；S3，确定第二数据的各分组数据与第一数据之间的各种对应关系；S4，根据所述对应关系，选取相应的第二数据的分组数据与第一数据进行叠加合成处理；S5，对合成后的数据进行显示。

另一方面，本发明还同时提供了一种数据叠加显示合成系统，所述系统包括第一数据处理模块、第二数据处理模块、关系指定模块、叠加合成模块和显示模块，其中，

所述第一数据处理模块，用于接收第一数据的输入，解码后进行缓冲存储；

所述第二数据处理模块，用于接收第二数据的输入并解码，对第二数据中对象进行解析，将第二数据分割成多个分组数据，缓冲存储第二数据的各分组数据；

所述关系指定模块，用于确定第二数据的各分组数据与第一数据之间的各种对应关系；

所述叠加合成模块，用于根据所述对应关系，选取相应的第二数据的分组数据与第一数据进行叠加合成处理；

所述显示模块，用于对合成后的数据进行显示。

最后，本发明还同时提供一种显示设备，所述显示设备中集成有如上所述的数据叠加显示合成系统。

(三)有益效果

在本发明的技术方案中，除了可以实现传统的画中画、画外画等简单的多视频流显示之外，还可以进行视频流图像的合成显示，即可以利用其他视频流中的对象或元素进行组合，得到全新的图像数据进行显示，满足了用户对画面处理的特殊需求，扩展了多子流应用的使用方式。

附图说明

图1为本发明的一个实施例中数据叠加显示合成方法的流程示意图；

图2为本发明的一个实施例中数据叠加显示合成系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的实施例中，可基于多个视频流进行处理，为便于理解，首先介绍基于两个视频流的处理方式。在两个视频流的实施例中，主视频流为主通道的数据流，如电视信号、多媒体信号、网络流媒体信号或者其它本地可以实现播放和显示的视频信号；子视频流的信号为子通道获取的视频流信号，如第二个通道电视信号、OSD信号、EPG信号或者通过互联网获取的网络流媒体信号；本发明的实施例主要用于实现对两个视频流信号进行叠加显示的合成。

本发明的实施例主要提供一种对多个视频流数据进行交互显示的方法，在优选的实施例中，其在对第一数据(Streaming1)和第二数据(Streaming2)解析及分割处理后，将分割的数据在指定显示区域中实现和基本数据的叠加显示。其中，叠加区域数据内容可通过调整器选择设置进行重新选择、选择后的数据实现对上次数据的替换，重新生成一组显示数据，可反复实现数据替换及叠加显示。具体地，本发明实施例的方法包括步骤：

接收第一数据的输入，解码后进行缓冲存储；

接收第二数据的输入并解码，对第二数据中对象进行解析，将第二数据分割成多个分组数据，缓冲存储各分组数据；

确定分割后的第二数据的各分组数据与第一数据之间的各种对应关系(包括比例关系、空间区域关系、格式匹配关系和图层叠加关系等)；

根据所述对应关系，选取相应的分割后的第二数据的分组数据与第一数据进行叠加合成处理；

对合成后的数据进行显示。

具体地，在本发明的优选实施例中，以主视频流是电视信号、子视频流是网络流媒体信号为例进行描述。数字电视的技术已经很成熟，该领域中电视信号的解调、图像处理及显示原理都是公知的技术，相关技术人员已能普遍掌握对数字电视信号的视频流的处理，因而此处不再赘述。本发明的实施例的重点是针对两个视频流画面的叠加合成，在该优选实施例中，对第二个视频流(即子视频流)的数据首先进行解析、分类、缓冲的处理。本发明的实施例中的子视频流以微软公司的ASF(Advanced Streaming Format)格式的网络流媒体为例，ASF是一种数据格式，将音频、视频、图像以及控制命令脚本等多媒体信息以网络数据包的形式传输，实现流式多媒体内容的发布。

而本发明的优选实施例中的数据解析主要针对ASF文件的逻辑对象进行：即对头对象(Header object)、数据对象(Data object)和索引对象(Index object)进行深入解析。进一步说明，如通过对ASF头对象解析，可获得文件属性对象、流属性对象、内容描述对象、部分下载对象、流组织对象、可伸缩对象、优先级对象、相互斥对象、媒体相互依赖对象、级别对象、索引参数对象等；通过对索引对象解析，可以获得媒体数据、存储形式、数据长度及其数据排序情况等信息；通过对索引信息的解析可以获得媒体时间的相关信息。通过以上方式获取需要的信息内容，然后将所获取的各类信息进行分类，将分类后的各分组数据存储在缓冲序列中。

随后根据用户的指定或预先设定，确定各分组数据与主视频流数据之间的对应关系，通常情况下，一个分组里会包括多个元素、图层和属性等，要进行数据合成，需要确定分组中将要使用的数据与主视频流数据的各种对应关系。对应关系一般包括比例关系、空间区域关系、格式匹配关系和图层叠加关系等，这些关系表明了子视频流中元素在主视频流显示画面中的具体位置、大小、格式及配色等，是叠加合成的基础。

再根据上述对应关系，从缓冲序列中选取子视频流中对应的分组数据，对其进行相应的缩放、格式转换、定位等处理后与主视频流数据的画面进行叠加合成，通过显示设备将合成后的新数据的画面显示输出。其中，对于格式匹配关系来说，当确定分割后的第二数据的各分组数据与第一数据之间的格式匹配相互兼容时，则不需要再对分组数据进行格式转换；否则，将待与第一数据进行叠加合成的分组数据的格式转换为与第一数据的格式兼容的格式。

可以看出，采用本发明的实施例，除了可以实现传统的画中画、画外画等简单的多视频流显示之外，还可以进行视频流图像的合成显示，即可以利用其他视频流中的对象或元素进行组合，得到全新的图像数据进行显示，满足了用户对画面处理的特殊需求，扩展了多子流应用的使用方式。

在更优选的实施方式中，本发明可针对多个子流进行叠加合成显示，子流的数目不仅限于2个，只要在设备处理能力之内，任意数目的子流均可采用上述对第二数据的处理方式完成解析、分割、缓冲后再进行叠加合成。此外，对第一数据也同样可以进行解析和分割，叠加合成的对象可以是任意子流中的任意元素，使组合的方式更加灵活多变，显示效果更加丰富。

下面给出本发明的实施例的一个应用场景，比如第一数据(主视频流)为一个人物图像数据，接收第一数据后对其进行解码(解压缩、数据采样、量化处理、解码、解量化、反变换及重建图像数据等一系列处理过程)、解析、分割和缓冲处理后，第一数据的人物图像可分成多个部分(例如：人物的头、人物的上半身、人物的下半身等3个部分)，各部分在显示部分被分开显示。第二数据为一组图片数据(例如网站上的帽子、上衣、裤子等图片)，此处值得注意的是，不同类的图片数据可以分别存储在服务器端的不同存储单元里(如帽子、上衣、裤子按类别分开存储在不同的存储位置)，也可以存储在一起；如果存储在一起，则需要在其存储位置对数据进行分类(比如给同一类数据增加属性标记，或者通过文件名区分数据等)。

随后，将第一数据和第二数据的格式转换为统一格式，以便后续的叠加处理(当然，如果两个数据的格式原本就为相互兼容的统一格式，则该步骤可以省略)。然后将处理后的第一数据和第二数据中的对象分类显示出来，显示后，可以选取第二数据中的对象(例如：帽子、上衣、裤子等)并将其调整成符合第一数据中人物图像的尺寸和颜色，并指定第二数据中的对象覆盖到第一数据中的具体位置(比如选取帽子覆盖到人物图像的头部区域上)，以便达到为人物换装之类的娱乐活动的目的。

下面再给出本发明的实施例的另一个应用场景，比如第一数据为具有人物动作的视频流数据，第二数据为具有不同天气状况的视频流数据，其中，对接收的第一数据进行处理后，将第一数据的人物动作视频分成多个部分(如人物骑自行车、人物狂奔、人物戴口罩等)；然后对第二数据进行处理后，将第二数据的不同天气状况分成多个部分(如阳光明媚天气、暴雨天气、沙尘暴天气等)。确定第一和第二数据的各种对应关系并根据所述各种对应关系对第二数据的各部分进行处理。然后将处理后的第一数据和第二数据中对应的部分叠加合成后显示出来(例如与第一数据视频中的人物骑自行车部分对应的，第二数据作为背景显示出阳光明媚天气；与第一数据视频中人物狂奔部分对应的，第二数据作为背景显示出暴雨天气；与第一数据视频中人物戴口罩部分对应的，第二数据作为背景显示出沙尘暴天气等)。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种数据叠加显示合成系统，该系统通常以与方法各步骤相对应的功能模块的形式表示；如图2所示，所述系统包括第一数据处理模块、第二数据处理模块、关系指定模块、叠加合成模块和显示模块，其中，

所述第二数据处理模块，用于接收第二数据的输入并解码，对第二数据中对象进行解析，将第二数据分割成多个分组数据，缓冲存储各分组数据；

所述关系指定模块，用于确定分割后的第二数据的各分组数据与第一数据之间的各种对应关系(包括比例关系、空间区域关系、格式匹配关系和图层叠加关系等)；

所述叠加合成模块，用于根据所述对应关系，选取相应的分割后的第二数据的分组数据与第一数据进行叠加合成处理；

所述显示模块，用于对合成后的数据进行显示。

其中，所述系统还可包括MCU程序控制单元，所述MCU程序控制单元用于对所有系统进程、任务进行调度控制。

最后，本发明的上述数据叠加显示合成方法和系统主要应用于显示设备中，所述显示设备可以为：数字电视、个人计算机、笔记本计算机、数码相框、各种移动终端(如PDA、手机、平板电脑、电纸书等)等任何具有显示功能的产品或部件。

综上所述，本发明的上述实施例中，提供了一种对多个视频流数据进行交互显示的技术方案。采用本发明的技术方案，除了可以实现传统的画中画、画外画等简单的多视频流显示之外，还可以进行视频流图像的合成显示，即可以利用其他视频流中的对象或元素进行组合，得到全新的图像数据进行显示，满足了用户对画面处理的特殊需求，扩展了多子流应用的使用方式。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的实际保护范围应由权利要求限定。

Claims

1.一种数据叠加显示合成方法，其特征在于，所述方法包括步骤：

S1，接收第一数据的输入，解码后进行缓冲存储；

S2，接收第二数据的输入并解码，对第二数据中的对象进行解析，将第二数据分割成多个分组数据，缓冲存储第二数据的各分组数据；

S3，确定第二数据的各分组数据与第一数据之间的各种对应关系；

S4，根据所述对应关系，选取相应的第二数据的分组数据与第一数据进行叠加合成处理；

S5，对合成后的数据进行显示。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，在对第一数据解码后，对第一数据中的对象进行解析，将第一数据分割成多个分组数据，缓冲存储第一数据的各分组数据；

步骤S3中，确定第二数据的各分组数据与第一数据的各分组数据之间的各种对应关系；

步骤S4中，选取相应的第二数据的分组数据与第一数据的分组数据进行叠加合成处理。

3.根据权利要求1或2所述的方法，其特征在于，所述第一数据及所述第二数据为至少一个视频流数据。

4.根据权利要求1或2所述的方法，其特征在于，所述对应关系包括比例关系、空间区域关系、格式匹配关系和图层叠加关系。

5.根据权利要求1或2所述的方法，其特征在于，步骤S4中，选取相应的分组数据后，先对分组数据进行相应的缩放、格式转换、定位处理，随后将处理后数据的画面进行叠加合成。

6.一种数据叠加显示合成系统，其特征在于，所述系统包括第一数据处理模块、第二数据处理模块、关系指定模块、叠加合成模块和显示模块，其中，

所述显示模块，用于对合成后的数据进行显示。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括MCU程序控制单元，所述MCU程序控制单元用于对所有系统进程、任务进行调度控制。

8.根据权利要求6所述的系统，其特征在于，所述第一数据处理模块还对第一数据中的对象进行解析，将第一数据分割成多个分组数据，缓冲存储第一数据的各分组数据。

9.根据权利要求6-8中任一项所述的系统，其特征在于，所述第一数据及所述第二数据为至少一个视频流数据。

10.一种显示设备，其特征在于，所述显示设备中集成有如权利要求6-9中任一项所述的数据叠加显示合成系统。