CN102137253A - 图片处理的方法、终端及服务器 - Google Patents

Abstract

本发明公开了一种提供了一种图片处理的方法，包括：接收包含图片类型标识的图片流；获取所述图片类型标识，若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流。另一方面，提供了一种图片处理的终端，包括：接收单元，用于接收包含图片类型标识的图片流；获取单元，用于获取所述图片类型标识，图片处理单元，用于若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流。由于图片流中包含了图片类型标识的信息，终端首先去辨别该图片类型是否识别，如果可以识别，则相应地展现图片内容，如果不能识别，则将该图片流丢弃，这样当终端不支持图片类型时，可以自动放弃该图片流，提高了终端处理图片流的能力。

Description

图片处理的方法、终端及服务器

技术领域

本发明涉及通信技术领域，尤其涉及图片处理技术。

背景技术

随着数字广播电视技术的发展和通信业务的融合，媒体的形式更加丰富多彩，除了传统的音视频之外，还可以包括文字、图形、动画以及对用户交互的支持，众多的媒体形式为用户提供了电影字幕、标题、额外信息提示、广告和通知等增值服务。一个典型且最普通的场景是用户在观看视频时，屏幕下方出现一组图片广告，用户可以根据自己的需要和喜好点击广告图片，链接到特定的信息源。

第三代合作项目(Third Generation Partnership Project，3GPP)提出了同步文本(Timed Text)的技术，Timed text主要定义了一种和视频流同步的文本流，该文本流主要用于字幕的显示和附加文本说明。在3GPP中，Timedtext是和音视频内容一起显示在终端上的文本，不同的文本属性显示出不同的文本效果。这些属性包括文本显示区域，文本字体，字体大小，文本颜色，文本间距等效果。文本和其属性都会存储在3gp文件的文本描述结构中。

3GPP最新还提出的同步图片流(TG，Timed Graphics)工作项，为融合内容的展现提供了另外一种思路和方案选择。同步图片工作项的目标是采用一个和视频流平行的单独的图片流，来向终端发送附加的图片内容，该图片内容可以用来展示人名标签、比分框或比赛结果图表等等。

而现有技术中，由于图片类型有多种，而各个终端处理图片信息的能力也千差万别，因此可能有些终端在接收到上述携带了图片流的视频流时，由于该终端不支持该图片类型，无法解析该图片内容，会导致终端处理的混乱，甚至出现死机的情况，影响了用户的体验。

发明内容

本发明的实施例提供了图片处理的方法、终端及服务器，实现终端对不同的类型的图片进行不同的处理。

一方面，提供了一种图片处理的方法，包括：接收包含图片类型标识的图片流；获取所述图片类型标识，若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流信息。

另一方面，提供了一种图片处理的方法，包括：将多媒体文件中的图片信息打包成图片流，所述图片流包含图片类型标识；将所述打包后的包含图片流发送给终端，以便于终端根据图片类型标识进行处理。

一方面，提供了一种图片处理的终端，包括：接收单元，用于接收包含图片类型标识的图片流；获取单元，用于获取所述图片类型标识，图片处理单元，用于若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流信息。

另一方面，提供了一种图片处理的服务器，包括：打包单元，用于将多媒体文件中的图片信息打包成图片流，所述图片流包含图片类型标识；发送单元，用于将所述打包后的包含图片流发送给终端，以便于终端根据图片类型标识进行处理。

由于图片流中包含了图片类型标识的信息，当终端获取到该图片类型标识时，终端首先去辨别该图片类型是否识别，如果可以识别，则相应地展现图片内容，如果不能识别，则将该图片流丢弃，这样当终端不支持图片类型时，可以自动放弃该图片流，提高了终端处理图片流的能力，提高了用户的体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种图片处理的方法流程图；

图2为本发明实施例的另一种图片处理的方法流程图；

图3为本发明实施例的的包含graphic track的3gp文件的结构示意图；

图4为本发明实施例的的包含graphic sample的结构示意图；

图5为本发明实施例的的RTP流的结构示意图；

图6为本发明实施例的终端处理图片流的方法流程图；

图7为本发明实施例的处理图片流的终端的结构示意图；

图8为本发明实施例的处理图片流的服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于现有技术中，由于在对于图片流进行打包过程时，服务器并没有对图片流中进行标识图片类型，当终端接收到包含了图片流的多媒体文件时，可能出现了终端无法处理图片类型，但是终端自身不知道引起的一直尝试处理该图片流，这会导致终端处理能力的下降。本发明的实施例提供了一种图片处理的方法、装置，通过在打包的图片流中增加图片类型标识，使得终端能够直接判断该图片流是否能够识别，如果不能识别，则将该图片流丢弃，这样当终端不支持图片类型时，可以自动放弃该图片流，这样提高终端了处理图片流的能力，提高了用户的体验。

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

如图1所示为本发明实施例的图片信息处理的方法流程图，具体内容如下：

101：接收包含图片类型标识的图片流；

103：获取所述图片类型标识，若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流信息。

由于图片流中包含了图片类型标识的信息，当终端获取到该图片类型标识时，终端首先去辨别该图片类型是否识别，如果可以识别，则相应地展现图片内容，如果不能识别，则将该图片流丢弃，这样当终端不支持图片类型时，可以自动放弃该图片流，这样提高终端了处理图片流的能力，提高了用户的体验。

如图2所示为本发明实施例的图片信息处理的方法流程图，具体内容如下：

201：服务器从从需要传输图片中，采样相关的图片信息。

图片信息可以包括以图片内容和图片属性；图片属性可以包括以下一种或多种：图片类型、图片位置信息、图片显示效果信息、图片样式信息、图片边框样式信息、图片组信息、图片变换效信息或图片超链接信息。图片显示效果可以包括图片的淡入\淡出，图片的卷入\卷出，图片的飞入\飞出，图片透明效果等等；图片变换效果可以包括图片拉伸变换、水平变换或旋转变换等效果。

203：服务器将上述图片信息和图片内容存储在3gp文件中。

在3gp文件中，可以存储视频数据、音频数据以及扩展数据。而上述图片信息和图片内容将存储在扩展数据中。具体地，将上述图片信息存储在扩展数据中的Timed Graphic。Timed Graphic作为扩展数据的一种，主要是通过在3gp文件中增加若干个图片描述box来表示图片的特点，在3gp文件中所有的信息都包含在各种类型的box中，而每个文件仅有一个视频盒(moviebox)，movie Box可以包含了一个或者多个track，不同的媒体数据通过不同的track box来描述。如视频数据是通过video track来描述，音频数据是通过audio track来描述的。而本发明实施例中的timed Graphic是通过Graphic track来描述的，Graphic track具体的结构可以如图3所示，包括：track header，表示track的头信息；media，其中包含一个Track所对应的媒体描述信息，每个Track Box中有且只有一个media，Media header，描述了与媒体编码无关的一些信息，如媒体的创建时间和持续时间等；Media Information，其子Box描述了Track所对应的媒体的属性；Media Information Header，包含了四种类型的Media Information Header Box，每种都描述了特定媒体信息的一些属性。

在一个Graphic track中，样本表(Sample Table)包含了该Graphic track中所有媒体sample的时间和空间信息。其子box用来描述一组sample的各种属性，如图4所示，sample table的子box为样本描述(Sample Description)。在3gp文件中，Sample Description含有不同的SampleEntry(图2中并未标识出来)，用以区分不同类型的track。Timed Graphic数据中将SampleEntry表示为GraphicSampleEntry，GraphicSampleEntry可以包含了图片的各种属性。下面为GraphicSampleEntry的结构定义，

class GraphicSampleEntry extends SampleEntry(‘grap’){

RegionBox          default-region；//图片初始显示位置，

StyleRecord        default-style；//图片初始显示样式，

StrokeRecord       default-stroke；//图片的初始边框，

}

其中图片位置结构可参见如下定义：

class RegionBox {

signed int(16)      tx；//图片显示区域的x坐标

signed int(16)  ty；//图片显示区域的y坐标

signed int(16)      width；//图片宽度

signed int(16)  height；//图片高度

unsigned int(16)    layer；//图片的层信息

}

其中图片样式结构可参见如下定义：

class StyleRecord{

unsigned int(16)picture-opacity；//图片透明度定义

}

其中图片边框结构可参见如下定义：

class StrokeRecord{

unsigned int(16)stroke-width；//图片边框宽度

unsigned int(32)stroke-color；//图片边框颜色

}

由于图片本身具有不同的类型，如其类型可以为svg，png，jpeg，bmp或gif等格式类型，针对不同的图片类型。用一个新的box继承该GraphicSampleEntry，这些box中增加了关于图片类型的描述信息。如svg图片中用SVGGraphicSampleEntry来表示，继承自GraphicSampleEntry，指定该box类型为svg格式，携带svg的版本信息。例如：SVGGraphicSampleEntry的结构为：

class SVGGraphicSampleEntry extends GraphicSampleEntry(‘svg’){

unsigned int(32)Version；

}

在3gp文件中，媒体信息以sample的形式存放在media data中，将这类sample称为GraphicSample，每个GraphicSample中可以存放一幅图片的内容，GraphicSample还可以存放一幅图片的图片属性等信息，如可以将一组图片的图片组信息，图片链接信息存储在GraphicSample中。

如果graphic smaple存储了图片属性的话，那么其GraphicSample结构如图4所示，具体可以包括：

图片位置box：位置信息可描述图片显示的坐标，图片显示宽度，显示高度，图片的层信息，其中层的定义相当于增加了一个Z轴的概念，当多张图片同时显示且具有重叠区域时，层值从0依次增加，指定了图片上下覆盖的显示关系；如果在graphicSampleEntry中已经存储了图片位置信息，则该图片信息为初始图片信息，存储在graphic sample中的位置信息是与该初始图片信息变化后的位置信息。下面的图片样式。图片边框样式信息、变换效果等也是类似的，即在graphicSampleEntry存储的是图片的初始属性信息，在graphicsample可能存储的是变化后的属性信息。

图片超链接box：当图片存在链接信息时才有该box，或者当图片不存在链接信息时，该box为空。该box可支持一张图片有一个或者多个链接，如果图片有多个链接，该结构需要将区域信息和链接信息绑定在一起；如果图片仅有一个链接，仅需描述链接信息。

图片组box：当终端要显示的多张图片存在显示上的主从等依赖关系需要定义时才有该box，或者当终端要显示的一张图片时，该box为空。该box支持多图片依赖关系，可描述图片在图片组中的级别，从而控制终端上的显示顺序。

图片样式box：该box可表示图片透明度等属性。

图片边框样式box：该box可表示图片边框的宽度和颜色等效果。

图片变换效果box：该box可表示图片水平、垂直拉伸空间以及图片旋转角度。

例如：在一个实施例中，3gp文件中图片存储结构GraphicSample结构定义如下

Class GraphicSample{

unsigned int(16)    picture-length；//图片内容长度

unsigned int(8)     picContent[picture-length]；//图片内容

GraphicSampleModifierBox Graphic-modifier[]；//图片描述box的父类

}

图片链接信息的描述box的结构定义如下：

class GraphicHyperBox()extends GraphicSampleModifierBox(‘href’){

Area linkarea；//图片中的一个链接区域，整幅图片对应一个链接，该值为-1

unsigned int(8)    URLLength；//图片链接长度

unsigned int(8)    URL[URLLength]；//图片链接信息

unsigned int(8)    altLength；//链接的文本提示的长度

unsigned int(8)    altstring[altLength]；//链接的文本提示

}

图片组的结构如下：

class GraphicDependencyBox()extends GraphicSampleModifierBox(‘depd‘)

{

unsigned int(16)picture-groupId；//表示图片组信息

Unsigned int(8)picture-level；//表示图片级别

}

其中，picture-groupId将关联的图片作为一个图片组，picture-level两个取值，0表示是主图片，1表示是从图片。

这里只是举例说明了图片超链接属性和图片组的定义结构，在graphicsample中的其他属性结构的定义也是类似的。

需要说明的是：图片的属性有很多种，这里只是例举其中几种来说在3gp文件如何存储这些图片属性，如果有其他的图片属性，以同样的方式存储在3gp文件中。

根据上述对GraphicSampleEntry以及GraphicSample的描述，可以实现对服务器采样到的图片信息进行存储。

205：当图片流需要被传输时，通常需要通过会话描述协议(SessionDesctiption Protocol，SDP)来告知终端关于Timed graphic流的一些信息，下面描述了如何在SDP中表示一个Timed Graphic流：

m＝video<port number>RTP/<RTP profile><dynamic payload type>

a＝rtpmap:<payload type>3GPP-tg/1000

上面的描述中，M行的媒体类型为Video；a＝rtpmap的编码名称为3GPP-tg，dynamic payload type与RTP头的PT相对应。

207：当图片流需要被传输时，服务器还需要对上述Timed Graphic进行打包封装。

Timed Graphic图片流以RTP方式承载，即以RTP包格式封装，并独立于视频内容传输。Timed graphic在RTP上的传输时，一个RTP包中可能包含一个或者几个完整的sample，或者是sample的片段，或者是sample description，其结构如图5所示，具体包含三部分：RTP头，payload header，有效payload。

其中RTP头中各个域的含义如下：

M：当RTP包中携带的是一个或者几个完整的sample，或者是一个sample的最后一个片段，该值设置为1，否则设置为0

PT：用来定义RTP流传输承载类型，对于Timed graphic，该值动态设置，与SDP携带的payload type值相同。

其他域的定义参照RTP规范。

需要说明的是，在一个包含多个GraphicSample的RTP包中，每一个Sample都会拥有它自己的payload header，每个sample的图片类型都通过其对应的payload header中的GT表述。

■R：保留字段

■Type：在一个RTP包的payload中，Type值的不同定义决定了payload中的内容，当携带一个完整的GraphicSample时，Type取值为TYPE 1

-TYPE 1，一个完整的GraphicSample

-TYPE 2，一个GraphicSample的片段(不带有图片属性描述box)；

-TYPE 3，一个GraphicSample中所有的图片属性描述box或者图片属性描述box的第一个；

-TYPE 4，图片属性描述box中任何一个，除了第一个

-TYPE 5，一个sample description.

-TYPE 0，6，and 7预留

■LEN：承载长度；

■SIDX：GraphicsSampleEntry的索引；Type为TYPE 1时的属性

■SDUX：展现时间信息，表示在该RTP时间戳单元中的显示间隔时间；Type为TYPE 1时的属性，

■GLEN：表示图片内容的长度，通过它可得知在一个GraphicsSample中图片描述box的开始位置，Type为TYPE 1时的属性。

在type为其他值时，GT设置为0，终端可直接忽略GT不需作出处理。

有效payload：有效payload中携带的内容可能是一个完整的sample，或者是sample片段，或者是sample description，要根据payload头域的type来决定。

图片相对于文本而言，具有多种图片类型，不同图片类型在终端有不同的处理机制，终端可根据图片类型预加载和图片类型相关的处理，因此Timed graphic在payload header中对图片类型的描述可以方便终端的处理。

209：服务器将打包好的图片流发送给终端

图片流以RTP包格式封装，并独立于视频内容传输。当终端接收到TimedGraphic流后，处理其承载的图片结构并展现该图片。其中，终端的处理流程图如图6表示：

601：终端收到RTP包，解析RTP包头。

由于图片流以RTP包格式封装，并可以独立于视频内容传输。终端收到RTP包后，解析RTP包头；

602：根据包头携带的payload type和SDP中描述的Timed graphic流的payload type是否相同，如果相同，则判断该RTP包是否为Timed Graphic流；若不是Timed Graphic流，则直接结束该流程，若是Timed Graphic流，则进行603。

603：终端逐个解析RTP包中的payload unit，一个payload unit可能是一个完整的sample，或者是sample片段，或者是sample description的内容。

解析每个负载单元头域(payload header)，根据负载头域携带的TYPE值判定负载类型。若TYPE值为Type5，说明该payload unit携带了一个sampledescription，sampledescription包含了一系列图片的初始属性，则缓存上述图片的初始属性信息，否则继续处理；终端判断解析后的payload unit中Type值是多少，如果Type值为Type1，说明该payload unit携带了一个完整的图片样本GraphicSample，若payload unit中Type值为Type2，说明该payload unit携带了一个GraphicSample片段，此时需要继续获得整个GraphicSample信息，重复上述步骤603的。

604：终端获取到整个GraphicSample信息后，解析负载头域payloadheader，获取该payload header中携带的GT表示的图片类型，若终端识别该图片类型，继续处理；如GT表示的图片类型是不可识别的，这直接丢弃该媒体流信息。

605：终端将缓存的数据进行解包，获得图片内容和图片的描述属性。按照GT解析图片内容，按照图片属性的描述box来解析出图片的显示属性。

终端根据负载头域中携带的SIDX从缓存信息中找到对应的SampleDescription，分别按照GraphicSample结构和GraphicSampleEntry结构进行解包获得图片内容和图片信息的描述。根据SampleEntry中定义的初始图片位置信息描述box确定图片展现位置，在所述展现位置上显示图片。如果GraphicSample定义了图片组属性，则根据GraphicSample中定义的图片组描述box，如果此图片是主图片则直接显示，如果是从图片，需要从图片关系表中查看对应主图片的显示状态，如果主图片正常显示则从图片正常显示，否则不显示从图片。如果GraphicSample定义了超链接属性，则根据图片结构GraphicSample中的超链接box，获得图片的超链接信息，用户在进行交互时，可通过此链接连接到其他得内容上。终端还可以根据其他的属性来显示其属性。

由于图片流中包含了图片类型标识的信息，当终端获取到该图片类型标识时，终端首先去辨别该图片类型是否识别，如果可以识别，则相应地展现图片内容，如果不能识别，则将该图片流丢弃，这样当终端不支持图片类型时，可以自动放弃该图片流，这样提高终端了处理图片流的能力，提高了用户的体验。

图7为本发明实施例的一种图片处理的终端，包括：

接收单元701，用于接收包含图片类型标识的图片流；

获取单元702，用于获取所述图片类型标识，

图片处理单元703，用于若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流信息。

需要说明的是，以上图片处理的处理装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，比如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将所述的图片处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成，例如，前述的接收单元701，可以为具有执行前述功能的硬件，比如，具有该接收模块的接收器，以及其他通用的能够执行存储功能的接收装置，也可以是能够执行相应计算机程序从而完成前述功能的一般接收设备，或者其他硬件设备。

图8为本发明实施例的一种图片处理的服务器，包括：

打包单元801，用于将多媒体文件中的图片信息打包成图片流，所述图片流包含图片类型标识；

发送单元802，用于将所述打包后的包含图片流发送给终端，以便于终端根据图片类型标识进行处理。

需要说明的是，以上图片处理装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，比如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将所述图片处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成，例如，前述的发送单元802，可以为具有执行前述功能的硬件，比如，具有该特定发送能力的发送器，以及其他通用的能够执行前述功能的发送装置，也可以是能够执行相应计算机程序从而完成前述功能的一般发送设备，或者其他硬件设备。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，所述的软件产品在可以用于执行上述的方法流程。该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，本发明的申请文件的权利要求包括这些变形和变化。

Claims (10)

1.一种图片处理的方法，其特征在于，包括：

接收包含图片类型标识的图片流；

获取所述图片类型标识，若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流信息。

2.根据权利要求1所述的方法，其特征在于，所述图片流还包括图片组信息，所述图片组信息为图片组的各个图片之间的依赖关系；

相应地，所述展现所述图片内容包括：

根据所述图片组信息，如果所述图片是主图片，则直接显示所述主图片内容，如果所述图片是从图片，确定所述从图片对应的主图片正常显示时，显示所述从图片内容。

3.根据权利要求1所述的方法，其特征在于，所述图片流还包括图片变换效果信息，所述图片变换效果信息包含了图片水平拉伸空间、垂直拉伸空间和/或图片旋转角度；

相应地，所述展现所述图片内容包括：

根据所述图片变换效果信息，展现具有变换效果的所述图片内容。

4.根据权利要求1所述的方法，其特征在于，所述图片流还包括图片位置信息，所述图片位置信息指示了所述图片内容展现的位置；

相应地，所述展现所述图片内容包括：

根据所述图片位置信息，在所述图片位置信息对应的位置展现图片内容。

5.根据权利要求1所述的方法，其特征在于，所述图片流还包括图片超链接信息，所述图片超链接信息包含了一个或一个以上区域信息和其对应的超链接信息；

相应地，所述展现所述图片内容包括：

根据一个或一个以上区域信息和其对应的超链接信息，在所述一个或一个以上个区域位置内，显示对应的超链接。

6.根据权利要求1所述的方法，其特征在于，所述获取所述图片类型标识，包括：在获取到一个完整的图片样本后，获取所述图片流的负载头域携带了图片类型标识。

7.一种图片处理的方法，其特征在于，包括：

将多媒体文件中的图片信息打包成图片流，所述图片流包含图片类型标识；

将所述打包后的包含图片流发送给终端，以便于终端根据图片类型标识进行处理。

8.根据权利要求7所述的方法，其特征在于，所述图片信息还包含图片组信息、图片位置信息、图片超链接信息或图片变换效果信息的一个或多个，

所述方法还包括：将图片信息存储在多媒体文件的扩展数据中。

9.一种图片处理的终端，其特征在于，包括：

接收单元，用于接收包含图片类型标识的图片流；

获取单元，用于获取所述图片类型标识，

图片处理单元，用于若识别所述图片类型，展现图片流对应地图片内容，否则，丢弃所述图片流信息。

10.一种图片处理的服务器，其特征在于，包括：

打包单元，用于将多媒体文件中的图片信息打包成图片流，所述图片流包含图片类型标识；

发送单元，用于将所述打包后的包含图片流发送给终端，以便于终端根据图片类型标识进行处理。

Images