CN103188522B - 提供与传送复合浓缩串流的方法以及系统 - Google Patents

提供与传送复合浓缩串流的方法以及系统 Download PDF

Info

Publication number
CN103188522B
CN103188522B CN201110451889.1A CN201110451889A CN103188522B CN 103188522 B CN103188522 B CN 103188522B CN 201110451889 A CN201110451889 A CN 201110451889A CN 103188522 B CN103188522 B CN 103188522B
Authority
CN
China
Prior art keywords
crossfire
unit
compound
content
streamed content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110451889.1A
Other languages
English (en)
Other versions
CN103188522A (zh
Inventor
李欣桦
郭慧冰
游人谕
郑雯方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN103188522A publication Critical patent/CN103188522A/zh
Application granted granted Critical
Publication of CN103188522B publication Critical patent/CN103188522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Abstract

提供与传送复合浓缩串流的方法以及系统。一种浓缩串流单元，耦接于一串流服务器及一用户端播放器。浓缩串流单元包括一串流数据输入单元、一串流内容分析单元、一画面时间戳调整单元及一串流数据输出单元。其中串流数据输入单元接收该串流服务器所传送的多个串流内容群组。串流内容分析单元对该等串流内容群组进行数据内容分析与重要性分数指标分析并输出一复合浓缩串流。画面时间戳调整单元调整复合浓缩串流中各个画面的时间戳。最后，串流数据输出单元加入一识别标签或内容列表于该复合浓缩串流中并传送该复合浓缩串流至该用户端播放器中播放。

Description

提供与传送复合浓缩串流的方法以及系统
技术领域
本发明涉及一种网络中产生复合浓缩串流的方法及系统。
背景技术
由于宽频网络的成熟发展，影音串流成为目前最受欢迎的应用之一，像是娱乐性质的影音分享、实时网络电视等服务，使用者可通过浏览节目表来获得频道的相关信息，并决定要收看的串流节目内容；另一方面，近年来监控产业也从过去闭路电视(ClosedCircuitTelevision，CCTV)系统转往IP监控系统(IPSurveillancesystem)发展。视频来源像是网络摄像机(IPCAM)、视频服务器(VideoServer)、数字视频录像机(DigitalVideoRecorder，DVR)等装置。使用者得以通过影音管理系统(VideoManagementSystem，VMS)，通过IP网络同时监看多路布建于各地的监控摄像机，达到全面性的掌控。其中除了端对端(End-to-End)的直接连线之外，串流服务器(StreamingServer)也常被用来提升系统的服务规模。
图1是显示一串流系统架构的示意图，使用者可通过各种形态的连网装置(Network-connectedDevices)14，如桌上型计算机(DesktopPC)、笔记型计算机(Notebook)、平板计算机(TabletPC)、手机(MobilePhone)，作为串流收视的载具。当使用者收看个别串流内容时，首先通过连线控制协议(ConnectionControlProtocol)，如实时串流协议(Real-timeStreamingProtocol，RTSP)，与串流服务器12通过网络10建立串流连线，完成沟通后再通过媒体传输协议(MediaTransportProtocol)，例如实时传输协议(Real-timeTransportProtocol，RTP)，接收实时串流内容数据16或已存储的串流内容数据18，而为了避免网络带宽变化造成收视质量的影响，一般在播放器端会有一小段时间的串流缓冲区(streamingbuffer)作为预防。依据带宽变化程度与缓冲区空间的大小，整个串流连线建立过程可能长达数秒的时间。当使用者欲同时收看多路频道时，可通过播放器建立多组的串流连线，在各频道间独立播放。
而随着移动通信的进步，通过移动装置与网络使用串流系统的需求日益增加。但是移动网络目前仍受到带宽与收讯质量的限制，并且随时受到环境变化的影响。一方面，在带宽不稳定或不足的状况下，容易造成画面不顺或顿挫等不良视觉观感，在收看多路频道时(例如，网络监控应用)，各个串流连线之间会彼此竞争，使情况更为恶化，使用者要同时稳定收看多个频道仍然非常困难。另一方面，提供全局频道预览(globalchannelpreview)，让使用者快速浏览所有串流频道目前正在播送的画面，并决定要收看的内容，而协助使用者动态及自动地的掌握频道信息的变化，例如频道的新增或离开或出现使用者感兴趣的画面(例如，检测到车牌、人脸或移动量等信息)时，都是十分迫切的需求
有鉴于此，一种提供与传送多来源浓缩串流内容方法以及系统是有待开发的。
发明内容
本发明提供一种产生复合浓缩串流的方法及系统。
本发明提供实施例的一种浓缩串流单元，耦接于一串流服务器及一用户端播放器，包括：一串流数据输入单元，用以接收该串流服务器所传送的多个串流内容群组，以及将该等串流内容群组的来源串流内容记录至一串流输入表中；一串流内容分析单元，用以接收该串流数据输入单元所传送的该等串流内容群组，对该等串流内容群组进行一数据内容分析与一重要性分数指标分析并输出一复合浓缩串流，其中该串流内容分析单元存储该数据内容分析及该重要性分数指标分析至一内容重要性分数表中；一画面时间戳调整单元，接收该串流内容分析单元所传送的该复合浓缩串流，并调整该复合浓缩串流中各个画面的时间戳，其中该等时间戳记录于一画面时间戳调整表中；以及一串流数据输出单元，接收由该画面时间戳调整单元所传送的该复合浓缩串流，并将该复合浓缩串流加入一识别标签或内容列表，以及传送该复合浓缩串流至该用户端播放器中播放。
本发明提供实施例的一种提供与传送复合浓缩串流的系统，耦接于一用户端播放器。该系统包括一串流服务器及一浓缩串流单元。其中该串流服务器，包括：一来源内容输入单元，以接收多个来源串流内容；一内容分群单元，耦接于该来源内容输入单元，接收该来源内容输入单元所传送的该等多个来源串流内容，并依一属性将该等多个来源串流内容分为多个串流内容群组；以及一内容群组传送单元，耦接于该内容分群单元，接收该内容分群单元所传送的该等多个串流内容群组。而该浓缩串流单元，耦接于该串流服务器及该用户端播放器，包括：一串流数据输入单元，用以接收该内容群组传送单元所传送的该等多个串流内容群组，以及将该等串流内容群组的来源串流内容记录至一串流输入表中；一串流内容分析单元，用以接收该串流数据输入单元所传送的该等串流内容群组，对该等串流内容群组进行一数据内容分析与一重要性分数指标分析并输出一复合浓缩串流，其中该串流内容分析单元存储该数据内容分析及该重要性分数指标分析至一内容重要性分数表中；一画面时间戳调整单元，接收该串流内容分析单元所传送的该复合浓缩串流，并调整该复合浓缩串流中各个画面的时间戳，其中该等时间戳记录于一画面时间戳调整表中；以及一串流数据输出单元，接收由该画面时间戳调整单元所传送的该复合浓缩串流，并将该复合浓缩串流加入一识别标签或内容列表，以及传送该复合浓缩串流至该用户端播放器中播放。
本发明提供实施例的一种用户端播放器，耦接于一串流服务器及一浓缩串流单元，包括：一串流数据接收单元，用以接收该浓缩串流单元所传送的一复合浓缩串流；一复合浓缩串流解析单元，耦接于该串流接收器，用以接收该串流数据接收单元所传送的该复合浓缩串流，并由该复合浓缩串流中解析为该等多个来源串流内容；至少一图像解码单元，用以接收该复合浓缩串流解析单元所解析出的该等多个来源串流，并对该等多个来源串流进行解码成多个图像；以及一图像呈现单元，用以呈现该等多个图像。
本发明又提出一种提供与传送复合浓缩串流的方法，用于一浓缩串流单元中，其中该浓缩串流单元耦接于一串流服务器及一用户端播放器，包括：接收该串流服务器所传送的多个串流内容群组；将该等串流内容群组的来源串流内容记录至一串流输入表中；对该等串流内容群组进行一数据内容分析与一重要性分数指标分析；将该数据内容分析及该重要性分数指标分析存储至一内容重要性分数表中；输出一复合浓缩串流；调整该复合浓缩串流中各个画面的时间戳并记录该等时间戳于一画面时间戳调整表中；将一识别标签或内容列表加入该复合浓缩串流；以及传送该复合浓缩串流至该用户端播放器中播放。
本发明又提出一种提供与传送复合浓缩串流的方法，用于一产生复合浓缩串流的系统中，其中该系统包括一串流服务器、一浓缩串流单元、一用户端播放器，包括：接收多个来源串流内容；依一属性将该等多个来源串流内容分为多个串流内容群组；将该等串流内容群组的该等多个来源串流内容记录至一串流输入表中；对该等串流内容群组进行一数据内容分析与一重要性分数指标分析；将该数据内容分析及该重要性分数指标分析存储至一内容重要性分数表中；输出一复合浓缩串流；调整该复合浓缩串流中各个画面的时间戳并记录该等时间戳于一画面时间戳调整表中；将一识别标签或内容列表加入该复合浓缩串流；以及传送该复合浓缩串流至该用户端播放器中播放。
本发明又提出一种播放复合浓缩串流的方法，用于一用户端播放器中，其中该用户端播放器耦接于一浓缩串流单元及一串流服务器，包括：接收该浓缩串流单元所传送的一复合浓缩串流；将该复合浓缩串流中解析为该等多个来源串流；将该等多个来源串流进行解码成多个图像；以及呈现该等多个图像。
为使本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出优选实施例，并配合附图，作详细说明如下。
附图说明
图1是显示一串流系统架构的示意图；
图2是显示一依据本发明实施例的一系统架构图；
图3是显示一依据本发明实施例的浓缩串流单元架构图；
图4是显示一依据本发明实施例的浓缩串流单元架构图；
图5A～图5C是显示一依据本发明实施例的关键画面序列产生单元产生关键画面的示意图。
图6是显示一依据本发明实施例的串流内容分析单元选择的输出示意图；
图7是显示一依据本发明实施例用户端播放器通过浓缩串流单元向串流服务器询问并直接取得某一来源的串流内容的系统架构的示意图；
图8是显示一依据本发明实施例的串流服务器的架构图；
图9是显示一依据本发明实施例的用户端播放器架构图；
图10是显示一依据本发明实施例的串流服务器、浓缩串流单元与用户端播放器的连线流程图；
图11是显示一依据本发明实施例的串流服务器、浓缩串流单元与用户端播放器的连线流程图；
图12是显示一依据本发明实施例的在串流服务器中将输入的内容来源分群并传送的流程图；
图13A～图13B是显示一依据本发明实施例的在浓缩串流单元中产生复合浓缩串流的方法流程图；
图14A～图14B是显示一依据本发明实施例的在用户端播放器中接收、处理及播放复合浓缩串流的方法流程图。
【主要元件符号说明】
10～网络；
12～串流服务器；
14～连网装置；
16～实时串流内容数据；
18～已存储的串流内容数据；
100～浓缩串流单元；
110～串流服务器；
120～实时来源串流内容；
130～已存储来源串流内容；
140～串流内容群组；
150～用户端播放器；
160～复合浓缩串流的请求；。
165～复合浓缩串流；
170～用户端要求；
175～来源询问；
180～回应讯息；
190～会话请求；
195～来源串流内容；
210～串流内容分析单元；
220～串流数据输入单元；
230～画面时间戳调整单元；
240～串流数据输出单元；
250～服务质量控制器；
260～用户端要求处理器；
270～串流输入表；
275～内容重要性分数表；
280～画面时间戳调整表；
290～关键画面序列产生单元；
295～识别标签及内容列表；
301～I画面；
302、304、306～关键画面序列；
303、305～P画面；
410～来源内容输入单元；
420～内容分群单元；
430～内容群组传送单元；
440～直接串流单元；
450～编码格式分析单元；
455～语义群组分析单元；
460～静态群组列表；
465～群组记录列表；
510～串流数据接收单元；
520～复合浓缩串流解析单元；
530～图像解码单元；
540～内容请求处理单元；
550～图像呈现单元；
550～单一区域图像呈现单元；
555～多分割区域图像呈现单元。
具体实施方式
A.系统架构
图2是显示一依据本发明实施例的一系统架构图。本发明的系统包含一浓缩串流单元100、一串流服务器110、一用户端播放器150。
在此系统中，众多实时发布的实时来源串流内容(1ivestreamingcontent)120与已存储于某些存储介质用以串流传输的已存储来源串流内容(pre-storedstreamingcontent)130会经由互联网通信协议(InternetProtocol，IP)网络以有线连结或无线连结的方式被发布或传送到串流服务器110中。在此所使用的“串流”用语为一多媒体处理的模式，其允许一使用者(例如用户端播放器150)在下载多媒体内容的际同时播放已下载的部分多媒体内容。不同于一传统“下载然后才播放”(download-and-play)的模式，仅当所有的多媒体内容已下载完毕时才允许一使用者播放其多媒体内容，这“串流”模式能够支持实时多媒体处理。一个串流内容所指的则是，来自单一来源的多媒体内容，多媒体包含例如视频(video)、音频(audio)、文本(text)、图像(image)或是其他媒体或任何的结合。例如，一个网络监控摄像机(IPCam)的输出是一个实时来源串流内容(120)，而一个存储为文件(如MP4或3GP)的影音内容则会是一个已存储来源串流内容(130)。MP4，全称MPEG-4Part14，是一种使用MPEG-4的多媒醴计算机文件格式，副文件名为.mp4，以存储数字音频及数字视频为主。3GP文件是MP4的简化版本，图像的部分可以用MPEG-4Part2、H.263或MPEG-4Part10(AVC/H.264)等格式来存储，声音的部分则支持AMR-NB、AMR-WB、AMR-WB+、AAC-LC或HE-AAC来当作声音的编码。在此所提及的文件格式与编码格式仅作为说明而不局限本发明的范围。
串流服务器110可为一装置或是一节点，例如工作站、计算机或是其他处理器，用以实时处理与收送串流内容信息(streamingcontentinformation)，其上述信息可为一位置、连结地址和媒体内容的描述，如实时串流协议资源识别符(RealTimeStreamingProtocolUniformResourceIdentifier，RTSPURI)。串流服务器单元可包括以执行影音内容接收、影音内容发送、影音内容记录以及影音内容分类的多个内部模块。根据设计复杂度、同时处理的会话连线(session)数目以及操作速度要求，模块可利用硬件或是软件实现。串流服务器110所接收的各个串流内容皆是经由各自独立的串流会话连线(streamingsession)传送。
串流服务器110分析这些影音内容的属性与设定并依照分析的结果将所有输入的影音内容进行分类。在一实施例中，分类的方式可以包含，但不局限于依照影音内容的压缩设定(encodingprofile)，如编码器类别(H.264、MPEG4、MJPEG、H.263等)、压缩比特率(encodingbitrate)、图像群组(GroupofPicture，GOP)大小、帧率(framerate)，或是图像格式(imageformat)，如图像分辨率(resolution，解析度)，的分析结果，但也有可能是依照地理位置属性，如全球定位系统坐标(GlobalPositioningSystemCoordinates，GPSCoordinates)，影音内容的权限组织属性，如社群、公司单位等，内容描述，如影片摘要，作者或是其他的分类方式。
分类后的影音内容，会与其他同一类别的影音内容以群组140的方式传送至浓缩串流单元100。在此实施例中，如图所示，串流服务器110将所有输入的影音内容分为串流内容群组I140以及串流内容群组II140。在此实施例中，此浓缩串流单元100可存在于一台独立的机器中，而在此实施例下传送的方式可以是通过网络接口(socket)以串流的方式传送。在其他实施例中，浓缩串流单元100也可以是以一个模块的形式与串流服务器110存在于同一台机器中，在此实施例中传送的方式可以是通过本地接口(localsocket)或是其他共享一块实体存储器的方式来实现。
用户端播放器150可以通过网络直接向串流服务器110要求各来源的串流内容，也可以向浓缩串流单元100要求提供某一内容群组的复合浓缩串流进行播放。通过一复合浓缩串流的请求160，浓缩串流单元100可以传送内容复合串流165至用户端播放器150。
用户端播放器150可以是一个人计算机(PC)、笔记型计算机(Notebook)、移动装置(例如移动电话(mobilephones)、数字播放器(digitalplayers)、个人数字助理(personaldigitalassistants，PDAs)以及移动终端机(mobileterminals))，或其他种能够接入网络的终端机(terminal)。
值得注意的是，浓缩串流单元100、串流服务器110及用户端播放器150皆可通过互联网通信协议(IP)网络以有线及无线传输方式互相连接。有线连接可通过如光纤网络(opticalnetwork)、非对称数字用户线路(AsymmetricDigitalSubscriberLine，简称ADSL)、缆线网络(CableNetwork)、电力线网络(PowerlineNetwork)等传输媒介。而无线连接可由一些移动式或无线/互联网通信协议(IP)网络连结机制，通过一般的移动/无线网络技术所构成，像是可为第2代移动通信技术协议的全球移动通信系统(GlobalSystemforMobileCommunications，GSM)以及分码多重存取(CodeDivisionMultipleAccess，CDMA)，第2.5代移动通信技术协议的通用分组无线服务(GeneralPacketRadioService，GPRS)，无线区域网络(wirelesslocalareanetwork，WLAN)，以及第3代移动通信技术协议或有关第3代的以及宽带码分多址系统(WidebandCodeDivisionMultipleAccess，WCDMA)、通用移动通信系统(UniversalMobileTelecommunicationsSystem，UMTs)、增强型数据速率GSM演进技术(EnhancedDataRateforGSMEvolution，EDGE)、无线增强型数据速率GSM演进技术(WirelessEDGE，WEDGE)、时分-同步码分多址(TimeDivision-SynchronousCodeDivisionMultipleAccess，简称TDSCDMA)，第3.5代移动通信技术协议的高速下行分组接入(High-SpeedDownlinkPacketAccess，HSDPA)，微波接入全球互通(WorldwideInteroperabilityforMicrowaveAccess，WiMAX)，以及3GPP长期演进技术(3GPPLongTermEvolution，3GPPLTE)。
而浓缩串流单元100、串流服务器110及用户端播放器150之间的串流内容来源沟通可通过实时串流协议(Real-TimeStreamingProtocol，RTSP)，而数据的收送与控制可通过实时传输协议(Real-timeTransportProtocol，RTP)与实时传输控制协议(Real-timeTransportControlProtocol，RTCP)的搭配来完成，传输方式可通过传输控制协议(TransmissionControlProtocol，TCP)或是使用者数据流通信协议(UserDatagramProtocol，UDP)。
[浓缩串流单元]
图3是显示一依据本发明实施例的浓缩串流单元100架构图。浓缩串流单元100包括一串流数据输入单元220、一串流内容分析单元210、一画面时间戳调整单元230、一串流数据输出单元240、一服务质量控制器250、一用户端要求处理器260。
首先，当串流内容群组140的影音内容被输入到浓缩串流单元100时，会通过串流数据输入单元220传送到串流内容分析单元210，且串流数据输入单元220会将各串流内容群组中输入的所有的来源串流内容记录在一串流输入表270中。举例来说，串流输入表270记录包含各个串流内容群组的群组识别码及分群类别，如编码属性(如编码格式、画面帧率(framerate)或是图像格式)、语义属性(如地理位置、拍摄事件或拍摄者组织编制或社群关系与群组)、或静态属性(如预设的特定分群)，以及各个来源串流个别属性(如压缩设定、地理坐标、影音内容的权限组织、内容描述、作者或是其他的属性)。具体但不局限地举例来说，串流输入表270可以使用实时传输协议标头文件扩展栏位(RTPHeaderExtension)与实时传输控制协议(Real-timeTransportControlProtocol，RTCP)分组来传送，其中不同的来源串流会有各自独立的识别码作为识别标签，举例来说，可以使用MD5哈希法(MD5hashmethod)对各个内容的原始资源标识符(URI)、拍摄时间或拍摄者进行哈希计算以产生一独特识别符号。而串流输入表270当来源内容有变化(新增或离开)时会一并更新。
在另外一些实施例中，当多个串流服务器耦接于同一个浓缩串流单元时，串流输入表270也会记录各串流内容群组中输入的所有的来源串流内容所来自的串流服务器。
输入的串流内容群组140会在串流内容分析单元210对串流内的数据进行一数据内容分析与一重要性分数指标分析，并将分析所得到的内容重要性的分数指标存储于内容重要性分数表275中。举例来说，重要性分数表275记录不同来源串流内容的权重、检测到的事件与累计分数，与分析事件的类别、权重、输出的关键序列画面数目、输出分数临界值、已选择输出的画面的数据量等。在一个实施例中，内容分析的方式可以是通过视频分析(VideoAnalysis)的方式，通过检测某些特殊事件来判断内容的重要性，包含但不局限于像是图像的变化程度、人脸检测、遗留物、遗失物或是车牌检测等，来计算重要性分数指标以取出具有重大代表性的画面内容。更具体地举例来说，重要性分数指标可以是事件的强度来评分。在不同的分析领域中，可能可以是变化量(如图像变化的程度)、所检测画面的区块大小(如遗留/遗失物检测)。在某些实施例中，各种分析得到的分数可以再经过加权(weighted)的处理，让不同事件的分数可以进行后续的分数计算比较。
在另一种实施例中，如果是没有检测到特定的视频相关的事件，也可以通过检查各来源串流内容所输入的画面的数据量或画面间隔，在达到某个临界值时来作为判断画面的重要性分数指标。举例来说，如果设定每个来源串流内容至少在某一时间区间T内必须传送至用户端播放器150，如果经过时间区间T之后，某一来源串流内容没有事件发生，此时该来源串流内容也具备较高的输出重要性。
相较于框外编码画面(Inter-codedframe)，如P画面(Predictiveframe，Pframe)，帧内编码画面(Intra-codedframe)，如I画面(Intraframe，Iframe)，本身即具有完整的画面信息。因此，在一些实施例中，帧内编码画面也会具有较高的重要性与代表性。
依照记录在内容重要性分数表275的重要性分数指标，串流内容分析单元210便能够判断某一输入的来源串流内容中某个时间点的画面或是片段是否具有足够的重要性并被选择输出为复合浓缩串流(CondensedStreamContent)的一部分。
进一步从另一个角度说明串流内容分析单元210，当某一输入的串流其内容被认为有足够的重要性分数指标时，代表该内容的画面或是图像片段便会被选择输出。另一种实施例的作法是采用事件发生前或是发生后的关键画面(keyframe)(通常即为帧内编码图像(Intra-CodedPicture))作为代表的画面，因为帧内编码画面单张画面本身即保有原始内容的完整数据，可以单独被传送及于用户端播放器150播放。
图4是显示一依据本发明实施例的浓缩串流单元100架构图。在此实施例中，串流内容分析单元210还包括一关键画面序列产生单元290。如果是被串流内容分析单元210选为代表内容的画面并不是关键画面时，可以通过关键画面序列产生单元290，将代表内容画面重新以帧内编码的方式编码并输出。图5A～图5C是显示一依据本发明实施例的关键画面序列产生单元290产生关键画面的示意图。如图所示，图中的I及P分别表示I画面(Iframes)及P画面(Pframes)，而I画面又为来源串流内容的关键画面，本段实施例采用I画面加上接续的两张P画面作为关键画面序列的实施说明，但在某些实施例中，是否使用关键画面序列以及总共选择的张数，会随着事件类别、重要性以及可用带宽将有所不同。如图5A所示，如果串流内容分析单元210所选取到的代表内容画面为关键画面I画面301时，则串流内容分析单元210会选取包含I画面301与后续2张P画面作为一关键画面序列302(keyframesequence)。如果串流内容分析单元210所选取到的代表内容画面为P画面303时，如图5B所示，则串流内容分析单元210会选取包含P画面303与先前的I画面及P画面组成一关键画面序列304并输出。如果串流内容分析单元210所选取到的代表内容画面为P画面305时，而在P画面305并无较接近的I画面，如图5C所示，则关键画面序列产生单元290便会将P画面305重新以帧内编码的方式编码并输出一关键画面I画面，并且将I画面及后续两张P画面组成一关键画面序列306。此种实施例对于图像群组(GroupOfPicture，GOP)长度特别长的串流可以避免原始串流数据的关键画面与代表内容画面的输出图像时间相距过长的问题。
服务质量控制器250会持续检测与各个用户端播放器150之间数据传输时的网络与缓冲区状态，判断当前所传送的数据量是否超出网络连线所能负担，或是仍有增加数据的余裕。此服务质量控制器250会将判断的结果，反馈至串流内容分析单元210中以调整数据浓缩比例的层级(degreeofthecondenseratio)以及重要性分数指标的临界值使得浓缩后的数据量能够贴近但不超过使用者所在网络所能负担的带宽。关于服务质量控制器250的详细技术内容例如可参照美国专利USPub.2010/0161761Yuetal.(MethodforAudioandVideoControlResponseandBandwidthAdaptationBasedonNetworkStreamingApplicationsandServerUsingtheSame)。
串流内容群组140中多个不同的输入内容，经过串流内容分析单元210后会选出在每个时间点上要代表各输入内容的图像或图像片段作为输出。依照浓缩比例层级的不同，每个时间点有可能会从一个或同时从多个来源串流内容选择出要作为复合浓缩串流的画面或片段。以具体的例子来说，如果是由服务质量控制器250估测的带宽状况不佳，此时会有较高的浓缩层级且可能仅会在来源串流内容中检测到指定事件时，串流内容分析单元210才会输出一张事件来源对应的画面。在另一方面，如果是带宽允许的情况下，可能会有较低的浓缩层级或是较低的重要性选择临界值，此时可能每一路输入的来源串流内容都会有画面被串流内容分析单元210选择并输出。在某些实施例中，是否选择输出单一关键画面或关键画面序列，或是同一时间点是否选择多路输入来源也会与用户端播放器的限制与能力有关。举例来说，如果是某些用户端播放器无法同时进行多路图像解码，或是仅有单一显示区域，那么可能会采用较高的浓缩比例且同一时间不会有多个串流内容被输出。
更进一步解释浓缩比例的调整，举例来说，较低的浓缩比例层级，可以是指对于重要性分数指标判断的临界值可能较为宽松(进而会有更多不同的事件被检测并选择)或是对于检测判断到的事件能够输出较多张的连续画面。类似地，较高的浓缩比例可能是指每个检测到的事件可以输出的画面较少或是用来判断事件的临界值较为严格(因此所检测到的事件会变得比较少)。在一些实施例中，这样的浓缩比例层级可以是动态的调整或是欲先选定多种不同组态设定以响应不同的串流内容、欲检测的事件以及不同的网络带宽条件。
在另一种实施例中，当被选择的画面内容其重要性分数指标达到某个程度，并且服务质量控制器250回报的带宽状况允许较低层级的浓缩比例时，串流内容分析单元210也可以输出被选择的画面以及其后续一段时间范围所组成的图像片段以提供更容易了解的浓缩内容。在一种实施例中，被选择的画面及后续一段时间范围所组成的图像片段可以是指以该画面前或后的关键画面为开头的图像片段，如第5A及5B图所示。在另一种实施例中，如图5C所示，也可以是通过关键画面序列产生单元290重新产生一关键画面及后续串流所组成的图像片段。
具体举例但不局限于地来说，表1是显示一重要性分数指标表，表2是显示内容重要性分数表。表1及表2是以内容重要性分数表与重要性分数指标表作为复合浓缩串流选取画面的方法的一个实施例。串流内容分析单元210分析输入的来源串流内容，如表1所示，不同的事件类型会依重要性给予不同的串流内容群组。而串流内容分析单元210在检测不同的来源串流内容中的事件类型后依据目前加权因子给予重要性评分，如表2所示，将结果更新记录于内容重要性分数指标表中。
表1
索引 事件类型 权重
事件1 出现时间临界值 20
事件2 车牌检测 10
事件3 脸部检测 5
事件4 遗失物检测 3
事件5 位移检测 2
事件6 不属于任何分类 1
表2
图6是显示一依据本发明实施例的串流内容分析单元210选择的输出示意图。在另一个实施例中，经过串流内容分析单元210选择后输出的复合浓缩串流的内容可能是如图6所示。图中图像分为I画面与P画面，画面下方的数字含意，举例来说，1-2代表视频来源识别码为1，该画面的时间戳为2。由于各自的图像来源开始传输的时间点可能并不一致，因此不同来源的图像可能有各自的时间戳序列。
在经过串流内容分析单元210分析后所输出的复合浓缩串流会输入至画面时间戳调整单元230，因为视频框之间的解码相依性，同一图像来源的I画面与P画面必须连续，故在此实施例中，需要通过调整时间戳的手段来让同一来源且具有解码相依的画面连续输出。由图6的示意图可以注意到，复合浓缩串流内的每张画面会伴随时间戳的处理，而输出的复合浓缩串流其画面的排列已经与在原始各个来源串流内容中的时序不相同(举例来说，复合浓缩串流内画面(frame)的时间戳顺序是1-1、1-2、1-3、3-82，但在原始的来源串流内容之中，由时间的先后顺序来看，时间戳3-82出现的时序是在时间戳1-3之前)，因此复合浓缩串流内的时间戳有可能不是以单调递增地(monotonicallyincreasing)方式增加。而随着每个时间单位(timeunit)内与用户端播放器150带宽的变化，送出的复合浓缩串流内容数据量也有所变化(如图6右下所示)。
而在此系统的某些实施例中，受限于用户端播放器150的能力的限制(例如，显示分割视窗或解码单元资源的限制)，在用户端播放器150播放时必须以单一解码单元及同一个显示视窗轮流切换播放源自不同来源串流内容所形成的复合浓缩串流。因此，在这些实施例中，非循序递增的时间戳会造成用户端播放器150每张画面播放时间的混乱。故在这些实施例中，会通过画面时间戳调整单元230调整复合浓缩串流中各个画面的时间戳，使得这些实施例中的用户端播放器150能够以正确且平顺的时序来播放复合浓缩串流内的各个画面，在此包含调整播放的画面顺序使得同一来源的内容能连续地播放。
另外在一些实施例中，可以进一步通过画面时间戳调整单元230调整画面与画面间时间戳的间隔，达到改变某些画面或是图像片段在播放时更新间隔的效果，用以改变呈现某些较重要或较不重要的内容的效果。
具体但不局限地举例来说，以采用实时传输协议(Real-timeTransportProtocol，RTP)传输H.264图像为例，实时传输协议标头中时间戳的栏位(又称之为“字段”)的单位为1/90000，也就是每增加1秒钟会增加90000个单位。当检测到特定事件时，串流内容分析单元210输出该事件邻近的关键画面以及后续2张画面。如果原串流内容为每秒15张画面(即每张画面时间戳间隔为6000)。在某些实施例中，能通过调整时间戳间隔为15000，将原本播放时间从3/15＝1/5秒延长为15000×3/90000＝1/2秒，增加对某些特定重要事件或内容呈现时的比重。在某些实施例中，依照用户端播放器的能力与限制，如果是用户端播放器具有同时多路图像解码与显示的能力，那么各自的串流内容可以被视为各自独立的串流并且各自地被播放，此时画面时间戳调整单元230仅会调整时间戳的间隔以达到特定事件的呈现效果。
在复合浓缩串流调整前后的时间戳，会被记录在画面时间戳调整表280中，作为后续图像时间戳调整的依据。具体但不局限地举例来说，画面时间戳调整表280记录的内容可以包括各个来源串流内容当前输入的时间戳、时间戳刻度(Scale)以及复合浓缩串流所使用的时间戳。附表三列出了一个实施例中画面时间戳调整表所记载的内容，其中的栏位记录了每个浓缩串流中的每个来源在输出时，时间戳的转换对应以及换算刻度，作为后续时间戳转换时参照使用。其中浓缩串流识别码是当一用户端要求一复合浓缩串流时(即每建立一单一会话时)所产生，不同的用户端即使要求同样的串流群组内容，也可能会产生不同的浓缩串流识别码。举例来说，可以使用MD5哈希法对浓缩串流资源标识符(URI)(亦即复合浓缩串流的群组)、收看时间或收看会话连线进行哈希计算以产生一独特识别符号，并存储此一符号以供后续对应与查询。由于用户端的发出请求的时间、带宽、装置能力，或对于复合浓缩串流中所感兴趣的事件类别及其权重可能有所差异，输出的时间戳与时间戳刻度也会有所差异。
表三
含有各个来自不同来来源串流内容的复合浓缩串流，最后会送到串流数据输出单元240，将所有来自不同来源的内容混合并使用同一个会话连线(singlesession)来传送。因此，对于用户端播放器150来说，自始至终只有建立一个会话连线来接收复合浓缩串流来接收复合浓缩串流。具体举例但不局限地来说，浓缩串流单元100提供用户端播放器150关于复合浓缩串流的地址与连线方式，可以是一个完整的实时串流协议资源识别符(RealTimeStreamingProtocolUniformResourceIdentifier，RTSPURI)，如rtsp://11.22.33.44:554/condensed_stream_123来取得属于某个名称为123的群组的浓缩串流，或是如rtsp://11.22.33.44:554/condensed_stream？codec＝h264&format＝D1&gis＝XYZ来取得具有codec为H.264、图像大小为D1且拍摄地理位置于XYZ等属性的串流内容的浓缩串流。对于某些实施例中浓缩串流单元耦接于多个串流服务器时，也可以加上服务器的识别信息来指定欲接收的复合浓缩串流是否源自某个特定的服务器。举例来说，rtsp://11.22.33.44:554/condensed_stream？codec＝h264&server＝ignore可以用来取得所有codec具有h264属性的内容所产生的复合浓缩串流且忽略该内容所来自的服务器；而rtsp://11.22.33.44:554/condensed_stream？codec＝h264&server＝serverl则是取得源自服务器‘serverl’且codec具有h264属性的复合浓缩串流。
在某些实施例中，串流数据输出单元240在传送复合浓缩串流时，会在不同来源串流内容的画面或图像片段的分组，夹带用于识别该画面或图像片段源自来源的识别标签295，用以提供用户端播放器150知悉某个特别内容所对应的原始数据内容。识别标签295在此指的是一独特的识别符号，用以对应与查询到一串流内容。举例来说，可以使用MD5哈希法对各个内容的原始资源标识符(URI)、拍摄时间或拍摄者进行哈希计算以产生一独特识别符号，并存储此一符号以供后续对应与查询。
在另外某些实施例中，串流数据输出单元240在传送复合浓缩串流时，也可能夹带用以宣告目前所有被浓缩的来源串流内容的内容列表295(TableofCondenseds)，用以让用户端播放器150了解目前接收的复合浓缩串流包含有哪些不同的来源串流。内容列表295可包含浓缩串流识别码、群组识别码及分群类别，如编码属性(如编码格式、画面帧率(framerate)或是图像格式)、语义属性(如地理位置、拍摄事件或拍摄者组织编制或社群关系与群组)、或静态属性(如预设的特定分群)，以及群组内各个来源串流个别属性(如压缩设定、地理坐标、影音内容的权限组织、内容描述、作者、内容串流所源自的服务器或是其他的属性)。在另外一些实施例中，内容列表295还可包括如表一所示的串流分析单元210所使用的事件分析权重(weightingfactor)，以及如表二所示的事件分析的结果列表(如事件类型与其权重)。具体但不局限地举例来说，识别标签与内容列表可以实时传输协议标头文件扩展栏位(RTPHeaderExtension)与实时传输控制协议(Real-timeTransportControlProtocol，RTCP)分组来传送，其中不同的来源串流会有各自独立的识别码作为识别标签，举例来说，可以使用MD5哈希法产生一独特识别符号。而内容列表的传送频率可以是定时或是当来源内容有变化(新增、离开或是事件更新)时传送。更进一步举例说明，前述的附带在延伸栏位的识别标签，可以用来作为内容列表查询时的索引，使的用户端播放器在收到复合浓缩串流中每个可能源自不同串流内容的数据时，可以用识别标签识别原始的串流内容并且在内容列表中进行查询。
用户端要求处理器260则是一个用来接收来自用户端播放器150要求的处理模块。在用户端播放器150接收复合浓缩串流并播放时，可以解析出由串流数据输出单元240所夹带用来识别内容来源的识别标签或是内容列表。如果是使用者对某个来源串流内容的画面或图像片段有兴趣，用户端播放器150可以通过与该来源串流相关连的识别标签或内容列表向用户端要求处理器260送出针对某个来源串流内容的请求。
当用户端要求处理器260收到这样的请求，可以以用户端播放器所使用的识别标签或内容列表向串流数据输出单元240与识别标签及内容列表295进行对应与查询(mappingandquery)，并得知使用者于用户端播放器150所请求的串流为哪一个输入来源(通过查询串流输入表270)。在某些实施例中，来自用户端播放器150的请求可以是改变某个来源串流内容的重要性权重。在此实施例下，可以永久或是暂时性地改变串流内容分析单元210在计算重要性分数指标时的权重，使得输出的复合浓缩串流能够永久性或暂时性地提升(或降低)来自某个来源串流内容的比例。
在另外一些实施例中，也可以要求串流内容分析单元210永久性或暂时性地提升(或降低)针对某种特殊事件分析时，计算重要性分数指标的权重。
在另一些实施例中，来自用户端播放器150的请求也可以直接通过串流数据输入单元220向串流服务器110要求一个原始的来源串流内容。图7是显示一依据本发明实施例用户端播放器150通过浓缩串流单元100向串流服务器110询问并直接取得某一来源串流内容的系统架构的示意图。在这种实施例下，用户端播放器150可以通过一会话请求190(requestsession)，直接要求收看一个源自串流服务器110且未经过浓缩处理的来源串流内容。而串流服务器110接收到此会话请求190后，便会传送所请求的来源串流内容195至用户端播放器150播放。
如图7所示，浓缩串流单元100在上述方式运作并提供复合浓缩串流给用户端播放器150接收的过程中，串流数据输入单元220通过检查输入的串流内容群组I140及串流内容群组II140，能够动态地响应来自串流服务器110新增或离开的来源串流内容，更新串流输入表270、内容重要性分数表275与画面时间戳调整表280以将新增的来源串流内容新增至复合浓缩串流中(或将离开的来源串流内容自复合浓缩串流移除)。串流数据输出单元240也会依照新增或删减后的串流输入表270更新在复合浓缩串流中所夹带的识别标签及内容列表295。通过识别标签及内容列表295持续地更新，用户端播放器150可以通过解析识别标签及内容列表295的内容了解当前被浓缩于复合浓缩串流的来源串流内容以及这些来源串流内容的新增删减等变化。
此外，具有串流传输相关领域的技术人员应可容易了解的是，在接收复合浓缩串流时，来自不同的用户端播放器150所建立的连线，会有不同的服务质量控制器250检测结果；不同的用户端播放器150也会依照各个使用者需求的不同送出不同的复合浓缩串流要求160。因此，以上述的架构应该可以得知，即便是要求接收以同一个串流内容群组所产生的复合浓缩串流165，也会因为不同的服务质量控制器250结果与不同的复合浓缩串流要求160，使得每一用户端播放器150收到的复合浓缩串流165都会有不同的浓缩后数据量与内容浓缩组成的比例。
另外，用户端播放器150可以通过对复合浓缩串流内的某些特定内容提出一用户端请求170，表示希望能够接收对应该来源的原始且未经处理的来源串流内容。浓缩串流单元100依照用户端播放器150所请求的用户端请求170，向串流服务器110传送一来源询问175，用以询问该来源串流内容的来源。串流服务器110在接收浓缩串流单元100的来源询问175后，会回传一回应讯息180用以答复浓缩串流单元100所询问的来源内容所要用来建立串流传输所在的地址与连线方式。最后，浓缩串流单元100再将串流服务器110回复的回应讯息180回传给用户端播放器150。
[串流服务器]
图8是显示一依据本发明实施例的串流服务器110的架构图。如图7所示，串流服务器110包括一来源内容输入单元410、一内容分群单元420、一内容群组传送单元430、一直接串流单元440、一编码格式分析单元450、一语义群组分析单元455、一静态群组列表460以及一群组记录列表465。
首先，各种不同的来源串流内容，包含实时发布的实时来源串流内容120以及已存储于某些存储介质用以串流传输的已存储来源串流内容130会输入至串流服务器110中的来源内容输入单元410。直接串流单元440可以接受用户端播放器150串流连线请求(connectionrequest)，并将来源内容输入单元410接收到的串流内容传送至用户端播放器150。
在上述已知的串流服务器其设计之外，在本发明中，当各个来源串流内容输入至来源内容输入单元410后，会被传送至一内容分群单元420。内容分群单元420会依照内容分析的结果将输入的来源串流内容分类。在某些实施例中，内容分群单元420可以使用一编码格式分析单元450依照串流内容所使用编码格式、画面帧率(framerate)或是图像格式等属性进行分类。在另外一些实施例中，也有可能使用一语义群组分析单元455，依照来源串流内容在意义描述上的属性进行分类。具体但不局限地来说，可以使用地理位置、拍摄事件或拍摄者组织编制或社群关系与群组等高阶意义上等属性进行分群。在另外一些实施例中，也可以使用一静态群组列表460，依照静态定义的分类方式对各个输入来源进行分类，例如预设某些来源识别码为特定群组或是某些网络地址的来源为特定群组。
依照内容分群单元420分群的结果，各个输入的来源串流会在内容群组传送单元430以分群的结果以串流内容群组140的方式送到浓缩串流单元100中并对每个串流内容群组140中的串流内容产生一复合浓缩串流。当前各输入来源串流所属的串流内容群组140的数据，会被记录在群组记录列表465中。具体的举例来说，群组记录列表的内容包含了各个内容它所属的分类群组(例，内容A属于群组123)；或是在另外一些实施例中会是各个内容它所具有的类别属性(例，内容B在编码器的类别为H.264而在地理位置的属性则位于XYZ区域)。另外，群组记录列表465还包含了每个内容送往浓缩串流单元时，所要使用的端口号或是代表某一群组或类别属性的识别标签。更具体地举例来说，在某些实施例可以使用一些特定的传输端口号(port)来传送某个群组的内容(例，使用port5556～5560来传送属于群组123的串流内容)；又或者另外一些实施例可以使用一些独特的属性标签附加在传送到浓缩串流单元的内容中的栏位(例，为具有编码器为H.264属性的内容在传送时加上”h264”的标签)。在一些实施例中，还可以加上带有服务器本身名称的属性信息，用来让浓缩串流单元耦接多个串流服务器时能够辨识各个群组所来自的串流服务器。
在另外一些实施例中，群组记录列表465还可以包含分群结果中各群组或类别代表或所依据的属性。举例来说，如编码属性(如编码格式、画面帧率(framerate)或是图像格式)、语义属性(如地理位置、拍摄事件或拍摄者组织编制或社群关系与群组)、或静态属性(如预设的特定分群)，以及群组内各个来源串流个别属性(如压缩设定、地理坐标、影音内容的权限组织、内容描述、作者或是其他的属性)与串流内容地址(如实时串流协议资源识别符(RTSPURI))。
而在此提及的以分群结果传送至浓缩串流单元的方式，举例但不局限地来说，串流内容群组140的传送方式可以是定时传送记录于群组列表465的结果，使浓缩串流单元100了解串流内容群组140内各个来源所属的群组或类别等信息，也可以是为属于同一群组的串流内容加上共同的识别标签，或是通过不同的传输端口(port)来传送不同群组的串流内容。具体以采用实时传输协议(RTP)的实施例举例来说，传送串流内容的群组的群组列表或群组识别信息的方式，可通过实时传输协议标头文件扩展栏位(RTPHeaderExtension)来附加识别标签与实时传输控制协议(Real-timeTransportControlProtocol，RTCP)分组来传送群组列表。在此的识别标签可以使用具有代表意义的识别字符，也可以是一些独特的特殊编码字符，如MD5哈希编码。
在分组的过程中，如果是此时在串流服务器110有新增加的来源串流内容，会自动依照前面所述的方法，在内容分群单元420分析内容决定该新增来源串流内容所属的群组。再通过内容群组传送单元430通知串流服务器110中的串流数据输入单元220有新增的来源串流内容，更新串流输入表270并与该所属群组中的其他内容一起送至浓缩串流单元100以产生更新后的复合浓缩串流。
类似的状况，如果是在过程之中，有来源串流内容停止发送或是离开原本所在群组，则也会通过内容群组传送单元430通知浓缩串流单元100中的串流数据输入单元220需将某个输入来源串流内容自串流输入表270中移除。举例但不局限地来说，可以通过更新群组列表或是带有特殊命令的分组来通知串流数据输入单元220某个来源串流的离开。
在某些实施例中，同一个来源的串流内容，也可以同时属于多个分类的串流内容群组140。更具体地来说，串流服务器110在这种实施例可以只传送一份来源串流内容至浓缩串流单元100，但多个群组列表中皆包含此一来源串流内容。但在另外一些实施例中，也可以在所属的每个串流内容群组140，皆传送一份来源串流内容至浓缩串流单元100，例如通过不同的传输端口(port)建立连线来为不同群组传送同一串流内容；或是以不同的来源识别标签同时附加于一串流内容作为识别区隔。
[用户端播放器]
图9是显示一依据本发明实施例的用户端播放器150的架构图。此用户端播放器150包括一串流数据接收单元510、一复合浓缩串流解析单元520、至少一图像解码单元530、一图像呈现单元540。此用户端播放器150可为一可携式的移动装置。
用户端播放器150分为两部分，一部分是先通过串流数据接收单元510自串流服务器110的直接串流单元440接收个别的来源串流内容195，再通过一图像解码单元530解码之后以一单一区域图像呈现单元(SingleAreaVideoRenderingUnit)550以单一视窗将画面呈现出来。已知的用户端播放器的功能即为此部分的设计。
在本发明中，除了已知用户端播放器的设计之外的另一部分，当串流数据接收单元510接收到来自浓缩串流单元100送来的复合浓缩串流165时，具体来说，通过实时串流协议资源识别符(RealTimeStreamingProtocolUniformResourceIdentifier，RTSPURI)，如如rtsp://11.22.33.44:554/condensed_stream_123来取得属于某个名称为123的群组的浓缩串流，或是如rtsp://11.22.33.44:554/condensed_stream？codec＝h264&format＝D1&gis＝XYZ来取得具有codec为H.264、图像大小为D1且拍摄地理位置于XYZ等属性的串流内容的浓缩串流。复合浓缩串流则会送到复合浓缩串流解析单元520。在复合浓缩串流解析单元520中，原本浓缩在复合浓缩串流165里的各个来源串流内容与这些内容相关连的识别标签或内容列表会分别被解析出来。识别标签是让用户端播放器对复合浓缩串流中的各个不同内容能够进行区分与识别。内容列表可包含群组识别码及分群类别，如编码属性(如编码格式、画面帧率(framerate)或是图像格式)、语义属性(如地理位置、拍摄事件或拍摄者组织编制或社群关系与群组)、或静态属性(如预设的特定分群)，以及各个来源串流个别属性(如压缩设定、地理坐标、影音内容的权限组织、内容描述、作者、内容串流所源自的服务器或是其他的属性)。在另外一些实施例中，内容列表295还可包括如表一所示的串流分析单元210所使用的事件分析权重(weightingfactor)，以及如表二所示的事件分析的结果列表(如事件类型与其权重)。进一步举例来说，当用户端播放器取得识别标签后，便能够进一步在内容列表中查询该串流内容的群组、类别属性与事件分析结果。更具体但不局限地举例来说，识别标签与内容列表可以实时传输协议标头文件扩展栏位(RTPHeaderExtension)与实时传输控制协议(Real-timeTransportControlProtocol，RTCP)分组来传送。
解析出来的来源串流内容，会分别被送至一个或多个的图像解码单元530进行来源串流内容的解码。在某一些实施例中，解析出来的串流内容群组，会分别送至各自分配的图像解码单元530进行内容解码。解码出来不同来源串流内容的图像将会各自在多分割区域图像(Multiple-dividedAreaVideoRenderingUnit)呈现单元555中不同的分割视窗中呈现。更具体但不局限地来说，这种实施例的分割视窗可以是将一个图形使用者介面(GraphicalUserInterface，GUI)的视窗进行分隔以同时呈现多个不同的图像。
在另外一些实施例中，可能因为受限于用户端播放器150装置的限制，解析出来的来源串流内容群组，会统一由单一图像解码单元530来进行图像解码。
在另外一些实施例中，因为受限于单一区域图像呈现单元550及多分割区域图像呈现单元555的能力，解码后得到的图像则会依照复合浓缩串流中的时间戳，也就是浓缩串流单元100中的画面时间戳调整单元230所调整过的时间戳，在单一视窗的单一区域图像呈现单元550内轮流播放。在此实施中，各个输入来源串流内容的呈现方式会像是播放单一图像串流，但是来自各个不同串流内容的画面会以不断切换轮流播放的方式来呈现。
在某一些实施例中，在图像播放呈现时，可以伴随显示解析出的识别标签，让使用者可以知悉当前显示的各个画面所属的来源串流。在另外一些实施例中，解析出的内容列表可以用一般用户容易阅读的格式，呈现给使用者让使用者了解当前在复合浓缩串流中所出现的来源。在另外一些实施例中，所呈现给使用者的内容列表以及识别标签可以作为后续所送出对于来源串流内容的要求的输入数据。
内容请求处理单元540可以取得在复合浓缩串流解析单元520所拆解出来包含在复合浓缩串流中传送的识别标签或内容列表。通过解析的识别标签或内容列表，使用者可以依照其兴趣或需求向浓缩串流单元100中的用户端要求处理器260以识别标签或内容列表中项目所对应的输入来源串流进行一复合浓缩串流的请求160。更进一步说明，因为浓缩串流单元100为每个群组中的各个串流内容产生了识别标签与内容列表(用户端解析取得的识别标签与内容列表就是从浓缩串流单元传送过来)，故通过识别标签或内容列表的项目即可针对某一来源串流进行请求。在一种实施例中是要求对应的输入来源串流在串流内容分析单元210进行分析时有较高或较低的分数指标的权重，进而增加或减少该来源串流在复合浓缩串流之中所占的比例。
在另一种实施例中，也可以要求在事件分析时，调整某些事件在计算分数指标时的权重，进而改变某些特定事件在复合浓缩串流中所占的比例。
又在另一种实施例中，则可以是通过浓缩串流单元100向串流服务器110要求传送识别标签所对应所输入原始的来源串流内容至串流数据接收单元510并直接于用户端播放器150中进行接收与播放。
当在浓缩串流单元100中有来源串流内容被新加入或移除，串流数据接收单元510会通过更新识别标签或内容列表的方式来告知复合浓缩串流中所包含的来源串流内容有所更动。当复合浓缩串流解析单元520收到这样的更新变动时，便能够依照识别标签或内容列表所显示的变动，动态地调整用户端播放器150的资源分配。具体但不局限的一个实施例中，用户端播放器150可以在发现有新增输入来源串流时，在资源许可的前提下增加图像解码单元530，并于多分割区域图像呈现单元555中分配额外的多分割视窗以呈现新加入的来源串流内容；如果是发现有来源串流内容自串流内容群组中被移除，则可以释放原本指派去解码与呈现该来源串流内容的资源。
B.流程与方法说明
[串流服务器、浓缩串流单元与用户端播放器连线流程I]
图10是显示一依据本发明实施例的串流服务器、浓缩串流单元与用户端播放器的连线流程图，并请参考图2。首先，在步骤S610中，串流服务器110首先会将属于同一个群组的来源串流内容，以群组为单位传送至浓缩串流单元100中。接着，在步骤S620中，用户端播放器150可通过向浓缩串流单元100传送一复合浓缩串流的请求，用以要求某个串流内容群组的复合浓缩串流。
如果是用户端播放器150所要求的串流内容群组是存在且有效的，在步骤S630中，浓缩串流单元100则将该串流内容群组的复合浓缩串流传送至用户端播放器150。
用户端播放器150在接收并播放复合浓缩串流的同时，在步骤S640中，用户端播放器150可以通过对复合浓缩串流内某些特定的来源串流内容提出要求，依照使用者对来源串流内容的兴趣，要求提升或降低该来源串流内容在复合浓缩串流中的比例。在另外一些实施例中，要求也可是调整对于某些事件在复合浓缩串流内容中所占的比例。
[串流服务器、浓缩串流单元与用户端播放器连线流程II]
图11是显示一依据本发明实施例的串流服务器、浓缩串流单元与用户端播放器的连线流程图，并请参考图2。首先，在步骤S610中，串流服务器110会将属于同一个群组的来源串流内容，以群组为单位传送至浓缩串流单元100。接着，在步骤S620中，用户端播放器150可通过向浓缩串流单元100传送一复合浓缩串流的请求，用以要求某个串流内容群组的复合浓缩串流。
如果是用户端播放器150所要求的串流内容群组是存在且有效的，在步骤S630中，浓缩串流单元100则将该串流内容群组的复合浓缩串流传送至用户端播放器150。
用户端播放器150在接收并播放复合浓缩串流的同时，在步骤S640中，用户端播放器150可以通过对复合浓缩串流内某些特定的来源串流内容提出一用户端要求170，表示希望能够接收对应该来源串流内容原始且未经浓缩处理的来源串流内容。
浓缩串流单元100依照用户端播放器150所请求的来源串流内容，在步骤S650中，向串流服务器110传送一来源询问175，用以询问该来源串流内容。
串流服务器110在接收浓缩串流单元100的来源询问175后，在步骤S660中，串流服务器110回复浓缩串流单元100一回应讯息180，用以回复所询问的来源串流内容所要用来建立串流传输所在的地址与连线方式。具体举例但不局限地来说，地址与连线方式可以是一个完整的实时串流协议资源识别符(RealTimeStreamingProtocolUniformResourceIdentifier，RTSPURI)，如rtsp://123.4.5.6:554/live_source。
在步骤S670中，浓缩串流单元100将串流服务器110在步骤S660中所回复的回应讯息180回传给用户端播放器150。
用户端播放器150在收到浓缩串流单元100回复的回应讯息180后，在步骤S680中，依照回应讯息180内容中所指定的地址与连线方式直接向串流服务器110要求来源串流内容的一会话请求190。
串流服务器110检查来源串流内容的连线要求，如果是成功，在步骤S690中，则建立串流内容的会话连线并开始传输所要求的来源串流内容195至用户端播放器150。
[串流服务器将串流内容来源进行分群以及传送的方法]
图12是显示一依据本发明实施例的在串流服务器110中将输入的来源串流内容分群并传送的流程图，并请参考图8。首先，在步骤S810中，串流服务器110中的来源内容输入单元410接收已存储的来源串流内容130与实时发布的来源串流内容120。接着，在步骤S870中，串流服务器110判断接收的来源串流内容是否有新增的来源串流内容。
如果有发现新增的内容(步骤S870中的“是”)，在步骤S820中，内容分群单元420分析检查新增的来源串流内容所属的串流内容群组。在此依照实施例的不同可能会使用分析编码的设定或是图像格式的方法(步骤S850)、依照诠释数据(metadata)所提供语义的分析方法(步骤S855)或是静态的分组列表(步骤S860)作为依据。在步骤S880中，而分析的结果会被更新至群组记录列表465中。
如果没有发现新增的来源串流内容(步骤870中的“否”)，在步骤875中，则内容分群单元420会判断输入的来源串流内容是否有来源串流离开或已停止发送来源串流。如果发现输入的来源串流内容有来源串流离开或已停止发送来源串流(步骤875中的“是”)，在步骤880中，该来源串流内容也会自群组记录列表465中移除。最后，在步骤830中，依照群组记录列表465的群组信息，内容分群单元420会将各来源串流内容以群组的方式传送至内容群组传送单元430，再由内容群组传送单元430传送至浓缩串流单元100中。
如果没有发现输入的来源串流内容有来源串流内容离开或已停止发送来源串流内容(步骤875中的“否”)，在步骤830中，则直接依照群组记录列表465的群组信息，内容分群单元420会将各来源串流内容以群组的方式传送至内容群组传送单元430，再由内容群组传送单元430传送至浓缩串流单元100中。
另外，来源串流内容在步骤S810被收到时，在步骤S840中，串流服务器110也可直接以串流的方式传送原始的来源串流内容至用户端播放器150。在步骤S845中，浓缩串流单元100可向串流服务器110传送一用户端要求170，询问某来源串流内容的取得方式或取得在步骤S840中所使用的来源串流内容地址，并且串流服务器110将得到的取得方式与地址回复给浓缩串流单元100。
[浓缩串流单元执行产生复合浓缩串流的流程与方法]
图13A～图13B是显示一依据本发明实施例的在浓缩串流单元100中产生复合浓缩串流的方法流程图，并请参考图4。
首先，在步骤S710中，浓缩串流单元100中的串流数据输入单元220会接收经由串流服务器110分群完成并以群组传送的串流内容群组。接着，在步骤S715中，串流数据输入单元220将接收到的串流内容群组更新至串流输入表270中(步骤S760)。
在步骤S720中，串流内容分析单元210会对串流内容群组中的各个来源串流内容进行内容的分析。在不同的实施例中，举例但不局限地来说，分析的方法可以是检测画面变动、物件检测、脸孔检测或车牌检测等事件。分析的方式也可以是在没有特殊事件时，以累积的数据量或是时间的间隔作为分析的方式。依照分析到的事件与内容，各个来源的内容会分析出一个重要性分数指标，并存储到内容重要性分数表275(步骤S765)作持续的追踪统计。
如果某个来源的内容的重要性分数指标满足某个条件时，便会被选为输出至复合浓缩串流。在某些实施例中，关键画面序列产生单元290在步骤S755中会判断被选择输出代表该内容的画面是否需重新产生为一关键画面。如果需重新产生关键画面(步骤S755中的“是”)，在步骤S725中，则将该内容画面重新以关键画面的方式与(或)其接续的片段输出至复合浓缩串流。
在另外一些实施例中，也可以不需要经过关键画面序列产生单元290的检查，直接以该内容画面邻近的关键画面与(或)其接续的片段输出至复合浓缩串流。
在步骤S730中，画面时间戳调整单元230将被选择的复合浓缩串流，对可能已经被调整过时序或源自各个不同来源的内容画面进行时间戳的调整，用以让某些实施例中的一用户端播放器150能够以浓缩串流单元100预期的方式播放。在步骤S770中，画面时间戳调整单元230并将时间戳记录于一画面时间戳调整表280中。
在某些实施例中，在步骤S730中，也可以通过画面时间戳调整单元230调整某些来源串流内容在最后播放时所呈现时间的长度与比例。
接着，在步骤S735中，串流数据输出单元240会在调整时间戳完成的复合浓缩串流中加入用来识别各个来源串流内容的识别标签或内容列表，并传送到用户端播放器150中，所使用的识别标签或内容列表会被记录在识别标签或内容列表(步骤S775)中。
另外，在步骤S740中，服务质量控制器250会检测统计网络状况与用户端播放器150的缓冲区满溢程度来控制步骤S720中串流内容分析单元210在进行数据浓缩时的比例以控制最终输出的复合浓缩串流的数据量。
再者，在步骤S745中，浓缩串流单元100中的用户端要求处理器260接收用户端播放器150对于某个来源串流内容的要求。当用户端要求处理器260接收到一用户端要求170时，会去以用户端要求170中所指出的识别标签或内容列表去查询识别标签或内容列表(步骤S775)及比对串流输入表270(步骤S760)，以得到用户端播放器150所要求来源串流内容的数据。
在某些实施例中，串流内容分析单元210会直接依照用户端要求的内容，提升或降低在步骤S720中该来源串流内容的内容分析时，其内容重要性分数指标的权重或是满足条件，以暂时或永久地改变该来源串流内容在复合浓缩串流中所占的比例。
在另外一些实施例中，串流内容分析单元210也可以依照用户端要求，提升或降低在步骤S720中某些特定事件内容分析时，所使用的重要性分数指标的权重，以暂时或永久地改变某些事件在复合浓缩串流中所占的比例。
在另外一些实施例中，用户端要求处理器260会依照查询识别标签或内容列表(步骤S775)及比对串流输入表270(步骤S760)得到的来源内容数据，在步骤S750中，串流数据输入单元220会向串流服务器110传送一来源询问，询问是否可以供用户端播放器150直接取得该来源串流内容地址与取得方式，以及接收串流服务器110所传回的回应讯息。传回的回应讯息可以再通过步骤S745之后的流程回复给收用户端播放器150知道。
[用户端播放器接收、处理及播放复合浓缩串流的流程与方法]
图14A～图14B是显示一依据本发明实施例的在用户端播放器150中接收、处理及播放复合浓缩串流的方法流程图，并请参考图9。
首先，在步骤S910中，用户端播放器150中的串流数据接收单元510能够自串流服务器110直接接收来源串流内容的数据，也可以接收来自浓缩串流单元100的复合浓缩串流。
在步骤S960中，串流数据接收单元510收到的串流数据后会先判断是否为复合浓缩串流。如果不是复合浓缩串流(步骤S960中的“否”)，在步骤S915中，图像解码单元530会进行串流数据解码。最后，在步骤S920中，图像呈现单元550将数据在一图像呈现区中以单一视窗呈现。
如果串流数据为复合浓缩串流(步骤S960中的“是”)，在步骤S930中，复合浓缩串流解析单元520会先将复合浓缩串流中的各个来源串流内容以及所伴随用来识别用的识别标签或内容列表拆解取出。
拆解取出的各个来源串流内容后，在步骤S965中，复合浓缩串流解析单元520判断用户端播放器150是否可提供多组解码。在某些实施例中，如果是用户端播放器150因为资源限制无法提供多组解码器，在步骤S935中，则使用单一的图像解码单元530进行数据解码。在另外一些实施例中，如果是用户端播放器150可以提供多组解码器，在步骤S945中，复合浓缩串流解析单元520则将各来源串流内容分别指派至各自的图像解码单元530进行数据解码。
接下来，在步骤S970中，图像解码单元530判断图像呈现单元是否支持多个视窗的图像呈现显示。在某些实施例中，如果是用户端播放器150因为资源限制无法提供多个分割的图像视窗来呈现画面，在步骤S940中，则将各个来源串流内容依照复合浓缩串流所标注的时间戳顺序轮流在图像呈现单元的单一视窗中显示呈现图像。在另外一些实施例中，如果是用户端播放器150可以提供多个分割视窗来呈现图像画面，在步骤S950中，则分别将不同来源串流内容在各自不同的分割视窗中呈现显示图像。
如果是用户端播放器150的使用者对特定某个或某些来源的内容感到兴趣，可将感兴趣的来源所关连的、存在于的识别标签或内容列表(步骤S980)，经由步骤S955，将对于该来源串流内容的要求送至浓缩串流单元100。
对于来源内容的要求，在某些实施例中，可以要求增加或减少(暂时性地或永久性地)某个来源串流内容在复合浓缩串流中所占的比例。
在另外一些实施例中，可以要求增加或减少(暂时性地或永久性地)某些事件在复合浓缩串流中所占的比例。
在这些实施例的方式，能够减少重新建立新的连线会话所耗费的时间与资源。
在另外一些实施例中，用户端播放器150可以直接传送一来源询问175，要求浓缩串流单元100询问是否可以取得关于某一原始的来源串流内容。如果浓缩串流单元100可以取得关于某一原始的来源串流内容，在步骤S955中，则可接收到所询问到关于某一来源的原始串流内容的取得与连接方式(举例但不局限地来说，像是实时串流协议的资源识别符(RTSPUR)))。在步骤S910中，并于用户端播放器150中进行该原始串流内容的连接与数据接收。在这样的实施例可以让用户端播放器150能有未被浓缩修改的来源串流内容以保有所有完整的原始数据。
需注意的是，虽然本发明的前述串流服务器、浓缩串流单元及用户端播放器为该系统的单独组件，但此等组件可被整合至一起，因而降低系统内的组件数。同理，一或以上的组件可被分开使用，因而增加系统内的组件数。
因此，通过本发明的产生复合浓缩串流的方法与系统，可将多个来源串流内容，动态地依照内容事件或是使用者的兴趣将内容数据浓缩并混合于单一会话(singlesession)中传送。在传送的过程中也会依据接收端装置的能力与网络状况，改变浓缩的程度与比例以符合各接收端不同需求。用户端播放器接收到浓缩串流后会依照其能力能有不同的呈现方式与串流内容调整的手段。此外，通过本发明的系统与方法，还可达到许多优点：(1)缩短使用者同时收看多个串流内容的等待时间并提供全局频道重点预览。(2)服务器自动且动态地依据接收端装置能力与网络状况调整浓缩串流的内容，改善使用者收视观感。(3)使用者以较少的带宽就可以同时收看多个内容，并依据接收到的浓缩串流，提供适当的呈现方式。结合上述的优点，本发明应用于网络串流应用可提供更佳的收视效果。
无需任何图腾及对应的尺规，即可估算出图像的实际尺寸并实时于显示屏幕上显示以完成扩增实境的效果。
虽然本发明已以优选实施例揭露如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视所附权利要求书所界定者为准。

Claims (36)

1.一种浓缩串流单元，耦接于一串流服务器及一用户端播放器，包括：
一串流数据输入单元，用以接收该串流服务器所传送的多个串流内容群组，以及将该多个串流内容群组的来源串流内容记录至一串流输入表中；
一串流内容分析单元，用以接收该串流数据输入单元所传送的该多个串流内容群组，对该多个串流内容群组进行一数据内容分析与一重要性分数指标分析并输出一复合浓缩串流，其中该串流内容分析单元存储该数据内容分析及该重要性分数指标分析至一内容重要性分数表中；
一画面时间戳调整单元，接收该串流内容分析单元所传送的该复合浓缩串流，并调整该复合浓缩串流中各个画面的时间戳，其中该时间戳记录于一画面时间戳调整表中；以及
一串流数据输出单元，接收由该画面时间戳调整单元所传送的该复合浓缩串流，并将该复合浓缩串流加入一识别标签或内容列表，以及传送该复合浓缩串流至该用户端播放器中播放。
2.如权利要求1所述的浓缩串流单元，还包括：
一服务质量控制器，用以检测网络带宽与该用户端播放器的缓冲区状态，并依照检测结果传送至该串流内容分析单元；以及
一用户端要求处理器，接收该用户端播放器所传送的一用户端要求，并通过该串流数据输入单元查询该串流输入表，再将该用户端要求所需的来源串流内容传送至该用户端播放器。
3.如权利要求1所述的浓缩串流单元，其中该串流内容分析单元还包括：
一关键画面序列产生单元，如果该串流内容分析单元所产生的该复合浓缩串流中的一代表内容画面不为一关键画面时，则该关键画面序列产生单元将该代表内容画面重新编码产生一新的关键画面。
4.如权利要求1所述的浓缩串流单元，其中该数据内容分析与该重要性分数指标分析通过检测该多个串流内容群组中事件类型、权重及加权因子判断该多个串流内容群组的重要性。
5.一种产生复合浓缩串流的系统，耦接于一用户端播放器，包括：
一串流服务器，包括：
一来源内容输入单元，以接收多个来源串流内容；
一内容分群单元，耦接于该来源内容输入单元，接收该来源内容输入单元所传送的该多个来源串流内容，并依一属性将该多个来源串流内容分为多个串流内容群组；以及
一内容群组传送单元，耦接于该内容分群单元，接收该内容分群单元所传送的该多个串流内容群组；以及
一浓缩串流单元，耦接于该串流服务器及该用户端播放器，包括：
一串流数据输入单元，用以接收该内容群组传送单元所传送的该多个串流内容群组，以及将该多个串流内容群组的来源串流内容记录至一串流输入表中；
一串流内容分析单元，用以接收该串流数据输入单元所传送的该多个串流内容群组，对该多个串流内容群组进行一数据内容分析与一重要性分数指标分析并输出一复合浓缩串流，其中该串流内容分析单元存储该数据内容分析及该重要性分数指标分析至一内容重要性分数表中；
一画面时间戳调整单元，接收该串流内容分析单元所传送的该复合浓缩串流，并调整该复合浓缩串流中各个画面的时间戳，其中该时间戳记录于一画面时间戳调整表中；以及
一串流数据输出单元，接收由该画面时间戳调整单元所传送的该复合浓缩串流，并将该复合浓缩串流加入一识别标签或内容列表，以及传送该复合浓缩串流至该用户端播放器中播放。
6.如权利要求5所述的产生复合浓缩串流的系统，其中该内容分群单元还包括：
一编码格式分析单元，用以对该多个来源串流内容依一编码格式、画面关键率或是图像格式的属性分类为该多个串流内容群组。
7.如权利要求5所述的产生复合浓缩串流的系统，其中该内容分群单元还包括：
一语义群组分析单元，用以对该多个来源串流内容依一数据内容含意的属性分类为该多个串流内容群组。
8.如权利要求5所述的产生复合浓缩串流的系统，其中该内容分群单元还包括：
一静态群组列表，用以对该多个来源串流内容依一静态定义分类为该多个串流内容群组。
9.如权利要求5所述的产生复合浓缩串流的系统，其中该串流服务器还包括：
一群组记录列表，耦接于该内容分群单元及该内容群组传送单元，用以记录该多个来源串流内容分别所属的该多个串流内容群组。
10.如权利要求5所述的产生复合浓缩串流的系统，其中该浓缩串流单元还包括：
一服务质量控制器，用以检测网络带宽与该用户端播放器的缓冲区状态，并依照检测结果传送至该串流内容分析单元；以及
一用户端要求处理器，接收该用户端播放器所传送的一用户端要求，并通过该串流数据输入单元查询该串流输入表，再将该用户端要求所需的来源串流内容传送至该用户端播放器。
11.如权利要求5所述的产生复合浓缩串流的系统，其中该串流内容分析单元还包括：
一关键画面序列产生单元，如果该串流内容分析单元所产生的该复合浓缩串流中的一代表内容画面不为一关键画面时，则该关键画面序列产生单元将该代表内容画面重新编码产生一新的关键画面。
12.如权利要求5所述的产生复合浓缩串流的系统，其中该数据内容分析与该重要性分数指标分析通过检测该多个串流内容群组中事件类型、权重及加权因子判断重要性。
13.一用户端播放器，耦接于一串流服务器及一浓缩串流单元，包括：
一串流数据接收单元，用以接收该浓缩串流单元所传送的一复合浓缩串流；
一复合浓缩串流解析单元，耦接于该串流接收器，用以接收该串流数据接收单元所传送的该复合浓缩串流，并由该复合浓缩串流中解析为多个来源串流内容；
至少一图像解码单元，用以接收该复合浓缩串流解析单元所解析出的该多个来源串流内容，并对该多个来源串流内容进行解码成多个图像；以及
一图像呈现单元，用以呈现该多个图像。
14.如权利要求13所述的用户端播放器，还包括：
一内容请求处理单元，用以取得该复合浓缩串流所包含的一识别标签或内容列表，接收一使用者所输入一用户端请求，并将该用户端请求传送至该浓缩串流单元。
15.如权利要求13所述的用户端播放器，其中该图像呈现单元依照该复合浓缩串流调整过的时间戳，以一单一视窗依序呈现该多个图像。
16.如权利要求13所述的用户端播放器，其中该图像呈现单元依照该复合浓缩串流调整过的时间戳，以多个分割视窗同时呈现多个图像。
17.如权利要求13所述的用户端播放器，其中该串流接收器更接收该串流服务器以一串流形式所传送的一来源串流，该用户端播放器还包括：
一图像解码单元，用以解码来自该串流服务器的该来源串流内容；
一单一区域画面图像呈现单元，用以显示该来源串流内容的该多个图像。
18.如权利要求13所述的用户端播放器，其中该用户端播放器为一移动装置。
19.一种提供与传送复合浓缩串流的方法，用于一浓缩串流单元中，其中该浓缩串流单元耦接于一串流服务器及一用户端播放器，包括：
接收该串流服务器所传送的多个串流内容群组；
将该多个串流内容群组的来源串流内容记录至一串流输入表中；
对该多个串流内容群组进行一数据内容分析与一重要性分数指标分析；
将该数据内容分析及该重要性分数指标分析存储至一内容重要性分数表中；
输出一复合浓缩串流；
调整该复合浓缩串流中各个画面的时间戳并记录该时间戳于一画面时间戳调整表中；
将一识别标签或内容列表加入该复合浓缩串流；以及
传送该复合浓缩串流至该用户端播放器中播放。
20.如权利要求19所述的提供与传送复合浓缩串流的方法，还包括：
检测网络带宽与该用户端播放器的缓冲区状态，并依照检测结果传送至该串流内容分析单元；
接收该用户端播放器所传送的一用户端要求；
通过查询该串流输入表，再将该用户端要求所需的来源串流内容传送至该用户端播放器。
21.如权利要求19所述的提供与传送复合浓缩串流的方法，还包括：
判断该复合浓缩串流中的一代表内容画面是否为一关键画面；以及
如果该代表内容画面不为该关键画面时，则将该代表内容画面重新编码产生一新的关键画面。
22.如权利要求19所述的提供与传送复合浓缩串流的方法，其中该数据内容分析与该重要性分数指标分析通过检测该多个串流内容群组中事件类型、权重及加权因子判断该多个串流内容群组的重要性。
23.一种提供与传送复合浓缩串流的方法，用于一提供与传送复合浓缩串流的系统中，其中该系统包括一串流服务器、一浓缩串流单元、一用户端播放器，包括：
接收多个来源串流内容；
依一属性将该多个来源串流内容分为多个串流内容群组；
将该多个串流内容群组的该多个来源串流内容记录至一串流输入表中；
对该多个串流内容群组进行一数据内容分析与一重要性分数指标分析；
将该数据内容分析及该重要性分数指标分析存储至一内容重要性分数表中；
输出一复合浓缩串流；
调整该复合浓缩串流中各个画面的时间戳并记录该时间戳于一画面时间戳调整表中；
将一识别标签或内容列表加入该复合浓缩串流；以及
传送该复合浓缩串流至该用户端播放器中播放。
24.如权利要求23所述的提供与传送复合浓缩串流的方法，其中该属性为一编码格式、画面关键率或是图像格式属性。
25.如权利要求23所述的提供与传送复合浓缩串流的方法，其中该属性为一数据内容含意属性。
26.如权利要求23所述的提供与传送复合浓缩串流的方法，其中该属性为一静态定义。
27.如权利要求23所述的提供与传送复合浓缩串流的方法，还包括记录该多个来源串流内容分别所属的该多个串流内容群组于一群组记录列表中。
28.如权利要求23所述的提供与传送复合浓缩串流的方法，还包括：
检测网络带宽与该用户端播放器150的缓冲区状态，并依照检测结果传送至该串流内容分析单元；
接收该用户端播放器所传送的一用户端要求；
通过查询该串流输入表，再将该用户端要求所需的来源串流内容传送至该用户端播放器。
29.如权利要求23所述的提供与传送复合浓缩串流的方法，还包括：
判断该复合浓缩串流中的一代表内容画面是否为一关键画面；以及
如果该代表内容画面不为该关键画面时，则将该代表内容画面重新编码产生一新的关键画面。
30.如权利要求23所述的提供与传送复合浓缩串流的方法，其中该数据内容分析与该重要性分数指标分析通过检测该多个串流内容群组中事件类型、权重及加权因子判断该多个串流内容群组的重要性。
31.一种播放复合浓缩串流的方法，用于一用户端播放器中，其中该用户端播放器耦接于一浓缩串流单元及一串流服务器，包括：
接收该浓缩串流单元所传送的一复合浓缩串流；
将该复合浓缩串流中解析为多个来源串流内容；
将该多个来源串流内容进行解码成多个图像；以及
呈现该多个图像。
32.如权利要求31所述的播放复合浓缩串流的方法，还包括
取得该复合浓缩串流所包含的一识别标签或内容列表；
接收一使用者所输入一内容来源请求；以及
传送该用户端请求至该浓缩串流单元。
33.如权利要求31所述的播放复合浓缩串流的方法，其中呈现该多个图像依照该复合浓缩串流调整过的时间戳，以一单一视窗依序呈现。
34.如权利要求31所述的播放复合浓缩串流的方法，其中呈现该多个图像依照该复合浓缩串流调整过的时间戳，以多个分割视窗同时呈现。
35.如权利要求31所述的播放复合浓缩串流的方法，如果该串流服务器以一串流形式所传送的一来源串流，则该方法还包括：
解码来自该串流服务器的该来源串流内容；以及
显示该来源串流内容的该多个图像。
36.如权利要求31所述的播放复合浓缩串流的方法，其中该用户端播放器为一移动装置。
CN201110451889.1A 2011-12-28 2011-12-29 提供与传送复合浓缩串流的方法以及系统 Active CN103188522B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW100149124 2011-12-28
TW100149124A TWI519147B (zh) 2011-12-28 2011-12-28 提供與傳送複合濃縮串流之方法以及系統

Publications (2)

Publication Number Publication Date
CN103188522A CN103188522A (zh) 2013-07-03
CN103188522B true CN103188522B (zh) 2016-03-02

Family

ID=48679438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110451889.1A Active CN103188522B (zh) 2011-12-28 2011-12-29 提供与传送复合浓缩串流的方法以及系统

Country Status (3)

Country Link
US (1) US8719442B2 (zh)
CN (1) CN103188522B (zh)
TW (1) TWI519147B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8392533B2 (en) 2010-08-24 2013-03-05 Comcast Cable Communications, Llc Dynamic bandwidth load balancing in a data distribution network
CN103812880B (zh) * 2012-11-05 2015-11-18 腾讯科技（深圳）有限公司 一种网络数据的推送方法、设备及系统
TWI573448B (zh) * 2012-11-21 2017-03-01 財團法人工業技術研究院 串流連線管理方法及串流資料連線系統
US9043510B2 (en) 2013-08-06 2015-05-26 Oracle International Corporation Hardware streaming unit
US20150067185A1 (en) * 2013-09-04 2015-03-05 Akamai Technologies, Inc. Server-side systems and methods for reporting stream data
TWI623881B (zh) * 2013-12-13 2018-05-11 財團法人資訊工業策進會 事件串流處理系統、方法與機器可讀記憶體
TWI500315B (zh) 2013-12-25 2015-09-11 Ind Tech Res Inst 串流分享方法、串流分享裝置與串流分享系統
TWI549496B (zh) * 2014-05-08 2016-09-11 宏碁股份有限公司 行動電子裝置以及視訊補償方法
KR101638879B1 (ko) * 2014-11-06 2016-07-12 주식회사 아이디스 위젯을 통해 보안 매체와 연동 가능한 모바일 장치
US10789989B2 (en) * 2014-12-01 2020-09-29 Hitachi Kokusai Electric Inc. Video recording apparatus and video recording method
US20160191594A1 (en) * 2014-12-24 2016-06-30 Intel Corporation Context aware streaming media technologies, devices, systems, and methods utilizing the same
TWI558192B (zh) * 2015-03-27 2016-11-11 宏碁股份有限公司 影像播放裝置及影像播放方法
TWI594607B (zh) 2015-11-27 2017-08-01 鴻海精密工業股份有限公司 動態控制多個視頻下載之系統及方法
KR101743228B1 (ko) * 2016-01-22 2017-06-05 네이버 주식회사 스트리밍 장치 및 그 방법, 이를 이용한 스트리밍 서비스 시스템 및 컴퓨터로 판독 가능한 기록매체
US10506237B1 (en) * 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
TWI604323B (zh) 2016-11-10 2017-11-01 財團法人工業技術研究院 視訊索引建立方法及應用其之裝置
US10681105B2 (en) * 2016-12-30 2020-06-09 Facebook, Inc. Decision engine for dynamically selecting media streams
US10362241B2 (en) 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
US10237581B2 (en) 2016-12-30 2019-03-19 Facebook, Inc. Presentation of composite streams to users
US10271074B2 (en) 2016-12-30 2019-04-23 Facebook, Inc. Live to video on demand normalization
US10477286B2 (en) * 2017-06-19 2019-11-12 Wangsu Science & Technology Co., Ltd. Streaming media file processing method and live streaming system
US10638192B2 (en) * 2017-06-19 2020-04-28 Wangsu Science & Technology Co., Ltd. Live streaming quick start method and system
US10484714B2 (en) * 2017-09-27 2019-11-19 Intel Corporation Codec for multi-camera compression
AU2018271424A1 (en) * 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
US11314779B1 (en) * 2018-05-31 2022-04-26 Amazon Technologies, Inc. Managing timestamps in a sequential update stream recording changes to a database partition
US10943125B1 (en) * 2018-12-13 2021-03-09 Facebook, Inc. Predicting highlights for media content
CN109788224B (zh) * 2019-03-26 2020-12-04 歌尔科技有限公司 视频录制方法、装置、网络摄像器及存储介质
EP3973677A4 (en) 2019-05-21 2023-07-12 Genetec Inc. METHODS AND SYSTEMS FOR CODEC DETECTION IN VIDEO STREAMS
CN111836060A (zh) * 2019-11-20 2020-10-27 高群 基于画面截取的串流制作系统
US11543945B1 (en) * 2020-03-30 2023-01-03 Amazon Technologies, Inc. Accurate local depiction of preview of a program window included in a remote graphical desktop
WO2021221194A1 (ko) * 2020-04-28 2021-11-04 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2021232157A1 (en) * 2020-05-19 2021-11-25 The Governing Council Of The University Of Toronto Sustained release pharmaceutical composition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101485206A (zh) * 2006-04-30 2009-07-15 惠普开发有限公司 提供编码/压缩和解码/解压缩之间的计算复杂度的可调节分配的鲁棒且高效的压缩/解压缩
CN101771865A (zh) * 2009-01-07 2010-07-07 财团法人工业技术研究院 影音控制响应及频宽调适方法、服务器、存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445738B1 (en) * 1996-04-25 2002-09-03 Opentv, Inc. System and method for creating trick play video streams from a compressed normal play video bitstream
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US6961954B1 (en) 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US6704790B1 (en) 1998-09-16 2004-03-09 Microsoft Corporation Server-side stream switching
JP4622077B2 (ja) * 2000-10-11 2011-02-02 ソニー株式会社 画像処理装置及び画像処理方法
US7003154B1 (en) 2000-11-17 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Adaptively processing a video based on content characteristics of frames in a video
US6959114B2 (en) * 2001-02-28 2005-10-25 Samsung Electronics Co., Ltd. Encoding method and apparatus of deformation information of 3D object
US7237033B2 (en) 2001-04-30 2007-06-26 Aol Llc Duplicating switch for streaming data units to a terminal
US7574113B2 (en) 2002-05-06 2009-08-11 Sony Corporation Video and audio data recording apparatus, video and audio data recording method, video and audio data reproducing apparatus, and video and audio data reproducing method
US7720983B2 (en) 2004-05-03 2010-05-18 Microsoft Corporation Fast startup for streaming media
KR100611987B1 (ko) 2004-07-28 2006-08-11 삼성전자주식회사 컨텐츠 전환 방법, 소오스 장치 및 싱크 장치
EP1675343A1 (en) 2004-12-23 2006-06-28 Siemens S.p.A. Method and system to minimize the switching delay between two RTP multimedia streaming sessions
US20070024705A1 (en) 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
CN101300781A (zh) * 2005-10-06 2008-11-05 株式会社Egc&C 控制运动图像数据在网络上的传输的系统和方法
TW200843429A (en) 2006-12-07 2008-11-01 Vidiator Entpr Inc System and method for selection of streaming media
WO2008104127A1 (en) * 2007-02-27 2008-09-04 Huawei Technologies Co., Ltd. Method for realizing random access in compressed code stream using multi-reference images and decoder
US20080271082A1 (en) 2007-04-27 2008-10-30 Rebecca Carter User controlled multimedia television broadcast on single channel
TW200951831A (en) 2008-04-15 2009-12-16 Novafora Inc Methods and systems for representation and matching of video content
TW200951832A (en) 2008-04-15 2009-12-16 Novafora Inc Universal lookup of video-related data
US20090296701A1 (en) * 2008-05-30 2009-12-03 General Instrument Corporation Method and apparatus for improving channel acquisition
US9185339B2 (en) * 2008-10-24 2015-11-10 Hewlett-Packard Development Company, L.P. Method and system for increasing frame-display rate
TWI396443B (zh) 2008-12-22 2013-05-11 Ind Tech Res Inst 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器
US8650602B2 (en) 2009-02-27 2014-02-11 Akamai Technologies, Inc. Input queued content switching using a playlist
US9113132B2 (en) * 2009-07-13 2015-08-18 Genesys Telecommunications Laboratories, Inc. System and methods for recording a compressed video and audio stream
US8392600B2 (en) 2009-09-14 2013-03-05 Adobe Systems Incorporated Dynamic stream switch control
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101485206A (zh) * 2006-04-30 2009-07-15 惠普开发有限公司 提供编码/压缩和解码/解压缩之间的计算复杂度的可调节分配的鲁棒且高效的压缩/解压缩
CN101771865A (zh) * 2009-01-07 2010-07-07 财团法人工业技术研究院 影音控制响应及频宽调适方法、服务器、存储介质

Also Published As

Publication number Publication date
US8719442B2 (en) 2014-05-06
CN103188522A (zh) 2013-07-03
TWI519147B (zh) 2016-01-21
TW201328332A (zh) 2013-07-01
US20130173819A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
CN103188522B (zh) 提供与传送复合浓缩串流的方法以及系统
US7139470B2 (en) Navigation for MPEG streams
US11930250B2 (en) Video assets having associated graphical descriptor data
CN107634930B (zh) 一种媒体数据的获取方法和装置
CN105681912A (zh) 一种视频播放方法和装置
US9369508B2 (en) Method for transmitting a scalable HTTP stream for natural reproduction upon the occurrence of expression-switching during HTTP streaming
US11133975B2 (en) Fragmenting media content
CN109168020A (zh) 基于直播的视频处理方法、装置、计算设备和存储介质
KR20170138994A (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
EP2453652B1 (en) Transmission method, receiving method and device for scalable video coding files
KR102518817B1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN104270672A (zh) 一种视频处理方法及装置
WO2003079690A1 (en) Video information delivery apparatus and reception apparatus
CN105916011A (zh) 视频实时播放方法及装置
US20140010521A1 (en) Video processing system, video processing method, video processing apparatus, control method of the apparatus, and storage medium storing control program of the apparatus
KR20140134100A (ko) 사용자 영상 생성 방법 및 이를 위한 장치
WO2012094975A1 (zh) 一种多媒体数据的传输、接收方法及其传输、接收设备
US20100191778A1 (en) Method for constructing a file format and apparatus for processing a broadcasting signal including a file having the file format and method thereof
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
JP5181102B2 (ja) インターネット番組表配信システム
TWI574558B (zh) 播放複合濃縮串流之方法以及播放器
CN117459764B (zh) 多通道智能屏幕显示方法、装置、设备及存储介质
KR101228942B1 (ko) Ｉｐ 기반 컨텐츠 관리 장치 및 방법
US20090307725A1 (en) Method for providing contents information in vod service and vod system implemented with the same
WO2024006818A1 (en) Media content boundary-aware supplemental content management

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant