CN103119592A - 渐进的多媒体同步 - Google Patents

渐进的多媒体同步 Download PDF

Info

Publication number
CN103119592A
CN103119592A CN2011800456540A CN201180045654A CN103119592A CN 103119592 A CN103119592 A CN 103119592A CN 2011800456540 A CN2011800456540 A CN 2011800456540A CN 201180045654 A CN201180045654 A CN 201180045654A CN 103119592 A CN103119592 A CN 103119592A
Authority
CN
China
Prior art keywords
multimedia
content
bag
image
receiving trap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800456540A
Other languages
English (en)
Inventor
M·阿斯图迪略
J·格利克森
S·尼米
M·安德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scalado AB
Original Assignee
Scalado AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scalado AB filed Critical Scalado AB
Publication of CN103119592A publication Critical patent/CN103119592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32117Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate transmission or protocol signal prior to or subsequent to the image data transmission, e.g. in digital identification signal [DIS], in non standard setup [NSS] or in non standard field [NSF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

公开了用于上传图像到远程服务器和从远程服务器下载图像并用于查看所述图像的手段。上传图像到远程服务器和从远程服务器下载图像是并行而非串行的。这意味着,代替将图像作为顺序的字节流传输,作为替代,这些图像被布置在图像数据的扫描中,以使得可以比考虑整个图像数据的情况更早地虽然以较低质量浏览所上传/下载的图像。就像在串行的情况下那样,可以在任何时候中断上传/下载处理,并且仍然可以浏览所接收的图像数据。同样,可以在将来重新启动上传/下载处理。

Description

渐进的多媒体同步
技术领域
本发明一般涉及多媒体通信领域,并且尤其涉及多媒体内容的渐进的同步。还提供了其设备和计算机程序产品。
背景技术
在过去的几年,诸如移动电话的通信装置已从仅是通信装置演进为手持多媒体装置。此外,越来越多的装置配备有通信接口。因此,能够彼此传送信息的装置的数量正在持续增加。
基于此类装置之间通信的服务和应用的数量也在增加。一些示例包括但不限于基于数字网络的数字社交媒体,即时消息共享,信息共享和显示,等等。
因此,随着通信装置数量的增加,在这些通信装置之间传输数据的需要也在增加。
然而,由于带宽的限制,在内容服务器和内容请求者之间同步多媒体内容的处理仍然需要相当多的时间。这在通信装置(例如移动电话)的用户希望上传多媒体内容(例如数字图像)至服务器以便可以发布该上传内容(例如发布在数字社交媒体的数字相册中)的情况下尤其如此。
发明内容
所公开实施例的发明人已认识到,虽然根据现有技术的方法、设备和计算机程序产品能够提供用于在服务器装置和客户端装置之间同步多媒体内容的手段,但是一个缺陷在于执行该同步的持续时间。
此外,诸如移动电话的通信装置可以创建几百万像素的非常大的图像,而同样的通信装置可能有非常受限的观看屏幕(在分辨率和尺寸两方面)。进一步地,已发现在客户端能够接收满足大多数用户的多媒体内容预览之前上传整个多媒体内容往往是不必要的。
鉴于上述内容,因而期望的是找到这样的手段,其在能够在服务器和客户端之间实现更快的多媒体内容同步。根据第一方面,提供了一种用于在服务器装置和存储装置之间同步多媒体内容的方法,包括:在存储装置处提供多媒体内容;将多媒体内容分成至少两个包;根据所述至少两个包中的数据以及通过使用相关性准则,将所述至少两个包分类成相关的包和至少一个不大相关的包;以及将所述相关的包从所述存储装置传送至所述服务器装置。
这有利地提供了一种有效的上传处理,其使得用户能够比使用传统的顺序处理更快地共享他们的多媒体内容。这也使得例如完整的JPEG数据能够被上传,以及随时间在服务器中具有与产生图像的存储装置中的图像数据相同的图像数据表示。这在上传多媒体内容到服务器装置时,甚至在服务器装置与存储装置之间的传输具有低带宽时,提供了良好的用户体验。
多媒体内容可以以多种格式出现。包(package)代表转换成原始多媒体内容的多个较少表示的多媒体内容,其中较少表示经常以较小尺度呈现多媒体内容。包可以依赖也可以不依赖于其他包。一组规则制约多媒体内容如何被转换成包。
以相同或相似尺度代表多媒体内容的表示可被紧密地存储在一起(例如按照对以相同或相似尺度代表多媒体内容的数据进行分隔的字节数),以便于对相似数据的快速访问。传输和存储多媒体内容数据之间可能涉及一种或多种类型的转码。期望的是代表多媒体内容的小尺度的表示首先被传送,并且相同多媒体内容的较大尺度的表示稍后被传送。稍后的传送既不包含冗余信息也不包含已被传送的信息。
例如,根据JPEG渐进标准,被传送的多媒体内容的发送器和/或接收器需要跟踪在给定时间其在编码处理的何处,以使得可以暂停或恢复该处理。例如,可以提供有关当前传送的扫描、数据单元和/或系数的信息。此信息可被存储在可交换图像文件格式(Exif)标签中,并且该文件可具有附加到该文件的尾部以便满足JPEG渐进标准。例如,该尾部可以有虚拟数据,例如空扫描和图像结尾(EOI)标记。
被传递的实际数据可以是也可以不是JPEG渐进数据。例如,图像表示可以包括待使用的JPEG渐进数据和其他辅助(或冗余)图像数据,以便例如高效地计算图像的缩减版本。
根据第二方面,提供了一种服务器装置,其包括用于执行如上所述的方法步骤并与该服务器装置关联的部件。
根据第三方面,提供了一种存储装置,其包括用于执行如上所述的方法步骤并与该存储装置关联的部件。
根据第四方面,提供了一种包括软件指令的计算机程序产品,当被下载到计算机上时,该软件指令被配置为执行如上所述的方法。该计算机程序产品可以存储在非易失性计算机可读存储介质中。
该第二、第三和第四方面通常可以具有与第一方面相同的特征和优点。根据以下详细的公开、所附权利要求以及附图,本发明的其他目标、特征和优点将是显而易见的。
通常,权利要求中使用的所有术语都按照技术领域中其通常的意思进行解释,除非另有明确表示。所有对于“一/一个/所述[元件、装置、组件、部件、步骤等]”的引用都被开放地解释为指代元件、装置、组件、部件、步骤等的至少一个实例,除非另有明确表示。除非另有明确表示,否则本文中公开的任何方法的步骤不必按照所公开的具体顺序来执行。
附图说明
现在将参考附图以非限制性示例的方式更详细地描述本发明的实施例,其中:
图1是根据一个实施例的系统的示意性图示;
图2是根据一个实施例的装置的示意性图示;
图3是根据一个实施例的系统的示意性图示;以及
图4是根据一个实施例的方法的流程图。
具体实施方式
现在将在下文中参考示出特定实施例的附图更全面地描述本发明。全文中相同的编号指代相同的元素。然而,本发明可以以许多不同的形式实现而不应被理解为限于本文所阐述的实施例;相反,这些实施例以示例的方式提供以使得本公开是彻底和完整的,并将本发明的范围全面传递给本领域技术人员。
已发现,对于例如已使用JPEG格式、JPEG渐进格式、SPIHT格式、JPEG2000格式、WebP格式、JPEG XR格式或任意类似格式进行压缩并且将被显示在小屏幕(例如移动电话的屏幕)上的图像,通常仅需要取得针对特定目标尺寸的图像文件的子集。目标尺寸通常依赖于以下参数,例如屏幕尺寸、显示图像的网页尺寸和网页上图像的相对尺寸。通常期望的是,尽可能快地以特定视图所需要的分辨率取得一组图像(例如数字相册中的图像阵列)。
根据已知的系统,请求数据的装置请求完整的图像文件。因而,通常在另一图像的下一传送可以开始之前传送该整个图像文件的数据(即使图像使用渐进格式来压缩),或者传送用于显示超过其要求的分辨率的第一图像的数据。然而,已发现,期望的是并行地获取图像阵列中所有图像的渐进改进质量,而不是串行地每次改进一个图像的质量。如下面将进一步公开地,这例如可以通过提议的对渐进图像传送的节流处理来实现,其中对特定图像的传送在已发送了所需的分辨率之后被暂停,直到所有其他图像传送请求已针对他们所要求的分辨率被满足为止。所提议的实施例进而使各个客户端能够并行地并且因此基本同时地取得他们各自的图像数据。如下面将进一步阐明地,在所要求的分辨率已被发送之后,所有会话可以继续发送下一分辨率的扫描,暂停该扫描已被发送的会话直到所有扫描被发送为止,并且随后发送接下来的扫描。
上传、下载和同步:所公开的实施例基于多媒体内容的渐进和并行上传和/或下载,具有中断、恢复和接合(coalescence)功能。具体地,所公开的实施例提供了从存储装置向接收装置上传和/或下载多媒体数据以使得首先传送(即上传或下载)最相关的数据并且在以后的精化阶段传送(即上传或下载)不大相关的数据的机制。通过这样的方式,接收装置将能够早在已经完整上传或下载多媒体内容之前提供多媒体内容的预览。
图1是根据一个实施例的客户端装置100的示意性图示。客户端装置100可以是计算机。客户端装置100可以是个人数字助理(PDA)。客户端装置100可以是移动电话。客户端装置100通常包括电路,该电路被布置为执行多个操作并且将在本文中按照功能模块进行描述。一般而言,可以以各种方式实现功能模块,例如通过对一个或多个可编程门阵列(FPGA)、专用集成电路(ASIC)等进行编程。
客户端装置100包括处理器功能模块104,其可以实现为中央处理单元(CPU)和/或专用图像处理单元,例如JPEG硬件加速器。该处理器还可以指代能够计算的图形处理单元(GPU),例如OpenGL/OpenCL中的像素/片段着色器。图像处理单元可以实现为包括一个或多个软件组件的计算机程序产品,或用于图像处理的专用硬件单元。软件组件可以包括软件指令,其在被下载到计算机上时被配置为执行与处理单元关联的指令。
客户端装置100进一步包括存储器功能块106,其可以实现为存储器或计算机可读存储介质,例如随机存取存储器(RAM)、只读存储器(ROM)、通用串行总线(USB)产品,例如存储棒等等。
客户端装置100进一步包括通信功能模块108,其可以实现为接收器和发送器和/或收发器,尤其被配置为从人机接口(MMI)110功能模块、另一通信装置、计算机等接收输入,并向其递送输出。
客户端装置100在操作系统102的管理下运行。客户端装置100可以进一步包括图像捕获设备112,其可以实现为数码相机等。可替换地,客户端装置100可以操作地经由通信接口功能模块108耦接至外部图像捕获装置(未示出)。
图2示出其中可以应用所公开主题的实施例的通信系统200示例。在图2的通信系统200中,可以在客户端装置100和诸如一个或多个另外的客户端装置202、本地装置204、计算机208或服务器装置206的其他装置之间执行各种数据服务,例如,蜂窝语音呼叫、www/wap浏览、蜂窝视频呼叫、数据呼叫、传真传送、音乐传送、静态图像传送、视频传送、电子消息传送、电子定位信息、多媒体内容同步、多媒体内容上传和下载,以及电子商务。对于客户端装置100的不同实施例以及在有关通信系统200的操作条件的不同情况下,以上提及的数据服务中的不同数据服务可能可用也可能不可用。
客户端装置100、202被布置为经由基站212、214通过射频链路216、218可操作地连接到网络210。基站212、214可操作地连接到网络210。网络210可以符合任意商用网络标准,例如GSM、UMTS、D-AMPS、CDMA2000、FOMA、TD-SCDMA、UDP、TCP、TCP/IP、IPv4、IPv6等。
网络210可以是互联网的集成部分。服务器装置208可以是互联网服务器,其具有数据存储并可操作地连接到网络210,就像计算机206一样。服务器装置208可以是计算机云的一部分。
现在将参考图1和2以及图4的流程图公开用于在存储装置和接收装置之间同步多媒体内容的方法。多媒体内容可以涉及(数字化)图像、(数字化)视频、(数字化)声音等等。服务器装置208可以是网络云的一员。客户端装置100、102可以是移动电话等。典型地,鉴于服务器装置208,客户端装置100、102可以具有受限的计算功能。典型地,客户端装置100、102可操作地经由窄带通信信道(诸如具有数据位率小于或等于1-2兆每秒的链路216、218)连接到服务器装置208。
应当指出,这里通过上传和下载多媒体内容的角色分别定义了存储装置和接收装置,但是这些角色可以针对特定应用在特定装置中改变。因此,客户端装置100、102和服务器装置208可以选择性地充当接收装置或存储装置。例如,上传内容到服务器的移动电话对于该内容而言可以作为存储装置的角色,而从服务器下载内容的移动电话对于该(相同)内容而言可以作为接收装置的角色。类似地,从移动电话下载内容的服务器可以作为接收装置的角色,而上传内容到移动电话的服务器可以作为存储装置的角色。
在步骤S02中,多媒体内容在存储装置处被提供。多媒体内容可以已被存储装置本身捕获,例如通过部件112,该部件112例如为存储装置的静态图像相机电路、视频相机电路和/或麦克电路。
在步骤S04中,多媒体内容被分成至少两个包。在将多媒体内容分成至少两个包时,可以生成与多媒体文件关联的包列表。该列表可以基于多媒体文件的包的进一步划分和/或基于多媒体内容的另一文件的划分而被更新。该列表从而可以提供已被划分的多媒体内容的所有文件的(动态)概览以及与多媒体内容的一(多)个文件关联的所有包的概览。通过访问列表,可以容易地取得有关例如全尺度(full-scale)图像的缩略版本的位置信息,从而有助于对缩略版本的便宜取得。列表还可以基于从存储装置到接收装置的包传输而被更新,以便于容易的跟踪以及关于传送的包的进展信息。该列表还可以基于来自接收装置和/或存储装置的指令而被生成。这些指令可以是静态或动态的,并且可以(或可以不)利用关于实际多媒体内容的信息。
典型地,多媒体内容被存储为帧序列,其中每帧包括多个信息数据位。信息数据位可以对应于多媒体内容的已编码和/或已压缩的表示。每个包因而可包括多个这样的帧。有利的是,多媒体内容被划分,使得单独的帧没有被划分。
在步骤S06中,至少两个包被分成相关的包和(至少)一个不大相关的包。该分类基于至少两个包中的诸如信息数据位的数据并通过使用相关性准则来确定。该相关性准则可依赖于多媒体内容的结构。因此,针对每种多媒体文件类型可以存在一组相关性准则。
一种类型的相关性准则可以是多媒体内容中的信息量。信息量可以通过使用熵方法进行测量,如Cover,T.M.和Thomas,J.A.的“Elements ofInformation theory”第二版中所述,其通过引用合并于此。
进一步地,多媒体内容的缩减版本可以被视为比相同多媒体内容的未缩减版本更相关。一般而言,相关性因此可以与多媒体内容的缩减等级成比例。因此,经过缩减的图像可以被视为比较大的图像(根据表示所述图像所需的位和/或像素的数量)更相关。例如,4个64╳64像素的图像可以被视为比一个128╳128像素的图像更相关。因此,传送(小的)缩略图像比传送用以构造更高质量图像的其他数据(例如渐进精化扫描)具有更高的优先级。
相关性准则还可以与特定多媒体内容已被访问(在接收装置和/或存储装置上)的次数关联,例如图像相册中的图像已被查看多少次。一个或多个存储和/或接收装置因而可以包括计数器电路,其被布置为对特定多媒体内容已被访问、查看和/或传送多少次进行计数。相关性因而可以与多媒体内容已被访问的次数成比例。这种图像相册例如可以存储在客户端装置100、102的存储器106中、服务器208中、计算机206中、一个或多个另外的装置204中。进一步地,在同步接收装置和存储装置之间的多媒体内容时,相关性应当以类似的方式计算,从而使客户端-服务器同步和服务器-客户端同步成为本质上对称的问题。
进一步的相关性准则可以涉及访问多媒体内容的分辨率(如果被访问则高相关性,如果没有被访问则低相关性),基于图像的多媒体内容是否被变焦(zoom upon)(如果被变焦则高相关性,如果没有被变焦则低相关性),基于图像的多媒体内容是否成为搜索的主题和结果(如果被搜索则高相关性,如果没有被搜索则低相关性),多媒体内容是否经由诸如MMS、email、数字社交媒体应用等的应用而被请求或分享(如果被请求则高相关性,如果没有被请求则低相关性)。
相关性准则还可以涉及将呈现多媒体内容的装置的用户接口的属性或运用(handling)。例如,如果多媒体内容用显示在用户接口上的图标(例如缩略图)来表示,则用户接口可以被布置为执行滚动动作,由此基于对以滚动动作方式对用户交互的接收,当前显示的第一组图标被第二组显示图标替换(第二组可以与第一组部分重叠)。对于此用户接口的相关性准则可以涉及滚动的速度(即用户接口上第二子组替换第一子组的速度)。对于低滚动速度,与当前显示的第一组图标关联的多媒体内容被给予高相关性分数,而与当前没有显示的第二组图标关联的多媒体内容被给予比该高相关性分数低的相关性分数。对于高于低滚动速度的滚动速度,相关性分数对于整组多媒体内容而言是相等的。相关性准则因此可以取决于多媒体内容的分组、排序或空间关系。例如,相关性准则可以进一步被给做特定图标与当前显示的第一组图标的距离函数;距离越大,该特定图标的相关性越低。因此,整组多媒体内容的相关性分数可以取决于当前显示或被访问的多媒体内容。
属性还可以取决于与用户接口的用户交互。例如,第一用户可具有在访问一组多媒体内容时经常执行慢滚动速度的趋势,而访问相同多媒体内容的第二用户则可能具有在访问同一组多媒体内容时经常执行以比慢速度更快的速度的滚动的趋势。这种用户交互的行为可以被存储为用户交互模式。带有涉及用户交互模式的信息的一个或多个用户简档因而可以存储在客户端装置100、102的存储器106中、服务器208中和/或计算机206中。用户模式的示例是特定用户多频繁地对代表多媒体内容的图像执行放大操作。因此,虽然特定图像可以与少量的平均放大操作关联(并且因此根据以上关于缩放的公开被视为不大相关),但是如果还考虑到关于操纵该特定图像的特定用户的信息,则该特定图像可以达到更高的相关性分数。
基于多媒体内容的分组、排序或空间关系的相关性准则可以同样地独立于多媒体内容是否被显示在用户接口上。分组、排序或空间关系还可以基于多媒体内容文件之间的关系,基于多媒体内容文件捕获的时间和/或地点。例如,如果在特定时间和/或地点捕获的第一多媒体内容文件被给予特定的相关性分数,在时间和/或地点上离该特定时间和/或地点预定距离内捕获的第二多媒体内容文件,该第二多媒体内容文件可以继承第一多媒体内容文件的相关性分数。由此,可以同步第一多媒体内容文件和第二多媒体内容文件的不同包的传送。时间上的预定距离例如可以是一分钟、一小时或在相同的日历日期间,并且地点上的预定距离可以是10米、100米或1000米。
因此,根据上述内容,相关性分数可以取决于例如当前被显示、访问和/或传送的是哪组多媒体内容而被动态地改变。相关性准则也可以取决于例如不同用户模式和/或与在其上传送多媒体内容文件的通信网络有关的传输属性而被动态地修改。例如,基于用户访问特定文件夹(其中图像文件是特定相册的一部分)中的第一多媒体内容文件(例如查看图像文件),相同文件夹中的其他多媒体内容文件可以使他们的相关性分数增加。类似地,基于检测到用户已停止访问第一多媒体内容文件,所述相同文件夹中的其他多媒体内容文件的相关性分数可被降低。单个包的相关性准则还可以基于通信网络检测到有关该包的分组丢失而被提高。
进一步地,相关性可以取决于以下方面:基于图像的多媒体内容的亮度(如果是“亮”图像则相关性高,如果是“暗”图像则相关性低),多媒体内容被生成和/或上次被访问的日期(多媒体内容被生成和/或访问的时间越近,相关性越高),基于图像的多媒体内容中描绘的人的数量(人数越多,相关性越高),与多媒体内容关联的元数据(例如Exif数据)的数量和/或类型(元数据或特定类型的元数据越多,相关性越高),与先前发送的多媒体内容之间的相似度(相似度越高,相关性越高)。鉴于以上内容,相关性可以根据缩放量、搜索数量、请求数量、图像中的人数、元数据的数量等进一步被区分成多个中间相关性等级(从高相关性到低相关性)。相关性准则可以同样应用于不同的多媒体内容文件,以便不仅排列特定多媒体内容文件中的包的优先级而且还排列一个多媒体内容文件在另一个多媒体内容文件上的优先级。
因此,可以发现生成特定多媒体内容或图像片段的相关性分数的表达,并且该表达确定了对于所述特定多媒体内容而言待传送的包的数量。
考虑以下非限制性示例。根据该示例,多媒体内容代表图像数据。假设多媒体内容已被分为以下部分:“包1”代表16×16像素大小的缩略图图像。“包2”代表64×64像素大小的缩略图图像。“包3”-“包6”代表与接收装置的屏幕尺寸对应的大小相当的渐进图像数据。“包7”-“包8”代表与图像数据的全尺寸版本对应的大小相当的渐进图像数据。
进一步假设包传送应当按执行次序遵守以下打包规则:所有的包都应当按照排列了优先级的多媒体文件顺序来打包,并且排列了优先级的多媒体文件应当被传送,直到“包5”,每次一个多媒体文件,并从与排列了最高优先级的多媒体文件关联的包开始。进一步地,如果不存在急需的关键包,则按照多媒体文件相关性顺序传递“包6”和“包7”,否则只传递“包6”。如果没有明确请求,则从不传递“包8”。
用于达到以上目标的按多媒体文件和包的可行的相关性准则因此可以被制定如下。(全局)相关性分数或计分函数例如可以被表达为:
总分数=文件分数+包分数,
其中“包1”-“包8”具有以下包分数:
“包1":10.000.000.000
“包2”:9.000.000.000
“包3”:8.000.000.000
“包4”:8.000.000.001
“包5”:8.000.000.002
“包6”:8.000.000.003
“包7”:7.000.000.000
“包8”:6.000.000.000,
并且其中每个文件的文件分数是相对于其他文件乘以10的相关优先级(并且其中最大优先级小于10.000.000)。换言之,具有高优先级的包被给予高的分数。如本领域技术人员所理解的,存在不同的方式来划分多媒体内容,并且可以存在不同的打包规则和计分函数,它们在所公开的主题的范围内同样是可能的。
例如,假设多媒体内容的两个文件“文件1”和“文件2”被提供有如下文件分数:“文件1”:540,“文件2”:650。则对于“文件1”和“文件2”的每个包的参数总分数将是:
“包1:1”10.000.000.540
“包1:2”9.000.000.540
“包1:3”8.000.000.540
“包1:4”8.000.000.541
“包1:5”8.000.000.542
“包1:6”8.000.000.543
“包1:7”7.000.000.540
“包1:8”:6.000.000.540
“包2:1”:10.000.000.650
“包2:2”:9.000.000.650
“包2:3”:8.000.000.650
“包2:4”:8.000.000.651
“包2:5”:8.000.000.652
“包2:6”:8.000.000.653
“包2:7”:7.000.000.650
“包2:8”:6.000.000.650
其中“包j:k”是文件号j的包编号k。因此,以相关性降序安排所有包将给出以下打包顺序:
1)“包2:1”
2)“包1:1”
3)“包2:2”
4)“包1:2”
16)“包1:8”。
因此结果是,所述特定多媒体内容可以以低分辨率、中分辨率或高分辨率来传输。由于多媒体内容存储格式的渐进性质,通过传输更多的包来从低到中以及从中到高地增加所述特定多媒体内容的分辨率是可行的。
在步骤S08中,将相关包从存储装置传送到接收装置。因此,多媒体内容以这样的方式从存储装置上传/下载到接收装置:多媒体内容是渐进和并行而非串行地上传。接收装置进而接收该相关包。接收装置可以随后存储该相关包。如以下将进一步描述的,接收装置可以随后访问包的内容,例如通过解包、解码和/或解压缩包。为了这样做,接收装置可以访问辅助数据,例如本文中公开的报头或标记信息。然而,同样可能的是,使得接收装置能够访问一个或多个包而无需这种辅助数据。报头和/或标记信息还可以使包能够在特定的传输信道上从存储装置传送到接收装置,其中,传输信道通过报头和/或标记信息来指定。例如,可以在两个或更多个并行TCP信道(或流)上传送包。这使得能够在具有高传送速率(和/或成本)的传输信道上发送具有高相关性分数的包,而在具有低于高传送速率的较低传送速率(和/或成本)的传输信道上发送相关性分数低于该高相关性分数的包。从而可以允许针对不同的包使用不同的传输信道的不同包的并行传送。结合图2公开了不同传输信道的示例。
报头可以包括有关存在标记的信息。因而,基于对包含报头的包的解码,接收装置能够首先识别是否使用了标记,并且其次识别所使用的标记的结构。以下将提供不同标记的结构示例。还可以在子报头中提供报头信息。该子报头可以提供有关包的内容、包的编码、包的压缩、包的加密和/或内容相对于多媒体内容(整个)文件的位置的信息。每个包都可以有其自己的子报头。可替换地,对代表相同类型内容的包的每个收集都可以具有共同的子报头。该内容可以涉及多个JPEG图像的共同扫描。按照有关包的压缩的信息,标记和/或子报头可以提供有关压缩参数的信息。这使得压缩参数能够从第一组包到第二组包到第三组包等的动态改变。每组包都可以包括单个包。标记和/或子报头例如可以提供有关包组的压缩/量化方案中使用的压缩/量化表的信息。例如,可以有利地在报头提供有关被使用的压缩/量化表的信息,该报头对于整个多媒体内容文件是共同的,同时在所述具体包组的子报头(或标记)中提供有关用于该具体包组的这些压缩/量化表中的哪个被使用的信息。下面将描述可以包括在报头或子报头中的进一步信息。
当(在任意方向)传送多媒体内容时,有利的是对分组和/或包中类似相关性的多个元素进行分组,以便在传送期间使用较少的位开销。这种对元素的分组可能要求使用多个处理器核或CPU进行并行计算。
如上所述,有利的是首先上传在主观认知质量方面形成较大影响的多媒体数据。可以借助额外的包相继上传不大重要的剩余部分。在步骤S10中,相关性准则因而可以用来按相关性降序对至少一个不大相关的包进行排序。在实际环境中,可以存在多个不大相关的包。因而,多媒体内容可以首先被分成一个相关的包和一个不大相关的包,并随后该不大相关的包可以进而被分成(原始的一个不大相关包的)一个相关的包和(原始的一个不大相关包的)一个不大相关的包。
进一步地,在步骤S12中,可以随后根据该排序将剩余的至少一个不大相关的包从存储装置传送到接收装置。基于对剩余至少一个不大相关的包的接收,接收装置可以通过解包、解码和/或解压缩所有接收到的包来将所有接收的包装配成一个或多个多媒体文件。上传操作的粒度可受限于用于上传的传输容器和服务器存储。基于对最后的包的接收,接收装置可以被布置为向存储装置发送已接收并存储完整的多媒体内容文件的确认消息,以使得存储装置可以释放该文件,并且设置已发送的完整包的优先级为0。相应地,如果包丢失,则可以例如通过动态地增加相关性分数来提高所关联的优先级地重新发送包。
根据进行哪些传送,上传和/或下载处理通常可以具有一组规则。这样的规则可以取决于参与上传和/或下载处理的连接类型、传输成本和便携设备的电池寿命(或充电)。这些规则可以确定何时传送信息位、发送什么信息位以及发送多少信息位。
在多媒体内容代表两个或更多个单独多媒体内容文件的情况下,有利的是在上传任何不大重要部分之前,上传每个多媒体内容文件的一个或多个重要部分。具体地,当多媒体内容代表至少两个多媒体文件并且当这至少两个多媒体文件中的每个都被划分并分类成各自的相关包和至少一个不大相关的包时,可以在传送至少一个不大相关的包中的任一个之前,在所述步骤S12中传送相关包中的每一个相关包。
进一步地,可能发生的是需要中断上传/下载处理。在恢复上传/下载处理之前,可能发生的是在存储装置处提供了也需要被上传或下载的新的多媒体内容。因此,多媒体内容可以代表第一和第二多媒体文件并且该第一和第二多媒体文件每个都被划分和分类成各自的相关包和至少一个不大相关的包。在这样的情况下,当在已传送第一多媒体文件的至少一个不大相关的包中的至少一个之后提供了该第一和第二多媒体文件的第二个时,在传送第一多媒体文件的剩余的至少一个不大相关的包之前,可以在所述步骤S14中传送该第二多媒体文件的相关的包。
上传/下载的内容可能必须被转码成中间格式以便利系统中其他装置的快速访问。这样的中间格式可以根据可用内容的数量而随时间改变。
存储装置可能需要将多媒体内容的数据转码成渐进流(例如从基线JPEG数据到渐进JPEG数据,或者在其他格式之间转码,例如JPEG2000、WebP以及JPEG XR)。这可以利用合适的例如在处理单元104中实现的转码器来高效地执行(例如JPEG渐进转码器)。例如,对于图像而言,使用频谱选择而无需连续精化的渐进格式可能是合适的。可替换地,存储装置可以提前准备具有不同分辨率的多媒体内容文件的独立版本(例如像素大小为16×16、64×64、256×256、1024×1024、4096×4096像素的图像),并且其中,按照从最低分辨率到最高分辨率的顺序传送多媒体内容文件。在此情况下,除具有最低分辨率的文件之外的所有文件都包括相较于先前传送的文件的冗余数据。
进一步地,还是在图像环境中,可以使用扫描以使得可生成原始图像的合适的2次幂缩减。可以在发送所有AC系数之前发送所有的DC系数。进一步地,可以在发送色度AC系数之前发送所有亮度AC系数。同样,可以将进一步的压缩添加到将被传送的扫描,这取决于所期望的传输质量。因此,可以存在呈现所接收的包的不同方式,不管这些包是否代表图像数据。
根据第一通常示例,首先访问将被读取的帧中的包的长度。该信息可以在本文中公开的辅助数据中(例如报头或标记信息中)找到。然后读取根据第一长度信息的第一包(其中第一长度信息对应于第一包的长度)。随后第一包被解码和/或压缩。然后可以过滤第一包的数据(这涉及一个或多个缩放和/或平滑化操作)。然后可以在接收装置上显示(过滤的)第一包的数据。然后读取根据第二长度信息的第二包(其中第二长度信息对应于第二包的长度)。这可以在解码、解压、过滤和/或显示第一包时发生。随后,对第二包进行解码和/或解压缩。这可以在过滤和/或显示第一包时发生。然后可以过滤第一包的数据(这涉及一个或多个缩放和/或平滑化操作)。这可以在显示第一包时发生。然后可以在接收装置上显示(过滤的)第二包的数据,对于剩余的接收包依次类推。
根据第二通常示例,连续地读取包流。基于例如通过使用包长度或位置或标记列表,或者通过具有预定长度的包(其在本文中可以包括在所公开的辅助数据中)对包已被读取的检测,每个读取的包可以被解码、解压缩、过滤和/或显示。
对于第一通常示例和第二通常示例二者,包可以包括来自多于一个单独多媒体内容文件的数据。数据的显示可以包括在接收装置的屏幕上的不同位置显示多媒体内容的单独文件。
根据以上内容,接收装置将保持多媒体内容的不完整版本(例如不完整的JPEG渐进图像),可替换地,具有与之关联的额外元数据。针对多媒体内容使用渐进格式的一个理由是,它可以直接附加传入的数据。例如,可以包括元数据以用来提供当前包位于包流中何处的信息。这样的元数据可以包括系数索引以及宏块或数据单元索引。利用这种系数索引以及宏块或数据单元索引,可以获得有关原始多媒体文件的多少信息已被传输的信息。这两个参数还可以用来给出进度估计,而不是依赖于待传输的多媒体内容的文件尺寸,因为文件尺寸本身并不传递关于实际已传输原始多媒体文件的多少数据的信息。还可以在多媒体文件的包的末端附加尾部,以使原始多媒体文件是渐进的,使得可以利用允许渐进文件格式的任意应用来打开。进一步地,如果上传/下载处理被中断,则接收装置和/或存储装置可附加这样的尾部以使多媒体内容符合多媒体内容的文件格式。例如,接收装置可以存储有关流在多媒体文件中的何处停止的元数据,以使得将来可以恢复。
在接收装置处保持多媒体内容的渐进可解码版本,以及能够递送任意尺寸的缩略图的要求,可能需要另外的考虑。具体地,在多媒体内容已被上传到接收装置后,另一接收装置可请求按请求的大小下载该多媒体内容。接收装置因而可保持静态的冗余数据,以使得系统可以针对任意种类的接收装置很好地进行缩放。服务器装置208因而可以被布置为实时递送所存储的多媒体内容的缩减版本,即所谓的现场缩减。这也被称为按需缩放。为了在这方面成功,缩减必须是高效的以使得开销可被忽略。为了达到此目的,可以采用多核技术来执行缩减中涉及的操作。
以上公开的操作可以要求对多媒体内容的快速操控,例如随机访问功能。为了进一步的便利于此,可以使用不同的高速缓存级别。图3示出包括客户端装置100、服务器装置208和内容递送网络300的通信系统。内容递送网络300可以是图2的通信系统200的网络210的一部分。服务器设备208中提供了至少一个本地高速缓存302;在内容递送网络210服务中也存在至少一个高速缓存304,以及客户端装置100自身中也提供了至少一个高速缓存306。为了实现随机访问,可以分析多媒体内容,并且促进快速操控多媒体内容的特征被存储在(相应的)一个或多个多媒体内容文件中,临时存储在高速缓存存储器中,或者作为条目存储在数据库中,数据库中的条目可以指代多媒体内容文件。
当在多个处理器核或CPU上执行现场操作时,诸如对图像的缩放或操控,期望的是,管理操作的服务器方具有足够的容量来最低限度地保持将被操作的传入的数据队列。这需要过多的容量,因为传入的请求的性质很可能不是连续的而是具有其他静态属性。因而,期望的是,实现现场服务的系统还被配置为执行其他更低优先级的任务,该任务可以在任何时候被暂停,以使得该过多容量被合适地利用。这样的任务可以包括但不限于有关尺寸或质量的进一步的图像优化操作,或者用于实现高效分类、标记和/或搜索图像的元数据提取的图像分析。
为了进一步促进传送,渐进格式可以包括头部信息,其提供有关一个或多个渐进精化扫描的开始位的位置的信息(例如索引)。该一个或多个渐进精化扫描典型地被视为不大相关的包。该报头信息优选地仅存在于第一个被传输的包中。因此,单独从报头提供了有关渐进精化扫描的结构的信息。从而可以轻易地访问任意渐进精化扫描。报头信息可以包括指向所有图像块的DC系数的指针,从而使得能够生成缩略图像。可替换地,报头信息可以包括DC系数自身。同样,报头信息可以包括指向图像块的至少第一AC系数的指针。这种报头信息可以在以上所述的节流处理中被利用,以便决定待传输的扫描在哪里开始和结束(即,无需分析整个文件)。
用于分析、提取和存储有关图像的这些特征的一系列方法在ScaladoAB的专利申请WO2005/050567、SE0303085-5和SE0303204-2中被描述,通过引用将其全文合并于此。为了提取促进图像的快速操控的特征,这些特征可以在一个或多个目标图像和/或源的压缩期间被提取,或者这些特征可以在已压缩图像的后压缩分析期间被提取。在使用基线JPEG压缩或者诸如渐进JPEG压缩的类似压缩方法来压缩多媒体内容的情况下,便利对取得和存储的图像进行快速操控的特征可以是以下项的任意一个或任意组合:最小编码单元(MCU)指示器,MCU是图像的最小图像块;一个或多个数据单元(DU)的指示器,数据单元是代表以下信息的数据块:MCU的一个信道或颜色分量、所取得的MCU和/或所取得的数据单元的一个或多个颜色分量的一个或多个绝对或相对DC系数、一个或多个数据单元的位数(就是所谓的DU长度),或者数据单元之间的位数,或者数据单元的具体系数之间的位数。因为需要以各种尺度提取和/或分析特征,所以这些技术可以用来高效地执行这样的数据提取。
如上所述,可以在编码位流中引入一个或多个标记(本文以字母M表示)以便于访问特定的传输位帧、MCU等。标记M可以是具有已知的填充模式的JPEG标记,其后面跟着序列FF(其中FF是16进制符号)和不等于00(16进制符号)的字节,并且其中填充模式唯一地确定填充位的数量(即,通过观察序列FF之前的字节可以唯一地确定填充位的数量)。
如果待发送的多媒体内容的文件代表JPEG图像,并且文件的JPEG压缩方案利用相同的霍夫曼表和量化表,则FFxx(其中xx是不等于0的字节)形式的标记M可以具有如下结构:
<带有其后为1位的单个0位的位流填充,直到与字节边界对齐为止>
<带有1位的位流填充直到与下一字节边界对齐为止>
<带有额外1个1位或非全0位序列的位流填充>
因此,在二进制符号中,对于具有8位的字节可以表示为:
xxxxxxx0|11111111|1xxxxxxx
xxxxxx01|11111111|1xxxxxxx
xxxxx011|11111111|1xxxxxxx
xxxx0111|11111111|1xxxxxxx
xxx01111|11111111|1xxxxxxx
xx011111|11111111|1xxxxxxx
x0111111|11111111|1xxxxxxx
01111111|11111111|1xxxxxxx
其中,“|”代表字节边界,并且每个x代表可以为0或1的数据位。这不同于JPEG中的缺省标记FF00。00xx形式的标记M可以具有以下结构:
<带有其后为0位的单个1位的位流填充直到与字节边界对齐为止>
<带有0位的位流填充直到与下一字节边界对齐为止>
<带有另外的一个0位或非全1位序列的位流填充>
因此,在二进制符号中为:
xxxxxxx1|00000000|0xxxxxxx
xxxxxx10|00000000|0xxxxxxx
xxxxx100|00000000|0xxxxxxx
xxxx1000|00000000|0xxxxxxx
xxx10000|00000000|0xxxxxxx
xx100000|00000000|0xxxxxxx
x1000000|00000000|0xxxxxxx
10000000|00000000|0xxxxxxx
此外,FFxx(或00xx)形式的标记可以用于将额外的数据(即,辅助信息序列)编码成标记之后的预定数量的位的位流中的目的。例如,以下结构(以二进制符号)允许信息分别被编码成三位yyy(其中yyy不等于000):
xxxxxxx0|11111111|yyyxxxxx
xxxxxx01I11111111|yyyxxxxx
xxxxx011|11111111|yyyxxxxx
xxxx0111|11111111|yyyxxxxx
xxx01111|11111111|yyyxxxxx
xx011111|11111111|yyyxxxxx
x0111111|11111111|yyyxxxxx
01111111|11111111|yyyxxxxx
或者(在yyy不等于111的情况下,即,其中预定位yyy中的至少一个等于1)
xxxxxxx1|00000000|yyyxxxxx
xxxxxx10|00000000|yyyxxxxx
xxxxx100|00000000|yyyxxxxx
xxxx1000|00000000|yyyxxxxx
xxx10000|00000000|yyyxxxxx
xx100000|00000000|yyyxxxxx
x1000000|00000000|yyyxxxxx
10000000|00000000|yyyxxxxx
本领域技术人员所理解的,序列yyy的长度不限于3位而是可以选择不同的位。位序列yyy可以指示所需标记之后的字节数,以便在显示器上呈现一部分图像。还可以将位(或字节)数指示给下一个或前一个标记。
标记M的结构还可以被反转,从而形成xxFF或xx00形式的标记(其中xx是不等于0的字节)。标记M的一个示例具有以下结构:
<带有单个1位的位流填充>
<带有0位的位流填充直到与字节边界对齐为止>
<带有1位的位流填充直到与下一字节边界对齐为止>
xxxxxxx1|11111111|xxxxxxxx
xxxxxx10|11111111|xxxxxxxx
xxxxx100|11111111|xxxxxxxx
xxxx1000|11111111|xxxxxxxx
xxx10000|11111111|xxxxxxxx
xx100000|11111111|xxxxxxxx
x1000000|11111111|xxxxxxxx
10000000|11111111|xxxxxxxx
该标记因此成为xxFF,其中xx是不等于0的字节。
在位流包括等于填充模式字节之后的预定位序列的已存在序列的情况下,可以要求所谓的非标记(non-marker)也被插入到代表多媒体内容的位流中,以便区别“自然出现的”标记序列和“真正的”标记。“自然出现”的标记序列可以用非标记来进行标记。本示例的非标记因此成为00FF。因此,00应当被插在每个自然出现的FF序列之前。在JPEG环境下,xxFF形式的标记可以要求在引入标记M之前将位流中出现的FF00切换成00FF。
如果不同的非标记是用户,例如FFFF,即,针对自然出现的FF,在FF之前插入FF。因此,标记的另一示例为:
xxxxxxx0|11111111|xxxxxxxx
xxxxxx01|11111111|xxxxxxxx
xxxxx011|11111111|xxxxxxxx
xxxx0111|11111111|xxxxxxxx
xxx01111|11111111|xxxxxxxx
xx011111|11111111|xxxxxxxx
x0111111|11111111|xxxxxxxx
01111111|11111111|xxxxxxxx
可以通过将1颠倒为0(反之亦然)以形成类型xx00(其中0000是非标记)的标记来形成可替换的标记:
xxxxxxx1|00000000|xxxxxxxx
xxxxxx10|00000000|xxxxxxxx
xxxxx100|00000000|xxxxxxxx
xxxx1000|00000000|xxxxxxxx
xxx10000|00000000|xxxxxxxx
xx100000|00000000|xxxxxxxx
x1000000|00000000|xxxxxxxx
10000000|00000000|xxxxxxxx
0和1的对称性从以上提供的标记结构可被理解,并且根据以上内容,本领域技术人员能够形成类似的标记。技术人员还理解,尽管以上公开的标记在紧接在包括填充模式的字节之后的字节中包含全0位或全1位序列,但是该字节可以包括任意预定的位序列。例如,对于5位的“字节尺寸”,作为对包含00000或11111的替代,该字节可以包括预定的序列10110等。因此,还应理解,“字节尺寸”不必为8位,而是可以更小或更大。例如,可以使用3位的“字节尺寸”,其中非标记将是000|111并且标记具有如下结构:
xxxxxxx1|111|xxxxxxxx
xxxxxx10|111|xxxxxxxx
xxxxx100|111|xxxxxxxx
甚至更通常的标记可以具有以下结构之一:或者为<任意填充>M<描述填充量的位序列,不是全0>,其中M优选地是十六进制符号的FF,或者为<任意填充>M<描述填充量的位序列,不是全1>,其中M优选地是十六进制符号的00。接下来跟随的是具有这些结构的标记的示例。对于所有示例,任意填充是100100(二进制符号)。根据第一示例,描述填充量的位序列描述了完整的填充模式:
…|xx100100|11111111|“完整填充模式为10100100”xx|…
根据这些类型标记的第二示例,描述填充量的位序列描述了先前的填充:
…|xx100100|11111111|“当前填充为100100”xx|…
根据这些类型标记的第三示例,描述填充量的位序列描述了先前的填充中的位数:
…|xx100100|11111111|“当前填充为6位”xx|…
根据这些类型标记的第四示例,描述填充量的位序列是空的(并且在十六进制形式中不等于00的xxxxxxxx):
…|xx100100|11111111|xxxxxxxx|…
对于第四示例,可能会或可能不会对标记之前的位正确地解码(在此情况下,标记是十六进制符号的FF)。这取决于所使用的实际压缩方案。该类型的标记因此在以下情况下是有利的:标记之前的位代表低重要性的数据,例如,最不重要的位和/或JPEG环境中的AC系数。
以上公开的标记可以用在这样的位流中,其中已根据以下说明性示例对图像“图像1”和“图像2”进行编码,其中来自至少两个图像的扫描(即代表诸如较高频率的增加分辨率信息的位)可以以高效的方式进行交织,继续进行下一个扫描,以此类推,从而允许接收装置将单独的图像发送到分离的流(导致文件或对解码器的输入等)而无需理解单独图像自身的打包或压缩。
示例:<代表320×240像素的“图像1”的DC值的位>M<代表256×256像素的“图像2”的DC值的位>M<…>M<代表320×240像素的“图像1”的第一和第二AC值的位>M<代表256×256像素的“图像2”的第一和第二AC值的位>M<…>M<代表320×240像素的“图像1”的第三至第五AC值的位>M<代表256×256像素的“图像2”的第三至第五AC值的位>M<…>M。
接收装置知晓三个图像正在被传送。它接收流并将其与第一流关联直到识别第一标记为止。通过分析标记周围的填充,接收装置能够确定有多少位应当从所接收的位流中被删除,因为填充不是数据本身的一部分。接收装置随后能够将接下来的位与第二流关联,直到识别第二标记为止,并且以相似的方式确定有多少位应当从所接收的位流删除。重复该过程直到接收第三标记为止。在第三标记之后,第三标记之后的位可以被附加到第一流,并且可以重复该过程直到接收了所有数据为止。一旦标记已被接收,还可以将信号传送到另一子系统,以通知已经接收新的完整信息集合。通过这样的方式,子系统例如可以通知显示子系统其可以以相较于当前显示的数据稍高的质量数据重新呈现图像之一。
可以通过在查找表中执行查找来实现对填充的确定,其中已预先计算填充模式的所有组合,得到用于所使用的“字节尺寸”(例如8位、16位、4位、7位等)的尺寸的任意查找的多个位。确定填充的另一方式是根据标记类型在填充自身的位模式上进行分析,对前导或后续的0或1计数直到遇到1或0为止。
虽然已在图像压缩环境中公开了以上标记,但是标记通常允许具有通常文件格式的通常文件内容的分离,以使得文件的内容可以被分成分离的文件。标记的必要和充分条件可以是:在文件的位流中引入一个或多个标记(和非标记)不会损坏对通过位流表示的文件进行的解码。尽管是有利的,但是标记不必进一步基于将被拆分的文件的实际内容(或者文件的实际文件类型)。
进一步地,例如,期望的是对存储在服务器装置上的图像执行缩放和全景(pan)操作。为了提供这样的操作而无需要求完整的全尺寸图像被下载到客户端装置,该客户端装置可以请求将特定尺寸和缩放因子的图像瓦片(tile)下载到该客户端装置。为了实现这种图像瓦片的快速下载,可以利用以上公开的用于快速图像操控的标记和方法。在此情况下,还期望的是,服务器具有从客户端所请求的原始图像提取的瓦片的传送高速缓存,因此具有类似(和可能)需要的下一客户端将使得这种瓦片已经是可用的。
缩略图查看和拼接(stitching):使用渐进上传,可以同时发送若干渐进流。例如,如果100个JPEG图像将被从存储装置上传到接收装置,而不是以串行的方式依次上传图像,渐进上传用于并行地上传每个图像的少许。这对于终端用户是有益的,他们可以选择例如在仅上传所有100个图像的全部数据的10%之后浏览所有图像的缩略图表示。如果需要,用户例如可以在存储装置与接收装置具有宽带连接的情况下选择继续该上传处理直到已经发送了100%的数据为止。
可以使用超文本传输协议(HTTP)将包从存储装置发送到接收装置。这样的协议在本领域是已知的。当请求小缩略图时,每个HTTP请求的开销可以比传输本身要慢。因而,有必要将多媒体内容的若干缩略图版本拼接成一个大文件,并在单个HTTP函数调用中将其发送。这可以通过连接若干多媒体内容文件并提供额外的报头来实现,该额外的报头提供有关已连接的多媒体内容的单独多媒体内容文件都在何处开始和结束的信息。该拼接可以在实际图像域中(即通过将图像逐像素地拼接在一起以成为一个复合图像)或者在文件域中(即,通过将不同文件的字节拼接在一起以成为一个复合文件)执行。针对缩略图图像典型地在图像域中执行拼接,而针对全尺寸(即全分辨率)图像典型地在文件域中执行拼接。在图像域中,待拼接的所有图像可以首先被组织成图像带,即,其中所有图像都在像素珊格上被彼此相邻放置。根据实施例,这可以要求沿该条带的所有图像都具有一个共同的尺寸。这里,假设允许旋转图像;例如,具有32×64像素尺寸和64×128像素尺寸的图像分别具有共同的尺寸64像素。如果沿该条带的所有图像不是具有一个共同的尺寸像素,则可以使用填塞(stuffing)(例如通过插入黑像素)来增加不满足该共同尺寸准则的图像的水平和/或垂直尺寸。随后,可以通过首先形成条带中所有图像的共同复合图像并且然后将该共同的复合图像编码并存储在单个文件(例如一个JPEG文件)中,来拼接条带中的图像。可替换地,可以在文件域中将图像拼接在一起。在文件域中,可以通过首先形成作为多图片对象(MPO)的一个或多个容器并且然后对该MPO文件进行编码和存储,来将图像拼接在一起。使用MPO格式从而使得能够将不同尺寸的图像拼接在一起。以上方法在以下情况下尤其有利:其中接收装置仅能(或擅长)解码标准图像格式,并选择待显示的区域。
所公开的嵌入式标记允许拼接不同尺寸的图像并且在一个位流中发送不同的扫描量。
因此,如果多个源图像的渐进JPEG数据的扫描被复用或连接,则不需要节流。这可以导致需要发送更少的开销信息。为了实现此目的,可以通过上传装置或已经向其上传了单独图像的装置来生成大的复合渐进JPEG图像(即,将许多单独的图像拼接在一起的大图像)。通过使用报头信息,另外的装置于是可以访问并提取与单独图像对应的区域以用于存储或(单独)显示。从而,可以将一个复合渐进JEPG图像用作源图像,以便在网页上显示多个单独的缩略图图像。
总之,公开了用于上传图像到远程服务器和从远程服务器下载图像并用于查看所述图像的手段。上传图像到远程服务器和从远程服务器下载图像是并行而非串行的。这意味着,例如,代替将图像作为顺序的字节流传输,这些图像被布置在图像数据扫描中以使得可以比考虑整个图像数据的情况更早的(并且以较低质量)浏览所上传/下载的图像。像在串行的情况下那样,可以在任何时候中断上传/下载处理,并且仍然浏览所接收的图像数据。同样,可以在将来重新启动上传/下载处理。
以上主要参考特定示例描述了本发明。例如,已在客户端-服务器场景下公开了本发明。服务器可以是网络云或在网络云中,并且客户端可以是具有有限带宽的移动装置。然而,本领域技术人员容易理解的是,除以上公开的其他示例同样可以在本发明的范围内,如所附专利权利要求限定的那样。
根据一个场景,前述客户端装置的行为还可以实现在服务器中。进一步地,可以在两个相似的装置之间通过任意合适的网络进行传送,例如互联网、WLAN和蓝牙。

Claims (23)

1.一种用于在接收装置和存储装置之间同步多媒体内容的方法,包括:
-在存储装置处提供多媒体内容;
-将所述多媒体内容分成至少两个包;
-根据所述至少两个包中的数据并且通过使用相关性准则,将所述至少两个包分类成相关的包和至少一个不大相关的包;以及
-将所述相关的包从所述存储装置传送到所述接收装置。
2.根据权利要求1所述的方法,进一步包括:
-通过使用所述相关性准则,按相关性降序对所述至少一个不大相关的包进行排序;以及
-根据所述排序,将剩余的所述至少一个不大相关的包从所述存储装置传送到所述接收装置。
3.根据权利要求1所述的方法,其中,所述多媒体内容代表至少两个多媒体文件并且其中所述至少两个多媒体文件每个都被划分并分类成相关的包和至少一个不大相关的包,所述方法进一步包括:
-在传送任何所述至少一个不大相关的包之前,传送所述相关的包中的每一个。
4.根据权利要求1所述的方法,其中,所述多媒体内容代表第一和第二多媒体文件,并且其中,所述第一和第二多媒体文件每一个都被划分并分类成相关的包和至少一个不大相关的包,其中,在传送了所述第一多媒体文件的所述至少一个不大相关的包的至少一个之后,提供所第一和第二多媒体文件的第二个,所述方法进一步包括:
-在传送所述第一多媒体文件的剩余的所述至少一个不大相关的包之前,传送所述第二多媒体文件的所述相关的包。
5.根据权利要求1所述的方法,其中,将尾部附加到每个传送的包,所述尾部使得每个传送的包都能够在所述接收装置处被解码。
6.根据权利要求1所述的方法,其中,所述尾部包括关于被附加所述尾部的包的多媒体内容中的位置的信息。
7.根据权利要求1所述的方法,其中,所述相关的包包括实现对多媒体内容的预览的信息。
8.根据权利要求1所述的方法,其中,所述多媒体内容是渐进可解码的。
9.根据权利要求1所述的方法,其中,所述多媒体内容符合以下组中的至少一个标准:SPIHT、JPEG、JPEG渐进、JPEG2000、WebP和JPEGXR。
10.根据权利要求1所述的方法,其中,在所述多媒体内容不是渐进可解码的情况下,所述方法进一步包括:
-在划分所述多媒体内容之前,将所述多媒体内容转码成渐进可解码的表示。
11.根据权利要求1所述的方法,其中,所述至少两个包被通过标记来划分。
12.根据权利要求11所述的方法,其中,所述标记在第一字节中包括填充模式直到字节边界为止,并在紧随所述第一字节之后的第二字节中包括预定的位序列。
13.根据权利要求12所述的方法,其中,通过非标记来标记位流中已存在的序列,所述序列表示所述多媒体内容等于所述预定的位序列。
14.根据权利要求12或13所述的方法,其中,通过全0序列或全1序列来限定所述预定的位序列。
15.根据权利要求11至14中任一项所述的方法,其中,所述第一字节的所述填充模式包括单个0位,之后为1位或之后为0位的单个1位,直到字节边界为止。
16.根据权利要求11-15中任一项所述的方法,其中,所述标记进一步在紧随所述第二字节之后的第三字节中包括额外的单个1位或0位。
17.根据权利要求11-16中任一项所述的方法,其中,所述标记之后紧随预定数量的位,所述预定数量的位代表辅助信息序列,并且其中所述预定数量的位中的至少一个等于1。
18.根据权利要求11-17中任一项所述的方法,其中,所述标记具有的格式等于十六进制符号的FFxx、00xx、xxFF或xx00。
19.一种接收装置,其包括用于执行根据权利要求1-16中任一项的方法所述的步骤并与所述接收装置关联的部件。
20.根据权利要求10所述的接收装置,其中,所述接收装置是网络云的成员。
21.一种存储装置,其包括用于执行根据权利要求1-16中任一项的方法所述的步骤并与所述存储装置关联的部件。
22.根据权利要求19所述的存储装置,其中,所述存储装置是移动电话。
23.一种包括软件指令的计算机程序产品,当被下载到计算机时,所述软件指令被配置为执行根据权利要求1-16中任一项所述的方法。
CN2011800456540A 2010-11-03 2011-10-31 渐进的多媒体同步 Pending CN103119592A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40962010P 2010-11-03 2010-11-03
US61/409,620 2010-11-03
PCT/SE2011/051296 WO2012060769A1 (en) 2010-11-03 2011-10-31 Progressive multimedia synchronization

Publications (1)

Publication Number Publication Date
CN103119592A true CN103119592A (zh) 2013-05-22

Family

ID=46024704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800456540A Pending CN103119592A (zh) 2010-11-03 2011-10-31 渐进的多媒体同步

Country Status (4)

Country Link
US (1) US9258354B2 (zh)
EP (1) EP2635983A4 (zh)
CN (1) CN103119592A (zh)
WO (1) WO2012060769A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020291B2 (en) 2012-08-31 2015-04-28 Hewlett-Packard Development Company, L.P. Resized image compression based on frequency content
JP6142833B2 (ja) * 2014-03-31 2017-06-07 ブラザー工業株式会社 電子機器
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10163193B2 (en) * 2015-12-28 2018-12-25 Facebook, Inc. Systems and methods for providing progressive images based on image features
US11228635B2 (en) * 2016-03-30 2022-01-18 Nec Corporation Information sharing method
US20210352347A1 (en) * 2020-05-08 2021-11-11 Synaptics Incorporated Adaptive video streaming systems and methods
US11785068B2 (en) 2020-12-31 2023-10-10 Synaptics Incorporated Artificial intelligence image frame processing systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174893A1 (en) * 2002-03-18 2003-09-18 Eastman Kodak Company Digital image storage method
CN1606880A (zh) * 2001-12-20 2005-04-13 皇家飞利浦电子股份有限公司 视频编码和解码方法及设备
CN101272587A (zh) * 2007-03-19 2008-09-24 展讯通信(上海)有限公司 一种视频渐进接收方法及应用其的视频彩铃接收方法
CN101273604A (zh) * 2005-09-27 2008-09-24 喷流数据有限公司 用于多媒体对象的渐进式传送的系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103357B2 (en) * 1999-11-05 2006-09-05 Lightsurf Technologies, Inc. Media spooler system and methodology providing efficient transmission of media content from wireless devices
WO2002048966A1 (en) * 2000-12-14 2002-06-20 Rtimage Inc. Three-dimensional image streaming system and method for medical images
US20020194603A1 (en) * 2001-06-15 2002-12-19 Jay H. Connelly Method and apparatus to distribute content using a multi-stage broadcast system
US20030005465A1 (en) * 2001-06-15 2003-01-02 Connelly Jay H. Method and apparatus to send feedback from clients to a server in a content distribution broadcast system
AUPS271002A0 (en) * 2002-05-31 2002-06-20 Canon Kabushiki Kaisha Embedding a multiresolution compressed thumbnail image in a compressed image file
US8775662B2 (en) * 2005-09-27 2014-07-08 Blackberry Limited System and method for progressive delivery of multimedia objects
US8316081B2 (en) * 2006-04-13 2012-11-20 Domingo Enterprises, Llc Portable media player enabled to obtain previews of a user's media collection
US8121417B2 (en) * 2007-03-19 2012-02-21 General Electric Company Processing of content-based compressed images
US8208006B2 (en) 2008-04-10 2012-06-26 Research In Motion Limited Method and system for progressive delivery and synchronization of discrete content in rich media services
US8285812B2 (en) * 2008-06-27 2012-10-09 Microsoft Corporation Peer-to-peer synchronous content selection
US20100268709A1 (en) * 2009-04-21 2010-10-21 Yahoo! Inc., A Delaware Corporation System, method, or apparatus for calibrating a relevance score

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606880A (zh) * 2001-12-20 2005-04-13 皇家飞利浦电子股份有限公司 视频编码和解码方法及设备
US20030174893A1 (en) * 2002-03-18 2003-09-18 Eastman Kodak Company Digital image storage method
CN101273604A (zh) * 2005-09-27 2008-09-24 喷流数据有限公司 用于多媒体对象的渐进式传送的系统和方法
CN101272587A (zh) * 2007-03-19 2008-09-24 展讯通信(上海)有限公司 一种视频渐进接收方法及应用其的视频彩铃接收方法

Also Published As

Publication number Publication date
EP2635983A4 (en) 2017-03-08
EP2635983A1 (en) 2013-09-11
US20140237083A1 (en) 2014-08-21
US9258354B2 (en) 2016-02-09
WO2012060769A1 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
CN103119592A (zh) 渐进的多媒体同步
CN103188522B (zh) 提供与传送复合浓缩串流的方法以及系统
US10171541B2 (en) Methods, devices, and computer programs for improving coding of media presentation description data
CN102771119A (zh) 用于视频感知的屏幕捕获和压缩的系统和方法
EP2477415A2 (en) Method and system of encoding and decoding media content
CN104243923B (zh) 一种图片处理及图片预览的方法及系统
CN105025094A (zh) 多屏互动方法及系统
CN105282124A (zh) 基于xmpp协议的渐进式图片的传输方法及呈现方法
KR100946694B1 (ko) 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법
US9276986B2 (en) Systems, methods, and apparatuses for facilitating remote data processing
CN101354718B (zh) 确定文件包资源标识信息的方法及装置
CN105721810B (zh) 一种图像压缩存储方法及装置
CN112995134B (zh) 一种三维视频流媒体传输方法与可视化方法
JP6323461B2 (ja) サーバ装置、クライアント装置、情報処理方法および記録媒体
KR101685932B1 (ko) 고기능 이미지 파일 및 이의 편집장치
US20220345772A1 (en) Image Selection Using Motion Data
KR101012206B1 (ko) 웹뷰어의 이미지 전송량 관리 시스템 및 그 방법
CN104219537B (zh) 视频数据处理的方法、装置及系统
WO2015052967A1 (ja) サーバ装置、クライアント装置、情報処理方法および記録媒体
KR101644858B1 (ko) 고기능 이미지 파일을 활용한 이미지 검색 시스템
KR20220042930A (ko) 컨텐츠 목록 제공 방법, 장치 및 컴퓨터 프로그램
US9451275B2 (en) System and method for storing and moving graphical image data sets with reduced data size requirements
US9065881B2 (en) Image relay apparatus and image relay method
US10148984B2 (en) Terminal device, server device, data management system, and recording medium on which program is recorded
KR101646038B1 (ko) 이미지 파일을 활용한 분석 및 통계시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130522

RJ01 Rejection of invention patent application after publication