CN111699691A - 图像处理 - Google Patents

图像处理 Download PDF

Info

Publication number
CN111699691A
CN111699691A CN201880088544.4A CN201880088544A CN111699691A CN 111699691 A CN111699691 A CN 111699691A CN 201880088544 A CN201880088544 A CN 201880088544A CN 111699691 A CN111699691 A CN 111699691A
Authority
CN
China
Prior art keywords
quality
level
representation
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880088544.4A
Other languages
English (en)
Inventor
伊万·马基夫
巴拉兹·凯斯泰利
斯特吉奥斯·波拉瑞基斯
米歇尔·萨纳
罗伯特·艾丁格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V-Nova Ltd
V Nova International Ltd
Original Assignee
V-Nova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by V-Nova Ltd filed Critical V-Nova Ltd
Publication of CN111699691A publication Critical patent/CN111699691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

解码第一压缩数据以获得图像在第一质量水平下的表示，所述表示被输出以进行显示。响应于预定触发事件，解码第二压缩数据以获得重构数据，并且所述重构数据被用来使用所述第一质量水平下的所述表示重构所述图像的一部分在更高的第二质量水平下的表示。输出所述图像的一部分的所述表示以便以所述第二质量水平进行显示。

Description

图像处理
背景技术
图像压缩是许多已知系统中的考虑因素。图像可以被压缩和编码，例如用于通过网络传输和/或用于存储在存储介质中。这种系统的一个示例是对作为网页上的媒体内容的图像进行接收、处理和/或显示。此类图像可以下载、处理和/或例如由在用户装置上运行的浏览器引擎进行渲染。
在这种系统中的考虑因素包括要下载的数据量、要执行的处理量、图像编码的效率、图像的所感知到的视觉质量、用户体验的质量以及使用的便利性等等。
在一些已知系统中，图像以多种不同的质量水平进行传输、存储、接收和/或处理。例如，除了图像的“全分辨率”版本之外，还可以存储图像的缩略图版本。
发明内容
在一些方面，提供了一种处理图像数据的方法，所述方法包括：获得图像在第一质量水平下的表示；获得重构数据，该重构数据可用于使用第一质量水平下的表示来重构图像在更高的第二质量水平下的表示；将第一质量水平下的表示和可用于导出重构数据的数据布置到压缩数据流中；以及输出所述压缩数据流以供装置进行处理，以使得装置能够重构第二质量水平下的表示。所述第一质量水平下的所述表示可包括缩略图图像。所述第一质量水平可包括第一图像分辨率，并且所述第二质量水平包括更高的第二图像分辨率。该方法还可包括经由网络输出压缩数据流。该方法可以由服务器系统执行。所述第一质量水平和所述第二质量水平可以是层次化图像处理布置的一部分。该方法还可包括：获得所述第一质量水平下的所述表示包括对所述第二质量水平下的表示进行下采样。获得重构数据还可包括：对所述第一质量水平下的所述表示进行上采样，以导出所述图像在第二质量水平下的初步表示；以及基于所述第二质量水平下的所述表示与所述第二质量水平下的所述初步表示之间的比较导出所述重构数据。该方法还可包括：获得另外的重构数据，所述另外的重构数据可用于使用所述第二质量水平下的所述表示重构所述图像在甚至更高的第三质量水平下的表示；以及将所述另外的重构数据布置到压缩数据流中，以使得装置能够重构第三质量水平下的表示。
在一些方面，提供了一种处理图像数据的方法，所述方法包括：接收第一压缩数据，所述第一压缩数据在被解码时可用于获得图像在第一质量水平下的表示；解码所述第一压缩数据以获得所述第一质量水平下的所述表示；输出所述第一质量水平下的所述表示以进行显示；并且响应于预定触发事件：解码第二压缩数据以获得重构数据，所述重构数据可用于使用所述第一质量水平下的所述表示重构所述图像的一部分在更高的第二质量水平下的表示；使用所述第一质量水平下的所述表示和所述重构数据重构所述第二质量水平下的所述表示；以及输出所述第二质量水平下的所述表示以进行显示。所述第一质量水平下的所述表示可包括缩略图图像。该方法还可包括：响应于预定触发事件，接收第二压缩数据。所述第一质量水平包括第一图像分辨率，并且所述第二质量水平可包括更高的第二图像分辨率。预定触发事件可包括接收到用户输入。所述预定触发事件可包括确定所述第一质量水平下的所述表示的渲染已完成。所述预定触发事件可包括确定已接收到第二压缩数据。所述预定触发事件可包括确定已经使用第二压缩数据导出了重构数据。该方法可以在用户装置处执行。所述预定触发事件可包括确定所述用户装置的操作特性。该方法还可包括：解码第三压缩数据以导出另外的重构数据，所述另外的重构数据可用于使用所述第二质量水平下的所述表示重构所述图像的一部分在甚至更高的第三质量水平下的表示；使用所述第二质量水平下的所述表示和所述另外的重构数据重构所述第三质量水平下的所述表示；以及输出所述第三质量水平下的所述表示以进行显示。
可响应于另外的预定触发事件解码所述第三压缩数据。所述另外的预定触发事件可包括显示所述第二质量水平下的表示。所述另外的预定触发事件可包括重构所述第二质量水平下的表示。所述第三压缩数据可与所述第二压缩数据并行获得。输出图像的表示以进行显示可包括由浏览器引擎对所述图像的表示进行渲染。重构图像在第二质量水平下的表示可包括：对所述图像在所述第一质量水平下的所述表示进行上采样，以导出所述图像在第二质量水平下的初步表示；以及将所述初步表示与所述重构数据进行组合以获得图像在第二质量水平下的表示。
在一些方面，提供了一种处理图像数据的方法，所述方法包括：在装置处解码第一压缩数据以获得图像在第一质量水平下的第一表示；确定所述第一质量水平是否与一个或多个阈值质量水平具有预定关系，所述一个或多个阈值质量水平是基于与所述装置相关联的显示特性；响应于确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系：解码第二压缩数据以获得重构数据，所述重构数据可用于使用所述第一表示重构所述图像在更高的第二质量水平下的第二表示；使用所述第一表示和所获得的重构数据重构所述第二表示；以及输出所述第二表示以便以所述第二质量水平进行显示；并且响应于确定所述第一质量水平与所述一个或多个阈值质量水平不具有所述预定关系，输出所述第一表示以便以所述第一质量水平进行显示。该方法还可包括：确定所述第二质量水平是否与所述一个或多个阈值质量水平具有另外的预定关系；并且响应于确定所述第二质量水平与所述一个或多个阈值质量水平具有所述另外的预定关系：解码第三压缩数据以获得另外的重构数据，所述另外的重构数据可用于使用所述第二表示重构所述图像在甚至更高的第三质量水平下的第三表示；使用所述第二表示和所述另外的重构数据重构所述第三表示；以及输出所述第三表示以便以所述第三质量水平进行显示。所述显示特性可包括装置的操作特性。所述操作特性可涉及装置的屏幕大小。所述操作特性可涉及装置的取向。所述操作特性可涉及装置的装置类型。所述操作特性可涉及所述装置的处理和/或显示能力。所述显示特性可包括所述装置的屏幕上的显示窗口的大小。所述显示窗口的大小可使用超文本标记语言(HTML)以ECMAScript规范定义。该方法可包括确定一个或多个阈值质量水平。该方法可包括确定显示特性。该方法可包括：响应于确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系，接收第二压缩数据。
在一些方面，提供了一种处理图像数据的方法，所述方法包括：接收第一压缩数据，所述第一压缩数据在被解码时可用于获得图像在第一质量水平下的表示；解码所述第一压缩数据以获得所述第一质量水平下的所述表示；使所述第一质量水平下的所述表示以所述第一质量水平显示；解码第二压缩数据以获得重构数据，所述重构数据可用于将所述第一质量水平下的所显示的表示的至少一部分增强到更高的第二质量水平；以及使用所述重构数据来将所述第一质量水平下的所显示的表示的所述至少一部分增强到所述第二质量水平。所述第一质量水平可包括第一图像分辨率，并且所述第二质量水平包括更高的第二图像分辨率。可在所述第一质量水平下的所述表示被显示之后解码所述第二压缩数据。可响应于发送到服务器系统的请求而从所述服务器系统接收所述第二压缩数据。
在一些方面，提供了一种处理图像数据的方法，所述方法包括：接收第一压缩数据，所述第一压缩数据在被解码时可用于获得图像在第一质量水平下的表示；解码所述第一压缩数据以获得所述第一质量水平下的所述表示；显示所述第一质量水平下的所述表示；解码第二压缩数据以针对所述图像的所选目标区域获得重构数据，所述重构数据可用于使用所述第一质量水平下的所述表示重构所述图像的所述目标区域在更高的第二质量水平下的表示；使用所接收的重构数据重构所述图像的所述目标区域在所述第二质量水平下的所述表示；以及显示所述图像的所述目标区域在所述第二质量水平下的所述表示。该方法可由浏览器引擎执行，并且其中目标区域的表示可以显示在网页上。该方法还可包括选择图像的目标区域。可响应于预定触发事件接收和/或解码所述第二压缩数据。预定触发事件可包括接收到用户输入。所述预定触发事件可涉及使用装置的图像缩放或图像裁剪功能。图像的目标区域可以对应于显示器的可见部分。图像的目标区域可以对应于用户的注视位置。可以基于用户输入来选择图像的目标区域。可以基于装置的操作特性来选择图像的目标区域。装置的操作特性可涉及装置的显示特性。该方法还可包括：解码第三压缩数据以针对所述图像的另外的区域获得另外的重构数据，所述另外的重构数据可用于重构所述图像的所述另外的区域在另外的质量水平下的表示；使用所接收的另外的重构数据重构所述图像的所述另外的区域在所述另外的质量水平下的所述表示；以及显示所述图像的所述另外的区域在所述另外的质量水平下的所述表示。另外的质量水平可高于第二质量水平。所述另外的质量水平可高于所述第一质量水平并低于所述第二质量水平。
在一些方面，提供了一种处理图像数据的方法，该方法包括：获得一组重构数据元素，所述一组重构数据元素可用于使用图像在较低的第二质量水平下的表示重构所述图像在第一质量水平下的表示，所述一组重构数据元素中的每个重构数据元素对应于所述第一质量水平下的所述表示中的图像元素；接收对经编码数据的期望输出大小的指示；至少基于所接收的指示导出用于对所述一组重构数据元素中的每一个进行编码的数据速率目标；根据相应的所导出的数据速率目标对所述一组重构数据元素中的每一个进行编码以获得所述经编码数据；以及输出所述经编码数据。可基于用于对所述一组重构数据元素进行编码的平均数据速率目标来导出用于对所述一组重构数据元素中的每一个进行编码的数据速率目标。平均数据速率目标在给定时间段内可为恒定的。阈值质量水平中的一个或多个可基于不同的图像分辨率、目标区域或解码器装置属性。所述阈值质量水平中的一个或多个可基于不同的图像内容类别或基于针对不同质量水平的每图像质量度量值，其中在所述图像被装置请求之前或并非在所述图像被装置请求之前，在服务器或解码装置处确定所述类别或度量。
在一些方面，提供了一种方法，其中在确定目标区域或触发事件之后，消息被传递到服务器，所述消息使所述服务器做好准备以允许解码器针对每个更高质量水平仅接收压缩数据的存在于所述服务器上的有限部分。
在一些方面，提供了一种方法，其中在确定目标区域或触发事件之后，消息被传递到服务器，所述消息使所述服务器致使编码器产生针对更高质量水平的修改后的压缩数据，从而将所述修改后的压缩数据的全部或所述修改后的压缩数据的导出数据速率目标的有限部分的大小考虑在内。可传递到所述服务器的所述消息使所述服务器致使所述编码器产生优先地将数据速率分配给重构数据元素内的某些区域的修改后的压缩数据，以便赋予目标区域比使用未修改的压缩数据所实现的准确度更高的准确度。
此外，在一些方面，提供了一种设备，所述设备被布置成执行根据上述方法中任一项所述的方法。此外，提供了一种包括指令的计算机程序，所述指令在被执行时使设备执行根据上述方法中任一项所述的方法。
附图说明
图1示出了与常规技术相比使用静态图像的层次化可伸缩压缩和解压缩的示例；
图2示出了与常规技术相比使用静态图像的层次化可伸缩压缩和解压缩的示例；并且
图3示出了使用静态图像的层次化可伸缩压缩和解压缩的另一示例。
具体实施方式
与一些已知技术相比，本文描述的示例涉及传输、接收、存储和/或处理与给定质量水平下的图像压缩相关联的相对少量的信息。
例如为了在网页上渲染和/或显示图像，与一些已知系统相比，本文描述的示例减少了用于下载图像的网络带宽量。
与一些已知系统相比，本文描述的示例提高了对图像数据进行编码的效率。
与一些已知系统相比，本文所述的示例通过减少网络带宽使用、通过减少网页等待时间和/或通过以相对较高的质量水平渲染图像，提高了用户体验的质量。
本文描述的某些示例涉及具有客户端-服务器关系的装置。例如，服务器系统可以经由数据通信网络与一个或多个客户端装置进行通信。数据通信网络的示例包括但不限于互联网、局域网(LAN)和广域网(WAN)。
在某些示例中，服务器系统获得图像在第一质量水平下的表示。可以基于图像在第二质量水平下的表示来导出第一质量水平下的表示。第二质量水平高于第一质量水平。如本文所述的质量水平可以涉及图像分辨率。质量水平的其他示例包括但不限于清晰度水平和量化水平。在一些示例中，所述第一质量水平和所述第二质量水平是层次化图像处理布置的一部分。这样的层次化图像处理可包括多个层，每个层对应于不同的质量水平。如本文所述，图像在给定质量水平下的表示可以指给定质量水平下的图像数据，例如像素数据。读者可参考英国专利申请GB1603727.7，其更详细地描述了层次化布置。GB1603727.7的全部内容通过引用并入本文。
所述第一质量水平下的所述表示可通过对所述第二质量水平下的表示进行下采样来获得。
在一些示例中，所述第一质量水平下的所述表示包括缩略图图像。在一些示例中，所述第一质量水平下的所述表示包括预览图像。
使用第一质量水平下的表示获得可用于重构图像在更高的第二质量水平下的表示的重构数据。重构数据是可用于基于图像在较低质量水平下的表示来重构图像在给定质量水平下的表示的数据。在一些示例中，通过对所述第一质量水平下的所述表示进行上采样以获得第二质量水平下的初步表示来导出重构数据。可以将第二质量水平下的初步表示与第二质量水平的“原始”表示(例如，要重构的表示)进行比较以获得重构数据。重构数据可包括一组重构数据元素。该一组重构数据元素中的每个重构数据元素可以对应于第二质量水平下的表示中的不同的图像元素，例如像素。
图像在第一质量水平下的表示和可用于导出重构数据的数据被布置到数据流中。可用于导出重构数据的数据可包括经编码重构数据。然后将数据流输出以供装置进行处理，以使得装置能够重构第二质量水平下的表示。该装置可包括解码器装置。该装置可包括显示装置。该装置相对于服务器系统可为远程的。该装置可包括用户装置。该装置可包括客户端装置。该装置可包括浏览器引擎，例如，网络浏览器引擎。该装置可包括网络浏览器。数据流可以经由数据通信网络输出。
在一些示例中，获得另外的重构数据。另外的重构数据可用于使用所述第二质量水平下的所述表示重构所述图像在第三质量水平下的表示。第三质量水平高于第二质量水平。同样，第三质量水平也高于第一质量水平。可以与第一质量水平下的表示以及用于重构第二质量水平下的表示的重构数据一起或除此之外还将另外的重构数据布置在数据流中。另外的重构数据使得装置能够重构第三质量水平下的表示。还可以获得附加的重构数据，以使得能够重构图像的不断增高的质量水平的表示。
这样，可用于导出图像在多个不同质量水平下的表示的数据可被包括在单个压缩数据流中。可以认为数据流代表与相同图像的不断增加的分辨率相对应的重构链。这与诸如JPEG之类的一些已知系统形成对比，在一些已知系统中，图像在不同质量水平下的表示作为单独的图像被有效地分开传输。例如，与图像的“全分辨率”版本相比，图像的缩略图或预览版本作为单独的JPEG文件传输。因此，与此类已知系统相比，传输、接收、存储和/或处理的数据量有所减少，因为图像的缩略图版本是“全分辨率”图像的重构链的一部分，而不是单独的文件。
客户端装置接收第一压缩数据，该第一压缩数据在被解码时可用于获得图像在第一质量水平下的表示。第一压缩数据包括经编码数据。可以经由压缩数据流(例如经由诸如互联网的网络)来接收第一压缩数据。在其他示例中，可以从本地存储器或其他存储装置接收或获得第一压缩数据。
客户端装置解码所述第一压缩数据以获得所述第一质量水平下的所述表示。然后，客户端装置输出第一质量水平下的表示以进行显示。例如，可以在显示屏上渲染第一质量水平下的表示。该表示可以由在客户端装置上运行的浏览器引擎来渲染。所述第一质量水平下的所述表示可包括缩略图图像或预览图像。
响应于预定触发事件，第二压缩数据流被解码以获得重构数据。在一些示例中，第二压缩数据与第一压缩数据是离散的。在其他示例中，第一压缩数据和第二压缩数据是压缩数据流的第一部分和第二部分。重构数据可用于使用第一质量水平下的表示重构图像的一部分在更高的第二质量水平下的表示。使用所述第一质量水平下的所述表示和经由第二压缩数据获得的重构数据重构所述第二质量水平下的所述表示。在一些示例中，对所述第一质量水平下的所述表示进行上采样，以导出所述图像在第二质量水平下的初步表示。然后将所述初步表示与所述重构数据进行组合以获得图像在第二质量水平下的表示。例如，可以将每个重构数据元素与初步表示的对应元素进行组合以获得所重构表示中的相应元素。然后输出所述第二质量水平下的所述表示以进行显示。例如，可以渲染第二质量水平下的表示。预定触发事件可以在输出第一质量水平下的表示以进行显示之后发生。这样，可以在输出第一质量水平下的表示以进行显示之后重构和/或输出第二质量水平下的表示。
在一些示例中，预定触发事件包括接收到用户输入。例如，当第一质量水平下的表示对应于缩略图图像时，客户端装置的用户可以点击所显示的缩略图图像，以触发图像的更高质量水平的表示的重构和显示。
在一些示例中，响应于预定触发事件，接收(例如下载)第二压缩数据。这样，直到触发事件发生，例如用户单击缩略图，才可以下载第二压缩数据。在给定时间段期间使用的带宽和/或下载的数据的量可因此得以减少。在其他示例中，第二压缩数据在预定触发事件之前被接收，但是仅在预定触发事件之后才被解码。因此，仅在触发事件发生时才使用与解码第二压缩数据相关联的处理资源。在一些示例中，在没有触发事件的情况下接收(例如下载)第二压缩数据。例如，可以通过使用预提取逻辑来接收和/或提取第二压缩数据。
在一些示例中，至少部分地与解码第一压缩数据和/或渲染第一质量水平下的表示并行地接收(例如下载)第二压缩数据。
在一些示例中，所述预定触发事件包括确定所述第一质量水平下的所述表示的渲染已完成。这样，可以在完全渲染第一质量水平下的表示之后执行对更高的第二质量水平下的表示的重构和/或显示。
在一些示例中，所述预定触发事件包括确定已接收到第二压缩数据。这样，可以响应于已经下载了可用于导出相关重构数据的数据来执行更高的第二质量水平下的表示的重构和/或显示。
在一些示例中，所述预定触发事件包括确定已经使用第二压缩数据导出了重构数据。这样，可以响应于已经解码了相关重构数据来执行更高的第二质量水平下的表示的重构和/或显示。
在一些示例中，所述预定触发事件包括确定所述客户端装置的操作特性。操作特性可包括显示特性。例如，所述操作特性可包括所述客户端装置的显示和/或处理能力。
在一些示例中，客户端装置解码第三压缩数据以导出另外的重构数据。另外的重构数据可用于使用所述第二质量水平下的所述表示重构所述图像的一部分在甚至更高的第三质量水平下的表示。
可响应于另外的预定触发事件解码所述第三压缩数据。在一些示例中，响应于另外的预定触发事件，接收第三压缩数据。在示例中，所述另外的预定触发事件包括显示所述第二质量水平下的表示。这样，在所述第二质量水平下的所述表示被显示之后才解码所述第三压缩数据。在示例中，所述另外的预定触发事件包括重构第二表示。可以串行地执行对数据流的解码以获得不同组的重构数据，即，与不同质量水平下的重构相对应的多组重构数据。在其他示例中，并行地获得和/或解码第一压缩数据和第二压缩数据。换句话说，解码第一压缩数据以获得用于重构第二质量水平下的表示的重构数据可以与解码第二压缩数据以获得用于重构第三质量水平下的表示的另外的重构数据并行地执行。就处理而言，并行地解码多组重构数据可比串行地解码多组重构数据更高效。
客户端装置可以使用第二质量水平下的表示和另外的重构数据来重构第三质量水平下的表示，并且可以输出第三质量水平下的表示以进行显示。
这样，客户端装置可以迭代地重构图像在逐步提高的质量水平下的表示。在替代示例中，客户端装置可以重构第三质量水平下的表示，而不必重构第二质量水平下的表示。在此类示例中可以使用第一质量水平下的表示和另外的重构数据而不使用第二质量水平下的表示来执行第三质量水平下的表示的重构。这样，客户端装置可以“访问”给定质量水平下的表示，而不必重构低于给定质量水平的每个质量水平下的表示。与逐步重构每个较低质量水平下的表示以“访问”给定质量水平下的表示的情况相比，在此类示例中可以减少处理量。
在一些示例中，装置接收第一压缩数据，该第一压缩数据在被解码时可用于获得图像在第一质量水平下的表示。装置解码所述第一压缩数据以获得所述第一质量水平下的所述表示。在一些示例中，装置输出第一质量水平下的表示以进行显示。以给定质量水平进行显示可包括以与给定质量水平对应的分辨率进行显示。
装置确定第一质量水平是否与一个或多个阈值质量水平具有预定关系。在一些示例中，预定关系包括第一质量水平小于一个或多个阈值质量水平。在一些示例中，预定关系包括第一质量水平等于一个或多个阈值质量水平。在一些示例中，预定关系包括第一水平小于或等于一个或多个阈值质量水平。
一个或多个阈值质量水平可以是包括多个质量水平的分层层次结构中的一个或多个特定质量水平。可以由装置确定一个或多个阈值质量水平。在一些示例中，一个或多个阈值质量水平由另一实体(例如，编码器)确定，并指示给装置。一个或多个阈值质量水平可以被认为是一种限制，不重构层次结构中超过该限制的另外的质量水平。
在一些示例中，使用多个阈值质量水平。多个阈值质量水平中的每一个可以对应于图像的多个区域或图块中的相应一个。例如，第一阈值质量水平可以应用于图像的第一部分，并且不同的第二质量水平可以应用于图像的第二部分。这样，可以将图像的不同区域重构为层次结构中的不同质量水平。
响应于确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系，解码第二压缩数据以获得重构数据。重构数据可用于使用第一质量水平下的表示重构图像的一部分在第二质量水平下的表示。然后使用所述第一质量水平下的所述表示和所接收的重构数据重构所述第二质量水平下的所述表示。输出所述第二质量水平下的所重构的表示以便以第二质量水平进行显示。响应于确定所述第一质量水平与所述一个或多个阈值质量水平不具有所述预定关系，输出第一质量水平下的表示以进行显示。在这种情况下，第二压缩数据不被解码，并且第二质量水平下的表示不被重构或输出以进行显示。这样，仅获得和使用了至多某一阈值质量水平的重构数据。在一些示例中，响应于确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系而接收第二压缩数据。
一个或多个阈值质量水平是基于与装置相关联的显示特性。
在一些示例中，显示特性包括装置的操作特性。操作特性可涉及客户端装置的屏幕大小。例如，可以基于装置的屏幕大小确定一个或多个阈值质量水平。对于具有较小屏幕大小的装置，一个或多个阈值质量水平可能较低。例如，第一装置可具有相对较大的屏幕大小，而第二装置可具有相对较小的屏幕大小。第一装置的一个或多个阈值质量水平可比第二装置更高。这样，与第二装置相比，第一装置重构图像的更高质量的表示。第二装置在解码或处理可用于重构更高质量的表示的数据时不会浪费处理资源或数据。
在一些示例中，操作特性涉及装置的取向和/或与装置相关联的显示器的取向。在一些示例中，操作特性涉及装置类型。例如，预定类型的装置(例如个人计算机)可能比另一预定类型的装置(例如移动电话)具有更高的阈值质量水平。在一些示例中，操作特性涉及所述装置的处理和/或显示能力。
在一些示例中，显示特性包括所述装置的屏幕上的显示窗口的大小。所述显示窗口的大小可使用在装置上运行的超文本标记语言(HTML)以ECMAScript规范定义。在一些示例中，大小是要显示的像素数。在其他示例中，大小是显示元素(例如浏览器窗口)的百分比或分数。装置可以例如基于ECMAScript脚本的内容来确定显示窗口的大小，并相应地确定一个或多个阈值质量水平。如果确定显示窗口的大小高于某个阈值，则可以确定第二压缩数据将被解码和/或第二质量水平下的表示将被重构。另一方面，如果显示窗口的大小低于某个阈值，则可以确定第二压缩数据将不被解码和/或第二质量水平下的表示将不被重构。与其中无论显示窗口的大小如何都重构第二质量水平下的表示的情况相比，不重构第二质量水平下的表示可以促进减少所显示的输出中的不期望的伪像。可以对第二质量水平下的表示进行下采样，以适合相对较小的显示窗口。对表示进行下采样可能会在输出中引入伪像或其他不良影响。这样，基于装置和/或显示特性自适应地解码和/或重构分层次地编码的图像可以提高输出质量并提高处理效率和/或减少数据使用。
显示特性的值的确定和/或一个或多个阈值质量水平的确定可以在服务器系统处和/或在装置本身处执行。在一些示例中，服务器系统确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系，并响应于此确定而将第二压缩数据传输到客户端装置。在其他示例中，客户端装置本身确定第一质量水平具有预定关系，并且将请求传输到服务器系统以使服务器系统将第二压缩数据传输到客户端装置。
这样，本文所述的示例使得图像质量和/或分辨率能够基于装置的一个或多个特性和/或用户使用的浏览器自动适应不同的用户。可以针对给定的客户端装置(例如，移动电话)确定最大质量水平。例如，所确定的最大质量水平可以对应于给定客户端装置能够显示的最大质量水平。因此，可以仅下载和/或处理可用于重构最高达并且包括针对给定客户端装置的所确定的最大分辨率的图像表示的重构数据。客户端装置不下载与高于针对客户端装置的最大分辨率的图像表示有关的压缩数据，从而减少下载的数据量(并因此减少网络带宽)，而不会影响用户体验。
在一些示例中，客户端装置确定所述第二质量水平是否与所述一个或多个阈值质量水平具有另外的预定关系。另外的预定关系可包括第二质量水平小于一个或多个阈值质量水平。响应于确定第二质量水平与一个或多个阈值质量水平具有另外的预定关系，解码第三压缩数据以获得另外的重构数据，所述另外的重构数据可用于使用第二质量水平下的表示重构图像在甚至更高的第三质量水平下的表示。然后使用所述第二质量水平下的所述表示和另外的重构数据重构所述第三质量水平下的所述表示。然后输出所述第三质量水平下的表示以便以第三质量水平进行显示。响应于确定所述第二质量水平与所述一个或多个阈值质量水平不具有所述另外的预定关系，不解码第三质量水平并且不重构第三质量水平下的表示。
在一些示例中，客户端装置接收第一压缩数据，该第一压缩数据在被解码时可用于获得图像在第一质量水平下的表示。客户端装置解码第一压缩数据以获得第一质量水平下的表示，并且使第一质量水平下的表示以第一质量水平显示。然后客户端装置解码第二压缩数据以获得重构数据，所述重构数据可用于将所述第一质量水平下的所显示的表示的至少一部分增强到更高的第二质量水平。使用重构数据将所显示的表示的至少一部分增强到第二质量水平。增强所显示的表示的一部分可包括对所显示的表示的一部分进行上采样，并将重构数据的重构元素与上采样的表示中的对应元素进行组合。
将表示从第一质量水平增强到第二质量水平有效地致使第二质量水平下的表示代替第一质量水平下的所显示的表示而被显示或叠加在其上。例如，可以在显示窗口中显示第一质量水平下的表示，并且随后可以在同一显示窗口中显示第二质量水平下的表示。
即使第一质量水平包括第一图像分辨率并且第二质量水平包括更高的第二图像分辨率，第一质量水平下的表示和第二质量水平下的表示也可以各自以相同的显示大小来显示。
在一些示例中，在显示第一质量水平下的表示之后接收重构数据。可响应于从客户端装置发送到服务器系统的请求而从所述服务器系统接收重构数据。
这样，在重构和/或渲染图像的更高质量的表示之前，将图像的较低质量的表示显示给观察者。在一些示例中，甚至在接收到可用于导出更高质量的表示的数据之前，显示较低质量的表示。
在一些示例中，客户端装置解码第三压缩数据流以获得另外的重构数据。另外的重构数据可用于将第二质量水平下的所显示的表示增强到甚至更高的第三质量水平。在获得另外的重构数据之后，客户端装置将第二质量水平下的所显示的表示增强到第三质量水平，从而得到第三质量水平下的所显示的表示。第三质量水平下的所显示的表示有效替代第二质量水平下的所显示的表示。
还可以接收一组或多组附加的重构数据，每组附加的重构数据对应于图像在相对于第三质量水平更高的一个或多个质量水平下的表示。
这样，可以使用连续组的重构数据以逐步更高的质量水平渲染图像。这与等待下载、解码和/或渲染图像在最大质量水平下的表示(在这之前不显示图像的其他表示)形成对比。在带宽受限的情况下，例如，当通过蜂窝网络接收数据时，等待接收、解码和渲染图像的“全分辨率”版本可能会花费相对较长的时间。逐步渲染允许用户在已处理“全分辨率”版本之前“看到”显示的图像。因此，与不进行逐步渲染的情况相比，改善了用户体验。
根据分层层次结构执行图像重构实现了以相对精细的粒度级别进行逐步渲染，因为可以针对分层层次结构的每个级别依次重构和渲染图像的表示。例如，可以使用具有6或7个质量水平的分层层次结构。从分层层次结构的底部开始，可以重构质量逐步提高的表示。以相对精细的粒度级别执行逐步渲染改善了用户体验。
在一些示例中，浏览器引擎显示图像在第一质量水平下的表示。例如，浏览器引擎可能正在客户端装置上运行。可以例如基于来自浏览器的请求从服务器系统接收第一质量水平下的表示。该表示是从第一压缩数据获得的。该表示可以显示在网页上。例如，图像可包括由超文本标记语言(HTML)描述的网页的内容的一部分。
对第二压缩数据进行解码以针对图像的所选目标区域获得重构数据。所选目标区域可包括一个或多个图像图块。重构数据可用于重构图像的目标区域在更高的第二质量水平下的表示。
使用所接收的重构数据以第二质量水平重构图像的目标区域。然后，浏览器引擎在网页上显示目标表示在第二质量水平下的表示。
在一些示例中，目标区域由浏览器引擎和/或运行浏览器引擎的客户端装置选择。目标区域可以对应于网页的可见部分。这样，可以仅下载、解码和/或重构图像的“屏幕上”部分。这与下载和/或解码整个图像(包括不可见的区域)的比较情况相比，涉及较少的数据和/或较少的处理。在一些示例中，基于浏览器引擎的操作特性来选择和/或基于运行浏览器引擎的装置的操作特性来选择图像的目标区域。操作特性可涉及装置的显示特性。
在一些示例中，响应于预定触发事件，接收第二压缩数据。在一些示例中，响应于预定触发事件，解码第二压缩数据。预定触发事件可包括接收到用户输入。在一些示例中，预定触发事件涉及在浏览器引擎上使用图像缩放功能。例如，可以以第一质量水平整体显示相对较大的图像的表示，然后用户可以选择“放大”图像的特定区域。在这种情况下，仅以更高的第二质量水平重构图像的所选区域。
在一些示例中，对第二压缩数据进行解码以针对图像的另外的区域获得另外的重构数据。图像的另外的区域可以与图像的目标区域不同，可以是目标区域的一部分，或者可以与目标区域重叠。另外的重构数据可用于重构图像的另外的区域在另外的质量水平下的表示。在一些示例中，另外的质量水平高于第二质量水平。例如，可以以最高质量水平显示另外的区域，可以以中间质量水平显示目标区域，并且可以以最低质量水平显示图像的其余部分。在其他示例中，另外的质量水平低于第二质量水平。例如，所述另外的质量水平可介于所述第一质量水平和所述第二质量水平之间。
尽管以上示例是在运行网页的浏览器引擎的上下文中描述的，但是所描述的方法也可以替代地在应用程序的上下文中执行，例如可下载的应用程序、用户界面、操作系统或能够使图像在装置上显示的任何其他装置。
在一些示例中，编码装置获得一组重构数据元素，该一组重构数据元素可用于使用图像在第一质量水平下的表示重构该图像在第二质量水平下的表示。每个重构数据元素对应于第二质量水平下的表示中的图像元素。例如，每个重构数据元素可以对应于第二质量水平下的表示中的特定像素。
接收对经编码数据的期望输出大小的指示。期望输出大小可以涉及由编码操作产生的输出数据的大小。例如，输出大小可以与输出文件有关。可以响应于接收到的用户输入来接收指示。在一些示例中，对期望输出大小的指示是基于客户端装置的操作特性。
基于接收到的指示，导出数据速率目标。数据速率的一个示例是比特率。导出用于对所述一组重构数据元素中的每个重构数据元素进行编码的数据速率目标。这样，当计算数据速率目标时，经编码数据的期望输出大小充当约束条件。这与输出大小未知的一些已知系统形成对比。可基于用于共同地对所述一组重构元素进行编码的平均数据速率目标来导出用于对每个重构数据速率元素进行编码的数据速率目标。平均数据速率目标在给定时间段内可为恒定的。
根据相应的所导出的数据速率目标对多组重构数据元素中的每一组进行编码以获得所述经编码数据。然后输出经编码数据，例如，以供客户端装置进行处理。
经编码数据的输出大小与压缩图像的最终大小有关。输出大小是下载时间和网站等待时间的一个因素，因此与用户体验以及数据使用有关。与用户体验有关的另一个因素是图像质量。本文描述的示例使得能够同时控制图像质量和等待时间两者，从而改善用户体验。
图1示出了与常规技术相比静态图像的层次化可伸缩压缩和解压缩的示例。特别地，在图1中，将常规压缩技术所需的比特率与根据本文所述示例的层次化可伸缩压缩技术所需的比特率进行了比较。在常规压缩技术中，例如，存在单个图像分辨率格式(“单模式”)可用或两个图像分辨率格式(“双模式”)可用。
在双模式下，存在较小的图像分辨率格式(“缩略图图像”—由左侧阴影区域标识)和较大的图像分辨率格式(“全图像”—由左侧较大的透明区域标识)。缩略图图像可以表示类似缩略图的图像，例如非常小的分辨率图像(例如100×100或200×200像素)，通常用于在无需下载和解码太多数据的情况下使图像可视化，因此允许相对快速的可视化。但是，这样的缩略图图像不适合以较高的分辨率显示，因为缺少在调整大小(例如，上采样)以适应较高的分辨率大小(例如，1280×720)时所需的细节。出于此原因，提供了更大的第二格式(全图像)，该格式能够以更高的分辨率(例如，1280×720)显示。但是，全图像需要对显著更高的数据量进行编码(在图中用B3表示)，因此，为了通过典型的显示装置进行下载、解码和显示，将花费更大量的时间。在典型系统中，双模式用于允许使用缩略图图像快速显示图像。随后，一旦完全下载，就对全图像进行解码，并且一旦准备好可视化，就取代缩略图图像而显示全图像。这样，典型的系统需要下载、处理和显示两种图像，因此需要高数据速率(例如，B4)和更多的解码和显示处理时间，以及需要使用更多的计算资源，因为例如需要处理像全图像这样的大图像。
在单模式下，仅使用全图像。这将减少要下载的数据总量，但这也意味着系统将需要大量时间才能显示图像。这样，系统的用户将需要等待更长的时间才能看到页面。
例如，在网页中使用单模式或双模式的技术问题之一是网页将需要提供要在其中显示全图像的“空间”。例如，在正常的浏览器中，这可以看作是“带框”区域，在该区域中显示图像之前，该区域一直为空白的。通常，一旦全图像已被下载、解码并在必要时进行渲染以进行显示，就会发生这种情况。这不仅导致在网页上显示图像的延迟，而且有时会导致一旦显示图像，网页就突然“移动”或“更改”，从而使网页难以可视化。
层次化可伸缩压缩和解压缩通过降低使全图像可视化所需的数据速率以及通过在不会造成网页加载延迟和/或不必要的可视化失真的情况下下载、处理和逐步显示图像的方式解决了上述技术问题。如图1所示，层次化可伸缩压缩提供了将图像划分为不同的层(例如L1到L6)，其中每个连续的较高层通过添加细节而构建于一个或多个先前较低层之上，从而使将一个或多个先前较低层与较高层组合在一起的图像具有更高的分辨率，并且可以以更高的分辨率进行显示。一旦第一较低层(例如，层L1至L3)已被下载和解码，则所得图像就可以被发送到显示器以进行显示。由于这些较低层所需的数据速率较低(例如，B1)，因此可以非常快速地上传和显示所得图像。另外，考虑到层次化可伸缩压缩的特殊结构，例如，该特殊结构允许各个层单独且并行地进行处理，显著减少了处理整个图像(即，层L1至L3的组合)的时间。美国专利8,997,065、美国专利8,948,248和美国专利申请13/188,237描述了可如何实现根据本文所述示例的层次化可伸缩压缩技术的另外的细节，上述美国专利和美国专利申请的内容通过引用并入本文。整个图像被设计为以更高的分辨率(例如，1280×720)显示，而不是以更低的分辨率显示。下一层(例如，L4)被下载、解码并与现有图像组合，以通过添加细节来进一步提高质量。之后，下一层(例如，L5)被下载、解码并与现有图像组合，以通过添加更多的细节来进一步提高质量。最后，下一层(例如，L6)被下载、解码并与现有图像组合，以通过添加甚至更多的细节来进一步提高质量。最终得到的图像具有与经由常规压缩技术的全图像可用的质量相比相同或更高的质量。重要的是，如果认为图像质量足以良好地以更高的分辨率(例如，1280×720)显示，则可以将图像重构到较低层(例如，L5)，从而更进一步减少了需要下载的数据量(例如，B2而不是B3)。这样，与传统压缩技术相比，可以以灵活和自适应的方式将图像重构到所需的质量水平，而无需下载不需要的数据(例如，如果重构到L5的图像被认为具有足够好的质量，则不需要层L6)。使用传统的压缩技术，只有在下载、解码和处理了所有数据以供显示之后，才能重构全图像。
与双模式常规压缩系统相比，提出的层次化可伸缩压缩技术的另一个优点是，获得全分辨率图像所需的数据明显较低(例如，至多B3而不是B4)。
图2示出了与常规技术相比静态图像的层次化可伸缩压缩和解压缩如何增强静态图像渲染的示例。图2(A)示出了如何显示用常规压缩技术编码的图像。该图像可以对应于上述全图像。可以看出，图像是逐部分地以全分辨率显示，通常从图像的上部开始，然后慢慢添加其余部分。这种效果通常归因于以下事实：全图像以串行方式下载和解码，通常是从左上角开始向下到右下角，因此，随着对图像进行解码而对图像进行处理、然后显示。这导致显示全图像的延迟以及不愉快的用户体验。图2(B)示出了如何显示使用提出的层次化可伸缩压缩技术编码的图像。通过从下载开始到下载结束不断地添加细节来构建全分辨率图像。例如，一旦已经下载并解码了第一数量的层(例如，图1所示的达到比特率B1的层L1至L3)，便立即显示全分辨率图像(在图2中标记为B.1)。然后随着后续层的上传而改善图像。例如，一旦层L4已下载并解码，就将层L4提供的细节添加到初始全分辨率图像，以得到图2中标记为B.2的图像。然后，一旦层L5已下载并解码，就将L5层提供的细节添加到图像B.2，以得到图2中标记为B.3的图像。最后，一旦层L6已下载并解码，就将层L6提供的细节添加到图像B.3，以得到图2中标为B.4的图像。
图3示出了静态图像的层次化可伸缩压缩和解压缩可如何改善静态图像的可视化的示例。可以看出，提出的层次化可伸缩压缩技术仅允许以全分辨率下载图像的一部分，而不是整个图像。例如，使用从L1到L6的所有层重构正方形内的图像部分，而仅使用层L1到L4重构图像的其余部分。这样，由于仅对图像的相关部分进行了完全解码，因此优化了图像的解码。而且，可以缩放或裁剪图像，例如，可以仅选择缩略图图像的一部分，诸如图3的上角所示，并且只有该部分将通过一直下载到最高层(例如，图1中的L6)来被完全重构到可能的最高分辨率。
应当理解，上述实施例涉及静态图像的处理、编码和解码。在替代实施例中，关于视频图像的处理、编码和解码使用了类似技术。
应理解，关于任一个实施例描述的任何特征都可以单独使用，或者与描述的其他特征结合使用，并且还可以与任何其他实施例的一个或多个特征结合使用，或者与任何其他实施例的任何组合结合使用。此外，在不脱离所附权利要求限定的本发明的范围的情况下，还可以采用上面未描述的等效物和修改。
本发明的带编号的声明
1.一种处理图像数据的方法，所述方法包括：
获得图像在第一质量水平下的表示；
获得重构数据，所述重构数据能够用于使用所述第一质量水平下的所述表示重构所述图像在更高的第二质量水平下的表示；
将所述第一质量水平下的所述表示和能够用于导出所述重构数据的数据布置到压缩数据流中；以及
输出所述压缩数据流以供装置进行处理，以使得所述装置能够重构所述第二质量水平下的所述表示。
2.根据声明1所述的方法，其中所述第一质量水平下的所述表示包括缩略图图像。
3.根据声明1或声明2所述的方法，其中所述第一质量水平包括第一图像分辨率，并且所述第二质量水平包括更高的第二图像分辨率。
4.根据声明1至3中任一项所述的方法，其包括经由网络输出所述压缩数据流。
5.根据声明1至4中任一项所述的方法，所述方法由服务器系统执行。
6.根据声明1至5中任一项所述的方法，其中所述第一质量水平和所述第二质量水平是层次化图像处理布置的一部分。
7.根据声明1至6中任一项所述的方法，其中所述获得所述第一质量水平下的所述表示包括对所述第二质量水平下的所述表示进行下采样。
8.根据声明1至7中任一项所述的方法，其中所述获得所述重构数据包括：
对所述第一质量水平下的所述表示进行上采样，以导出所述图像在所述第二质量水平下的初步表示；
基于所述第二质量水平下的所述表示与所述第二质量水平下的所述初步表示之间的比较导出所述重构数据。
9.根据声明1至8中任一项所述的方法，所述方法包括：
获得另外的重构数据，所述另外的重构数据能够用于使用所述第二质量水平下的所述表示重构所述图像在甚至更高的第三质量水平下的表示；以及
将所述另外的重构数据布置到所述压缩数据流中，以使得装置能够重构所述第三质量水平下的所述表示。
10.一种处理图像数据的方法，所述方法包括：
接收第一压缩数据，所述第一压缩数据在被解码时能够用于获得图像在第一质量水平下的表示；
解码所述第一压缩数据以获得所述第一质量水平下的所述表示；
输出所述第一质量水平下的所述表示以进行显示；并且
响应于预定触发事件：
解码第二压缩数据以获得重构数据，所述重构数据能够用于使用所述第一质量水平下的所述表示重构所述图像的一部分在更高的第二质量水平下的表示；
使用所述第一质量水平下的所述表示和所述重构数据重构所述第二质量水平下的所述表示；以及
输出所述第二质量水平下的所述表示以进行显示。
11.根据声明10所述的方法，其中所述第一质量水平下的所述表示包括缩略图图像。
12.根据声明10或声明11所述的方法，所述方法包括：响应于所述预定触发事件，接收所述第二压缩数据。
13.根据声明10至12中任一项所述的方法，其中所述第一质量水平包括第一图像分辨率，并且所述第二质量水平包括更高的第二图像分辨率。
14.根据声明10至13中任一项所述的方法，其中所述预定触发事件包括接收到用户输入。
15.根据声明10至13中任一项所述的方法，其中所述预定触发事件包括确定所述第一质量水平下的所述表示的渲染已完成。
16.根据声明10至13中任一项所述的方法，其中所述预定触发事件包括确定已接收到所述第二压缩数据。
17.根据声明10至13中任一项所述的方法，其中所述预定触发事件包括确定已经使用所述第二压缩数据导出了所述重构数据。
18.根据声明10至17中任一项所述的方法，所述方法在用户装置处执行。
19.根据声明19所述的方法，其中所述预定触发事件包括确定所述用户装置的操作特性。
20.根据声明10至19中任一项所述的方法，所述方法包括：
解码第三压缩数据以导出另外的重构数据，所述另外的重构数据能够用于使用所述第二质量水平下的所述表示重构所述图像的一部分在甚至更高的第三质量水平下的表示；
使用所述第二质量水平下的所述表示和所述另外的重构数据重构所述第三质量水平下的所述表示；以及
输出所述第三质量水平下的所述表示以进行显示。
21.根据声明20所述的方法，其中响应于另外的预定触发事件而解码所述第三压缩数据。
22.根据声明21所述的方法，其中所述另外的预定触发事件包括显示所述第二质量水平下的所述表示。
23.根据声明22所述的方法，其中所述另外的预定触发事件包括重构所述第二质量水平下的所述表示。
24.根据声明20所述的方法，其中所述第三压缩数据与所述第二压缩数据并行获得。
25.根据声明10至24中任一项所述的方法，其中输出图像的表示以进行显示包括由浏览器引擎对所述图像的所述表示进行渲染。
26.根据声明10至25中任一项所述的方法，其中所述重构所述图像在所述第二质量水平下的所述表示包括：
对所述图像在所述第一质量水平下的所述表示进行上采样，以导出所述图像在所述第二质量水平下的初步表示；以及
将所述初步表示与所述重构数据进行组合以获得所述图像在所述第二质量水平下的所述表示。
27.一种处理图像数据的方法，所述方法包括：
在装置处解码第一压缩数据以获得图像在第一质量水平下的第一表示；
确定所述第一质量水平是否与一个或多个阈值质量水平具有预定关系，所述一个或多个阈值质量水平是基于与所述装置相关联的显示特性；
响应于确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系：
解码第二压缩数据以获得重构数据，所述重构数据能够用于使用所述第一表示重构所述图像在更高的第二质量水平下的第二表示；
使用所述第一表示和所获得的重构数据重构所述第二表示；以及
输出所述第二表示以便以所述第二质量水平进行显示；并且
响应于确定所述第一质量水平与所述一个或多个阈值质量水平不具有所述预定关系，输出所述第一表示以便以所述第一质量水平进行显示。
28.根据声明27所述的方法，所述方法包括：
确定所述第二质量水平是否与所述一个或多个阈值质量水平具有另外的预定关系；并且
响应于确定所述第二质量水平与所述一个或多个阈值质量水平具有所述另外的预定关系：
解码第三压缩数据以获得另外的重构数据，所述另外的重构数据能够用于使用所述第二表示重构所述图像在甚至更高的第三质量水平下的第三表示；
使用所述第二表示和所述另外的重构数据重构所述第三表示；以及
输出所述第三表示以便以所述第三质量水平进行显示。
29.根据声明27或声明28所述的方法，其中所述显示特性包括所述装置的操作特性。
30.根据声明29所述的方法，其中所述操作特性涉及所述装置的屏幕大小。
31.根据声明29所述的方法，其中所述操作特性涉及所述装置的取向。
32.根据声明29所述的方法，其中所述操作特性涉及所述装置的装置类型。
33.根据声明29所述的方法，其中所述操作特性涉及所述装置的处理和/或显示能力。
34.根据声明28所述的方法，其中所述显示特性包括所述装置的屏幕上的显示窗口的大小。
35.根据声明34所述的方法，其中所述显示窗口的所述大小使用超文本标记语言(HTML)以ECMAScript规范定义。
36.根据声明27至35中任一项所述的方法，所述方法包括确定一个或多个阈值质量水平。
37.根据声明27至36中任一项所述的方法，所述方法包括确定所述显示特性。
38.根据声明27至37中任一项所述的方法，所述方法包括：响应于确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系，接收所述第二压缩数据。
39.一种处理图像数据的方法，所述方法包括：
接收第一压缩数据，所述第一压缩数据在被解码时能够用于获得图像在第一质量水平下的表示；
解码所述第一压缩数据以获得所述第一质量水平下的所述表示；
使所述第一质量水平下的所述表示以所述第一质量水平显示；
解码第二压缩数据以获得重构数据，所述重构数据能够用于将所述第一质量水平下的所显示的表示的至少一部分增强到更高的第二质量水平；以及
使用所述重构数据将所述第一质量水平下的所述所显示的表示的所述至少一部分增强到所述第二质量水平。
40.根据声明39所述的方法，其中所述第一质量水平包括第一图像分辨率，并且所述第二质量水平包括更高的第二图像分辨率。
41.根据声明39或声明40所述的方法，其中在所述第一质量水平下的所述表示被显示之后解码所述第二压缩数据。
42.根据声明39至41中任一项所述的方法，其中响应于发送到服务器系统的请求而从所述服务器系统接收所述第二压缩数据。
43.一种处理图像数据的方法，所述方法包括：
接收第一压缩数据，所述第一压缩数据在被解码时能够用于获得图像在第一质量水平下的表示；
解码所述第一压缩数据以获得所述第一质量水平下的所述表示；
显示所述第一质量水平下的所述表示；
解码第二压缩数据以针对所述图像的所选目标区域获得重构数据，所述重构数据能够用于使用所述第一质量水平下的所述表示重构所述图像的所述目标区域在更高的第二质量水平下的表示；
使用所接收的重构数据重构所述图像的所述目标区域在所述第二质量水平下的所述表示；以及
显示所述图像的所述目标区域在所述第二质量水平下的所述表示。
44.根据声明43所述的方法，
其中所述方法由浏览器引擎执行，并且
其中所述目标区域的所述表示在网页上显示。
45.根据声明43或声明44所述的方法，所述方法包括选择所述图像的所述目标区域。
46.根据声明43至45中任一项所述的方法，其中响应于预定触发事件接收和/或解码所述第二压缩数据。
47.根据声明46所述的方法，其中所述预定触发事件包括接收到用户输入。
48.根据声明46或声明47所述的方法，其中所述预定触发事件涉及使用装置的图像缩放或图像裁剪功能。
49.根据声明43至48中任一项所述的方法，其中所述图像的所述目标区域对应于显示器的可见部分。
50.根据声明43至48中任一项所述的方法，其中所述图像的所述目标区域对应于用户的注视位置。
51.根据声明43至50中任一项所述的方法，其中基于用户输入来选择所述图像的所述目标区域。
52.根据声明43至51中任一项所述的方法，其中基于装置的操作特性来选择所述图像的所述目标区域。
53.根据声明52所述的方法，其中所述装置的所述操作特性涉及所述装置的显示特性。
54.根据声明43至53中任一项所述的方法，所述方法包括：
解码第三压缩数据以针对所述图像的另外的区域获得另外的重构数据，所述另外的重构数据能够用于重构所述图像的所述另外的区域在另外的质量水平下的表示；
使用所接收的另外的重构数据重构所述图像的所述另外的区域在所述另外的质量水平下的所述表示；以及
显示所述图像的所述另外的区域在所述另外的质量水平下的所述表示。
55.根据声明54所述的方法，其中所述另外的质量水平高于所述第二质量水平。
56.根据声明54所述的方法，其中所述另外的质量水平高于所述第一质量水平并低于所述第二质量水平。
57.一种处理图像数据的方法，所述方法包括：
获得一组重构数据元素，所述一组重构数据元素能够用于使用图像在较低的第二质量水平下的表示重构所述图像在第一质量水平下的表示，所述一组重构数据元素中的每个重构数据元素对应于所述第一质量水平下的所述表示中的图像元素；
接收对经编码数据的期望输出大小的指示；
至少基于所接收的指示导出用于对所述一组重构数据元素中的每一个进行编码的数据速率目标；
根据相应的所导出的数据速率目标对所述一组重构数据元素中的每一个进行编码以获得所述经编码数据；以及
输出所述经编码数据。
58.根据声明57所述的方法，其中基于用于对所述一组重构数据元素进行编码的平均数据速率目标来导出用于对所述一组重构数据元素中的每一个进行编码的所述数据速率目标。
59.根据声明58所述的方法，其中所述平均数据速率目标在给定时间段内是恒定的。
60.根据声明27所述的方法，其中阈值质量水平中的一个或多个是基于不同的图像分辨率、目标区域或解码器装置属性。
61.根据声明61所述的方法，其中所述阈值质量水平中的一个或多个是基于不同的图像内容类别或基于针对不同质量水平的每图像质量度量值，其中在所述图像被装置请求之前或并非在所述图像被装置请求之前，在服务器或解码装置处确定所述类别或度量。
62.一种方法，其中在确定目标区域或触发事件之后，消息被传递到服务器，所述消息使所述服务器做好准备以允许解码器针对每个更高质量水平仅接收压缩数据的存在于所述服务器上的有限部分。
63.一种方法，其中在确定目标区域或触发事件之后，消息被传递到服务器，所述消息使所述服务器致使编码器产生针对更高质量水平的修改后的压缩数据，从而将所述修改后的压缩数据的全部或所述修改后的压缩数据的导出声明57至59中的数据速率目标的有限部分的大小考虑在内。
64.根据声明63所述的方法，其中传递到所述服务器的所述消息使所述服务器致使所述编码器产生优先地将数据速率分配给重构数据元素内的某些区域的修改后的压缩数据，以便赋予目标区域比使用未修改的压缩数据所实现的准确度更高的准确度。
65.一种设备，所述设备被布置成执行根据声明1至64中任一项所述的方法。
66.一种包括指令的计算机程序，所述指令在被执行时使设备执行根据声明1至64中任一项所述的方法。

Claims (18)

1.一种处理图像数据的方法，所述方法包括：
接收第一压缩数据，所述第一压缩数据在被解码时能够用于获得图像在第一质量水平下的表示；
解码所述第一压缩数据以获得所述第一质量水平下的所述表示；
输出所述第一质量水平下的所述表示以进行显示；并且
响应于预定触发事件：
解码第二压缩数据以获得重构数据，所述重构数据能够用于使用所述第一质量水平下的所述表示重构所述图像的一部分在更高的第二质量水平下的表示；
使用所述第一质量水平下的所述表示和所述重构数据重构所述第二质量水平下的所述表示；以及
输出所述第二质量水平下的所述表示以进行显示。
2.根据权利要求1所述的方法，其中所述图像是静态图像。
3.根据权利要求1或权利要求2所述的方法，其中所述第一质量水平下的所述表示包括缩略图图像。
4.根据上述权利要求中任一项所述的方法，其中所述第一质量水平包括第一图像分辨率，并且所述第二质量水平包括更高的第二图像分辨率。
5.一种处理图像数据的方法，所述方法包括：
在装置处解码第一压缩数据以获得图像在第一质量水平下的第一表示；
确定所述第一质量水平是否与一个或多个阈值质量水平具有预定关系，所述一个或多个阈值质量水平是基于与所述装置相关联的显示特性；
响应于确定所述第一质量水平与所述一个或多个阈值质量水平具有所述预定关系：
解码第二压缩数据以获得重构数据，所述重构数据能够用于使用所述第一表示重构所述图像在更高的第二质量水平下的第二表示；
使用所述第一表示和所获得的重构数据重构所述第二表示；以及
输出所述第二表示以便以所述第二质量水平进行显示；并且
响应于确定所述第一质量水平与所述一个或多个阈值质量水平不具有所述预定关系，输出所述第一表示以便以所述第一质量水平进行显示。
6.根据权利要求5所述的方法，所述方法包括：
确定所述第二质量水平是否与所述一个或多个阈值质量水平具有另外的预定关系；并且
响应于确定所述第二质量水平与所述一个或多个阈值质量水平具有所述另外的预定关系：
解码第三压缩数据以获得另外的重构数据，所述另外的重构数据能够用于使用所述第二表示重构所述图像在甚至更高的第三质量水平下的第三表示；
使用所述第二表示和所述另外的重构数据重构所述第三表示；以及
输出所述第三表示以便以所述第三质量水平进行显示。
7.根据权利要求5或6所述的方法，其中所述图像是静态图像。
8.一种处理图像数据的方法，所述方法包括：
接收第一压缩数据，所述第一压缩数据在被解码时能够用于获得图像在第一质量水平下的表示；
解码所述第一压缩数据以获得所述第一质量水平下的所述表示；
使所述第一质量水平下的所述表示以所述第一质量水平显示；
解码第二压缩数据以获得重构数据，所述重构数据能够用于将所述第一质量水平下的所显示的表示的至少一部分增强到更高的第二质量水平；以及
使用所述重构数据将所述第一质量水平下的所述所显示的表示的所述至少一部分增强到所述第二质量水平。
9.根据权利要求8所述的方法，其中所述第一质量水平包括第一图像分辨率，并且所述第二质量水平包括更高的第二图像分辨率。
10.根据权利要求8或权利要求9所述的方法，其中在所述第一质量水平下的所述表示被显示之后解码所述第二压缩数据。
11.根据权利要求8至10中任一项所述的方法，其中响应于发送到服务器系统的请求而从所述服务器系统接收所述第二压缩数据。
12.一种处理图像数据的方法，所述方法包括：
接收第一压缩数据，所述第一压缩数据在被解码时能够用于获得图像在第一质量水平下的表示；
解码所述第一压缩数据以获得所述第一质量水平下的所述表示；
显示所述第一质量水平下的所述表示；
解码第二压缩数据以针对所述图像的所选目标区域获得重构数据，所述重构数据能够用于使用所述第一质量水平下的所述表示重构所述图像的所述目标区域在更高的第二质量水平下的表示；
使用所接收的重构数据重构所述图像的所述目标区域在所述第二质量水平下的所述表示；以及
显示所述图像的所述目标区域在所述第二质量水平下的所述表示。
13.根据权利要求12所述的方法，
其中所述方法由浏览器引擎执行，并且
其中所述目标区域的所述表示在网页上显示。
14.根据权利要求12或权利要求13所述的方法，所述方法包括选择所述图像的所述目标区域。
15.根据权利要求12至14中任一项所述的方法，其中所述图像是静态图像。
16.一种处理图像数据的方法，所述方法包括：
获得一组重构数据元素，所述一组重构数据元素能够用于使用图像在较低的第二质量水平下的表示重构所述图像在第一质量水平下的表示，所述一组重构数据元素中的每个重构数据元素对应于所述第一质量水平下的所述表示中的图像元素；
接收对经编码数据的期望输出大小的指示；
至少基于所接收的指示导出用于对所述一组重构数据元素中的每一个进行编码的数据速率目标；
根据相应的所导出的数据速率目标对所述一组重构数据元素中的每一个进行编码以获得所述经编码数据；以及
输出所述经编码数据。
17.根据权利要求16所述的方法，其中所述图像是静态图像。
18.一种包括指令的计算机程序，所述指令在被执行时使设备执行权利要求1至17中任一项所述的方法。
CN201880088544.4A 2017-12-06 2018-12-06 图像处理 Pending CN111699691A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17386047.9A EP3496404A1 (en) 2017-12-06 2017-12-06 Image processing
EP17386047.9 2017-12-06
PCT/GB2018/053556 WO2019111014A1 (en) 2017-12-06 2018-12-06 Image processing

Publications (1)

Publication Number Publication Date
CN111699691A true CN111699691A (zh) 2020-09-22

Family

ID=60935692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088544.4A Pending CN111699691A (zh) 2017-12-06 2018-12-06 图像处理

Country Status (5)

Country Link
US (1) US20210176484A1 (zh)
EP (2) EP3496404A1 (zh)
KR (1) KR20200106161A (zh)
CN (1) CN111699691A (zh)
WO (1) WO2019111014A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137914A (en) * 1995-11-08 2000-10-24 Storm Software, Inc. Method and format for storing and selectively retrieving image data
WO2001069585A1 (en) * 2000-03-15 2001-09-20 Picsurf, Inc. System and method for efficient transmission and display of image details by re-usage of compressed data
US20040175059A1 (en) * 2003-03-07 2004-09-09 Nokia Corporation Method and device for image surfing
CN1985514A (zh) * 2004-07-13 2007-06-20 皇家飞利浦电子股份有限公司 空间和snr图像压缩的方法
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8438473B2 (en) * 2011-01-05 2013-05-07 Research In Motion Limited Handling of touch events in a browser environment
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US8997065B2 (en) 2011-12-06 2015-03-31 The Mathworks, Inc. Automatic modularization of source code
CN107229454B (zh) * 2016-03-24 2019-11-12 阿里巴巴集团控股有限公司 混合视图的显示方法及装置
US10212189B2 (en) * 2016-10-11 2019-02-19 Salesforce.Com, Inc. Authentication of client devices using modified images
EP3740882A1 (en) * 2018-01-18 2020-11-25 Bevara Technologies, LLC Browser navigation for facilitating data access

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137914A (en) * 1995-11-08 2000-10-24 Storm Software, Inc. Method and format for storing and selectively retrieving image data
WO2001069585A1 (en) * 2000-03-15 2001-09-20 Picsurf, Inc. System and method for efficient transmission and display of image details by re-usage of compressed data
US20040175059A1 (en) * 2003-03-07 2004-09-09 Nokia Corporation Method and device for image surfing
CN1985514A (zh) * 2004-07-13 2007-06-20 皇家飞利浦电子股份有限公司 空间和snr图像压缩的方法
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ATHANASSIOS SKODRAS ET AL: "The JPEG 2000 Still Image Compression Standard", 《IEEE XPLORE》, 30 September 2001 (2001-09-30), pages 36 - 58, XP011092358, DOI: 10.1109/79.952804 *

Also Published As

Publication number Publication date
EP3721627A1 (en) 2020-10-14
US20210176484A1 (en) 2021-06-10
EP3496404A1 (en) 2019-06-12
WO2019111014A1 (en) 2019-06-13
KR20200106161A (ko) 2020-09-11

Similar Documents

Publication Publication Date Title
JP4603947B2 (ja) 画像通信システム、サーバ装置およびその制御方法、並びにコンピュータプログラム
US7746332B2 (en) Method and device for decoding an image
EP3637781A1 (en) Video processing method and apparatus
CN110049336B (zh) 视频编码方法和视频解码方法
US10110653B2 (en) Systems and methods for transmitting data
US7558430B2 (en) Apparatus method and computer-readable medium for processing hierarchical encoded image data
WO2020145783A1 (ko) 3차원 데이터 부호화 방법 및 장치 및 3차원 데이터 복호화 방법 및 장치
CN114584805A (zh) 视频传输方法、服务器、终端和视频传输系统
CN112954398A (zh) 编码方法、解码方法、装置、存储介质及电子设备
CN112188209A (zh) 视频流解码方法、装置、计算机设备和存储介质
CN111699691A (zh) 图像处理
CN113508598B (zh) 对使用视频点云编解码编码的视频流进行解码的方法和装置
CN111245879A (zh) 一种虚拟桌面的桌面内容传输方法、系统及相关组件
US11265563B2 (en) Optimization of downsampling occurring before encoding images during compression
EP4294021A1 (en) Data processing method and apparatus, computer device and storage medium
CN116668741A (zh) 云桌面的显示方法、图像显示方法、设备和存储介质
CN109120979B (zh) 视频增强控制方法、装置以及电子设备
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN112367521B (zh) 显示屏内容分享方法、装置、计算机设备和存储介质
TWI358046B (en) Method of decompressing a set of subsampled image
JP2003333347A (ja) ２値画像データの圧縮方法及び復元方法、並びに２値画像データの圧縮装置及び復元装置
JP2008219848A (ja) 画像ファイルの復号表示回路及び画像表示方法
CN114040198A (zh) 一种图像数据优化装置及方法
CN112954360A (zh) 解码方法、解码装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination