CN103227775B - 用于处理图像或视频数据的方法和系统 - Google Patents

用于处理图像或视频数据的方法和系统 Download PDF

Info

Publication number
CN103227775B
CN103227775B CN201210599201.9A CN201210599201A CN103227775B CN 103227775 B CN103227775 B CN 103227775B CN 201210599201 A CN201210599201 A CN 201210599201A CN 103227775 B CN103227775 B CN 103227775B
Authority
CN
China
Prior art keywords
data
image
video
network
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210599201.9A
Other languages
English (en)
Other versions
CN103227775A (zh
Inventor
W·李
B·雷克沃德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flextronics International USA Inc
Original Assignee
Flextronics International USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flextronics International USA Inc filed Critical Flextronics International USA Inc
Publication of CN103227775A publication Critical patent/CN103227775A/zh
Application granted granted Critical
Publication of CN103227775B publication Critical patent/CN103227775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在此公开了一种分布式图像/视频处理系统，其中，一个或多个数字图像/视频记录装置(例如，数字照相机，录像机，或智能电话，等等)与中心网络站点进行网络通信，用于传输图像或视频数据。所述记录装置依赖于对网络带宽测量值的估计处理它们的图像/视频数据，该网络带宽是可用于传输图像或视频数据到所述中心网络站点的网络带宽。

Description

用于处理图像或视频数据的方法和系统
技术领域
本申请涉及网络上的数据的分布式处理，其中在客户端网络节点执行的处理至少部分地由网络传输特征或限制决定，特别地，本申请涉及当数据为图像或视频时的这种分布式处理。
背景技术
处理图片(图像)和/或视频数字数据的计算量大且占用大量数据存储空间。对于许多具有产生数字图像(照片)和/或视频的能力的通信设备(例如，移动电话)，这些设备具有的处理和/或存储能力不足以完全合适地驻留于所述设备中。因此，期望在通信网络中的一个或更多个具有比较大的数据处理及存储能力的中心站点上存储并在某些情况下至少部分地处理这种图像/视频数据。然而，当大量网络用户向这种中心网络站点传输图像/视频数据时，由于相应的高数据量图像/视频数据可能在网络上传输，所以网络性能可能会明显下降。因此，一个解决方案是限制用户例如在一天、一周或一个月内在网络上传输的图像/视频数据量，这个方案缺点很明显，因为用户越来越相信“聪明”的电信网络应该“智能地”执行用户的网络请求至可能的程度，以及在执行这类请求时无需用户具备较详细的网络通信知识。
因此，为了解决上述问题，期望提供更“智能”的技术来管理及传输电信网络上的图像/视频数据。特别地，期望根据当前网络传输特征动态改变用户在网络上传输的图像/视频数据量，其中，执行网络传输的这种动态改变对用户基本上透明，并且可以基本上保持这种图像/视频数据的呈现/显示质量。
发明内容
在此公开了一种分布式图像/视频处理系统，其中一个或更多(优选多个)数字图像或视频记录装置(每个例如是数字照相机、录像机，或多功能设备例如智能电话或笔记本电脑)与中心网络站点通信以向其传输图像或视频数据。记录装置基本上依赖于对可用于传输图像或视频数据(或其版本)到中心网络站点的网络带宽的测量或估计量，来处理它们的图像或视频数据。尤其是，记录装置对这种获取的图像/视频数据进行图像或视频处理，以适于在传输记录装置处理过的图像/视频数据到中心网络站点时保持可接受的高效(快速)传输时间。特别地，每个这种记录装置以这样的方式执行图像/视频增强处理及图像/视频压缩技术：根据对当前可用网络带宽的测量改变在网络上传输的结果图像/视频数据的量。
一个实施例中，词组“当前可用的网络带宽”及例如“可用网络带宽”的类似等同含义词组是指在特定时间或特定时间间隔中两个预定网络连接点之间的网络的估计合理最大数据率或吞吐量、与所述两个预定网络连接点之间的网络当前实际数据率或吞吐量的估计值之间的差值。假设至少存在两个预定网络连接点之间的网络的数据率或吞吐量的总体估计值，其中，该总体估计值被看作是合理最大值(考虑到可能会发生改变网络配置和网络负载均衡)，可通过测量在一个或更多特定网络站点(例如，所述两个预定网络连接点的一个或两个)处的一个或更多当前网络数据传输速率或数据吞吐量，从中确定综合(composite)(例如，平均)的当前网络数据传输速率或数据吞吐量，然后从总体(最大)估计值减去综合的当前数据传输速率或数据吞吐量，来估计“可用网络带宽”。可选的，可通过使用网络传输时间延迟(例如，在两个网络连接点之间)确定网络带宽的这种合理最大估计值。举例来说，如本领域技术人员可以理解的，可通过测量例如所述两个预定网络连接点之间的一个或更多个ping(网络封包探索)的时间延迟来确定这种最大带宽估计值。例如，如果确定了两个网络连接点之间的最大可接受时间延迟，则可通过从最大可接受时间延迟减去所述两个网络连接点之间的网络时间延迟的当前(或最近)测量值来确定可用网络带宽的指示，以估计“可用网络带宽”。需要注意的是，虽然基于数据传输速率或吞吐量的“可用网络带宽”的测量值随上述数据传输速率或吞吐量的差值单调递增，但基于网络时间延迟的“可用网络带宽”的相应测量值则是与上述网络传输时间延迟的差值成相反关系。
一个实施例中，可通过分析网络数据率和/或(ping)时间延迟的历史测量值确定可用网络带宽的测量值，并确定应当将哪个测量值作为网络带宽的合理最大估计值。如本领域人员可以理解的，例如，可将历史测量值的第一和第二标准差之间的边界值作为这种合理最大估计值。
因此，当可用网络带宽低(例如，相对于待传输数据的类型，尺寸或数 据率)时，这种图像/视频记录装置会以减少(或不明显增加)数据量的方式进行图像/视频增强处理，然后再使用可充分减少待在网络中传输到中心网络站点的结果图像/视频数据量的激进(aggressive)压缩技术压缩增强后的图像/视频数据，从而减少对可用网络带宽的影响，如果不进行或进行极小的压缩则会存在这样的影响。而且，为了保持图像/视频数据的显示质量，在网络传输到中心站点前还由记录装置以依赖于要施加的数据压缩量的方式对图像/视频数据应用降噪技术。例如，当记录装置确定还将要应用更激进的数据压缩技术时，对图像数据应用更健壮的降噪(也称之为“去噪”)技术。这样，增大的去噪将抵消增大的数据压缩的至少一些影响，从而可以在减少网络流量的同时维持用于可接受质量的图像显示的数据。
在至少一个实施例中，在此公开的图像/视频处理系统获取或读取指示用于在网络上传输的图像数据的优选尺寸的第一网络参数数据。由于记录装置初始获取的图像的尺寸通常对于记录装置是可得的，因此可计算压缩因子(即，获取的图像的尺寸除以优选图像尺寸)。附加地/可选地，可通过从网络传输读取(例如，从预定网络站点传输)提供指示要执行的数据压缩类型的第二参数数据，或者，可选地，压缩类型可由记录装置确定(例如，记录装置可确定提供期望压缩因子并具有最低损失的可用压缩类型)。给定这种压缩因子及压缩类型(例如，无损压缩(Loss Less)，或JPEG)，可访问驻留在记录装置的表(或其他数据结构)来确定要执行的相应增强处理(及其参数)，例如去噪及锐化处理。
应当注意，类似的确定可用于视频数据。例如，如果网络提供了优选数据传输速率，假定记录装置有权访问由该记录装置接收的视频数据率(例如，Kbps)，则可确定用于网络上的相应传输的视频压缩因子。此外，压缩类型可从网络(或网络站点)传输读取而确定，或可选地，压缩类型可由记录装置确定，其中记录装置可确定提供期望压缩因子并具有最低损失的可用压缩类型。
因此，假设(i)记录装置有权访问提供获取的图像尺寸和/或视频数据率的信息的一个或更多个表(或相应的数据结构)，并假设(ii)所述记录装置还有权访问期望的或优选的图像/视频网络传输属性(例如，尺寸或数据率)，则所述记录装置可访问这种表来至少确定将要应用的降噪、锐化及压缩处理的类型，以及用于操作地配置每个这些处理的参数。因此，尽管这里大部分 的描述例示了依赖于可用网络带宽的这些处理，但是其他已知的或未知的限制/条件(例如，基本上与可用网络带宽无关)也可用于确定期望的或优选的图像/视频网络传输属性。
一个实施例中，这里公开的图像/视频处理系统执行下列步骤：
(a)通过一个或多个网络传输，在网络站点接收处理过的数据以及为获取所述处理过的数据而执行的处理的相应历史信息，其中，所述执行的处理依赖于与网络的传输特征相关的网络数据，获取所述网络数据用于确定所述处理；
(b)访问所述历史信息，用于确定：与所述处理过的数据相关的解压缩信息、以及与增强所述处理过的数据的视觉呈现相关的增强信息；
(c)解压缩所述处理过的数据，由此获取解压缩的数据，其中，所述解压缩信息指示要对所述处理过的数据执行的解压缩；以及
(d)根据所述增强信息，增强所述处理过的数据或所述解压缩的数据之一；
其中，所述增强步骤包括激活下面一个或多个的步骤：降噪处理、锐化处理、自动曝光处理、自动白平衡处理、以及自动对焦处理，用于获取增强的视觉呈现。
在一个实施例中，这里公开的图像/视频处理系统可被特征化为其上存储机器指令的非暂态计算机可读介质，所述指令包括：
(a)通过一个或多个网络传输，在网络站点接收处理过的数据以及为获取所述处理过的数据而执行的处理的相应历史信息，其中，所述执行的处理依赖于与网络的传输特征相关的网络数据，获取所述网络数据用于确定所述处理；
(b)访问所述历史信息，用于确定：与所述处理过的数据相关的解压缩信息、以及与增强所述处理过的数据的视觉呈现相关的增强信息；
(c)解压缩所述处理过的数据，由此获取解压缩的数据，其中，所述解压缩信息指示要对所述处理过的数据执行的解压缩；以及
(d)根据所述增强信息，增强所述处理过的数据或所述解压缩的数据之一；
其中，所述增强步骤包括激活下面一个或多个的步骤：降噪处理、锐化处理、自动曝光处理、自动白平衡处理、以及自动对焦处理，用于获取增强 的视觉呈现。
在一个实施例中，这里公开的图像/视频处理系统可被特征化为处理图像或视频的系统，包括：
包括下列(a)到(c)的网络站点：
(a)网络接口，用于通过一个或多个网络传输接收处理过的数据以及为获取所述处理过的数据而执行的处理的相应历史信息，其中，所述执行的处理依赖于与网络的传输特征相关的网络数据，获取所述网络数据用于确定所述处理；
(b)解压缩器，用于解压缩所述处理过的数据；
(c)控制器，利用所述历史信息配置用于解压缩所述处理过的数据的解压缩器以产生解压缩的数据，并配置用于增强所述解压缩的数据的一个或多个增强处理，其中，所述增强处理包括至少一个降噪处理用于为所述解压缩的数据减少噪声、以及至少一个锐化处理用于为所述解压缩的数据锐化呈现；
其中，所述历史信息标识用以产生所述处理过的数据的图像或视频数据的处理，其中所述历史信息包括：(i)压缩描述信息，其与在获取所述处理过的数据中执行第一和第二数据压缩中的哪一个相关；以及(ii)增强描述信息，其指示在获取所述处理过的数据中执行的图像或视频增强处理。
根据下文的说明及其附图，本公开的优点、有益效果及可专利性方面变得明显。本公开的所有新颖方面，无论是否在发明内容部分或其它部分(例如，下文中)被明确提及，都被认为是单独或结合本公开的其他方面而受专利保护的主题。因此，下文中和/或所述附图公开的新颖方面在发明内容部分可能被忽略、或被不完整地描述，通过引用将它们完全合并到发明内容部分。特别地，通过引用将权利要求部分的所有权利要求完全合并到所述发明内容部分。
附图说明
图1是显示在此公开的分布式图像/视频处理系统10的实施例的高层(level)计算组件的框图。
图2是描述在此公开的分布式图像/视频处理系统10执行的步骤的实施例的流程图。
具体实施方式
引言
为便于理解本公开提出的原理，将参考示例实施例。对这里描述的本发明的特征的任何变更和进一步的修改、以及对这里描述的原理的任何附加应用(其是掌握本公开的相关领域技术人员会进行的)都认为是在该详细描述后的权利要求所描述的发明的范围内。这里描述的特征、功能等都认为是能够彼此全部或部分地组合，如权利要求和/或该领域可能直接或间接、明确或隐含地指引的。
贯穿本说明书的对“实施例”、“示例”或类似语言的引用表示这里描述的特定特征、结构、特性或其组合可以但不是必须指向同一实施例、不同实施例、或一个或更多个附图中公开的实施例。
为更突出强调其实施的独立性，本说明书描述的许多功能单元可能被标注或标识为模块或计算组件。例如，模块可基本上独立于其他这类模块或计算组件而实现为硬件及相应软件的组合。
诸如下文描述的图1的方框所标识的模块或计算组件(例如，计算机器，设备，装置，等)可以包括计算机指令的一个或更多个物理或逻辑块，例如可被组织为对象，过程或函数。但是，这中模块或计算组件的可执行版本不需物理上在一起(除非另有声明或暗示)，而是可包括存储于不同位置的完全不同的指令，当所述指令逻辑上组合在一起时，包括用于实现特别声明的目的更高层模块或计算组件。
而且，模块、计算组件和/或可执行代码程序可以是单个指令或很多指令，甚至可以分布在几个不同的代码片段上，不同的程序中，以及跨越几个非临时性存储设备。类似地，这里可以为这种模块或计算组件识别和描述操作数据，并且操作数据可被实施为任何适当的形式及组织在任意合适类型的数据结构内。这种操作数据可被收集为单个数据集，或可被分布在不同位置上，包括在不同非暂时存储设备上，并且可仅仅作为系统或网络上的电信号而暂时存在。
在此讨论的各种计算组件和/或模块可以包括一个或更多个通信网络主机服务器或其他计算系统，其可包括：(i)用于处理数字数据的机器处理器；(ii)连接(couple)到所述处理器的非临时性存储器，用于存储数字数据；连接到所述处理器的输入数字转换器，用于输入数字数据；(iii)存储于所述 存储器中并可由所述处理器访问的应用程序，用于指示处理器对数字数据的处理；(iv)连接到所述处理器及存储器的显示设备，用于显示从处理器处理的数字数据获得的信息；以及(v)多个数据库，包括相应的数据库管理系统。如本领域技术人员将理解的，这里讨论的任何计算机或计算机器可包括操作系统(例如，Windows 7、Windows Vista、NT、95/98/2000、OS2；UNIX；Linux；Solaris；MacOS、SnowLeopard；等等)以及通常与计算机和/或计算机网络关联的各种常规支持软件和驱动器。所述计算机或计算机器可位于能接入网络的家庭及商业环境中，或者这种机器可以是移动的，例如移动电话或其他便携式电信设备。在一个示例实施例中，通过商业可得的网页浏览器软件包、通过因特网接入。
本公开可以按照功能块组件、屏幕截图、用户交互，选择项、各种处理步骤及类似形式进行说明。应当理解，这种功能块可通过任意数目的硬件和/或软件组件实现，硬件和/或软件被配置用于执行所指定功能。相应地，在此公开的实施例可使用各种集成电路组件，例如，存储器元件，处理元件，逻辑元件，查找表等，所述组件可在一个或更多个微处理器或其他控制装置的控制下执行多种功能。类似地，本公开的软件组件可用任意编程或脚本语言实现，例如，C、C++、Java、COBOL、汇编、PERL、Visual Basic、SQL存储过程、AJAX、可扩展标记语言(XML)、和/或SOAP，其中，利用数据结构、对象、过程、例程或其他编程组件的组合实施各种算法。此外，应当注意，本公开可使用任意数目的传统技术，用于数据传输、信令、数据处理，网络控制，等。再进一步地，在此主张的发明的实施例可利用客户端或主机端脚本语言检测或阻止安全的破坏，例如JavaScript，VBScript或类似语言。
此外，这里很多功能单元和/或模块可描述为与其他功能单元和/或模块“通信”或“可操作性地通信”(或这种用语的变体)。“通信”或“可操作性地通信”(或其变体)是指功能单元和/或模块可彼此通信的任何方式和/或方法，功能单元和/或模块例如为但不限于，计算机、笔记本电脑、PDA、模块、网络服务器、路由器、网关及其他类型的硬件和/或软件。一些非限制性的示例包括：(i)激活或调用另一这种功能单元或模块，以及(ii)通过网络、无线网、软件、指令、电路、电话线、因特网线、卫星信号、电信号、光信号、电磁场和/或脉冲等发送和/或接收数据或元数据。
除非另有声明或清楚地暗示，本公开的网络通信可通过任意合适的通信 信道完成，例如，电话网络、外联网、内联网、因特网、交互点设备(销售点设备，个人数字助理，蜂窝电话，信息亭，等等)、在线网络通信、无线通信、局域网(LAN)、广域网(WAN)、网络或链接设备和/或类似设备。而且，尽管网络通信可用TCP/IP协议实现，但是这种通信也可用IPX、Appletalk、IP-6、NetBIOS、OSI或任意数量的已有的或将有的协议实现。与因特网关联地使用的协议、标准、及应用软件相关的特定信息通常是本领域技术人员已知的，因此不需在此详细描述。例如可参考DILIP NAIK，INTERNET STANDARDS AND PROTOCOLS(1998)；JAVA 2COMPLETE，多个作者(Sybex1999)；DEBORAH RAY AND ERIC RAY，MASTERING HTML4.0(1997)；及LOSHIN，TCP/IP CLEARLY EXPLAINED(1997，通过引用将它们的内容合并在这里。
对于由于在此描述的功能单元或模块而公开或需要的计算指令(例如，软件、脚本、固件，等等)和/或关联数据，其在本公开的范围内，以明确包括用于存储启动这里公开的方法和系统时使用的这种指令和/或数据的存储介质。例如，这种存储介质可以是计算机可读磁盘或磁带、光盘、以及其他非易失性或非临时便携式存储设备(例如，USB记忆棒，等等)。
如在此使用的，“包含”、“包括”，“含有”、“是”、“特征是”及其语法等价词是包含性或开放式的用语，除非另有明确声明，其不排除额外的未列举的组件或方法步骤。“包含”解释为包括更限制性的用语“由...组成”及“主要由...组成”。
分布式图像/视频处理系统的操作及附图的描述
图1示出分布式图像/视频处理系统10，其包括多个照相机/视频记录装置20，其操作地连接到通信网络24(例如，因特网)，用于将图像/视频相关的数据传输到图像/视频获取站点28。每个照相机/视频记录装置20可以是基本单一功能的设备，例如独立的照相机或录像机，或者可以是多功能设备，包括例如智能电话的移动(无线)电话、笔记本电脑/平板电脑、或其他计算网络通信设备(例如，用于从机器人传输图像的特定目的无线通信设备)。此外，如本领域技术人员可以理解的，照相机/视频记录装置20通常将图像/视频作为数字数据产生、存储及处理。网络24不仅可以是因特网，其他通信网络也在本公开的范围内，例如本地(无线)网络(例如，如在医院及高等教育机构提供的)或私有广域虚拟网。图像/视频获取网络站点28可以是因特 网网络站点或照相机/视频记录装置20能够访问且已知的任意其他网络站点。
图1左上角的照相机/视频记录装置20示出了每个照相机/视频记录装置20的典型高层内部结构。特别地，每个这种记录装置20包括图像/视频产生器32，其例如产生对应于被拍摄图像的场景的数字图像数据。这种产生器32可以是电荷耦合器件，数字照相机或录像机，或CMOS传感器，蜂窝电话，PC摄像头，CMOS摄像头及平板电脑摄像头。每个照相机/视频记录装置20还包括压缩器36，其可以用于压缩来自产生器32的这种数字图像数据。有很多的图像数据压缩技术可在压缩器36中实现，包括有损和无损数据压缩技术。如本领域技术人员将理解的，下列是代表性的数据压缩技术：
对于数字图像(照片)：
·笛卡尔感知压缩(Cartesian Perceptual Compression)：也被称为CPC，是一种私有图像文件格式。其被设计用于黑白光栅(raster)文档成像的高度压缩，用于档案扫描。
·DjVu：其是一种计算机文件格式，主要被设计用于存储扫描的文档，特别是包含文本、线条图及照片的组合的文档。该格式使用例如文本和背景/图像的图像层分离、逐步加载、算术编码、以及二值(单色)图像的无损压缩等技术。其允许在最小空间内存储高质量的可读图像，以使所述图像可用于网络。
·分形压缩(fractal compression)：其是一种基于分形的用于数字图像的有损压缩方法。基于一幅图像的部分常常与该图像的其他部分类似的事实，该方法最适合用于纹理及自然图像。分形算法将这些部分转化为数学数据，称为“分形码”，其用于重新创建编码的图像。
·HAM：其是Amiga计算机中使用的颜色信息硬件压缩。
·ICER：其是Mars Rovers使用的压缩方法：在小波使用上与JPEG 2000相关。
·JPEG：在计算中，JPEG是用于数字照相(图像)的常用有损压缩。其压缩程度可以调整，允许在存储尺寸和图像质量之间进行可选的权衡。JPEG通常达到10∶1的压缩率而对图像的损失几乎是不可察觉的。JPEG压缩被使用在大量图像文件格式中。JPEG/Exif是数字照相机及其他摄影图像获取设备最常用的图像格式；连同JPEG/JEIF，其是万维网上存储及传输摄影图像最常用的格式。这些格式的变化常常不被区分，都简称为 JPEG。
·JPEG2000：其是一种图像压缩标准及编码系统。由联合摄影专家组委员会在2000年创建，其目的在于用新设计的基于小波的方法取代原始的基于离散余弦变换的JPEG标准(创建于1992年)。JPEG2000格式可用于有损及无损压缩。
·JBIG2：其是用于双层(bi-level)图像的图像压缩标准，由联合双层图像专家组开发。其适用于无损及有损压缩。
·PGF(渐进式图形文件)：该压缩方法可以是无损或有损的。PGF是一种使用无损及有损数据压缩的基于小波的位图图像格式。PGF的创设是为了改善和取代JPEG格式。
·小波压缩：其是一种非常适用于图像压缩(有时也用于视频压缩及音频压缩)的数据压缩形式。其众所周知的实现格式包括用于静态图像的JPEG2000及ECW，及用于视频的REDCODE、BBC的Dirac和Ogg Tarkin。其目的是将图像数据存储在文件中尽可能少的空间中。小波压缩可以是无损或有损的。
·S3纹理压缩(S3TC)(有时也称为DXTn或DXTC)：其是最初由S3 Graphics有限公司[1]的Iourcha等人开发的相关有损纹理压缩算法组，用于他们的Savage3D计算机图形加速器。该压缩方法与之前公布的色彩单元压缩(Color Cell Compression)[2]非常相似，色彩单元压缩又是二十世纪七十年代晚期公布的区块截断编码(Block Truncation Coding)的改编。与某些图像压缩算法(例如，JPEG)不同，S3TC的固定速率(rate)数据压缩加上单一存储器访问(参见，色彩单元压缩及某些基于VQ的方案)使得其完美地适合于在硬件加速的3D计算机图形中压缩纹理。之后其包含于微软公司的DirectX6.0及OpenGL1.3(GL_ARB_纹理_压缩(GL_ARB_texture_compression))中使该技术在硬件及软件制造商中得到广泛采用。尽管S3 Graphics不再是图形加速器市场的领导竞争者，但对S3TC技术的使用仍然收取着许可费，例如在游戏控制台及图形卡中。该专利技术包含在OpenGL中及其在软件中的广泛使用导致需要驱动支持它，并呈现为Linux上的开源AMD及Intel驱动包中的主要块。
对于视频数据：
·DV：DV是帧内视频压缩方案，其使用离散余弦变换(DCT)逐帧
压缩视频。声频被无压缩地存储。
·H.263：其是最初设计为用于视频会议的低比特率压缩格式的视频压缩标准。其由ITU-T视频编码专家组(VCEG)在1995/1996年结束的项目中开发，作为ITU-T领域中的视频编码标准H.26x家族的一个成员。
H.263在因特网中已得到大量应用：大量Flash视频内容(如在例如YouTube、Google Video、MySpace等站点上使用的)过去常常以Sorenson Spark格式(H.263[1][2][3]的不完整实现方式)编码，但许多站点现在使用VP6或H.264编码。在RealVideo8.0发布前，RealVideo编解码器的最初版本基于H.263。
H.263是用于IP多媒体子系统(IMS)、多媒体消息服务(MMS)及透明端到端分组交换流服务(PSS)的ETSI3GPP技术规格书中要求的视频编解码器。在3GPP规格书中，H.263视频通常用于3GPP容器格式中。所述编解码器最先被设计使用在基于H.324的系统中(PSTN及其他电路交换网络视频会议及视频电话)，但是自此也已经应用于H.323(基于RTP/IP的视频会议)、H.320(基于ISDN的视频会议)、RTSP(流媒体)及SIP(因特网会议)的解决方案中。
基于来自之前的ITU-T视频压缩标准H.261、MPEG-1及MPEG-2标准的经验开发H.263作为演进的改进。H.263的第一个版本在1995年完成并在所有比特率提供了H.261的合适替换。其在众所周知的H.263v2(也被称为H.263+或H.263 1998)，MPEG-4 Part2及H.263v3(也称为H.263++或H.2632000)项目中得到进一步改进。由于MPEG-4视频解码器正确地解码基本H.263比特流，所以MPEG-4Part2与H.263是兼容的。
在H.263之后由ITU-T VCEG(MPEG的合作伙伴)开发的下一增强的编解码器是H.264标准，也称为AVC及MPEG-4Part10。由于H.264作出了性能上超过H.263的重大改进，所以现在H.263已被认为是历史遗留(legacy)设计。现在多数新的视频会议产品既包括H.264，也包括H.263及H.261处理能力。
·H.264/MPEG-4Part10或AVC(高级视频编码)：其是一种视频压缩标准，并且目前是在高清视频录制、压缩及分发中最常用的格式之一。该标准第一版本的最终草案在2003年5月完成。
H.264/MPEG-4AVC是面向块的基于运动补偿的编解码器标准， 由ITU-T视频编码专家组(VCEG)与国际标准化组织(ISO)/国际电工委员会(IEC)运动图像专家组(MPEG)联合开发。其称为联合视频组(JVT)的伙伴关系共同努力的成果。ITU-T H.264标准及ISO/IECMPEG-4AVC标准(正式地，ISO/IEC14496-10-MPEG-4Part10，高级视频编码)被联合维持，使得他们具有相同的技术内容。
H.264也许最知名的是作为蓝光光盘的编解码器标准之一；所有蓝光光盘播放器必须能够解码H.264。它也被广泛应用于流化因特网源(例如来自Vimeo，YouTube及iTunesStore的视频)，网络软件(例如Adobe Flash Player及Microsoft Silverlight)，用于DVB及SBTVD的广播服务，直接广播卫星电视服务，有线电视服务、以及实时视频会议。
·运动JPEG(及其变体)：其是一种压缩方法，使用基于离散余弦变换(DCT)的有损帧内压缩形式。该数学运算将视频源的每帧/场转换从时域为频域(aka变换域)。松散地基于人类心理视觉(psychovisual)系统的感知模型丢弃了高频信息，即，强度及色调的锐转变。在变换域，减少信息的处理称为量化(quantization)。用非专业术语解释，量化是将大数标(number scale)(每一数具有不同的当前值(occurrence))最佳地缩减为较小数标的方法，变换域是图像的一种方便表示，因为比其他系数对总体图片贡献小的高频系数在特征上是具有高压缩性的小值。量化系数接着被序列化并被无损地封包到输出比特流中。M-JPEG的几乎所有软件实现都允许用户控制压缩比率(以及其他可选参数)，允许用户为更小的文件尺寸而折中图像质量。在嵌入式应用中(例如miniDV，使用类似的DCT-压缩方案)，为应用预先选择并固定参数。
M-JPEG是仅帧内压缩的方案(与计算更密集的帧间预测技术相比)。如今的帧间视频格式(例如MPEG1、MPEG2及H.264/MPEG-4AVC)达到1∶50或更高的实际压缩比，而M-JPEG对帧间预测的缺少限制其压缩效率在1∶20或更低，依赖于对压缩输出中空间假象(artifacting)的容忍度。由于各帧之间彼此独立地被压缩，所以M-JPEG对硬件设备具有较低的处理及存储需求。
作为纯帧内压缩方案，M-JPEG的图像质量直接是每个视频帧的静态(空间)复杂度的函数。具有较大平滑度或单调表面的帧压缩得较好，并且更可能保留它们的原始细节，而几乎没有可见的压缩假象。存在复杂纹理、 细曲线或线条(例如报纸上的文字)的帧容易显现出DCT假象，例如环形化(ringing)，污迹化(smudging)及宏块化(macrobocking)。M-JPEG压缩的视频也对运动复杂度(即，随时间变化)不敏感。其既不受高随机运动(例如大瀑布的表面水湍流)影响，也不会因没有运动(例如借由三脚架拍摄的静态风景照)而得到帮助，这是通常用于测试帧间视频格式的两种相反的极端。
对于QuickTime格式，苹果公司定义了两种编码类型：MJPEG-A及MJPEG-B。MJPEG-B不再在其中保留有效JPEG互换文件；因此，不可能对数据头不作一点改变就将帧加入JPEG文件中。
·Ogg Theora：其是由Xiph.Org基金会维持的免费、开放容器格式。
Ogg被设计来提供高质量数字多媒体的有效流化和操纵。
Ogg容器格式能够为音频、视频，文本(例如字幕)及元数据复用多个独立流。
在Ogg多媒体框架中，Theora提供了有损视频层。音频层最通常由面向音乐的Vorbis格式提供，但是其它选择包括人类语音压缩编解码器Speex、无损音频压缩编解码器FLAC、及PggPCM。
·Dirac：Dirac采用小波压缩，而不是较老的压缩格式使用的离散余弦变换。Dirac将小波应用到视频压缩中。
·VC-1：其是SMPTE421M视频编解码器标准的非正式名称，在2006年4月3日作为正式SMPTE标准视频格式发布之前，其最初作为微软公司开发的私有视频格式。现在成为在HDDVD、蓝光光盘、Windows Midia、Slingbox及微软Silverlight框架中得到广泛支持的标准。
应当注意，压缩器36包括和使用多个数字图像/视频数据压缩技术在本公开的范围内。
照相机/视频记录装置20也包括各种图像/视频增强处理，所述处理由管理器40适当地激活/控制。本领域技术人员能够理解，图像/视频增强处理管理器40用于管理对从产生器32获取的图像/视频数据的增强处理。例如，所述图像/视频增强处理管理器40管理可由各种降噪技术执行的处理(在图1显示为降噪42的处理)。例如：
·椒盐噪声(salt and pepper noise)(稀疏光线和黑暗干扰)，其中，图像/视频中的像素与其周围的像素在颜色和强度方面存在显著差异；定 义特征为噪声像素的值与其周围像素的颜色没有关系。通常，这种类型的噪声将仅影响少数图像像素。由于图像看上去包括黑白点，因此称为椒盐噪声。典型来源包括相机内的灰尘粒及CCD元件的过热或故障。
·高斯噪声，其中，图像/视频中的像素可能相对于其原始值改变较小的(通常)量。在高斯噪声中，假设相对于频率画出的像素值的失真量当其发生时呈现出噪声的正态分布。
应当注意，不同像素的噪声可能是相关或不相关的；在很多情况下，不同像素的噪声值被建模为独立同分布的，并因此不相关。
此外，本领域人员可以理解，可由图像/视频增强处理管理器40管理(例如，适当时激活)各种锐化及去锐化掩盖(masking)技术(图1中显示为锐化44的处理)。下文将讨论这种锐化及降噪技术。本领域技术人员可以理解，附加增强例如包括白平衡。
照相机/视频记录装置20也包括网络接口46，用于与网络24上的各种站点通信，例如，图像/视频获取网络站点28。此外，该照相机/视频记录装置20包括传输评估器48，其确定与用于将图像/视频数据传输到该图像/视频获取站点28的网络24的一个或更多个传输特征(例如，可用带宽)相关的数据。该网络传输评估器48可通过接收一个或更多个网络传输特征的信息确定与可用网络带宽相关的这类数据，其中，这种特征可以是例如，网络传输时间延迟，指示当与一个或更多个网络站点通信时的时间延迟，网络数据率，指示当与一个或更多个网络站点通信时的一个或更多个数据传输速率，以及当与预定网络站点(例如，网络站点28)通信时的最大传输时间延迟阈值。为了获取这种网络传输特征，可以使用各种技术，包括：
(i)Ping图像/视频获取站点28，并例如将ping的时间延迟的运行平均数与数据表(未示出)中的条目进行比较，该数据表将这种ping时间延迟信息与指示可用网络24的可用带宽的值相关联；特别的，这种ping时间延迟与可用网络带宽成相反关系。
(ii)在记录装置20处确定网络的数据传输速率，或从图像/视频获取站点28请求数据传输速率测量值，其中，测量的数据传输速率越大，可用网络带宽越大；和/或
(iii)从网络站点28请求最大传输时间延迟阈值，其中，该阈值是网络站点28在从记录装置20为了传输数字图像/视频数据而进行的初始相应网络连接 中止(time out)前将等待待接收的数字图像/视频数据的最大传输时间延迟阈值。
在一个替代/附加实施例中，网络传输评估器48可ping多个不同网络24的站点，以确定网络流量的限度(extent)，由此推出指示可用网络带宽的值。在另一实施例中，网络传输评估器48可从图像/视频获取站点28请求网络流量的测量值，其中，这种测量值可以例如与图像/视频获取站点28和/或一个或更多个其他预定网络站点的网络接口50接收的数据率相关。
照相机/视频记录装置20进一步包括控制器52，用于确定在所述照相机/视频记录装置中如何处理图像/视频数据。特别地(以及如下文中通过参考图2更详细描述的)，该控制器确定在照相机/视频记录装置20处对图像/视频数据执行的图像/视频处理，其中，这种处理依赖于当前网络24的用于传输这种图像/视频数据到图像/视频获取站点28的一个或更多个传输特征(例如，可用带宽)。特别地，当至少网络24的带宽的第一阈值可用时，控制器52设置图像/视频参数用于获取、处理及传输(通过网络24)较大量这种数据(例如，包括更多信息内容)，并且当网络带宽的估计值减少时，逐渐减少这种数据量。在至少一个实施例中，控制器52可选择由压缩器36提供的压缩技术，并随之确定要执行的与该压缩技术兼容的图像/视频处理技术。例如，一旦网络传输评估器48向控制器52提供了与可用网络带宽相关的信息，该控制器可以首先确定由压缩器36提供的压缩技术。但是，由于某些图像/视频增强技术与某些压缩技术(如下文将进一步讨论的)不兼容，所以控制器52可以还确定在数据压缩(通过确定的压缩技术)前执行的一个或更多个图像/视频处理技术，其中，这种图像/视频处理技术与所述压缩技术兼容。
参考图像/视频获取网络站点28，除了网络接口44，该站点还包括解压缩器模块60，用于解压缩从照相机/视频记录装置20接收的压缩图像/视频数据。解压缩器60包括一个或更多个(在至少某些实施例中，优选多个)互补模块，提供相对于在照相机/视频记录装置20处可用并使用的压缩技术的数据解压缩技术，如本领域人员所理解的。网络站点28还包括一个或更多个(通常是多个)图像/视频增强处理(例如，降噪68及锐化72)以及用于管理增强压缩的图像/视频数据的处理的管理器64。例如，管理器64可顺序地激活增强处理，用于例如在两者之间进行流水线化(pipelining)，如由从控制器76接收的指令所确定的，以及将所产生的增强图像/视频数据存储在图像/视 频档案库(archive)84中。
驻留在所述记录装置20及网络站点28两者上的增强处理的示例如下：
(a)一个或更多个降噪(减少噪音)处理42及68，用于对解压缩的数据降噪。降噪非常有利于使数字图像/视频数据更均质(homogeneous)(例如，与周围像素相比，更少的像素具有极度非正常值)。举例来说，降噪处理去除了高频像素数据(即，所述像素数据是：光缺陷像素(Light Defective Pixel)-DN计数(110-140)，使用浅灰图(light grey chart)(0.44中性(Neutral)Macbeth)；暗缺陷像素(Dark Defective Pixel)-DN计数(0-10)，使用深黑图(dark black chart)(1.5黑(Black)Macbeth)))，所述像素数据可能是也可能不是结果图像/视频中所期望的。此外，降噪还提供本领域中称之为“缺陷像素校正”的校正，其中，这种降噪去除死/弱/强像素，它们仅由于数字图像/视频数据产生过程(例如，在产生器32中)而成为坏像素。这种降噪处理可使用各种降噪技术，其中一些如下所述。
ο色度和亮度噪声分离：
在实际照片中，最高空间频率细节主要由亮度变化(“亮度细节”)而不是色调变化(“色度细节”)组成。由于任何降噪算法应当尽量减少噪声而不牺牲照片场景的真实细节，所以降低亮度噪声比降低色度噪声具有丢失更多细节的风险，这简单地因为多数场景具有极少的高频色度细节来开始。此外，多数人发现图像中色度噪声比亮度噪声更让人不愉快；与亮度噪声的粒状外观(一些与胶片颗粒相当)相比，颜色斑点被认为是“数字外观”其不自然。由于这两个原因，多数照片噪声降低算法将图像细节分为色度及亮度分量，并且对前者应用更多的降噪。多数专门的降噪计算机软件允许用户分离地控制色度及亮度降噪。
ο线性平滑滤波器：
去除噪声的一种方法是通过将原始图像与掩模(mask)进行卷积，如本领域技术人员可以理解的，掩模表示低通滤波或平滑操作。这种卷积使每个像素值的值与其邻居像素值更加一致。通常，平滑滤波将每个像素设置为其自身与其邻近邻居像素的平均值或加权平均值；高斯滤波器只是权值的一个可能集合。
平滑滤波器倾向于模糊图像，因为明显高于或低于周围邻居的像素强度值在该区域上“抹去”。由于这种模糊，实际中很少将线性滤波器用于降噪， 但是，线性滤波器常用作非线性降噪滤波器的基础。
ο各向异性扩散：
各向异性扩散是一种噪声去除方法，该方法基于类似于称为各向异性扩散的热方程的平滑偏微分方程演化图像/视频数据。使用空间恒定扩散系数时，其等价于热方程或线性高斯滤波，但使用设计来检测边缘的扩散系数时，可在不模糊图像的边缘的情况下去除噪声。
ο非线性滤波器：
中值(median)滤波器是非线性滤波器的示例，如果适当设计，其擅长保留图像细节。为了运行中值滤波器：
1.考虑图像中的每个像素；
2.将邻居像素分类为基于它们的强度的顺序；以及
3.使用列表中的中间值替换像素的原始值。
中值滤波器是一种秩选择(rank-selection)(RS)滤波器，是秩条件的(rank-conditioned)秩选择(RCRS)滤波器家族中地特别严格的成员；有时，特别是在照相应用中，优选该家族中温和得多的成员，例如，当像素值在其领近区域(neighborhood)中是外在的(external)时，选择邻居值中最接近的一个，否则保持其值不变。
中值及其他RCRS滤波器擅长从图像中去除椒盐噪声，并且也导致相对小的边缘模糊，因此常用于计算机视觉应用中。
在选择噪声降低技术68(也称为“降噪技术”)时，可考虑几个因素：
·可用的计算机能力及可用时间：数字照相机必须使用微型的板上CPU在几分之一秒内应用降噪处理，而台式计算机则有更大的能力和更多的时间。
·如果允许去除更多噪声，是否接受牺牲一些真实图像/视频细节(多激进地决定图像中的变化是否是噪声)
·噪声的特征以及图像/视频中的细节，以便更好地做出上述决定。
(b)一个或更多个锐化和去锐化掩盖处理44及72，用于锐化压缩数据，其中，该类处理可以使用各种技术，其中一些如下所述。
ο去卷积(deconvolution)：
在光学及成像中，术语“去卷积”特别用于指对光学显微镜、电子显微镜、望远镜或其他成像设备中发生的光学失真的逆转过程，以产生更清晰的 图像。作为显微镜图像处理技术组合的一部分，其通常在数字域中由软件算法完成。去卷积对锐化遭受拍摄中的快速运动或抖动的图像也是实用的。
通常的方法是假设通过设备的光学路径是光学理想的，使用点扩展函数(PSF)与其卷积，点扩展函数是在理论点光(或其他波)源穿过所述设备的路径方面描述失真的数学函数。通常，这种点源对最终图像带来小区域的模糊。如果能够确定该函数，则接着是计算其逆或互补函数的问题，并使用其对获取的图像进行卷积。其结果是原始的、未变形图像。
实践中，找到真正的PSF是不可能的，并且通常使用该函数的近似，其在理论上计算或基于使用已知探测的一些实验估计。实际光学系统在不同焦点及空间位置处也可能具有不同的PSF函数，并且PSF可能是非线性的。PSF近似的精度将决定最终结果。以更大的计算强度为代价，可使用不同算法给出更好的结果。由于原始卷积丢弃数据，所以一些算法使用焦点附近获得的附加数据来弥补一些丢失的信息。可应用迭代算法(如期望最大化算法中的)的正则化来避免不实际的解。
当PSF未知时，可通过系统性地试验不同可能的PSF并评估图像是否有改善来推出该函数。该过程称为盲反卷积(blind deconvolution)。盲反卷积是天文学中已很好建立的图像修复技术，在该领域中，拍摄的对象的点本质揭露(expose)了PSF，因此使其更可行。盲反卷积也用于荧光显微镜中用于图像修复，以及用于荧光频谱成像中用于多个未知荧光团的频率分离。用于该目的的最常用的迭代算法是Richardson-Lucy去卷积算法；Wiener去卷积(及其近似)是最常用的非迭代算法。
ο数字去锐化掩盖：
去锐化掩盖对原始图像的一个拷贝应用高斯模糊，再将其与原始图像进行数字化比较。如果差值大于用户指定的阈值设定，(有效地)减去所述图像。阈值控制限制对彼此差值大于某一尺寸阈值的图像元素进行锐化，从而小的图像细节的锐化(例如摄影颗粒)可被抑制。
数字去锐化掩盖是增加锐度的灵活而强大的方式，尤其是对于扫描的图像。但是，容易产生不想要的明显边缘效果，或增加图像噪声。另一方面，也可创造性地使用这些效果，特别是对RGB或Lab图像的单通道进行锐化时。可使用掩模(特别是边缘检测产生的掩模)来仅对期望区域应用锐化(有时称之为“智能锐化”)，而减少不期望的效果。
通常三种设置(称为“数量(amount)”、“半径(radius)”及“阈值(threshold)”)控制数字去锐化掩盖：
·数量被列为百分比，并控制每个过限(overshoot)的大小(边缘边界变黑多少以及变浅多少)。这也可认为是在边缘处增加了多少对比度。其不影响边缘框的宽度。
·半径影响要被增强的边缘的尺寸或边缘框要变成多宽，因此较小的半径增强较小尺度的细节。较大半径值会在边缘产生晕圈(halo)，一种围绕对象的可检测微弱亮框。精致的细节需要更小的半径。半径与数量相互作用，降低一个则允许提高另一个。
·阈值控制将被锐化的最小亮度变化或在滤波器不作用前相邻色调值需要相隔多大。这种操作不进行对防止平滑区域变得斑点化很重要。阈值设定可用于锐化更明显的边缘，而不改变较不明显(subtle)的边缘。低阈值会锐化更多，因为排除的区域更少，更高的阈值将排除更低对比度的区域。
关于这些参数的良好开始值存在各种推荐，通常，0.5-2.0个像素的半径以及50-150％的数量是合理的开始。
如与照相机/视频记录装置20一样，图像/视频获取网络站点28也包括控制器76，用于控制对来自一个或更多个照相机/视频记录装置20的图像/视频数据的处理(压缩，增强和/或其他技术)。特别地，控制器76控制这种图像/视频数据的处理使得其被适当地解压缩(如解压缩器60需要的)及适当地增强(如图像/视频增强处理管理器64需要的)。此外，站点28也可包括临时(非瞬态)图像/视频数据存储器80，用于处理前的临时存储。注意，对于图像/视频数据(无论是否被压缩，增强或其它处理)的每一传输，这种数据在数据存储器80中与下列内容关联：(i)也被传输到站点28的、这种数据的相应处理历史数据，及(ii)识别产生原始图像/视频数据的照相机/视频记录装置20的所有者或使用者的标识符。因此，对于图像/视频的每一传输，控制器76可从数据存储器80检索(retrieve)相应处理历史数据，用于确定例如如何解压缩该图像/视频数据，及如何增强该图像/视频数据。在指示这类处理时，控制器76可检查相应处理历史数据中的品质(quality)字段和/或一个或更多个指令字段，用于确定对图像/视频数据执行什么增强。接下来，一旦完全处理了图像/视频数据的实例，将结果图像/视频数据存储在图像/视频 档案库84中，其中，例如，该数据可由身份与该实例关联的相应用户检索和显示。
系统操作
在下文描述中，各种术语被加粗和斜体显示以识别这种术语是在后面的附录中完整描述/定义。
运行期间，当产生器32生成数字图像/视频数据，控制器52确定(在将这种数字图像/视频数据传输到图像/视频获取站点28前)：(i)应用到所述数字图像数据的图像/视频增强处理40(如果有)，及(ii)在应用增强处理后，随后由压缩器36如何处理这种数据(如果有)。特别地，当控制器52从网络传输评估器48接收到指示可用于传输所述数字图像数据(或其被压缩和/或增强的版本)的(当前)网络24的带宽的数据时，该控制器确定激活(如上文对这类增强处理的描述)图像/视频增强处理，例如降噪处理42或锐化处理44。因此，可用的网络带宽越大，应用的数据压缩越少，而当可用网络带宽减少时，更多的数据压缩可被应用于数字图像/视频数据(或其增强的版本)。此外，如上所述，可由控制器52选择/确定数据压缩技术及图像/视频增强处理，以使它们之间互相兼容，例如就结果压缩数据一旦在网络站点28处处理后将提供合适的图像/视频呈现而言(例如，如本领域技术人员可以理解的，不期望最终的图像/视频中有空白场景，例如“绿屏”)。
随后，当图像/视频获取网络站点28从照相机/视频记录装置20接收到(在网络接口50)压缩的图像/视频数据时，该网络接口通知控制器76，以使控制器76能够提供指令，用于根据相应的处理历史数据处理所述数据。
通常，对于视频数据，如果网络24的可用带宽高(例如，下面用于视频数据的表1B及1C中的“高带宽(High Bandwidth)”)，优选执行：(i)激进降噪(Aggressive de-noising)，及(ii)相应地极少/无压缩(Little/no Compression)。这是由于当去除视频数据中的高频像素数据时，降噪及压缩技术很多次执行相似功能。例如，基于帧间块的(inter-frame blocked based)压缩算法(如MPEG(及其变体，例如，MPEG1，MPEG2及MPEG4)、H.264、VC-1、Flash等等)去除高频像素数据以获得更多的压缩，如本领域人员可以理解的。此外，降噪通常也去除这类高频像素数据，由此使视频更均质，如上所述的。从而，如果将降噪的数据提供给这类基于帧间块的压缩算法，则所述算法很可能会去除下一最高像素频率数据。在某些情况下，结果视频数 据可能呈现出褪色(wash out)，或者在最坏情况下呈现为完全没有任何图片的空白。因此，当对视频数据应用极少/无压缩时(例如，当网络24可用带宽高时)，激进降噪至少对于去除高频像素数据可能是优选的。
但是，当网络24的可用带宽低(例如，下面用于视频数据的表1B及1C中的“低带宽(Low Bandwidth)”)，并且激活(压缩器36的)潜在的高压缩处理以执行激进压缩(Aggressive Compression)(或极端激进压缩(Extremely Aggressive Compression))时，则由于这种压缩将既高度压缩视频数据也去除高频像素数据，所以在压缩前优选极少/无降噪(Little/no de-noising)，从而在视频数据中留下噪声(及高频像素数据)。
对于锐化，如果对图像/视频执行激进锐化(Aggressive sharpening)，则很可能产生高频像素数据。当经过激进锐化的视频数据随后被例如基于帧间块(inter-frameblock)的算法压缩时，这种高频像素数据是有益的，因为这种算法会去除高频像素数据。特别地，在这方面，锐化和压缩处理效果上彼此抵消，但结果仍然具有减小了的图像/视频数据尺寸。从而，锐化和压缩可在记录装置20中直接彼此相关，并且控制器52在确定数据压缩与图像/视频处理技术组合时考虑这种相互作用可能是必须的。因此，在至少某些情况下，数字图像/视频数据的锐化可基于选择的要使用的压缩技术。作为另一种选择，压缩技术可基于选择的要使用的锐化技术。
举例来说，对于M-JPEG压缩技术，过度锐化图像(即，如上所述，出现环形化时图像即“过度锐化”)可能有问题，因为这种环形化可能不被所述压缩技术去除，甚至执行激进压缩或极端激进压缩时也是如此。但是，对于H.264/MPEG4/VC-1压缩技术，当执行激进压缩或极端激进压缩时，由于这种激进压缩技术去除高频像素，因此优选过度锐化图像。
在各种实施例中，当网络24的可用带宽对图像大于例如536Kbps(每秒千比特，下表1A的“高带宽”)，对视频大于例如50000Kbps(下表1C中的“高带宽”)时，在网络24传输前可对数字图像/视频数据执行极少/无压缩，在照相机/视频记录装置处可执行极少无锐化(Little/no sharpening)。但是，当网络24de可用带宽较少时，执行更多的压缩(例如，中度压缩(Moderate Compression)或激进压缩)，以及(i)为图像(照片)数据执行较多降噪，及(ii)为视频数据执行较少降噪。另外，当可用网络带宽减少时，无论在记录装置20处产生视频还是图像数据，都执行更少的其他增强处理，例如锐化 及白平衡。
下面的表1A到表1F示出可用网络带宽(最左面两列)的典型范围或限度。对每个这种范围或限度，表中的行显示出可以在记录装置20执行的相应压缩、降噪及锐化处理，所述处理在将经所述装置处理的图像/视频数据传输到网络站点28之前执行。注意，表1A-1F最左面两列中的带宽范围或限度表示(a)如上面在传输评估器48的说明中描述的网络ping值或网络数据传输速率，和/或(b)图像/视频数据传输到网络子系统(例如，网站)的最大时间中的一个或更多个。对于这种用于数据传输的最大时间，在一个实施例中，该最大时间越长，推测的网络24可用带宽越小。因此，这种最大延迟时间和可用网络是反相关的。因此，确定记录装置20执行什么图像/视频处理时，可将网络24可用带宽的当前(或最近获得的)测量值(或其指示信息)与评估器48(例如，表1A-1F的最左列)知道的各种预定的带宽相关信息(例如，带宽范围或限度，或最大传输时间)进行比较。例如，评估器48可确定网络24可用带宽的当前测量值将被分类到哪个带宽范围或限度(如下面表1A-1F最左面两列中的至少一个提供的)。随后，控制器52可使用测量的这种分类来确定数据压缩程度及要执行的图像/视频增强处理，如在表1A-1F中标识该测量值的分类的同一行中标识。
注意，也可以向记录装置20传送最小时间延迟。特别地，当网络24(或网络站点28)处于超载状态时，可将这样的最小时间延迟传送到记录装置20，以有意地延迟数字图像/视频数据的传输。当这种最小时间延迟被提供给记录装置20时，记录装置20可在通过压缩器36压缩数据前执行附加的图像/视频增强处理64。
对图像数据(不是视频)，表1A是典型的，其中，网络24最大传输延迟时间为60秒，像素是未压缩的3字节(RGB)。
表1A
对于每帧(通过MPEG-4/H.264/VC-1/Flash及其他基于帧间块的压缩算法压缩)640×480像素的视频数据，下表1B是典型的。注意，目前因特网视频通常以每帧约640×480像素(VGA)传输，但也可能扩展到例如每帧1920×1080像素(1080P)。
表1B
对每帧640×480像素的M-JPEG视频数据及VGA图像，下表1C是典型的。
表1C
对于产生器32输出5兆像素的图像、并且相应图像要在20秒内通过因特网传输的实施例，使得由使用者手动执行白平衡，曝光是自动的(具有例如1/15秒的限制)，并且对焦和变焦都可以是任意合适的用户期望值，下表1D显示出可用带宽、压缩、降噪及锐化之间的典型关系。注意，每个“压缩因子”列单元格中的数值“x”表示结果图像尺寸是原始尺寸的1/x。
表1D
对于通过因特网实时传输640×480视频的实施例，使得由用户手动执行白平衡，曝光是自动的(具有例如1/30秒的限制)，对焦关闭，变焦手动，下表1E显示出可用带宽、压缩、降噪及锐化之间的典型关系。注意，每个“压缩因子”列单元格中的数值“x”表示结果图像尺寸是原始尺寸的1/x。
表1E
对于通过因特网实时传输720P视频的实施例，使得由用户手动执行白平衡，曝光是自动的(具有例如1/60秒的限制)，对焦关闭，变焦是手动的，下表1F显示了可用带宽、压缩、降噪及锐化之间的典型关系。注意，每个“压缩因子”列单元格中的数值“x”表示结果图像尺寸是原始尺寸的1/x。
表1F
图2示出了描述本公开的获取系统10中的图像/视频处理的至少一个实施例执行的高层步骤的流程图。在步骤204，控制器52接收(请求时，或周期性地)数据，该数据指示当前可用网络24的带宽(或者，一个或更多个对图像/视频数据传输的限制，例如，诸如最小传输延迟时间的限制)。相应地，下文使用术语“网络传输数据(network transmissiondata)”(以及在图2中简称为“NTWK_TRANSMN_DATA”)表示这种网络或网络站点相关的传输属性(特别是，限制(constraint))，所述属性用于影响记录装置20中的数字图像/视频处理，使得这种数字图像/视频数据向特定网络站点(28)的网络传输更有效。相应地，控制器52可维持(在内部数据存储器中，未示出)这种网络传输数据。在一个实施例中，该数据可包括估计的可被及时传输到网络站点28的可用千字节数/秒。可选的/附加的，这种数据可包括用于传输到网络站点28的网络24的时间延迟。其他可能性包括用于网络传输的指定时间窗，等。在步骤208，控制器52接收记录装置20将要接收图像/视频数据的信号或通知(例如，记录装置的使用者激活了所述装置用于获取图像或视频)。注意，当控制器52被通知(例如，通过这种用户输入)时，在网络传输数据包括可用网络带宽数据的情况下，控制器确定可用网络24带宽的最近获取的测量值是否例如低于或高于至少一个预定的网络带宽阈值。如果该测量值大于这样的阈值，则例如在记录装置20的图像/视频初始获取期间可激活图像/视频增强处理，例如自动曝光、自动白平衡及自动对焦。可选的，如果该测量值低于这样的阈值，则阻止激活一个或更多个图像/视频增强处理，例如自动曝光、自动白平衡及自动对焦。特别地，在步骤212，控制器52访问例如内部数据表(图1中没有示出)，用于确定是否已经获得了可能影响图像/视频初始获取的网络传输数据。举例来说，该内部数据表可包括信息，该信息指 示网络24具有当前充分降低(或提高)的可用带宽，足以允许改变记录装置20执行的图像/视频处理。因此，如果网络24的可用带宽减少(例如，按照上述表1A至1F中适用的表中例如最后1行的带宽描述和测量范围)，则可执行步骤216，其中，在一个实施例中，控制器52确定并向产生器32传送要减少或完全禁止哪些图像/视频能力(例如，自动曝光、自动白平衡，自动对焦，等)，以降低所获取的图像/视频数据的量。
无论是否执行步骤216，在步骤220，图像/视频产生器32都生成并存储例如由使用者操作所述照相机/视频记录装置20而获取的图像/视频数据。注意，在一个实施例中，照相机/视频记录装置20可无需手动操作而运行，例如，当这种记录装置20用于监督或监视时。还要注意，产生器32可包括用于所生成的图像/视频数据的非瞬态数据存储器(图1未示出)，可选的，如本领域技术人员将理解的，这种非瞬态存储器可在该产生器32外部。
一旦获取到图像/视频数据(例如，存储zai记录装置20的非瞬态数据存储器中)，则执行步骤224，其中控制器52确定应用到图像/视频数据的数据压缩的量(如果有)及类型，用于在将该图像/视频数据(或其相应的版本)传输到图像/视频获取站点28时降低网络24上传输的数据量。特别地，如上述表1A到1F所描述的，当可用网络24的网络限制(例如可用网络带宽)降低(增加)时，所述图像/视频数据被压缩更多(更少)的量。
在至少一个实施例中，在对图像数据执行步骤224时，评估器48获取或读取第一网络24相关的参数数据，该数据指示用于在网络24上传输的图像数据的优选尺寸。由于产生器32输出的图像的尺寸对于记录装置20是可得的(例如，上述表1D中的5兆像素)，因此可计算压缩因子(即，产生器输出的图像的尺寸除以优选图像尺寸)。附加的/可选的，可通过从网络24的传输(例如，从站点28的传输)读取而提供第二参数数据，该数据指示要执行的数据压缩类型，或者，可替代的，压缩类型可由记录装置20确定(例如，记录装置可确定可用压缩类型，该类型提供期望的压缩因子并有最低损失)。给定这种压缩因子及压缩类型(例如，无损压缩(Loss Less)，或JPEG)，可访问驻留于记录装置20中的表(例如表1D)来确定要执行的相应的增强处理(及其参数)，例如降噪及锐化处理。
注意，可以对视频数据进行类似的确定。例如，如果网络24提供优选传输数据速率，则假设记录装置20能够访问产生器32输出的视频数据率(例 如，Kbps)，可以确定用于网络上的相应传输的视频压缩因子。此外，可以从网络24(或站点28)的传输读取而确定压缩类型，或者，可替代的，压缩类型可由记录装置20确定，其中，记录装置可确定可用压缩类型，该压缩类型提供期望的压缩因子且具有最低损失。
因此，假设(i)记录装置20能访问提供例如表1D、1F(或用于其他图像数据尺寸和/或视频网络传输数据速率的类似表)中的一个或多个的信息的表(或相应数据结构)中的一个或多个，并假设(ii)记录装置20也能访问期望的或优选的图像/视频网络传输属性(例如，尺寸或数据率)，则记录装置可以访问这样的表，以至少确定要应用的降噪、锐化及压缩处理的类型以及用于可操作性地配置这些处理中的每个的参数。从而，尽管这里的说明以及图2的流程图大多示出了依赖于可用网络带宽的处理，但是其他已知/未知的限制/条件(例如，基本与可用网络带宽无关的)也可用于确定期望的或优选的图像/视频网络传输属性。
随后，在步骤228，控制器52确定要对图像/视频数据执行的降噪的量或程度(如果有)及类型，其中，对于图像(例如，照片)数据，当要对图像/视频数据执行更大量的压缩时，则执行更大量的降噪，而对视频数据，降噪的量或程度与要执行的压缩的量或程度反相关。因此，例如，对于图像数据，如果控制器52确定不要执行数据压缩或执行极少的数据压缩，则可以执行极小量的降噪。
随后，在步骤232，控制器52确定要锐化的图像/视频数据的量或程度(如果有)及类型，其中，锐化的量或程度与图像/视频数据的压缩的量或程度直接相关。从而，例如，如果控制器52确定要对图像/视频数据执行极小量的数据压缩，则可以执行极小量的锐化。
在步骤236，控制器52根据步骤228及232中做出的确定向图像/视频增强处理40发出指令，用于数字化地增强图像/视频数据。特别地，根据步骤228及232中做出的确定，可激活降噪模块42和/或锐化模块44，以将它们各自的处理分别应用到图像/视频数据。注意，在一个实施例中，先执行图像/视频数据的降噪(如果有)，并且对从降噪处理输出的图像/视频数据执行锐化(如果有)。此外，在记录装置20的一个实施例中，自动曝光、自动白平衡及自动对焦中的一个或更多个也可以是增强处理40中提供的图像/视频处理增强工具，并且可类似地在步骤232及236中处理。例如，控制器52可根 据当前可用网络40的带宽确定应用这样的工具的量或程度，其中，与当前可用网络带宽相反地应用这样的工具。
在步骤240，假设要执行数据压缩，根据图2中步骤224对“COMPRSSION_INFO(压缩信息)”的确定，控制器52向压缩器60发出指令，以压缩从图像/视频增强处理40输出的图像/视频数据的结果版本。注意，在某些情况下，可以不对图像/视频数据进行压缩，因为例如可能有足够的网络24带宽、传输时间，或者传输窗口可能足够宽，足以在不压缩的情况下传输图像/视频数据。此外，在某些情况下，如果网络24的带宽(传输时间或传输窗口)被充分减小，则可能不执行任何图像/视频增强处理40，相应地，压缩器模块60可能接收原始获取的图像/视频数据。注意，如本领域人员能够理解的，从控制器52向压缩器60的指令可以指示压缩器从哪里获取其输入。如本领域人员将理解的，压缩器60可将压缩的数据输出到预定的数据存储器(图1未示出)。
在步骤244，控制器52准备已对在记录装置20处获取的图像/视频执行过的处理的处理历史，其中该历史标识以下：
(i)图像/视频数据是否已被压缩；
(ii)如果图像/视频已被压缩，使用的压缩技术及使用的压缩参数的标识；
(iii)应用到图像/视频数据的图像/视频增强工具及相应的参数，包括：
(a)应用的降噪类型(如果有)及使用的参数，(b)应用的锐化类型(如果有)及使用的相应参数，(c)是否执行了自动曝光及其(任何)相应参数，(d)是否执行了白平衡及其(任何)相应参数，及(e)是否执行了自动对焦、手动对焦和/或变焦距及其(任何)相应参数；
(iv)期望或优选应当已经应用的图像/视频增强工具(例如，在高可用带宽的最佳网络24带宽条件下，诸如，到站点28的ping往返延迟小于0.5秒)。
此外，这种历史信息也可包括记录装置20的标识，和/或该记录装置的使用者、订户(subscriber)或所有者的标识，用于例如在执行了任何进一步的图像/视频处理并将结果存储在图像/视频档案库84中之后确定谁拥有或能够访问存储在网络站点28中的相应图像/视频数据。注意，在网络传输前，所述历史信息可由控制器52输出到预定的数据存储位置，图1未示出这种数 据存储器。
为便于描述，上述步骤导致的图像/视频数据下文将被称为“记录装置处理过的图像/视频数据”。相应地，在步骤248，控制器52发出指令，用于将记录装置处理过的图像/视频数据及其相应的历史信息传输到视频/图像获取网络站点28。这种指令可被网络接口46接收，用于指引该接口针对记录装置处理过的图像/视频数据中的每个及其相应历史信息而访问数据存储器，并将每个传输到网络站点28。特别地，该历史信息可在也传输所述记录装置处理过的图像/视频数据的比特流中传输，或，可选的，如本领域人员将理解的，可通过单独的RTP/RTSP传输来传送该历史信息。在一个可选实施例中，控制器52可访问存储的记录装置处理过的图像/视频数据及其相应历史信息，用于将它们连同用于向站点28传输的网络24的地址(该地址标识该站点)一起输入到网络接口46。
随后，在步骤252，图像/视频获取站点28的网络接口50接收从图像/视频记录装置20发送的记录装置处理过的图像/视频数据及其相应历史信息。当接收并识别每个记录装置处理过的图像/视频数据及其相应历史信息时，网络接口50可以将其输出到临时图像/视频数据存储器80，该存储器由数据库管理系统管理，例如，关系数据库管理系统，如本领域技术人员将理解的。注意，这样的数据库管理系统可维持多种背景(context)值，用于识别记录装置处理过的图像/视频数据及其相应历史信息都已经存储在其中的时间。
在通过网络接口50(或上述数据库管理系统)通知控制器76接收到记录装置处理过的图像/视频数据及其相应历史信息两者后，在步骤256，该控制器根据所述历史信息确定该记录装置处理过的图像/视频数据是否需要解压缩。如果需要解压缩，则在步骤260，控制器76发送指令到解压缩器60以解压缩存储在临时图像/视频数据存储器80中的记录装置处理过的图像/视频数据。在一个实施例中，控制器76通过解压缩指令提供下述信息：
(a)用于访问临时图像/视频数据存储器80中的记录装置处理过的图像/视频数据的数据。
(b)用于访问相应历史信息的字段的数据，所述字段识别用于压缩记录装置处理过的图像/视频数据的压缩类型及参数。
如本领域技术人员将理解的，除了上述(a)和(b)信息，还可提供其他信息给解压缩器60。而且，在一个实施例中，控制器76可仅通知解压缩 器60新接收到(并存储)的记录装置处理过的图像/视频数据及其相应历史信息，接下来，由解压缩器确定是否应用解压缩、解压缩的类型及其参数。注意，可将由解压缩器60输出的解压缩的图像/视频数据与描述符数据一起存储在数据存储器80中，描述符数据将其标识为经解压缩的。
为便于描述，无论在步骤260中是否解压缩了所述图像/视频数据，在下文中都将结果图像/视频数据称为“解压缩的图像/视频数据”。
在对记录装置处理过的图像/视频数据的(任何)解压缩之后，在步骤264，控制器76根据相应存储的历史数据确定要对解压缩的图像/视频数据执行的(任何)增强处理，并发出相应指令到图像/视频增强处理管理器64以执行所确定的任何增强。特别地，控制器76确定是否将降噪处理68及锐化处理72应用到解压缩的图像/视频数据(以及到何种程度)。此外，控制器76(或图像/视频增强处理管理器64)可确定是否对解压缩的图像/视频数据应用其它增强处理，例如自动曝光、自动白平衡及自动对焦中的一个或更多个。在一个实施例中，最先应用降噪(如果有)，接下来应用自动曝光、白平衡及自动对焦中的(任意)一个或更多个，最后进行锐化。特别地，可依赖于历史信息执行下面的增强处理：
(i)增加图像对比度或亮度，以恢复或扩大被缩小得太多的原始图像的动态范围；例如，补偿由于减小的可用网络带宽(或相关参数)而执行的记录装置20的处理。例如，当已经在记录装置20中执行了一个或更多个降噪及锐化处理技术、并且这种处理已经去除了高频及低频部分以减少网络带宽量时，所产生的图像/视频可能固有是柔软的(soft)。例如，当在记录装置20中处理图像/视频以适应对640×480的视频图像具有低于1500Kbps的比特率的网络传输时，可以发生这种情况。
(ii)去除随机彩色点；例如，该类点可以特别在至少一部分图像/视频数据被无线传输时出现。注意，在某些实施例中，历史信息可包括标识来自记录装置20的传输是否包括无线传输的数据。
(iii)如本领域技术人员将理解的，可以通过获知历史信息中指示的处理来增强图像/视频数据的提升(upscaling)。
(iv)如本领域人员将理解的，检测图像/视频数据中的环形化或块状化(blockiness)，并接着应用相应的缓解增强。
随后，在步骤268，当图像/视频增强处理管理器64接收到来自控制器 76的指令时，增强处理管理器64顺序地激活增强处理，用于例如将经过它们的解压缩的图像/视频数据流水线化，如所述指令所确定的，并将所产生的(结果)增强的图像/视频数据存储到图像/视频档案库84中。注意，可以将用于确定谁或什么可以访问所产生的增强的图像/视频数据的信息与所述产生的增强的图像/视频数据关联地存储。在各种实施例中，一个或更多个下列数据与所产生的增强的图像/视频数据关联地存储，以识别那些有权访问的：记录装置20的标识，记录装置20的使用者、订户或所有者的标识，其中，相应的记录装置处理过的数据从该记录装置20获取。
一旦将所产生的增强的图像/视频数据存储在图像/视频库档案库84中，授权的用户可请求访问或传送这种增强的图像/视频数据以查看，如本领域人员将理解的。
为了例示和说明的目的呈现了本公开。此外，这里的说明不意图将本发明限制在这里公开的形式上。特别地，在相关领域普通技术人员的技能和知识范围内，根据上述教导而进行的修改或改变，属于本公开的范围内。本公开还意在说明实践如权利要求所描述的本发明的当前已知的最佳模式，并且意在使本领域其他技术人员能够使用本公开或由其衍生的其他实施例，例如，具有本公开的特定应用或使用所需要的各种修改。
附录
降噪
为简化，在下面的说明中，以下说明及表A1提供进一步的特征。
·激进降噪：如本领域技术人员将理解的，该降噪包括与高度掩盖系数组合的低通滤波和中部(median)滤波，其中，“高度掩盖系数”为： 其中k＝32-47。
·中度降噪：如本领域技术人员将理解的，该降噪包括具有较小程度的掩盖系数(例如，在8-31的范围内)的低通滤波，并且在某些情况下激活中部滤波。
·极少/无降噪：如本领域技术人员将理解的，该术语包括无降噪、以及不使用低通滤波或使用非常轻微的低通滤波的降噪(例如，“轻微 (minor)”为：其中k＝0-7)，并且无中部滤波。
注意，在上面对术语的描述中，“激进降噪”比“中度降噪”提供更多的降噪，而“中度降噪”比“极少/无降噪”提供更多的降噪。在一个实施例中，如本领域技术人员将理解的，上述对降噪的描述可更具体标识为：
表A1
降噪趋于使结果图像或视频呈现得更平滑或均质。可认为这种降噪对那些不呈现很多需要细节清楚的小对象的图像/照片有益。
锐化
关于锐化，在下文的说明中，以下说明及表A2提供进一步的特征。
·激进锐化：由锐化模块44进行的大高斯模糊技术的激活，用于处理数字图像/视频数据，其中，“大高斯模糊”指均值1.6、方差5，如本领域技术人员将理解的。
·中度锐化：通过执行轻微去卷积而锐化数字图像/视频数据，其中，“轻微去卷积”指均值0、方差0.05，如本领域技术人员将理解的。
术语“激进锐化”比“中度锐化”提供更强的锐化，“中度锐化”比“极少/无锐化”提供更强的锐化。在一个实施例中，如本领域人员将理解的，上述对锐化的描述可更具体标识为：
表A2
压缩
关于压缩，在下文的说明中，以下说明及表A3提供进一步的特征。
·激进压缩：由压缩器器模块36进行的高压缩技术的激活，用于处理数字图像/视频数据。
表A3

Claims (20)

1.一种用于处理图像或视频数据的方法，包括由计算设备执行下列步骤：
通过一个或多个网络传输，在网络站点接收处理过的数据以及为获取所述处理过的数据而执行的处理的相应历史信息，其中，所述执行的处理依赖于与网络的传输特征相关的网络数据，获取所述网络数据用于确定所述处理；
访问所述历史信息，用于确定：与所述处理过的数据相关的解压缩信息、以及与增强所述处理过的数据的视觉呈现相关的增强信息；
解压缩所述处理过的数据，由此获取解压缩的数据，其中，所述解压缩信息指示要对所述处理过的数据执行的解压缩；以及
根据所述增强信息，增强所述处理过的数据或所述解压缩的数据之一；
其中，所述增强步骤包括激活下面一个或多个的步骤用于获取增强的视觉呈现：降噪处理、锐化处理、自动曝光处理、自动白平衡处理、以及自动对焦处理。
2.根据权利要求1的方法，其中所述增强步骤包括对所述处理过的数据或所述解压缩的数据之一的降噪，其中，所述降噪降低椒盐噪声或高斯噪声。
3.根据权利要求1的方法，其中，用于产生所述处理过的数据的装置是手持移动通信装置。
4.根据权利要求3的方法，其中，对于所述装置的多个不同实例中的每个，所述网络站点可操作用于执行权利要求1的步骤；
其中对于所述实例中的每个，针对由从所述实例发送的处理过的数据及历史信息导出的视觉呈现，获取结果数据，其中，所述结果数据与用于确定对所述结果数据的访问的相应授权数据相关联。
5.根据权利要求1的方法，其中，所述处理过的数据包括下列之一：从在设备处获取的第一图像或视频数据中获取的用于传输到所述网络站点的图像或视频数据；
其中，为获取所述处理过的数据，所述第一图像或视频数据由第一和第二数据压缩处理之一压缩；
其中，对于指示与所述传输特征相关的第一值的网络数据，执行第一数据压缩，并且，对于指示与所述传输特征相关的更受限的第二值的网络数据，执行第二数据压缩；
其中，所述第一数据压缩对数据的压缩小于所述第二数据压缩。
6.根据权利要求5的方法，其中，从对所述第一图像或视频数据、或其导出的数据的增强获取增强数据；
其中，当为了获取所述处理过的数据而对所述增强数据执行第一数据压缩时，所述增强数据包括从第一降噪处理获得的具有噪音内容的第一降低的数据；以及
其中，当为了获取所述处理过的数据而对所述增强数据执行第二数据压缩时，所述增强数据包括从第二降噪处理获得的具有噪音内容的第二降低的数据。
7.根据权利要求6的方法，其中，对于包括视频数据的第一图像或视频数据，所述第一降噪处理被标识为比所述第二降噪处理降低所述增强数据中更多的噪声。
8.根据权利要求5的方法，其中，所述历史信息包括所述增强信息，并且所述增强信息包括指示对所述第一图像或视频数据或其导出的数据应用下列处理中的一个或多个以获取所述处理过的数据的数据：降噪处理、及锐化处理。
9.根据权利要求5的方法，其中，所述历史信息包括指示是否对所述第一图像或视频数据或其导出的数据应用了下列处理中的一个或多个以获取所述处理过的数据的数据：自动曝光处理、自动白平衡处理、以及自动对焦处理。
10.根据权利要求1的方法，其中所述激活步骤至少包括所述降噪及锐化处理。
11.一种非暂态计算机可读介质，其上存储有机器指令，所述指令包括：
通过一个或多个网络传输，在网络站点接收处理过的数据以及为获取所述处理过的数据而执行的处理的相应历史信息，其中，所述执行的处理依赖于与网络的传输特征相关的网络数据，获取所述网络数据用于确定所述处理；
访问所述历史信息，用于确定：与所述处理过的数据相关的解压缩信息、以及与增强所述处理过的数据的视觉呈现相关的增强信息；
解压缩所述处理过的数据，由此获取解压缩的数据，其中，所述解压缩信息指示要对所述处理过的数据执行的解压缩；以及
根据所述增强信息，增强所述处理过的数据或所述解压缩的数据之一；
其中，所述增强步骤包括激活下面一个或多个的步骤：降噪处理、锐化处理、自动曝光处理、自动白平衡处理、以及自动对焦处理，用于获取增强的视觉呈现。
12.根据权利要求11的计算机可读介质，其中，用于产生所述处理过的数据的装置是包括照相机和摄像机之一的手持移动无线通信单元，其中，所述网络数据依赖于下列之一：来自所述装置对预定网络站点的ping的结果、所述装置处网络的数据传输速率、以及网络站点可接受的最大传输延迟时间。
13.根据权利要求11的计算机可读介质，其中，所述历史信息包括所述增强信息，并且所述增强信息包括指示对第一图像或视频数据或其导出的数据应用下列处理中的一个或多个以获取所述处理过的数据的数据：降噪处理、及锐化处理。
14.一种用于处理图像或视频数据的系统，包括：
包括下列(a)到(c)的网络站点：
(a)网络接口，用于通过一个或多个网络传输接收处理过的数据以及为获取所述处理过的数据而执行的处理的相应历史信息，其中，所述执行的处理依赖于与网络的传输特征相关的网络数据，获取所述网络数据用于确定所述处理；
(b)解压缩器，用于解压缩所述处理过的数据；
(c)控制器，利用所述历史信息配置用于解压缩所述处理过的数据的解压缩器以产生解压缩的数据，并配置用于增强所述解压缩的数据的一个或多个增强处理，其中，所述增强处理包括用于为所述解压缩的数据减少噪声的至少一个降噪处理、以及用于为所述解压缩的数据锐化呈现的至少一个锐化处理；
其中，所述历史信息标识用以产生所述处理过的数据的图像或视频数据的处理，其中所述历史信息包括：(i)压缩描述信息，其与第一和第二数据压缩相关，其中在获取所述处理过的数据中执行第一和第二数据压缩；以及(ii)增强描述信息，其指示在获取所述处理过的数据中执行的图像或视频增强处理。
15.根据权利要求14的系统，还包括增强模块，用于根据所述增强信息增强所述处理过的数据或所述解压缩的数据之一；
其中，所述增强模块包括下列中的一个或多个：用于减少所述处理过的数据或其导出的数据中的噪声的降噪模块、以及用于锐化所述处理过的数据或其导出的数据的锐化处理。
16.根据权利要求15的系统，其中，所述增强模块还执行下列中的一个或多个用于获取增强的视觉呈现：自动曝光处理、自动白平衡处理、以及自动对焦处理。
17.根据权利要求15的系统，其中，所述处理过的数据包括下列之一：从在设备处获取的第一图像或视频数据中获取的用于传输到所述网络站点的图像或视频数据；
其中，为获取所述处理过的数据，所述第一图像或视频数据由第一和第二数据压缩处理之一压缩；
其中，对于指示与所述传输特征相关的第一值的网络数据，执行第一数据压缩，并且，对于指示与所述传输特征相关的更受限的第二值的网络数据，执行第二数据压缩；
其中，所述第一数据压缩对数据的压缩小于所述第二数据压缩。
18.根据权利要求17的系统，其中，从对所述第一图像或视频数据、或其导出的数据的增强获取增强数据；
其中，当为了获取所述处理过的数据而对所述增强数据执行第一数据压缩时，所述增强数据包括从第一降噪处理获得的具有噪音内容的第一降低的数据；以及
其中，当为了获取所述处理过的数据而对所述增强数据执行第二数据压缩时，所述增强数据包括从第二降噪处理获得的具有噪音内容的第二降低的数据。
19.根据权利要求18的系统，其中，对于包括视频数据的第一图像或视频数据，所述第一降噪处理被标识为比所述第二降噪处理降低所述增强数据中更多的噪声。
20.根据权利要求17的系统，其中，所述历史信息包括所述增强信息，并且所述增强信息包括指示对所述第一图像或视频数据或其导出的数据应用下列处理中的一个或多个以获取所述处理过的数据的数据：降噪处理、及锐化处理。
CN201210599201.9A 2011-12-15 2012-12-17 用于处理图像或视频数据的方法和系统 Active CN103227775B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/327,684 2011-12-15
US13/327,684 US9137548B2 (en) 2011-12-15 2011-12-15 Networked image/video processing system and network site therefor

Publications (2)

Publication Number Publication Date
CN103227775A CN103227775A (zh) 2013-07-31
CN103227775B true CN103227775B (zh) 2017-08-15

Family

ID=48610110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210599201.9A Active CN103227775B (zh) 2011-12-15 2012-12-17 用于处理图像或视频数据的方法和系统

Country Status (2)

Country Link
US (1) US9137548B2 (zh)
CN (1) CN103227775B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9228785B2 (en) 2010-05-04 2016-01-05 Alexander Poltorak Fractal heat transfer device
US9060136B1 (en) * 2010-06-14 2015-06-16 Open Invention Network, Llc Advanced gameplay system
KR101119848B1 (ko) * 2011-08-05 2012-02-28 (주)리얼허브 영상 입력 기기의 접속 장애 판별 장치 및 접속 장애 판별 방법
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
US9197904B2 (en) 2011-12-15 2015-11-24 Flextronics Ap, Llc Networked image/video processing system for enhancing photos and videos
US8948253B2 (en) 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system
CN104885512B (zh) * 2013-08-27 2018-11-20 华为技术有限公司 一种带宽估计的方法、装置及系统
US10979704B2 (en) * 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
US10554714B2 (en) 2016-05-11 2020-02-04 Ebay Inc. Managing data transmissions over a network connection
CN106326326B (zh) * 2016-06-07 2019-08-16 武汉科技大学 一种Android系统中的图片缓存优化方法
WO2018013668A1 (en) 2016-07-12 2018-01-18 Alexander Poltorak System and method for maintaining efficiency of a heat sink
US10820151B2 (en) * 2016-10-06 2020-10-27 Mars, Incorporated System and method for compressing high fidelity motion data for transmission over a limited bandwidth network
CN106572357A (zh) * 2016-11-11 2017-04-19 协创数据技术股份有限公司 一种视频直播图像失真在线处理装置
US11164039B2 (en) 2019-10-23 2021-11-02 International Business Machines Corporation Framework for few-shot temporal action localization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466853A (zh) * 2000-09-29 2004-01-07 英特尔公司 视频处理
CN101223791A (zh) * 2005-07-19 2008-07-16 国际商业机器公司 在流式图像系统中转变压缩级别
CN101491102A (zh) * 2006-07-20 2009-07-22 高通股份有限公司 将后处理视为在解码器中执行的视频编码
CN101997945A (zh) * 2009-08-25 2011-03-30 Lg电子株式会社 移动终端中的显示设备和控制该显示设备的方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278806A1 (en) 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
US7791594B2 (en) 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
EP2129091A1 (en) 2008-05-29 2009-12-02 LG Electronics Inc. Mobile terminal and transparent display control method thereof
US8860765B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Mobile device with an inclinometer
US8355755B2 (en) 2009-03-03 2013-01-15 Lg Electronics Inc. Mobile terminal
EP2422505B1 (en) * 2009-04-21 2018-05-23 Marvell International Ltd. Automatic adjustments for video post-processor based on estimated quality of internet video content
US8095191B2 (en) 2009-07-06 2012-01-10 Motorola Mobility, Inc. Detection and function of seven self-supported orientations in a portable device
KR101634247B1 (ko) 2009-12-04 2016-07-08 삼성전자주식회사 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법
US8588551B2 (en) 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
US20110243397A1 (en) 2010-03-30 2011-10-06 Christopher Watkins Searching digital image collections using face recognition
JP2012010162A (ja) 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
KR101802522B1 (ko) 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
US8810533B2 (en) 2011-07-20 2014-08-19 Z124 Systems and methods for receiving gesture inputs spanning multiple input devices
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
US9197904B2 (en) 2011-12-15 2015-11-24 Flextronics Ap, Llc Networked image/video processing system for enhancing photos and videos
US8948253B2 (en) 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466853A (zh) * 2000-09-29 2004-01-07 英特尔公司 视频处理
CN101223791A (zh) * 2005-07-19 2008-07-16 国际商业机器公司 在流式图像系统中转变压缩级别
CN101491102A (zh) * 2006-07-20 2009-07-22 高通股份有限公司 将后处理视为在解码器中执行的视频编码
CN101997945A (zh) * 2009-08-25 2011-03-30 Lg电子株式会社 移动终端中的显示设备和控制该显示设备的方法

Also Published As

Publication number Publication date
CN103227775A (zh) 2013-07-31
US20130156092A1 (en) 2013-06-20
US9137548B2 (en) 2015-09-15

Similar Documents

Publication Publication Date Title
CN103227775B (zh) 用于处理图像或视频数据的方法和系统
CN103281526B (zh) 网络图像/视频处理系统
US9197904B2 (en) Networked image/video processing system for enhancing photos and videos
KR102535098B1 (ko) 이미지 프로세싱 및 비디오 압축 방법
JP5399578B2 (ja) 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
JP5638731B1 (ja) 拡張ダイナミックレンジをもつ画像の階層式符号化における適応的な偽輪郭生成防止
KR102523505B1 (ko) 역 톤 매핑을 위한 방법 및 장치
US20150043655A1 (en) Encoding Video Captured in Low Light
AU2006252195B8 (en) MPEG noise reduction
JP2005166021A (ja) 画像中の画素を分類する方法
CN107771392A (zh) 用于高动态范围图像的实时内容自适应感知量化器
US20090060324A1 (en) Image enhancement and compression
CN107211145A (zh) 几乎视觉无损的视频再压缩
CN111602402B (zh) 一种产生滤波重构帧的方法及装置
CN108235037A (zh) 对图像数据进行编码和解码
JP2011091510A (ja) 画像処理装置およびその制御方法
CA2825927A1 (en) Color conversion based on an hvs model
Grois et al. Perceptual quantization matrices for high dynamic range H. 265/MPEG-HEVC video coding
TWI421798B (zh) 影像壓縮之位元率控制方法及其裝置
Ozcinar et al. Spatio-temporal constrained tone mapping operator for HDR video compression
WO2022268181A1 (zh) 视频增强处理方法、装置、电子设备和存储介质
US8023559B2 (en) Minimizing blocking artifacts in videos
US20210321142A1 (en) No-Reference Banding Artefact Predictor
KR20220063063A (ko) 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치
CN111491166A (zh) 基于内容分析的动态压缩系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant