CN105282548B - 动态压缩比选择 - Google Patents

动态压缩比选择 Download PDF

Info

Publication number
CN105282548B
CN105282548B CN201510282589.3A CN201510282589A CN105282548B CN 105282548 B CN105282548 B CN 105282548B CN 201510282589 A CN201510282589 A CN 201510282589A CN 105282548 B CN105282548 B CN 105282548B
Authority
CN
China
Prior art keywords
image
compression
region
regions
compression ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510282589.3A
Other languages
English (en)
Other versions
CN105282548A (zh
Inventor
A·霍茨伯格
B·科里
M·林德伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN105282548A publication Critical patent/CN105282548A/zh
Application granted granted Critical
Publication of CN105282548B publication Critical patent/CN105282548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及动态压缩比选择。根据基于压缩度量而选择的压缩比来压缩图像。在一个实施例中,压缩度量是基于指示图像中的图像噪声的量的图像特性,诸如增益和勒克斯。较大的压缩比用于具有指示较高程度的噪声的压缩度量的图像。因为具有较高图像噪声水平的图像已经具有降低的视觉质量,所以与压缩对具有低图像噪声的图像的影响相比,较高压缩的影响不太显著。在一个实施例中,将图像划分为若干个区域,对于每个区域,确定压缩度量和相应的压缩比,以使得该图像的具有高图像噪声的区域的压缩程度可以大于具有低图像噪声的区域。

Description

动态压缩比选择
技术领域
本公开总地涉及数字成像,并且尤其涉及压缩具有变化水平的图像噪声的数字图像。
背景技术
数字成像设备出现在手持设备、计算机、数字照相机和各种其他的电子设备中。一旦数字成像设备获取了图像,图像处理管道(pipeline)就可以应用若干个图像处理操作来产生标准化图像格式的全色的、经过处理的、压缩图像。
虽然成像技术的进展使得能够不断地提高图像质量,但是存储和数据传输的关注(尤其是对于便携式设备)继续驱使图像和视频压缩标准实现更小的文件大小以及提高的保真度。快速地实现更小的文件大小且保真度损失最小的策略因此是期望的。
发明内容
公开了用于选择图像压缩比的方法、设备和系统。数字图像的压缩可能由于数据和细节的减少以及压缩伪像的引入而降低图像质量。虽然压缩可能显著地影响具有高信噪比(SNR)的图像的视觉质量,但是由于低SNR而已经包括一定程度的图像噪声的未压缩图像的视觉质量可能不会受到压缩的显著影响。就这点而论,当存储数字图像时,被识别为具有相对较高程度的图像噪声/低SNR的图像的压缩程度与具有相对较低程度的图像噪声/高SNR的图像相比被更大程度地压缩,而没有显著的视觉质量损失。
测量图像中的图像噪声的量所需的图像分析可能是计算密集的而且耗时的。然而,数字图像中的图像噪声的量可以与可以容易地从现代的数字图像捕捉设备(例如,数字照相机)中的图像处理管道数据流获得的其他图像特性(例如,增益和勒克斯(lux))相关。通常,这样的特性和值包括在与图像相关联的元数据中。就这点而论,在一个实施例中,基于与图像噪声相关的图像特性来确定指示图像中的图像噪声的程度的压缩度量(compression metric)。压缩度量可以用于选择压缩比,以使得具有较高图像噪声/较低SNR的图像的压缩程度可以大于具有较低图像噪声/较高SNR的图像。
在另一个实施例中,可以将图像分割为若干个区域。可以对每个区域确定单独的压缩度量和相应的压缩比。以这种方式,图像的较高图像噪声/低SNR区域可以被更大程度地压缩,而图像的较低图像噪声/高SNR区域的较高视觉质量可以通过对这些区域使用较低压缩比来保留。
附图说明
图1例示根据一个实施例的图像管道。
图2例示具有低图像噪声/高SNR的图像和具有高图像噪声/低SNR的图像的例子。
图3是例示根据一个实施例的用于选择图像压缩比的方法的流程图。
图4例示根据一个实施例的压缩度量与压缩程度之间的关系。
图5是例示根据另一个实施例的用于选择图像压缩比的方法的流程图。
图6是例示根据又一个实施例的用于选择图像压缩比的方法的流程图。
图7例示根据一个实施例的图像的其压缩度量被单独地确定的区域。
图8例示根据一个实施例的用于创建以动态选择的压缩比压缩的数字图像的系统。
具体实施方式
公开了用于选择图像压缩比的方法、设备和系统。压缩的高质量数字图像与原始数字图像相比具有较低的视觉质量。然而,低质量的、有噪声的数字图像的压缩可能不会大大地影响总体图像质量。就这点而论,当存储数字图像时,可以通过基于图像中的图像噪声的量选择压缩比来最小化(或者大幅减小)图像文件大小,其中,压缩比使得图像大小减小,而不显著地影响图像的视觉质量。图像的完全噪声分析可能是计算密集的而且耗时的。然而,数字图像中的图像噪声可以与其他的图像特性(例如,增益和勒克斯)相关,所述其他的图像特性往往是与图像相关联的元数据中所包括的值,或者沿着照相机的图像管道被容易确定的值。通过基于这些特性估计原始数字图像中的图像噪声的量,可以选择使得图像大小减小、但不会显著地影响图像的视觉质量的压缩比。
在一个方面,压缩比是基于压缩度量的,该压缩度量本身可以基于与图像噪声相关的一个或多个图像特性。图像特性可以容易地从图像处理管道获得,与传统的噪声分析方法相比,减少了估计图像噪声所需的计算。在实施例中,增益或勒克斯可以用作通知压缩比的选择的压缩度量的基础。对于指示图像噪声程度高的压缩度量值,可以使用较高的压缩比,生成较低保真度的压缩图像。对于指示图像中图像噪声程度低的压缩度量值,可以使用较低的压缩比,生成较高保真度的压缩图像。压缩度量与压缩水平之间的关系可以是连续的或离散的。
在另一个方面,不同的压缩比可以应用于图像的不同区域。在实施例中,将图像分割为若干个区域,所描述的压缩度量分析独立地应用于每个区域。这使得图像的具有低局部SNR的噪声区域的压缩程度可以大于该图像的噪声较小的区域,这可以使得能够进一步减小图像文件大小,而视觉质量没有显著的损失。
在以下描述中,出于说明的目的阐述了许多特定细节,以便提供本发明构思的透彻理解。作为该描述的一部分,本公开的一些附图以框图形式表示结构和设备,以便避免使所公开的实施例模糊。为清晰起见,实际实现的所有特征并没有都在本说明书中进行描述。而且,本公开中所使用的语言主要是为了可读性和指导的目的而选择的,并且可能不是被选为描绘或限制本发明主题;相反,权利要求语言确定这样的发明主题。本公开中对于“一个实施例”或“实施例”的论述意指,结合该实施例描述的特定的特征、结构或特性被包括在所公开的主题的至少一种实现中,并且对于“一个实施例”或“实施例”的多个论述不应被理解为一定全都指的是同一个实施例。
将意识到,在任何实际实现的开发中(如在任何开发计划中),必需做出许多决策来实现开发者的特定目标(例如,遵从系统相关约束和业务相关约束),并且这些目标在不同实现中可以有所变化。还将意识到,这样的开发工作可能是复杂的而且耗时的,但是尽管如此,却是普通技术人员在设计具有本公开的益处的图像处理系统的实现时承担的日常工作。
图1例示了根据一个实施例的图像管道100。根据一个实施例,当来自场景的光照到图像传感器110时,产生图像,产生原始图像数据120。图像信号处理器130从原始图像数据120生成数字图像文件140,其中,数字图像文件140包括数字图像数据和元数据。在方框150中,可以根据一个或多个选定的压缩比压缩数字图像文件140,以便减小图像文件大小。
举例来说,图像传感器110可以包括CMOS图像传感器(例如,CMOS有源像素传感器(APS))或CCD(电荷耦合器件)传感器)。一般地,图像传感器包括具有像素阵列的集成电路,其中,每个像素包括用于感测光的光检测器。如本领域的技术人员将意识到的,成像像素中的光检测器一般检测经由照相机镜头捕捉的光的强度。然而,光检测器一般不能通过自身检测捕捉的光的波长,因此,不能确定颜色信息。
因此,图像传感器还可以包括可以覆盖图像传感器的像素阵列或者设置在其上方以捕捉颜色信息的滤色器阵列(CFA)。滤色器阵列可以包括小型滤色器的阵列,每个小型滤色器可以与图像传感器的相应像素重叠,并且按照波长对捕捉的光进行滤光。因此,当结合使用时,滤色器阵列和光检测器可以提供关于通过照相机捕捉的光的波长和强度两者的信息,该信息可以代表捕捉的图像。
在一个实施例中,滤色器阵列可以包括拜耳滤色器阵列,该拜耳滤色器阵列提供50%绿色元素、25%红色元素和25%蓝色元素的滤色模式。例如,拜耳CFA的2×2像素块包括2个绿色元素(Gr和Gb)、1个红色元素(R)和1个蓝色元素(B)。因此,利用拜耳滤色器阵列的图像传感器可以提供关于图像捕捉设备接收的光在绿色、红色和蓝色波长的强度的信息,由此每个图像像素仅记录三种颜色(RGB)中的一个。该信息可以被称为图1中的方框120中所示的“原始图像数据”或“原始域”中的数据。原始图像数据120具有各种关联特性,包括,例如,捕捉日期和时间、GPS位置或地理标签、光圈大小、曝光时间、照相机类型、模拟增益、数字增益、勒克斯和白点。特性的数量和类型将根据照相机系统及其能力而变化。一些特性通常与图像相关联,一些与图像捕捉设备本身相关联,一些与单个的像素元素相关联。
原始图像数据120然后可以被图像信号处理器(ISP)130处理以生成数字图像文件140。图像信号处理器130可以执行各种图像处理功能,诸如,举例来说,拜耳变换、去马赛克、降噪、白平衡、数字增益的应用和图像锐化。例如,图像信号处理器130可以使用一种或多种去马赛克技术将原始图像数据120转换为全色图像(一般通过对于每个像素插值一组红色、绿色和蓝色值)。图像信号处理器130还可以计算图像的可以用于测量图像噪声的量的统计性质,包括局部SNR估计。
在一个实施例中,图像信号处理器130确定与图像相关联的压缩度量。在另一个实施例中,压缩度量由与图像信号处理器130分开的处理器确定,即,不是由图像信号处理器130确定。压缩度量可以与图像中的图像噪声的量相关。噪声是图像中的不想要的信号、或者不指示什么正被测量的信号。虽然噪声总是存在,但是它在信噪比(SNR)低的图像中变得在视觉上明显。在指示被成像的场景的图像传感器信号与图像传感器也经历的光波动、传感器噪声、或随机信号之间的差异小时,SNR低。视觉图像噪声通常起源于例如低光情况,在低光情况下,照到传感器的低量光与传感器产生的噪声信号处于相同量级。就这点而论,本文中对于“图像噪声”的论述是指如下的情况,即,图像的SNR低,使得某一幅度的噪声信号在图像数据中是明显的。图2例示了低图像噪声/高SNR图像200和高图像噪声/低SNR图像205。高SNR图像200用清晰的线、均匀的填充和平滑的梯度表征。低SNR图像205用粒状的填充和斑驳的梯度表征。
在一个实施例中,压缩度量通知用于数字图像140的压缩150的压缩比的选择。下面将关于图3更详细地描述压缩度量的确定。一旦被确定,压缩度量就可以被包括在图像的元数据中。这样,压缩度量可以在压缩150期间被参照,以使得压缩度量通知压缩比的选择。在另一个实施例中,用于图像的压缩度量直接传送到图像管道的压缩级150。
在一个实施例中,数字图像文件140包括图像数据和元数据。数字图像文件140可以是各种未压缩或无损压缩格式,例如,RAW和PNG。在一个实施例中,与数字图像文件140相关联的元数据包括以上关于原始图像数据120讨论的图像特性。在另一个实施例中,与数字图像文件140相关联的元数据包括与图像噪声相关的压缩度量。
在方框150中,压缩图像信号处理器130的输出。也就是说,压缩150减小了数字图像140的总体文件大小。例如,减少存储数字图像所需的字节的数量。压缩150可以是无损的,由此尽管文件大小减小,但是图像的全保真度仍得以保留,或者可以是有损的,在这种情况下,图像信息丢失,也就是说,保真度降低。有损压缩150包含减小数字图像文件140的大小的任何方法。这样的方法可以利用色度子采样、变换编译码、预测编译码、量化、熵编译码等。有损压缩150可以特别是按照各种行业标准方法(包括JPEG、JPEG2000、JPEG-XR和HEVC静态图像配置文件)而进行。
在一个实施例中,压缩150根据选定的压缩比而进行。在一个实施例中,压缩比可以由图像信号处理器130选择,并且作为指令发送到压缩处理150。在另一个实施例中,压缩比可以在压缩处理150期间基于与图像噪声相关联的压缩度量而选择。在又一个实施例中,压缩比可以由单独的处理器基于压缩度量选择,然后传送到压缩处理150。
虽然管道100是相对于单个数字图像描述的,但是本领域的普通技术人员将认识到,它同样地适用于视频序列。例如,各种特性可以与视频文件相关联。压缩度量可以从与声音或视频图像中的图像噪声相关的视频特性推导得到。在实施例中,视频压缩比可以基于确定的压缩度量而选择。视频可以根据各种行业标准方法(例如,MPEG、H.264和HEVC)被压缩。
图3是例示根据一个实施例的用于选择图像压缩比的方法300的流程图。在方框310中,接收图像。图像为数字格式。本文中所讨论的图像可以为任何滤色器阵列(CFA)格式,诸如拜耳,或者在其他的颜色空间中,诸如RGB或各种亮度-色度格式,诸如YCbCr。得到关于图像的数据的其他手段是由应用处理器(CPU)或ISP处理诸如各种统计数据。元数据中所包括的其他特性是光圈值、明亮度值、颜色空间、曝光时间和偏差、闪光信息、焦距、F数、ISO速度额定值、快门速度值、图像稳定值和白平衡模式。
在方框320中,根据一个实施例,确定指示图像中的图像噪声的程度的压缩度量。在一个实施例中,压缩度量被从与图像相关联的至少一个图像特性推导得到。各种图像特性可以与图像中的图像噪声的量相关。例如,在低光条件下拍摄的图像通常具有低SNR,这可能导致高图像噪声。当传感器几乎得不到光来产生图像信号时,图像增益通常被提高。在增益非常高的情况下,不仅是所捕捉的信号的指示该图像的部分被放大,而且由于SNR低,传感器的噪声也被放大。就这点而论,高增益通常指示图像中的图像噪声的存在。
图像特性勒克斯也可以用于识别有可能具有图像噪声的图像。勒克斯是照到表面的每一单位面积的光量。就这点而论,诸如低光情况下的低勒克斯值与高增益值具有许多相同的指示。也就是说,如果图像的勒克斯低,则图像传感器曝露于低光量。再次,在信号小的情况下,图像噪声和信号更有可能混淆。因此,高增益值或低勒克斯值可以指示有可能具有许多图像噪声的图像。图像的增益和勒克斯值通常被存储为元数据,因此与通过分析图像数据获得的信息相比,更易于作为噪声度量被访问以识别实际的图像噪声。
因此,基于诸如增益的图像特性的压缩度量可以指示图像中的图像噪声的量。在一个实施例中,单独的图像特性可以直接用作压缩度量。例如,图像的数字增益的值可以用作压缩度量值。在另一个例子中,图像的勒克斯值可以用作压缩度量值。在一个实施例中,单个图像特性可以被映射到压缩度量标度上,或者被规范化来确定压缩度量值。例如,增益值可以除以用于照相机系统的最大增益值,以便获得无量纲的压缩度量值。
多于一个的图像特性也可以用于计算压缩度量。在一个实施例中,用于压缩度量计算的每个图像特性指示图像中的图像噪声。压缩度量函数可被以若干个图像特性对压缩度量值做出贡献的方式来制订。在一个实施例中,每个图像特性值具有如下的系数,该系数调整该特性值的权重和/或单位,以使得每个图像特性以有意义的方式对压缩度量值做出贡献。例如,如果增益高度地指示图像噪声,而白点仅微小地指示图像噪声,则增益系数可以被选为使得增益分量对压缩度量值具有更大的影响。一些图像特性,诸如勒克斯,与图像噪声负相关,也就是说,勒克斯越大,图像噪声有可能越低。就这点而论,为了获得压缩度量与压缩比之间的正确的关系,可能有必要调整压缩度量。示例性压缩度量函数如方程1所示。
度量值=f(增益,勒克斯,…)=ωGG+ωluxL+…, (1)
其中,ωG表示用于增益的加权因子,G表示增益,ωL表示用于勒克斯的加权因子,L表示勒克斯。
在一个实施例中,压缩度量函数可以根据实验推导得到,例如,通过执行各种图像特性的回归分析而得到。根据一个实施例,与单个图像特性值一样,通过压缩度量函数产生的值可以被规范化。例如,压缩度量函数可以被设计为产生0至100的标度上的压缩度量值。
返回到图3,在方框300中,根据一个实施例,可以基于压缩度量选择压缩度量。如本文中所使用的,压缩比是图像中的数据量用压缩算法减少的程度的量度。例如,在一个实施例中,压缩比可以是以字节为单位的原始文件大小与以字节为单位的压缩文件大小的明确比率。在另一个实施例中,压缩比可以是0至100的规范化标度上的值,其中,0是最大压缩程度,100是未压缩(原始)图像。如上所述,可以使用任何合适的压缩算法/格式。可供用于选择的精确的压缩比、范围取决于所用的特定的压缩方法/算法。
所选择的压缩值与用于图像的压缩度量之间的关系可以被定义为:低图像噪声/高SNR图像的高视觉质量通过使用在整个压缩比标度上低的压缩比来得以保留,而具有低视觉质量的高图像噪声/低SNR图像以在压缩标度上高的比率被压缩,因为与图像的未压缩版本相比,由于压缩而导致的数据损失可能不会显著地影响有噪声图像的视觉质量。
图4例示了例示性压缩度量与压缩比之间的示例性关系。绘图400示出了单个压缩度量阈值405。当压缩度量的值低于压缩度量阈值405时,最小压缩比415可以用于压缩图像。也就是说,当压缩度量值小(指示图像中的图像噪声量低)时,图像保持一定程度的保真度、细节和数据/文件大小。这保留了具有低图像噪声的图像中的细节和保真度。在一个实施例中,当压缩度量低于压缩度量阈值405时,压缩比为1;也就是说,图像大小不减小。当压缩度量为噪声阈值405或者高于噪声阈值405时,最大压缩比420可以用于压缩图像。也就是说,当在图像中检测到大量图像噪声时,减小图像文件,因为图像噪声已经限制了视觉质量和图像中明显的细节,所以由于压缩而导致的任何保真度损失不会显著地进一步降低图像的视觉质量。
在绘图425中,根据一个实施例中,若干个压缩度量阈值430A-F定义了压缩度量与所选择的压缩比之间的关系。随着压缩度量值增大,指示图像中的图像噪声的程度增大,压缩比也可以增大。通过使用若干个压缩度量阈值,压缩程度可以针对图像中的图像噪声的程度被调整。压缩度量阈值430A-F按规则的间隔被例示,在每个压缩度量阈值,压缩比增大相同的量。然而,压缩度量阈值可以按任何间隔被定义,并且相应的压缩比可以增大任何量。压缩度量阈值可以例如由感知模型通知,该感知模型描述了观看者对图像的感知如何受各种程度的图像噪声影响。
在绘图435中,根据一个实施例,压缩度量与压缩比之间的关系是连续的。尽管该关系被示为线性的,但是它可以具有压缩比大体上随着压缩度量增大而增大的任何形状。另外,压缩度量与压缩比之间的关系可以是连续和离散的组合,即,涉及压缩度量阈值。
返回到图3,在方框340中,根据一个实施例,可以根据所选择的压缩比压缩数字图像。可以使用任何合适的、能够以所选择的比率进行压缩的压缩方法,例如,JPEG、JPEG2000、JPEG-XR或HEVC静态图像配置文件。本领域的普通技术人员将理解,除了图像文件之外,图3所示的并且关于图3描述的方法还可以用于压缩视频文件。
图5是例示根据一个实施例的用于基于压缩度量选择压缩比的方法500的流程图。在方框310中,如上所述,接收图像。在方框320中,如上所述,确定压缩度量。接着,在方框530中,根据一个实施例,确定压缩度量是否大于压缩度量阈值。噪声阈值可以如以上关于图4中的绘图400、425和425之一描述的那样定义。根据一个实施例,如果压缩度量不大于压缩度量阈值,则在方框540中,以第一压缩比压缩图像。如果压缩度量大于压缩度量阈值,则根据第二压缩比压缩图像,其中,第二压缩比大于第一压缩比。
图6例示了根据一个实施例的用于确定用于图像的若干个区域中的每个的压缩比的方法600,其中,压缩比基于压缩度量而选择。在方框310中,如上所述,接收图像。在方框615中,根据一个实施例,识别图像的一个或多个区域。在一个实施例中,这些区域可以由图像信号处理器识别。在另一个实施例中,这些区域由单独的处理器识别。图像的区域可以通过各种方法识别。例如,如图7中的图像700中所示,图像可以划分为若干个具有相等面积的区域。根据一个实施例,图像700划分成了若干个区域720。根据一个实施例,区域720独立于对象710的位置。可以对每个区域720进行评估以基于各个区域的压缩度量确定用于每个区域720的压缩度量和压缩比。这样,包含大量图像噪声的区域720的压缩程度可以大于包含较少量的图像噪声的区域。
在另一个实施例中,图像可以划分为变化面积的区域。这些区域的面积和位置可以基于若干个因素,诸如图像对象的标识、图像特性(例如,增益或勒克斯)的变化,或者以其他方式被识别为有可能具有高图像噪声的面积。根据一个实施例,图像730包括不同面积的区域。根据一个实施例,图像730包括较大的背景区域740和较小的对象区域750。对象区域750包括图像的对象710。在这个例子中,与对象710相比,图像的背景可以具有较少的细节、较少的焦点、和/或较大的图像噪声。就这点而论,背景区域740可以具有比对象区域710高的压缩度量,因此,可以以比压缩对象区域710的压缩比高的压缩比进行压缩。要理解,各种方法可以用于定义图像内的任何数量和/或大小的区域,以使得不同区域分别使用基于特定于单独区域的压缩度量的压缩比进行压缩。
返回到图6,在方框620中,根据一个实施例,对于图像的一个区域确定压缩度量。用于单个区域的压缩度量可以如以上关于图3的方框320所讨论的那样确定。接着,在方框330中,如上所述,可以基于压缩度量选择压缩比。然后,在方框340中,如上所述,可以根据所选择的压缩比压缩图像区域。方框620、330和340可以连续地、并行地、或者既连续地、又并行地组合地对每个区域执行。根据一个实施例,当被连续地执行时,每个方框可以在进行到下一个方框之前对图像中的每个区域执行。在另一个实施例中,方框620和330可以在进行到方框340中对每个区域进行压缩之前被执行以将压缩比分配给每个图像区域。方框620、330和340均可以由相同的或不同的处理器执行。
图8例示了用于执行目前所公开的技术的电子设备800,除了其他元件之外,电子设备800可以包括一个或多个处理器805、存储器810、非暂时性储存器815、显示器820、一个或多个图像捕捉元件825、闪光灯(strobe)830、主图像处理器835、输入/输出(I/O)接口840、网络接口845、输入结构850和电源855。图8中所示的各种功能块可以包括硬件元件(包括电路)、软件元件(包括存储在非暂时性计算机可读介质(诸如,举例来说,储存器815)上的计算机代码)、或硬件元件和软件元件的组合。还应指出,图8仅仅是特定实现的一个例子,并且意图例示电子设备800中可以存在的组件的类型。
举例来说,电子设备800可以表示便携式电子设备的框图,所述便携式电子设备诸如移动电话或平板计算机系统、或类似的电子设备,诸如具有类似的成像能力的台式或笔记本计算机系统。应指出,主图像处理器835块、处理器805、和/或其他的数据处理电路一般可以被称为数据处理电路。这样的数据处理电路可以整个地或者部分地实施为软件、固件、硬件或它们的任何组合。此外,数据处理电路可以是单个内含的处理模块,或者可以整个地或者部分地合并在电子设备800内的其他任一元件内。另外地或者可替代地,数据处理电路可以部分地包含在电子设备800内,并且部分地包含在连接到设备800的另一个电子设备内。
在图8的电子设备800中,处理器805和/或其他数据处理电路可以可操作地联接到存储器810和非暂时性储存器815以执行用于实行目前公开的技术的各种算法。这些算法可以由处理器805和/或其他数据处理电路(例如,与主图像处理835相关联的固件或软件)基于处理器805和/或其他数据处理电路可执行的某些指令来执行。这样的指令可以使用任何合适的制造品来存储,所述制造品包括至少共同存储这些指令的一个或多个有形的非暂时性的计算机可读介质。所述制造品可以包括,例如,存储器810和/或非暂时性储存器815。存储器810和非暂时性储存器815可以包括任何合适的用于存储数据和可执行指令的制造品,诸如随机存取存储器、只读存储器、可重写闪存、硬盘驱动器和光学盘。
图像捕捉元件825可以捕捉场景的原始图像数据的帧,这通常是基于周围光进行的。当周围光本身不足时,闪光灯830(例如,一个或多个发光二极管(LED)或氙闪光设备)可以在图像捕捉元件825捕捉原始图像数据的帧的同时临时照亮场景。在任一种情况下,来自图像捕捉元件825的原始图像数据的帧可以在被存储在存储器810或非暂时性储存器815中或者在显示器820上显示之前进行处理。
特别地,所示的图像捕捉元件825可以作为被配置为获取静态图像和运动图像(例如,视频)两者的数字照相机被提供。如以上所讨论的,这样的图像捕捉元件825可以包括透镜和一个或多个图像传感器,它们被配置为捕捉光并且将光转换为电信号,并且转换为原始拜耳、RGB或YCbCr格式。来自图像捕捉元件825的这样的图像数据的帧可以进入主图像处理835进行处理。在一些实施例中,图像信号处理器835可以包括专用的硬件图像信号处理器,并且可以包括一个或多个专用的图形处理单元。
来自图像捕捉元件825的原始图像数据还可以存储在存储器810中的可供电子设备800的替代图像处理能力访问的帧缓冲器中。替代图像处理表示与主图像处理器835分开执行的图像处理,并且包括代替主图像处理器835处的处理执行的或者除了主图像处理器835处的处理之外还执行的图像处理。因此,该术语还包括主图像处理器835的图像数据处理之外执行的、但是支持这些图像数据处理的处理。
电子设备800的这样的替代图像处理能力可以包括,例如,在处理器805上的软件中运行的图像处理或图像分析。另外地或者可替代地,电子设备800的替代图像处理能力可以包括能够针对某些特性分析原始图像数据的其他硬件或固件。此外,替代图像处理可以有助于如本文中所公开的压缩度量的确定、压缩比的选择或图像的压缩。
I/O接口840可以使得电子设备800能够与各种其他的电子设备进行接口,如网络接口845可以的那样。这些网络接口845可以包括,例如,用于个人区域网络(PAN)(诸如无线通信网络)的接口、用于局域网(LAN)(诸如802.llx Wi-Fi网络)的接口、和/或用于广域网(WAN)(诸如3G或4G蜂窝网络)的接口。通过网络接口845,电子设备800可以与可以包括闪光灯830的其他设备进行接口。电子设备800的输入结构850可以使得用户能够与电子设备800进行交互(例如,按下物理或虚拟按钮以发起图像捕捉序列)。电子设备800的电源855可以是任何合适的电源,诸如可再充电锂聚合物(Li-poly)电池和/或交流(AC)电源转换器。
要理解,以上描述的意图是例示性的,而非限制性的。该资料是为了使得本领域的任何技术人员能够做出并且使用要求保护的本发明而给出的,并且是在特定实施例的上下文下提供的,这些实施例的变型对于本领域的技术人员将是容易明白的(例如,所公开的一些实施例可以彼此组合使用)。另外,将理解,本文中认定的一些操作可以按不同的次序执行。本发明的范围因此应参照所附权利要求书、连同这样的权利要求书有权享有的等同形式的整个范围被确定。在所附权利要求书中,术语“包括”和“在其中”用作相应术语“包含”和“其中”的易懂英文的等同形式。

Claims (20)

1.一种图像处理系统,包括:
图像传感器,所述图像传感器被配置为输出具有一个或多个区域的图像;
存储器;和
至少一个处理器,所述至少一个处理器通信地耦合到所述图像传感器和所述存储器中的每一个,所述存储器存储在由所述至少一个处理器执行时使得所述系统进行以下操作的指令:
获得与所述图像相关联的元数据,其中,所述元数据包括与所述图像的所述一个或多个区域中的每个区域处的图像噪声对应的至少一个图像特性;
基于所述图像的所述一个或多个区域中的每个区域的相应的至少一个图像特性确定代表与每个区域相关联的图像噪声量的压缩度量;
基于所述一个或多个区域中的每个区域的相应的压缩度量确定每个区域的压缩比,其中所述一个或多个区域中的每个区域的所述压缩比随着由每个区域的压缩度量指示的图像噪声量增加而增加;
根据每个区域的相应的压缩比压缩所述一个或多个区域以生成经压缩的图像;和
将经压缩的图像存储在所述存储器中。
2.根据权利要求1所述的系统,其中,所述至少一个图像特性包括图像增益和勒克斯水平,并且其中,代表与所述图像的所述一个或多个区域中的每个区域相关联的图像噪声量的压缩度量与所述一个或多个区域中的每个区域处的图像增益正相关,并且与所述一个或多个区域中的每个区域处的勒克斯水平负相关。
3.根据权利要求1所述的系统,其中,确定压缩比的指令包括执行以下操作的指令:
当压缩度量小于第一阈值时,将压缩比设置为第一值;和
当压缩度量大于或等于第一阈值时,将压缩比设置为大于所述第一值的第二值。
4.根据权利要求1所述的系统,其中,所述一个或多个区域中的每个区域的压缩比和压缩度量基于用于所述一个或多个区域中的每个区域的多个噪声阈值具有连续关系。
5.根据权利要求1所述的系统,其中,确定压缩度量的指令包括执行所述至少一个图像特性的加权组合以确定压缩度量的指令,所述加权组合基于所述至少一个图像特性与所述图像的所述一个或多个区域中的每个区域处的图像噪声相对应是如何指示的。
6.根据权利要求1所述的系统,其中,确定压缩度量的指令包括对所述至少一个图像特性进行回归分析以实验地得出所述压缩度量的指令。
7.根据权利要求1所述的系统,其中,所述图像的所述一个或多个区域包括第一区域和第二区域,并且其中,所述第一区域的压缩比不同于所述第二区域的压缩比。
8.根据权利要求7所述的系统,其中,确定压缩比的指令包括基于第一区域的压缩度量而与第二区域的压缩度量无关地确定第一区域的压缩比的指令。
9.一种图像处理方法,包括:
在电子设备处从图像捕捉设备中的成像传感器接收图像,所述图像包括一个或多个区域;
在电子设备处获得与所述图像相关联的元数据,其中,所述元数据包括与所述图像的所述一个或多个区域中的每个区域处的图像噪声对应的至少一个图像特性;
在电子设备处对于所述图像的所述一个或多个区域中的每个区域基于区域的相应的元数据确定压缩度量;
在电子设备处基于所述一个或多个区域中的每个区域的相应的压缩度量确定每个区域的压缩比,其中所述一个或多个区域中的每个区域的所述压缩比随着由每个区域的相应压缩度量指示的图像噪声量增加而增加;
在电子设备处根据每个区域的相应的压缩比压缩所述一个或多个区域以产生经压缩的图像;和
将经压缩的图像存储在所述电子设备处的存储器中。
10.根据权利要求9所述的方法,其中,所述图像特性包括图像增益和勒克斯水平,并且其中,代表与所述图像的所述一个或多个区域中的每个区域相关联的图像噪声量的压缩度量与所述一个或多个区域中的每个区域处的图像增益正相关,并且与所述一个或多个区域中的每个区域处的勒克斯水平负相关。
11.根据权利要求10所述的方法,其中,确定压缩比包括:
当压缩度量小于第一阈值时,将压缩比设置为第一值;和
当压缩度量大于或等于第一阈值时,将压缩比设置为大于所述第一值的第二值。
12.根据权利要求9所述的方法,其中,所述图像的所述一个或多个区域包括具有第一压缩比的第一区域和具有第二压缩比的第二区域,所述第一压缩比不同于所述第二压缩比。
13.根据权利要求9所述的方法,其中,确定压缩度量包括对所述至少一个图像特性进行回归分析以实验地得出所述压缩度量。
14.根据权利要求9所述的方法,其中,确定压缩度量包括执行图像特性的加权组合以确定所述图像的所述一个或多个区域中的每个区域的压缩度量,所述加权组合基于各图像特性与所述图像的所述一个或多个区域中的每个区域处的图像噪声紧密相关是如何指示的。
15.一种图像处理设备,包括:
接收单元,被配置为从图像捕捉设备中的成像传感器接收图像,所述图像包括一个或多个区域;
获得单元,被配置为获得与所述图像相关联的元数据,其中,所述元数据包括与所述图像的所述一个或多个区域中的每个区域处的图像噪声对应的至少一个图像特性;
压缩度量确定单元,被配置为基于所述图像的所述一个或多个区域中的每个区域的相应的至少一个图像特性确定代表与每个区域相关联的图像噪声量的压缩度量;
压缩比确定单元,被配置为基于所述一个或多个区域中的每个区域的相应的压缩度量确定每个区域的压缩比,其中所述一个或多个区域中的每个区域的所述压缩比随着由每个区域的压缩度量指示的图像噪声量增加而增加;
压缩单元,被配置为根据每个区域的相应的压缩比压缩所述一个或多个区域以产生经压缩的图像;和
存储单元,被配置为将经压缩的图像存储在存储器中。
16.根据权利要求15所述的图像处理设备,其中,压缩比确定单元包括:
被配置为当压缩度量小于第一阈值时,将压缩比设置为第一值的单元;和
被配置为当压缩度量大于或等于第一阈值时,将压缩比设置为第二值的单元,其中,所述第一值小于所述第二值。
17.根据权利要求15所述的图像处理设备,其中,所述至少一个图像特性包括图像增益和勒克斯水平,并且其中,代表与所述图像的所述一个或多个区域中的每个区域相关联的图像噪声量的压缩度量与所述一个或多个区域中的每个区域处的图像增益正相关,并且与所述一个或多个区域中的每个区域处的勒克斯水平负相关。
18.根据权利要求15所述的图像处理设备,其中,所述图像的所述一个或多个区域包括第一区域和第二区域,并且其中,所述第一区域的压缩比不同于所述第二区域的压缩比。
19.根据权利要求15所述的图像处理设备,其中,所述压缩度量确定单元包括被配置为对所述至少一个图像特性进行回归分析以实验地得出压缩度量的单元。
20.根据权利要求15所述的图像处理设备,其中,所述压缩度量确定单元包括被配置为执行所述至少一个图像特性的加权组合以确定压缩度量的单元,所述加权组合基于至少一个图像特性与所述图像的所述一个或多个区域中的每个区域处的图像噪声相对应是如何指示的。
CN201510282589.3A 2014-05-30 2015-05-28 动态压缩比选择 Active CN105282548B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462006002P 2014-05-30 2014-05-30
US62/006,002 2014-05-30
US14/502,629 US9635212B2 (en) 2014-05-30 2014-09-30 Dynamic compression ratio selection
US14/502,629 2014-09-30

Publications (2)

Publication Number Publication Date
CN105282548A CN105282548A (zh) 2016-01-27
CN105282548B true CN105282548B (zh) 2018-08-21

Family

ID=54250238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510282589.3A Active CN105282548B (zh) 2014-05-30 2015-05-28 动态压缩比选择

Country Status (3)

Country Link
US (1) US9635212B2 (zh)
CN (1) CN105282548B (zh)
DE (1) DE202015003717U1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277771B1 (en) * 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10582259B2 (en) * 2015-06-30 2020-03-03 Gopro, Inc. Pipelined video interface for remote controlled aerial vehicle with camera
EP3300363B1 (en) * 2015-12-15 2018-08-29 Axis AB A bit rate controller and a method for limiting output bit rate
US20180308450A1 (en) * 2017-04-21 2018-10-25 Intel Corporation Color mapping for better compression ratio
US10529118B1 (en) * 2018-06-29 2020-01-07 Advanced Micro Devices, Inc. Pixelation optimized delta color compression
CN111597773B (zh) * 2019-02-01 2024-03-12 珠海金山办公软件有限公司 一种压缩处理的方法、装置、计算机存储介质及终端
CN110933348A (zh) * 2019-05-05 2020-03-27 唐山明天科技有限公司 一种采用动态压缩比的数字录像方法及装置
US11778264B2 (en) * 2019-07-05 2023-10-03 Lg Electronics Inc. Device and method for processing and transmitting image data in wireless AV system
CN115209060B (zh) * 2022-07-15 2024-04-05 长光辰芯比利时有限责任公司 高动态范围图像压缩方法、解压缩方法及图像传感器
CN116074518A (zh) * 2023-02-16 2023-05-05 无锡北斗星通信息科技有限公司 采用自适应压缩处理的时分双工通信系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3427454B2 (ja) * 1993-12-21 2003-07-14 株式会社ニコン スチルカメラ
US20060017835A1 (en) 2004-07-22 2006-01-26 Dana Jacobsen Image compression region of interest selection based on focus information
JP4794987B2 (ja) * 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置
EP1981264A4 (en) * 2006-01-30 2011-09-07 Nec Corp PICTURE DEVICE, PICTURE CONTROL PROCEDURE AND PICTURE CONTROL PROGRAM
US8077990B2 (en) 2006-04-28 2011-12-13 Pixsense Inc. Efficient content compression and decompression system and method
KR100819288B1 (ko) 2006-10-20 2008-04-02 삼성전자주식회사 저조도 노이즈를 검출하는 방법 및 이를 위한 영상 압축장치
US20100309987A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and encoding system
US8743953B2 (en) 2010-10-22 2014-06-03 Motorola Solutions, Inc. Method and apparatus for adjusting video compression parameters for encoding source video based on a viewer's environment
US8610788B2 (en) * 2011-02-08 2013-12-17 International Business Machines Corporation Content storage management in cameras
JP6137855B2 (ja) * 2013-02-07 2017-05-31 オリンパス株式会社 撮像装置、撮像方法及びプログラム

Also Published As

Publication number Publication date
US20150350483A1 (en) 2015-12-03
CN105282548A (zh) 2016-01-27
DE202015003717U1 (de) 2015-09-15
US9635212B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
CN105282548B (zh) 动态压缩比选择
CN102741883B (zh) 高动态范围图像生成和渲染
US20180130183A1 (en) Video capture devices and methods
US8711248B2 (en) Global alignment for high-dynamic range image generation
Banterle et al. High dynamic range imaging and low dynamic range expansion for generating HDR content
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
JP2011510521A (ja) チップ上スマート・ネットワーク・カメラ・システム
CN100596165C (zh) 图像处理装置及其方法
JP2004165932A (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP6300565B2 (ja) 動画像符号化装置、プログラム、および、集積回路
KR20100016214A (ko) 비디오 카메라
CN101755448A (zh) 校正曝光期间的成像设备运动
US10163029B2 (en) On-camera image processing based on image luminance data
WO2009098741A1 (ja) 撮像装置、集積回路及び撮像方法
CN108156461B (zh) 一种Bayer图像压缩方法及装置
TWI421798B (zh) 影像壓縮之位元率控制方法及其裝置
CN108513068A (zh) 图像的选取方法、装置、存储介质及电子设备
JP2009100302A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
JP2020058023A (ja) 空間多重露光
CN108200429A (zh) 一种Bayer图像压缩方法及装置
CN109936741B (zh) 视频编码方法和系统
KR100968375B1 (ko) 최적 영상 선택 방법 및 장치
JP5165084B2 (ja) 画像符号化装置
JP2005109757A (ja) 画像撮像装置、画像処理装置、画像撮像方法、及びプログラム
US20240114251A1 (en) Server device and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant