CN110999301B - 位深度高效图像处理 - Google Patents

位深度高效图像处理 Download PDF

Info

Publication number
CN110999301B
CN110999301B CN201880053158.1A CN201880053158A CN110999301B CN 110999301 B CN110999301 B CN 110999301B CN 201880053158 A CN201880053158 A CN 201880053158A CN 110999301 B CN110999301 B CN 110999301B
Authority
CN
China
Prior art keywords
image
bit depth
linear
linearized
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880053158.1A
Other languages
English (en)
Other versions
CN110999301A (zh
Inventor
J·S·麦克尔文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority claimed from PCT/US2018/046783 external-priority patent/WO2019036522A1/en
Publication of CN110999301A publication Critical patent/CN110999301A/zh
Application granted granted Critical
Publication of CN110999301B publication Critical patent/CN110999301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种用于位深度高效图像处理的计算机实施的方法包括将至少一个非线性变换传送至图像信号处理器的步骤。每个非线性变换被配置为当由所述图像信号处理器应用于具有以第一位深度编码的传感器信号的所捕获图像时产生非线性图像，所述非线性图像以可以小于所述第一位深度的第二位深度对所捕获图像进行重新编码，同时针对低轮廓可见性优化所述非线性图像中位深度分辨率的分配。所述方法进一步包括从所述图像信号处理器接收所述非线性图像，以及应用反变换以便以大于所述第二位深度的第三位深度将所述非线性图像变换成重新线性化图像。所述反变换与用于产生所述非线性图像的所述非线性变换相反。

Description

位深度高效图像处理
相关申请的交叉引用
本申请要求均于2017年8月15日提交的美国临时申请号62/545,557和欧洲专利申请号17186275.8的优先权，并且这两个临时申请通过引用以其全文并入本文。
技术领域
本申请涉及宽动态范围图像生成。
背景技术
如例如纳入消费者电子设备中的典型电子相机包括图像传感器和图像信号处理器(ISP)。图像传感器具有多个光敏像素，所述光敏像素响应于入射光而生成相应电子信号。集成在图像传感器中的读出电路读出这些电子信号，所述电子信号然后由ISP进行处理以生成显示就绪的图像。ISP可以根据如在ITU-R BT.2100中描述的那些行业标准执行各种功能，如背景减法、噪声降低、明亮度(brightness)不均匀性的校正以及图像的最终编码，所述文献通过引用以其全文并入本文。为了用单芯片图像传感器生成彩色图像，图像传感器包括滤色器阵列，使得每个光敏像素仅对全彩色光谱的一部分敏感。在这种彩色相机中，ISP对由图像传感器提供的不完整颜色样本应用去马赛克算法，以便以图像传感器的全像素分辨率产生全彩色图像。ISP可以进一步执行颜色校正。
显示器开发人员正在努力开发能够显示越来越多看起来更自然的图像的显示器。例如，显示器可以具有高位深度，如10位或12位，以实现在宽动态范围(即从非常暗到非常亮的范围)内显示图像。当试图以有限的位深度显示宽动态范围时，一个令人不满意的伪像是图像中出现离散轮廓，尤其是当所显示的场景具有相对均匀的明亮度时。例如，与现实生活中明亮度逐渐变化相反，明亮度稍有梯度的灰色墙壁可能看起来具有离散的明亮度梯级。缓解此问题的一种方法是，代替跨整个明亮度范围线性地分布显示器位深度，根据人类视觉感知明亮度差异的能力来分配显示器位深度分辨率。
WO 2016164235(A1)描述了用于针对高动态范围视频编码的基于区域的环内整形的系统和方法。使用高位深度缓冲器存储输入数据和先前解码的参考数据，前向和后向环内整形函数允许以低于输入位深度的目标位深度执行视频编码和解码。还提出了用于对整形函数进行聚类(cluster)以减少数据开销的方法。
殷彭(Yin Peng)等人，“Candidate test model for HDR extension of HEVC(用于HEVC的HDR扩展的候选测试模型)”，113.MPEG会议；19-10-2015–23-10-2015，日内瓦(移动图片专家组或ISO/IEC JTC1/SC09/WG11)第m37269号，2015年10月16日，提出了用于HDR/WCG视频压缩的候选测试模型。此测试模型中提出的两种主要工具是自适应整形和颜色增强过滤器。这两种工具都可以在各种颜色空间中工作，以提高HDR/WCG视频的编码效率。
蒂姆博瑞(Tim Borer)，安德鲁科顿(Andrew Cotton)：“A“Display Independent”High Dynamic Range Television System(“独立显示的”高动态范围电视系统)”，IBC2015年会议，2015年9月11日到2015年9月15日，阿姆斯特丹，提出了对旨在满足高动态范围电视要求的BBC“混合对数-γ(Hybrid Log-Gamma)”解决方案的概述。信号是“独立显示的”，并且不需要复杂的“对元数据的主控”。除了提供高质量的高动态范围(HDR)图片外，所述信号还向传统标准动态范围(SDR)屏幕传递高质量的“兼容”图像，并且可以使用标准工具和设备进行混合、重新定尺寸和压缩。在理论上分析并用实验方法确认量化效果(或“条带化(banding)”)。结果表明，量化效应是可比较的或低于竞争的HDR解决方案。
弗朗索瓦(Francois)等人：“AHG14:suggested draft text for HDR/WCGtechnology for SDR backward compatibility,display adaptation,and qualityenhancement processing(AHG14：针对用于SDR后向兼容性、显示适配和质量增强处理的HDR/WCG技术的建议草案文本)”ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11关于视频编码的联合协作小组(JCT-VC)，第25次会议：成都，CH，2016年10月14日至2016年10月21日，涉及基于HEVC单层或双层编码的高动态范围(HDR)和宽色域(WCG)视频分发。所述文档提供了对使用HEVC信令用于SDR后向兼容性、显示适配能力和质量增强处理的HDR和WCG视频处理指南的建议草案文本。所述文档包括对HEVC信令机制以及预编码、编码和后解码步骤的描述，使得能够解决这三个特征。针对SDR后向兼容，讨论了单层编码的HEVC VUI和SEI消息以及双层SHVC编码的使用情况。
WO 2016184532(A1)提供了用于管理图片的机制。所述图片包括像素，其中，像素的像素值用第一位深度表示。所述方法包括将像素的用第一位深度表示的像素值转换成用第二位深度表示的像素值，其中，第一位深度小于第二位深度。所述方法包括标识图片的像素中的一组像素。所述一组像素包括两个像素，其中，所述两个像素沿着某一方向彼此相邻，其中，所述一组像素的像素值彼此相等。所述方法包括，对于两个像素中的至少一个像素，基于第一像素值和第二像素值估计相应的经估计的像素值。第一像素值和第二像素值是从两个边缘像素的两个边缘像素值中得到的，其中，两个边缘像素中的每一个沿着所述方向定位并且从所述一组像素中排除，并且其中，两个边缘像素中的每一个关于所述方向与所述一组像素的相应端相邻。
发明内容
在实施例中，一种用于位深度高效图像处理的计算机实施的方法包括将至少一个非线性变换传送至图像信号处理器的步骤。每个非线性变换被配置为当由所述图像信号处理器应用于具有以第一位深度编码的传感器信号的所捕获图像时产生非线性图像，所述非线性图像以可以小于所述第一位深度的第二位深度对所捕获图像进行重新编码，同时针对低轮廓可见性优化所述非线性图像中位深度分辨率的分配。所述方法进一步包括从所述图像信号处理器接收所述非线性图像，以及应用反变换以便以大于所述第二位深度的第三位深度将所述非线性图像变换成重新线性化图像。所述反变换与用于产生所述非线性图像的所述非线性变换相反。
例如，可以基于所述传感器信号的噪声特性来确定所述非线性变换。所述传感器信号的所述噪声特性可以包括所述传感器信号的代码值水平到针对所述代码值水平的噪声标准偏差的相应值的映射。所述非线性变换可以包括用于将所捕获图像的初始代码值映射到所述非线性图像的经优化代码值的凹函数。进一步地，所述非线性变换可以被配置为产生所述非线性图像，使得与所捕获图像的平均噪声水平相比，所述非线性图像的平均噪声水平增加。
具体地，所述非线性变换可以将所述第二位深度的相对较大部分分配给所捕获图像的所述传感器信号的较小噪声范围，并且可以将所述第二位深度的相对较小部分分配给所捕获图像的所述传感器信号的较大噪声范围。可替代地或另外地，所述非线性变换可以将所述第二位深度的相对较大部分分配给所述传感器信号的较低范围，并且可以将所述第二位深度的相对较小部分分配给所述传感器信号的较高范围。
在实施例中，一种用于位深度高效图像处理的产品包括在非暂态存储器中编码的机器可读指令。所述指令包括至少一个非线性变换。每个非线性变换被配置为变换以第一位深度编码传感器信号的所捕获图像以产生以可以小于所述第一位深度的第二位深度对所述传感器信号进行重新编码的非线性图像，同时针对低轮廓可见性优化所述非线性图像中位深度分辨率的分配。所述指令进一步包括：针对每个非线性变换的对应反变换。另外，所述指令包括：(a)硬件指令，所述硬件指令当由处理器执行时将所述至少一个非线性变换传送至图像信号处理器，以使所述图像处理器能够从所捕获图像产生所述非线性图像；以及(b)包括反相(inverting)指令的应用域指令，所述反相指令当由所述处理器执行时从所述图像信号处理器接收所述非线性图像，并应用对应于用于产生所述非线性图像的所述非线性变换的反变换，以便以大于所述第二位深度的第三位深度产生重新线性化图像。
在实施例中，一种用于对图像进行位深度高效模数转换的方法包括：(a)接收表示由图像传感器的相应多个光敏像素检测到的光的多个模拟信号；以及(b)以第一位深度将所述模拟信号转换成数字信号。所述方法进一步包括：在所述转换步骤之前，对所述模拟信号应用非线性变换，以针对低轮廓可见性优化对所述数字信号的位深度分辨率分配的步骤。另外地，所述方法可以包括通过对所述数字信号应用对应的反变换来反转(invert)所述非线性变换，所述反变换以大于所述第一位深度的第二位深度编码所述数字信号。
在实施例中，一种具有位深度高效模数图像转换的图像传感器包括多个光敏像素，所述多个光敏像素用于生成表示由所述光敏像素检测到的光的相应多个模拟信号。所述图像传感器进一步包括用于将所述模拟信号转换成数字并具有第一位深度的至少一个模数转换器。所述图像传感器还包括通信地耦合在所述光敏像素与所述至少一个模数转换器之间的至少一个模拟预整形电路，所述至少一个模拟预整形电路用于对所述模拟信号应用非线性变换，以通过所述模数转换器优化对所述数字信号的位深度分辨率分配，从而在存在所述模拟信号的噪声的情况下实现低轮廓可见性。所述图像传感器可以进一步包括至少一个数字反相电路，所述至少一个数字反相电路用于通过对所述数字信号应用对应的反变换来反转所述非线性变换。所述反变换以大于所述第一位深度的第二位深度编码数字信号。
附图说明
图1图示了根据实施例的用于位深度高效图像处理的系统。
图2示出了现有技术的图像信号处理器。
图3图示了根据实施例的用于所捕获图像的位深度高效处理的系统。
图4图示了根据实施例的用于位深度高效图像处理的方法。
图5A和图5B示出了可以在图1和图3的系统以及图4的方法中使用的示例非线性变换和反变换。
图6图示了根据实施例的用于所捕获图像的位深度高效处理的系统，所捕获图像在硬件域和应用域中被分段。
图7图示了根据实施例的用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的方法。
图8图示了根据实施例的用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的方法，所述应用域利用特定于捕获模式的非线性变换。
图9图示了根据实施例的用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的方法，所述应用域控制捕获模式并利用特定于捕获模式的非线性变换。
图10图示了根据实施例的用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的方法，所述应用域生成高动态范围图像。
图11图示了根据实施例的用于位深度高效图像处理的计算机。
图12示出了现有技术图像传感器。
图13图示了根据实施例的具有位深度高效模数图像转换的图像传感器。
图14A和图14B图示了根据实施例的在特定于列的读出电路中具有位深度高效模数转换的图像传感器。
图15图示了根据实施例的用于图像传感器中位深度高效模数转换的方法。
图16示出了作为噪声水平的函数的所需位深度的示例。
图17示出了谷歌像素相机的噪声特性。
图18图示了根据实施例的用于为图像传感器120确定图1的系统的非线性变换的方法。
图19示出了从基于谷歌像素相机噪声的方法1800的示例中得到的最小对比度曲线。
图20示出了将图19的最小对比度曲线映射回传感器信号代码值的示例结果。
图21示出了来自图像信号处理器的典型噪声降低的示例。
图22通过示例图示了降噪对最小对比度曲线的影响。
图23图示了从最小对比度曲线得出非线性变换的参数的示例。
图24A和图24B图示了示例非线性变换和对应示例反变换。
图25示出了基于扩展研究的作为噪声水平的函数的所需位深度的示例。
图26示出了与图25的所需位深度相关联的示例最小相对对比度曲线。
图27是图26的数据的替代性表示。
图28图示了由图13的图像传感器提供的轮廓可见性性能的示例。
具体实施方式
图1图示了用于位深度高效图像处理的一个示例系统100。系统100包括相机110和处理单元140。系统100应用位深度高效图像处理，以使得即使当相机110的输出的位深度出现瓶颈时，也能够生成宽动态范围图像。系统100与宽动态范围显示器兼容。
相机110包括图像传感器120和图像信号处理器(ISP)130。图像传感器120生成场景160的所捕获图像170。所捕获图像170以如10位或12位等第一位深度编码图像传感器120的电传感器信号。图像传感器120响应于来自场景160的光168生成这些传感器信号。
相机110的输出被限制为第二位深度。第二位深度可以小于第一位深度，并且因此在位深度分辨率方面存在瓶颈。在一个实施例中，第二位深度是8位，这是现成的ISP集成电路的输出的公共位深度。ISP 130处理所捕获图像170，以便高效利用在相机110输出处可用的第二位深度。ISP 130根据不同范围的传感器信号的轮廓可见性优化位深度分配，以最小化由系统100生成的图像中的轮廓可见性。更具体地，ISP 130对所捕获图像170应用非线性变换132，以便以第二位深度将所捕获图像170重新编码成非线性图像172，同时跨第二位深度非线性地分布所捕获图像170的传感器信号，以最小化轮廓可见性。
在某些实施例中，非线性变换132被配置为考虑噪声对轮廓可见性的影响。在一个这种实施例中，基于对图像传感器120的固有(native)噪声的考虑来定义非线性变换132。在另一这种实施例中，基于对图像传感器120的固有噪声以及在应用非线性变换132之前由相机110执行的其他处理的噪声的考虑来定义非线性变换132。不管噪声的来源如何，噪声倾向于降低轮廓可见性。因此，传感器信号的较大噪声范围对轮廓可见性不太敏感，而传感器信号的较小噪声范围对轮廓可见性更敏感。因此，相比于所捕获图像170的传感器信号的较大噪声范围，非线性变换132的一个实施例使所捕获图像的传感器信号的较小噪声范围在第二位深度的相对较大部分上分布。换言之，非线性变换132的此实施例(a)将第二位深度的相对较大部分分配给所捕获图像170的传感器信号的较小噪声范围，并且(b)将第二位深度的相对较小部分分配给传感器信号的较大噪声范围。由于较大的传感器信号通常比较小的传感器信号噪声大，因此非线性变换132可以将第二位深度的相对较大部分(例如，20％)分配给传感器信号的较低范围(例如，最低10％的传感器信号)。
处理单元140包括反变换142，所述反变换是非线性变换132的反变换。处理单元140对非线性图像172应用反变换142以生成重新线性化图像180，所述重新线性化图像以第三位深度对传感器信号进行重新编码。第三位深度大于第二位深度，例如，10位或12位。
非线性变换132实现针对低轮廓可见性被优化的宽动态范围图像处理，即使相机110的输出的位深度(第二位深度)可以小于图像传感器120的位深度(第一位深度)。在没有非线性变换132的情况下，位深度将可能不足以避免最终图像中的可见轮廓，至少对于具有相对均匀亮度的一个或多个区域的场景而言是如此。
在图1所示出的示例中，场景160以被太阳166背光照明的均匀灰色墙壁164前方的跑步者162为特征。照明情况导致墙壁164的明亮度的明显的梯度。场景160有非常亮的区域(例如，太阳166)和非常暗的区域(例如，墙壁164的最暗部分)，并且因此需要宽动态范围来产生场景160的看起来自然的图像。在没有非线性变换132的情况下，由系统100的这种经修改的实施例生成的宽动态范围图像190将可能在壁164上示出可见轮廓，因为相机110的输出的有限位深度分辨率在经受较大轮廓可见性的传感器信号范围内将不足。然而，非线性变换132实现高效使用相机110的输出的有限位深度，以避免或至少最小化重新线性化图像180中的轮廓可见性。
在某些实施例中，处理单元140进一步包括量化器144，所述量化器在通过反变换142对非线性变换132进行反转之后，根据宽动态范围编码标准(如“γ”或“PQ”等)对重新线性化图像180进行编码，例如如在ITU-R BT.2100中所描述的。在一个示例中，量化器144对重新线性化图像进行编码，以便由被配置用于实现低轮廓可见性的宽动态范围显示器进行后续解码。量化器144可以被配置为以10位到12位范围内的位深度对10000尼特的显示亮度(luminance)范围进行编码，同时非线性地分配位深度分辨率，以在重新线性化图像180的此“量化”版本随后被解码并通过宽动态范围显示器(图1中未示出)转换为显示亮度时降低轮廓可见性。
在实施例中，系统100在如蜂窝电话等捕获设备150上实施。
图2示出了现有技术ISP 200。ISP 200处理所捕获图像270以产生输出图像280。ISP 200可以从类似于图像传感器120的图像传感器接收所捕获图像270，并且可以对输出图像280进行编码以在显示器上显示或以标准格式作为电子数据输出。ISP 200通过包括若干不同功能块的处理流水线来传播所捕获图像270：去马赛克块210对所捕获图像270的不完整颜色样本去马赛克，以产生所捕获图像270的像素分辨率下的全彩色图像；黑电平减法(black-level substraction)/白平衡块220执行背景减法，并且可选地执行白平衡；降噪器230减少噪声；透镜阴影校正器240针对透镜阴影进行校正，所述透镜阴影引起生成所捕获图像270的图像传感器的不均匀亮度；颜色校正器250校正颜色；并且最后，传统编码器260将所得到的图像数据编码到输出图像280中。
传统编码器260的输出被限制在8位的位深度，这对于许多现成的ISP来说是典型的。因此，至少对于亮度相对均匀的场景或场景部分，传统编码器260不能以解码和在没有可见轮廓的宽动态范围显示器上显示通常需要的位深度分辨率对图像进行编码。例如，传统编码器260有限的位深度阻止了传统编码器260并入量化器144的功能。
图3图示了用于所捕获图像170的位深度高效处理的一个示例系统300。系统300包括ISP 330和处理单元340，所述ISP和处理单元分别是ISP 130和处理单元140的实施例。系统300可以与图像传感器120耦合以形成系统100的实施例。
ISP 330包括编码器332，所述编码器对所捕获图像170应用非线性变换132(如以上参考图1所讨论的)以产生非线性图像172。在某些实施例中，ISP 330进一步包括预处理单元336，所述预处理单元在由编码器332应用非线性变换132之前处理所捕获图像170。预处理单元336可以包括去马赛克块210、黑电平减法/白平衡块220、降噪器230、透镜阴影校正器240和颜色校正器250中的一个或多个。在一个实施例中，ISP 330是ISP 200的经修改版本，其中，传统编码器260被编码器332替代。ISP 330的输出(例如实施为输出接口334)被限制为第二位深度。
处理单元340包括反相器(inverter)342，所述反相器存储反变换142并对非线性图像172应用反变换142，以产生重新线性化图像180。在某些实施例中，处理单元340进一步包括后处理器344，所述后处理器在处理单元340将后处理的重新线性化图像180作为输出图像382输出之前处理重新线性化图像180。后处理器344可以包括量化器144，使得输出图像382被编码，以便由被配置用于实现低轮廓可见性的宽动态范围显示器进行后续解码。处理单元340的不包括后处理器344的实施例可以将重新线性化图像180作为输出图像382输出。
在一个实施例中，处理单元340存储非线性变换132，并将非线性变换132传送至编码器332。处理单元340的此实施例可以将非线性变换132传送至编码器332一次，以便对若干所捕获图像170随后使用编码器332。在一个示例中，处理单元340在初始设置程序期间将非线性变换132传送至编码器332。可替代地，每当由编码器332处理所捕获图像170时，处理单元340的此实施例可以将非线性变换132传送至编码器332。在另一实施例中，编码器332存储非线性变换132。
系统300的实施例存储多个非线性变换132和对应的多个反变换142。每个非线性变换132被配置为在特定的相应捕获模式下对捕获的所捕获图像170进行使用。捕获模式的示例包括户外模式、室内模式、肖像模式、运动模式、横屏模式、夜间肖像模式和微距模式。
在一种实施方式中，ISP 330被配置为以大于8位的位深度(如10位或12位)接收所捕获图像170，并以8位的位深度输出非线性图像172，而处理单元340被配置为处理非线性图像172，并以大于8位的位深度(如10位或12位)生成重新线性化图像180和输出图像382。
在不脱离其范围的情况下，ISP 330可以是被配置为与第三方提供的处理单元340协作的独立系统。同样地，在不脱离其范围的情况下，处理单元340可以是被配置为与第三方提供的ISP 330协作的独立系统。此外，反相器342、(多个)反变换142和(多个)非线性变换132可以作为软件产品被提供，如编码在非暂态存储器中的机器可读指令，所述机器可读指令被配置为用第三方处理器实施以形成处理单元340的实施例。
图4展示了用于位深度高效图像处理的一个示例方法400。例如，方法400由系统300执行。在步骤410中，方法400对所捕获图像应用非线性变换以产生非线性图像。所捕获图像具有以第一位深度编码的传感器信号，并且步骤410使用非线性变换以便以可以小于第一位深度的第二位深度将所捕获图像的图像信号重新编码到非线性图像中，同时针对低轮廓可见性优化非线性图像中位深度分辨率的分配。在步骤410的一个示例中，编码器332对可选地由预处理单元336预处理的所捕获图像170应用非线性变换132以产生非线性图像172。步骤410可以包括应用对应于多个捕获模式之一的非线性变换的步骤412，如以上参考图3所讨论的。
在步骤420中，方法400将非线性图像传送至处理单元。在步骤420的一个示例中，ISP 330经由输出接口334将非线性图像172传送至处理单元340。
在步骤430中，方法400反转在步骤410中应用的非线性变换。步骤430对非线性图像应用与用于产生非线性图像的非线性变换相反的变换，以便将非线性图像变换成重新线性化图像。在步骤430的一个示例中，反相器342对非线性图像172应用与步骤410中应用的非线性变换132相反的反变换142，以产生重新线性化图像180。步骤430包括以大于第二位深度的第三位深度应用反变换的步骤432。
在实施例中，方法400进一步包括后处理重新线性化图像的步骤440。在步骤440的一个示例中，后处理器344处理重新线性化图像180以产生输出图像382。步骤440可以包括例如根据行业标准对重新线性化图像进行编码以便由显示器进行解码或作为数字文件输出的步骤442。在步骤440的一个示例中，量化器144将重新线性化图像180的数据编码为输出图像382。步骤442可以包括将重新线性化图像的表示从参考场景的传感器信号值传递至参考显示器的亮度值的步骤444。在步骤444的一个示例中，量化器144将重新线性化图像180的重新线性化传感器信号值从表征传感器信号的代码值的标度转换成表征输出图像382可以显示在其上的显示器的亮度的代码值的标度。在不脱离其范围的情况下，步骤444可以在步骤442的编码之前执行。
图5A和图5B示出了可以在系统100和系统300以及方法400中使用的示例非线性变换和反变换。图5A是作为非线性变换132的示例的非线性变换500的曲线图502。图5B是作为反变换142的示例的反变换550的曲线图552。反变换550是非线性变换500的反变换。在以下描述中最好一起参看图5A和图5B。
非线性变换500将初始代码值510变换成经优化代码值520。初始代码值510是整数代码值，所述整数代码值将传感器信号(如图像传感器120的传感器信号)编码到可选地由预处理单元336预处理的所捕获图像170中。初始代码值510是从零到由第一位深度定义的最大代码值515范围内的整数代码值。经优化代码值520的范围从零到由第二位深度定义的最大代码值525。最大代码值525可以小于最大代码值515。根据非线性变换500，经优化代码值550对初始代码值510进行重新编码，以跨第二位深度非线性地重新分布所捕获图像170的传感器信号以最小化轮廓可见性，从而产生非线性图像172。
在一个示例中，初始代码值510以10位的位深度编码，其中最大代码值515为1023，并且经优化代码值520以8位的位深度编码，其中最大代码值525为255。
在图5A的示例中，非线性变换500：(a)将第二位深度的相对较大部分(由最大代码值525表征)分配给所捕获图像170的传感器信号的较小噪声范围(由最大代码值515表征)，并且(b)将第二位深度的相对较小部分分配给传感器信号的较大噪声范围。
反变换550将非线性图像172的经优化代码值520变换成以第三位深度表征重新线性化传感器信号的重新线性化代码值570，以便反转非线性变换500并产生重新线性化图像180。重新线性化代码值570是从零到由第三位深度定义的最大代码值575范围内的整数代码值。最大代码值575大于最大代码值525。在一个示例中，经优化代码值520以8位的位深度编码，其中最大代码值525为255，并且重新线性化代码值570以10位(或12位)的位深度编码，其中最大代码值575为1023(或4095)。
图6展示了用于所捕获图像170的位深度高效处理的一个示例系统600，所述示例系统在硬件域692和应用域690中被分段。系统600是系统300的实施例。系统600包括ISP630和处理单元640，所述ISP和处理单元分别是ISP 330和处理单元340的实施例。ISP 630在硬件域692中实施，并且处理单元640在应用域690中实施。系统600被配置为从位于硬件域692中的图像传感器120接收所捕获图像170。在不脱离其范围的情况下，系统600可以包括图像传感器120。
在一个示例场景中，系统600在具有相机的蜂窝电话上实施。相机在蜂窝电话的硬件域中，并且包括图像传感器120和ISP 630。处理单元640在蜂窝电话的应用域中实施。在本文中，蜂窝电话的“应用域”是指蜂窝电话的能够容纳蜂窝电话应用(“apps”)的部分。例如，蜂窝电话的应用域可以对安装由蜂窝电话制造商以外的其他方提供的蜂窝电话应用开放。
ISP 630包括编码器632，所述编码器被配置为从处理单元640接收一个或多个非线性变换132。编码器632是编码器332的实施例。ISP 630可以进一步包括预处理单元336和输出接口334中的一个或两个。
处理单元640包括具有一个或多个反变换142的反相器342。处理单元640可以进一步包括后处理器344，所述后处理器例如包括量化器144。处理单元640存储一个或多个非线性变换132，并且被配置为将非线性变换132传送至编码器632。编码器632可以类似于编码器260，除了被配置为从处理单元640接收一个或多个非线性变换132。
在操作时，处理单元640将一个或多个非线性变换132传送至编码器632。此传送可以(a)在应用域690中安装反相器342和非线性变换132之后或期间在编码器632的初始配置期间执行一次，或(b)与硬件域692中的每个所捕获图像170的处理相关联。
在某些实施例中，处理单元640包括多个特定于捕获模式的非线性变换132，每个非线性变换与所捕获图像170的不同捕获模式相关联。在一个这种实施例中，ISP 630充当主控器(master)。在另一这种实施例中，处理单元640充当主控器。在ISP 630充当主控器的实施例中，处理单元640将所有特定于捕获模式的非线性变换132传送至编码器632，并且编码器632根据捕获所捕获图像170的捕获模式对所捕获图像170应用特定的特定于捕获模式的非线性变换132。在此实施例中，由编码器632生成的非线性图像172伴随有元数据672，所述元数据指示(a)所捕获图像170的与非线性图像172相关联的捕获模式，(b)编码器632应用哪个非线性变换132来产生非线性图像172，或(c)相关联的所捕获图像170的捕获模式和哪个非线性变换132用于产生非线性图像172。进一步地，在此实施例中，反相器342根据元数据672应用适当的反变换142。在处理单元640充当主控器的实施例中，处理单元640包括捕获模式控制器660。捕获模式控制器660控制图像传感器120的捕获模式(直接地，如图6所示出的，或经由ISP 630)，并且捕获模式控制器660将相关联的特定于捕获模式的非线性变换132传送至编码器632。在此实施例中，捕获模式控制器660可以进一步与反相器342通信地耦合，以控制反相器342对非线性图像172应用哪个反变换142。可替代地，非线性图像172可以伴随有元数据672，并且反相器342根据元数据672应用适当的反变换142。
在不脱离其范围的情况下，ISP 630可以是被配置为与第三方提供的处理单元640协作的独立系统。同样地，在不脱离其范围的情况下，处理单元640可以是被配置为与第三方提供的ISP 630协作的独立系统。此外，反相器342、(多个)反变换142和(多个)非线性变换132，可选地与捕获模式控制器660一起，可以作为软件产品被提供，如编码在非暂态存储器中的机器可读指令，所述机器可读指令被被配置为用第三方处理器实施以形成处理单元640的实施例。
在一个示例中，系统600在安卓手机上实施。在另一示例中，系统600在iPhone上实施。
图7图示了用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的一个示例方法700。方法700例如由处理单元640执行。
在步骤710中，方法700将至少一个非线性变换传送至ISP。每个非线性变换被配置为当由ISP应用于具有以第一位深度编码的传感器信号的所捕获图像时产生非线性图像。此非线性图像以可以小于第一位深度的第二位深度对所捕获图像进行重新编码，同时针对低轮廓可见性优化非线性图像中位深度分辨率的分配。在步骤710的一个示例中，处理单元640将至少一个非线性变换132传送至ISP 630。
步骤710可以包括传送一个或多个非线性变换的步骤712，所述非线性变换被配置为根据传感器信号相关的轮廓可见性阈值在非线性图像中分布位深度分辨率。在步骤712的一个示例中，每个非线性变换132被配置为根据传感器信号相关的轮廓可见性阈值在非线性图像中分布位深度分辨率。传感器信号相关的轮廓可见性阈值为每个传感器信号水平定义了存在噪声时可见的最低传感器信号对比度。如以上参考图1所讨论的，噪声可以是用于捕获应用非线性变换的图像的图像传感器(例如，图像传感器120)的固有噪声，或者噪声可以包括图像传感器的固有噪声和在应用非线性变换之前由所捕获图像的其他处理引入的噪声。如以上还参考图1讨论的，噪声倾向于降低轮廓可见性，使得传感器信号的较大噪声范围比传感器信号的较小噪声范围具有更高的轮廓可见性阈值。因此，相比于所捕获图像(例如，所捕获图像170)的传感器信号的较大噪声范围，步骤712的(多个)非线性变换可以使所捕获图像的传感器信号的较小噪声范围在第二位深度的相对较大部分上分布。
在步骤720中，方法700从ISP接收非线性图像，所述非线性图像由ISP通过对由图像传感器捕获的图像应用在步骤710中传送至ISP的非线性变换来生成。在步骤720的一个示例中，处理单元640从ISP 630接收非线性图像172，其中，ISP 630已经至少通过编码器632应用非线性变换132而生成了非线性图像172。
在步骤720之后，方法700继续执行方法400的步骤430。在步骤430和步骤440的一个示例中，如在方法700中实施的，处理单元640使用处理单元640的反相器342执行步骤430。方法700可以进一步包括方法400的例如由处理单元640的后处理器344执行的步骤440。
图8图示了用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的一个示例方法800，所述应用域利用特定于捕获模式的非线性变换。方法800例如由处理单元640执行。
在步骤810中，方法800将多个特定于捕获模式的非线性变换传送至ISP。每个特定于捕获模式的非线性变换被配置为当由ISP应用于具有以第一位深度编码的传感器信号的所捕获图像时产生非线性图像，所述非线性图像以可以小于第一位深度的第二位深度对所捕获图像进行重新编码，同时针对低轮廓可见性优化非线性图像中位深度分辨率的分配。在步骤810的一个示例中，处理单元640将多个特定于捕获模式的非线性变换132传送至ISP630的编码器632。
步骤810可以包括传送特定于捕获模式的非线性变换的步骤812，所述非线性变换被配置为根据传感器信号相关的轮廓可见性阈值在非线性图像中分布位深度分辨率。步骤812类似于步骤712，但是与特定于捕获模式的非线性变换有关。
在步骤820中，方法800从ISP接收非线性图像和相应捕获模式规范(specification)。在步骤820的一个示例中，处理单元640接收非线性图像172和指示与非线性图像172相关联的捕获模式的相关联的元数据672(或可替代地，指示哪个特定于捕获模式的非线性变换132用于产生非线性图像172)。
在步骤830中，方法800反转用于产生在步骤820中接收的非线性图像的非线性变换。步骤830对非线性图像应用特定于捕获模式的反变换，所述反变换与用于产生非线性图像的特定于捕获模式的非线性变换相反，以便将非线性图像变换为重新线性化图像。步骤830基于在步骤820中与非线性图像一起接收的捕获模式规范，选择适当的特定于捕获模式的反变换。在步骤830的一个示例中，处理单元640的反相器342基于元数据672选择特定于捕获模式的反变换142，并对非线性图像172应用此特定于捕获模式的反变换142，以便产生重新线性化图像180。步骤830包括以大于第二位深度的第三位深度应用反变换的步骤432。
方法800可以进一步包括方法400的例如由处理单元640的后处理器344执行的步骤440。
图9图示了用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的一个示例方法900，所述示例方法控制捕获模式并利用特定于捕获模式的非线性变换。方法900例如由包括捕获模式控制器660的处理单元640的实施例来执行。
在步骤910中，方法900向相机传送(a)捕获模式的要由相机的图像传感器用来捕获具有以第一位深度编码的传感器信号的图像的规范，以及(b)配置的相关联的特定于捕获模式的非线性变换。特定于捕获模式的非线性变换被配置为当由相机的图像信号处理器应用于所捕获图像时产生非线性图像，所述非线性图像以可以小于第一位深度的第二位深度对所捕获图像进行重新编码，同时针对低轮廓可见性优化非线性图像中位深度分辨率的分配。在步骤910的一个示例中，捕获模式控制器660直接地或经由ISP 630将捕获模式的规范传送至图像传感器120。在此示例中，捕获模式控制器660还将对应的特定于捕获模式的非线性变换132传送值ISP 630的编码器632。
步骤910可以包括传送特定于捕获模式的非线性变换的步骤912，所述非线性变换被配置为根据传感器信号相关的轮廓可见性阈值在非线性图像中分布位深度分辨率。步骤912类似于步骤812，除了仅传送单个特定于捕获模式的非线性变换。
接下来，方法900执行方法700的步骤720和方法800的步骤830。在步骤830的一个示例中，如在方法900中实施的，反相器342从捕获模式控制器660接收捕获模式规范。在步骤830的另一个示例中，如在方法900中实施的，反相器342经由元数据672从ISP 630接收捕获模式规范。
方法900可以进一步包括方法400的例如由处理单元640的后处理器344执行的步骤440。
图10图示了用于从如蜂窝电话的应用域等应用域实现的位深度高效图像处理的一个示例方法1000，所述示例方法生成高动态范围(HDR)图像。方法1000例如由处理单元640执行。
方法1000最初执行步骤710，如以上参考图7所描述的。接下来，方法1000执行从ISP接收多个非线性图像的步骤1020，其中，每个非线性图像已经在不同的明亮度设置下被捕获。在步骤1020的一个示例中，处理单元640从ISP 630接收多个非线性图像172，其中，每个非线性图像172已经在不同的明亮度设置下被捕获。
在步骤1030中，方法1000对在步骤1020中接收的每个非线性图像应用反变换，所述反变换与用于产生非线性图像的非线性变换相反，以便将每个非线性图像变换成相应重新线性化图像。在步骤1030的一个示例中，反相器342对每个非线性图像172应用反变换142，以产生相应重新线性化图像180。对于每个非线性图像，步骤1030包括以大于第二位深度的第三位深度应用反变换的步骤432。
在步骤1040中，方法1000后处理重新线性化图像。在步骤1040的一个示例中，在步骤1030中，处理单元640的后处理器344处理由反相器342生成的重新线性化图像180。步骤1040包括组合重新线性化图像以形成单个HDR图像的步骤1041，所述单个HDR图像具有比单独的所捕获图像中的任何一个更大的动态范围。步骤1040可以利用本领域已知的HDR图像组合算法。步骤1040可以进一步包括对HDR图像进行编码以便由显示器进行解码或作为数字文件输出的步骤1042。除应用于HDR图像之外，步骤1042类似于步骤442。步骤1042可以包括步骤444或以所述步骤为先导。
在不脱离其范围的情况下，方法1000可以进一步利用特定于捕获模式的非线性变换，如以上参考图8和图9所讨论的。
图11图示了用于位深度高效图像处理的一个示例计算机1100。计算机1100是处理单元340或处理单元640的实施例。计算机1100可以执行方法700、方法800、方法900和方法1000中的任何一种方法。在一个示例场景中，计算机1100在蜂窝电话的应用域中实施。
计算机1100包括处理器1110、非暂态存储器1120和接口1190。处理器1110与存储器1120和接口1190中的每一个通信地耦合。存储器1120包括机器可读指令1130、数据1170和动态数据存储装置1180。机器可读指令1130包括应用域指令1140，所述应用域指令进而包括反相指令1142。应用域指令1140可以进一步包括量化指令1144和/或HDR指令1146。另外，应用域指令1140包括硬件指令1150。数据1170包括一个或多个非线性变换132和对应的反变换142。数据1170可以进一步包括量化规范1172和/或多个捕获模式规范1174。
在由处理器1110执行时，硬件指令1150从数据1170中取得一个或多个非线性变换132，并经由接口1190向ISP输出(多个)非线性变换132。硬件指令1150可以被进一步成在由处理器1110执行时从数据1170中取得捕获模式规范1174之一，并且经由接口1190将此捕获模式规范1174输出至图像传感器或ISP。
在由处理器1110执行时，反相指令1142经由接口1190接收非线性图像172、从数据1170中取得反变换142、并对非线性图像172应用反变换142以产生重新线性化图像180。反相指令1142可以将非线性图像172和/或重新线性化图像180存储至动态数据存储装置1180。处理器1110和反相指令1142协作以形成反相器342的实施例。
在由处理器1110执行时，量化指令1144从动态数据存储装置1180中取得重新线性化图像180、从数据1170中取得量化规范1172、根据量化规范1172将重新线性化图像180编码到输出图像382中、并经由接口1190输出输出图像382(或可替代地，将输出图像382存储至动态数据存储装置1180)。处理器1110和量化指令1144协作以形成如在后处理器344中实施的量化器144的实施例。
在由处理器1110执行时，HDR指令1146从动态数据存储装置1180中取得多个重新线性化图像180，并组合这些重新线性化图像180以产生HDR图像。HDR指令1146可以被配置为经由接口1190输出HDR图像，或将HDR图像存储至动态数据存储装置1180，以便由处理器1110例如根据量化指令1144进一步处理。处理器1110和HDR指令1146协作以形成后处理器344的被配置为执行方法1000的步骤1041的实施例。
在不脱离其范围的情况下，机器可读指令1130和数据1170可以作为被配置为在第三方计算机上实施的独立软件产品被提供，所述第三方计算机具有(a)用于存储机器可读指令1130和数据1170的非暂态存储器以及(b)用于执行机器可读指令1130的处理器。
图12示出了现有技术的图像传感器1200。图像传感器1200包括具有多个光敏像素的像素阵列1210(为了说明清晰起见，图12中未示出单独像素)。每个像素响应于入射光生成模拟电信号1290。图像传感器1200进一步包括用于从像素阵列1210读出模拟信号1290读出电路1220。读出电路1220包括将模拟信号1290转换成相应数字信号1292的至少一个模数转换器(ADC)1224。数字信号1292的位深度与每个ADC 1224的位深度相同。例如，如果图像传感器1200打算以10位的位深度输出数字信号，则每个ADC 1224的位深度必须是10位。
每个ADC 1224消耗的功率是ADC 1224的位深度的函数，其中，更大的位深度需要更多的功率。通常，功耗大约与Δf·2b成比例，其中，Δf是光谱带宽并且b是位深度。在使用场景示例中，图像传感器1200集成在蜂窝电话中，并且通常依靠电池供电。在此场景中，例如，10位ADC 1224比8位ADC 1224消耗电池更快。换句话说，位深度与电池寿命之间存在权衡。另外，ADC 1224的成本随着位深度而增加。
图像传感器1200可以进一步包括模拟降噪器1222，所述模拟降噪器在(多个)ADC1224进行模数转换之前降低模拟信号1290的噪声。
图13图示了具有位深度高效模数图像转换的一个示例图像传感器1300。图像传感器1300优化一个或多个ADC的位深度分辨率的分配，以便以比(多个)ADC的位深度更大的位深度输出数字图像信号。图像传感器1300可以但不需要在系统100中实施为图像传感器120。
图像传感器1300包括像素阵列1210和读出电路1320。读出电路1320包括预整形电路1330、具有第一位深度的至少一个减小位深度的ADC 1340和数字反相电路1350。预整形电路1330是包括非线性变换1332的模拟电路，并且数字反相电路1350包括与非线性变换1332相反的反变换1352。在某些实施例中，读出电路1320可以进一步包括模拟降噪器1222。预整形电路1330可以将非线性变换1332实施为一个或多个γ和/或对数函数，或本领域已知的其他模拟函数块。
在一个实施例中，图像传感器1300进一步包括数字反相电路1350，所述数字反相电路包含与非线性变换1332相反的反变换1352。数字反相电路1350可以将反变换1352实施为查找表。在另一个实施例中，数字反相电路1350在与图像传感器1300通信地耦合的ISP(如ISP 330或ISP 200)上实施。
在操作时，像素阵列1210生成模拟信号1290。预整形电路1330对模拟信号1290应用非线性变换1332(可选地在模拟降噪器1222进行噪声降低之后)，以产生预整形模拟信号1390。减小位深度的ADC 1340以减小位深度的ADC 1340的位深度将预整形模拟信号1390转换成数字信号1392。数字反相电路1350对数字信号1392应用反变换1352，以反转由预整形电路1330应用的非线性变换，从而生成具有第二位深度的增加位深度的数字信号1394。第二位深度大于第一位深度。在一个示例中，第一位深度是8位，并且第二位深度是10位。
非线性变换1332促进高效利用减小位深度的ADC 1340的有限位深度分辨率。非线性变换1332重新分布模拟信号1290的水平，以通过减小位深度的ADC 1340优化位深度分辨率的分配，以便在增加位深度的数字信号1394中编码的所捕获图像中实现低轮廓可见性。非线性变换1332的函数形式可以类似于非线性变换132的函数形式。例如，由于噪声倾向于降低轮廓可见性，因此相比于模拟信号1290的较大噪声范围，非线性变换1332的一个实施例使模拟信号1290的较小噪声范围(可选地考虑模拟降噪器1222进行的噪声降低)在第一位深度的相对较大部分上分布。换句话说，非线性变换1332的此实施例(a)将第一位深度的相对较大部分分配给模拟信号1290的较小噪声范围，并且(b)将第一位深度的相对较小部分分配给模拟信号1290的较大噪声范围。由于较大的模拟信号1290通常比较小的模拟信号1290噪声大，因此非线性变换1332可以将第一位深度的相对较大部分(例如，20％)分配给模拟信号1290的较低范围(例如，最低10％的模拟信号1290)。
如与被配置为以第二位深度生成数字信号1292的现有技术的图像传感器1200的版本相比，当使用具有比ADC 1224的位深度更低的位深度的ADC进行操作时，图像传感器1300可以实现相同的位深度，而对轮廓可见性的负面影响最小或无负面影响。因此，借助于非线性变换1332，图像传感器1300可以以比现有技术的图像传感器1200更低的成本和更低的功耗实现与现有技术的图像传感器1200的图像质量相当的图像质量。与现有的最先进的线性ADC实施方式相比，图像传感器1300可以将功耗降低多达四分之一。图像传感器1300的不包括数字反相电路1350而是被配置为与包含数字反相电路的ISP通信地耦合的实施例可以进一步促进帧率的提高，因为图像传感器1300以数字信号1392的形式输出的图像数据比数字信号1292的位深度更低。
在一个实施例中，读出电路1320包括用于像素阵列1210中的每个像素的减小位深度的ADC 1340。读出电路1320的此实施例还可以被配置有预整形电路1330，并且可选地，为像素阵列1210中的每个像素配置有数字反相电路1350。在另一个实施例中，读出电路1320包括比像素阵列1210中存在的像素更少的减小位深度的ADC 1340。读出电路1320的此实施例使用多路复用，使得每个减小位深度的ADC 1340顺序地从像素阵列1210中的不同像素读取模拟信号1290。读出电路1320的此实施例可以类似地通过预整形电路1330和可选的数字反相电路1350多路复用模拟信号1290的处理。
图14A和图14B图示了在特定于列的读出电路中具有位深度高效模数转换的一个示例图像传感器1400。图像传感器1400的每个像素列具有相关联的特定于列的读出电路，所述读出电路优化ADC的位深度分辨率的分配，以便以比ADC的位深度更大的位深度输出数字图像信号。图像传感器1400是图像传感器1300的实施例。图14A示出了图像传感器1400的示意性俯视平面图。图14B是特定于列的读出电路1420的一个实例的框图。在以下说明中最好一起参看图14A和图14B。
图像传感器1400包括像素阵列1410，所述像素阵列具有以列1414布置的多个像素1412。为说明清晰起见，并非所有像素1412和所有列1414都在图14A中标记。每个列1414与相应特定于列的读出电路1420通信地耦合，所述特定于列的读出电路顺序地读出列1414中每个像素1412的模拟信号1290。特定于列的读出电路1420的每个实例包括通信地耦合的预整形电路1330和单个减小位深度的ADC 1340，如以上参考图13所讨论的。特定于列的读出电路1420的每个实例可以进一步包括数字反相电路1350。
应理解，特定于列的读出电路1420可能具有一些列与列之间的差异。例如，为了考虑像素1412和相关联的电路中列与列之间的变化，非线性变换1332可以在特定于列的基础上进行校准。
图15图示了用于图像传感器中位深度高效模数转换的一个示例方法1500。方法1500可以由图像传感器1300或图像传感器1400来执行。
在步骤1510中，方法1500接收表示由图像传感器的相应多个光敏像素检测到的光的多个模拟信号。在步骤1510的一个示例中，读出电路1320从像素阵列1210接收模拟信号1290。在步骤1510的另一个示例中，图像传感器1400的特定于列的读出电路1420的每个实例从像素1412的对应列1414接收模拟信号1290。
在步骤1520中，方法1500对模拟信号应用非线性变换，以针对低轮廓可见性优化对通过后续模数转换生成的数字信号的位深度分辨率分配。在步骤1520的一个示例中，读出电路1320的预整形电路1330对从像素阵列1210接收的每个模拟信号1290应用非线性变换1332。在步骤1520的另一个示例中，图像传感器1400的特定于列的读出电路1420的每个实例的预整形电路1330对从像素阵列1410的对应列1414接收的每个模拟信号1290应用非线性变换1332。步骤1520可以包括应用一个或多个γ和/或对数函数的步骤1522。在步骤1520的一个示例中，预整形电路1330通过一个或多个模拟电路来传播每个模拟信号1290，所述每个模拟电路施加γ和/或对数函数。
在步骤1530中，方法1500以第一位深度将在步骤1520中生成的预整形模拟信号转换为数字信号。在步骤1530的一个示例中，读出电路1320或特定于列的读出电路1420的每个减小位深度的ADC 1340将预整形的模拟信号1390转换为相应数字信号1392。
在某些实施例中，方法1500进一步包括通过以通常大于第一位深度的第二位深度对数字信号应用相应的反变换来反转步骤1520的非线性变换的步骤1540。在步骤1540的一个示例中，读出电路1320的数字反相电路1350或与读出电路1320通信地耦合的ISP的所述数字反相电路对从减小位深度的ADC 1340接收的每个数字信号1392应用反变换1352。在步骤1540的另一个示例中，特定于列的读出电路1420的每个实例的数字反相电路1350或与特定于列的读出电路1420的每个实例通信地耦合的数字反相电路1350对从减小位深度的ADC1340接收的每个数字信号1392应用反变换1352。
示例I：对由ISP编码器应用的非线性变换的确定
图16至图24B图示了非线性变换132的确定的示例。
图16示出了研究结果，其中，向一群观察者呈现一组图像，所述每个图像都具有浅明亮度梯度。图像采样了三个参数：图像所编码的位深度、平均图像亮度和添加到浅明亮度梯度的高斯噪声水平。对于每个平均亮度和每个噪声水平，要求观察者选择避免图像中可见轮廓所需的最小位深度。图16示出了一组曲线1600。每个曲线1600与具体的相应平均亮度相关联，并且指示作为高斯噪声水平1610的函数的所需位深度1620，其中，高斯噪声水平被指示为12位代码值的标准偏差。从图16可以明显看出，所需的位深度近似与高斯噪声水平成反比，并且大部分与平均亮度无关。
所捕获图像170可以包括来自各种来源的噪声。在低传感器信号水平下，噪声可能主要由信号无关因素造成，如暗电流、读出噪声和约翰逊噪声。在传感器信号水平较大时，噪声通常由光子散粒(shot)噪声主导。光子散粒噪声源于光的离散性质，所述光通过在图像传感器120的光电二极管井中的光电生成而转化为电子传感器信号。散粒噪声是信号相关的，使得散粒噪声标准偏差与传感器信号的平方根成比例。
图17示出了曲线1700，所述曲线描绘了作为数字1710(传感器信号的代码值水平)的函数的噪声标准偏差1720，所述数字是针对在曝光时间为1毫秒的谷歌像素相机的图像传感器进行测量的。较高代码水平处的平方根相关性表明，较大传感器信号处的噪声主要是散粒噪声。大多数图像传感器表现出与图17所表明的相同的一般行为。
图18图示了用于确定图像传感器120的非线性变换132的一个示例方法1800。方法1800是可以针对图像传感器120的任何给定实施例执行的校准程序。在一个场景中，方法1800针对单个图像传感器120或相同类型的图像传感器120的几个副本来执行，并且所得到的非线性变换132然后普遍适用于此相同类型的图像传感器120的所有实例。方法1800可以由计算机执行。
应当理解，由方法1800确定的非线性变换132可以是特定于捕获模式的。因此，对于能够在多个捕获模式下进行图像捕获的图像传感器120，方法1800可以针对捕获模式中的每种捕获模式执行。
在步骤1810中，方法1800接收图像传感器120的如编码在所捕获图像170中的传感器信号的噪声特性。噪声特性将传感器信号的标准偏差σC(或其他等效统计度量)表征为代码值C的函数。在一个实施例中，σC仅与图像传感器120的固有噪声相关。在另一个实施例中，σC进一步考虑来自预处理单元336的噪声贡献/降低。图17的曲线1700是仅与固有噪声相关的(C,σC)的示例。
在步骤1820中，方法1800将光-光传递函数(OOTF)应用于在步骤1810中接收的噪声特性(C,σC)。OOTF将噪声特性从参考场景的代码值(C,σC)传递至参考显示器亮度的代码值(L,σL)。在一个实施例中，步骤1820中应用的OOTF与方法400的步骤444中应用的函数相同。
在步骤1830中，方法1800根据由量化器144执行的期望的编码，将噪声特性从参考显示器亮度的代码值(L,σL)转换成相应量化器代码值(Q,σQ)。步骤1820和步骤1830协作以将所捕获图像170的噪声特性传播至输出图像382的所得到的噪声特性。
在步骤1840中，方法1800在存在噪声σQ的情况下，计算由量化器代码值Q表示的每个显示亮度水平处所需的量化器位深度BQ。步骤1840可以利用图16所示出的曲线的函数形式从(Q,σQ)计算BQ。
在步骤1850中，方法1800基于BQ确定针对每个Q值的量化器代码值Q的最小步进(step)ΔQ。最小步进ΔQ表示与可见(步进状)对比度相关联的量化器代码值Q的最小步进。对于小于最小步进ΔQ的步进，对比度不可见。
在步骤1860中，方法1800将最小步进函数的量化器代码值表示(Q,ΔQ)传递至参考显示器亮度的最小步进函数(L,ΔL)。步骤1860通过应用与步骤1830中应用的函数相反的函数从(Q,ΔQ)确定(L,ΔL)。
在步骤1870中，方法1800将反向OOTF应用于最小步进函数(L,ΔL)，以生成用于传感器信号的最小步进函数(C,ΔC)，从而确定最小对比度曲线ΔC/C(C)。最小对比度曲线ΔC/C(C)表征传感器信号相关的轮廓可见性阈值，如步骤712的传感器信号相关的轮廓可见性阈值。
在步骤1880中，方法1800从最小对比度曲线ΔC/C(C)中得到非线性变换132。在一个实施例中，步骤1880将非线性变换132参数化，并且通过将非线性变换132以非线性变换132的位深度(如8位)诱发的相对量化拟合到最小对比度曲线ΔC/C(C)来确定非线性变换132的参数。
图19示出了从基于图17的谷歌像素相机噪声特性的方法1800的示例中得到的若干最小对比度曲线1900、曲线1902和曲线1904。曲线1900、曲线1902和曲线1904中的每一条曲线都与步骤1820中不同OOTF的应用相关联，并且在步骤1830中使用杜比感知量化器(Dolby Perceptual Quantizer)(ITU-R推荐标准BT.2100)。每个最小对比度曲线1900、曲线1902和曲线1904从在步骤1860的示例中确定的最小步进函数(L,ΔL)中得到，并且指示作为L(1910)的函数的ΔL/L(1920)。这些ΔL/L(L)曲线在某种程度上取决于所选择的OOTF。图19还示出了12位杜比感知量化器曲线1906，所述曲线在没有噪声的情况下刚好低于可见性阈值。将曲线1906与曲线1900、曲线1902和曲线1904进行比较，表明噪声可以显著降低对对比度的敏感度的程度，在这种情况下几乎降低了两个数量级。
图20示出了通过反向OOTF将最小对比度曲线1900、曲线1902和曲线1904映射回传感器信号代码值的结果，如步骤1870的示例中所完成的。图20示出了曲线2000、曲线2002和曲线2004，每条曲线都表示作为C(2010)的函数的ΔC/C(2020)。曲线2000、曲线2002和曲线2004分别从曲线1900、曲线1902和曲线1904中得到。从图20可以看出，传感器信号空间中表示的最小对比度曲线ΔC/C(C)示出非常相似的行为，尽管在每种情况下使用非常不同的OOTF。这可以通过以下方式理解。使用对比度更高的OOTF将拉伸轮廓，使它们在无噪声图像中更加清晰可见。然而，相机噪声还将通过此OOTF诱发更多的掩蔽，从而增加ΔL/L最小对比度，为轮廓提供进一步的视觉掩蔽。
图20中示出的ΔC/C(C)曲线是使用固有传感器噪声特性得到的。在另一个示例中，方法1800进一步考虑由预处理单元336(例如降噪器230)执行的噪声降低。
图21示出了来自ISP的典型噪声降低的示例。图21示出了以8位的位深度指示作为数字代码值2110的函数的噪声2120的三条曲线2100、2102和2104。曲线2100指示不具有噪声降低的噪声，曲线2102指示存在时间降噪时的噪声水平，并且曲线2104指示存在时间降噪和小波降噪时的噪声水平。显然，在这种情况下，ISP可以将固有传感器噪声水平降低2到3倍。此噪声降低然后将具有降低ΔL/L最小对比度及其相应ΔC/C最小对比度的效果。
图22图示了降噪对最小对比度曲线ΔC/C(C)的影响。图22示出了指示作为C(2210)的函数的ΔC/C(2220)最小对比度曲线2200、2202和2204。曲线2200对应于没有降噪，也就是说，假设图像传感器的固有噪声。曲线2202对应于2倍噪声降低，并且曲线2204对应于4倍噪声降低。降噪具有向下推动最小对比度曲线的效果，这表明由有限位深度分辨率引起的对轮廓的更高的敏感度。
图23图示了步骤1880的示例，其中，参数化8位非线性变换132的参数从图22的最小对比度曲线2204得到。图23示出了指示作为C(2210)的函数的ΔC/C(2220)的若干曲线：图22的曲线2204和曲线2300、2304和2306。曲线2300是与参数化8位非线性变换132相关联的ΔC/C(C)到曲线2204的拟合。曲线2304是与传统纯γ1/2.4编码相关联的最小对比度曲线ΔC/C(C)。曲线2306是与传统Rec 709编码相关联的最小对比度曲线ΔC/C(C)。
曲线2300使用经修改的Naka-Rushton模型的导数基于非线性变换132的参数化。此模型允许与曲线2204拟合。相反，8位Rec 709(曲线2306)和纯γ1/2.4(曲线2304)编码显著偏离曲线2204，表示这些传统编码对8位代码空间的次优使用。
在与曲线2300相关联的示例中，用于参数化非线性变换132的函数形式是
Figure BDA0002384580450000231
其中，拟合导致m1＝0.1696、m2＝78.8448、c1＝0.45876、c2＝19.0373并且c3＝18.496。相应的反变换142的函数形式是
Figure BDA0002384580450000232
图24A和图24B图示了与图23的曲线2300相关联的示例非线性变换132和相应示例反变换142。图24A将非线性变换2400(与曲线2300相关联的非线性变换132的示例)绘制为作为相对相机信号2410的函数的输出相对代码值2420。图24A还示出了传统的γ2.4编码2402。图24B将反变换2440(与曲线2300相关联的反变换142的示例)绘制为作为输出相对代码值2420的函数的相对相机信号2410。图24B还示出了传统的γ1/2.4解码2442。
实例II：用于预整形模拟信号的非线性变换
图25至图28通过示例图示了在通过减小位深度的ADC 1340进行模数转换之前，对预整形的模拟信号1290应用非线性变换1332的效果。
图25示出了研究结果，其中，向一群观察者呈现一组图像，所述每个图像都具有浅明亮度梯度。图25下的研究是图16下的研究的扩展版本。图25绘制了一组曲线2500，每条曲线都指示作为在方法1800的步骤1870中确定的C(2510)的函数的ΔC/C(2520)。
图26示出了曲线2600，所述曲线指示图25的所述一组曲线2500的作为C的函数的最小相对对比度ΔC/C。
图27将图26的数据重新描绘为曲线2700，所述曲线指示作为C(2710)函数的min(ΔC)(2720)。图27还示出了线2702和线2704，所述线分别指示具有10位和12位位深度的ADC的相对代码变化。在10位ADC(线2702)的情况下，可以看到(对于谷歌像素相机)由ADC的有限位深度分辨率引起的轮廓伪像将在大约0.01的相对相机信号下被观察到。然而，高于0.01，对比度将下降到可见性阈值以下。即使采用12位ADC(线2704)，这个问题将依然存在，尽管传感器代码值更低。因此，使用N位(例如，10位)ADC，可能构建浅梯度图像，使得将存在可见轮廓——即使在ADC之前存在模拟噪声。对于宽动态范围成像应用，其中，传感器代码空间被扩展到更大的显示亮度范围(经由OOTF)，降低任何可见轮廓可以显著提高经渲染图像质量。
图28图示了由图像传感器1300提供的轮廓可见性性能的示例。图28绘制了指示作为C(2710)的函数的min(ΔC)(2720)的若干曲线：曲线2800和曲线2802，以及图27的曲线2700和线2702和线2704。曲线2800类似于图27的曲线2700，除了曲线2800基于图像传感器1300的实施例的使用，所述图像传感器(a)将图24的非线性变换2400实施为非线性变换1332，并且(b)使用具有8位的位深度的减小位深度的ADC 1340。曲线2800的示例表明，借助于非线性变换1332，能够用8位ADC替换10位或12位ADC，同时保持在曲线2700所指示的轮廓可见性阈值以下。曲线2802类似于曲线2800，除了基于图像传感器1300的实施例，所述图像传感器将γ1/2.4函数实施为非线性变换1332。基于γ1/2.4的实施例还允许在使用8位ADC时保持在曲线2700所指示的轮廓可见性阈值以下。然而，当考虑到可能发生在ISP与图像传感器1300的耦合中的噪声降低程序时，非线性变换2400可以比γ1/2.4函数执行得更好。
所枚举的实施例
在不脱离其范围的情况下，上述特征以及以下要求保护的特征可以以各种方式组合。例如，应当理解的是，本文所描述的用于位深度高效图像处理的系统、方法或设备的方面可以并入或交换本文所描述的用于位深度高效图像处理的另一个系统、方法或设备的特征。以下示例说明了以上所描述的实施例的一些可能的非限制性组合。应该清楚的是，在不脱离本发明的精神和范围的情况下，可以对本文的设备、系统和方法进行许多其他改变和修改：
(A1)一种用于位深度高效图像处理的计算机实施的方法可以包括：(a)将至少一个非线性变换传送至图像信号处理器，其中，每个非线性变换被配置为当由所述图像信号处理器应用于具有以第一位深度编码的传感器信号的所捕获图像时产生以第二位深度对所捕获图像重新编码的非线性图像，同时针对低轮廓可见性优化所述非线性图像中位深度分辨率的分配；(b)从所述图像信号处理器接收所述非线性图像；以及(c)应用与用于产生所述非线性图像的所述非线性变换相反的反变换，以便以大于所述第二位深度的第三位深度将所述非线性图像变换成重新线性化图像。
(A2)在如(A1)所述的方法中，所述第二位深度可以小于所述第一位深度。
(A3)在如(A1)和(A2)所述的方法中的任一种方法中，每个非线性变换可以被配置为根据传感器信号相关的轮廓可见性阈值在所述非线性图像中非线性地分布位深度分辨率。
(A4)在如(A3)所述的方法中，对于如以所述第一位深度编码的所述传感器信号的每个数字值，所述传感器信号相关的轮廓可见性阈值可以定义在存在噪声的情况下可检测的最小轮廓，其中，所述噪声包括生成所捕获图像的图像传感器的固有噪声。
(A5)在如(A4)所述的方法中，所述噪声可以进一步包括在捕获之后且在所述接收步骤之前通过对所捕获图像进行预处理所引入的噪声。
(A6)如(A1)至(A5)所述的方法中的任何方法可以进一步包括：在所述应用步骤之后并且以所述第三位深度处，将所述重新线性化图像的表示从参考场景的传感器信号值传递至参考显示器的亮度值以及对如由所述参考显示器的亮度值表示的所述重新线性化图像进行编码，以随后由显示器解码或作为数字文件输出。
(A7)在如(A6)所述的方法中，所述编码步骤可以包括对所述重新线性化图像应用量化器，所述量化器被配置为以从10位到12位范围内的位深度对10000尼特的显示亮度范围进行编码，同时非线性地分配位深度分辨率以降低轮廓可见性。
(A8)在如(A1)至(A7)所述的方法中的任何方法中，每个非线性变换可以被配置为：(i)应用于具有编码到初始代码值中的所述传感器信号的所捕获图像；并且(ii)将所述初始代码值变换为经优化代码值，相比于所述初始代码值的第二范围，所述经优化代码值将更大的位深度分辨率分配给所述初始代码值的第一范围，其中，所述第一范围由比所述第二范围低的轮廓可见性阈值表征，并且所述接收步骤包括接收如编码在所述经优化代码值中的所述非线性图像。
(A9)如(A1)至(A8)所述的方法中的任何方法可以包括：在所述接收步骤中，经由所述图像信号处理器的被限制在所述第二位深度的输出从所述图像信号处理器接收所述非线性图像。
(A10)在如(A9)所述的方法中，所述第二位深度可以是8位，所述第三位深度可以是至少10位。
(A11)在如(A10)所述的方法中，所述第一位深度可以大于8位。
(A12)如(A1)至(A11)所述的方法中的任何方法可以进一步包括：(1)在所述传送步骤中，向所述图像信号处理器传送分别与多个图像捕获模式相关联的多个非线性变换，以便使所述图像信号处理器能够根据捕获所捕获图像所处的图像捕获模式来选择和应用所述非线性变换中特定的一个非线性变换；(2)从所述图像信号处理器接收指示捕获所捕获图像所处的所述模式的元数据；以及(3)在所述应用步骤中，根据所述非线性变换中特定的一个非线性变换的反变换来变换所述图像。
(B1)一种用于位深度高效图像处理的产品可以包括在非暂态存储器中编码的机器可读指令，其中，所述指令包括：(a)至少一个非线性变换，每个非线性变换被配置为变换以第一位深度编码的传感器信号的所捕获图像，产生以第二位深度对所述传感器信号重新编码的非线性图像，同时针对低轮廓可见性优化所述非线性图像中位深度分辨率的分配；(b)针对每个非线性变换的对应反变换；(c)硬件指令，所述硬件指令当由处理器执行时将所述至少一个非线性变换传送至图像信号处理器，以使所述图像处理器能够从所捕获图像产生所述非线性图像；以及(d)包括反相指令的应用域指令，所述反相指令当由所述处理器执行时从所述图像信号处理器接收所述非线性图像，并应用对应于用于产生所述非线性图像的所述非线性变换的反变换，以便以大于所述第二位深度的第三位深度产生重新线性化图像。
(B2)在如(B1)所述的产品中，所述第二位深度可以小于所述第一位深度。
(B3)在如(B1)和(B2)所述的产品中的任一种产品中，每个非线性变换可以被配置为根据传感器信号相关的轮廓可见性阈值在所述非线性图像中非线性地分布位深度分辨率。
(B4)在如(B3)所述的产品中，对于以所述第一位深度编码的所述传感器信号的每个值，所述传感器信号相关的轮廓可见性阈值可以定义在存在噪声的情况下可检测的最小传感器信号轮廓，其中，所述噪声包括生成所捕获图像的图像传感器的固有噪声。
(B5)在如(B4)所述的产品中，所述噪声可以进一步包括在应用所述非线性变换之前对所捕获图像进行预处理所引入的噪声。
(B6)在如(B1)至(B5)所述的产品中的任何产品中，所述应用域指令可以进一步包括量化指令，所述量化指令当由所述处理器执行时：(i)将所述重新线性化图像的表示从参考场景的传感器信号值传递至参考显示器的亮度值；以及(ii)对由参考显示器的亮度值表示的所述述重新线性化图像进行编码，以便随后由显示器解码或作为数字文件输出。
(B7)在如(B6)所述的产品中，为了对由所述参考显示器的亮度值表示的所述重新线性化图像进行编码，所述量化指令可以包括量化器，所述量化器被配置为以从10位到12位范围内的位深度编码10000尼特的显示亮度范围，同时非线性地分配位深度分辨率以降低轮廓可见性。
(B8)在如(B1)至(B7)所述的产品中的任何产品中，所述至少一个非线性变换可以包括分别与多个图像捕获模式相关联的多个非线性变换和相应多个反变换，以便使所述图像信号处理器能够根据捕获所捕获图像所处的图像捕获模式来选择并应用所述非线性变换中特定的一个非线性变换，并且所述反相指令可以被配置为当由所述处理器执行时接收指示捕获所捕获图像所处的所述捕获模式的元数据，并且应用所述反变换中对应的一个反变换以产生重新线性化亮度图像。
(B9)如(B1)至(B8)所述的产品中的任何产品可以被配置为在蜂窝电话的应用域中实施。
(C1)一种用于对图像进行位深度高效模数转换的方法可以包括：(a)接收表示由图像传感器的相应多个光敏像素检测到的光的多个模拟信号；(b)以第一位深度将所述模拟信号转换成数字信号；以及(c)在所述转换步骤之前，对所述模拟信号应用非线性变换，以针对低轮廓可见性优化对所述数字信号的位深度分辨率分配。
(C2)如(C1)所述的方法可以进一步包括通过对所述数字信号应用相应的反变换来反转所述非线性变换，其中，所述反变换以大于所述第一位深度的第二位深度编码所述数字信号。
(C3)在如(C1)和(C2)所述的方法中的任一种方法中，所述应用步骤可以包括：相比于所述模拟信号的第二范围，将更大的位深度分辨率分配给所述模拟信号的第一范围，其中，所述第一范围由比所述第二范围更低的轮廓可见性阈值表征。
(C4)在如(C1)至(C3)所述的方法中的任何方法中，所述第一位深度可以为8位。
(C5)如(C1)至(C4)所述的方法中的任何方法都可以在所述图像传感器上执行。
(C6)在如(C5)所述的方法中，所述应用步骤可以包括优化位深度分辨率的分配，同时考虑噪声对所述轮廓可见性的影响。
(C7)在如(C6)所述的方法中，所述噪声可以包括所述图像传感器的固有噪声。
(C8)如(C5)至(C7)所述的方法中的任何方法可以包括在所述图像传感器的每个列读出电路内执行所述接收步骤、所述转换步骤、所述应用步骤和所述反转步骤。
(C9)在如(C1)到(C8)所述的方法中的任何方法中，所述应用步骤可以包括对所述模拟信号应用选自由γ函数和对数函数构成的组中的一个或多个非线性函数。
(D1)一种具有位深度高效模数图像变换的图像传感器可以包括：(a)多个光敏像素，所述多个光敏像素用于生成表示由所述光敏像素检测到的光的相应多个模拟信号；(b)用于将所述模拟信号转换成数字并具有第一位深度的至少一个模数转换器；以及(c)通信地耦合在所述光敏像素与所述至少一个模数转换器之间的至少一个模拟预整形电路，所述至少一个模拟预整形电路用于对所述模拟信号应用非线性变换，以通过所述模数转换器在存在所述模拟信号的噪声的情况下针对低轮廓可见性优化对所述数字信号的位深度分辨率的分配。
(D2)如(D1)所述的图像传感器可以进一步包括至少一个数字反相电路，所述至少一个数字反相电路用于通过对所述数字信号应用相应的反变换来反转所述非线性变换，其中，所述反变换以大于所述第一位深度的第二位深度编码所述数字信号。
(D3)在如(D1)和(D2)所述的图像传感器中的任一种图像传感器中，所述模拟预整形电路可以至少部分地将所述非线性变换实施为选自由γ函数和对数函数构成的组的一个或多个函数，其中，所述数字反相电路将所述反变换存储为查找表。
(D4)在如(D1)至(D4)所述的图像传感器中的任何传感器中，所述第一位深度可以是8位。
(D5)在如(D1)至(D4)所述的图像传感器中的任何传感器中，所述光敏像素可以被组织成具有多列的阵列，其中，每一列配置有列读出电路，所述列读出电路包括相应的模数转换器、相应的模拟预整形电路和相应的数字反相电路。
(D6)在如(D5)所述的图像传感器中，对于每一列，所述列读出电路可以实施所述非线性变换的特定于列的实例，所述非线性变换被校准以在所述相应列中存在所述模拟信号的噪声的情况下最小化轮廓可见性。
在不脱离其范围的情况下，可以对上述设备、系统和方法进行改变。因此，应当注意，包含在以上说明书中并且在附图中示出的内容应当被解释为说明性的而不是限制性的意义。以下的权利要求旨在涵盖本文所描述的一般特征和特定特征，以及本设备、系统和方法的范围的所有陈述在语言上可以被说成落在其间。
本发明的各个方面可以从以下所枚举的示例实施例(EEE)中理解，所述示例实施例不是权利要求：
1.一种用于位深度高效图像处理的计算机实施的方法，所述计算机实施的方法包括：
将至少一个非线性变换传送至图像信号处理器，每个非线性变换被配置为当由所述图像信号处理器应用于具有以第一位深度编码的传感器信号的所捕获图像时产生以第二位深度对所捕获图像进行重新编码的非线性图像，同时针对低轮廓可见性优化所述非线性图像中位深度分辨率的分配，
从所述图像信号处理器接收所述非线性图像；以及
应用与用于产生所述非线性图像的所述非线性变换相反的反变换，以便以大于所述第二位深度的第三位深度将所述非线性图像变换成重新线性化图像。
2.如EEE 1所述的计算机实施的方法，所述第二位深度小于所述第一位深度。
3.如EEE 1或EEE 2所述的计算机实施的方法，每个非线性变换被配置为根据传感器信号相关的轮廓可见性阈值在所述非线性图像中非线性地分布位深度分辨率。
4.如EEE 3所述的计算机实施的方法，对于以所述第一位深度编码的所述传感器信号的每个数字值，所述传感器信号相关的轮廓可见性阈值定义在存在噪声的情况下可检测的最小轮廓，所述噪声包括生成所捕获图像的图像传感器的固有噪声。
5.如EEE 4所述的计算机实施的方法，所述噪声进一步包括在捕获之后且在在所述接收步骤之前通过对所捕获图像进行预处理所引入的噪声。
6.如任一前述EEE所述的计算机实施的方法，进一步包括，在所述应用步骤之后并且以所述第三位深度：
将所述重新线性化图像的表示从参考场景的传感器信号值传递至参考显示器的亮度值；以及
对由所述参考显示器的亮度值表示的所述重新线性化图像进行编码，以随后由显示器解码或作为数字文件输出。
7.如EEE 6所述的计算机实施的方法，所述编码步骤包括对所述重新线性化图像应用量化器，所述量化器被配置为以从10位到12位范围内的位深度对10000尼特的显示亮度范围进行编码，同时非线性地分配位深度分辨率以降低轮廓可见性。
8.如任一前述EEE所述的计算机实施的方法，每个非线性变换被配置为：(a)应用于具有编码到初始代码值中的所述传感器信号的所捕获图像；并且(b)将所述初始代码值变换为经优化代码值，相比于所述初始代码值的第二范围，所述经优化代码值将更大的位深度分辨率分配给所述初始代码值的第一范围，所述第一范围由比所述第二范围低的轮廓可见性阈值表征，所述接收步骤包括接收如编码在所述经优化代码值中的所述非线性图像。
9.如任一前述EEE所述的计算机实施的方法，包括：
在所述接收步骤中，经由所述图像信号处理器的被限制为所述第二位深度的输出从所述图像信号处理器接收所述非线性图像。
10.如EEE 9所述的计算机实施的方法，所述第二位深度为8位，所述第三位深度为至少10位。
11.如EEE 10所述的计算机实施的方法，所述第一位深度大于8位。
12.如任一前述EEE所述的计算机实施的方法，进一步包括：
在所述传送步骤中，向所述图像信号处理器传送分别与多个图像捕获模式相关联的多个非线性变换，以便使所述图像信号处理器能够根据捕获所捕获图像所处的图像捕获模式来选择并应用所述非线性变换中特定的一个非线性变换；
从所述图像信号处理器接收指示捕获所捕获图像所处的所述模式的元数据；以及
在所述应用步骤中，根据所述非线性变换中特定的一个非线性变换的反变换来变换所述图像。
13.一种用于位深度高效图像处理的产品，所述产品包括编码在非暂态存储器中的机器可读指令，所述指令包括：
至少一个非线性变换，每个非线性变换被配置为变换以第一位深度编码的传感器信号的所捕获图像，以产生以第二位深度对所述传感器信号重新编码的非线性图像，同时针对低轮廓可见性优化所述非线性图像中位深度分辨率的分配；
针对每个非线性变换的对应反变换；
硬件指令，所述硬件指令当由处理器执行时将所述至少一个非线性变换传送至图像信号处理器，以使所述图像处理器能够从所捕获图像产生所述非线性图像；以及
包括反相指令的应用域指令，所述反相指令当由所述处理器执行时从所述图像信号处理器接收所述非线性图像，并应用对应于用于产生所述非线性图像的所述非线性变换的反变换，以便以大于所述第二位深度的第三位深度产生重新线性化图像。
14.如EEE 13所述的产品，所述第二位深度小于所述第一位深度。
15.如EEE 13或EEE 14所述的产品，每个非线性变换被配置为根据传感器信号相关的轮廓可见性阈值在所述非线性图像中非线性地分布位深度分辨率。
16.如EEE 15所述的产品，对于如以所述第一位深度编码的所述传感器信号的每个值，所述传感器信号相关的轮廓可见性阈值定义在存在噪声的情况下可检测的最小传感器信号轮廓，所述噪声包括生成所捕获图像的图像传感器的固有噪声。
17.如EEE 16所述的产品，所述噪声进一步包括在应用所述非线性变换之前对所捕获图像进行预处理所引入的噪声。
18.如EEE 13至EEE 17中任一项所述的产品，所述应用域指令进一步包括量化指令，所述量化指令当由所述处理器执行时：(a)将所述重新线性化图像的表示从参考场景的传感器信号值传递至参考显示器的亮度值；以及(b)对如由所述参考显示器的亮度值表示的所述重新线性化图像进行编码，以便随后由显示器解码或作为数字文件输出。
19.如EEE 18所述的产品，为了对由所述参考显示器的亮度值表示的所述重新线性化图像进行编码，所述量化指令包括量化器，所述量化器被配置为以从10位到12位范围内的位深度编码10000尼特的显示亮度范围，同时非线性地分配位深度分辨率以降低轮廓可见性。
20.如EEE 13至EEE 19中任一项所述的产品，
所述至少一个非线性变换包括分别与多个图像捕获模式相关联的多个非线性变换和相应的多个反变换，以便使所述图像信号处理器能够根据捕获所捕获图像的图像捕获模式来选择和应用所述非线性变换中特定的一个非线性变换；并且
所述反相指令被配置为当由所述处理器执行时接收指示捕获所捕获图像所处的所述捕获模式的元数据，并且应用所述反变换中对应的一个反变换以产生重新线性化亮度图像。
21.如EEE 13至EEE 20中任一项所述的产品，被配置为用于在蜂窝电话的应用域中实施。
22.一种用于对图像进行位深度高效模数转换的方法，所述方法包括：
接收表示由图像传感器的相应多个光敏像素检测到的光的多个模拟信号；
以第一位深度将所述模拟信号转换成数字信号；
在所述转换步骤之前，对所述模拟信号应用非线性变换，以针对低轮廓可见性优化对所述数字信号的位深度分辨率的分配；以及
23.如EEE 22所述的方法，进一步包括通过对所述数字信号应用相应的反变换来反转所述非线性变换，所述反变换以大于所述第一位深度的第二位深度编码所述数字信号。
24.如EEE 22或EEE 23所述的方法，所述应用步骤包括：相比于所述模拟信号的第二范围，将更大的位深度分辨率分配给所述模拟信号的第一范围，所述第一范围由比所述第二范围更低的轮廓可见性阈值表征。
25.如EEE 22至EEE 24中任一项所述的方法，所述第一位深度为8位。
26.如EEE 22至EEE 25中任一项所述的方法，所述方法是在所述图像传感器上执行的。
27.如EEE 26所述的方法，所述应用步骤包括优化位深度分辨率的分配，同时考虑噪声对所述轮廓可见性的影响。
28.如EEE 27所述的方法，所述噪声包括所述图像传感器的固有噪声。
29.如EEE 26所述的方法，包括在所述图像传感器的每个列读出电路内执行所述接收步骤、所述转换步骤、所述应用步骤和所述反转步骤。
30.如EEE 22至EEE 29中任一项所述的方法，所述应用步骤包括对所述模拟信号应用选自由γ函数和对数函数构成的组中的一个或多个非线性函数。
31.一种具有位深度高效模数图像转换的图像传感器，所述图像传感器包括：
多个光敏像素，用于生成表示由所述光敏像素检测到的光的相应多个模拟信号；
至少一个模数转换器，用于将所述模拟信号转换成数字并具有第一位深度；
至少一个模拟预整形电路，通信地耦合在所述光敏像素与所述至少一个模数转换器之间，所述至少一个模拟预整形电路用于对所述模拟信号应用非线性变换，以通过所述模数转换器在存在所述模拟信号的噪声的情况下针对低轮廓可见性优化对所述数字信号的位深度分辨率的分配。
32.如EEE 31所述的图像传感器，进一步包括至少一个数字反相电路，所述至少一个数字反相电路用于通过对所述数字信号应用相应的反变换来反转所述非线性变换，其中，所述反变换以大于所述第一位深度的第二位深度编码所述数字信号。
33.如EEE 31或EEE 32所述的图像传感器，所述模拟预整形电路将所述非线性变换至少部分地实施为选自由γ函数和对数函数构成的组中的一个或多个函数，其中，所述数字反相电路将所述反变换存储为查找表。
34.如EEE 31至EEE 33中任一项所述的图像传感器，所述第一位深度为8位。
35.如EEE 31至EEE 34中任一项所述的图像传感器，所述光敏像素被组织成具有多列的阵列，每一列配置有列读出电路，所述列读出电路包括相应的模数转换器、相应的模拟预整形电路和相应的数字反相电路。
36.如EEE 35所述的图像传感器，针对每一列，所述列读出电路实施所述非线性变换的特定于列的实例，所述非线性变换被校准以在所述相应列中存在所述模拟信号的噪声的情况下最小化轮廓可见性。

Claims (15)

1.一种用于通过设备进行图像处理的计算机实施的方法，所述设备包括：图像传感器，用于捕获具有第一位深度的图像；捕获模式控制器，被配置为在多个捕获模式下控制所述图像传感器进行图像捕获；图像信号处理器，被配置为通过应用非线性变换和重新编码来从由所述图像传感器捕获的图像产生非线性化图像；以及反相器，被配置为通过应用反变换和重新编码来从由所述图像信号处理器产生的图像产生重新线性化图像，所述方法包括：
提供多个非线性变换，所述多个非线性变换中的每个非线性变换与所述多个捕获模式中的不同的捕获模式相关联，
通过所述捕获模式控制器控制所述图像传感器以在所述捕获模式之一下捕获图像，所述图像具有以所述第一位深度编码的传感器信号，
通过所述捕获模式控制器，至少将与所述图像传感器捕获所述图像所处的所述捕获模式相关联的一个非线性变换传送到所述图像信号处理器；
通过所述图像信号处理器，将所述一个非线性变换应用于所捕获图像并且重新编码，以从所捕获图像产生非线性化图像，所述非线性化图像的代码值表征跨小于所述第一位深度的第二位深度非线性分布的所捕获图像的所述传感器信号，
提供多个反变换，所述多个反变换中的每个反变换与所述多个非线性变换中的不同的非线性变换相反，
通过所述反相器，从所述图像信号处理器接收所述非线性化图像，
从所述捕获模式控制器接收捕获模式规范，所述捕获模式规范指示所述图像传感器捕获所捕获图像所处的所述捕获模式；
基于所述捕获模式规范，从所述多个反变换中选择与用于产生所述非线性化图像的所述一个非线性变换相反的一个反变换；以及
将所述一个反变换应用于所述非线性化图像并且通过所述反相器重新编码，以从所述非线性化图像产生重新线性化图像，所述重新线性化图像的代码值表征跨大于所述第二位深度的第三位深度线性分布的所捕获图像的所述传感器信号。
2.如权利要求1所述的方法，其中，基于所捕获图像的以第一位深度编码的传感器信号的噪声特性来确定每个非线性变换。
3.如权利要求2所述的方法，其中，所述传感器信号的噪声特性包括所述传感器信号的代码值水平到所述代码值水平的噪声标准偏差的对应值的映射。
4.如权利要求1至3中任一项所述的方法，其中，每个非线性变换包括用于将所捕获图像的初始代码值映射到所述非线性化图像的经优化代码值的凹函数。
5.如权利要求1至3中任一项所述的方法，其中，每个非线性变换被配置为产生所述非线性化图像，使得与所捕获图像的平均噪声水平相比，所述非线性化图像的平均噪声水平是增加的。
6.如权利要求1至3中任一项所述的方法，其中，每个非线性变换将所述第二位深度的相对较大部分分配给所捕获图像的所述传感器信号的较小噪声范围，并且将所述第二位深度的相对较小部分分配给所捕获图像的所述传感器信号的较大噪声范围。
7.如权利要求1至3中任一项所述的方法，其中，每个非线性变换将所述第二位深度的相对较大部分分配给所述传感器信号的较低范围，并且将所述第二位深度的相对较小部分分配给所述传感器信号的较高范围。
8.如权利要求1至3中任一项所述的方法，其中，每个非线性变换被配置为根据传感器信号相关的轮廓可见性阈值来在所述非线性化图像中非线性地分布位深度分辨率。
9.如权利要求8所述的方法，其中，对于以所述第一位深度编码的所述传感器信号的每个数字值，所述传感器信号相关的轮廓可见性阈值定义在存在噪声的情况下能够检测的最小轮廓，所述噪声包括：生成所捕获图像的图像传感器的固有噪声；以及在捕获之后且在通过所述反相器从所述图像信号处理器接收所述非线性化图像的步骤之前，通过对所捕获图像进行预处理所引入的噪声。
10.如权利要求1至3中任一项所述的方法，进一步包括：在将所述一个反变换应用于所述非线性化图像并且通过所述反相器重新编码以从所述非线性化图像产生重新线性化图像的步骤之后并且以所述第三位深度：
将所述重新线性化图像的表示从参考场景的传感器信号值传递至参考显示器的亮度值；以及
对由所述参考显示器的亮度值表示的所述重新线性化图像进行编码，以随后由显示器解码或作为数字文件输出。
11.如权利要求1至3中任一项所述的方法，每个非线性变换被配置成将所捕获图像的所述传感器信号的初始代码值变换成所述非线性化图像的经优化代码值，其中，相比于所述初始代码值的第二范围，所述经优化代码值将更大的位深度分辨率分配给所述初始代码值的第一范围，所述第一范围由比所述第二范围更低的轮廓可见性阈值表征，通过所述反相器从所述图像信号处理器接收所述非线性化图像的步骤包括接收在所述经优化代码值中编码的所述非线性化图像。
12.如权利要求1至3中任一项所述的方法，包括：
在通过所述反相器从所述图像信号处理器接收所述非线性化图像的步骤中，通过所述反相器经由所述图像信号处理器的被限制为所述第二位深度的输出从所述图像信号处理器接收所述非线性化图像。
13.如权利要求1至3中任一项所述的方法，进一步包括：
在通过所述捕获模式控制器至少将与所述图像传感器捕获所述图像所处的所述捕获模式相关联的一个非线性变换传送到所述图像信号处理器的步骤中，向所述图像信号处理器传送分别与多个捕获模式相关联的多个非线性变换，以使所述图像信号处理器能够根据捕获所捕获图像所处的捕获模式来选择并应用所述非线性变换中特定的一个非线性变换；
从所述图像信号处理器接收指示捕获所捕获图像所处的所述捕获模式的元数据；以及
在将所述一个反变换应用于所述非线性化图像并且通过所述反相器重新编码以从所述非线性化图像产生重新线性化图像的步骤中，根据所述非线性变换中特定的一个非线性变换的反变换来变换所述图像。
14.一种包括电子相机的设备，其中所述电子相机具有图像传感器，并且所述设备被配置为执行用于处理由所述图像传感器捕获的图像的如权利要求1至13中任一项所述的方法。
15.一种非暂态存储器，所述非暂态存储器具有存储于其上的机器可读指令，其中所述机器可读指令在由处理器执行时，使得执行如权利要求1至13中任一项所述的方法。
CN201880053158.1A 2017-08-15 2018-08-14 位深度高效图像处理 Active CN110999301B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762545557P 2017-08-15 2017-08-15
EP17186275.8 2017-08-15
EP17186275 2017-08-15
US62/545,557 2017-08-15
PCT/US2018/046783 WO2019036522A1 (en) 2017-08-15 2018-08-14 EFFICIENT IMAGE PROCESSING IN BIT DEPTH

Publications (2)

Publication Number Publication Date
CN110999301A CN110999301A (zh) 2020-04-10
CN110999301B true CN110999301B (zh) 2023-03-28

Family

ID=63312466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880053158.1A Active CN110999301B (zh) 2017-08-15 2018-08-14 位深度高效图像处理

Country Status (3)

Country Link
US (1) US10798321B2 (zh)
EP (1) EP3669542B1 (zh)
CN (1) CN110999301B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703509A (zh) 2018-08-07 2021-04-23 布赖凯科技股份有限公司 用于图像增强的人工智能技术
US11943418B2 (en) * 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information
CN111510698A (zh) * 2020-04-23 2020-08-07 惠州Tcl移动通信有限公司 图像处理方法、装置、存储介质及移动终端
EP4154171A1 (en) * 2020-07-02 2023-03-29 Meta Platforms, Inc. Systems and methods of nonlinear image intensity transformation for denoising and low-precision image processing
WO2023015422A1 (zh) * 2021-08-09 2023-02-16 北京小米移动软件有限公司 一种图像的处理方法及其装置
CN115908156B (zh) * 2021-09-30 2024-08-13 想象技术有限公司 渲染3d场景的图像的方法、图形处理单元和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256134A (zh) * 2002-06-28 2011-11-23 杜比实验室认证公司 改进的视频压缩帧插值
CN105593935A (zh) * 2013-10-14 2016-05-18 高通股份有限公司 使用经缩放的高频带激励对音频信号进行带宽扩展的方法、设备、装置、计算机可读媒体
CN105723711A (zh) * 2013-11-12 2016-06-29 杜比实验室特许公司 高动态范围视频编码中的预抖动
WO2016164235A1 (en) * 2015-04-06 2016-10-13 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528339A (en) 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
US6549674B1 (en) * 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
US8180464B2 (en) 2002-04-18 2012-05-15 Cleveland State University Extended active disturbance rejection controller
US8045614B2 (en) * 2005-05-11 2011-10-25 Dolby Laboratories Licensing Corporation Quantization control for variable bit depth
US7860168B2 (en) * 2004-10-27 2010-12-28 Lsi Corporation Method and apparatus for improved increased bit-depth display from a transform decoder by retaining additional inverse transform bits
KR100682912B1 (ko) * 2005-01-05 2007-02-15 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
US20060239336A1 (en) 2005-04-21 2006-10-26 Baraniuk Richard G Method and Apparatus for Compressive Imaging Device
US7680312B2 (en) 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
CN101449586B (zh) * 2006-05-25 2012-08-29 汤姆逊许可证公司 用于加权编码的方法和系统
US7652788B2 (en) 2006-06-23 2010-01-26 Nokia Corporation Apparatus, method, mobile station and computer program product for noise estimation, modeling and filtering of a digital image
US8144214B2 (en) 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
KR101365441B1 (ko) * 2007-10-11 2014-02-19 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101365597B1 (ko) * 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
HUE024173T2 (en) * 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
US7632016B1 (en) 2008-07-22 2009-12-15 Carestream Health, Inc. Digital detector calibration with known exposure
CA2807545C (en) * 2011-02-22 2018-04-10 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
ES2974956T3 (es) * 2011-05-10 2024-07-02 Koninklijke Philips Nv Generación y procesamiento de señales de imágenes de alto rango dinámico
EP2752000B1 (en) * 2011-08-31 2021-03-17 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
CN103918274B (zh) * 2011-11-01 2015-08-26 杜比实验室特许公司 对具有扩展动态范围的图像的分层编码中的自适应伪轮廓预防
GB2506398B (en) 2012-09-28 2016-09-14 Frameblast Ltd Camera apparatus
CA2896381C (en) 2013-03-15 2017-01-10 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
JP2014219724A (ja) 2013-05-01 2014-11-20 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
US9584811B2 (en) 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
WO2016184532A1 (en) 2015-05-18 2016-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
WO2017003525A1 (en) 2015-06-30 2017-01-05 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
KR102511705B1 (ko) * 2015-11-16 2023-03-20 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
US10956766B2 (en) * 2016-05-13 2021-03-23 Vid Scale, Inc. Bit depth remapping based on viewing parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256134A (zh) * 2002-06-28 2011-11-23 杜比实验室认证公司 改进的视频压缩帧插值
CN105593935A (zh) * 2013-10-14 2016-05-18 高通股份有限公司 使用经缩放的高频带激励对音频信号进行带宽扩展的方法、设备、装置、计算机可读媒体
CN105723711A (zh) * 2013-11-12 2016-06-29 杜比实验室特许公司 高动态范围视频编码中的预抖动
WO2016164235A1 (en) * 2015-04-06 2016-10-13 Dolby Laboratories Licensing Corporation In-loop block-based image reshaping in high dynamic range video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
E. François等.AHG14: suggested draft text for HDR/WCG technology for SDR backward compatibility, display adaptation, and quality enhancement processing.《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 25th Meeting: Chengdu, CH, 14–21 October 2016》.2016,第1-17页. *
Konstantin A. Lukin等.High resolution and high dynamic range noise radar.《2011 MICROWAVES, RADAR AND REMOTE SENSING SYMPOSIUM，Kiev, Ukraine，25-27 August 2011》.2011,第247-250页. *
焦淑云.基于合成的高动态范围图像获取算法研究.《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》.2016,第1-70页. *

Also Published As

Publication number Publication date
EP3669542A1 (en) 2020-06-24
US20200228736A1 (en) 2020-07-16
US10798321B2 (en) 2020-10-06
CN110999301A (zh) 2020-04-10
EP3669542B1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
CN110999301B (zh) 位深度高效图像处理
JP7432496B2 (ja) 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法
US10992898B2 (en) Display method and display device
US10419689B2 (en) Mapping between linear luminance values and luma codes
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
JP5608245B2 (ja) イメージエンコーダ、イメージデコーダ、符号化されたイメージデータを提供するための方法、イメージデータを復号化するための方法およびコンピュータプログラム
KR20170113608A (ko) 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기
JP2018507619A (ja) カラー・ピクチャを符号化および復号する方法および装置
WO2019036522A1 (en) EFFICIENT IMAGE PROCESSING IN BIT DEPTH
CN112689137B (zh) 一种视频信号处理方法及装置
CN107409223B (zh) 视频编解码方法和视频编解码器
CN114467298B (zh) 一种图像信号转换处理方法、装置及终端设备
CN110999300B (zh) 用于图像/视频处理的单通道逆映射
JP7005268B2 (ja) 符号化装置、復号装置及びプログラム
JP6929174B2 (ja) 画像処理装置及び画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant