CN106464852B - 具有高动态范围传感器机制的视频处理系统及其操作方法 - Google Patents

具有高动态范围传感器机制的视频处理系统及其操作方法 Download PDF

Info

Publication number
CN106464852B
CN106464852B CN201580029345.2A CN201580029345A CN106464852B CN 106464852 B CN106464852 B CN 106464852B CN 201580029345 A CN201580029345 A CN 201580029345A CN 106464852 B CN106464852 B CN 106464852B
Authority
CN
China
Prior art keywords
pixel
hdr
stream
exposure pattern
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580029345.2A
Other languages
English (en)
Other versions
CN106464852A (zh
Inventor
池田优
艾利·塔巴塔拜
矢崎阳
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106464852A publication Critical patent/CN106464852A/zh
Application granted granted Critical
Publication of CN106464852B publication Critical patent/CN106464852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种视频处理系统及其操作方法，包括：具有长曝光样式和短曝光样式的高动态范围(HDR)光学传感器；耦合到HDR光学传感器的预测单元，其用于从长曝光样式和短曝光样式生成预测；耦合到预测单元的固定长度编码单元，其用于从预测编码增强的HDR比特流；以及HDR显示设备，其用于显示从增强的HDR比特流变换的所递送的数字数据流。

Description

具有高动态范围传感器机制的视频处理系统及其操作方法
技术领域
本发明总体上涉及视频处理系统，更具体来说涉及一种用于在视频处理系统中操作高动态范围图像传感器的系统。
背景技术
高动态范围显示器提供了优于现有技术显示器技术的显著改进。这些设备产生比传统技术高一个数量级的峰值亮度，以及逼近人类观察者的能力的动态范围。此外，这些设备提供了扩大的色域，并且可以减少LCD系统中的运动模糊。其结果是很容易与现有技术显示器技术相区别的引人注目的观看体验。
不幸的是，当前的技术并不原生地支持高动态范围内容，并且所得到的伪像在场景的情境中可能会分散人的注意力。标准动态范围传感器技术被设计用于当前的显示器技术，并且是建立在高动态范围内容无法被再现并且因此应当被丢弃的假设之上。
虽然直接扩展存储和分发系统以支持高动态范围内容是可能的，但是这种做法存在问题。在数字图像流的情况中，需要用于每一个像素的更大的比特长度。而对于模拟系统的情况，减少电噪声是绝对必要的。这就导致当前的产品提供中的严重的成本和性能折中。由于高动态范围数据流所导致的伪像，通过适应高动态范围内容可能会降低传统的标准动态范围显示器的图像质量。由于与输入流的动态范围增大相关联的尖锐对比度和运动伪像，并且由于针对高动态范围数据流的带宽需求增大而无法正确地处理附加的信息，因此这不太可能为消费者所接受。
因此，针对能够捕获、压缩和显示高动态范围视频内容以用于静止或运动视频处理的视频处理系统的需求仍然存在。鉴于在个人电子设备中对于视频和静止摄影机的使用的呈指数的增长，找到针对这些问题的答案愈发关键。鉴于不断增大的商业竞争压力连同市场中的不断增长的消费者预期以及有意义的产品区别的机会的不断减少，找到针对这些问题的答案是至关重要的。此外，针对降低成本、改进效率和性能以及满足竞争压力的需求也使得找到针对这些问题的答案的关键必要性更加紧迫。
长久以来一直在寻求针对这些问题的解决方案，但是现有的发展还没有教导或暗示任何解决方案，因此本领域技术人员长期以来还没有想到针对这些问题的解决方案。
发明内容
本发明提供一种操作视频处理系统的方法，包括：访问具有长曝光样式和短曝光样式的高动态范围(HDR)光学传感器；从长曝光样式和短曝光样式生成预测；从预测编码增强的HDR比特流；以及在HDR显示设备上显示从增强的HDR比特流变换的所递送的数字数据流。
本发明提供一种视频处理系统，包括：具有长曝光样式和短曝光样式的高动态范围(HDR)光学传感器；耦合到HDR光学传感器的预测单元，其用于从长曝光样式和短曝光样式生成预测；耦合到预测单元的固定长度编码单元，其用于从预测编码增强的HDR比特流；以及HDR显示设备，其用于显示从增强的HDR比特流变换的所递送的数字数据流。
本发明的某些实施例具有补充或替代前面所提到的步骤或元件的其他步骤或元件。通过阅读后面参照附图进行的详细描述，这些步骤或元件对于本领域技术人员将变得显而易见。
附图说明
图1是本发明的一实施例中的视频处理系统的架构图。
图2是图1的视频编码器的功能方块图。
图3是图2的视频编码器预测单元的功能方块图。
图4是本发明的一示例性实施例中的高动态范围(HDR)光学传感器的架构图。
图5是本发明的第一实施例中的视频处理系统的一示例性实施例。
图6是本发明的第二实施例中的视频处理系统的一示例性实施例。
图7是本发明的第三实施例中的视频处理系统的一示例性实施例。
图8是本发明的一实施例中的图1的视频解码器的功能方块图。
图9是图8的视频解码器预测单元的功能方块图。
图10是本发明的另一实施例中的视频处理系统的操作方法的流程图。
具体实施方式
后面的实施例将以充分的细节来描述，以使得本领域技术人员能够制作和使用本发明。应当理解的是，基于本公开内容，其他实施例将是显而易见的，并且在不背离本发明的范围的情况下可以作出系统、处理或机械方面的改变。
在后面的描述中给出了许多具体细节以便提供对于本发明的透彻理解。但是应当认识到，可以在没有这些具体细节的情况下实践本发明。为了避免模糊本发明，一些众所周知的电路、系统配置以及处理步骤将不会被详细公开。
示出了系统的实施例的附图是半示意性的而不是按比例绘制的，并且其中的一些规格特别是出于呈现清楚的目的并且在附图中被夸大示出。类似地，虽然附图中的视图为了易于描述起见通常示出了类似的指向，但是附图中的该描述在大多数情况下是任意的。通常来说，本发明可以被操作在任何指向中。
如果多个实施例被公开并且描述成具有一些共同的特征，则为了清楚起见并且为了易于对其进行说明、描述和理解，彼此类似和相同的特征通常将利用类似的附图标记来描述。出于说明的目的，这里所使用的术语“水平”被定义成具有非易失性存储器系统平行于集成电路的活跃表面的平面而不管其指向如何。术语“垂直”指的是垂直于如前所定义的水平的方向。例如“...上方”、“…下方”、“底部”、“顶部”、“侧面”(比如在“侧壁”中)、“更高”、“更低”、“上部”、“…之上”和“…之下”之类的术语是关于如图中所示的水平平面定义的。短语“直接处在…上”意味着在元件之间存在直接接触而没有中间元件。
这里所使用的术语“处理”包括如在形成所描述的结构时所需的材料或光致抗蚀剂的沉积、模制、曝光、显影、蚀刻、清洁以及/或者材料或光致抗蚀剂的移除。短语“电阻式存储器”被定义成可以在低电阻状态与高电阻状态之间编程的半导体结构。
现在参照图1，其中示出了本发明的一实施例中的视频处理系统100的架构图。视频处理系统100的架构图描绘出输入光学数据流102，比如通过透镜接收并且由透镜103聚焦在高动态范围(HDR)光学传感器104上的光图样。HDR光学传感器104可以监测输入光学数据流102，以便从输入光学数据流102的当前节段表征图像。HDR光学传感器104可以对输入光学数据流102作出反应以便通过检测由输入光学数据流102刺激的HDR光学传感器104中的一系列像素位置的关系来生成像素流105。
HDR光学传感器104可以把比特流和块指标(indicator)传递到视频编码器106(比如硬件数学阵列)，以便对输入光学数据流102进行编码和压缩。视频编码器106可以最小化增强的HDR比特流107的平均值的比特长度。视频编码器106可以支持比现有技术解决方案更高的带宽，这是因为视频编码器106可以使用来自像素流105的长曝光样式和短曝光样式两者来生成增强的HDR比特流107。
增强的HDR比特流107可以被耦合到传送器单元108，其可以把增强的HDR比特流107传输到输出设备110。输出设备110可以是硬件，比如有线或无线传送信道，或者是硬介质，比如紧致盘、数字视频盘或者非易失性存储器设备。应当理解的是，比如传送信道之类的输出设备110可以由例如摄影机的内部布线形成，所述摄影机包括用于观看由HDR光学传感器104捕获的对象的显示屏幕。
增强的HDR比特流107可以由接收器模块112通过输出设备110接收，其可以把输出设备110变换回到接收器比特流113，所述接收器比特流113可以等效于增强的HDR比特流107和相关联的x-y坐标信息。接收器模块112可以耦合到视频解码器114(比如硬件数学阵列)，以便传达增强的HDR比特流107。视频解码器114可以反转视频编码器106的操作而不会降低来自输入光学数据流102的任何质量。
视频解码器114可以耦合到HDR视频组装单元116，以便重建像素流105从而用于组装所递送的数字数据流118。从输入光学数据流102到所递送的数字数据流118的完全转变是在不损失信号质量的情况下实施的。所递送的数字数据流118可以被耦合到HDR显示设备120以用于显示视频图像，所述视频图像复制输入光学数据流102，并且具有比可以从标准动态范围系统获得的更好的对比度和更多的细节。
已经发现，视频处理系统100可以对输入光学数据流102的编码结构的分组尺寸进行参数化，以便最小化增强的HDR比特流107的平均比特长度。通过使用来自像素流105的长曝光样式和短曝光样式两者，视频处理系统100可以高效地压缩视频流。与标准移动成像架构(SMIA)编解码器(未示出)相比，视频处理系统100能够以7-10dB的信噪比改进来处理所递送的数字数据流118。
现在参照图2，其中示出了图1的视频编码器106的功能方块图。视频编码器106的功能方块图描绘出耦合到视频编码器预测单元202(比如硬件数学阵列)的像素流105，以便对像素流105进行编码和压缩。
视频编码器预测单元202可以分析像素流105以便确定像素流105的压缩应当如何进行。标准动态范围编解码器可以把10比特像素串压缩到8比特，视频编码器106则可以把像素流105从10比特每像素压缩到6比特，同时保持由图1的HDR光学传感器104所捕获的图像的完整细节。
先前像素缓冲器204可以耦合到视频编码器预测单元202以便提供重建像素值阵列203的多达五个先前的样本，从而用于生成正由视频编码器预测单元202评估的当前像素的残留指标206。残留指标206具有从像素流105的十比特内容保留的六比特内容。重建像素值阵列203可以通过先前像素缓冲器204与视频编码器预测单元202之间的并行总线提供。应当理解的是，先前像素缓冲器204可以是存储器结构、移位寄存器、组合逻辑阵列或者其组合。
模式判定单元208可以生成反映出正通过视频编码器预测单元202处理的当前像素的已编码值的模式数据210。模式数据210可以由固定长度编码单元212处理(包括组装具有六比特内容的残留指标(206))，以便形成增强的HDR比特流107。
重建单元214可以监测增强的HDR比特流107，以便重建正由视频编码器预测单元202评估的当前像素的值。像素流105被处理的速度允许有足够的时间发生编码和重建。在选择像素流105中的下一个像素时，表示先前处理的像素的重建像素216被加载到先前像素缓冲器204中，并且所述编码和重建处理再一次开始。
应当理解的是，随着像素流105被移位经过视频编码器预测单元202，对于像素流105的分析的定时被协调，以便保持残留指标206和重建像素216的完整性。虽然先前像素缓冲器204能够保持像素流105的至少其中五个先前值的值，但是其可以保持来自像素流105的多于五个值的值以用于未来的增强。
现在参照图3，其中示出了图2的视频编码器预测单元202的功能方块图。视频编码器预测单元202的功能方块图描绘出耦合到像素流105的像素分析单元302，其例如是比较器阵列、组合逻辑、数学单元或者其组合。
像素分析单元302可以具有用于从像素流105捕获样本的当前像素寄存器304。像素分析单元302可以耦合到先前像素缓冲器204以便接收重建像素值阵列203。像素分析单元302可以基于重建像素值阵列203的值选择用于生成预测306的适当项目。像素分析单元302可以生成预测选择总线308以用于控制预测选择器310(比如多路复用器或门控逻辑结构)。
先前像素缓冲器204可以生成用于耦合到预测选择器310的像素历史总线312。预测选择器310可以传递重建像素(N-1)314、重建像素(N-2)316、重建像素(N-4)318或者重建像素(N-2)316和重建像素(N-4)318的函数320。函数320可以是线性函数、指数函数、反函数等等。作为一个实例，函数320可以是诸如下面之类的平均值：
Function＝(RECN-2+RECN-4+1)/2 (等式1)
其中，RECN-2是重建像素(N-2)316，并且RECN-4是重建像素(N-4)318。
预测加法器322可以从像素流105中减去预测306，以便生成残留指标206。预测加法器322可以是缩放加法器(scaling adder)，其接受作为10比特符号的像素流105，并且从像素历史总线312中减去作为重建像素的10比特符号的预测306。
现在参照图4，其中示出了本发明的一示例性实施例中的高动态范围(HDR)光学传感器104的架构图。HDR光学传感器104可以具有多个像素传感器402，所述像素传感器具有长曝光样式404和短曝光样式406。长曝光样式404由具有下标0的颜色表示。短曝光样式406由具有下标1的颜色表示。
HDR光学传感器104可以由像素传感器402的各行408形成。当由图1的视频编码器106读取时，每一个像素传感器402可以包括十比特内容410。行中的长曝光样式404和短曝光样式406的序列仅仅是一个实例，并且可以是不同的序列。仅仅作为一个实例，原色可以由红色、绿色和蓝色表示。在不改变图1的视频处理系统100的发明结构的情况下可以实施其他组合，比如蓝绿色、品红色、黄色和黑色。
现在参照图5，其中示出了本发明的第一实施例501中的视频处理系统100的一实施例。视频处理系统100的第一实施例501描绘出第一类别502和第二类别504。在第一类别中，预测306可以基于采样到图3的当前像素寄存器304是第一颜色(比如绿色)被区别，而不管第一颜色是长曝光样式还是短曝光样式。如果当前像素寄存器304是第一颜色，则图3的预测选择器310可以传递与当前像素寄存器304具有相同颜色和相同曝光样式的图3的重建像素(N-2)316以作为预测306。在第二类别504中，当前像素寄存器304是第二颜色，比如红色或蓝色，而不管第二颜色是长曝光样式还是短曝光样式。如果当前像素寄存器304是第二颜色，则预测选择器310可以传递与当前像素寄存器304具有相同颜色和相同曝光样式的重建像素(N-4)318以作为预测306。
已经发现，视频处理系统100的第一实施例501可以向图1的HDR显示设备120提供更多细节，同时提供56.20dB的平均峰值信噪比(PSNR)。
现在参照图6，其中示出了本发明的第二实施例601中的视频处理系统100的一个实施例。视频处理系统100的第二实施例601描绘出第一预测策略602、第二预测策略604和第三预测策略606。
在第一预测策略602中，预测306可以基于图3的当前像素寄存器304是第一颜色(比如绿色)被区别，而不管第一颜色是长曝光样式还是短曝光样式。但是当前像素寄存器304与重建像素(N-1)314必须匹配长曝光样式或短曝光样式。如果当前像素寄存器304包含第一颜色的像素，则图3的像素分析单元302可以如下计算等式2以便确定预测306的值：
x＝(((Recn-4≤Recn-2)and(Recn-5≤Recn-1))or((Recn-4≥
Recn-2)and(Recn-5≥Recn-1))) (等式2)
其中，x是用于预测306的确定值，Recn-1是重建像素(N-1)314，Recn-2是重建像素(N-2)316，Recn-4是重建像素(N-4)318，并且Recn-5是重建像素(N-5)。如果x为真，则：
Prediction＝Recn-2 (等式3)
如果x不为真，则：
Prediction＝Function(Recn-2,Recn-4) (等式4)
在等式4中，Function可以是函数320，其例如是线性函数、指数函数、反函数等等。作为举例，函数320可以是与等式1中示出的相同的函数，或者是Recn-2与Recn-4之间的某种其他关系。
在第二预测策略604中，预测306可以基于当前像素寄存器304是第一颜色(比如绿色)被区别，而不管第一颜色是长曝光样式还是短曝光样式。但是当前像素寄存器304与重建像素(N-1)314必须不匹配长曝光样式或短曝光样式。如果当前像素寄存器304是第一颜色，则预测选择器310可以计算等式2，以便确定通过等式3和等式4所确定的预测306的值。
第三预测策略606可以在当前像素寄存器304是第二颜色(比如红色或蓝色)时确定预测306，而不管第二颜色是长曝光样式还是短曝光样式。如果当前像素寄存器304是第二颜色，则预测选择器310可以传递与当前像素寄存器304具有相同颜色和相同曝光样式的重建像素(N-4)318以作为预测306。
已经发现，视频处理系统100的第二实施例601可以向图1的HDR显示设备120提供更多细节，同时提供56.24dB的平均峰值信噪比(PSNR)。
现在参照图7，其中示出了本发明的第三实施例701中的视频处理系统100的一个示例性实施例。视频处理系统100的第三实施例701描绘出第一预测策略702、第二预测策略704和第三预测策略706。
在第一预测策略702中，图3的预测306可以基于图3的当前像素寄存器304是第一颜色(比如绿色)被区别，而不管第一颜色是长曝光样式还是短曝光样式。但是当前像素寄存器304与重建像素(N-1)314必须匹配长曝光样式或短曝光样式。如果当前像素寄存器304是第一颜色，则图3的像素分析单元302可以如下计算等式5以便确定预测306的值：
x＝(((Recn-4≤Recn-2)and(Recn-2≤Recn-1))or((Recn-4≥
Recn-2)and(Recn-2≥Recn-1))) (等式5)
其中，x是用于预测306的确定值，Recn-1是重建像素(N-1)314，Recn-2是重建像素(N-2)316，并且Recn-4是重建像素(N-4)318。如果x为真，则：
Prediction＝Recn-1 (等式6)
如果x不为真，则：
y＝(((Recn-4≤Recn-2)and(Recn-5≤Recn-1))or((Recn-4≥
Recn-2)and(Recn-5≥Recn-1))) (等式7)
其中，y是用于预测306的确定值，Recn-1是重建像素(N-1)314，Recn-2是重建像素(N-2)316，Recn-4是重建像素(N-4)318，并且Recn-5是重建像素(N-5)。如果y为真，则：
Prediction＝Recn-2 (等式3)
如果y不为真，则：
Prediction＝Function(Recn-2，Recn-4) (等式4)
在等式4中，Function可以是函数320，其例如是线性函数、指数函数、反函数等等。作为举例，函数320可以是与等式1中示出的相同的函数，或者是Recn-2与Recn-4之间的某种其他关系。
在第二预测策略704中，预测306可以基于当前像素寄存器304的内容是第一颜色(比如绿色)被区别，而不管第一颜色是长曝光样式还是短曝光样式。但是当前像素寄存器304的内容与重建像素(N-1)314必须不匹配长曝光样式或短曝光样式。如果当前像素寄存器304包含第一颜色的像素，则像素分析单元302可以如下计算等式2以便确定预测306的值：
x＝(((Recn-4≤Recn-2)and(Recn-5≤Recn-1))or((Recn-4≥
Recn-2)and(Recn-5≥Recn-1))) (等式2)
其中，x是用于预测306的确定值，Recn-1是重建像素(N-1)314，Recn-2是重建像素(N-2)316，Recn-4是重建像素(N-4)318，并且Recn-5是重建像素(N-5)。如果x为真，则：
Prediction＝Recn-2 (等式3)
如果x不为真，则：
Prediction＝Function(Recn-2，Recn-4) (等式4)
在等式4中，Function可以是函数320，其例如是线性函数、指数函数、反函数等等。作为举例，函数320可以是与等式1中示出的相同的函数，或者是Recn-2与Recn-4之间的某种其他关系。
第三预测策略706可以在当前像素寄存器304的内容是第二颜色(比如红色或蓝色)时确定预测306，而不管第二颜色是长曝光样式还是短曝光样式。如果当前像素寄存器304的内容是第二颜色，则预测选择器310可以传递与当前像素寄存器304具有相同颜色和相同曝光样式的重建像素(N-4)318以作为预测306。
已经发现，视频处理系统100的第三实施例701可以向图1的HDR显示设备120提供更多细节，同时提供54.06dB的平均峰值信噪比(PSNR)。
现在参照图8，其中示出了本发明的一个实施例中的图1的视频解码器114的功能方块图。视频解码器114的功能方块图描绘出耦合到像素解码单元802的接收器比特流113，所述像素解码单元802比如是组合逻辑阵列、查找表、存储器阵列等等。
像素解码单元802可以反转图1的视频编码器106的操作。接收器比特流113还可以包括由图1的接收器模块112提供的x-y坐标信息。像素解码单元802生成残留代码804，其被提供到重建单元806。
预测计算单元808可以接收所述接收器比特流113的x-y坐标部分以及可以提供重建像素的至少最近五个实例的重建像素值阵列810。预测计算单元808可以计算预测812，以用于引导重建单元806重建已解码像素流814。
已解码像素流814可以被耦合到先前像素缓冲器816，其例如是存储器结构、移位寄存器、组合逻辑阵列或者其组合。先前像素缓冲器816可以提供重建像素值的至少最近五个实例，其被预测计算单元808使用来计算预测812。
已经发现，视频解码器114可以提供完全匹配图1的增强的HDR比特流107的已解码像素流814。由视频处理系统100提供的压缩结果可以给出对于提供已解码像素流814所需的带宽的多达40％的减少。
现在参照图9，其中示出了图8的视频解码器预测单元808的功能方块图。视频解码器预测单元808的功能方块图描绘出耦合到接收器比特流113的像素分析单元902以及可以提供重建像素的至少最近五个实例的重建像素值阵列810。像素分析单元902可以基于重建像素值阵列810的值选择用于生成预测812的适当项目。像素分析单元902可以生成预测选择总线308以用于控制预测选择器310，比如多路复用器或门控逻辑结构。
先前像素缓冲器816可以生成用于耦合到预测选择器310的像素历史总线312。预测选择器310可以传递重建像素(N-1)314、重建像素(N-2)316、重建像素(N-4)318或者重建像素(N-2)316和重建像素(N-4)318的函数320。函数320可以是线性函数、指数函数、反函数等等。作为一个实例，函数320可以是诸如下面之类的平均值：
Function＝(RECN-2+RECN-4+1)/2 (等式1)
其中，RECN-2是重建像素(N-2)316，并且RECN-4是重建像素(N-4)318。
已经发现，视频解码器预测单元808可以完全相同地复原预测812，其被用来生成图1的增强的HDR比特流107。通过完全相同地复原预测812，图1的视频处理系统100可以减少传输增强的HDR比特流107所需的带宽，同时向图1的HDR显示设备120递送增强的视觉清晰度和细节。
现在参照图10，其中示出了本发明的另一实施例中的操作视频处理系统的方法1000的流程图。方法1000包括：在方块1002中访问具有长曝光样式和短曝光样式的高动态范围(HDR)光学传感器；在方块1004中从长曝光样式和短曝光样式生成预测；在方块1006中从预测编码增强的HDR比特流；以及在方块1008中在HDR显示设备上显示从增强的HDR比特流变换的所递送的数字数据流。
所得到的方法、处理、装置、设备、产品和/或系统直接明了、有成本效益、不复杂、高度通用、准确、灵敏并且有效，并且可以通过对已知的组件进行适配来实施，从而适合高效并且经济的制造、应用和利用。
本发明的另一个重要方面是其非常有价值地支持并且服务于降低成本、简化系统以及提高性能的历史趋势。
因此，本发明的这些和其他有价值的方面至少把现有技术推进到了下一个层级。
虽然前面结合特定的最佳模式描述了本发明，但是应当理解的是，本领域技术人员根据前面的描述将会想到许多替换方案、修改和变型。因此，本发明意图涵盖落在所包括的权利要求书的范围内的所有此类替换方案、修改和变型。至此在这里所阐述或者在附图中示出的所有内容应当按照说明性和非限制性的意义来解释。

Claims (24)

1.一种操作视频处理系统的方法，包括：
访问具有长曝光样式和短曝光样式的高动态范围HDR光学传感器，其中所述HDR光学传感器生成像素流，所述像素流中的每个像素的曝光样式为长曝光样式和短曝光样式之一；
针对像素流中的当前像素通过以下方式获得预测：
在用于从像素流捕获样本的当前像素寄存器是第一颜色的情况下，将具有与当前像素寄存器相同颜色和相同曝光样式的第一重建像素作为预测，或者根据第一重建像素以及具有与当前像素寄存器相同颜色和相同曝光样式且早于第一重建像素的第二重建像素的函数生成预测，和
在当前像素寄存器是不同于第一颜色的第二颜色的情况下，将第二重建像素作为预测；
从所述预测编码增强的HDR比特流；以及
在HDR显示设备上显示从所述增强的HDR比特流变换出的数字数据流。
2.如权利要求1所述的方法，还包括：把输入光学数据流聚焦在HDR光学传感器上。
3.如权利要求1所述的方法，还包括：通过接收增强的HDR比特流变换接收器比特流。
4.如权利要求1所述的方法，还包括：随着所述像素流被移位，协调对于所述像素流的分析的定时。
5.如权利要求1所述的方法，还包括：通过输出设备传输增强的HDR比特流。
6.一种操作视频处理系统的方法，包括：
访问具有多个像素传感器的高动态范围HDR光学传感器，其中所述HDR光学传感器生成像素流，所述像素流中的每个像素的曝光样式为长曝光样式和短曝光样式之一；
针对像素流中的当前像素通过以下方式获得预测：
在用于从像素流捕获样本的当前像素寄存器是第一颜色的情况下，将具有与当前像素寄存器相同颜色和相同曝光样式的第一重建像素作为预测，或者根据第一重建像素以及具有与当前像素寄存器相同颜色和相同曝光样式且早于第一重建像素的第二重建像素的函数生成预测，和
在当前像素寄存器是不同于第一颜色的第二颜色的情况下，将第二重建像素作为预测；
从所述预测编码增强的HDR比特流；以及
在HDR显示设备上显示从所述增强的HDR比特流变换出的数字数据流，其中包括复制输入光学数据流。
7.如权利要求6所述的方法，还包括：通过把输入光学数据流聚焦在HDR光学传感器上激活一行像素传感器。
8.如权利要求6所述的方法，还包括：通过接收增强的HDR比特流变换接收器比特流，其中包括组装具有六比特内容的残留指标以用于生成增强的HDR比特流。
9.如权利要求6所述的方法，还包括捕获当前像素寄存器以便选择预测。
10.如权利要求6所述的方法，还包括：通过输出设备传输增强的HDR比特流，其中包括通过有线传送信道、数字视频盘、紧致盘或者非易失性存储器设备进行传输。
11.一种操作视频处理系统的方法，包括：
访问具有长曝光样式和短曝光样式的高动态范围HDR光学传感器，其中所述HDR光学传感器生成像素流，所述像素流中的每个像素的曝光样式为长曝光样式和短曝光样式之一；
针对像素流中的当前像素通过以下方式获得预测：
在用于从像素流捕获样本的当前像素寄存器是第一颜色的情况下，将具有与当前像素寄存器相同颜色和相同曝光样式的第一重建像素作为预测，或者根据第一重建像素以及具有与当前像素寄存器相同颜色和相同曝光样式且早于第一重建像素的第二重建像素的函数生成预测，和
在当前像素寄存器是不同于第一颜色的第二颜色的情况下，将第二重建像素作为预测；
从所述预测编码增强的HDR比特流；以及
通过输出设备传输增强的HDR比特流。
12.一种操作视频处理系统的方法，包括：
接收增强的HDR比特流，其中所述增强的HDR比特流是从针对由HDR光学传感器生成的比特流中的当前像素通过如下方式获得的预测编码的：
在用于从像素流捕获样本的当前像素寄存器是第一颜色的情况下，将具有与当前像素寄存器相同颜色和相同曝光样式的第一重建像素作为预测，或者根据第一重建像素以及具有与当前像素寄存器相同颜色和相同曝光样式且早于第一重建像素的第二重建像素的函数生成预测，和
在当前像素寄存器是不同于第一颜色的第二颜色的情况下，将第二重建像素作为预测；以及
从所述增强的HDR比特流变换接收器比特流以用于在HDR显示设备上显示。
13.一种视频处理系统，包括：
具有长曝光样式和短曝光样式的高动态范围HDR光学传感器，其用于生成像素流，其中所述像素流中的每个像素的曝光样式为长曝光样式和短曝光样式之一；
耦合到所述HDR光学传感器的预测单元，其用于针对像素流中的当前像素通过以下方式获得预测：
在用于从像素流捕获样本的当前像素寄存器是第一颜色的情况下，将具有与当前像素寄存器相同颜色和相同曝光样式的第一重建像素作为预测，或者根据第一重建像素以及具有与当前像素寄存器相同颜色和相同曝光样式且早于第一重建像素的第二重建像素的函数生成预测，和
在当前像素寄存器是不同于第一颜色的第二颜色的情况下，将第二重建像素作为预测；
耦合到所述预测单元的固定长度编码单元，其用于从所述预测编码增强的HDR比特流；以及
HDR显示设备，其用于显示从所述增强的HDR比特流变换出的数字数据流。
14.如权利要求13所述的系统，还包括光学耦合到HDR光学传感器以用于把输入光学数据流聚焦在HDR光学传感器上的透镜。
15.如权利要求13所述的系统，还包括用于通过接收增强的HDR比特流变换接收器比特流的接收器单元。
16.如权利要求13所述的系统，还包括耦合到HDR光学传感器以用于从HDR光学传感器生成像素流的视频编码器。
17.如权利要求13所述的系统，还包括用于传输增强的HDR比特流的输出设备。
18.如权利要求13所述的系统，还包括：
HDR光学传感器中的多个像素传感器；
耦合到HDR光学传感器的像素分析单元，其包括当前像素寄存器；以及
耦合到像素分析单元的先前像素缓冲器。
19.如权利要求18所述的系统，还包括由聚焦在HDR光学传感器上的输入光学数据流激活的一行像素传感器。
20.如权利要求18所述的系统，还包括用于变换接收器比特流的接收器单元，其中包括所组装的具有六比特内容的残留指标以用于生成增强的HDR比特流。
21.如权利要求18所述的系统，还包括当前像素寄存器以用于选择所述预测。
22.如权利要求18所述的系统，还包括用于传输增强的HDR比特流的输出设备，其中包括有线传送信道、数字视频盘、紧致盘或者其上具有增强的HDR比特流的非易失性存储器设备。
23.一种视频处理系统，包括：
具有长曝光样式和短曝光样式的高动态范围HDR光学传感器，其用于生成像素流，其中所述像素流中的每个像素的曝光样式为长曝光样式和短曝光样式之一；
耦合到所述HDR光学传感器的预测单元，其用于针对像素流中的当前像素通过以下方式获得预测：
在用于从像素流捕获样本的当前像素寄存器是第一颜色的情况下，将具有与当前像素寄存器相同颜色和相同曝光样式的第一重建像素作为预测，或者根据第一重建像素以及具有与当前像素寄存器相同颜色和相同曝光样式且早于第一重建像素的第二重建像素的函数生成预测，和
在当前像素寄存器是不同于第一颜色的第二颜色的情况下，将第二重建像素作为预测；
耦合到所述预测单元的固定长度编码单元，其用于从所述预测编码增强的HDR比特流；以及
输出设备，其用于传输所述增强的HDR比特流。
24.一种视频处理系统，包括：
接收器单元，其用于接收增强的HDR比特流，并从所述增强的HDR比特流变换接收器比特流以用于在HDR显示设备上显示，其中所述增强的HDR比特流是从针对由HDR光学传感器生成的比特流中的当前像素通过如下方式获得的预测编码的：
在用于从像素流捕获样本的当前像素寄存器是第一颜色的情况下，将具有与当前像素寄存器相同颜色和相同曝光样式的第一重建像素作为预测，或者根据第一重建像素以及具有与当前像素寄存器相同颜色和相同曝光样式且早于第一重建像素的第二重建像素的函数生成预测，和
在当前像素寄存器是不同于第一颜色的第二颜色的情况下，将第二重建像素作为预测。
CN201580029345.2A 2014-06-30 2015-04-29 具有高动态范围传感器机制的视频处理系统及其操作方法 Active CN106464852B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/319,750 2014-06-30
US14/319,750 US10104388B2 (en) 2014-06-30 2014-06-30 Video processing system with high dynamic range sensor mechanism and method of operation thereof
PCT/US2015/028165 WO2016003533A1 (en) 2014-06-30 2015-04-29 Video processing system with high dynamic range sensor mechanism and method of operation thereof

Publications (2)

Publication Number Publication Date
CN106464852A CN106464852A (zh) 2017-02-22
CN106464852B true CN106464852B (zh) 2018-12-14

Family

ID=54932003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580029345.2A Active CN106464852B (zh) 2014-06-30 2015-04-29 具有高动态范围传感器机制的视频处理系统及其操作方法

Country Status (7)

Country Link
US (1) US10104388B2 (zh)
EP (1) EP3143765B1 (zh)
JP (1) JP6614417B2 (zh)
KR (1) KR101846115B1 (zh)
CN (1) CN106464852B (zh)
TW (1) TWI608731B (zh)
WO (1) WO2016003533A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
KR102412007B1 (ko) 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
KR102370881B1 (ko) 2017-07-21 2022-03-07 삼성전자주식회사 이미지 데이터의 속성에 기반하여 이미지를 압축할 수 있는 전자 장치 및 방법
CN108063902A (zh) * 2018-01-08 2018-05-22 信利光电股份有限公司 多摄像头的hdr拍摄方法、拍摄装置和移动终端及可读存储介质
CN108307122A (zh) * 2018-01-08 2018-07-20 信利光电股份有限公司 多摄像头的降噪拍摄方法、拍摄装置和移动终端及可读存储介质
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
CN111614909B (zh) * 2020-06-24 2021-12-14 成都国科微电子有限公司 一种自动曝光控制方法、设备及存储介质
US20230239429A1 (en) * 2022-01-25 2023-07-27 Mediatek Inc. Communication system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
CN103248901A (zh) * 2012-02-03 2013-08-14 精工爱普生株式会社 图像处理装置及使用该图像处理装置的电子设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3701522B2 (ja) * 1999-09-21 2005-09-28 シャープ株式会社 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US8335385B2 (en) 2008-01-21 2012-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Pixel block processing
EP2081155B1 (en) * 2008-01-21 2011-11-16 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
DE102010028746B4 (de) * 2010-05-07 2012-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und Verfahren zum Aufnehmen eines Bildes
US20130107956A1 (en) 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US8334911B2 (en) 2011-04-15 2012-12-18 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9066070B2 (en) 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
RU2616158C2 (ru) * 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9699429B2 (en) * 2012-03-27 2017-07-04 Sony Corporation Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
WO2013164915A1 (ja) 2012-05-02 2013-11-07 株式会社ニコン 撮像装置
US10178329B2 (en) * 2014-05-27 2019-01-08 Rambus Inc. Oversampled high dynamic-range image sensor
US9479695B2 (en) * 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
CN103248901A (zh) * 2012-02-03 2013-08-14 精工爱普生株式会社 图像处理装置及使用该图像处理装置的电子设备

Also Published As

Publication number Publication date
TW201613354A (en) 2016-04-01
KR20170002594A (ko) 2017-01-06
WO2016003533A1 (en) 2016-01-07
EP3143765A4 (en) 2017-12-06
EP3143765A1 (en) 2017-03-22
JP6614417B2 (ja) 2019-12-04
US20150382006A1 (en) 2015-12-31
CN106464852A (zh) 2017-02-22
KR101846115B1 (ko) 2018-04-05
JP2017521921A (ja) 2017-08-03
EP3143765B1 (en) 2020-09-02
TWI608731B (zh) 2017-12-11
US10104388B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
CN106464852B (zh) 具有高动态范围传感器机制的视频处理系统及其操作方法
US8315469B2 (en) Methods and apparatuses for encoding and decoding an image
Kim et al. Hierarchical prediction and context adaptive coding for lossless color image compression
CN104135629B (zh) 对图像进行编码的方法、装置及计算机可读存储介质
CN101352046A (zh) 图像编码/解码方法与装置
CN101690171B (zh) 摄像装置、集成电路及摄像方法
CN102572502B (zh) 一种用于视频质量评价的关键帧的选取方法
WO2008047865A1 (fr) Procédé, système et programme d'évaluation de qualité d'image
CN105210366B (zh) 图像处理装置和图像处理方法
CN109788290A (zh) 影像处理装置及利用帧内预测的无损影像压缩方法
JP2009194760A (ja) 画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラム
CN101873495B (zh) 场景转换检测装置以及影像记录装置
JP3769773B2 (ja) 動きベクトル検出装置および検出方法
JP2006332955A (ja) 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム
Kim et al. A lossless color image compression method based on a new reversible color transform
KR20210072093A (ko) 인터 예측에 관한 인코더, 디코더 및 해당 방법
CN100407795C (zh) 一种帧场自适应检测方法
US11094086B2 (en) Method and apparatus for coding image data
US20210337192A1 (en) Image processing method and associated encoder
JP2005045527A (ja) 静止画像の圧縮方法および映像信号の圧縮方法
CN107071481A (zh) 一种视频编码解码方法及装置
RU2579966C1 (ru) Способ сжатия изображений (варианты)
Phi Perceptually Optimized Plenoptic Data Representation and Coding
CN114697638A (zh) 视频信息生成方法、装置、电子设备和计算机可读介质
Wang et al. FPGA implementation of image compression using DPCM and FBAR

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant