CN115209060B - 高动态范围图像压缩方法、解压缩方法及图像传感器 - Google Patents

高动态范围图像压缩方法、解压缩方法及图像传感器 Download PDF

Info

Publication number
CN115209060B
CN115209060B CN202210831296.6A CN202210831296A CN115209060B CN 115209060 B CN115209060 B CN 115209060B CN 202210831296 A CN202210831296 A CN 202210831296A CN 115209060 B CN115209060 B CN 115209060B
Authority
CN
China
Prior art keywords
information
gain
bit
gain pixel
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210831296.6A
Other languages
English (en)
Other versions
CN115209060A (zh
Inventor
布拉姆·沃尔夫斯
贾恩·柏加兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Changguang Chenxin Microelectronics Co ltd
Hangzhou Changguang Chenxin Microelectronics Co ltd
Changguang Chenxin Belgium Co ltd
Original Assignee
Changchun Changguang Chenxin Microelectronics Co ltd
Hangzhou Changguang Chenxin Microelectronics Co ltd
Changguang Chenxin Belgium Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Changguang Chenxin Microelectronics Co ltd, Hangzhou Changguang Chenxin Microelectronics Co ltd, Changguang Chenxin Belgium Co ltd filed Critical Changchun Changguang Chenxin Microelectronics Co ltd
Priority to CN202210831296.6A priority Critical patent/CN115209060B/zh
Publication of CN115209060A publication Critical patent/CN115209060A/zh
Application granted granted Critical
Publication of CN115209060B publication Critical patent/CN115209060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明实施例中提供的高动态范围图像压缩方法，能够将高增益和低增益两种读出方式结合到一起，通过压缩算法在片上合成较之前已有的HDR相比更少的数据，所占资源更少但依旧可以实现HDR功能。本发明实施例中提供的高动态范围图像解压缩方法，可以在片外进行解压缩，再合成HDR最后的输出，能够在保证图像高动态范围的同时减少输出数据量，节省计算资源的占用。

Description

高动态范围图像压缩方法、解压缩方法及图像传感器
技术领域
本发明涉及图像处理领域，特别涉及一种高动态范围图像压缩方法、解压缩方法及图像传感器。
背景技术
高动态范围(High Dynamic Range HDR)图像传感器,能够探测到更宽光强范围内的场景信息，呈现更全面，细节更清晰的图像。
现有的CMOS图像传感器有高增益(High Gain)，低增益(Low Gain)两种像素输出电路，对于像素阵列而言，同时输出两种像素的读出信息会占用较多资源。
发明内容
有鉴于此，为了解决上述现有问题之一，本发明实施例中提供的高动态范围图像压缩方法、解压缩方法及图像传感器，能够在保证图像高动态范围的同时减少输出数据量，节省计算资源的占用。
第一方面，本发明提供一种高动态范围图像压缩方法，应用于图像传感器，包括：
在片内获取高增益像素信息和低增益像素信息；
基于增益比值和所述低增益像素信息确定第一信息；
基于所述高增益像素信息和所述第一信息确定差值信息；
在光强强度低于第一光强阈值时，将所述高增益像素信息作为压缩信息输出至片外；
当光强强度逐渐升高时，将所述高增益像素信息与所述差值信息以及一位符号位共同组成压缩信息；
当所述光强强度高于最后一个光强阈值时，将所述低增益像素信息作为压缩信息输出至片外。
作为一种可选的方案，所述方法还包括：
预先对光强阈值进行划分；
基于输出数据量，将像素进行压缩前的高增益与低增益像素信息输出位数分别记为A和B，压缩后的输出位数为X，其中，X<A+B，A、B、X均为正整数，在保证压缩数据不丢失信息的情况下，X数值越低，输出数据占用资源越少，像素的输出噪音包含散粒噪音和读出噪音两个部分，散粒噪音为输入光子数的平方根，随着光强增加，输出信号逐渐增加，散粒噪声也逐渐增多，散粒噪音所占位数逐渐增加；
在光强较低时，高增益像素信息可全部代表整个光子信息，输出所有A位高增益信息；
随着信号增加，高增益像素信息的散粒噪音所占的数据位数逐渐增加，高增益与第一信息的差值也逐渐增加，由高增益信号信息和差值信息加上一位符号位得到压缩信息，高增益部分的散粒噪音属于无用信息，对散粒噪音所占的位数进行舍弃；
当读出噪音相比散粒噪音低于预设阈值时，对应的光强可为第一阈值的光强，此时高增益像素信息为K1倍所述高增益像素信息的饱和值，K1为小于1的正数；
在光强低于第一阈值时，高增益像素信息携带的噪音低于低增益像素信息携带的噪音，高增益像素信息表示低光信息，压缩信息全部为高增益像素信息。
当光强高于第一阈值后，高增益像素的散粒噪音信息进行舍弃，将保留的所述高增益像素信息加上一位符号位，再加上所在光强下所述差值信息共同构成压缩信息进行输出；
散粒噪音的位数随着光强逐渐增加，高增益像素舍弃的位数逐渐增多，以此可确定多个分段区间的光强阈值；
最后一个阈值为Kn倍所述高增益像素信息的饱和值对应的光强，其中，Kn为小于1正数，光信号达到预设高度值时(根据像素不均一性，当所有像素接近饱和时的光强，一般Kn为70％-80％)，低增益像素信息包含全部光子散粒噪声信息，压缩信息包含全部低增益像素信息。
作为一种可选的方案，所述方法还包括：
当所述高增益像素信息为A bit,低增益像素信息为B bit，所述压缩信息为X bit时，当光强低于第一阈值时，压缩信息高A位为对应A bit高增益像素信息，其余低位为0；
当光强在第一阈值与最后一个阈值之间时，压缩信息高N位对应N bit高增益像素信息，低(X-1-N)位对应所述差值信息，第<X-N-1>位为符号位(最低位为第<0>位)，由差值信息的正负决定，差值为负时，符号位为1，差值为正时，符号位为0，其中N根据光强不同可能有一个或多个不同的值；
当光强大于最后一个阈值时，压缩信息低B位对应B bit低增益像素信息，其余高位补为1。
作为一种可选的方案，当所述高增益像素信息(HG)为10bit,低增益像素信息(LG)为10bit，所述压缩信息为12bit，N为7，K1为0.25，Kn为0.75时；
当HG<256时，HG的十位信息分别对应作为压缩信息的高十位信息，即out<11:2>＝HG<9:0>，out<1:0>＝0；
当256≤HG<768时，HG的高七位信息分别对应作为压缩信息的高七位信息，即out<11:5>＝HG<9:3>,HG与LG乘以增益比值(hdr_ratio)的差值信息分别对应作为芯片输出的差值信息，即out<3:0>＝(HG-LG*hdr_ratio)<3:0>,而输出的out<4>信息由HG与LG与增益比值的乘积的差值的正负决定，即当HG-LG*hdr_ratio<0时，out<4>＝1，当HG-LG*hdr_ratio≥0时，out<4>＝0；
当HG≥768时，LG的十位信息分别对应作为压缩输出的低十位信息，out<9:0>＝LG<9:0>，芯片输出的高两位信息都为1，out<11:10>＝3。
第二方面，本发明提供一种高动态范围图像解压缩方法，应用于图像传感器，包括：
在片外获取高动态范围图像对应的压缩信息；
基于如上述的压缩方法，对所述压缩信息进行解压缩操作。
作为一种可选的方案，所述方法还包括：
将低于K1倍压缩信息饱和值范围内的压缩信息作为高增益像素信息，低增益像素信息为0；
将大于Kn倍压缩信息饱和值时的压缩信息作为低增益像素信息，高增益像素信息为Kn倍所述高增益像素信息的饱和值；
在K1倍压缩信息饱和值与Kn倍压缩信息饱和值之间的一个或多个区间内，根据所述高增益像素信息与差值信息占比的不同，将对应的保留的高增益像素信息加上随机码信息作为高增益像素信息，低增益像素信息为所述第一信息除以增益比值，所述第一信息为高增益像素信息加上或减去压缩信息中的差值信息。
作为一种可选的方案，当所述高增益像素信息为Abit,低增益像素信息为B bit，所述压缩信息为X bit时；
当压缩信息低于K1倍所述X bit压缩信息饱和值时，高增益像素信息的A位信息对应压缩信息的高A位，低增益像素信息为0；
当压缩信息在K1倍所述X bit压缩信息饱和值与Kn倍所述X bit压缩信息饱和值之间时，高增益像素信息的高N位信息对应压缩信息的高N位，高增益像素信息的低(A-N)位信息由随机码产生。压缩信息的(X-N-1)位为差值信息，所述第一信息为高增益像素信息加上或减去差值信息，当第<X-N-1>位(最低位为第<0>位)为0时减，为1时加，所述低增益像素信息为所述第一信息除以增益比值；
当压缩信息大于Kn倍所述X bit压缩信息饱和值时，压缩信息的低B位信息对应作为B bit低增益像素信息。高增益像素信息为Kn倍所述高增益像素信息的饱和值。
作为一种可选的方案，当所述高增益像素信息(HG)为10bit,低增益像素信息(LG)为10bit，所述压缩信息为12bit，N为7，K1为0.25，Kn为0.75时；
当输出压缩信息(data)小于1024时,压缩信息的高十位信息分别对应作为HG的十位信息，即HG<9:0>＝out<11:2>,LG为0；
当1024≤data<3072时,芯片输出的高七位信息分别对应作为HG的高七位信息，HG的低三位由随机码产生，HG<9:0>＝out<11:5>*23+rand3bit,LG的信息为HG的信息加上或减去芯片输出的低四位信息再除以高低增益的比值，加或减操作由out<4>决定，out<4>为0则减，out<4>为1则加；
当data≥3072时，HG的值取0.75倍10bit信息饱和值，即HG＝768，压缩信息的低十位信息分别对应作为LG的十位信息，即LG<9:0>＝out<9:0>。
第三方面，本发明提供了一种图像传感器，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述述的方法。
第四方面，本发明提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述的方法。
本发明实施例中提供的高动态范围图像压缩方法，能够将高增益和低增益两种读出方式结合到一起，通过压缩算法在片上合成较之前已有的HDR相比更少的数据，所占资源更少但依旧可以实现HDR功能。本发明实施例中提供的高动态范围图像解压缩方法，可以在片外进行解压缩，再合成HDR最后的输出，能够在保证图像高动态范围的同时减少输出数据量，节省计算资源的占用。
附图说明
图1是现有技术中高低增益像素读出电路的响应输出值与光强的关系的示意图；
图2是本发明实施例中提供的高动态范围图像压缩方法的流程图；
图3是本发明实施例中提供的高动态范围图像解压缩方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，展示了高增益像素、低增益像素读出电路的响应输出值与光强的关系。由图可见，随着光强的增强，高增益像素输出会先于低增益像素输出达到饱和值。即光子增加，高增益像素读出电路会先达到满阱容量，即饱和。那么对于高增益像素输出，当光强超过达到饱和值对应的光强时，像素输出也不会变化，这时高增益像素就无法对应显示所处光强下像素输出变化值；对于低增益像素输出，当光强较小时，像素输出值相对高增益较小，而随着光强的增强，输出也呈线性增长，最后达到饱和。但在光强较弱的阶段，低增益像素读出电路有较大的噪声，从而限制了动态范围。
为了解决上述问题之一，本发明实施例中提供的高动态范围图像压缩方法、解压缩方法、装置及图像传感器，能够在保证图像高动态范围的同时减少输出数据量，节省计算资源的占用。
结合图2所示，本发明实施例中提供一种高动态范围图像压缩方法，应用于图像传感器，包括：
S201、在片内获取高增益像素信息和低增益像素信息。
根据光子散粒噪声特性，对于高增益像素信息、低增益像素信息的读出，光照射到像素上，像素接收光子并转化为电子，电子通过电容转换为电压，读出电路能够将电信号进行处理后输出。高增益像素读出为电子转换为电信号能力较强的读出电路，低增益像素读出为电子转换为电信号能力较弱的读出电路，高增益像素信息和低增益像素信息分别使用高增益像素电路、低增益像素电路进行获取。
S202、基于增益比值和所述低增益像素信息确定第一信息。
增益比值为高增益像素读出的增益与低增益像素读出的增益的比值，增益比值表示为hdr_ratio，第一信息可以采用低增益像素信息和增益比值的乘积确定。
S203、基于所述高增益像素信息和所述第一信息确定差值信息。
差值信息可以利用高增益像素信息和第一信息之间作差获得，即差值信息表示为HG-LG*hdr_ratio，HG表示高增益像素信息，LG表示低增益像素信息。
S204、在光强强度低于第一光强阈值时，将所述高增益像素信息作为压缩信息输出至片外。
在光强极低时，HG信息包含了全部的光子散粒噪声信息，此时可以用高增益像素信息HG来表示最后的压缩输出，例如所述高增益像素信息和所述低增益像素信息均为10bit的输出信息，采用二进制编码表示，差值信息为4bit，压缩信息为12bit，则压缩信息的高十位是HG信息，低两位补0，即out<11:2>＝HG<9:0>，out<1:0>＝0。标识位可以位于压缩信息的高两位，二进制编码如00。
S205、当光强强度逐渐升高时，将所述高增益像素信息与所述差值信息以及一位符号位共同组成压缩信息。
随着光强的增强，LG所携带的光子散粒噪声信息增多，压缩算法将差值信息HG-LG*hdr_ratio与高增益像素信息HG整合在一起，这个差值信息HG-LG*hdr_ratio与高增益像素信息HG的占比受光散粒噪声特性的影响。例如在高增益像素信息和所述低增益像素信息均为10bit的输出信息，采用二进制编码表示，差值信息为4bit，压缩信息为12bit时，HG的高七位信息分别对应作为压缩信息的高七位信息，即out<11:5>＝HG<9:3>。加上一位符号位out<4>，符号位由差值信息的正负决定，即当HG-LG*hdr_ratio<0时，out<4>＝1，当HG-LG*hdr_ratio≥0时，out<4>＝0。再加上差值信息即out<3:0>＝(HG-LG*hdr_ratio)<3:0>。标识位可以位于压缩信息的高两位，二进制编码如01或10。
S206、当所述光强强度高于最后一个光强阈值时，将所述低增益像素信息作为压缩信息输出至片外。
在光强极高时，HG数据已经接近饱和，低增益像素信息LG信息包含了全部的光子散粒噪声信息，压缩输出全部为LG*hdr_ratio信息。例如在高增益像素信息和所述低增益像素信息均为10bit的输出信息，采用二进制编码表示，差值信息为4bit，压缩信息为12bit时，LG的十位信息分别对应作为压缩输出的低十位信息，即out<9:0>＝LG<9:0>，芯片输出的高两位信息都为1，即out<11:10>＝3。标识位可以位于压缩信息的高两位，二进制编码如11。
需要说明的是，对于S204、S205和S206可以根据光强强度灵活选择，对于顺序不做限定。
本发明实施例中还提供一种高动态范围图像压缩方法，所述方法还包括：
预先对光强阈值进行划分；
基于输出数据量，将像素进行压缩前的高增益与低增益像素信息输出位数分别记为A和B，压缩后的输出位数为X，其中，X<A+B，A、B、X均为正整数，在保证压缩数据不丢失信息的情况下，X数值越低，输出数据占用资源越少，像素的输出噪音包含散粒噪音和读出噪音两个部分，散粒噪音为输入光子数的平方根，随着光强增加，输出信号逐渐增加，散粒噪声也逐渐增多，散粒噪音所占位数逐渐增加；
在光强较低时，高增益像素信息可全部代表整个光子信息，输出所有A位高增益信息。随着信号增加，高增益像素信息的散粒噪音所占的数据位数逐渐增加，高增益与第一信息(低增益像素信息与增益比值的乘积)的差值也逐渐增加，由高增益信号信息和差值信息加上一位符号位得到压缩信息，高增益部分的散粒噪音属于无用信息，对散粒噪音所占的位数进行舍弃。当读出噪音相比散粒噪音低于预设阈值时，即读出噪音占比低于1/2LSB，LSB是模数转换电路能分辨的最小精度，可以理解为预设阈值为可以忽略的值，对应的光强可为第一阈值的光强，此时高增益像素信息为K1倍所述高增益像素信息的饱和值，K1为小于1的正数。在光强低于第一阈值时，高增益像素信息携带的噪音低于低增益像素信息携带的噪音，高增益像素信息表示低光信息，压缩信息全部为高增益像素信息。
当光强高于第一阈值后，高增益像素的散粒噪音信息进行舍弃，然后将保留的所述高增益像素信息加上一位符号位，再加上所在光强下所述差值信息共同构成了压缩信息进行输出；因为散粒噪音的位数随着光强逐渐增加，所以高增益像素舍弃的位数逐渐增多，进而可确定多个分段区间的光强阈值。
最后一个阈值为Kn倍所述高增益像素信息的饱和值对应的光强，其中，Kn为小于1正数，可以理解为光信号极高时，即根据像素不均一性，当所有像素接近饱和时的光强，一般Kn为70％-80％，低增益像素信息包含全部光子散粒噪声信息，压缩信息包含全部低增益像素信息。
本发明实施例中再提供一种高动态范围图像压缩方法，所述方法还包括：
当所述高增益像素信息为A bit,低增益像素信息为B bit，所述压缩信息为X bit时，当光强低于第一阈值时，压缩信息高A位为对应A bit高增益像素信息，其余低位为0；
当光强在第一阈值与最后一个阈值之间时，压缩信息高N位对应N bit高增益像素信息，低(X-1-N)位对应所述差值信息，第<X-N-1>位为符号位(最低位为第<0>位)，由差值信息的正负决定，差值为负时，符号位为1，差值为正时，符号位为0，其中N根据光强不同可能有一个或多个不同的值；
当光强大于最后一个阈值时，压缩信息低B位对应B bit低增益像素信息，其余高位补为1。
为了方便对本发明实施例中提供一种高动态范围图像压缩方法进行理解，以所述高增益像素信息(HG)为10bit,低增益像素信息(LG)为10bit，所述压缩信息为12bit，N为7，K1为0.25，Kn为0.75为例时，下面举例加以说明：
当HG<256时，HG的十位信息分别对应作为压缩信息的高十位信息，即out<11:2>＝HG<9:0>，out<1:0>＝0。
当256≤HG<768时，HG的高七位信息分别对应作为压缩信息的高七位信息，即out<11:5>＝HG<9:3>,HG与LG乘以增益比值(hdr_ratio)的差值信息分别对应作为芯片输出的差值信息，即out<3:0>＝(HG-LG*hdr_ratio)<3:0>,而输出的out<4>信息由HG与LG与增益比值的乘积的差值的正负决定，即当HG-LG*hdr_ratio<0时，out<4>＝1，当HG-LG*hdr_ratio≥0时，out<4>＝0。
当HG≥768时，LG的十位信息分别对应作为压缩输出的低十位信息，out<9:0>＝LG<9:0>，芯片输出的高两位信息都为1，out<11:10>＝3。
本发明实施例中提供的高动态范围图像压缩方法，能够将高增益和低增益两种读出方式结合到一起，通过压缩算法在片上合成较之前已有的HDR相比更少的数据，所占资源更少但依旧可以实现HDR功能，再在片外进行解压缩，再合成HDR最后的输出。
结合图3所示，相应地，与压缩方法对应，本发明实施例中提供一种高动态范围图像解压缩方法，应用于图像传感器，包括：
S301、在片外获取高动态范围图像对应的压缩信息；
S302、基于如上述的压缩方法，对所述压缩信息进行解压缩操作。
在一些实施例中，所述方法还包括：
基于对前期信号压缩算法，将所述低于K1倍压缩信息饱和值范围内的压缩信息作为高增益像素信息，低增益像素信息为0；所述大于Kn倍压缩信息饱和值时的压缩信息作为低增益像素信息，高增益像素信息为Kn倍所述高增益像素信息的饱和值；在所述K1倍压缩信息饱和值与Kn倍压缩信息饱和值之间的一个或多个区间内，根据所述高增益像素信息与差值信息占比的不同，将对应的保留的高增益像素信息加上随机码信息作为高增益像素信息，低增益像素信息为所述第一信息除以增益比值，所述第一信息为高增益像素信息加上或减去压缩信息中的差值信息。
在一些实施例中，当所述高增益像素信息为A bit,低增益像素信息为B bit，所述压缩信息为X bit时。当压缩信息低于K1倍所述X bit压缩信息饱和值时，高增益像素信息的A位信息对应压缩信息的高A位，低增益像素信息为0；当压缩信息在K1倍所述X bit压缩信息饱和值与Kn倍所述X bit压缩信息饱和值之间时，高增益像素信息的高N位信息对应压缩信息的高N位，高增益像素信息的低(A-N)位信息由随机码产生。压缩信息的(X-N-1)位为差值信息，所述第一信息为高增益像素信息加上或减去差值信息，当第<X-N-1>位(最低位为第<0>位)为0时减，为1时加，所述低增益像素信息为所述第一信息除以增益比值；当压缩信息大于Kn倍所述X bit压缩信息饱和值时，压缩信息的低B位信息对应作为B bit低增益像素信息。高增益像素信息为Kn倍所述高增益像素信息的饱和值。
为了方便理解，对应压缩方法中的举例进行解压缩操作，本发明实施例中提供一种高动态范围图像解压缩方法，包括：
当所述高增益像素信息(HG)为10bit,低增益像素信息(LG)为10bit，所述压缩信息为12bit，N为7，K1为0.25，Kn为0.75时。
当输出压缩信息(data)小于1024时,压缩信息的高十位信息分别对应作为HG的十位信息，即HG<9:0>＝out<11:2>,LG为0，即LG＝0。
当1024≤data<3072时,芯片输出的高七位信息分别对应作为HG的高七位信息，HG的低三位由随机码产生，即HG<9:0>＝out<11:5>*23+rand 3bit,LG的信息为HG的信息加上或减去芯片输出的低四位信息再除以高低增益的比值，这个加或减由out<4>决定，out<4>为0则减，out<4>为1则加。
当data≥3072时，HG的值取0.75倍10bit信息饱和值，即HG＝768，压缩信息的低十位信息分别对应作为LG的十位信息，即LG<9:0>＝out<9:0>。
本发明实施例中提供的高动态范围图像解压缩方法，能够将高增益和低增益两种读出方式结合到一起，通过压缩算法在片上合成较之前已有的HDR相比更少的数据，所占资源更少但依旧可以实现HDR功能，再在片外进行解压缩，再合成HDR最后的输出，能够在保证图像高动态范围的同时减少输出数据量，节省资源。
本发明实施例中还提供了一种图像传感器，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述高动态范围图像压缩方法或高动态范围图像解压缩方法。
本发明公开实施例中还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时上述的高动态范围图像压缩方法或高动态范围图像解压缩方法。
本发明公开实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明公开操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明公开不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明公开的保护范围。因此，虽然通过以上实施例对本发明公开进行了较为详细的说明，但是本发明公开不限于以上实施例，在不脱离本发明公开构思的情况下，还可以包括更多其他等效实施例，而本发明公开的范围由所附的权利要求范围决定。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述的高动态范围图像压缩方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述的高动态范围图像解压缩方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明公开保护范围之内。

Claims (9)

1.一种高动态范围图像压缩方法，应用于图像传感器，其特征在于，包括：
在片内获取高增益像素信息和低增益像素信息；根据光子散粒噪声特性，对于高增益像素信息、低增益像素信息的读出，光照射到像素上，像素接收光子并转化为电子，电子通过电容转换为电压，读出电路能够将电信号进行处理后输出；高增益像素读出为电子转换为电信号能力较强的读出电路，低增益像素读出为电子转换为电信号能力较弱的读出电路，高增益像素信息和低增益像素信息分别使用高增益像素电路、低增益像素电路进行获取；
基于增益比值和所述低增益像素信息确定第一信息；增益比值为高增益像素读出的增益与低增益像素读出的增益的比值，增益比值表示为hdr_ratio，第一信息采用低增益像素信息和增益比值的乘积确定；
基于所述高增益像素信息和所述第一信息确定差值信息；
在光强强度低于第一光强阈值时，将所述高增益像素信息作为压缩信息输出至片外；
当光强强度逐渐升高时，将所述高增益像素信息与所述差值信息以及一位符号位共同组成压缩信息；
当所述光强强度高于最后一个光强阈值时，将所述低增益像素信息作为压缩信息输出至片外；
所述方法还包括：
当所述高增益像素信息为A bit,低增益像素信息为B bit，所述压缩信息为X bit时，当光强低于第一阈值时，压缩信息高A位为对应A bit高增益像素信息，其余低位为0；
当光强在第一阈值与最后一个阈值之间时，压缩信息高N位对应N bit高增益像素信息，低（X-1-N）位对应所述差值信息，第<X-N-1>位为符号位，最低位为第<0>位，由差值信息的正负决定，差值为负时，符号位为1，差值为正时，符号位为0，其中N根据光强不同可能有一个或多个不同的值；
当光强大于最后一个阈值时，压缩信息低B位对应B bit低增益像素信息，其余高位补为1。
2.根据权利要求1所述的高动态范围图像压缩方法，其特征在于，所述方法还包括：
预先对光强阈值进行划分；
基于输出数据量，将像素进行压缩前的高增益与低增益像素信息输出位数分别记为A和B，压缩后的输出位数为X，其中，X<A+B，A、B、X均为正整数，在保证压缩数据不丢失信息的情况下，X数值越低，输出数据占用资源越少，像素的输出噪音包含散粒噪音和读出噪音两个部分，散粒噪音为输入光子数的平方根，随着光强增加，输出信号逐渐增加，散粒噪声也逐渐增多，散粒噪音所占位数逐渐增加；
在光强较低时，高增益像素信息可全部代表整个光子信息，输出所有A位高增益信息；
随着信号增加，高增益像素信息的散粒噪音所占的数据位数逐渐增加，高增益与第一信息的差值也逐渐增加，由高增益信号信息和差值信息加上一位符号位得到压缩信息，高增益部分的散粒噪音属于无用信息，对散粒噪音所占的位数进行舍弃；
当读出噪音相比散粒噪音低于预设阈值时，对应的光强可为第一阈值的光强，此时高增益像素信息为K1倍所述高增益像素信息的饱和值，K1为小于1的正数；
在光强低于第一阈值时，高增益像素信息携带的噪音低于低增益像素信息携带的噪音，高增益像素信息表示低光信息，压缩信息全部为高增益像素信息；
当光强高于第一阈值后，高增益像素的散粒噪音信息进行舍弃，将保留的所述高增益像素信息加上一位符号位，再加上所在光强下所述差值信息共同构成压缩信息进行输出；
散粒噪音的位数随着光强逐渐增加，高增益像素舍弃的位数逐渐增多，以此可确定多个分段区间的光强阈值；
最后一个阈值为Kn倍所述高增益像素信息的饱和值对应的光强，其中，Kn为小于1正数，光信号达到预设高度值时，低增益像素信息包含全部光子散粒噪声信息，压缩信息包含全部低增益像素信息。
3.根据权利要求2所述的高动态范围图像压缩方法，其特征在于，当所述高增益像素信息（HG）为10 bit,低增益像素信息（LG）为10 bit，所述压缩信息为12 bit，N为7，K1为0.25，Kn为0.75时；
当HG<256时，HG的十位信息分别对应作为压缩信息的高十位信息，即out<11:2>=HG<9:0>，out<1:0>=0；
当256≤HG<768时，HG的高七位信息分别对应作为压缩信息的高七位信息，即out<11:5>=HG<9:3>，HG与LG乘以增益比值(hdr_ratio)的差值信息分别对应作为芯片输出的差值信息，即out<3:0>=(HG-LG*hdr_ratio)<3:0>,而输出的out<4>信息由HG与LG与增益比值的乘积的差值的正负决定，即当HG-LG*hdr_ratio<0时，out<4>=1，当HG-LG*hdr_ratio≥0时，out<4>=0；
当HG≥768时，LG的十位信息分别对应作为压缩输出的低十位信息，out<9:0>=LG<9:0>，芯片输出的高两位信息都为1，out<11:10>= 3。
4.一种高动态范围图像解压缩方法，应用于图像传感器，其特征在于，包括：
在片外获取高动态范围图像对应的压缩信息；
基于如权利要求1至3任一项所述的压缩方法，对所述压缩信息进行解压缩操作。
5.根据权利要求4所述的高动态范围图像解压缩方法，其特征在于，所述方法还包括：
将低于K1倍压缩信息饱和值范围内的压缩信息作为高增益像素信息，低增益像素信息为0；
将大于Kn倍压缩信息饱和值时的压缩信息作为低增益像素信息，高增益像素信息为Kn倍所述高增益像素信息的饱和值；
在K1倍压缩信息饱和值与Kn倍压缩信息饱和值之间的一个或多个区间内，根据所述高增益像素信息与差值信息占比的不同，将对应的保留的高增益像素信息加上随机码信息作为高增益像素信息，低增益像素信息为所述第一信息除以增益比值，所述第一信息为高增益像素信息加上或减去压缩信息中的差值信息。
6.根据权利要求5所述的高动态范围图像解压缩方法，其特征在于，当所述高增益像素信息为A bit,低增益像素信息为B bit，所述压缩信息为X bit时；
当压缩信息低于K1倍所述X bit压缩信息饱和值时，高增益像素信息的A位信息对应压缩信息的高A位，低增益像素信息为0；
当压缩信息在K1倍所述X bit压缩信息饱和值与Kn倍所述X bit压缩信息饱和值之间时，高增益像素信息的高N位信息对应压缩信息的高N位，高增益像素信息的低（A-N）位信息由随机码产生，压缩信息的（X-N-1）位为差值信息，所述第一信息为高增益像素信息加上或减去差值信息，当第<X-N-1>位（最低位为第<0>位）为0时减，为1时加，所述低增益像素信息为所述第一信息除以增益比值；
当压缩信息大于Kn倍所述X bit压缩信息饱和值时，压缩信息的低B位信息对应作为Bbit低增益像素信息；高增益像素信息为Kn倍所述高增益像素信息的饱和值。
7.根据权利要求6所述的高动态范围图像解压缩方法，其特征在于，当所述高增益像素信息（HG）为10 bit,低增益像素信息（LG）为10 bit，所述压缩信息为12 bit，N为7，K1为0.25，Kn为0.75时；
当输出压缩信息（data）小于1024时,压缩信息的高十位信息分别对应作为HG的十位信息，即HG<9:0>= out<11:2>,LG为0；
当1024≤data<3072时，芯片输出的高七位信息分别对应作为HG的高七位信息，HG的低三位由随机码产生，HG<9:0>= out<11:5>*23+rand 3 bit, LG 的信息为HG的信息加上或减去芯片输出的低四位信息再除以高低增益的比值，加或减操作由out<4>决定，out<4>为0则减，out<4>为1则加；
当data≥3072时，HG的值取0.75倍10 bit信息饱和值，即HG=768，压缩信息的低十位信息分别对应作为LG的十位信息，即LG<9:0>= out<9:0>。
8.一种图像传感器，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至3或4至7中任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3或4至7中任一所述的方法。
CN202210831296.6A 2022-07-15 2022-07-15 高动态范围图像压缩方法、解压缩方法及图像传感器 Active CN115209060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210831296.6A CN115209060B (zh) 2022-07-15 2022-07-15 高动态范围图像压缩方法、解压缩方法及图像传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210831296.6A CN115209060B (zh) 2022-07-15 2022-07-15 高动态范围图像压缩方法、解压缩方法及图像传感器

Publications (2)

Publication Number Publication Date
CN115209060A CN115209060A (zh) 2022-10-18
CN115209060B true CN115209060B (zh) 2024-04-05

Family

ID=83582079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210831296.6A Active CN115209060B (zh) 2022-07-15 2022-07-15 高动态范围图像压缩方法、解压缩方法及图像传感器

Country Status (1)

Country Link
CN (1) CN115209060B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982424A (en) * 1997-04-23 1999-11-09 Scientific-Atlanta, Inc. CCD camera with adaptive compression control mechanism
JP2012227955A (ja) * 2012-07-12 2012-11-15 Hitachi Kokusai Electric Inc 画像符号化装置
JP2017130799A (ja) * 2016-01-20 2017-07-27 東芝デベロップメントエンジニアリング株式会社 画像処理装置
CN109600618A (zh) * 2018-12-19 2019-04-09 上海数迹智能科技有限公司 视频压缩方法、解压缩方法、装置、终端和介质
CN114331852A (zh) * 2020-09-29 2022-04-12 北京小米移动软件有限公司 高动态范围图像的处理方法、装置及存储介质
CN114549335A (zh) * 2021-11-09 2022-05-27 南京理工大学 一种扩展单像素成像的动态范围的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010055229A1 (de) * 2010-12-20 2012-06-21 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildaufzeichnungssystem und Verfahren zum Kalibrieren, Komprimieren und Dekomprimieren von Bildsignalwerten
US9635212B2 (en) * 2014-05-30 2017-04-25 Apple Inc. Dynamic compression ratio selection
US9967472B2 (en) * 2016-05-17 2018-05-08 JVC Kenwood Corporation Image sensor combining high dynamic range techniques

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982424A (en) * 1997-04-23 1999-11-09 Scientific-Atlanta, Inc. CCD camera with adaptive compression control mechanism
JP2012227955A (ja) * 2012-07-12 2012-11-15 Hitachi Kokusai Electric Inc 画像符号化装置
JP2017130799A (ja) * 2016-01-20 2017-07-27 東芝デベロップメントエンジニアリング株式会社 画像処理装置
CN109600618A (zh) * 2018-12-19 2019-04-09 上海数迹智能科技有限公司 视频压缩方法、解压缩方法、装置、终端和介质
CN114331852A (zh) * 2020-09-29 2022-04-12 北京小米移动软件有限公司 高动态范围图像的处理方法、装置及存储介质
CN114549335A (zh) * 2021-11-09 2022-05-27 南京理工大学 一种扩展单像素成像的动态范围的方法

Also Published As

Publication number Publication date
CN115209060A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
US9247162B2 (en) System and method for digital correlated double sampling in an image sensor
CN109600618B (zh) 视频压缩方法、解压缩方法、装置、终端和介质
US20190364230A1 (en) Method of processing data for dynamic vision sensor, dynamic vision sensor performing the same and electronic device including the same
US20190028658A1 (en) Data digitization and display for an imaging system
US8588540B2 (en) Arithmetic encoding apparatus executing normalization and control method
US20120224788A1 (en) Merging Multiple Exposed Images in Transform Domain
US4654877A (en) Data compression system
JP2010166520A (ja) 画像符号化・復号化装置
JP2017005456A (ja) 画像圧縮方法、画像圧縮装置及び撮像装置
CN115209060B (zh) 高动态范围图像压缩方法、解压缩方法及图像传感器
US8698666B1 (en) Random estimation analog-to-digital converter
US8462377B2 (en) Method, apparatus, and system for reduction of line processing memory size used in image processing
Kim CMOS image sensor for wide dynamic range feature extraction in machine vision
US9019139B2 (en) Analog to digital converter with built-in data compression based on shot noise of image sensor
CN110324537B (zh) 图像感测装置及其操作方法
JP6352625B2 (ja) 画像データ圧縮回路、画像データ圧縮方法及び撮像装置
TW522723B (en) Circuit and method for pixel rearrangement in a digital pixel sensor readout
JP2008245121A (ja) 撮像装置、およびイメージセンサデバイス
CN107592297B (zh) 一种移动侦测的方法、系统及终端设备
Chen et al. Digital integration sensor
US20150062378A1 (en) Solid-state imaging device and information processing circuit
Park et al. An event detection module with a low-power, small-size CMOS image sensor with reference scaling
CN111713099A (zh) 图像校正方法和图像校正装置以及电子设备
JP2010109607A (ja) 固体撮像装置
JP2924416B2 (ja) 高能率符号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Antwerp

Applicant after: Changguang Chenxin Belgium Co.,Ltd.

Applicant after: Changchun Changguang Chenxin Microelectronics Co.,Ltd.

Applicant after: Hangzhou Changguang Chenxin Microelectronics Co.,Ltd.

Address before: Antwerp

Applicant before: Changguang Chenxin Belgium Co.,Ltd.

Applicant before: Changchun Changguangchenxin Optoelectronics Technology Co.,Ltd.

Applicant before: Hangzhou Changguang Chenxin Microelectronics Co.,Ltd.

GR01 Patent grant
GR01 Patent grant