CN108076343A - 细化p-相位数据的编码的方法和系统 - Google Patents

细化p-相位数据的编码的方法和系统 Download PDF

Info

Publication number
CN108076343A
CN108076343A CN201711067505.XA CN201711067505A CN108076343A CN 108076343 A CN108076343 A CN 108076343A CN 201711067505 A CN201711067505 A CN 201711067505A CN 108076343 A CN108076343 A CN 108076343A
Authority
CN
China
Prior art keywords
phase data
refinement
bit
bits
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711067505.XA
Other languages
English (en)
Other versions
CN108076343B (zh
Inventor
池田优
A·塔巴塔贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108076343A publication Critical patent/CN108076343A/zh
Application granted granted Critical
Publication of CN108076343B publication Critical patent/CN108076343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种细化P‑相位数据的编码的方法和系统。一种细化P‑相位数据的编码的方法和系统包括接收输入P‑相位数据块。P‑相位数据块可以包括P‑相位数据值的多个熵编码位和多个未编码位。基于可用于编码多个未编码位的细化位的计数和输入P‑相位数据块的块大小，确定用于接收到的输入P‑相位数据块的细化步长大小。还确定用于接收到的输入P‑相位数据块的细化起始位置。基于所确定的细化步长大小和所确定的细化起始位置，通过在输入P‑相位数据块的一个或多个位平面中分配细化位来细化P‑相位数据值的多个未编码位。

Description

细化P-相位数据的编码的方法和系统
对相关申请的交叉引用/通过引用结合
无。
技术领域
本公开的各种实施例涉及数据压缩。更具体而言，本公开的各种实施例涉及细化用于P-相位数据压缩的编码的方法和系统。
背景技术
图像传感器广泛地用于成像设备中，所述成像设备诸如数字相机、医疗成像装备、热成像设备、雷达、声纳和其它电子设备。包括图像传感器的这些成像设备可以与数字相关双采样(Correlated Double Sampling，CDS)处理相关联。CDS处理可以包括噪声分量和真实信号分量。噪声分量可以被称为P-相位数据。真实信号分量可以被称为D-相位数据。P-相位数据和D-相位数据之间的差可以用于去除与要通过使用成像设备的图像传感器捕获的图像或图像序列相关联的噪声，诸如内部热噪声(或kTC噪声)。可能期望细化P-相位数据以便高效地压缩由图像传感器捕获的图像或图像序列。
在细化编码的某些场景中，诸如在图像中或用于P-相位数据的均匀数据模式的情况下，细化位可以在每个编码块中彼此更靠近地放置。每个编码块中的类似数据模式可以为块编码提供类似的编码位。固定的细化顺序可以在每个编码块中提供类似的编码位和未编码位，这可能不是所期望的。因此，编码位和未编码位可以在几何上为原始图像和解码图像提供类似的误差模式。
通过将所描述的系统与本公开的一些方面进行比较，如在本申请的其余部分中所阐述的并且参考附图，常规和传统方法的其它限制和缺点对本领域技术人员将变得显而易见。
发明内容
如在权利要求中更全面阐述的，提供了一种细化P-相位数据的编码的方法和系统，所述方法和系统基本上如附图中的至少一个所示和/或如结合附图中的至少一个所描述的那样。
本公开的这些和其它特征及优点可以根据结合附图阅读本公开的以下详细描述来理解，在附图中，相同的标号贯穿全文指代相同的部分。
附图说明
图1A和1B共同描绘根据本公开的实施例的图示通过成像设备细化P-相位数据的编码的网络环境的框图；
图2是根据本公开的实施例的细化P-相位数据的编码的成像设备的框图；
图3图示根据本公开的实施例的对成像设备中的P-相位数据压缩细化P-相位数据的编码的示例性场景；以及
图4了描绘根据本公开的实施例的图示细化成像设备中的P-相位数据的编码的示例性操作的流程图。
具体实施方式
以下描述的实现可以在所公开的细化P-相位数据的编码的方法和系统中找到。本公开的示例性方面可以包括细化成像设备中的P-相位数据的编码的方法。成像设备可以包括被配置成接收输入P-相位数据块的一个或多个电路，该输入P-相位数据块可以包括P-相位数据值的多个熵编码位和多个未编码位。多个熵编码位可以通过差分脉冲编码调制(DPCM)或脉冲编码调制(PCM)进行编码。一个或多个电路还可以被配置成基于可用于编码多个未编码位的细化位的计数和输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化步长大小。根据实施例，所确定的细化步长大小可以对应于间隙大小，该间隙大小要在可用于编码一个或多个位平面中的每个位平面中的多个未编码位的细化位当中维持。可以维持间隙大小，以便在一个或多个位平面中的每个位平面中等量分配细化位用于细化。一个或多个电路还可以被配置成基于输入P-相位数据块的颜色值的采样组的数量和输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化起始位置。根据实施例，所确定的细化起始位置可以对应于从其开始要为细化对P-相位数据值的多个未编码位中的细化位的分配进行初始化的位置。该一个或多个电路可以被配置成基于所确定的细化步长大小和所确定的细化起始位置，通过在输入P-相位数据块的一个或多个位平面中分配细化位来细化P-相位数据值的多个未编码位。
根据实施例，该一个或多个电路还可以被配置成检测可用于编码多个未编码位的细化位的计数是否大于或等于一个或多个位平面中的第一位平面的位平面大小。在细化位的计数大于或等于第一位平面的位平面大小的情况下，可以通过分配与第一位平面中的位平面大小相等数量的细化位来执行多个未编码位的第一位平面的细化。根据实施例，该方法可以包括，在细化位的计数小于第一位平面的位平面大小的情况下，通过在第一位平面中逐位分配细化位来细化多个未编码位的第一位平面。可以从所确定的细化起始位置开始在第一位平面中分配细化位，并且可以基于所确定的细化步长大小在第一位平面中等间隔排列细化位。可以在每个一位(one-bit)细化或一位平面(one-bit-plane)细化之后更新细化位的计数。
根据实施例，接收到的输入P-相位数据块可以是在对多个P-相位数据块进行熵编码之后从图像传感器接收到的多个P-相位数据块中的一个。可以计算P-相位数据值和D-相位数据值之间的差。P-相位数据值可以对应于表示图像帧中的多个像素的多个P-相位数据块。P-相位数据值可以对应于表示图像帧中的多个像素的参考电压的数字像素复位值。D-相位数据值可以对应于表示图像帧中的多个像素的信号电压的依赖于光的数字像素值。
根据实施例，该方法可以包括基于计算出的P-相位数据值和D-相位数据值之间的差将图像帧变换为细化图像帧。根据实施例，通过从图像帧中去除噪声，可以利用计算出的差来获得细化图像帧。根据实施例，图像传感器可以包括多个光感测元件，使得计算出的差可以导致从多个光感测元件中的每一个的对应D-相位数据值中消除P-相位数据值。这可以用于生成细化图像帧中的相关双采样(CDS)校正的数字输出像素值。
图1A和1B共同描绘根据本公开的实施例的图示通过成像设备细化P-相位数据的编码的网络环境的框图。参考图1A，其中示出示例性网络环境100。网络环境100可以包括成像设备102、图像传感器104、服务器106、通信网络108和一个或多个用户，诸如用户110。成像设备102可以经由通信网络108通信地耦合到服务器106。用户110可以与成像设备102相关联。
成像设备102可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置成与服务器106通信。成像设备102可以包括图像传感器104。成像设备102可以被配置成细化P-相位数据的编码。成像设备102的示例可以包括但不限于相机、摄像机、图像和/或视频处理设备、运动捕获系统、智能电话和/或投影仪。
图像传感器104可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置成检测和传送构成视频的图像或图像帧序列的信息。图像传感器104可以将光波的可变衰减转换成信号或传送信息的电流的小脉冲串(burst)。图像帧序列可以由成像设备102处理。这可以用于压缩表示当前图像帧中的多个像素的多个块的P-相位数据值。图像传感器104的示例可以包括但不限于半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器、数字像素系统(DPS)传感器和/或数字传感器，诸如平板检测器。
服务器106可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置成与成像设备102通信。服务器106还可以包括可以被配置成用于编码P-相位数据的一个或多个电路系统。服务器106的示例可以包括但不限于web服务器、数据库服务器、文件服务器、应用服务器或其组合。
通信网络108可以包括成像设备102和服务器106可以通过其彼此通信的介质。通信网络108可以是有线通信网络或无线通信网络。通信网络108的示例可以包括但不限于，无线保真(Wi-Fi)网络、局域网(LAN)、无线个人局域网(WPAN)、无线局域网(WLAN)、无线广域网(WWAN)、云网络、长期演进(LTE)网络、普通老式电话服务(POTS)、城域网(MAN)和/或互联网。示例性网络环境100中的各种设备可以被配置成根据各种有线和无线通信协议连接到通信网络108。这些有线和无线通信协议的示例可以包括但不限于传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE 802.11、IEEE 802.16、长期演进(LTE)、光保真(Li-Fi)、物联网(IOT)通信协议和/或其它蜂窝通信协议或蓝牙(BT)通信协议，包括其变体。
在操作中，成像设备102可以被配置成接收输入以捕获视频的图像或图像帧序列。图像帧序列可以至少包括先前图像帧和当前图像帧。成像设备102还可以被配置成从图像传感器104接收多块P-相位数据值。接收到的多个块可以表示捕获的图像帧序列的当前图像帧中的多个像素。包括图像传感器104的成像设备102可以与数字相关双采样(CDS)处理相关联。CDS处理可以包括噪声分量和真实信号分量。噪声分量可以被称为P-相位数据，诸如接收到的多块P-相位数据值。接收到的多块P-相位数据值可以对应于表示图像帧中的多个像素的参考电压的数字像素复位值。真实信号分量可以被称为D-相位数据。D-相位数据值也可以在捕获视频的图像帧或图像帧序列时从图像传感器104同时接收到。D-相位数据值可以对应于表示图像帧中的多个像素的信号电压的依赖于光的数字像素值。
接收到的多块P-相位数据值和对应的D-相位数据值之间的差可以用于去除与要由成像设备102的图像传感器104捕获的图像或图像帧序列相关联的噪声，诸如kTC噪声。在捕获图像或图像帧序列时，以及在成像设备102的卷帘快门类型的快门机制的情况下，接收到的多块P-相位数据值可能不会在用于CDS的D-相位数据值之前被存储。但是，在成像设备102的全局快门类型的快门机制的情况下，CDS处理需要噪声分量(诸如接收到的多块P-相位数据值)在D-相位数据值之前被存储。在这种情况下，P-相位数据(诸如接收到的多块P-相位数据值)可能需要被压缩以节省成像设备102的存储器或存储空间。全局快门可以指同时控制到成像设备102的所有光敏元件的入射光的快门模式。因此，在使用全局快门的成像设备102中，每个像素可以在同一时刻同时曝光。
成像设备102可以被配置成接收输入P-相位数据块。P-相位数据块可以包括P-相位数据值的多个熵编码位和多个未编码位。多个熵编码位可以通过DPCM或PCM进行编码。成像设备102可以被配置成基于可用于编码多个未编码位的细化位的计数和接收到的输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化步长大小。所确定的细化步长大小可以对应于间隙大小，该间隙大小要在可用于编码一个或多个位平面中的每个位平面中的多个未编码位的细化位当中维持，以便在一个或多个位平面中的每个位平面中等量分配细化位用于细化。细化步长大小的确定在例如图2中详细说明。
成像设备102还可以被配置成基于接收到的输入P-相位数据块的颜色值的采样组的数量和接收到的输入P相位块的块大小来确定用于接收到的输入P-相位数据块的细化起始位置。所确定的细化起始位置可以对应于从其开始要为了细化而对P-相位数据值的多个未编码位中的细化位的分配进行初始化的位置。细化起始位置的确定在例如图2中详细说明。成像设备102还可以被配置成通过在接收到的输入P-相位数据块的一个或多个位平面中分配细化位来细化P-相位数据值的多个未编码位。可以基于所确定的细化步长和所确定的细化起始位置来细化P-相位数据值的多个未编码位。
成像设备102可以被配置成检测可用于编码多个未编码位的细化位的计数是否大于或等于一个或多个位平面中的第一位平面的位平面大小。可以通过分配与第一位平面中的位平面大小相等数量的细化位来细化多个未编码位的第一位平面。在细化位的计数大于或等于第一位平面的位平面大小的情况下，可以执行该细化。
根据实施例，成像设备102还可以包括通过在第一位平面中逐位分配细化位来细化多个未编码位的第一位平面。在细化位的计数小于第一位平面的位平面大小的情况下，可以执行该细化。细化位可以从所确定的细化起始位置开始在第一位平面中分配。细化位可以基于所确定的细化步长大小在第一位平面中等间隔排列。根据实施例，可以在每个一位细化或一位平面细化之后更新细化位的计数。根据实施例，输入P-相位数据块可以是在多个P-相位数据块的熵编码之后从图像传感器104接收到的多个P相位数据块中的一个。
参考图1B，其中示出作为图像传感器104的部件的光感测元件104A。根据实施例，包括在成像设备102中的图像传感器104可以包括多个光感测元件，诸如光感测元件104A。光感测元件104A可以包括光电二极管114和多个晶体管116。光电二极管114可以被配置成生成指示撞击在光电二极管114上的光的强度水平的输出信号。多个晶体管116可以被配置成控制多个光感测元件的复位、电荷转移和行选择操作。
根据实施例，成像设备102可以被配置成计算P-相位数据值和D-相位数据值之间的差。P-相位数据值可以对应于表示图像帧中的多个像素的多个P-相位数据块。成像设备102还可以被配置成基于计算出的P-相位数据值和D-相位数据值之间的差将图像帧变换为细化图像帧。根据实施例，计算出的差可以用于从图像帧中去除噪声以获得细化图像帧。
计算出的差可以导致从多个光感测元件中的每一个的对应D-相位数据值中消除P-相位数据值。这可以生成细化图像帧中的相关双采样(CDS)校正的数字输出像素值。根据实施例，从图像传感器104接收到的P-相位数据值可以在处理D-相位数据值之前被处理，以使得能够在成像设备102的存储器单元(未示出)中将接收到的P-相位数据值作为生成的压缩P-相位数据值存储。
根据本公开的实施例，成像设备102可以被配置成经由通信网络108将输入P-相位数据块传输到服务器106。P-相位数据块可以包括P-相位数据值的多个熵编码位和多个未编码位。服务器106可以被配置成处理从成像设备102接收到的接收到的输入P-相位数据块，以确定用于接收到的输入P-相位数据块的细化步长大小。这可以基于可用于编码多个未编码位的细化位的计数和输入P-相位数据块的块大小。服务器106还可以被配置成基于输入P-相位数据块的颜色值的采样组的数量和输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化起始位置。根据所确定的细化步长大小和所确定的细化起始位置，服务器106可以被配置成通过在P-相位数据块的一个或多个位平面中分配细化位来细化输入P-相位值的多个未编码位。服务器106还可以被配置成经由通信网络108将细化的多个未编码位传输到成像设备102。
图2是根据本公开的实施例的细化P-相位数据的编码的成像设备的框图。图2结合图1A和图1B的元件进行说明。参考图2，其中示出成像设备102，其可以包括处理电路系统部分102A和入射光控制部分102B。处理电路系统部分102A可以包括被配置成细化P-相位数据的编码的一个或多个电路。该一个或多个电路可以包括处理器202、存储器204、用户接口(UI)206、步长大小估计器208、起始位置估计器210、细化单元212、一个或多个输入/输出(I/O)单元(诸如(I/O)单元214)和网络接口216。通信网络108(图1A)被示为与网络接口216相关联。处理电路系统部分102A还可以包括图像变换器218、由成像器控制器222控制的成像器220和图像传感器，诸如图像传感器104。入射光控制部分102B可以包括由透镜控制器226和透镜驱动器228控制的多个透镜224。多个透镜224可以包括光圈224A。入射光控制部分102B中还示出快门230。
参考图2，一个或多个电路(诸如处理器202、存储器204、UI206、步长大小估计器208、启动位置估计器210、细化单元212、I/O单元214、网络接口216和图像变换器218)可以彼此直接或间接耦合。步长大小估计器208和起始位置估计器210的输出与处理器202结合可以提供给细化单元212。此外，细化单元212的输出可以提供给图像变换器218。图像变换器218的输出可以提供给I/O单元214。网络接口216可以被配置成经由通信网络108与示例性服务器(诸如服务器106)通信。
根据实施例，成像器220可以通信地耦合到图像传感器，诸如图像传感器104。多个透镜224可以与透镜控制器226和透镜驱动器228连接。多个透镜224可以由透镜控制器226结合处理器202来控制。根据实施例，在不偏离本公开的范围的情况下，成像设备102的处理电路系统部分102A可以在示例性服务器(诸如服务器106)中实现。
处理器202可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置成执行存储在存储器204中的指令集。处理器202还可以被配置成细化P-相位数据的编码。处理器202可以接收输入P-相位数据块。P-相位数据块可以包括P-相位数据值的多个熵编码位和多个未编码位。接收到的输入P-相位数据块可以是在对多个P-相位数据块熵编码之后从一个或多个感测设备(诸如图像传感器104)接收到的多个P-相位数据块中的一个。处理器202可以基于本领域已知的许多电子控制单元技术来实现。处理器202的示例可以是精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其它处理器。
存储器204可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成存储机器代码和/或指令集，具有可由处理器202执行的至少一个代码部分。存储器204可以存储接收到的输入P-相位数据块。存储器204还可以被配置成存储由成像设备102捕获的一个或多个图像和视频。存储器204还可以操作以存储成像设备102的操作系统和相关联的应用。存储器204的实现的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、闪存和/或安全数字(SD)卡。
UI 206可以包括可以在成像设备102的I/O单元214上呈现的合适的接口。UI 206还可以被配置成呈现由成像设备102生成的细化图像帧。
步长大小估计器208可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成确定用于接收到的输入P-相位数据块的细化步长大小。步长大小估计器208可以被实现为成像设备102中的协处理器或专用电路系统。步长大小估计器208和处理器202可以被实现为集成处理器或作为执行步长大小估计器208和处理器202的功能的处理器集群。步长大小估计器208可以被实现为存储在存储器204中的当由处理器202执行时可以执行成像设备102的功能和操作的指令集。
起始位置估计器210可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成确定用于接收到的输入P-相位数据块的细化起始位置。起始位置估计器210可以被实现为成像设备102中的单独的处理器或电路系统。起始位置估计器210和处理器202可以被实现为集成处理器或者作为执行起始位置估计器210和处理器202的功能的处理器集群。起始位置估计器210可以被实现为存储在存储器204中的当由处理器202执行时可以执行成像设备102的功能和操作的指令集。
细化单元212可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成通过在接收到的输入P-相位数据块的一个或多个位平面中分配细化位来细化P-相位数据值的多个未编码位。细化单元212可以被实现为成像设备102中的单独的处理器或电路系统。细化单元212和处理器202可以被实现为集成处理器或执行细化单元212和处理器202的功能的处理器集群。细化单元212可以被实现为存储在存储器204中的当由处理器202执行时可以执行成像设备102的功能和操作的指令集。
I/O单元214可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置成控制细化图像和/或细化的多个未编码位在显示屏上的呈现。显示屏可以通过若干已知的技术来实现，所述技术诸如但不限于，液晶显示(LCD)显示器、发光二极管(LED)显示器和/或有机LED(OLED)显示器技术。I/O单元214可以包括可以被配置成与处理器202通信的各种输入设备和输出设备。输入设备或输入机构的示例可以包括但不限于，快门按钮、成像设备102(例如相机)上的记录按钮、成像设备102的UI 206上的软件按钮、触摸屏、麦克风、运动和/或手势传感器和/或光传感器。输出设备的示例可以包括但不限于，显示屏、投影仪屏幕和/或扬声器。
网络接口216可以包括合适的逻辑、电路系统、接口和/或代码，这些逻辑、电路系统、接口和/或代码可以被配置成经由通信网络108(如图1A所示)与一个或多个云资源(诸如服务器106(如图1A所示))通信。网络接口216可以实现已知的技术以支持成像设备102与通信网络108的有线通信或无线通信。网络接口216的部件可以包括但不限于，天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、订户识别模块(SIM)卡和/或本地缓冲器。
图像变换器218可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成通过从图像帧中去除噪声来将图像帧变换为细化图像帧。图像变换器218可以被实现为成像设备102中的协处理器或专用电路系统。图像变换器218和处理器202可以被实现为集成处理器或执行图像变换器218和处理器202的功能的处理器集群。可替代地，图像变换器218可以被实现为存储在存储器204中的当由处理器202执行时可以执行成像设备102的功能和操作的指令集。
成像器220可以包括合适的系统电路和/或接口，这些系统电路和/或接口可以被配置成在没有任何失真的情况下将图像从模拟光信号变换为一系列数字像素。成像器220的实现的示例可以包括但不限于，电荷耦合器件(CCD)成像器或互补金属氧化物半导体(CMOS)成像器或其组合。
成像器控制器222可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成基于从处理器202接收到的指令来控制成像器220的朝向或方向。成像器控制器222可以通过利用本领域技术人员众所周知的各种技术来实现。
多个透镜224可以对应于与相机主体(诸如成像设备102的主体)以及捕获图像帧的机构结合使用的光学透镜或透镜组件。图像帧可以被捕获在摄影胶片上或者能够以化学或电子方式存储图像的其它介质上。
透镜控制器226可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成控制多个透镜224的各种特性，诸如变焦、聚焦或光阑。透镜控制器226可以集成作为成像设备102的一部分，或者可以是与处理器202结合的独立单元。在独立单元的情况下，透镜控制器226和/或多个透镜224例如可以被实现为成像设备102的可移除附件。透镜控制器226可以通过使用本领域技术人员众所周知的若干技术来实现。
透镜驱动器228可以包括合适的逻辑、电路系统和/或接口，这些逻辑、电路系统和/或接口可以被配置成基于从透镜控制器226接收到的指令来执行变焦和聚焦控制以及光圈控制。透镜驱动器228可以通过使用本领域技术人员众所周知的若干技术来实现。
快门230可以允许光通过确定的时间段或特定的时间段，从而将成像器220暴露于光以便捕获多个图像帧。快门可以是全局快门类型。在全局快门类型的快门230的情况下，P-相位数据(诸如多个P-相位数据值块)在接收D-相位数据值之前被接收。因此，在全局快门类型的快门230的情况下，CDS处理需要噪声分量(诸如接收到的多个P-相位数据值块)在D-相位数据值之前被存储。
在操作中，处理器202可以被配置成接收输入以捕获视频的图像或图像帧序列。图像帧序列可以通过使用图像传感器104通过多个透镜224来捕获。多个透镜224可以由透镜控制器226和透镜驱动器228结合处理器202来控制。多个透镜224可以基于从用户110接收到的输入信号来控制。可以由用户110经由选择在UI206上呈现的图形按钮或在成像设备102处可用的硬件按钮的按钮按压事件来提供输入信号。可替代地，成像设备102可以检索预存储在存储器204中的图像和/或图像帧序列。
处理器202可以被配置成从图像传感器104接收多块P-相位数据值。处理器202可以被配置成处理输入P-相位数据块。P-相位数据块可以包括P-相位数据值的多个熵编码位和多个未编码位。输入P-相位数据块可以是在对多个P-相位数据块熵编码之后从一个或多个感测设备(诸如图像传感器104(如图1A所示))接收到的多个P-相位数据块中的一个。根据实施例，多个熵编码位可以通过DPCM或PCM进行编码。存储器204与处理器202结合可以存储接收到的输入P-相位数据块。
步长大小估计器208可以被配置成从存储器204接收输入P-相位数据块。步长大小估计器208可以基于可用于编码多个未编码位的细化位的计数和接收到的输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化步长大小。所确定的细化步长大小可以对应于间隙大小，该间隙大小要在可用于编码一个或多个位平面中的每个位平面中的多个未编码位的细化位当中维持，用于在一个或多个位平面中的每个位平面中等量分配细化位用于细化。根据实施例，可以基于以下等式(1)来确定用于接收到的输入P-相位数据块的细化步长大小：
其中，
NRefBit对应于可用于编码多个未编码位的细化位的计数；
BlockSize对应于接收到的输入P-相位数据块的块大小；以及
StepSize对应于所确定的细化步长大小。
例如，接收到的输入P-相位数据块的块大小可以是“16”，并且可用于编码多个未编码位的细化位的计数可以是“2”。在这种情况下，根据等式(1)的细化步长大小被确定为“8”。在另一个示例中，可用于编码多个未编码位的细化位的计数可以是4。在这种情况下，根据等式(1)的细化步长大小被确定为4。
起始位置估计器210可以被配置成从存储器204接收输入P-相位数据块。起始位置估计器210还可以被配置成基于接收到的输入P-相位数据块的颜色值的采样组的数量和接收到的输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化起始位置。所确定的细化起始位置可以对应于从其开始要为了细化对P-相位数据值的多个未编码位中的细化位的分配进行初始化的位置。根据实施例，可以基于以下等式(2)来确定用于接收到的输入P-相位数据块的细化起始位置：
X＝Coef(BlockSize，NSampleGroup)*n (2)
其中，
“n”从0到NSampleGroup-1变化
Coef(BlockSize，NSampleGroup)＝1；BlockSize＝＜NSampleGroup
并且(BlockSize＞NSampleGroup)。
BlockSize对应于接收到的输入P-相位数据块的块大小；
NSampleGroup对应于接收到的输入P-相位数据块的颜色值的采样组的数量；以及
X对应于所确定的细化起始位置。
例如，接收到的输入P-相位数据块的颜色值的采样组的数量可以是“8”，并且接收到的输入P-相位数据块的块大小可以是“4”。在这种情况下，根据等式(2)，细化起始位置被确定为X＝1*n(X＝0，1，2，3，0，1，2，3)。在另一个示例中，接收到的输入P-相位数据块的颜色值的采样组的数量可以是“8”，并且接收到的输入P-相位数据块的块大小可以是16。在这种情况下，根据等式(2)，细化起始位置被确定为X＝2*n(X＝0，2，4，6，8，10，12，14)。
细化单元212可以被配置成分别从步长估计器208和起始位置估计器210接收所确定的细化步长和所确定的细化起始位置。细化单元212还可以被配置成基于如由上述等式(1)和(2)确定的细化步长大小和细化起始位置通过在接收到的输入P-相位数据块的一个或多个位平面中分配细化位来细化P-相位数据值的多个未编码位。
处理器202可以被配置成检测可用于编码多个未编码位的细化位的计数是否大于或等于一个或多个位平面中的第一位平面的位平面大小。根据实施例，细化单元212还可以包括在细化位的计数大于或等于第一位平面的位平面大小的情况下细化第一位平面。第一位平面的这种细化可以被称为一位平面细化。
根据实施例，细化单元212还可以包括通过第一位平面中逐位分配细化位来细化多个未编码位的第一位平面。可以在细化位的计数小于第一位平面的位平面大小的情况下执行细化位的逐位分配。细化位可以从所确定的细化起始位置开始在第一位平面中分配。细化位可以基于所确定的细化步长大小在第一位平面中等间隔排列。第一位平面的这种细化可以被称为一位细化。根据实施例，可以在每次一位细化或一位平面细化之后更新细化位的计数。在一位细化的情况下，处理器202可以被配置成通过将细化位的计数减少一位来更新细化位的计数。在一位平面细化的情况下，处理器202可以被配置成通过将细化位的计数减少一位平面来更新细化位的计数。
根据实施例，处理器202可以计算P-相位数据值和D-相位数据值之间的差。P-相位数据值可以对应于表示可以由成像设备102捕获的图像帧中的多个像素的多个P-相位数据块。P-相位数据值可以对应于表示图像帧中的多个像素的参考电压的数字像素复位值，并且D-相位数据值对应于表示图像帧中的多个像素的信号电压的依赖于光的数字像素值。图像变换器218可以被配置成基于计算出的P-相位数据值和D-相位数据值之间的差将图像帧变换为细化图像帧。计算出的差可以用于从图像帧中去除噪声以获得细化图像帧。换句话说，计算出的差可以导致从多个光感测元件(诸如光感测元件104A)中的每一个的对应D-相位数据值中消除P-相位数据值。这可以用于在细化图像帧中生成CDS校正的数字输出像素值。
包括在I/O单元214中的显示屏结合图像变换器218和处理器202可以被配置成在显示屏上显示或呈现细化图像帧。根据实施例，处理器202可被配置成将细化图像帧存储在存储器204中。网络接口216可以被配置成经由通信网络108(图1A)将细化图像帧传输或传递到一个或多个云资源，诸如服务器106(图1A)。
图3图示根据本公开的实施例的对成像设备中的P-相位数据压缩细化P-相位数据的编码的示例性场景。图3已经结合图1A、图1B和图2的元件进行了描述。参考图3，其中示出细化成像设备102中的P-相位数据的编码的示例性场景300。在示例性场景300中，示出具有“16x1”的块大小和“8”位的位深度的输入P-相位数据块302、第一位平面细化输出304和第二位平面细化输出306。“16x1”的块大小表示“16”像素，其中每个像素具有“8”位的位深度。
参考示例性场景300，输入P-相位数据块302可以包括P-相位数据值的到达位深度“5”的多个编码位(如图所示)和到达位深度“3”的多个未编码位。输入P-相位数据块302的位平面大小为“16”。输入P-相位数据块302可以是在对多个P-相位数据块熵编码之后从一个或多个感测设备(诸如图像传感器104(图1A))接收到的多个P-相位数据块中的一个。
根据示例性场景300，例如，“23”个细化位可以用于编码输入P-相位数据块302中的多个未编码位。处理器202可以被配置成确定可用于编码多个未编码位的细化位的计数(23)是否大于或等于输入P-相位数据302的一个或多个位平面的位平面大小(16)。在这种情况下，可用于编码多个未编码位的细化位的计数(23)大于或等于位平面大小(16)，细化单元212可以被配置成细化输入P-相位数据块302的多个未编码位的第一位平面的一位平面。输入P-相位数据块302中的多个未编码位的第一位平面的一位平面细化的结果(由操作304A指示)在第一位平面细化输出304中示出。处理器202还可以被配置成基于一位平面细化来更新细化位的数量(23)。根据示例性场景300，细化位(23)的数量减少一位平面大小(16)。可用于编码输入P-相位数据块302的一个或多个位平面的第二平面的细化位的更新后数量是“23-16”＝“7”位。
然后，处理器202可以确定更新后的细化位的数量(7)是否大于或等于输入P-相位数据块302的一个或多个位平面中的第二位平面的位平面大小(16)。由于更新后的细化位的数量(7)小于位平面大小(16)，因此步长大小估计器208可以基于如图2所述的等式(1)来确定用于输入P-相位数据块302的细化步长大小。此外，起始位置估计器210可以被配置成基于如图2所述的等式(2)来确定用于输入P-相位数据块302的细化起始位置。然后，细化单元212可以通过在第二位平面中逐位分配(由操作306A指示)细化位(7)来执行多个未编码位的第二位平面的细化。细化位(7)可以从由起始位置估计器210确定的细化起始位置开始在第二位平面中分配，并且细化位(7)可以基于如由步长大小估计器208确定的细化步长大小在第二位平面中等间隔排列。第二位平面的这种细化可以被称为一位细化。在一位细化的情况下，处理器202可以被配置成通过将细化位(7)减少一位来更新细化位(7)。这种一位细化的处理可以继续，直到处理器202检测到或确定可用于编码多个未编码位的细化位的总数量为零。如第二位平面细化输出306中所示的那样，可能没有由可用数量的细化位细化的剩余的多个未编码位可以对应于未处理位。
图4描绘根据本公开的实施例的图示细化成像设备中的P-相位数据的编码的示例性操作的流程图。参考图4，其中示出流程图400。流程图400结合图1A、图1B、图2和图3的元件来描述。该方法从402处开始并且进行到404。
在404处，可以接收包括P-相位数据值的多个编码位和多个未编码位的输入P-相位数据块。处理器202可以被配置成接收输入P-相位数据块。接收到的输入P-相位数据块可以是在对多个P-相位数据块熵编码之后从一个或多个感测设备(诸如图像传感器104(图1A))接收到的多个P-相位数据块中的一个。接收到的输入P-相位数据块302的示例在例如图3中示出和描述。
在406处，可以确定可用于编码多个未编码位的细化位的计数是否大于或等于接收到的输入P-相位数据块的一个或多个位平面中的第一位平面的位平面大小。处理器202可以被配置成检测可用于编码多个未编码位的细化位的计数是否大于或等于位平面大小。在可用于编码多个未编码位的细化位的计数大于或等于接收到的输入P-相位数据块的一个或多个位平面中的第一位平面的位平面大小的情况下，控制转到418。在可用于编码多个未编码位的细化位的计数小于接收到的输入P-相位数据块的一个或多个位平面中的第一位平面的位平面大小的情况下，控制转到408。
在408处，在可用于编码多个未编码位的细化位的计数小于位平面大小的情况下，可以确定用于接收到的输入P-相位数据块的细化步长大小。可以基于可用于编码多个未编码位的细化位的计数和接收到的输入P-相位数据块的块大小来确定细化步长大小。步长大小估计器208可以被配置成确定用于接收到的输入P-相位数据块的细化步长大小。所确定的细化步长大小可以对应于间隙大小，该间隙大小要在可用于编码一个或多个位平面中的每个位平面中的多个未编码位的细化位当中维持。这可以用于允许或促进在一个或多个位平面中的每个位平面中等量分配细化位用于细化。可以基于如图2所述的等式(1)确定用于接收到的输入P-相位数据块的细化步长大小。
在410处，基于接收到的输入P-相位数据块的颜色值的采样组的数量和接收到的输入P相位块的块大小，可以确定用于接收到的输入P-相位数据块的细化起始位置。起始位置估计器210可以被配置成基于接收到的输入P-相位数据块的颜色值的采样组的数量和接收到的输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化起始位置。所确定的细化起始位置可以对应于从其开始要为了细化而对P-相位数据值的多个未编码位中的细化位的分配进行初始化的位置。可以基于如图2所述的等式(2)确定用于接收到的输入P-相位数据块的细化起始位置。
在412处，可以细化多个未编码位中的第一位平面的一位。细化单元212可以通过在第一位平面中逐位分配细化位来执行多个未编码位的第一位平面的细化。这可以在细化位的计数小于第一位平面的位平面大小的情况下完成。细化位可以从所确定的细化起始位置开始在第一位平面中分配，并且细化位可以基于所确定的细化步长大小在第一位平面中等间隔排列。第一位平面的这种细化可以被称为一位细化，其示例在图3中的第二位平面细化输出306中示出。
在414处，可以基于一位细化来更新细化位的计数。在每次一位细化之后，可以更新细化位的计数。在一位细化的情况下，处理器202可以被配置成通过将细化位的计数减少一位来更新细化位的计数。
在416处，可以确定可用于编码多个未编码位的细化位的计数是否等于零。处理器202可以被配置成检测可用于编码多个未编码位的细化位的计数是否等于零。在可用于编码多个未编码位的细化位的计数等于零的情况下，控制转到结束422。在可用于编码多个未编码位的细化位的计数不等于零的情况下，控制返回到412。
在418处，在可用于编码多个未编码位的细化位的计数大于接收到的输入P-相位数据块的一个或多个位平面中的第一位平面的位平面大小的情况下，可以细化多个未编码位的第一位平面的一位平面。细化单元212可以被配置成在细化位的计数大于或等于第一位平面的位平面大小的情况下细化第一位平面的一位平面。第一位平面的这种细化可以被称为一位平面细化，其示例在图3中的第一位平面细化输出304中示出。
在420处，可以基于一位平面细化来更新细化位的计数。根据实施例，可以在每个一位平面细化之后更新细化位的计数。在一位平面细化的情况下，处理器202可以被配置成通过将细化位的计数减少一位平面大小来更新细化位的计数。控制返回到406。
根据本公开的实施例，公开了细化P-相位数据的编码的系统。成像设备102(图1A)可以包括一个或多个电路(诸如处理器202(图2))，其可以被配置成接收包括P-相位数据值的多个熵编码位和多个未编码位的输入P-相位数据块。成像设备102可以包括一个或多个电路(诸如步长大小估计器208(图2))，其可以被配置成基于可用于编码多个未编码位的细化位的计数和接收到的输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化步长大小。诸如起始位置估计器210(图2)的一个或多个电路可以被配置成基于接收到的输入P相位数据块的颜色值的采样组的数量和接收到的输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化起始位置。诸如细化单元212(图2)的一个或多个电路可以被配置成基于所确定的细化步长大小和所确定的细化起始位置通过在一个或多个位平面中分配细化位来细化P-相位数据值的多个未编码位。在P-相位数据值的多个未编码位的细化之后生成P-相位数据值的压缩位流。
对应于接收到的多块P-相位数据值的压缩P-相位数据值可以在从图像传感器(诸如图像传感器104)实际接收到D-相位数据之前被存储在存储器204中，用于CDS处理。在由成像设备102使用全局快门用于捕获图像或图像序列的情况下，可以在接收D-相位数据之前将压缩P-相位数据值存储。P-相位数据值的压缩节省了成像设备102的存储空间。换句话说，在相同的硬件或存储空间的情况下，由于P-相位数据值的压缩，可以捕获和在成像设备102中存储更多的图像或视频数据。此外，处理器202与细化单元212结合确保图像传感器104的kTC噪声保持恒定，同时减少由于P-相位数据压缩而引起的附加噪声。此外，用于低复杂度压缩的常规压缩方法可以包括DPCM。在图像被捕获之后并且在捕获的图像具有彼此高度相似的相邻像素强度值的情况下，DPCM对图像压缩会是有效的。与其中可以为压缩目的计算块的两个连续值之间的差的常规基于DPCM的压缩方法不同，如所描述的，由步长大小估计器208、起始位置估计器210和细化单元212执行的操作对表现出类似噪声特性的数据(诸如P-相位数据值)是有利的。对展现出类似噪声特性的数据(诸如P-相位数据)，基于DPCM的压缩方法对于压缩可能不是有效的，因为相邻的P-相位数据值可能不展现出高相似性或均匀性。此外，除了与视频的捕获图像或图像帧序列相关联的P-相位数据的高效压缩之外，所公开的用于P-相位数据压缩的方法和成像设备102还确保从捕获的图像中去除噪声，以便生成具有改善的图像质量的细化的捕获图像。与其中图像或图像帧序列可以在生成实际图像或图像帧序列之后被压缩的传统图像压缩方法对比，生成对应于接收到的多块P-相位数据值的压缩P-相位数据值在通过使用图像传感器104生成图像或图像帧序列时发生。因此，向成像设备102提供了在生成图像或图像帧序列时以及在图像或图像帧序列生成后节省存储器空间的附加压缩能力。
与常规细化技术不同，所公开的细化P-相位数据的编码的方法确保了输入P-相位数据块的多个未编码位的相等细化。P-相位数据块可以是从图像传感器104接收到的多个P-相位数据块中的一个。P-相位数据块可以包括各种P-相位数据值，并且还可以表示由任何电子设备(诸如成像设备102)捕获的图像帧中的多个像素。由于细化位基于所确定的细化步长大小在位平面中等间隔排列，因此所公开的细化P-相位数据的编码的方法观察到误差模式的整体期望结构的改善。包括在处理后的P-相位数据块中的P-相位数据值的编码位和未编码位可以被准确地区分。
根据本公开的示例性方面，成像设备102可以是相机。因此，如本公开所述的由成像设备102执行的所有操作也可以由相机执行。通常，在捕获视频的图像或图像帧序列期间，原始数据被捕获，该原始数据需要被压缩以节省存储器空间和存储器访问带宽。鉴于高清晰度图像或视频(诸如超清晰度视频、图像、4K视频和其它数字图像或视频)的日益流行，开发可以进行可能的高压缩并且仍然例示低硬件复杂度的高级图像压缩技术变得越来越重要。与常规细化技术不同，所公开的细化P-相位数据的编码的方法确保了输入P-相位数据块的多个未编码位的相等细化。由相机执行的操作的示例可以例如根据图4的流程图400来理解。如上所述，类似于相机，由本公开中(诸如在图1A、图1B、图2、图3和图4中)所述的成像设备102执行的所有操作也可以由摄像机或智能电话执行，以便高效地压缩，用于不仅在图像或图像帧序列的生成时节省存储器空间，并且还在图像或图像帧序列生成后节省存储器空间。
本公开的各种实施例可以提供非瞬态计算机可读介质和/或存储介质，其中存在存储在其上的机器代码和/或计算机程序，该机器代码和/或计算机程序具有可由用于编码P-相位数据的机器和/或计算机执行的至少一个代码部分。成像设备102中的该至少一个代码部分可以使得机器和/或计算机执行包括接收输入P-相位数据块的步骤，该输入P-相位数据块包括P-相位数据值的多个熵编码位和多个未编码位。成像设备102可以被配置成基于可用于编码多个未编码位的细化位的计数和接收到的输入P-相位数据块的块大小来确定用于接收到的输入P-相位数据块的细化步长大小。成像设备102还可以被配置成基于接收到的输入P-相位数据块的颜色值的采样组的数量和接收到的输入P相位块的块大小来确定用于接收到的输入P-相位数据块的细化起始位置。成像设备102还可以被配置成基于所确定的细化步长大小和所确定的细化起始位置通过在接收到的输入P-相位数据块的一个或多个位平面中分配细化位来细化P-相位数据值的多个未编码位。
本公开可以用硬件或者硬件和软件的组合来实现。本公开可以以集中式的方式、在至少一个计算机系统中、或以分布式的方式实现，其中不同的元件可以散布在若干个互连的计算机系统中。适于执行本文所述的方法的计算机系统或其它装置都可以是适合的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当计算机程序被加载和执行时，可以控制计算机系统，使其执行本文所描述的方法。本公开可以用包括还执行其它功能的集成电路的一部分的硬件来实现。
本公开还可以嵌入在计算机程序产品中，其中计算机程序产品包括使得能够实现本文所描述的方法的所有特征，并且当计算机程序产品被加载到计算机系统中时能够执行这些方法。在此上下文中，计算机程序指指令集的任何语言、代码或符号形式的任何表示，所述指令集旨在使得具有信息处理能力的系统直接地或者在以下任何一个或两者之后执行特定的功能：a)转换成另一种语言、代码或符号；b)在不同的材料形式中复制。
虽然已参考某些实施例对本公开进行了描述，但是本领域技术人员将理解的是，在不背离本公开的范围的情况下，可以做出各种改变并且等价物可以被替换。此外，在不背离其范围的情况下，可以进行许多修改以使得特定的情形或材料适于本公开的教导。因此，本公开不是旨在限于所公开的特定实施例，而是本公开将包括属于所附权利要求的范围内的所有实施例。

Claims (16)

1.一种用于编码P-相位数据的方法，包括：
接收输入P-相位数据块，所述输入P-相位数据块包括P-相位数据值的多个熵编码位和多个未编码位；
基于可用于编码所述多个未编码位的细化位的计数和接收到的输入P-相位数据块的块大小来确定用于所述接收到的输入P-相位数据块的细化步长大小；
基于所述接收到的输入P-相位数据块的颜色值的采样组的数量和所述接收到的输入P-相位数据块的所述块大小来确定用于所述接收到的输入P-相位数据块的细化起始位置；以及
基于确定的细化步长大小和确定的细化起始位置，通过在所述接收到的输入P-相位数据块的一个或多个位平面中分配所述细化位来细化所述P-相位数据值的所述多个未编码位。
2.如权利要求1所述的方法，其中所述确定的细化步长大小对应于要在可用于编码所述一个或多个位平面中的每个位平面中的所述多个未编码位的所述细化位当中维持的用于在所述一个或多个位平面中的每个位平面中等量分配所述细化位用于所述细化的间隙大小。
3.如权利要求1所述的方法，其中所述确定的细化起始位置对应于从其开始要为所述细化对所述P-相位数据值的所述多个未编码位中的所述细化位的所述分配进行初始化的位置。
4.如权利要求1所述的方法，还包括检测可用于编码所述多个未编码位的所述细化位的所述计数是否大于或等于所述一个或多个位平面中的第一位平面的位平面大小。
5.如权利要求4所述的方法，还包括，在所述细化位的所述计数大于或等于所述第一位平面的所述位平面大小的情况下，通过分配与所述第一位平面中的所述位平面大小相等数量的所述细化位来细化所述多个未编码位的所述第一位平面。
6.如权利要求4所述的方法，还包括，在所述细化位的计数小于所述第一位平面的所述位平面大小的情况下，通过在所述第一位平面中逐位分配所述细化位来细化所述多个未编码位的所述第一位平面，其中所述细化位从所述确定的细化起始位置开始在所述第一位平面中分配，并且其中所述细化位基于所述确定的细化步长大小在所述第一位平面中等间隔排列。
7.如权利要求1所述的方法，其中所述细化位的所述计数在每次一位细化或一位平面细化之后被更新。
8.如权利要求1所述的方法，其中所述输入P-相位数据块是在对所述多个P-相位数据块熵编码之后从图像传感器接收到的多个P-相位数据块中的一个。
9.如权利要求8所述的方法，还包括计算P-相位数据值和D-相位数据值之间的差，其中所述P-相位数据值对应于表示图像帧中的多个像素的所述多个P相位数据块。
10.如权利要求9所述的方法，其中所述P-相位数据值对应于表示所述图像帧中的多个像素的参考电压的数字像素复位值，并且其中所述D-相位数据值对应于表示所述图像帧中的所述多个像素的信号电压的依赖于光的数字像素值。
11.如权利要求9所述的方法，还包括基于计算出的所述P-相位数据值和所述D-相位数据值之间的差，将所述图像帧变换为细化图像帧。
12.如权利要求9所述的方法，其中计算出的差用于从所述图像帧中去除噪声以获得细化图像帧。
13.如权利要求9所述的方法，其中所述图像传感器包括多个光感测元件，其中计算出的差对应于从所述多个光感测元件中的每个光感测元件的对应D-相位数据值中消除所述P-相位数据值，以生成细化图像帧中的相关双采样(CDS)校正的数字输出像素值。
14.如权利要求1所述的方法，其中所述多个熵编码位通过差分脉冲编码调制(DPCM)或脉冲编码调制(PCM)技术进行编码。
15.一种用于编码P-相位数据的系统，包括：
处理器；以及
其上存储有指令的存储器，当所述指令被所述处理器执行时，使得所述处理器执行如权利要求1到14中任意一个所述的方法的操作。
16.一种其上存储有指令的非瞬态计算机可读介质，当所述指令被处理器执行时，使得所述处理器执行如权利要求1到14中任意一个所述的方法的操作。
CN201711067505.XA 2016-11-15 2017-11-03 细化p-相位数据的编码的方法和系统 Active CN108076343B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/351,558 2016-11-15
US15/351,558 US10791340B2 (en) 2016-11-15 2016-11-15 Method and system to refine coding of P-phase data

Publications (2)

Publication Number Publication Date
CN108076343A true CN108076343A (zh) 2018-05-25
CN108076343B CN108076343B (zh) 2020-05-01

Family

ID=62106973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711067505.XA Active CN108076343B (zh) 2016-11-15 2017-11-03 细化p-相位数据的编码的方法和系统

Country Status (2)

Country Link
US (1) US10791340B2 (zh)
CN (1) CN108076343B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070096A1 (en) * 2013-11-08 2015-05-14 Drs Network & Imaging Systems, Llc Method and system for output of dual video stream via a single parallel digital video interface
US10750182B2 (en) * 2018-11-20 2020-08-18 Sony Corporation Embedded codec circuitry for visual quality based allocation of refinement bits
US10939107B2 (en) * 2019-03-01 2021-03-02 Sony Corporation Embedded codec circuitry for sub-block based allocation of refinement bits
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738424A (zh) * 2005-05-27 2006-02-22 上海大学 基于h.264的精细颗粒可伸缩编码的码率控制方法
CN101589625A (zh) * 2006-10-25 2009-11-25 弗劳恩霍夫应用研究促进协会 质量可缩放编码
US20110026582A1 (en) * 2009-07-29 2011-02-03 Judit Martinez Bauza System and method of compressing video content
CN102547277A (zh) * 2007-01-18 2012-07-04 弗劳恩霍夫应用研究促进协会 质量可缩放视频数据流
US8498982B1 (en) * 2010-07-07 2013-07-30 Openlogic, Inc. Noise reduction for content matching analysis results for protectable content
US20140355675A1 (en) * 2013-05-29 2014-12-04 Research In Motion Limited Lossy data compression with conditional reconstruction refinement

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9415413D0 (en) * 1994-07-29 1994-09-21 Discovision Ass Method and apparatus for video decompression
AU2002228884A1 (en) 2000-11-03 2002-05-15 Compression Science Video data compression system
US7881384B2 (en) * 2005-08-05 2011-02-01 Lsi Corporation Method and apparatus for H.264 to MPEG-2 video transcoding
US8542736B2 (en) * 2006-10-18 2013-09-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
US7720169B2 (en) * 2007-05-10 2010-05-18 Ilan Reuven Multiple-input multiple-output (MIMO) detector incorporating efficient signal point search and soft information refinement
EP2816805B1 (en) 2013-05-29 2020-12-30 BlackBerry Limited Lossy data compression with conditional reconstruction reinfinement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738424A (zh) * 2005-05-27 2006-02-22 上海大学 基于h.264的精细颗粒可伸缩编码的码率控制方法
CN101589625A (zh) * 2006-10-25 2009-11-25 弗劳恩霍夫应用研究促进协会 质量可缩放编码
CN102547277A (zh) * 2007-01-18 2012-07-04 弗劳恩霍夫应用研究促进协会 质量可缩放视频数据流
US20110026582A1 (en) * 2009-07-29 2011-02-03 Judit Martinez Bauza System and method of compressing video content
US8498982B1 (en) * 2010-07-07 2013-07-30 Openlogic, Inc. Noise reduction for content matching analysis results for protectable content
US20140355675A1 (en) * 2013-05-29 2014-12-04 Research In Motion Limited Lossy data compression with conditional reconstruction refinement

Also Published As

Publication number Publication date
US20180139471A1 (en) 2018-05-17
US10791340B2 (en) 2020-09-29
CN108076343B (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN108076343B (zh) 细化p-相位数据的编码的方法和系统
US9066017B2 (en) Viewfinder display based on metering images
US8111300B2 (en) System and method to selectively combine video frame image data
US9117134B1 (en) Image merging with blending
US10600170B2 (en) Method and device for producing a digital image
US9389678B2 (en) Virtual image signal processor
US11423514B2 (en) Image processing noise reduction
US20210390658A1 (en) Image processing apparatus and method
US11800048B2 (en) Image generating system with background replacement or modification capabilities
JP2015149691A (ja) 画像補正装置、画像補正方法、及び、撮像装置
US8854503B2 (en) Image enhancements through multi-image processing
US20150062371A1 (en) Encoding apparatus and method
JP2015115903A (ja) 撮像装置、撮像装置の制御方法、コンピュータプログラム
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
JP2020058014A (ja) 映像処理装置、ビデオ会議システム、映像処理方法、およびプログラム
US9361500B2 (en) Image processing apparatus, image processing method, and recording medium
CN107872632B (zh) 用于p-相位数据压缩的设备和方法
US10375348B2 (en) Image capturing apparatus operable to store captured image data in image memory, method of controlling same, and storage medium
JP2022190118A (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US11861814B2 (en) Apparatus and method for sensing image based on event
JP7110408B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6465571B2 (ja) 撮像装置、撮像装置の制御方法
US9942569B2 (en) Image encoding apparatus and control method of the same
KR101551568B1 (ko) 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치
US10750193B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant