CN107872632A - 用于p‑相位数据压缩的设备和方法 - Google Patents

用于p‑相位数据压缩的设备和方法 Download PDF

Info

Publication number
CN107872632A
CN107872632A CN201710798153.9A CN201710798153A CN107872632A CN 107872632 A CN107872632 A CN 107872632A CN 201710798153 A CN201710798153 A CN 201710798153A CN 107872632 A CN107872632 A CN 107872632A
Authority
CN
China
Prior art keywords
data values
phase data
value
piece
reconstruct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710798153.9A
Other languages
English (en)
Other versions
CN107872632B (zh
Inventor
池田优
A·塔巴塔贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107872632A publication Critical patent/CN107872632A/zh
Application granted granted Critical
Publication of CN107872632B publication Critical patent/CN107872632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及用于P‑相位数据压缩的设备和方法。提供了用于P‑相位数据压缩的成像设备和方法。成像设备包括被配置成从图像传感器接收多个P‑相位数据值块的一个或多个电路。确定多个P‑相位数据值块中的第一输入块的预测器值。基于第一输入块的P‑相位数据值和所确定的预测器值，生成P‑相位数据值的重构的第一块。然后，基于所生成的重构的第一块的P‑相位数据值，为P‑相位数据值的第二块更新所确定的预测器值。基于重构的第一块和至少重构的第二块，生成对应于所接收的多个P‑相位数据值块的压缩P‑相位数据值。

Description

用于P-相位数据压缩的设备和方法
对相关申请的交叉引用/通过引用结合
无。
技术领域
本公开的各种实施例涉及数据压缩。更具体而言，本公开的各种实施例涉及用于P-相位(P-phase)数据压缩的成像设备和方法。
背景技术
图像传感器广泛地用于成像设备中，成像设备诸如数字相机、医疗成像装备、热成像设备、雷达、声纳和其它电子设备。包括图像传感器的这种成像设备可以与数字相关双采样(Correlated Double Sampling，CDS)处理相关联。CDS处理可以包括噪声分量和真实信号分量。噪声分量可以被称为P-相位数据。真实信号分量可以被称为D-相位(D-phase)数据。P-相位数据和D-相位数据之间的差可以用于去除与要通过使用成像设备的图像传感器捕获的图像或图像序列相关联的噪声，诸如内部热噪声(kTC噪声)。但是，在使用全局快门的成像设备中，CDS处理要求在从图像传感器接收到真实信号分量(诸如D-相位数据)之前存储噪声分量(诸如P-相位数据)。全局快门可以是指同时控制到成像设备的所有感光元件的入射光的快门模式。因此，在使用全局快门的成像设备中，每个像素可以在同一时刻同时曝光。为了节省成像设备的存储器或存储空间，可能希望压缩噪声分量，诸如P-相位数据。P-相位数据的压缩要求kTC噪声应该保持恒定，同时减少由于P-相位数据压缩引起的附加噪声。
用于低复杂度压缩的常规压缩方法可以包括差分脉冲编码调制(DPCM)。DPCM对于图像压缩可以是有效的，其中捕获的图像具有彼此高度相似的相邻像素强度值。但是，对于展现出类似噪声特性的数据(诸如P-相位数据)，基于DPCM的压缩方法对于压缩可能不是有效的。
通过将所描述的系统与本公开的一些方面进行比较，如本申请的其余部分中所阐述的并且参考附图，常规和传统方法的进一步的限制和缺点将对本领域技术人员变得显而易见。
发明内容
提供一种用于成像设备中的P-相位数据压缩的设备和方法，其基本上如附图中的至少一个所示和/或结合附图中的至少一个所述，并且如在权利要求中更全面地阐述。
根据对本公开的以下详细描述的综述连同附图可以理解本公开的这些和其它特征及优点，在附图中相同的标号始终指代相同的部件。
附图说明
图1A和1B共同描绘根据本公开的实施例的图示用于成像设备的P-相位数据压缩的示例性网络环境的框图。
图2图示根据本公开的实施例的成像设备的框图。
图3A、3B和3C共同图示根据本公开的实施例的用于实现所公开的用于成像设备中的P-相位数据压缩的设备和方法的示例性场景。
图4描绘根据本公开的实施例的图示用于成像设备中的P-相位数据压缩的示例性操作的流程图。
具体实施方式
以下描述的实现可以在所公开的用于P-相位数据压缩的成像设备和方法中找到。本公开的示例性方面可以包括用于成像设备中的P-相位数据压缩的方法。该方法可以由成像设备的一个或多个电路来实现。该方法可以包括从图像传感器接收多个P-相位数据值块。该方法还可以包括确定P-相位数据值的第一输入块的预测器值(predictor value)。第一输入块可以对应于表示当前图像帧中的多个像素的接收到的多个块中的一个块。另外，该方法可以包括基于第一输入块的P-相位数据值和所确定的预测器值来生成P-相位数据值的重构的第一块。所生成的重构的第一块中的P-相位数据值可以对应于第一输入块的压缩P-相位数据值。可以基于第一输入块的P-相位数据值中的每一个值与所确定的预测器值之间的差来生成重构的第一块。可以基于所生成的重构的第一块的P-相位数据值，为P-相位数据值的第二块更新所确定的预测器值。根据实施例，第二块可以对应于表示当前图像帧中的像素的接收到的多个块中的另一个块。根据实施例，一个或多个电路还可以被配置成基于所生成的重构的第一块的P-相位数据值的平均值(average value)或平均数值(mean value)来更新所确定的预测器值。此外，该方法可以包括基于重构的第一块和至少重构的第二块生成对应于接收到的多个P-相位数据值块的压缩P-相位数据值。重构的第二块可以基于P-相位数据值的第二块的P-相位数据值和更新的预测器值来生成。
根据实施例，P-相位数据值的第一输入块的预测器值可以基于表示第一输入块的P-相位数据值的平均值或平均数值中的一个值来确定。根据实施例，P-相位数据值的第一输入块的预测器值可以基于P-相位数据值的多个平均值的最终平均值来确定。多个平均值可以是多个列的逐列平均值，该多个列对应于表示先前图像帧中的多个像素的另外多个块。根据实施例，可以基于对P-相位数据值的多个平均值的最终平均值应用多项式函数来确定P-相位数据值的第一输入块的预测器值。
根据实施例，一个或多个电路还可以被配置成计算所生成的压缩P-相位数据值和与表示当前图像帧中的多个像素的多个块相关联的D-相位数据值之间的差。根据实施例，一个或多个电路还可以被配置成基于所生成的压缩P-相位数据值和D-相位数据值之间的所计算的差将当前图像帧变换为细化的当前图像帧。根据实施例，通过从当前图像帧中去除噪声，可以利用差来获得细化的当前图像帧。图像传感器可以包括多个光感测元件。差可以对应于从多个光感测元件中的每一个光感测元件的对应D-相位数据值消除P-相位数据值。这种消除可以用于生成细化的当前图像帧中的相关双采样(CDS)校正的数字输出像素值。
根据实施例，可以在处理D-相位数据值之前处理从图像传感器接收到的P-相位数据值。可以这样做以使得能够在成像设备的存储器单元中将接收到的P-相位数据值作为生成的压缩P-相位数据值存储。根据实施例，P-相位数据值可以对应于表示当前图像帧中的多个像素的参考电压的数字像素复位值。根据实施例，D-相位数据值可以对应于表示当前图像帧中的多个像素的信号电压的依赖于光的数字像素值。
图1A和1B共同描绘根据本公开的实施例的图示用于成像设备的P-相位数据压缩的示例性网络环境的框图。参考图1A，其中示出示例性网络环境100。示例性网络环境100也可以被称为网络系统。示例性网络环境100可以包括成像设备102、图像传感器104、一个或多个云资源(诸如服务器106)以及通信网络108。图1还示出视频内容110和一个或多个用户，诸如用户112。参考图1A，成像设备102可以经由通信网络108通信地耦合到服务器106。与用户112相关联的成像设备102可以被配置成捕获和/或处理视频内容110。图像传感器104可以包括在成像设备102中。
成像设备102可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成经由通信网络108与服务器106通信。成像设备102还可以包括电路系统，该电路系统可以被配置成用于P-相位数据压缩。成像设备102可以包括图像传感器104。成像设备102的示例可以包括但不限于数字相机、数字摄像机、相机模块、医疗成像装备、夜视装备(诸如热成像设备)、雷达、声纳、图像处理或视频处理设备、运动捕捉系统和/或投影仪设备。
图像传感器104可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成检测和传达构成视频内容110的图像帧序列的图像的信息。图像传感器104将光波的可变衰减转换为传达信息的信号或电流的小脉冲串(burst)。图像传感器104的示例可以包括但不限于一个或多个半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器、数字像素系统(DPS)传感器和/或其它数字传感器，诸如平板检测器。
服务器106可以包括多个逻辑电路、接口和/或代码，其可以被配置成经由通信网络108与成像设备102通信。服务器106的示例可以包括但不限于web服务器、数据库服务器、文件服务器、应用服务器或其组合。可以通过使用本领域技术人员众所周知的若干技术来实现服务器106。
通信网络108可以包括介质，通过该介质成像设备102和服务器106可以彼此通信。通信网络108可以是有线通信网络或无线通信网络。通信网络108的示例可以包括但不限于无线保真(Wi-Fi)网络、局域网(LAN)、无线个人区域网(WPAN)、无线局域网(WLAN)、无线广域网(WWAN)、云网络、长期演进(LTE)网络、普通老式电话服务(POTS)、城域网(MAN)和/或互联网。示例性网络环境100中的各种设备可以被配置成根据各种有线和无线通信协议连接到通信网络108。这种有线和无线通信协议的示例可以包括但不限于传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE 802.11、IEEE 802.16、长期演进(LTE)、光保真(Li-Fi)、物联网(IOT)通信协议和/或其它蜂窝通信协议或蓝牙(BT)通信协议，包括其变体。
视频内容110可以包括图像帧序列。图像帧序列可以至少包括先前图像帧和当前图像帧。根据实施例，视频内容110的图像帧序列可以由成像设备102处理。为了压缩表示当前图像帧中的多个像素的多个块的P-相位数据值可以这样做。根据实施例，视频内容110的图像帧序列可以由服务器106处理。在这种情况下，成像设备102可以经由通信网络108将视频内容110和P-相位数据值传输到成像设备102。服务器106可以处理P-相位数据值，并且经由通信网络108将压缩P-相位数据值返回到成像设备102。视频内容110的示例可以包括但不限于预先记录的视频剪辑、实时多媒体记录和/或实时或近实时捕获的视听数字内容。
在操作中，成像设备102可以被配置成接收输入以捕获视频内容110的图像或图像帧序列。图像帧序列可以至少包括先前图像帧和当前图像帧。成像设备102还可以被配置成从图像传感器104接收多个P-相位数据值块。所接收的多个块可以表示捕获的图像帧序列的当前图像帧中的多个像素。包括图像传感器104的成像设备102可以与数字相关双采样(CDS)处理相关联。CDS处理可以包括噪声分量和真实信号分量。噪声分量可以被称为P-相位数据，诸如所接收的多个P-相位数据值块。所接收的多个P-相位数据值块可以对应于表示当前图像帧中的多个像素的参考电压的数字像素复位值。真实信号分量可以被称为D-相位数据。D-相位数据值也可以在捕获视频内容110的图像或图像帧序列时从图像传感器104同时接收。D-相位数据值可以对应于表示当前图像帧中的多个像素的信号电压的依赖于光的数字像素值。所接收的多个P-相位数据值块和对应的D-相位数据值之间的差可以用于去除与要由成像设备102的图像传感器104捕获的图像或图像帧序列相关联的噪声，诸如kTC噪声。在捕获图像或图像帧序列时，并且在卷帘快门类型的快门机构的成像设备102的情况下，所接收的多个P-相位数据值块可以不在CDS的D-相位数据值之前被存储。但是，在全局快门类型的快门机构的成像设备102的情况下，CDS处理需要噪声分量(诸如所接收的多个P-相位数据值块)在D-相位数据值之前被存储。在这种情况下，P-相位数据(诸如所接收的多个P-相位数据值块)可能需要被压缩以节省成像设备102的存储器或存储空间。
成像设备102可以被配置成确定P-相位数据值的第一输入块的预测器值。第一输入块可以对应于表示当前图像帧中的多个像素的所接收的多个块中的一个块。根据实施例，P-相位数据值的第一输入块的预测器值可以基于表示第一输入块的P-相位值的平均值来确定。平均值可以对应于第一输入块的P-相位数据值的算术平均数。预测器值的确定例如在图2和图3A中详细描述。根据实施例，预测器值可以基于P-相位数据值的多个列的逐列平均来确定(例如在图3B中详细描述)。P-相位数据值的多个列可以对应于先前图像帧。根据实施例，预测器值可以基于对逐列平均应用多项式函数来确定(例如在图3C中详细描述)。
成像设备102还可以被配置成基于第一输入块的P-相位数据值和所确定的预测器值来生成P-相位数据值的重构的第一块。根据实施例，重构的第一块可以基于第一输入块的P-相位数据值中的每一个值与所确定的预测器值之间的差来生成。所生成的重构的第一块中的P-相位数据值可以对应于第一输入块的压缩P-相位数据值。
成像设备102还可以被配置成基于所生成的重构的第一块的P-相位数据值来更新所确定的P-相位数据值的第二块的预测器值。第二块可以对应于表示当前图像帧中的像素的所接收的多个块中的另一块。根据实施例，所确定的预测器值可以基于所生成的重构的第一块的P-相位数据值的平均值来更新。成像设备102然后基于P-相位数据值的第二块和更新的预测器值生成P-相位数据值的重构的第二块。与P-相位数据值的第一块和第二块类似，对于所接收的多个P-相位数据值块中的每一个，对应的重构块可以由成像设备102生成。因此，可以生成用于所接收的多个P-相位数据值块的压缩P-相位数据值。
参考图1B，其中示出作为图像传感器104的部件的光感测元件104A。根据实施例，包括在成像设备102中的图像传感器104可以包括多个光感测元件，诸如光感测元件104A。光感测元件104A可以包括光电二极管114和多个晶体管116。光电二极管114可以被配置成生成指示冲击在光电二极管114上的光的强度水平的输出信号，并且多个晶体管116可以被配置成控制多个光感测元件的复位、电荷转移和行选择操作。
成像设备102可以被配置成计算所生成的压缩P-相位数据值和D-相位数据值之间的差，所述D-相位数据值与表示当前图像帧中的多个像素的所接收的多个块相关联。基于所生成的压缩P-相位数据值和D-相位数据值之间的所计算的差，成像设备102还可以被配置成将当前图像帧变换成细化的当前图像帧。根据实施例，通过从当前图像帧中去除噪声，可以利用所计算的差来获得细化的当前图像帧。
根据实施例，所计算的差可以对应于从多个光感测元件中的每一个的对应D-相位数据值消除P-相位数据值。可以这样做以生成细化的当前图像帧中的相关双采样(CDS)校正的数字输出像素值。根据实施例，从图像传感器104接收的P-相位数据值可以在处理D-相位数据值之前被处理，以使得能够在成像设备102的存储器单元(未示出)中将所接收的P-相位数据值作为生成的压缩P-相位数据值存储。
根据本公开的另一个方面，成像设备102可以被配置成传输从图像传感器104接收的多个P-相位数据值块。服务器106可以被配置成确定P-相位数据值的第一输入块的预测器值。服务器106还可以被配置成基于第一输入块的P-相位数据值和所确定的预测器值来生成P-相位数据值的重构的第一块。服务器106还可以被配置成基于所生成的重构的第一块的P-相位数据值来为P相位数据值的第二块更新所确定的预测器值。服务器106还可以被配置成基于重构的第一块和至少重构的第二块来生成对应于所接收的多个P-相位数据值块的压缩P-相位数据值。基于P-相位数据值的第二块和更新的预测器值生成重构的第二块。服务器106还可以被配置成经由通信网络108将生成的压缩P-相位数据值传输到成像设备102。
图2图示根据本公开的实施例的成像设备的框图。图2结合图1A的元件进行说明。参考图2，其中示出成像设备102，其可以包括处理电路系统部分102A和入射光控制部分102B。处理电路系统部分102A可以包括被配置成用于P-相位数据压缩的一个或多个电路。该一个或多个电路可以包括处理器202、存储器单元204、用户接口(UI)206、预测器确定单元208、重构块生成器210、一个或多个输入/输出(I/O)单元(诸如(I/O)单元212)以及网络接口214。通信网络108(图1A)被示为与网络接口214相关联。处理电路系统部分102A还可以包括由成像器控制器218控制的成像器216、图像传感器(诸如图像传感器104)以及图像变换单元228。入射光控制部分102B可以包括由透镜控制器222和透镜驱动器224控制的多个透镜220。多个透镜220可以包括光圈220A。快门226也在入射光控制部分102B中示出。
参考图2，一个或多个电路(诸如处理器202、存储器单元204、UI 206、预测器确定单元208、重构块生成器210、I/O单元212、网络接口214和图像变换单元228)可以直接或间接耦合到彼此。图像传感器104的输出可以与处理器202结合提供给预测器确定单元208。预测器确定单元208的输出还可以与处理器202结合提供给重构块生成器210。此外，重构块生成器210的输出可以提供给I/O单元212。网络接口214可以被配置成经由通信网络108与示例性服务器(诸如服务器106)通信。
根据实施例，成像器216可以通信地耦合到图像传感器，诸如图像传感器104。多个透镜220可以与透镜控制器222和透镜驱动器224连接。多个透镜220可以由透镜控制器222结合处理器202来控制。根据实施例，在不偏离本公开的范围的情况下，成像设备102的处理电路系统部分102A可以在示例性服务器(诸如服务器106)中实现。
处理器202可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成执行存储在存储器单元204中的指令集。处理器202还可以被配置成用于由成像设备102捕获的图像或图像帧序列中的P-相位数据压缩。处理器202可以基于本领域已知的许多电子控制单元技术来实现。处理器202的示例可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其它处理器。
存储器单元204可以包括合适的逻辑，电路系统和/或接口，其可以被配置成存储机器码和/或指令集，其中至少一个代码部分可由处理器202执行。存储器单元204还可以配置成存储由成像设备102捕获的一个或多个图像和视频内容110。存储器单元204还可以被配置成存储成像设备102的操作系统和相关联的应用。存储器单元204的实现的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、处理器高速缓存、硬盘驱动器(HDD)、闪存和/或安全数字(SD)卡。
UI 206可以包括可以在成像设备102的I/O单元212上呈现的合适的接口。UI 206可以呈现由成像设备102捕获的视频，诸如视频内容110。UI 206还可以呈现由成像设备102生成的细化图像帧。
预测器确定单元208可以包括合适的逻辑、电路系统和/或接口，其可以被配置成为从图像传感器104接收的多个P-相位数据值块中的每一块确定预测器。预测器确定单元208可以被实现为成像设备102中的单独处理器或电路系统。预测器确定单元208和处理器202可以被实现为执行预测器确定单元208和处理器202的功能的集成处理器或处理器集群。预测器确定单元208可以被实现为存储在存储器单元204中的指令集，当该指令集由处理器202执行时可以执行成像设备102的功能和操作。
重构块生成器210可以包括合适的逻辑、电路系统和/或接口，其可以被配置成为从图像传感器104接收的多个P-相位数据值块中的每一块生成重构的P-相位数据值块。重构块生成器210可以被实现为成像设备102中的单独处理器或电路系统。重构块生成器210和处理器202可以被实现为执行重构块生成器210和处理器202的功能的集成处理器或处理器集群。重构块生成器210可以被实现为存储在存储器单元204中的指令集，当该指令集由处理器202执行时可以执行成像设备102的功能和操作。
I/O单元212可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成控制细化图像和压缩P-相位数据值在显示屏幕上的呈现。显示屏可以通过几种已知的技术来实现，该技术诸如但不限于液晶显示(LCD)显示器、发光二极管(LED)显示器和/或有机LED(OLED)显示器技术。I/O设备212可以包括可以被配置成与处理器202通信的各种输入和输出设备。输入设备或输入机构的示例可以包括但不限于快门按钮、成像设备102(诸如相机)上的记录按钮、呈现在成像设备102的UI 206上的软件按钮、触摸屏、麦克风、运动和/或手势传感器、和/或光传感器。输出设备的示例可以包括但不限于显示器屏幕、投影仪屏幕和/或扬声器。
网络接口214可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置成经由通信网络108(如图1A所示)与一个或多个云资源(诸如服务器106(如图1A所示))通信。网络接口214可以实现已知的技术以支持成像设备102与通信网络108的有线通信或无线通信。网络接口214的部件可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、订户识别模块(SIM)卡和/或本地缓冲器。
成像器216可以包括合适的电路系统和/或接口，其可以被配置成在没有任何失真的情况下将图像从模拟光信号变换成一系列数字像素。成像器216的实现的示例可以包括但不限于电荷耦合器件(CCD)成像器或互补金属氧化物半导体(CMOS)成像器或其组合。
成像器控制器218可以包括合适的逻辑、电路系统和/或接口，其可以被配置成基于从处理器202接收的指令来控制成像器216的朝向或方向。成像器控制器218可以通过利用本领域技术人员众所周知的各种技术来实现。
多个透镜220可以对应于与相机主体(诸如成像设备102的主体)以及捕获图像帧的机构结合使用的光学透镜或透镜组件。图像帧可以捕获在摄影胶片上或者捕获在能够以化学或电子方式存储图像的其它介质上。
透镜控制器222可以包括合适的逻辑、电路系统和/或接口，其可以被配置成控制多个透镜220的各种特性，诸如变焦、聚焦或光阑。透镜控制器222可以集成为成像设备102的一部分，或者可以是与处理器202结合的独立单元。在独立单元的情况下，透镜控制器222和/或多个透镜220例如可以被实现为成像设备102的可移除附件。透镜控制器222可以通过使用本领域技术人员众所周知的若干技术来实现。
透镜驱动器224可以包括合适的逻辑、电路系统和/或接口，其可以被配置成基于从透镜控制器222所接收的指令来执行变焦和聚焦控制以及光圈控制。透镜驱动器224可以通过使用本领域技术人员众所周知的若干技术来实现。
快门226可以允许光通过确定的时间段或特定的时间段，从而将成像器216暴露于光以便捕获多个图像帧。快门可以是全局快门类型。在全局快门类型的快门226的情况下，P-相位数据(诸如多个P-相位数据值块)在接收D-相位数据值之前被接收。因此，在全局快门类型的快门226的情况下，CDS处理需要噪声分量(诸如所接收的多个P-相位数据值块)在D-相位数据值之前被存储。
图像变换单元228可以包括合适的逻辑、电路系统和/或接口，其可以被配置成通过从当前图像帧中去除噪声来将当前图像帧变换为细化的当前图像帧。图像变换单元228可以被实现为成像设备102中的单独处理器或电路系统。图像变换单元228和处理器202可以被实现为执行图像变换单元228和处理器202的功能的集成处理器或处理器集群。图像变换单元228可以被实现为存储在存储器单元204中的指令集，当该指令集由处理器202执行时可以执行成像设备102的功能和操作。
在操作中，处理器202可以被配置成接收输入以捕获视频内容(诸如视频内容110)的图像或图像帧序列。图像帧序列可以通过使用图像传感器104通过多个透镜220来捕获。多个透镜220可以由透镜控制器222和透镜驱动器224结合处理器202来控制。多个透镜220可以基于从用户接收的输入信号来控制。输入信号可以由用户经由在UI 206上呈现的图形按钮的选择或在成像设备102处可用的硬件按钮的按钮按压事件来提供。可替代地，成像设备102可以检索预先存储在存储器单元204中的图像帧序列。
处理器202可以被配置成从图像传感器104接收多个P-相位数据值块。所接收的多个块可以表示所捕获的图像帧序列的当前图像帧中的多个像素。预测器确定单元208可以被配置成确定P-相位数据值的第一输入块的预测器值。第一输入块可以对应于表示当前图像帧中的多个像素的所接收的多个块中的一个块。
根据实施例，P-相位数据值的第一输入块的预测器值可以基于第一输入块的P-相位值的平均来确定。第一输入块对应于表示当前图像帧中的多个像素的所接收的多个块中的一个块。预测器值的确定例如在图3A、3B和3C中说明。
图3A至3C共同图示根据本公开的实施例的用于实现所公开的用于P-相位数据压缩的成像设备和方法的示例性场景。图3A至3C结合图1和图2的元件进行描述。
参考图3A，其中示出用于P-相位数据压缩的示例性场景300A。图3A结合图1A和图2的元件进行说明。参考示例性场景300A，其中示出示例性块302、第一输入块304、结果预测器块306、第一残差块308、重构的第一块310、第二输入块312、第二残差块314和重构的第二块316。示例性块302包括由处理器202从图像传感器104接收的P-相位数据值的八乘八块。示例性块302的八乘八(8x8)个块中的每一个块可以对应于由相机(诸如成像设备102)捕获的图像帧序列的当前图像帧中的像素。换句话说，图3A中的每个1x1块(或框)可以表示像素，并且8x8块表示图片，诸如当前图像帧。第一输入块304对应于示例性块302的八乘八块的第一行。第二输入块312对应于示例性块302的八乘八块的第二行。
预测器确定单元208可以被配置成确定第一输入块304的P-相位数据值的预测器值。根据示例性场景300A，第一输入块304的预测器值可以基于第一输入块304的P-相位数据值的平均来确定。第一输入块304的预测器值可以存储在结果预测器块306中。例如，第一输入块304的原始P-相位数据值可以依次是1690、1676、1669、1656、1681、1680、1677和1654。第一输入块304是指示例性块302的八乘八块中的第一行。在这种情况下，第一输入块304的预测器值是1672，其是原始P-相位数据值的块平均。这个预测器值“1672”然后可以被存储在结果预测器块306中。
重构块生成器210可以被配置成从预测器确定单元208接收所确定的预测器值。重构块生成器210可以被配置成计算第一输入块304的P-相位数据值中的每一个值和所确定的预测器值之间的差。对应于第一输入块304的P-相位数据值中的每一个值和所确定的预测器值之间的所计算的差的值可以存储在残差块308中。对应于第一输入块304的P-相位数据值中的每一个值和所确定的预测器值之间的所计算的差的值也可以称为残差。例如，残差块308中的值可以依次是18、4、-3、-16、9、8、5和-18。在这种情况下，1690(原始P-相位数据值)与1672(预测器值)之间的差＝18(残差块308的第一残差值)。类似地，1676(另一个原始P-相位数据值)-1672＝4(残差块308的第二残差值)。因此，以这种方式，可以计算残差块308中的值。与其中可以为压缩目的计算块的两个连续值之间的差的常规的基于DPCM的压缩方法不同，使用用于每个块的唯一预测器值对于展现出类似噪声特性的数据(诸如P-相位数据值)是有利的。
重构块生成器210可以被配置成还对残差块308中的值进行编码，以生成重构的第一块310。根据实施例，残差块308中的值和所确定的预测器值还可以通过一个或多个熵编码技术进行编码。因此，可以替代地指出，重构块生成器210可以被配置成基于第一输入块304的P-相位数据值和存储在结果预测器块306中的所确定的预测器值来生成重构的第一块310。所生成的重构的第一块310中的P-相位数据值可以对应于第一输入块304的压缩P-相位数据值。由于用于第一输入块304的预测器值是根据相同块的原始P-相位数据值(第一块310的P-相位数据值的平均)确定的，因此第一输入块304的这种编码也可以被称为P-相位数据值和预测器值的内部预测(intra-predication)的块内编码。此外，在P-相位数据值的压缩位流中可能需要用于第一输入块304的压缩预测器值的信令，以使得能够进行解码。
预测器确定单元208还可以被配置成基于所生成的重构的第一块310的P-相位数据值来更新存储在P-相位数据值的第二块312的结果预测器块306中的所确定的预测器值。根据实施例，存储在结果预测器块306中的所确定的预测器值可以基于所生成的重构的第一块310的P-相位数据值的平均值来更新。处理器202还可以被配置成将更新的预测器值存储在结果预测器块306中。
类似于第一输入块304，重构块生成器210还可以被配置成基于第二输入块312的P-相位数据值和存储在结果预测器块306中的更新的预测器值来生成重构的第二块316。重构块生成器210可以从预测器确定单元208接收更新的预测器值。由于用于第二输入块312的预测器值是根据先前块确定的更新的预测器值(所生成的重构的第一块310的P-相位数据值的平均值)，因此这也可以被称为P-相位数据值和预测器值的之间预测(inter-prediction)的块间编码。此外，对于第二输入块312和P-相位数据值的示例性块302的八乘八块的所有后续块，可以不需要更新的预测器值的信令。
根据实施例，重构的第二块316可以基于残差块314的值的编码来生成。类似于残差块308的值，残差块314的值基于第二块312的P-相位数据值中的每一个值和存储在结果预测器块306中的更新的预测器值之间的差来计算。所生成的重构的第二块316中的P-相位数据值可以对应于第二块312的压缩P-相位数据值。
预测器确定单元208可以被配置成基于重构的先前块的P-相位数据值(诸如，所生成的重构的第二块310)来为示例性块302的P-相位数据值的下一块进一步更新存储在的结果预测器块306中的所确定的预测器值。类似于重构的第一块310和重构的第二块316，重构块生成器210可以被配置成生成从图像传感器104接收的示例性块302的压缩P-相位数据值。
此外，处理器202可以被配置成计算所生成的压缩P-相位数据值和与从图像传感器104所接收的示例性块302相关联的D-相位数据值之间的差。可以包括例如P-相位数据值的八乘八块的示例性块302可以表示当前图像帧中的对应像素。基于所生成的压缩P-相位数据值和D-相位数据值之间的所计算的差，图像变换单元228可以被配置成将当前图像帧变换为细化的当前图像帧。换句话说，可以理解的是，所计算的差可以用于从当前图像帧中去除噪声以获得细化的当前图像帧。
参考图3B，其中示出用于P-相位数据压缩的另一个示例性场景300B。图3B结合图1A和图2的元件进行说明。参考示例性场景300B，其中示出第一示例性块318、第二示例性块320、第一输入块322、结果预测器块324、第一残差块326、重构的第一块328、第二输入块330、第二残差块332和重构的第二块334。第一示例性块318和第二示例性块320包括由处理器202从图像传感器104接收的P-相位数据值的八乘八块。第一示例性块318的八乘八块中的每一个块可以表示在时间实例“t-1”拍摄的先前图像帧中的对应像素。还示出P-相位数据值的多个平均值318a和多个平均值318a的最终平均值318b。第二示例性块320的八乘八块中的每一个块可以表示由成像设备102捕获的图像帧序列的在时间实例“t”拍摄的当前图像帧中的对应像素。第一输入块322对应于第二示例性块320的八乘八块的第一行。第二输入块330对应于第二示例性块320的八乘八块的第二行。
预测器确定单元208可以被配置成确定第一输入块322的P-相位数据值的预测器值。根据示例性场景300B，第一输入块322的预测器值可以基于P-相位数据值的多个平均值318a的最终平均值318b来确定。可以计算第一示例性块318的多个列中的第一列的P-相位数据值的平均值。类似地，对于第一示例性块318的多个列中的每一列，可以计算平均值。这些平均值可以对应于第一示例性块318的多个列的多个平均值318a。换句话说，多个平均值318a可以是第一示例性块318的多个列的逐列平均。最终平均值318b可以是多个平均值318a的平均。因此，对应于先前图像帧的第一示例性块318的最终平均值318b可以被视为对应于当前图像帧的第二示例性块320的第一输入块322的预测器值。因此，所确定的预测器值可以被称为从整个第一示例性块318导出的全局预测器。第一输入块322的所确定的预测器值可以存储在结果预测器块324中。在确定第一输入块322的预测器值之后，第一残差块326的值可以基于第一输入块322的P-相位数据值和存储在结果预测器块324中的所确定的预测器值来计算。第一残差块326的值的计算和重构的第一块328的生成可以类似于重构的第一块310的生成，如例如在图3A中所描述的那样。此外，预测器确定单元208还可以被配置成基于所生成的重构的第一块328的P-相位数据值来为P-相位数据值的第二输入块330更新存储在结果预测器块324中的所确定的预测器值。第二残差块332的值的计算和重构的第二块334的生成可以分别类似于第二残差块314的值的计算和重构的第二块316的生成，如在例如图3A中描述的那样。重构块生成器210可以基于重构的第一块328、第二重构块334和第二示例性块320的其它重构块来生成与从图像传感器104接收的第二示例性块320相关联的压缩P-相位数据值。此外，图像变换单元228然后可以基于所生成的压缩P-相位数据值和D-相位数据值之间的所计算的差将当前图像帧变换为细化的当前图像帧。
参考图3C，其中示出用于P-相位数据压缩的另一个示例性场景300C。图3C结合图1、2、3A和3B进行说明。参考示例性场景300C，除了图3B的各种元件之外，还示出图形多项式表示336。根据示例性场景300C，第一输入块322的预测器值可以基于应用P-相位数据值的多个平均值318a的最终平均值318b的多项式函数(如图形多项式表示336所示)来确定。多项式函数可以由下面给出的数学表达式(1)来表示。
Y＝A*X2+B*X+C (1),
其中Y＝预测器值；
X＝与多个平均值318a的最终平均值318b相关联的列位置，其中多个平均值318a表示第一示例性块318的多个列的逐列平均；并且
A、B和C可以是为特定图像传感器(诸如图像传感器104)确定的常数，其中A＝-4.17*10-6；B＝1.77*10-2；并且C＝1801.0。A、B和C的常数值可以针对不同的图像传感器进行调整或修改，并且可以与图像传感器104的常数值相同或不同。
根据实施例，由数学表达式(1)表示的多项式函数可以是例如P相位数据值的多个平均值318a的最终平均值318b的基于二次多项式的近似。在这点上，第一输入块322的预测器值可以通过使用数学表达式(1)基于最终平均值318b的基于二次多项式的近似来确定。第一输入块322的所确定的预测器值可以存储在结果预测器块324中。对应于先前图像帧的第一示例性块318的所确定的预测器值可以被用作对应于当前图像帧的第二示例性块320的第一输入块322的预测器值。因此，所确定的预测器值可以被称为根据整个第一示例性块318导出的基于模型的全局预测器。第一输入块322的所确定的预测器值可以存储在结果预测器块324中。在确定第一输入块322的预测器值之后，第一残差块326的值可以基于第一输入块322的P-相位数据值和存储在结果预测器块324中的所确定的预测器值来计算。第一残差块326的值的计算和重构的第一块328的生成可以类似于重构的第一块310的生成，如例如在图3A和图3B中所描述的那样。此外，预测器确定单元208还可以被配置成基于所生成的重构的第一块328的P-相位数据值来为P-相位数据值的第二输入块330更新存储在结果预测器块324中的所确定的预测器值。第二残差块332的值的计算和重构的第二块334的生成可以分别类似于第二残差块314的值的计算和重构的第二块316的生成，如例如图3A中所描述的那样。重构块生成器210可以基于重构的第一块328、第二重构块334和第二示例性块320的其它重构块来生成与从图像传感器104接收的第二示例性块320相关联的压缩P-相位数据值。此外，图像变换单元228然后可以基于所生成的压缩P-相位数据值和D-相位数据值之间的所计算的差将当前图像帧变换为细化的当前图像帧。
图4描绘根据本公开的实施例的图示成像设备中的P-相位数据压缩的示例性操作的流程图。参考图4，其中示出流程图400。流程图400结合图2进行描述。示例性操作在402处开始并且进行到404。
在404处，成像设备102可以接收输入以捕获图像帧序列。图像帧序列可以至少包括当前图像帧和先前图像帧。
在406处，可以从图像传感器104接收多个P-相位数据值块。处理器202可以被配置成从图像传感器104接收多个P-相位数据值块。所接收的多个块可以表示在成像设备102捕获图像帧序列时当前图像帧中的多个像素。
在408处，可以确定P-相位数据值的第一输入块的预测器值。预测器确定单元208可以被配置成接收可以对应于所接收的多个P-相位数据值块中的一个块的P-相位数据值的第一输入块。根据实施例，P-相位数据值的第一输入块的预测器值可以基于表示第一输入块的P-相位值的平均值来确定，如例如在图2和图3A中所描述的那样。根据实施例，P-相位数据值的第一输入块的预测器值可以基于多个平均P-相位数据值的最终平均值来确定，如例如在图2和图3B中所描述的那样。多个平均值可以是对应于表示先前图像帧中的多个像素的另外多个块的多个列的逐列平均。根据实施例，P-相位数据值的第一输入块的预测器值可以基于P-相位数据值的多个平均值的最终平均值基于应用多项式函数来确定，如例如在图2和图3C中所描述的那样。
在410处，P-相位数据值的重构的第一块可以基于第一输入块的P-相位数据值和所确定的预测器值来生成。重构块生成器210可以被配置成基于第一输入块的P-相位数据值和所确定的预测器值来生成P-相位数据值的重构的第一块。重构的第一块可以基于第一输入块的P-相位数据值中的每一个值与所确定的预测器值之间的差来生成，如例如在图2中所描述的那样。根据实施例，所生成的重构的第一块中的P-相位数据值对应于第一输入块的压缩P-相位数据值。
在412处，可以基于所生成的重构的第一块的P-相位数据值为P-相位数据值的第二块更新所确定的预测器值。结合重构块生成器210的预测器确定单元208可以被配置成基于所生成的重构的第一块的P-相位数据值来更新P-相位数据值的第二块的所确定的值。根据实施例，所确定的预测器值可以基于所生成的重构的第一块的P-相位数据值的平均值来更新。
在414处，可以基于P-相位数据值的第二块和更新的预测器值生成P-相位数据值的重构的第二块。重构块生成器210还可以被配置成基于P-相位数据值的第二块和更新的预测器来生成P-相位数据值的重构的第二块。
在416处，可以生成与所接收的多个块对应的压缩P-相位数据值。重构块生成器210可以被配置成基于重构的第一块和至少重构的第二块来生成对应于所接收的多个P-相位数据值块的压缩P-相位数据值。
在418处，所生成的压缩P-相位数据值可以存储在存储器单元204中。重构块生成器210可以被配置成将压缩的P-相位数据值存储在成像设备102的存储器单元204中。
在420处，可以计算所生成的压缩P-相位数据值和D-相位数据值之间的差。处理器202可以被配置成计算所生成的压缩P-相位数据值和与表示当前图像帧中的多个像素的所接收的多个块相关联的D-相位数据值之间的差。根据实施例，P-相位数据值可以对应于表示当前图像帧中的多个像素的参考电压的数字像素复位值。D-相位数据值可以对应于表示当前图像帧中的多个像素的信号电压的依赖于光的数字像素值。
在422处，当前图像帧可以被变换为细化的当前图像帧。图像变换单元228可以被配置成基于所生成的压缩P-相位数据值与D-相位数据值之间的所计算的差将当前图像帧变换为细化的当前图像帧。所计算的差可以用于从当前图像帧中去除噪声以获得细化的当前图像帧。控制传递到结束424。
根据本公开的实施例，公开了用于P-相位数据压缩的成像设备。成像设备102(图1A)可以被配置成捕获视频内容，诸如视频内容108。视频内容可以包括图像帧序列。成像设备102可以包括一个或多个电路，该一个或多个电路可以被配置成从图像传感器(诸如图像传感器104)接收多个P-相位数据值块。成像设备102还可以包括一个或多个电路(诸如预测器确定单元208(图2))，其可以被配置成确定P-相位数据值的第一输入块的预测器值。一个或多个电路(诸如重构块生成器210(图2))可以被配置成基于第一输入块的P-相位数据值和所确定的预测器值生成P-相位数据值的重构的第一块。一个或多个电路(诸如预测器确定单元208)可以被配置成基于所生成的重构的第一块的P-相位数据值来为P-相位数据值的第二块更新所确定的预测器值。此外，一个或多个电路(诸如重构块生成器210)可以被配置成基于重构的第一块和至少重构的第二块生成对应于所接收的多个P-相位数据值块的压缩P-相位数据值。重构的第二块基于P-相位数据值的第二块和更新的预测器值来生成。
在从图像传感器(诸如图像传感器104)实际接收到D-相位数据之前，对应于所接收的多个P-相位数据值块的压缩P-相位数据值可以存储在存储器单元204中，用于CDS处理。在由成像设备102使用全局快门用于捕获图像序列的情况下，可以在接收D-相位数据之前存储压缩P-相位数据值。P-相位数据值的压缩节省了成像设备102的存储空间。换句话说，在相同的硬件或存储空间的情况下，由于P-相位数据值的压缩，可以捕获和在成像设备102中存储更多的图像或视频数据。此外，重构块生成器210确保图像传感器104的kTC噪声保持恒定，同时减少由于P-相位数据压缩而引起的附加噪声。此外，用于低复杂度压缩的常规压缩方法可以包括DPCM。在捕获图像之后并且在捕获的图像具有彼此高度相似的相邻像素强度值的情况下，DPCM对于图像压缩可以是有效的。与其中为了压缩目的可以计算块的两个连续值之间的差的常规的基于DPCM的压缩方法不同，使用如由预测器确定单元208确定的每个块的唯一预测器值对于展现出类似噪声特性的数据(诸如P-相位数据值)是有利的。对于展现出类似噪声特性的数据(诸如P-相位数据)，基于DPCM的压缩方法对于压缩可能不是有效的，因为相邻P-相位数据值可能不展现出高相似性或均匀性。此外，除了与视频内容110的捕获图像或图像帧序列相关联的P-相位数据的高效压缩之外，所公开的用于P-相位数据压缩的方法和成像设备102还确保从捕获的图像中去除噪声，以便生成具有改善的图像质量的细化的捕获图像。与其中图像或图像帧序列可以在生成实际图像或图像帧序列之后被压缩的传统图像压缩方法相反，对应于所接收的多个P-相位数据值块的压缩P-相位数据值的生成在通过使用图像传感器104生成图像或图像帧序列时发生。因此，向成像设备102提供了在生成图像或图像帧序列时以及在图像或图像帧序列生成后节省存储器空间的附加压缩能力。
本公开的各种实施例包括许多优点，其包括用于P-相位数据压缩的设备(诸如成像设备102)和方法。在使用全局快门的成像设备(诸如成像设备102)中，CDS处理需要在从图像传感器(诸如图像传感器104)接收到D-相位数据之前存储P-相位数据。由预测器确定单元208确定P-相位数据值的准确预测器值提供了生成P-相位数据值的重构块的基础。此外，基于重构的先前块的P-相位数据值来为P-相位数据值的下一块执行的所确定的预测器值的连续更新。作为基于重构的先前块的P-相位数据值的对预测器值的更新操作的结果，在生成用于解码目的的压缩位流时，所接收的多个P-相位数据值块的所有后续P-相位数据值块的预测器值不需要信令。这进一步节省了成像设备102的存储器单元204中的存储空间。此外，所公开的设备(诸如成像设备102)的这些和其它特征以及用于P-相位数据压缩的方法为类似噪声的数据(诸如P-相位数据值)的压缩的问题提供了在图像传感器和/或相机技术领域中的特定具体解决方案。
本公开的各种实施例可以提供非瞬态计算机可读介质和/或存储介质，其中具有存储在其上的机器码和/或指令集，该机器码和/或指令集具有可由用于P-相位数据压缩的机器/或计算机执行的至少一个代码部分。成像设备102中的至少一个代码部分可以使机器和/或计算机执行包括从图像传感器接收多个P-相位数据值块的步骤。成像设备102还可以被配置成确定P-相位数据值的第一输入块的预测器值。成像设备102还可以被配置成基于第一输入块的P-相位数据值和所确定的预测器值来生成P-相位数据值的重构的第一块。成像设备102还可以被配置成基于所生成的重构的第一块的P-相位数据值来为P-相位数据值的第二块更新所确定的预测器值。此外，成像设备102可以被配置成基于重构的第一块和至少重构的第二块来生成对应于所接收的多个P-相位数据值块的压缩P-相位数据值。可以基于P-相位数据值的第二块和更新的预测器值来生成重构的第二块。
本公开可以用硬件或者硬件和软件的组合来实现。本公开可以以集中式的方式(在至少一个计算机系统中)或以分布式的方式(其中不同的元件可以散布在若干个互连的计算机系统中)实现。适于执行本文所述的方法的计算机系统或其它装置都可以是适合的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当所述计算机程序被加载和执行时可以控制计算机系统，使该计算机系统执行本文所描述的方法。本公开可以用包括还执行其它功能的集成电路的一部分的硬件来实现。
本公开还可以嵌入在计算机程序产品中，该计算机程序产品包括使得能够实现本文所描述的方法的所有特征，并且当该计算机程序产品被加载到计算机系统中时能够执行这些方法。在此背景下，计算机程序的意思是指令集的以任何语言、代码或符号形式的任何表示，所述指令旨在使具有信息处理能力的系统直接地或者在以下任何一者两者之后执行特定的功能：a)转换成另一种语言、代码或符号；b)在不同的材料形式中复制。
虽然已参考某些实施例对本公开进行了描述，但是本领域技术人员将理解的是，在不背离本公开的范围的情况下，可以进行各种改变并且可以被等价物替换。此外，在不背离其范围的情况下，可以进行许多修改以使特定的情形或材料适于本公开的教导。因此，本公开不是旨在限于所公开的特定实施例，而是本公开将包括属于所附权利要求的范围内的所有实施例。

Claims (28)

1.一种成像设备，包括：
一个或多个电路，被配置成：
从图像传感器接收多个P-相位数据值块；
确定接收到的多个P-相位数据值块的第一输入块的预测器值；
基于所述第一输入块的P-相位数据值和确定的预测器值生成P-相位数据值的重构的第一块；
基于生成的重构的第一块的所述P-相位数据值，为所述接收到的多个P-相位数据值块的第二块更新所述确定的预测器值；以及
基于所述重构的第一块和至少重构的第二块，生成对应于所述接收到的多个P-相位数据值块的压缩P-相位数据值，其中所述重构的第二块基于P-相位数据值的所述第二块和更新的预测器值生成的。
2.如权利要求1所述的成像设备，其中所述生成的重构的第一块中的P-相位数据值对应于所述第一输入块的压缩P-相位数据值。
3.如权利要求1所述的成像设备，其中所述重构的第一块基于所述第一输入块的所述P-相位数据值中的每一个值和所述确定的预测器值之间的差来生成。
4.如权利要求1所述的成像设备，其中所述P-相位数据值的所述第一输入块的所述预测器值基于表示所述第一输入块的所述P-相位数据值的平均值或平均数值中的一个值来确定，其中所述第一输入块对应于表示当前图像帧中的多个像素的接收到的多个块中的一个块。
5.如权利要求1所述的成像设备，其中所述P-相位数据值的所述第一输入块的所述预测器值基于P-相位数据值的多个平均值的最终平均值来确定，其中所述多个平均值是对应于表示先前图像帧中的多个像素的另外多个块的多个列的逐列平均值。
6.如权利要求5所述的成像设备，其中所述P-相位数据值的所述第一输入块的所述预测器值基于对所述P-相位数据值的所述多个平均值的所述最终平均值应用多项式函数来确定。
7.如权利要求1所述的成像设备，其中所述一个或多个电路还被配置成基于所述生成的重构的第一块的所述P-相位数据值的平均值来更新所述确定的预测器值。
8.如权利要求1所述的成像设备，其中所述一个或多个电路还被配置成计算生成的压缩P-相位数据值和与表示当前图像帧中的多个像素的所接收到的多个块相关联的D-相位数据值之间的差。
9.如权利要求8所述的成像设备，其中所述一个或多个电路还被配置成基于所述生成的压缩P-相位数据值和所述D-相位数据值之间的所计算出的差将所述当前图像帧变换为细化的当前图像帧。
10.如权利要求9所述的成像设备，其中所述差用于从所述当前图像帧中去除噪声以获得所述细化的当前图像帧。
11.如权利要求9所述的成像设备，其中所述图像传感器包括多个光感测元件，其中所述差对应于从所述多个光感测元件中的每一个元件的对应的D-相位数据值中消除所述P-相位数据值，以生成所述细化的当前图像帧中的相关双采样(CDS)校正的数字输出像素值。
12.如权利要求9所述的成像设备，其中从所述图像传感器接收到的所述P-相位数据值在处理所述D-相位数据值之前被处理，以使得能够在所述成像设备的存储器单元中将所述接收到的P-相位数据值存储为所述生成的压缩P-相位数据值。
13.如权利要求12所述的成像设备，其中所述P-相位数据值对应于表示所述当前图像帧中的多个像素的参考电压的数字像素复位值，并且其中所述D-相位数据值对应于表示所述当前图像帧中的所述多个像素的信号电压的依赖于光的数字像素值。
14.如权利要求1所述的成像设备，其中所述第二块对应于表示当前图像帧中的多个像素的所接收到的多个块中的另一块。
15.一种用于数据压缩的方法，包括：
在成像设备中：
从图像传感器接收多个P-相位数据值块；
确定P-相位数据值的第一输入块的预测器值；
基于所述第一输入块的P-相位数据值和确定的预测器值生成P-相位数据值的重构的第一块；
基于生成的重构的第一块的所述P-相位数据值，为P-相位数据值的第二块更新所述确定的预测器值；以及
基于所述重构的第一块和至少重构的第二块，生成对应于接收到的多个P-相位数据值块的压缩P-相位数据值，其中所述重构的第二块基于所述P-相位数据值的第二块和更新的预测器值来生成。
16.如权利要求15所述的方法，其中所述生成的重构的第一块中的P-相位数据值对应于所述第一输入块的压缩P-相位数据值。
17.如权利要求15所述的方法，其中所述重构的第一块基于所述第一输入块的所述P-相位数据值中的每一个值和所述确定的预测器值之间的差来生成。
18.如权利要求15所述的方法，其中所述P-相位数据值的所述第一输入块的所述预测器值基于表示所述第一输入块的所述P-相位数据值的平均值或平均数值中的一个值来确定，其中所述第一输入块对应于表示当前图像帧中的多个像素的所接收到的多个块中的一个块。
19.如权利要求15所述的方法，其中所述P-相位数据值的所述第一输入块的所述预测器值基于P-相位数据值的多个平均值的最终平均值来确定，其中所述多个平均值是对应于表示先前图像帧中的多个像素的另外多个块的多个列的逐列平均值。
20.如权利要求19所述的方法，其中所述P-相位数据值的所述第一输入块的所述预测器值基于对所述P-相位数据值的所述多个平均值的所述最终平均值应用多项式函数来确定。
21.如权利要求15所述的方法，其中所述一个或多个电路还被配置成基于所述生成的重构的第一块的所述P-相位数据值的平均值来更新所述确定的预测器值。
22.如权利要求15所述的方法，其中所述一个或多个电路还被配置成计算生成的压缩P-相位数据值和与表示当前图像帧中的多个像素的所接收到的多个块相关联的D-相位数据值之间的差。
23.如权利要求22所述的方法，其中所述一个或多个电路还被配置成基于所述生成的压缩P-相位数据值和所述D-相位数据值之间的所计算出的差将所述当前图像帧变换为细化的当前图像帧。
24.如权利要求23所述的方法，其中所述差用于从所述当前图像帧中去除噪声以获得所述细化的当前图像帧。
25.如权利要求23所述的方法，其中所述图像传感器包括多个光感测元件，其中所述差对应于从所述多个光感测元件中的每一个元件的对应的D-相位数据值中消除所述P-相位数据值，以生成所述细化的当前图像帧中的相关双采样(CDS)校正的数字输出像素值。
26.如权利要求23所述的方法，其中从所述图像传感器接收到的所述P-相位数据值在处理所述D-相位数据值之前被处理，以使得能够在所述成像设备的存储器单元中将接收到的P-相位数据值存储为所述生成的压缩P-相位数据值。
27.如权利要求26所述的方法，其中所述P-相位数据值对应于表示所述当前图像帧中的多个像素的参考电压的数字像素复位值，并且其中所述D-相位数据值对应于表示所述当前图像帧中的所述多个像素的信号电压的依赖于光的数字像素值。
28.如权利要求15所述的方法，其中所述第二块对应于表示当前图像帧中的多个像素的所接收到的多个块中的另一块。
CN201710798153.9A 2016-09-22 2017-09-07 用于p-相位数据压缩的设备和方法 Active CN107872632B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/272,918 US10249027B2 (en) 2016-09-22 2016-09-22 Device and method for P-phase data compression
US15/272,918 2016-09-22

Publications (2)

Publication Number Publication Date
CN107872632A true CN107872632A (zh) 2018-04-03
CN107872632B CN107872632B (zh) 2020-05-01

Family

ID=61620782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710798153.9A Active CN107872632B (zh) 2016-09-22 2017-09-07 用于p-相位数据压缩的设备和方法

Country Status (2)

Country Link
US (1) US10249027B2 (zh)
CN (1) CN107872632B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244331A1 (en) * 2004-10-22 2009-10-01 Sanyo Electric Co., Ltd. Noise eliminator
CN102695005A (zh) * 2012-05-29 2012-09-26 昆山锐芯微电子有限公司 噪声因子的编码、噪声的抑制方法和装置及图像传感器
CN103957365A (zh) * 2014-04-08 2014-07-30 天津大学 用于实现预测编码图像压缩的cmos图像传感器结构
CN104427271A (zh) * 2013-08-29 2015-03-18 索尼公司 Cmos图像传感器和用压缩实施相关双采样的成像方法
US20160119570A1 (en) * 2013-08-29 2016-04-28 Sony Corporation Cmos image sensor and imaging method implementing correlated double sampling and compression

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764374A (en) * 1996-02-05 1998-06-09 Hewlett-Packard Company System and method for lossless image compression having improved sequential determination of golomb parameter
US7671321B2 (en) * 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US20100220215A1 (en) 2009-01-12 2010-09-02 Jorge Rubinstein Video acquisition and processing systems
US8462848B2 (en) 2009-12-17 2013-06-11 Broadcom Corporation Method and system for intra-mode selection without using reconstructed data
US9161058B2 (en) 2010-03-27 2015-10-13 Texas Instruments Incorporated Method and system for detecting global brightness change for weighted prediction in video encoding
CN108650516A (zh) 2012-07-09 2018-10-12 株式会社尼康 压缩装置、图像压缩装置及拍摄装置
JP6787667B2 (ja) 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244331A1 (en) * 2004-10-22 2009-10-01 Sanyo Electric Co., Ltd. Noise eliminator
CN102695005A (zh) * 2012-05-29 2012-09-26 昆山锐芯微电子有限公司 噪声因子的编码、噪声的抑制方法和装置及图像传感器
CN104427271A (zh) * 2013-08-29 2015-03-18 索尼公司 Cmos图像传感器和用压缩实施相关双采样的成像方法
US20160119570A1 (en) * 2013-08-29 2016-04-28 Sony Corporation Cmos image sensor and imaging method implementing correlated double sampling and compression
CN103957365A (zh) * 2014-04-08 2014-07-30 天津大学 用于实现预测编码图像压缩的cmos图像传感器结构

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. ITONAGA ET AL: "Extremely-Low-Noise CMOS Image Sensor with High Saturation Capacity", 《LTE TECHNICAL REPORT》 *

Also Published As

Publication number Publication date
US10249027B2 (en) 2019-04-02
CN107872632B (zh) 2020-05-01
US20180084220A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN104702851B (zh) 使用嵌入式数据的强大自动曝光控制
JP6081726B2 (ja) 多重露出フュージョン基盤でゴーストブラーを除去したｈｄｒ映像生成装置及び方法
US11570376B2 (en) All-in-focus implementation
US9516221B2 (en) Apparatus and method for processing image in camera device and portable terminal using first and second photographing information
CN111275653B (zh) 图像去噪方法及装置
CN109118430B (zh) 超分辨率图像重建方法及装置、电子设备及存储介质
CN107950017B (zh) 图像处理设备、图像处理方法以及摄像设备
KR102425159B1 (ko) 샘플 이미지 세트 획득 방법 및 장치
JP2016129416A (ja) 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法
CN108076343A (zh) 细化p-相位数据的编码的方法和系统
US20080055431A1 (en) Dark frame subtraction using multiple dark frames
CN112634160A (zh) 拍照方法及装置、终端、存储介质
US20130307999A1 (en) Virtual Image Signal Processor
KR20090045643A (ko) 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법
CN107872632A (zh) 用于p‑相位数据压缩的设备和方法
CN109309784B (zh) 移动终端
WO2022226963A1 (zh) 图像处理方法、装置、电子设备及存储介质
US20170270645A1 (en) Image processing apparatus having image refocusing function, control method for image processing apparatus, and storage medium
JP5507865B2 (ja) 画像処理装置、画像処理方法
CN115708122A (zh) 图像处理方法、装置、存储介质及终端
KR101324424B1 (ko) 휴대단말기의 영상 촬영 장치 및 방법
WO2014167170A1 (en) Method and technical equipment for imaging
JP2016039578A (ja) 画像伝送装置
JP2012099943A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant