CN111801948A - 图像处理装置和方法、成像元件和成像装置 - Google Patents

Abstract

本公开涉及能够抑制由于对放大的信号组进行编码/解码而引起的信号值的偏差的图像处理装置和方法、成像元件和成像装置。在本公开中，针对其信号已经被放大的图像自适应地执行处理，并且对该图像进行编码。例如，对于图像的每个像素值，通过加上在根据对图像执行的信号放大的增益值的值范围内随机设置的偏移值来执行编码。本公开适用于例如图像处理装置、图像编码装置、图像解码装置、成像元件和成像装置等。

Description

图像处理装置和方法、成像元件和成像装置

技术领域

本公开涉及图像处理装置和方法、成像元件和成像装置，具体地涉及可以抑制通过对放大的信号组编码和解码而产生的信号值偏差的图像处理装置方法方法、成像元件和成像装置。

背景技术

各种方法通常被提出作为用于对图像进行编码(压缩)和解码(解压缩)的方法。例如，提出了通过图像数据集的DPCM(差分脉冲编码调制)并且通过添加细化数据来将图像数据编码(压缩)为固定长度的方法(例如，参见专利文献1)。；

[引用列表]

[专利文献]

[专利文献1]

日本专利特许公开第2014-103543号。

发明内容

[技术问题]

然而，当通过该方法对由作为通过利用成像元件等对像素信号进行放大的高数字增益成像获得的捕获图像进行编码和解码时，在解码图像中可能出现像素偏移。

针对这些情况实现了本公开，并且本公开可以抑制通过对放大的信号组进行编码和解码而产生的信号值偏差。

[问题的解决方案]

根据本技术的一个方面的图像处理装置包括：自适应处理部，其对已经执行了信号放大的图像执行自适应图像处理；以及编码部，其对通过自适应处理部已经执行了自适应图像处理的图像进行简单编码。

根据本技术的一个方面的图像处理方法包括：对已经执行了信号放大的图像执行自适应图像处理；以及对已经经过自适应图像处理的图像执行简单编码。

根据本技术的另一个方面的成像元件包括：成像部，其捕获被摄对象的图像；自适应处理部，其对由成像部生成并且已经执行了信号放大的捕获图像执行自适应图像处理；以及编码部，其对已经由自适应处理部执行自适应图像处理的捕获图像执行简单编码。

根据本技术的又一个方面的成像装置包括成像元件，该成像元件包括：成像部，其捕获被摄对象的图像，自适应处理部，其对已经由成像部生成并且已经执行了信号放大的捕获图像执行自适应图像处理；以及编码部，其通过对已经由自适应处理部执行自适应图像处理的捕获图像执行简单编码来生成编码数据；以及解码部，其对由编码部生成的编码数据执行简单解码。

在根据本技术的一个方面的图像处理装置中，对已经执行了信号放大的图像执行自适应图像处理；并且对已经经过了自适应图像处理的图像执行简单编码。

在根据本技术的另一个方面的成像元件中，对通过捕获被摄对象的图像而生成并且已经执行了信号放大的捕获图像执行自适应图像处理；并且对已经执行了自适应图像处理的图像执行简单编码。

在根据本技术的又一个方面的成像装置中，对通过捕获被摄对象的图像而生成的并且已经执行了信号放大的捕获图像执行自适应图像处理，对已经执行了自适应图像处理的捕获图像进行简单编码，并且对由此生成的编码数据执行简单解码。

[本发明的有益效果]

根据本公开，可以处理图像。特别地，可以抑制通过对放大的信号组进行编码和解码而产生的信号值偏差。

附图说明

[图1]

图1是示出捕获图像的直方图的图。

[图2]

图2是示出固定长度编码的示例的图。

[图3]

图3是示出DC偏差的示例的图。

[图4]

图4是示出采用本技术的处理方法的列表的图。

[图5]

图5是示出用于执行方法#1的图像处理系统的主要配置示例的框图。

[图6]

图6是示出作为处理结果而生成的直方图的变化的示例的图。

[图7]

图7是示出随机偏移相加部的主要配置示例的图。

[图8]

图8是示出用于对偏移的值范围施加限制的语法的示例的图。

[图9]

图9是示出对偏移的值范围施加限制的示例的图。

[图10]

图10是用于说明基于方法#1的编码处理的流程的示例的流程图。

[图11]

图11是用于说明偏移相加处理的流程的示例的流程图。

[图12]

图12是用于说明基于方法#1的解码处理的流程的示例的流程图。

[图13]

图13是示出执行方法#1的图像处理系统的另一配置示例的框图。

[图14]

图14是示出执行方法#2的图像处理系统的主要配置示例的框图。

[图15]

图15是示出减法偏移设置部的主要配置示例的框图。

[图16]

图16是示出用于选择偏移的表的示例的图。

[图17]

图17是用于说明基于方法#2的编码处理的流程的示例的流程图。

[图18]

图18是用于说明偏移值设置处理的流程的示例的流程图。

[图19]

图19是用于说明基于方法#2的解码处理的流程的示例的流程图。

[图20]

图20是示出减法偏移设置部的另一配置示例的框图。

[图21]

图21是用于说明偏移值设置处理的流程的示例的流程图。

[图22]

图22是示出执行方法#2的图像处理系统的另一配置示例的框图。

[图23]

图23是示出执行方法#3的图像处理系统的另一配置示例的框图。

[图24]

图24是示出用于选择量化值的范围的表的示例的图。

[图25]

图25是示出设置量化值的范围的示例的图。

[图26]

图26是示出编码数据的配置示例的图。

[图27]

图27是用于说明基于方法#3的编码处理的流程的示例的流程图。

[图28]

图28是用于说明基于方法#3的解码处理的流程的示例的流程图。

[图29]

图29是示出执行方法#3的图像处理系统的另一配置示例的框图。

[图30]

图30是示出执行方法#4的图像处理系统的主要配置示例的框图。

[图31]

图31是用于说明基于方法#4的编码处理的流程的示例的流程图。

[图32]

图32是用于说明基于方法#4的解码处理的流程的示例的流程图。

[图33]

图33是示出执行方法#4的图像处理系统的另一配置示例的框图。

[图34]

图34是示出应用了本技术的成像元件的主要配置示例的图。

[图35]

图35是示出应用了本技术的成像元件的主要配置示例的图。

[图36]

图36是用于说明成像处理的流程的示例的流程图。

[图37]

图37是示出应用了本技术的成像装置的主要配置示例的图。

[图38]

图38是用于说明成像处理的流程的示例的流程图。

具体实施方式

在下文中，将说明用于执行本公开的实施方式(在下文中称为实施方式)。要注意的是，将按照以下顺序进行说明。

1.固定长度编码

2.总体概念(方法的概述)

3.第一实施方式(方法#1的详情)

4.第二实施方式(方法#2的详情)

5.第三实施方式(方法#3的详情)

6.第四实施方式(方法#4的详情)

7.第五实施方式(应用示例：成像元件)

8.第六实施方式(应用示例：成像装置)

9.补充说明

<1.固定长度编码>

<支持技术内容和技术术语的支持文献等>

本技术公开的范围不仅涵盖实施方式中的公开内容，而且还涵盖在提交本申请时公知的以下文献中的公开内容。

专利文献1：(参见上文)

专利文献2：日本特许公开第2006-303689号

专利文献3：US 2011/0292247

专利文献4：US 2012/0219231

即，以上文献中的公开也构成确定支持要求的依据。

<高数字增益成像>

例如，存在被称为高数字增益成像的成像方法，该成像方法将捕获图像乘以指定(prescribed)的增益值，以在暗处进行成像。例如，假设从通过捕获黑色图像而获得的捕获图像(例如，在镜头罩未卸下时获得的捕获图像)中获得图1的A的直方图的情况。要注意的是，在图1的A所示的直方图中，横轴指示像素值，而纵轴指示频率(像素数)。

当将该捕获图像乘以增大到八倍的数字增益以增强灵敏度时，各个像素的像素值之间的差增大到八倍。因此，如图1的B所示，该图像的直方图被扩展。即，在图1的A中密集的直方图在图1的B中变得稀疏，其中，值被分散到8的倍数，即例如48、56、64、72、80等。

<通过编码和解码产生DC偏差>

同时，通常已经提出了各种方法作为用于对图像进行编码(压缩)和解码(解压缩)的方法。例如，如专利文献1至专利文献4中所公开的，已经提出了用于通过图像数据集之间的DPCM(差分脉冲编码调制)并且通过添加细化数据来执行图像数据的固定长度编码(压缩)的方法。

然而，如果通过该方法对通过上述数字增益成像获得的捕获图像进行编码和解码，则例如对于解码图像，获得诸如图1的C所示的直方图。即，像素值的误差仅在+方向侧产生。因此，有可能在解码图像中产生平均像素值的偏差(也称为DC偏差)。

<DC偏差的产生原理>

将更具体地说明DC偏差的产生。首先，将说明上述固定长度编码。图2是示出包括像素块的图像数据的示意图，该像素块包括16个像素(像素1至16)。图2中每个像素的正方形表示像素值的位。顶部示出的每个正方形表示MSB(最高有效位)，底部示出的每个正方形表示LSB(最低有效位)。即，每个像素值是10位数据。

对每个块执行上述固定长度编码。首先，对块中的每个像素值进行量化，并且从LSB中删除指定数目的位(低位)。即，仅剩余在图2中由白方块表示的位。接下来，计算经量化的像素值与下一个像素的像素值的差(执行DPCM)。获得的差分值(DPCM残差)是编码数据。

更具体地，例如，按图2中从左侧到右侧的顺序处理图2的块中的像素数据。对要首先处理的像素数据(图2中最左侧的列)中的较高7位(来自MSB的7位)执行PCM(脉冲编码调制)编码。即，在处于未压缩状态时，首先要处理的像素数据中的高7位被输出作为编码数据。然后，对第二个或更后要处理的像素数据执行DPCM(差分脉冲编码调制)编码。即，对于从图2的左侧起的第二个像素数据或更后的像素数据中的较高的7位，执行减去先前的(图2的左侧)像素数据的较高的7位，并且将其之间的差分值输出作为编码数据。

然后，为了将编码数据的各个长度调整为固定长度，计算此时的指定数据量与编码数据的数据量之间的差(即，数据不足量)，并且将删除的低位中的位的不足量相加(执行细化)。在图2中，浅灰色正方形表示通过细化而添加的位。

为了对该编码数据进行解码，首先提取通过细化而添加的位，并且按从右侧开始的顺序添加较高位的DPCM差分值。因此，像素数据中的较高位被解码。所提取的位被添加到较高的位，并且进一步经历过逆量化。即，通过编码丢失的位被替换为指定值。

换言之，作为这种编码的结果，关于图2中的深灰色正方形表示的位的信息被丢失。即，这种固定长度编码/解码以不可逆的方式执行。

在这种固定长度编码和解码中，与诸如AVC(高级视频编码)或HEVC(高效视频编码)的编码和解码方法相比，以更简单的方式对图像数据进行编码和解码。因此，与AVC、HEVC等相比，该固定长度编码和解码涉及较低的负荷，从而可以以更高的速度执行编码和解码。另外，可以容易地实现小型化，从而可以以较低的成本执行编码和解码。

这种编码有时被称为简单编码(或简单压缩)。而且，与这种简单编码对应的解码有时被称为简单解码(或简单解压缩)。简单编码是用于降低数据传输速率和存储带宽的图像编码技术。在简单编码中，对数据进行编码(压缩)以将主观图像质量保持在同一水平。为了将主观图像质量保持在同一水平，简单编码的压缩率通常低于诸如AVC的通用编码的压缩率(例如，大约为50％)。

在这样的简单编码(简单压缩)和简单解码(简单解压缩)中，代码量是固定长度。因此，与代码量可变的情况相比，对编码数据的管理变得容易。因此，例如，对记录有编码数据的DRAM中的编码数据的管理也很容易，使得可以以更高的速度来读写，并且可以进一步降低成本。

而且，在这种简单编码(简单压缩)和简单解码(简单解压缩)中，图像数据的块被独立地编码和解码。因此，可以对整个图片进行编码和解码，并且也可以仅对图片的一部分进行编码和解码。即，在仅对图片的一部分进行编码和解码的情况下，可以抑制对不必要数据的编码和解码，从而可以执行更有效的编码和解码。即，可以抑制编码和解码的负荷的不必要的增加，从而可以提高处理速度并且可以降低成本。

如前所述，通过(量化和逆量化时的)简单编码和简单解码而丢失的信息(未编码位)在解码期间被中间值解压缩(图3)。例如，如图3所示，在由于量化而导致丢失低1位的情况下，在解码期间将“1”设置在低1位处。另外，在由于量化而引起丢失低2位的情况下，在解码期间将“10(＝2)”设置在低2位处。此外，在由于量化而导致低丢失3位的情况下，在解码期间将“100(＝4)”设置在低3位处。

当以上述方式用指定值(例如中间值)来对未编码位进行解压缩时，产生输入-输出误差。这种通过量化产生的输入像素值与输出像素值之间的误差也称为量化误差。例如，如图3的上侧所示，假设输入了像素值“63”(也称为输入像素值)(0000111111)。在由于量化而导致丢失低1位的情况下，以上述方式将“1”设置在低1位处，并且解压缩的像素值(也称为输出像素值)为“63”(0000111111)。即，在这种情况下，量化误差为“0”。

另外，在由于量化而导致丢失低2位的情况下，以上述方式将“10”设置在低2位处，因此，输出像素值是“62”(0000111110)。因此，量化误差为“-1”。在由于量化而导致丢失低3位的情况下，以上述方式将“100”设置在低3位处，因此，输出像素值是“60”(00001111100)。因此，量化误差为“-3”。

同时，假设输入像素值是“64”(0001000000)，如图3的下侧所示。在由于量化而导致丢失低1位情况下，以上述方式将“1”设置在低1位处，因此，输出像素值是“65”(0001000001)。因此，量化误差为“+1”。

另外，在由于量化而导致丢失低2位的情况下，以上述方式将“10”设置在低2位处，因此，输出像素值是“66”(0001000010)。因此，量化误差为“+2”。在由于量化而导致丢失低3位的情况下，以上述方式将“100”设置在低3位处，因此，输出像素值是“68”(0001000100)。因此，量化误差为“+4”。

即，量化误差的方向取决于输入像素值。相比之下，在如前所述将捕获图像乘以数字增益的情况下，如图1的B所示，如图1的A所示的密集直方图根据增益值被扩展而变得稀疏。作为这种扩展的结果，许多像素值被转换为在相同方向上具有量化误差的像素值。因此，存在量化误差的方向向一侧偏移的可能性。例如，在如图1的B所示许多像素值被分配了8的倍数的情况下，量化误差的方向朝着+方向偏移，如图1的C所示。

当产生量化误差的方向向一侧偏移时，有可能通过对被编码和解码的输入图像(捕获图像)进行解压缩而获得的图像(也称为解码图像)的平均值偏离输入图像的平均像素值(产生DC偏差)。

当产生平均像素值偏差(DC偏差)时，解码图像的主观图像质量被降低(劣化)(即，解压缩的图像与输入图像之间的视觉差异增大)。例如，当如上述那样平均像素值向+方向偏移时，解压缩的图像有可能比输入图像亮。

此外，例如，在将输入图像(捕获图像)视为测量结果(传感器数据)的情况下，数据精度有可能被降低(获得精度较低的数据)。当数据精度被降低时，存在对使用解码图像(传感器数据)的后续处理(控制、计算等)的影响增大的可能性。例如，在如图1的示例中那样对通过对黑色图像进行成像而获得的捕获图像(传感器数据)执行黑色级别设置的情况下，由于DC偏差，要设置为黑色级别的像素值可能偏离。

注意，当如前所述将捕获图像乘以数字增益时，像素值差根据增益值而增大。因此，DPCM残留增大，使得编码效率可能会降低。如前所述，由于这种编码是不可逆的固定长度编码，因此，编码效率的降低有可能导致解码图像的主观图像质量的降低(劣化)。

<2.一般概念>

<对数字增益的自适应处理>

为此，对已经执行了信号放大的图像执行自适应图像处理，并且对经历过自适应图像处理的图像执行简单编码。

例如，图像处理装置包括：自适应处理部，其对已经执行了信号放大的图像执行自适应图像处理；以及编码部，其对已经经历了由自适应处理部执行的自适应图像处理的图像执行简单编码。

作为该配置的结果，可以抑制通过对用数字增益放大的信号组进行编码和解码而产生的信号值偏差(例如，DC偏差)。

更具体地，作为自适应图像处理，例如，执行在图4的表中描述的处理的任何一个(方法#1至#4中的任何一个)。

例如，在方法#1中，在将图像乘以数字增益的情况下，用随机偏移来校正乘以了数字增益的图像的每个像素值，然后，执行上述的简单编码和简单解码。作为添加随机偏移的结果，可以分散像素值。另外，根据数字增益的增益值来设置偏移的值范围。结果，可以将由偏移引起的像素值的分散限制在取决于增益值的指定范围内。

因此，可以防止其中像素值如图1的B那样集中在几个值上的稀疏直方图，从而可以抑制通过简单编码和简单解码而产生的各个像素值的量化误差的方向朝向一侧偏移。即，可以抑制DC偏差。

因此，当使用方法#1时，例如，可以抑制解码图像的主观图像质量的降低。另外，例如，在将输入图像(捕获图像)视为测量结果(传感器数据)的情况下，可以抑制数据精度的降低，并且可以抑制对使用解码图像(传感器数据)的后续处理(控制、计算等)的影响。例如，在如图1的示例中那样对通过对黑色图像进行成像而获得的捕获图像(传感器数据)执行黑色级别设置的情况下，可以以更高的精度检测黑色级别。

而且，在方法#2中，例如，在将图像乘以数字增益的情况下，从图像中减去偏移，执行简单编码和简单解码，并且将偏移加到解码的图像。如以上参照图1至图3所说明的，量化误差的方向取决于像素值。换言之，存在像素值的量化误差小于其他像素值的量化误差。因此，在使用偏移将图像的像素值转换为具有小的量化误差的值的状态下，执行简单编码和简单解码。解码图像的像素值被恢复到各自的原始状态。因此，可以减少量化误差。例如，在用中间值对未编码位进行解压缩的情况下，利用偏移将像素值设置为中间值，并且执行简单编码和简单解码。在这种情况下，量化误差理想地变为0。

如以上参照图1所说明的，当将图像乘以数字增益时，直方图根据增益值被扩展从而具有间隔(建立稀疏状态)。此外，在许多像素中，像素值的量化误差朝着相同方向产生。即，量化误差的方向向一侧偏移。然而，当以上述方式从每个像素值中减去偏移时，量化误差变小。结果，减少了量化误差向一侧的偏移。即，可以抑制通过简单编码和简单解码产生的像素值的量化误差的方向的偏移。

要注意的是，产生较小量化误差的像素值(例如，中值)取决于通过量化而丢失的位数。因此，根据丢失的位数设置偏移值就足够了。即，在该方法中，对图像赋予取决于通过量化而丢失的位数的偏移。另外，在该方法中，由于将像素值移位至期望值就足够了，因此可以以上述方式从像素值减去偏移或者可以将偏移相加至像素值。

此外，作为以上述方式与数字增益相乘的结果，许多像素值被转换为用于产生朝向同一方向的各个量化误差的值。因此，对每个像素值给予(例如，从其减去)诸如先前描述的偏移，使得可以针对许多像素值减小量化误差。即，可以抑制量化误差整体上向一侧偏移。因此，仅需要根据图像的平均像素值(以及丢失的位数)来设置该偏移值。结果，与针对每个像素获得偏移值的情况相比，可以容易地获得偏移值。

另外，例如，在方法#3中，在将图像乘以数字增益的情况下，根据数字增益的增益值来设置用于简单编码(的量化中)的量化值(qf)的值范围。量化值(qf)表示在量化时该像素值要乘以的值(即，表示要丢失的低位的数目的值)。

通常，当量化值(qf)增大时，丢失的位数变多，从而增强了编码效率，但是解码图像的主观图像质量降低。因此，例如，在诸如专利文献3和4中公开的常规固定长度编码中，验证关于量化值可以采用的所有值的编码结果，从而从这些值中选择最佳值。

然而，当以上述方式将图像乘以数字增益时，像素值的低位的数目根据增益值而降低(获得误差值)。换言之，即使这些劣化的低位由于量化而丢失，对解码图像的主观图像质量施加的量化影响也较小(图像质量的降低程度与不执行量化时的情况基本相同)。因此，不需要验证低于与增益值对应的位数的位的量化值(qf)(显然，优选地将量化值(qf)设置为等于或大于与增益值对应的位数)。即，仅验证等于或大于该位数的位的量化值(qf)的编码结果就足够了。

即，根据数字增益的增益值的限制被施加在量化值(qf)的值范围上。结果，可以抑制验证前述编码结果的负荷的增加。即，可以抑制编码处理的负荷的增加。

另外，指示这样选择的量化值(qf)的信息被包含在编码数据中，并且被传输到解码侧。作为对量化值(qf)的值范围的上述限制的结果，可以用更少的位(字长)来表达量化值(qf)。即，由于可以减少代码量，因此可以抑制编码效率的降低。

而且，例如，在方法#4中，在将图像乘以数字增益的情况下，数字增益被消除(即，除以数字增益的增益值)，执行简单编码和简单解码，然后再次将图像乘以数字增益(乘以增益值)。即，执行根据数字增益的增益值的计算。如以上参照图1所说明的，作为与数字增益相乘的结果，图像的直方图变得稀疏。因此，作为消除(cancel)数字增益的结果，可以在保持直方图的密集状态的同时执行简单编码和简单解码。

因此，可以抑制DC偏差。另外，可以抑制像素值差的增大，从而可以抑制编码效率的降低。

<3.第一实施方式>

<图像处理系统>

接下来，将更具体地说明图4中的方法。在本实施方式中，将说明方法#1。图5是示出根据应用了本技术的图像处理系统的一个方面的配置的一个示例的框图。图5中示出的图像处理系统100通过将图像数据乘以数字增益来对捕获并输入的图像等的图像数据进行编码、记录或传输编码数据、对编码数据进行解码，并且输出关于解码图像的图像数据。

如图5所示，图像处理系统100包括控制部101、编码侧构件(structure)102和解码侧构件103。控制部101执行与编码侧构件102(编码侧构件102中的处理部)和解码侧构件103(解码侧构件103中的处理部)的控制相关的处理。例如，控制部101设置数字增益的增益值(对图像的信号放大)，并且将该增益值提供给放大部111以用增益值放大图像数据(每个像素值)。另外，控制部101还将增益值提供给随机偏移相加部112、编码部113和解码部121。要注意的是，控制部101可以被设置为与编码侧构件102和解码侧构件103分开，如图5所示，或者控制部101可以被设置在编码侧构件102中，或者控制部101可以被设置在解码侧构件103中。

编码侧构件102被设置在用于对图像数据进行编码的编码侧，并且例如包括放大部111、随机偏移相加部112和编码部113。

在控制部101的控制下，放大部111将输入到图像处理系统100的图像数据(数字图像信号)乘以数字增益。即，放大部111将图像数据的每个像素值乘以从控制部101提供的增益值。作为该处理的结果，例如，诸如图1的A中所示的直方图变为诸如图6的A中所示的稀疏状态。放大部111将乘以了数字增益的图像数据提供给随机偏移相加部112。

在控制部101的控制下，随机偏移相加部112对乘以了数字增益的图像数据(已经执行了信号放大的图像)执行自适应图像处理。例如，随机偏移相加部112执行将取决于数字增益的增益值的值范围内随机设置的偏移值加到图像数据的每个像素值的图像处理。作为随机偏移值相加的结果，图像数据的直方图从如图6的A所示的稀疏状态变为如图6的B所示的密集状态。随机偏移相加部112将已经相加了偏移值的图像数据提供给编码部113。

在控制部101的控制下，编码部113对由于加上偏移值而使直方图变为密集状态的图像数据执行简单编码。例如，编码部113通过量化图像数据的每个块来删除低位，并且获得DPCM残差。然后，编码部113适当地细化低位，使得代码量被调整为固定长度。通过编码部113，由此生成的固定长度编码数据被记录到记录介质中或者经由传输介质被传输。

解码侧构件103被设置在用于对由编码侧构件102生成的编码数据进行解码的解码侧，并且例如包括解码部121。

在控制部101的控制下，解码部121经由记录介质或传输介质获取由编码部113生成的编码数据，并且对编码数据执行简单解码。例如，解码部121从编码数据的每个块中提取经细化的低位，并且进一步通过对DPCM残差进行逆处理来对高位进行解压缩，从而使通过逆量化而丢失的低位被解压缩。解码部121将这样被解压缩的图像数据(数字图像信号)输出到图像处理系统100的外部。

<随机偏移相加部>

图7是示出随机偏移相加部112的主要配置示例的框图。如图7所示，随机偏移相加部112包括伪随机数生成部141、值范围限制部142、计算部143和剪切部144。

伪随机数生成部141执行关于伪随机数的生成的处理。例如，伪随机数生成部141接收指定的初始值作为输入，并且针对每个输入的像素值生成伪随机数。例如，伪随机数生成部141生成11位的伪随机数，并且将该伪随机数提供给值范围限制部142。伪随机数的位数是任意定义的。

值范围限制部142执行关于对伪随机数的值范围施加限制的处理。例如，值范围限制部142接收从伪随机数生成部141提供的11位伪随机数以及从控制部101提供的数字增益的增益值(增益)作为输入，并且限制为将伪随机数的值范围设置为根据增益值的范围(将伪随机数校正为落入该范围内)。例如，值范围限制部142基于诸如图8所示的语法来校正伪随机数的值范围。

在根据图8的语法执行处理时，值范围限制部142将伪随机数的值范围限制为从“-增益/2(-gain/2)”到“增益/2(gain/2)”的范围。即，例如，在增益值为奇数(例如，增益＝7)的情况下，值范围限制部142在从“-增益/2”至“增益/2”的范围内设置随机偏移值，如图9的A所示。在这种情况下，从“-增益/2(-gain/2)”到“增益/2(gain/2)”的每个值处的偏移值(offset value)的数目是相同的(固定的)。

另外，例如，在增益值为偶数(例如，增益＝8)的情况下，值范围限制部142将随机偏移值设置在从“-增益/2”至“增益/2(gain/2)”的范围内，如图9的B所示的直方图中所示。即，在这种情况下，从“-增益/2+1”至“增益/2-1”的每个值处的偏移值的数目是相同的(固定的)。在增益值为偶数的情况下，“-增益/2”和“增益/2”分别与对应的相邻偏移值的值范围交叠。因此，在这种情况下，如图9的B所示，“-增益/2”和“增益/2”中每个处的偏移值的数目是其余值的一半。

值范围限制部142将其值范围已被限制的伪随机数作为偏移值提供给计算部143。

计算部143将从值范围限制部142提供的偏移值赋予(例如，相加)到每个输入像素值。例如，在增益值是奇数(增益％2≠0)的情况下)，作为加上了偏移值的结果，在偏移值的值范围内的中值像素值均匀地分散在从“-增益/2”至“增益/2”的范围内。同样，例如，在增益值为偶数(增益％2＝0)的情况下，作为加上了偏移值的结果，偏移值的值范围内的中值像素值以图9的B中所示出的方式分散在从“-增益/2”至“增益/2”的范围内。因此，如图6的B所示，获得了密集的直方图。即，计算部143将被校正为落入根据增益值的值范围内的伪随机数作为偏移值加到图像的每个像素值(输入像素值)。计算部143将已经被赋予偏移值的图像数据提供给剪切部144。

剪切部144执行剪切以将处于指定范围(例如，从0至1023的范围)之外的像素值调整到上限值(1023)或下限值(0)，使得例如位的长度被调整为10位。剪切部144将已经经历过剪切的图像数据(输出像素值)提供给编码部113。

如前所述，在将随机偏移值加到图像数据之后执行简单编码，从而可以在直方图处于密集状态时执行简单编码和简单解码。因此，可以防止通过简单编码和简单解码使各个像素值的量化误差向一侧偏移。即，当采用方法#1时，图像处理系统100可以抑制通过对放大的单个组进行编码和解码而产生的平均信号值偏差(DC偏差)。

要注意的是，施加到解码图像的主观图像质量的影响很小，这是因为，即使以上述方式加上了偏移值，也仅改变了包括主要由数字增益引起的误差的较低位。即，虽然抑制了对施加到解码图像的主观图像质量的影响，但是可以抑制通过编码和解码产生的DC偏差。

<编码处理的流程>

接下来，将说明在图像处理系统100中执行的处理的流程。首先，将参照图10中的流程图说明在编码侧构件102中执行的编码处理的流程的示例。

当开始编码处理时，在步骤S101处，图像处理系统100的编码侧的放大部111将输入的图像数据乘以具有由控制部101设置的增益值的数字增益。

在步骤S102处，随机偏移相加部112根据在步骤S101处的数字增益的增益值，将随机偏移加到图像数据。

在步骤S103处，编码部113对已经加上了随机偏移的图像数据执行简单编码。例如，编码部113对图像数据的每个块执行简单编码。

在步骤S104处，编码部113以位流的形式输出例如通过简单编码生成的编码数据。例如，通过编码部113，位流被记录到记录介质中或者经由传输介质被传输。

当步骤S104完成时，编码处理结束。

<偏移相加处理的流程>

接下来，将参照图11中的流程图说明将随机偏移加到像素值的偏移相加处理的流程的示例。

当开始偏移相加处理时，伪随机数生成部141在步骤S121处生成伪随机数作为要赋予到输入像素值的偏移。

在步骤S122处，值范围限制部142根据数字增益的增益值，对在步骤S121中设置的偏移(伪随机数)的值范围施加限制。

在步骤S123处，计算部143将在步骤S122处已经设置了其值范围的偏移(伪随机数)加到图像的每个像素值。另外，剪切部144对加法结果执行剪切，从而将加法结果转换为指定位长(例如10位)的数据。

当步骤S123完成时，偏移相加处理结束。然后，处理返回到图10。

<解码处理的流程>

接下来，将参照图12中的流程图说明在解码侧构件103中执行的解码处理的流程的示例。

当开始解码处理时，解码侧构件103中的解码部121在步骤S141中经由记录介质或传输介质获取由编码侧构件102生成的位流(编码数据)。

在步骤S142处，解码部121对在步骤S141处获取的位流执行简单解码。例如，解码部121对位流的每个块执行简单解码。

当步骤S142完成时，解码处理结束。

通过执行上述处理，图像处理系统100可以通过方法#1对放大的信号组进行编码和解码。因此，图像处理系统100可以抑制通过对放大的信号组进行编码和解码而产生的平均信号值偏差(DC偏差)。

因此，例如，图像处理系统100可以抑制数据的(作为测量结果的)的精度的劣化。另外，例如，可以抑制解码图像的主观图像质量的劣化。

<图像处理系统的另一配置>

要注意的是，图像处理系统100的配置不限于图5中的示例。例如，如图13所示，可以通过基于指定的通信方案的通信将编码数据(位流)从编码侧构件102传输到解码侧构件103。

在这种情况下，如图13所示，图像处理系统100还包括编码侧构件102中的发送部171。此外，图像处理系统100还包括解码侧构件103中的接收部172。

在编码侧构件102中，编码部113将所生成的编码数据(位流)提供给发送部171。

发送部171和接收部172是通过按照符合指定的通信标准的方案进行通信来交换信息的指定的通信接口。例如，发送部171将从编码部113提供的位流转换(例如，打包)为符合通信标准的格式的传输数据，并且经由指定的传输路径将传输数据提供给接收部172。接收部172接收指定格式的传输数据(例如，分组)，并且对编码数据进行解压缩。接收部172将经解压缩的编码数据提供给解码部121。

以上述方式，可以通过符合指定的通信标准的方案将经过简单编码的编码数据(位流)从编码侧传输到解码侧。因此，在这种情况下，例如，可以采用现有的通信标准作为通信标准，并且可以促进该通信标准的开发。

<4.第二实施方式>

<图像处理系统>

在本实施方式中，将说明图4中的方法#2。图14是示出根据应用了本技术的图像处理系统的一个方面的配置的一个示例的框图。

在图14中，图像处理系统100的编码侧构件102包括放大部111、减法偏移设置部211、计算部212、剪切部213和编码部113。

减法偏移设置部211执行与减法偏移的设置相关的处理。将从由放大部111乘以了数字增益的图像数据的每个像素值中减去减法偏移。减法偏移设置部211基于由放大部111乘以了数字增益的图像数据来设置这种减法偏移。更具体地，减法偏移设置部211基于乘以了数字增益的图像数据的平均像素值以及由编码部113执行了简单编码的量化值(在简单编码中执行的量化的量化值)来设置减法偏移值。减法偏移设置部211将所设置的减法偏移提供给计算部212。

计算部212执行以下自适应图像处理：从由放大部111乘以了数字增益的图像数据的每个像素值中减去由减法偏移设置部211设置的减法偏移。计算部212将减法结果提供给剪切部213。

剪切部213执行对所提供的减法结果(已经乘以了数字增益并且已经减去了减法偏移的图像数据)的剪切，并且对其下限(例如，0)进行剪切。剪切部213将经剪切的图像数据提供给编码部113。

编码部113对从剪切部213提供的图像数据执行简单编码。通过编码部113，如此生成的固定长度的编码数据被记录到记录介质中或经由传输介质被传输。

此外，在图14中，解码侧构件103包括解码部121、加法偏移设置部221、计算部222和剪切部223。

加法偏移设置部221执行与加法偏移的设置相关的处理。将加法偏移加到由解码部121解压缩的图像数据的每个像素值。加法偏移设置部221通过与减法偏移设置部211的方法基本相似的方法来设置加法偏移。例如，加法偏移设置单元221基于经解压缩的图像数据来设置加法偏移。更具体地，加法偏移设置部221基于经解压缩的图像数据的平均像素值以及由编码部113执行了量化(简单编码)的量化值(从编码侧提供的量化值)来设置加法偏移值。加法偏移设置部221将所设置的加法偏移提供给计算部222。

计算部222执行对从解码部121提供的经解压缩的图像数据的每个像素值加上从加法偏移设置部221提供的加法偏移的自适应处理。计算部222将加法结果提供给剪切部223。

剪切部223对所提供的减法结果(已经被解压缩并且已经被加上加法偏移的图像数据)执行剪切，并且对其上限(最大值)进行剪切。剪切部223将经剪切的图像数据输出到图像处理系统100的外部。

在这种情况下，如先前参照图4所述，作为在编码侧构件102中从乘以了数字增益的图像数据的每个像素值中减去减法偏移的结果，像素值被偏移为使得产生较小的量化误差的值。换言之，将减法偏移设置为实现该偏移的值。

然后，作为在解码侧构件103中对经解压缩的图像数据的每个像素值加上加法偏移的结果，像素值被偏移为原始值(即，抵消了在编码侧构件102中使用减法偏移造成的像素值的偏移)。换言之，将加法偏移设置为实现这种抵消的值。

通过上述处理，可以在减小量化误差的同时执行简单编码和简单解码。因此，结果，可以减少量化误差的方向向一侧的偏移。即，可以抑制由于编码和解码导致的像素值的量化误差的方向向一侧的偏移。

<减法偏移设置部>

图15是示出减法偏移设置部211的主要配置示例的框图。如图15所示，减法偏移设置部211包括平均值测量部231、偏移值选择部232和偏移值提供部233。

平均值测量部231计算从放大部111提供的图像数据的处理目标帧(当前帧t)之前的帧(t-1)的平均像素值。平均值测量部231将计算出的平均像素值提供给偏移值选择部232。

偏移值选择部232基于从平均值测量部231提供的帧(t-1)的平均像素值以及根据简单编码的压缩率确定的最大量化位丢失量来设置偏移值(减法偏移)。

如前所述，使量化误差较小的偏移值取决于乘以了数字增益的图像数据的平均像素值以及量化的最大位丢失量。例如，在图像数据与图1的B所示的直方图对应的情况下，如图16的表格所示，可以基于图像的平均像素值和最大位丢失量获得使量化误差较小的减法偏移的值。

也就是说，偏移值选择部232预先保存该表，并且参考该表获得减法偏移的值。因此，偏移值选择部232可以更容易地设置减法偏移。偏移值选择部232将所设置的减法偏移提供给偏移值提供部233。

偏移值提供部233将从偏移值选择部232提供的减法偏移作为当前帧(t)的减法偏移提供给计算部212。

要注意的是，可以通过使用在当前帧之前的两个或更多个的帧来计算平均像素值。即，可以通过使用在当前帧之前的两个或更多个的帧来计算减法偏移。然而，当使用更接近于当前帧的帧来获得平均像素值时，可能会获得更准确的值(使量化误差更小的值)的减法偏移。

另外，可以针对图像数据中的每种颜色(例如，针对R、G和B中的每种)设置减法偏移。在这种情况下，平均值测量部231可以计算每种颜色的平均像素值，并且偏移值选择部232可以通过使用针对每种颜色计算的平均像素值来针对每种颜色设置减法偏移值。结果，可以容易地获得更准确的值(使量化误差更小的值)的减法偏移。例如，即使在各颜色的最大位丢失量彼此不同的情况下，也可以以上述方式获得使量化误差较小的偏移值。

应当注意，加法偏移设置部221也具有与减法偏移设置部211类似的配置，并且通过与减法偏移设置部211相似的方法来设置加法偏移。省略对其的说明。

如上所述，当采用方法#2时，图像处理系统100可以抑制通过对放大的信号组进行编码和解码而产生的平均信号值偏差(DC偏差)。

<编码处理的流程>

接下来，将说明在图像处理系统100中执行的处理的流程。首先，将参照图17中的流程图说明在编码侧构件102中执行的编码处理的流程的示例。

当开始编码处理时，在步骤S201处，作为图像处理系统100的编码侧部分的放大部111将输入的图像数据乘以由控制部101设置的增益值的数字增益。

在步骤S202处，减法偏移设置部211以上述方式获得并且设置减法偏移。

在步骤S203处，计算部212从在步骤S201处乘以了数字增益的图像数据中减去减法偏移。

在步骤S204处，剪切部213对在步骤S203处计算的减法结果(即，已经乘以了数字增益并且已经从中减去了减法偏移的图像数据)执行剪切，从而对每个像素值的下限进行剪切。

在步骤S205处，编码部113对已经被剪切了其下限的图像数据执行简单编码。

在步骤S206处，编码部113以位流的形式输出例如通过简单编码生成的编码数据。通过编码部113，例如，位流被记录到记录介质中或者经由传输介质被传输。

当步骤S206完成时，编码处理结束。

<偏移值设置处理的流程>

接下来，将参照图18中的流程图说明在图17的步骤S202执行的设置减法偏移的偏移值设置处理的流程。

当开始偏移值设置处理时，在步骤S221处，偏移值提供部233将当前帧的减法偏移提供到计算部212并且进行设置。减法偏移是通过过去的处理(例如，在当前帧之前的帧是处理目标时)设置的偏移值(已经设置的偏移值)。即，基于当前帧(t)之前的帧(t-1)的图像数据来设置偏移值。

在步骤S222处，平均值测量部231计算当前帧的图像数据的平均像素值。

在步骤S223处，偏移值选择部232例如基于在步骤S222处计算出的平均像素值以及根据压缩率计算出当前帧的最大位丢失量，参考图16中的表，针对当前帧之后的帧选择(设置)减法偏移。偏移值提供部233保持该减法偏移，直到处理下一帧。然后，在针对下一帧的步骤S221处，偏移值提供部233将减法偏移提供给计算部212。

当步骤S223完成时，偏移值设置处理结束。然后，处理返回到图17。

<解码处理流程>

接下来，将参照图19中的流程图说明在解码侧构件103中执行的解码处理的流程的示例。

当开始解码处理时，解码侧构件103中的加法偏移设置部221在步骤S241处获得并且设置加法偏移。应当注意，根据与先前已经参照图18的流程图说明的用于设置减法偏移(偏移值设置处理)的流程相似的流程来设置加法偏移。因此，将省略其说明。

在步骤S242处，解码部121经由记录介质或传输介质获取在编码侧构件102中生成的位流(编码数据)。

在步骤S243处，解码部121对在步骤S242处获取的位流执行简单解码。

在步骤S244处，计算部222对作为步骤S243的结果生成的解码图像加上在步骤S241处设置的加法偏移。

在步骤S245处，剪切部223剪切在步骤S244处已经添加了加法偏移的解码图像的上限。

当步骤S245完成时，解码处理结束。

通过执行上述处理，图像处理系统100可以通过方法#2对放大的信号组执行简单编码和简单解码。因此，图像处理系统100可以抑制通过对放大的信号组进行编码和解码而产生的平均信号值偏差(DC偏差)。

因此，图像处理系统100可以抑制数据的(作为测量结果的)精度的劣化。另外，例如，可以抑制解码图像的主观图像质量的劣化。

<减法偏移设置部的另一配置示例>

注意，可以根据图像数据计算位丢失量，并且可以通过使用计算出的位丢失量来设置减法偏移。

图20是示出减法偏移设置部211的另一示例的框图。在这种情况下，减法偏移设置部211除了包括平均值测量部231至偏移值提供部233之外还包括压缩部251和平均值测量部252，如图20所示。

压缩部251以与编码部113类似的方式对从放大部111提供的图像数据的处理目标帧(当前帧(t))之前的帧(t-1)进行压缩(即，执行简单编码)，并且获得每个像素值的量化值(位丢失量)。压缩部251将计算出的每个像素值的量化值(位丢失量)提供给平均值测量部252。要注意的是，可以通过使用比当前帧早两个或更多个的帧来计算位丢失量。即，可以通过使用在当前帧之前的两个或更多个的帧来计算减法偏移。

平均值测量部252计算所提供的各个像素的量化值的平均值(平均量化值(位丢失量))。即，平均值测量部252针对从放大部111提供的图像数据的处理目标帧(当前帧(t))之前的帧(例如，当前帧(t)之前的帧(t-1))来计算简单图像编码中的像素的量化值的平均值。平均值测量部252将计算出的平均量化值提供给偏移值选择部232。

偏移值选择部232基于从平均值测量部231提供的平均像素值以及从平均值测量部252提供的平均量化值来设置减法偏移。用于设置减法偏移的方法基本上类似于图15的情况，并且例如基于图16中的表来设置。

<偏移值设置处理的流程>

将参照图21中的流程图说明在这种情况下的偏移值设置处理的流程的示例。

当偏移值设置处理开始时，偏移值提供部233在步骤S261处将当前帧的减法偏移提供并且设置到计算部212。减法偏移是由过去的处理(例如，在当前帧之前的帧是处理目标时)设置的偏移值(已经被设置的偏移值)。即，基于当前帧(t)之前的帧(t-1)的图像数据来设置偏移值。

在步骤S262处，平均值测量部231计算当前帧的图像数据的平均像素值。

在步骤S263处，压缩部251以与由编码部113执行的简单编码的方式类似的方式，压缩当前帧的图像数据，并且获得各个像素的量化值。

在步骤S264处，平均值测量部252获得在步骤S263处计算的量化值的平均值(平均量化值)。

在步骤S265处，偏移值选择部232例如基于在步骤S262中计算出的平均像素值以及在步骤S264计算出的平均量化值，参考图16中的表，选择(设置)与当前帧的下一帧的减法偏移。偏移值提供部233保存减法偏移，直到处理下一帧。然后，在针对下一帧的步骤S261处，偏移值提供部233将该减法偏移提供给计算部212。

当步骤S265完成时，偏移值设置处理结束。然后，处理进行到图17。

如上所述，同样在这种情况下，图像处理系统100可以抑制通过对放大的信号组进行编码和解码而产生的平均信号值偏差(DC偏差)。

注意，在以上说明中，处理了当前帧的图像数据并且设置了下一帧的减法偏移，但是减法偏移设置部211可以被配置成将图像数据保存在一帧上，并且通过使用当前帧之前的帧的图像数据针对当前帧设置减法偏移。类似的设置适用于加法偏移。

<图像处理系统的另一配置>

应当注意，图像处理系统100的配置不限于图14中的示例。例如，可以通过基于指定的通信方案的通信将编码数据(位流)从编码侧构件102传输到解码侧构件103，如图22所示。

在这种情况下，如图22所示，图像处理系统100还包括编码侧构件102中的发送部171。此外，图像处理系统100还包括解码侧构件103中的接收部172。

即，例如，发送部171将从编码部113提供的位流转换(例如，打包)为符合通信标准的格式的传输数据，并且经由指定的传输路径将传输数据提供给接收部172。接收部172接收指定格式的传输数据(例如，分组)，并且对编码数据进行解压缩。接收部172将经解压缩的编码数据提供给解码部121。

结果，可以通过符合指定的通信标准的方案将已经经过简单编码的编码数据(位流)从编码侧传输到解码侧。因此，在这种情况下，例如，可以采用现有的通信标准作为通信标准，并且可以促进该通信标准的开发。

<5.第三实施方式>

<图像处理系统>

在本实施方式中，将说明图4中的方法#3。图23是示出根据应用了本技术的图像处理系统的一个方面的配置的一个示例的框图。

在图23中，图像处理系统100的编码侧构件102包括放大部111、量化值范围设置部311和编码部113。

量化值范围设置部311执行与量化值范围的设置相关的处理。例如，量化值范围设置部311根据从控制部101提供的数字增益的增益值来设置简单编码(执行的量化)的量化值(qf)的范围。如先前参照图4所述，可以对量化值(qf)的值范围施加取决于数字增益的增益值的限制。

例如，量化值范围设置部311预先具有关于诸如图24所示的表的信息，并且参考表来设置与从控制部101提供的增益值(即，对图像执行的单个放大的增益值)对应的量化值(qf)的值范围。

例如，如图25的A所示在将图像数据乘以8倍增益值的数字增益的情况下，关于低3位的信息由于数字增益而劣化，如图25的B所示。因此，在抑制解码图像的主观图像质量的劣化的同时，可以通过量化来实现这些低3位的丢失。即，施加限制以使得量化值(qf)的值范围从0-9变为3-9(即使施加这种限制，也可以抑制解码图像的主观图像质量的劣化)。

对量化值(qf)的值范围施加这样的限制，从而可以省略对量化值(qf)的值范围已经施加了限制的部分的编码结果的验证。因此，可以抑制简单编码的负荷增大。

另外，图26是示出编码数据的主要配置示例的图。图26所示的编码数据341包含表示量化值(qf)的信息(qf的值)(图26中的阴影部分)。如前所述，当对量化值(qf)的值范围施加限制时，可以用更少的位(字长)来表达量化值(qf)。因此，可以抑制表示编码数据中的量化值(qf)的信息的代码量。即，可以抑制编码效率的劣化，并且可以抑制解码图像的主观图像质量的劣化。

在设置了量化值(qf)的值范围之后，量化值范围设置部311将关于值范围、图像数据等的信息提供给编码部113。

编码部113根据提供的量化值(qf)的值范围执行图像数据的简单编码。即，编码部113验证量化值(qf)的限制值范围的编码结果，并且选择最佳编码。另外，通过简单编码，编码部113生成包含关于量化值(qf)的值范围的信息的编码数据。

通过编码部113，所生成的固定长度编码数据被记录到记录介质中或者经由传输介质被传输。

解码侧构件103被设置在用于对由编码侧构件102生成的编码数据进行解码的解码侧，并且例如包括解码部121。

在控制部101的控制下，解码部121经由记录介质或传输介质获取由编码部113生成的编码数据，并且对编码数据执行简单解码。

在简单解码期间，解码部121参考编码数据中包含的关于量化值(qf)的值范围的信息，并且基于该信息(基于由该信息指示的量化值(qf)的值范围)来执行逆量化。解码部121将这样被解压缩的图像数据(数字图像信号)输出到图像处理系统100的外部。

如上所述，当采用方法#3时，图像处理系统100可以抑制编码处理负荷的增大，此外，还可以抑制编码效率的降低。

<编码处理的流程>

将通过图27中的流程图说明在这种情况下在编码侧构件102中执行的编码处理的流程的示例。

当开始编码处理时，在步骤S301处，作为图像处理系统100的编码侧部分的放大部111将输入的图像数据乘以由控制部101设置的增益值的数字增益。

在步骤S302处，量化值范围设置部311根据数字增益的增益值来设置简单编码的量化值(qf)的范围(值范围)。

在步骤S303处，编码部113根据在步骤S302处设置的量化值(qf)的范围(值范围)，对在步骤S301处乘以了数字增益的图像数据执行简单编码。

在步骤S304处，编码部113以例如位流的形式输出这样生成的编码数据。通过编码部113，例如，位流被记录到记录介质中或者经由传输介质被传输。

当步骤S304完成时，编码处理结束。

<解码处理的流程>

接下来，将参照图28中的流程图说明在解码侧构件103中执行的解码处理的流程的示例。

当开始解码处理时，解码侧构件103中的解码部121在步骤S321中经由记录介质或传输介质获取在编码侧构件102中生成的位流(编码数据)。

在步骤S322处，解码部121对在步骤S321获取的位流执行简单解码。例如，解码部121对位流的每个块(编码数据)执行简单解码。

这里，解码部121参考编码数据中包含的关于量化值(qf)的值范围的信息，并且基于该信息(基于由该信息指示的量化值的值范围(qf))来执行逆量化。解码部121将这样被解压缩的图像数据(数字图像信号)输出到图像处理系统100的外部。

当步骤S322完成时，解码处理结束。

通过执行上述处理，图像处理系统100可以通过方法#3对放大的信号组执行简单编码和简单解码。因此，图像处理系统100可以抑制编码处理负荷的增大，此外，还可以抑制编码效率的劣化。

<图像处理系统的另一配置>

注意，图像处理系统100的配置不限于图23中的示例。例如，可以通过基于指定的通信方案的通信将编码数据(位流)从编码侧构件102传输到解码侧构件103，如图29所示。

在这种情况下，如图29所示，图像处理系统100还包括编码侧构件102中的发送部171。另外，图像处理系统100还包括解码侧构件103中的接收部172。

即，例如，发送部171将从编码部113提供的位流转换(例如，打包)为符合通信标准的格式的传输数据，并且经由指定的传输路径将传输数据提供给接收部172。接收部172接收指定格式的传输数据(例如，分组)，并且对编码数据进行解压缩。接收部172将经解压缩的数据提供给解码部121。

以目前为止所述的方式，可以通过符合指定的通信标准的方案将通过简单编码生成的编码数据(位流)从编码侧传输到解码侧。因此，在这种情况下，例如，可以采用现有的通信标准作为通信标准，并且可以促进该通信标准的开发。

<6.第四实施方式>

<图像处理系统>

在本实施方式中，将说明图4中的方法#4。图30是示出根据应用了本技术的图像处理系统的一个方面的配置的一个示例的框图。在图30中，图像处理系统100的编码侧构件102包括放大部111、计算部411和编码部113。

计算部411将从放大部111提供的图像数据(即乘以了数字增益的图像数据)除以从控制部101提供的数字增益的增益值。即，计算部411消除图像数据被乘以的数字增益。因此，编码部113对已经消除了数字增益的图像数据执行简单编码。

即，例如，在建立诸如图1的A所示的密集状态的同时执行图像数据的简单编码。因此，可以抑制通过简单编码产生的DC偏差。另外，还抑制了通过乘以数字增益而产生的像素值差的增大。因此，可以抑制DPCM残差的增大，并且可以抑制编码效率的增大。

通过编码部113，所生成的固定长度的编码数据被记录到记录介质中或者经由传输介质被传输。

另外，在图30中，解码侧构件103包括解码部121和计算部421。计算部421将由解码部解压缩的图像数据(图像数据的每个像素值)乘以从控制部101提供的数字增益的增益值。即，获得已经乘以了数字增益的图像数据。计算部421将已经乘以了数字增益的图像数据输出到图像处理系统100的外部。

结果，图像处理系统100可以对未被乘以数字增益的图像数据执行简单编码和简单解码。即，可以抑制简单编码和简单解码的影响施加到已经乘以了数字增益的图像数据。因此，可以抑制DC偏差，并且可以抑制编码效率的提高。

<编码处理的流程>

接下来，将参照图31中的流程图说明在这种情况下在编码侧构件102中执行的编码处理的示例。

当开始编码处理时，在步骤S401处，图像处理系统100的编码侧构件102中的放大部111将输入的图像数据乘以由控制部101设置的增益值的数字增益。

在步骤S402处，计算部411将乘以了数字增益的图像数据除以由控制部101设置的增益值，从而消除数字增益。

在步骤S403处，编码部113对已经消除了数字增益的图像数据执行简单编码。例如，编码部113对图像数据的每个块执行简单编码。

在步骤S404处，编码部113例如以位流的形式输出通过简单编码生成的编码数据。通过编码部113，例如，位流被记录到记录介质中或者经由传输介质被传输。

当步骤S404完成时，编码处理结束。

<解码处理的流程>

接下来，将参照图32中的流程图说明在解码侧构件103中执行的解码处理的流程的示例。

当开始解码处理时，解码侧构件103中的解码部121在步骤S421处经由记录介质或传输介质获取由编码侧构件102生成的位流(编码数据)。

在步骤S422处，解码部121对在步骤S421处获取的位流执行简单解码。例如，解码部121对编码数据的每个块执行简单解码。

在步骤S423处，计算部421将通过简单解码生成的解码图像乘以由控制部101设置的增益值的数字增益。

当步骤S423完成时，解码处理结束。

通过以上述方式执行处理，图像处理系统100可以通过方法#4对放大的信号组进行编码和解码。因此，图像处理系统100可以抑制平均信号值偏差(DC偏差)。

因此，例如，图像处理系统100可以抑制数据的(作为测量结果的)精度的劣化。另外，例如，可以抑制解码图像的主观图像质量的劣化。

另外，图像处理系统100可以抑制像素值差的增大，从而可以抑制编码效率的劣化。注意，尽管上面已经说明了在信号放大之后进行除以增益值的简单编码，但是简单编码不限于此。例如，可以执行除以增益值的简单编码，但是省略信号放大(即，乘以数字增益)。结果，可以抑制编码处理负荷的增大。

<图像处理系统的另一配置>

应当注意，图像处理系统100的配置不限于图30中的示例。例如，可以通过基于指定的通信方案的通信将编码数据(位流)从编码侧构件102传输到解码侧构件103，如图33所示。

在这种情况下，如图33所示，图像处理系统100还包括编码侧构件102中的发送部171。此外，图像处理系统100还包括解码侧构件103中的接收部172。

即，例如，发送部171将从编码部113提供的位流转换(例如，打包)为符合通信标准的格式的传输数据，并且经由指定的传输路径将传输数据(例如，分组)提供给接收部172。接收部172接收指定格式的传输数据(例如，分组)，并且对编码数据进行解压缩。接收部172将如此解压缩的编码数据提供给解码部121。

以到目前为止所描述的方式，可以通过符合指定的通信标准的方案将经过简单编码的编码数据(位流)从编码侧传输到解码侧。因此，在这种情况下，例如，可以采用现有的通信标准作为通信标准，并且可以促进该通信标准的开发。

<7.第五实施方式>

<应用示例：成像元件>

接下来，将说明将到目前为止描述的本技术应用于特定装置的示例。图34是示出应用了本技术的堆叠图像传感器510的主要配置示例的框图。图34所示的堆叠图像传感器510是图像传感器(成像元件)，该图像传感器捕获被摄对象的图像，获得关于捕获图像的数字数据(图像数据)，并且输出图像数据。

如图34所示，堆叠图像传感器510包括三个半导体基板511至513。这些处于堆叠状态的半导体基板被密封以形成为模块(被一体地形成)。即，这些半导体基板构成多层结构(堆叠结构)。电子电路被形成在各个半导体基板511至513上。被形成在各个半导体基板上的电路通过通孔等彼此连接。半导体基板之间的路径(其上形成的电路)也被称为总线。例如，通过总线521，可以在半导体基板511上的电路与半导体基板512上的电路之间交换数据等。此外，通过总线522，可以在半导体基板512上的电路与半导体基板513上的电路之间交换数据等。

此外，堆叠图像传感器510的接口523被形成在形成于半导体基板512上的电路上。即，通过接口523，形成于半导体基板512上的电路可以与堆叠图像传感器510外部的电路(例如，形成在电路基板530上的电路)交换数据等。通过接口523执行基于符合指定的通信标准的通信方案的通信。通信标准是任意定义的。例如，可以使用MIPI(移动行业处理器接口)、SLVS-EC(Scalable Low Voltage Signaling Embedded Clock，可扩展低压信号内嵌时钟)或其他标准。要注意的是，接口523的具体配置是任意定义的。例如，接口523中不仅可以包括用于控制输入和输出的部件，而且可以包括诸如总线和电缆的传输路径。

如上所述，在堆叠图像传感器510中，半导体基板的多层结构被形成在模块中，由此可以在不涉及半导体基板的尺寸增大的情况下安装较大的电路。即，在堆叠图像传感器510中，可以安装较大的电路，同时抑制成本的增加。

图35示出了被形成在各个半导体基板上的电路的配置的示例。为了便于说明，将半导体基板511至513设置在图35中的同一平面上。然而，实际上，如图34所示，半导体基板511至513是堆叠的。

光接收部541、A/D转换部542等被形成在顶部半导体基板511上。光接收部541包括多个单位像素，每个单位像素具有诸如二极管的光电转换元件，并且对于每个单位像素执行入射光的光电转换，生成与入射光对应的电荷的电信号(像素信号)，并且将该信号输出到A/D转换部542。

A/D转换部542通过执行从光接收部541提供的像素信号的A/D转换，生成作为数字数据的像素数据。A/D转换部542经由总线521向半导体基板512提供生成的单位像素的图像数据集作为图像数据。

作为执行图像处理等的逻辑电路的图像处理部551被形成在中间半导体基板512上。在经由总线521获取了从半导体基板511提供的图像数据后，图像处理部551对图像数据执行指定的图像处理。图像处理的详情是任意定义的。例如，图像处理可以包括：校正缺陷像素；检测用于自动聚焦的相位差；将像素相加；数字增益；降噪等。可以包括其他处理。

DRAM(动态随机存取存储器)561被形成在底部半导体基板513上。DRAM 561能够存储经由总线522从半导体基板512(图像处理部551)提供的数据等。此外，DRAM 561能够响应于来自半导体基板512(图像处理部551)等的请求，读出存储的数据等，并且经由总线522将数据等提供给半导体基板512。即，使用DRAM 561，图像处理部551可以执行例如临时保存正在处理的图像数据的图像处理。例如，以高速帧速率捕获图像，将帧中捕获的图像存储到DRAM 561中，并且以低速帧速率读出图像并且将图像输出，从而可以执行所谓的慢动作成像。

通过使用如此配置的DRAM 561，图像处理部551对图像数据进行编码(压缩)，将由此生成的编码数据记录到DRAM 561中，并且通过从DRAM 561中读出编码数据并且对该编码数据进行解码来生成图像数据(解码图像数据)。例如，图像处理部551包括编码部551A和解码部551B。编码部551A对图像数据进行编码，将由此生成的编码数据提供给DRAM561以记录编码数据。解码部551B通过对从DRAM 561读出的编码数据进行解码来生成图像数据(解码图像数据)。当以这种方式将图像数据作为编码数据(压缩数据)记录到DRAM 561中时，可以减少存储在存储器561中的数据量。因此，可以改进DRAM 561中的存储区域和总线522的频带利用效率。因此，可以抑制DRAM 561的容量的增大和总线522的带宽的增大，从而可以抑制生产成本的增大。

当采用图像处理系统100的上述编码侧构件102(例如，图5、图14、图23或图30)作为编码部551A并且采用解码侧构件103(例如，图5、图14、图23或图30)作为解码部551B时，可以提供图像处理系统100(例如，图5、图14、图23或图30)的上述效果。对于编码侧构件102的特定配置和解码侧构件103的特定配置，可以采用基于方法#1至#4的任何方法。

结果，即使在例如借助于图像处理部551执行将图像数据乘以数字增益的高数字增益成像的情况下，也可以抑制通过对放大的信号组进行编码和编码产生的平均信号值偏差。因此，例如，可以抑制数据的(作为测量结果的)精度的劣化。另外，例如，可以抑制解码图像的主观图像质量的劣化。此外，可以抑制编码效率的劣化，从而可以抑制解码图像的主观图像质量的劣化。

另外，作为用于执行图像处理等的逻辑电路的图像处理部571被形成在电路基板530上。在经由接口523从层叠图像传感器510的半导体基板512(图像处理部551)获取了图像数据后，图像处理部571对图像数据执行指定的图像处理。图像处理的详情是任意定义的。

即，图像处理部551能够经由接口523向图像处理部571提供数据等(向堆叠图像传感器510的外部输出数据等)。在这种情况下，图像处理部551对图像数据进行编码(压缩)并且输出编码数据。例如，图像处理部551包括编码部551C，并且图像处理部571包括解码部571A。编码部551C对图像数据进行编码并且经由接口523输出编码数据。解码部571A通过对经由接口523提供的编码数据进行解码来生成图像数据(解码的图像数据)。图像处理部571对这样生成的解码的图像数据执行图像处理。

当以这种方式经由接口523传输编码数据(压缩数据)时，可以减少传输数据量。因此，可以改进使用接口523的频带的效率。即，可以抑制接口523的带宽的增大，从而可以抑制生产成本的增加。

当采用图像处理系统100的上述编码侧构件102(例如，图13、图22、图29或图33)作为编码部551C并且采用解码侧构件103(例如，图13、图22、图29或图33)作为解码部571A时，可以提供图像处理系统100(例如，图13、图22、图29或图33)的上述效果。对于编码侧构件102的特定配置和解码侧构件103的特定配置，可以采用基于方法#1至#4的任何方法。

结果，即使在例如借助于图像处理部551执行将图像数据乘以数字增益的高数字增益成像的情况下，也可以抑制通过对放大的信号组进行编码和编码产生的平均信号值偏差。因此，例如，可以抑制数据(作为测量结果)的精度的劣化。另外，例如，可以抑制解码图像的主观图像质量的劣化。此外，可以抑制编码效率的劣化，从而可以抑制解码图像的主观图像质量的劣化。

将参照图36中的流程图说明通过使用堆叠图像传感器510捕获图像的成像处理的流程的示例。

当开始成像处理时，在步骤S501处，光接收部541捕获被摄对象的图像，并且对入射光进行光电转换。

在步骤S502处，A/D转换部542对在步骤S501处产生的电信号执行A/D转换，从而生成作为数字数据的图像数据。

在步骤S503处，图像处理部551经由总线521获取在步骤S502处生成的图像数据，并且对图像数据执行指定的图像处理，即，将图像数据乘以数字增益。

在步骤S504处，编码部551A对要记录到DRAM 561中的图像数据进行编码。在这种情况下的编码以第一实施方式至第四实施方式中的任何一个的上述说明的方式(即，通过方法#1至#4中的任何一个)执行。

在步骤S505处，DRAM 561经由总线522获取在步骤S505处生成的编码数据，并且记录该编码数据。

在步骤S506处，DRAM 561从记录在其中的编码数据中读出与请求对应的编码数据，并且经由总线522将读出的数据提供给图像处理部551。

在步骤S507处，解码部551B对编码数据进行解码。在这种情况下的解码以第一实施方式至第四实施方式中的任何一个的上述方式(即，通过方法#1至#4中的任何一个)执行。图像处理部551可以对通过解码生成的图像数据(解码的图像数据)执行指定的图像处理。

在步骤S508处，编码部551C对要输出到堆叠图像传感器510的外部的图像数据进行编码。在这种情况下的编码以第一实施方式至第四实施方式中的任何一个的上述方式(即，通过方法#1至#4中的任何一个)执行。

在步骤S509处，编码部551C经由接口523将在步骤S508处生成的编码数据提供给堆叠图像传感器510的外部(例如，提供给电路基板530的图像处理部571)。

图像处理部571的解码部571A通过对所提供的编码数据进行解码来生成图像数据(解码的图像数据)。在这种情况下，以第一实施方式至第四实施方式中的任何一个的上述方式(即，通过方法#1至#4中的任何一个)执行解码。图像处理部571对所生成的图像数据执行指定的图像处理。

当步骤S509完成时，成像处理结束。

通过以到目前为止描述的方式执行成像处理，堆叠图像传感器510可以抑制通过对放大的信号组进行编码和解码而产生的平均信号值偏差。即，例如，在抑制通过高数字增益成像获得的捕获图像的主观图像质量的劣化的同时，可以抑制堆叠图像传感器510的生产成本的增加。

注意，堆叠图像传感器510的配置是任意定义的，因此不限于上述示例。例如，堆叠图像传感器510中的半导体基板511至513不需要被堆叠。例如，半导体基板511至513可以并排设置，从而具有平面形状。另外，形成在半导体基板511至513中的每一个上的电路配置不限于上述示例。

此外，堆叠图像传感器510中的半导体基板的数目可以是两个或低于两个，或者可以是四个或多于四个。例如，图像处理部551和DRAM 561(包括总线522)可以被形成在一个半导体基板上。

<8.第六实施方式>

<应用示例：成像装置>

图37是示出应用了本技术的成像装置的主要配置示例的框图。图37所示的成像装置600是捕获被摄对象的图像并且以电信号的形式输出被摄对象的图像的装置。

如图37所示，成像装置600包括控制部601和总线610。此外，成像装置600包括光学部611、图像传感器612、图像处理部613、编解码器处理部614、显示部615、记录部616和通信部617。此外，成像装置600包括输入部621、输出部622和驱动器625。

控制部601经由总线610与光学部611至通信部617、输入部621、输出部622和驱动器625连接。通过控制这些部件的操作，控制部601控制成像装置600中的整个处理。

来自被摄对象的光(入射光)经由光学部611进入图像传感器612。光学部611包括任意光学元件，并且在控制部601的控制下被驱动以对入射光施加一定的光学影响。例如，光学部611包括：透镜，其调节相对于被摄对象的焦点，并且从聚焦位置收集光；光圈，其执行曝光调节；快门，其控制成像定时等。

图像传感器612接收入射光，并且对入射光执行光电转换以生成图像数据。图像传感器612将图像数据提供给图像处理部613。

图像处理部613对所提供的图像数据执行指定的图像处理。图像处理的详情是任意定义的。例如，图像处理部613可以被配置成对所提供的图像数据(RAW数据)执行去马赛克处理、对缺陷像素的高级校正等。图像处理部613将经过图像处理的图像数据提供给编解码器处理部614。

编解码器处理部614适当地对图像数据进行编码，并且对编码数据进行解码。例如，编解码器处理部614通过适合于对图像数据进行编码的指定的编码方法来对从图像处理部613提供的图像数据进行编码。在这种情况下，可以任意定义编码方法。例如，可以采用诸如JPEG(联合图像专家组)、JPEG2000、MPEG(运动图像专家组)、AVC(高级视频编码)或者HEVC(高效视频编码)之类的高级压缩方法。

例如，编解码器处理部614能够将编码数据生成并且提供到记录部616，以记录编码数据，或者将编码数据生成并且提供到通信部617，以将编码数据输出到成像外部。注意，例如，编解码器处理部614可以将从图像处理部613提供的图像数据在不对该图像数据进行编码的情况下提供给显示部615，并且使显示部615显示图像。

另外，例如，编解码器处理部614能够读取记录在记录部616中的编码数据。例如，编解码器处理部614能够经由通信部617将编码数据输出到成像装置600的外部。

此外，编解码器处理部614还能够通过对编码数据进行解码来对图像数据进行解压缩。例如，编解码器处理部614能够将经解压缩的图像数据提供给显示部615，使得显示与图像数据对应的图像。此外，例如，编解码器处理部614能够通过另一种方法对经解压缩的图像数据进行编码，然后将如此生成的编码数据提供给记录部616以记录编码数据，或者将编码数据提供给通信部617，以将编码数据输出到成像装置600的外部。

例如，在控制部601的控制下，编解码器处理部614通过适当地选择上述处理中的任何一个来执行必要的处理。

显示部615包括诸如LCD(液晶显示器)之类的任意显示装置，在控制部601的控制下被驱动，以使显示装置显示从编解码器处理部614提供的图像数据的图像。

记录部616包括诸如硬盘或闪存之类的任意记录介质，在控制部601的控制下被驱动，以使该记录介质记录从编解码器处理部614提供的编码数据。可以使用任何类型的介质作为记录介质。可以使用可附接到成像装置600并且可从成像装置600拆卸的可移除介质。在这种情况下，记录部616包括驱动器(未示出)和附接到驱动器的可移除介质，当该可移除介质被附接到驱动器时，该驱动器可以访问可移除介质中的数据。记录部616可以包括多个记录介质，或者可以包括多种类型的记录介质。

通信部617是通过指定的通信方案与成像装置600外部的装置通信的通信接口，并且在控制部601的控制下被驱动。通信部617可以执行任何类型的通信，该通信可以是有线通信或者可以是无线通信。例如，通信部617将从编解码器处理部614提供的编码数据传输到分立的装置。

输入部621包括任意输入装置(例如，拨盘(注册商标)、按键、按钮或触摸面板)、外部输入端子等，并且在控制部的控制下601被驱动以接收来自用户等的操作输入，并且接收从外部提供的控制信号、数据等。输入部621经由总线610将接收到的信息(操作输入、数据等)提供给控制部601。控制部601根据该信息执行与成像装置600的控制相关的处理。

输出部622包括任意输出装置(例如，LED(发光二极管)、显示器或扬声器)、外部输出端子等，并且在控制部601的控制下被驱动，以输出从控制部601等提供的信息(例如，数据或控制信号)(例如，显示图像、输出声音或者将信息输出到分立的装置)。

在控制部601的控制下，驱动器625被驱动，以驱动可移动介质631，例如磁盘、光盘、磁光盘或半导体存储器，该可移动介质631附接到驱动器625，从而读出记录在可移动介质631中的信息(程序、数据等)，并且将该信息提供给控制部601等。

作为如此配置的成像装置600的图像传感器612，采用在第五实施方式中已经说明的堆叠图像传感器510。即，图像传感器612被配置成使用本技术执行编码和解码。注意，在将使用本技术的编码和解码应用于来自图像传感器612的图像数据的输出的情况下(即，在采用编码部551C的情况下)，需要给图像处理部613设置等同于解码部571A的解码部。

结果，图像传感器612可以抑制通过对放大的信号组进行编码和解码而产生的平均信号值偏差。即，例如，在抑制通过高数字增益成像获得的捕获图像的主观图像质量的劣化的同时，成像装置600可以抑制成像装置600的生产成本的增加。

将参照图38中的流程图说明由成像装置600执行的用于捕获被摄对象的图像的成像处理的流程的示例。

当开始成像处理时，在步骤S601处，成像装置600的图像传感器612捕获被摄对象的图像并且生成捕获图像的图像数据(也称为捕获的图像数据)。要注意的是，该步骤以与已经参照图36的流程图说明的成像处理中的方式相似的方式执行。即，图像传感器612对捕获的图像数据执行指定的图像处理、对数据进行编码，然后输出编码数据。应当注意，图像传感器612执行对捕获图像的数据进行编码、将编码数据记录到DRAM 561中的图像处理，并且根据需要通过从DRAM 561中读出编码数据并且对数据进行解码来对捕获图像数据进行解压缩。

图像传感器612以使用本技术的方式执行这种编码和解码。即，图像传感器612通过上述方法#1至#4中的任何一种来执行这样的编码和解码。

在步骤S602处，图像处理部613获取从图像传感器612输出的编码数据。

在步骤S603处，图像处理部613对在步骤S602处获取的编码数据进行解码。以类似于步骤S507(图36)的方式执行该步骤。即，通过与步骤S508(图36)中的方法对应的方法来执行该步骤，即，通过与前述方法#1至#4中的任何一个的步骤S508(图36)处的相同的方法来执行该步骤。

在步骤S604处，图像处理部613对在步骤S603处生成的解码图像的图像数据执行指定的图像处理。

在步骤S605处，显示部615经由编解码器处理部614获取图像数据，并且显示与该图像数据对应的图像。

在步骤S606处，编解码器处理部614从图像处理部613获取图像数据，并且对图像数据进行编码。

在步骤S607处，记录部616从编解码器处理部614获取编码数据，并且记录该数据。

在步骤S608处，通信部617从编解码器处理部614获取编码数据，并且将该数据传输到成像装置600的外部(传输到分立的装置)。

当步骤S609完成时，成像处理结束。

通过以上述方式执行成像处理，成像装置600可以抑制通过对放大的信号组进行编码和解码而产生的平均信号值偏差。即，例如，在抑制通过高数字增益成像获得的捕获图像的主观图像质量的劣化的同时，可以抑制成像装置600的生产成本的增大。

注意，成像装置600的配置是任意定义的，并且不限于上述示例。

作为应用本技术的示例，上面已经说明了成像元件和成像装置。然而，本技术可以应用于任何装置或任何系统，只要该装置或系统执行放大的信号组的固定长度的编码和解码，同时涉及例如如专利文献1至4中的任何一个所公开的量化。

例如，本技术还适用于在不执行成像的情况下从外部获取图像数据并且对该数据执行图像处理的图像处理装置。另外，由于要编码的目标是任意的，因此不需要是图像数据。例如，可以将与光无关的声音、温度、湿度、加速度等的任意检测信号作为编码目标。另外，本技术还可以应用于例如在考虑图像数据是光(亮度)检测结果(检测信号)的集合的情况下处理图像数据的装置或系统。例如，本技术还适用于基于检测信号的集合来设置黑色级别的装置或系统。

<9.补充说明>

<计算机>

上述一系列处理可以通过硬件执行，或者可以通过软件执行。在通过软件执行一系列处理的情况下，构成软件的程序被安装到计算机中。在此，计算机的示例包括结合在专用硬件中的计算机以及能够通过安装各种程序来执行各种功能的通用个人计算机。

在通过软件执行一系列处理的情况下，仅要求装置或系统(例如，图像处理系统100、堆叠图像传感器510或成像装置600)具有能够执行软件的计算机功能的配置。例如，在成像装置600中，仅需要控制部601(图37)通过从记录部616等中读出程序并且执行该程序来通过软件执行一系列上述处理。

在通过软件执行上述一系列处理的情况下，例如，可以从记录介质安装构成软件的程序等。例如，在成像装置600中，记录介质可以包括可移动介质631，该可移动介质631与装置主体分开设置，以将程序等分发给用户，并且在可移动介质631中记录有程序等。例如，控制部601可以读出存储在附接到驱动器625的可移动介质631中的程序，并且将该程序安装到记录部616等中。

另外，可以经由诸如局域网、互联网或数字卫星广播的有线/无线传输介质来提供程序。例如，在成像装置600中，控制部601可以被配置成控制通信部617以接收经由传输介质提供的程序，并且将该程序安装到记录部616等中。

替选地，程序可以被预先安装。例如，在成像装置600中，程序可以被预先安装在记录部616、控制部601中包括的ROM等中。

<本技术的应用目标>

本技术适用于任意图像编码和解码方法。即，只要不引起与到目前为止描述的本技术的矛盾，可以任意地定义关于图像编码和解码的处理的规范。所述规格不限于任何上述示例。

另外，上面已经说明了将本技术应用于成像装置的情况，但是本技术不仅适用于成像装置，而且还适用于任意装置(电子装置)。例如，本技术还应用于用于对通过借助于另一装置执行的高数字增益成像获得的捕获图像执行图像处理的图像处理装置等。

另外，例如，可以通过安装在任意装置或构成系统的装置中的下述任何结构来实现本技术：用作系统LSI(大规模集成)的处理器(例如，视频处理器)等、使用多个处理器等的模块(例如视频模块)、使用多个模块的单元(例如视频单元)、通过向该单元添加其他功能而获得的集合(例如视频集)(即，该结构表示装置的一部分)。

此外，本技术还适用于包括多个装置的网络系统。例如，本技术适用于用于向诸如计算机、AV(视听)装置，移动信息处理终端或IoT(物联网)装置之类的任意终端提供与图像(视频)相关的服务的云服务。

应当注意，应用本技术的系统、装置、处理部等可以用于与交通、医药、安全、农业、畜牧业、采矿、化妆品、工业、家用电器、天气或自然监测相关的任意领域。此外，还可以任意地定义其应用。

例如，本技术适用于用于提供观看内容等的系统或装置。此外，例如，本技术适用于用于交通用途(例如对交通状况的监视或者对自动驾驶的控制)的系统和装置。此外，例如，本技术适用于用于安全用途的系统或装置。此外，例如，本技术适用于用于机器等的自动控制的系统和装置。此外，例如，本技术适用于用于农业或畜牧业的系统和装置。此外，例如，本技术适用于用于监视诸如火山、森林或海洋和野生动植物等自然的状态的系统和装置。此外，例如，本技术适用于用于运动用途的系统和环境。

<其他>

在本说明书中，“标志”是指用于将多个状态彼此区分的信息。该信息不仅涵盖用于将真(1)与假(0)两个状态彼此区分开的信息，还涵盖用于将三个或更多状态彼此区分开的信息。因此，“标志”可以采用的数字可以是例如1/0的两个值，或者可以是三个或更多个值。即，构成“标志”的位数是任意定义的，因此可以是1位或多个位。另外，关于标识信息(包括标志)，可以假设标识信息被包含在位流中，并且同样，关于标识信息与某些参考信息的差异的信息也被包含在位流中。因此，术语“标志”和“识别信息”不仅包括其信息，而且还包括与参考信息相关的差异的信息。

另外，关于编码数据(位流)的各种类型的信息(元数据等)可以以任何形式传输或记录，只要该信息与编码数据相关联即可。在此，术语“相关联”是指例如在处理另一数据集时启用一个数据集(使得能够在两个数据集之间建立链接)。即，彼此相关联的数据集可以被集成为单个数据集，或者可以被形成为分开的数据集。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以被记录到与其中记录有编码数据(图像)的记录介质不同的记录介质中(或者同一记录介质的不同记录区域中)。要注意的是，“相关联”可以针对整个数据但是针对一部分数据执行。例如，图像以及与该图像对应的信息可以安装任意定义的(例如多个帧、一个帧或者一部分帧)的单位彼此关联。

要注意的是，在本说明书中，术语“合成”、“复用”、“添加”、“集成”、“包括”、“存储”、“置入”、“放入”、“插入”等均表示将多个事物收集在一起，即，例如，将编码数据和元数据收集到一个数据集中，因此，是指用于上述“相关联”的一种方法。

此外，本技术的实施方式不限于上述实施方式，并且可以在本技术的要旨内进行各种修改。

另外，例如，本技术可以通过构成装置或系统的下述任何部件来实现：用作系统LSI(大规模集成电路)的处理器、使用多个处理器的模块等、使用多个模块的单元、通过向该单元添加其他功能而获得的集合(即，部件表示装置的一部分)。

要注意的是，在本说明书中，系统是指一组多个组成元件(装置、模块(部件)等)。构成元件是否全部被包括在同一壳体中并且不重要。因此，将容纳在不同壳体中并且通过网络彼此连接的一组多个装置和具有容纳在单个壳体中的多个模块的单个装置两者都称为系统。

另外，例如，以上被说明为单个装置(或处理部)的配置可以被划分为多个装置(或处理部)。相比之下，被说明为多个装置(或处理部)的配置可以被形成为单个装置(或处理部)。另外，可以将以上未描述的配置加到装置(或处理部)的配置。而且，只要整个系统中的配置或操作基本相同，则某个装置(或处理部)的一部分可以被包括在另一装置(或处理部)中。

另外，例如，本技术可以具有云计算的配置，在该配置中，一种功能由网络上的多个装置共享并且共同处理。

另外，例如，上述程序可以由任意装置执行。在这种情况下，装置具有必要的功能(功能块等)并且能够获取必要的信息就足够了。

另外，例如，上述流程图的步骤可以由一个装置执行，或者可以由多个装置联合执行。此外，在一个步骤中包括多个处理的情况下，一个步骤可以由一个装置执行，或者可以由多个装置联合执行。换言之，一个步骤中包括的多个处理可以像多个步骤一样被执行。相比之下，以上说明中的多个步骤可以像一个步骤一样被一起执行。

注意，由计算机执行的程序可以是用于根据本说明书中说明的时间顺序来执行处理的程序，或者可以是用于在必要时机处例如每次通话时分别执行处理的程序。即，只要不产生不一致，则可以按照与上述顺序不同的顺序执行步骤。此外，编写在程序中的步骤可以与另一个程序的处理并行执行，或者可以与另一个程序的处理组合执行。

要注意的是，只要不产生矛盾，就可以独立地实现在本说明书中说明的本技术的多个示例。可以组合地实现本技术的多个任意定义的示例。例如，可以与在另一实施方式中说明的本技术的一部分或全部组合地实现在任一实施方式中说明的本技术的一部分或全部。另外，可以结合上面未描述的另一技术来实现本技术的任意定义的部分或整体。

要注意的是，本技术也可以具有以下配置。

(1)

一种图像处理装置，包括：

自适应处理部，其对已经被执行信号放大的图像执行自适应图像处理；以及

编码部，其对通过所述自适应处理部已经执行了所述自适应图像处理的图像进行简单编码。

(2)

根据(1)所述的图像处理装置，其中，

所述自适应处理部执行对所述图像的每个像素值加上在值范围内随机设置的偏移值的成像处理，所述值范围取决于对所述图像执行的所述信号放大的增益值，并且

所述编码部对已经通过所述自适应处理部对每个像素值加上所述偏移值而得的图像执行简单编码。

(3)

根据(2)所述的图像处理装置，其中，

所述自适应处理部将被校正为落入取决于所述增益值的值范围内的伪随机数作为所述偏移值与所述图像的每个像素值相加。

(4)

根据(1)至(3)中任一项所述的图像处理装置，其中，

所述自适应处理部执行从所述图像的每个像素值减去基于所述图像的平均像素值以及由所述编码部简单编码的量化值的偏移值的图像处理，并且

所述编码部对已经通过所述自适应处理部从每个像素值减去所述偏移值而得的图像进行简单编码。

(5)

根据(4)所述的图像处理装置，其中，

所述平均像素值包括在作为处理目标的当前帧之前的帧的图像的平均像素值。

(6)

根据(5)所述的图像处理装置，其中，

所述量化值包括取决于所述简单编码的压缩率的值。

(7)

根据(5)或(6)所述的图像处理装置，其中，

所述量化值是对作为处理目标的当前帧之前的帧的图像的简单编码的各个像素的量化值的平均值。

(8)

根据(4)至(7)中任一项所述的图像处理装置，其中，

对于每种颜色，所述自适应处理部从所述图像的每个像素值减去所述偏移值。

(9)

根据(4)所述的图像处理装置，还包括：

解码部，其对由所述编码部生成的编码数据进行简单解码；以及

偏移相加部，其对由所述解码部生成的解码图像的每个像素值加上基于所述图像的平均像素值和所述简单编码的量化值的偏移值。

(10)

根据(1)至(9)中任一项所述的图像处理装置，其中，

所述自适应处理部执行设置由所述编码部执行的简单编码的量化值的范围的图像处理，并且

所述编码部基于由所述自适应处理部设置的量化值的范围对所述图像进行简单编码，并且生成包括关于量化值的范围的信息的编码数据。

(11)

根据(10)所述的图像处理装置，其中，

所述自适应处理部根据对所述图像执行的所述信号放大的增益值来设置量化值的范围。

(12)

根据(10)所述的图像处理装置，还包括：

解码部，其基于由所述编码部生成的所述编码数据中所包括的关于量化值的范围的信息，对所述编码数据进行简单解码。

(13)

根据(1)至(12)中任一项所述的图像处理装置，其中，

所述自适应处理部执行将所述图像的每个像素值除以对所述图像执行的所述信号放大的增益值的图像处理，并且

所述编码部对已经通过所述自适应处理部将每个像素值除以所述增益值而得的图像进行简单编码。

(14)

根据(13)所述的图像处理装置，还包括：

解码部，其对由所述编码部生成的编码数据进行解码；以及

增益值乘法部，其将由所述解码部生成的解码图像的每个像素值乘以所述增益值。

(15)

根据(1)至(14)中任一项所述的图像处理装置，还包括：

放大部，其对所述图像执行信号放大，其中，

所述自适应处理部对已经由所述放大部执行了信号放大的图像执行自适应图像处理。

(16)

根据(1)至(15)中任一项所述的图像处理装置，还包括：

增益值设置部，其设置对所述图像执行的所述信号放大的增益值。

(17)

根据(1)至(16)中任一项所述的图像处理装置，还包括：

记录部，其记录由所述编码部生成的编码数据。

(18)

一种图像处理方法，包括：

对已经被执行了信号放大的图像执行自适应图像处理；以及

对已经执行了所述自适应图像处理的图像进行简单编码。

(19)

一种成像元件，包括：

成像部，其拍摄被摄对象的图像；

自适应处理部，其对由所述成像部生成并且执行了信号放大的拍摄图像执行自适应图像处理；以及

编码部，其对已经由所述自适应处理部执行了自适应图像处理的捕获图像执行简单编码。

(20)

一种成像装置，包括：

成像部，其拍摄被摄对象的图像，

自适应处理部，其对由所述成像部生成并且已经被执行了信号放大的拍摄图像执行自适应图像处理；以及

编码部，其对已经通过所述自适应处理部执行了自适应图像处理的拍摄图像进行简单编码来生成编码数据；以及

解码部，其对由所述编码部生成的编码数据进行简单解码。

[附图标记列表]

100图像处理系统，101控制部，102编码侧构件，103解码侧构件，111放大部，112随机偏移相加部，113编码部，121解码部，141伪随机数生成部，142值范围限制部，143计算部，144剪切部，171发送部，172接收部，211减法偏移设置部，212计算部，213剪切部，221加法偏移设置部，222计算部，223剪切部，231平均值测量部，232偏移值选择部，233偏移值提供部，251压缩部，252平均值测量部，311量化值范围设置部，411计算部，421计算部，510堆叠图像传感器，511至513半导体基板，521、522总线，523接口，530电路基板，541光接收部，542A/D转换部，551图像处理部，561DRAM，571图像处理部，600成像装置，601控制部，610总线，611光学部，612图像传感器，613图像处理部，614编解码器处理部，615显示部，616记录部，617通信部，621输入部，622输出部，625驱动器

Claims (20)

1.一种图像处理装置，包括：

自适应处理部，其对已经被执行信号放大的图像执行自适应图像处理；以及

编码部，其对通过所述自适应处理部已经执行了所述自适应图像处理的图像进行简单编码。

2.根据权利要求1所述的图像处理装置，其中，

所述自适应处理部执行对所述图像的每个像素值加上在值范围内随机设置的偏移值的成像处理，所述值范围取决于对所述图像执行的所述信号放大的增益值，并且

所述编码部对已经通过所述自适应处理部对每个像素值加上所述偏移值而得的图像执行简单编码。

3.根据权利要求2所述的图像处理装置，其中，

所述自适应处理部将被校正为落入取决于所述增益值的值范围内的伪随机数作为所述偏移值与所述图像的每个像素值相加。

4.根据权利要求1所述的图像处理装置，其中，

所述自适应处理部执行从所述图像的每个像素值减去基于所述图像的平均像素值以及由所述编码部简单编码的量化值的偏移值的图像处理，并且

所述编码部对已经通过所述自适应处理部从每个像素值减去所述偏移值而得的图像进行简单编码。

5.根据权利要求4所述的图像处理装置，其中，

所述平均像素值包括在作为处理目标的当前帧之前的帧的图像的平均像素值。

6.根据权利要求5所述的图像处理装置，其中，

所述量化值包括取决于所述简单编码的压缩率的值。

7.根据权利要求5所述的图像处理装置，其中，

所述量化值是对作为处理目标的当前帧之前的帧的图像的简单编码的各个像素的量化值的平均值。

8.根据权利要求4所述的图像处理装置，其中，

对于每种颜色，所述自适应处理部从所述图像的每个像素值减去所述偏移值。

9.根据权利要求4所述的图像处理装置，还包括：

解码部，其对由所述编码部生成的编码数据进行简单解码；以及

偏移相加部，其对由所述解码部生成的解码图像的每个像素值加上基于所述图像的平均像素值和所述简单编码的量化值的偏移值。

10.根据权利要求1所述的图像处理装置，其中，

所述自适应处理部执行设置由所述编码部执行的简单编码的量化值的范围的图像处理，并且

所述编码部基于由所述自适应处理部设置的所述量化值的范围对所述图像进行简单编码，并且生成包括关于所述量化值的范围的信息的编码数据。

11.根据权利要求10所述的图像处理装置，其中，

所述自适应处理部根据对所述图像执行的所述信号放大的增益值来设置所述量化值的范围。

12.根据权利要求10所述的图像处理装置，还包括：

解码部，其基于由所述编码部生成的所述编码数据中所包括的关于所述量化值的范围的信息，对所述编码数据进行简单解码。

13.根据权利要求1所述的图像处理装置，其中，

所述自适应处理部执行将所述图像的每个像素值除以对所述图像执行的所述信号放大的增益值的图像处理，并且

所述编码部对已经通过所述自适应处理部将每个像素值除以所述增益值而得的图像进行简单编码。

14.根据权利要求13所述的图像处理装置，还包括：

解码部，其对由所述编码部生成的编码数据进行简单解码；以及

增益值乘法部，其将由所述解码部生成的解码图像的每个像素值乘以所述增益值。

15.根据权利要求1所述的图像处理装置，还包括：

放大部，其对所述图像执行信号放大，其中，

所述自适应处理部对已经由所述放大部执行了信号放大的图像执行自适应图像处理。

16.根据权利要求1所述的图像处理装置，还包括：

增益值设置部，其设置对所述图像执行的所述信号放大的增益值。

17.根据权利要求1所述的图像处理装置，还包括：

记录部，其记录由所述编码部生成的编码数据。

18.一种图像处理方法，包括：

对已经被执行了信号放大的图像执行自适应图像处理；以及

对已经执行了所述自适应图像处理的图像进行简单编码。

19.一种成像元件，包括：

成像部，其拍摄被摄对象的图像；

自适应处理部，其对由所述成像部生成并且执行了信号放大的拍摄图像执行自适应图像处理；以及

编码部，其对已经由所述自适应处理部执行了自适应图像处理的捕获图像执行简单编码。

20.一种成像装置，包括：

成像部，其拍摄被摄对象的图像，

自适应处理部，其对由所述成像部生成并且已经被执行了信号放大的拍摄图像执行自适应图像处理；以及

编码部，其对已经通过所述自适应处理部执行了自适应图像处理的拍摄图像进行简单编码来生成编码数据；以及

解码部，其对由所述编码部生成的编码数据进行简单解码。

Images