CN111869213A - 编码装置、解码装置、编码方法、解码方法、编码程序及解码程序 - Google Patents

Abstract

编码装置具备：生成部，其根据反复配置有第1颜色分量和与所述第1颜色分量不同的第2颜色分量的RAW图像数据，生成由所述第1颜色分量的像素组构成的第1图像数据、和由所述第2颜色分量的像素组构成的第2图像数据；以及编码部，其基于由所述生成部生成的第1图像数据，对由所述生成部生成的第2图像数据进行编码。

Description

编码装置、解码装置、编码方法、解码方法、编码程序及解码 程序

【参照援引】

本申请主张在平成30年(2018年)1月16日提交的日本申请特愿2018-005211的优先权，并通过参照其内容而援引至本申请。

技术领域

本发明涉及编码装置、解码装置、编码方法、解码方法、编码程序及解码程序。

背景技术

有针对每个颜色分量压缩图像的技术(例如参照下述专利文献1)。然而，在上述现有技术中，没有有效利用分量帧间的相关性。

现有技术文献

专利文献

专利文献1：JP特开2002-125241号公报

发明内容

本发明的一侧面的编码装置具备：生成部，其根据反复配置有第1颜色分量和与所述第1颜色分量不同的第2颜色分量的RAW图像数据，生成由所述第1颜色分量的像素组构成的第1图像数据、和由所述第2颜色分量的像素组构成的第2图像数据；以及编码部，其基于由所述生成部生成的第1图像数据，对由所述生成部生成的第2图像数据进行编码。

本发明的另一侧面的编码装置具备：生成部，其根据基于来自反复配置有对第1颜色分量的光进行光电转换的光电转换部和对与所述第1颜色分量不同的第2颜色分量进行光电转换的光电转换部的摄像元件的输出的RAW图像数据，生成由所述第1颜色分量构成的第1图像数据、和由所述第2颜色分量构成的第2图像数据；以及编码部，其基于由所述生成部生成的第1图像数据，对由所述生成部生成的第2图像数据进行编码。

本发明的一侧面的解码装置具备：获取部，其获取对由第1颜色分量的像素组构成的第1图像数据进行编码而得到的第1编码图像数据、和基于所述第1图像数据对由与所述第1颜色分量不同的第2颜色分量的像素组构成的第2图像数据进行编码而得到的第2编码图像数据；解码部，其将由所述获取部获取的第1编码图像数据解码为所述第1图像数据，并且基于所述第1图像数据将由所述获取部获取的第2编码图像数据解码为所述第2图像数据；以及生成部，其基于由所述解码部解码出的第1图像数据以及第2图像数据，生成反复配置有所述第1颜色分量和所述第2颜色分量的RAW图像数据。

本发明的一侧面的编码方法包括：生成处理，根据反复配置有第1颜色分量和与所述第1颜色分量不同的第2颜色分量的RAW图像数据，生成由所述第1颜色分量的像素组构成的第1图像数据、和由所述第2颜色分量的像素组构成的第2图像数据；以及编码处理，基于在所述生成处理中生成的第1图像数据，对在所述生成处理中生成的第2图像数据进行编码。

本发明的一侧面的解码方法包括：获取处理，获取对由第1颜色分量的像素组构成的第1图像数据进行编码而得到的第1编码图像数据、和基于第1图像数据对所述由与所述第1颜色分量不同的第2颜色分量的像素组构成的第2图像数据进行编码而得到的第2编码图像数据；解码处理，将在所述获取处理中获取的第1编码图像数据解码为所述第1图像数据，并且基于所述第1图像数据将在所述获取处理中获取的第2编码图像数据解码为所述第2图像数据；以及生成处理，基于在所述解码处理中解码得到的第1图像数据以及第2图像数据，生成反复配置有所述第1颜色分量和所述第2颜色分量的RAW图像数据。

附图说明

图1是示出实施例1的编码以及解码例的说明图。

图2是示出图1所示的颜色排列的例的说明图。

图3是示出信息处理装置的硬件构成例的框图。

图4是示出实施例1的编码装置的功能的构成例的框图。

图5是示出基于第1生成部的分量帧的生成例的说明图。

图6是示出编码部的构成例的框图。

图7是示出分量帧的参照方向例的说明图。

图8是示出动态矢量的检测例的说明图。

图9是示出分量帧间的像素位置补偿预测例1的说明图。

图10是示出分量帧间的像素位置补偿预测例2的说明图。

图11是示出分量帧间的像素位置补偿预测例3的说明图。

图12是示出分量帧间的像素位置补偿预测例4的说明图。

图13是示出分量帧间的像素位置补偿预测例5的说明图。

图14是示出分量帧间的像素位置补偿预测例6的说明图。

图15是示出分量帧间的像素位置补偿预测例7的说明图。

图16是示出分量帧间的像素位置补偿预测例4的说明图。

图17是示出编码分量帧的数据结构例的说明图。

图18是示出基于编码装置的编码处理顺序例的流程图。

图19是示出解码装置的功能的构成例的框图。

图20是示出解码部的构成例的框图。

图21是示出基于解码装置的解码处理顺序例的流程图。

图22是示出实施例2的编码以及解码例的说明图。

图23是示出实施例2的编码装置的功能的构成例的框图。

图24是示出实施例2的基于编码装置的编码处理顺序例的流程图。

图25是示出实施例2的解码装置的功能的构成例的框图。

图26是示出实施例2的基于解码装置的解码处理顺序例的流程图。

图27是示出实施例3的编码以及解码例的说明图。

图28是示出分量帧的参照方向例的说明图。

图29是示出切片单位的编码例的说明图。

图30是示出实施例4的编码以及解码例的说明图。

具体实施方式

以下，参照附图针对各实施例进行说明。此外，在各实施例中成为编码的对象的图像数据为RAW图像数据。RAW图像数据为例如在安装有拜耳排列的彩色滤光片的摄像元件中根据光电转换后的结果输出的加工前的图像数据，为没有进行颜色插补处理或压缩处理(例如若为静止图像，则是JPEG(Joint Photographic Experts Group：联合图像专家小组)形式，若为动态图像，则是MPEG(Moving Picture Experts Group：动态图像专家组)形式)的图像数据。但白平衡调整可以对RAW图像数据实施。

【实施例1】

<编码以及解码例>

图1是示出实施例1的编码以及解码例的说明图。(A)分离以及(B)编码由编码装置执行，(C)解码以及(D)合成由解码装置执行。RAW图像数据100为周期性地配置有具有多个颜色分量的颜色排列101的图像数据。例如在为拜耳排列的情况下，颜色排列101在2×2像素的排列中，成为左上为绿(G1)、右上为蓝(B)、左下为红(R)、右为绿(G2)的颜色分量。颜色排列101的其他例子在图2中说明。

(A)编码装置从RAW图像数据100针对每个颜色分量生成分量帧。具体来说，例如编码装置生成绿(G1)的颜色分量帧即G1图像数据111、绿(G2)的颜色分量帧即G2图像数据112、蓝(B)的颜色分量帧即B图像数据113、红(R)的颜色分量帧即R图像数据114。

G1图像数据111为由来自RAW图像数据100中的颜色排列101的每一个的G1像素组构成的图像数据。G2图像数据112为由来自RAW图像数据100中的颜色排列101的每一个的G2像素组构成的图像数据。B图像数据113为由来自RAW图像数据100中的颜色排列101的每一个的B像素组构成的图像数据。R图像数据114为由来自RAW图像数据100中的颜色排列101的每一个的R像素组构成的图像数据。

(B)编码装置在分量帧间对各颜色分量帧进行编码。具体来说，例如编码装置利用帧内预测编码对分量帧组的一个进行编码而生成I图片，利用帧间预测编码对剩余的分量帧组进行编码而生成P图片或者B图片。在此，通过编码，使G1图像数据111成为G1编码图像数据121、G2图像数据112成为G2编码图像数据122、B图像数据113成为B编码图像数据123、R图像数据114成为R编码图像数据124。

(C)解码装置对编码后的分量帧组进行解码。具体来说，例如解码装置对I图片进行解码，此后，对后续的P图片或者B图片依次解码，生成其他分量帧。即，解码装置对G1编码图像数据121、G2编码图像数据122、B编码图像数据123、以及R编码图像数据124进行解码，生成G1图像数据111、G2图像数据112、B图像数据113、以及R图像数据114。

(D)解码装置将解码后的分量帧组合成，生成RAW图像数据100。具体来说，例如，通过按照颜色排列101排列G1图像数据111、G2图像数据112、B图像数据113、以及R图像数据114的同一位置的像素G1、G2、B、R，来复原RAW图像数据100。

像这样，利用根据色相或色彩饱和度使得分量帧间的相关性变高这种性质，对RAW图像数据100进行分量帧间预测，由此，能够提高RAW图像数据100的编码效率。另外，像这样在利用分量帧间预测编码进行了编码的情况下也能够复原至原本的RAW图像数据100。

图2是示出图1示出的颜色排列的例的说明图。(a)示出与图1示出的颜色排列101相同的颜色排列。(b)示出使在(a)中B像素和R像素的位置互换的颜色排列201。(c)示出在(a)中左半部分的像素列(G1、R)和右半部分的像素列(B、G2)互换的颜色排列202。(d)示出在(b)中左半部分的像素列(G1、B)和右半部分的像素列(R、G2)互换的颜色排列203。(e)示出6×6像素的颜色排列204的一例。(e)的颜色排列204在来自纵(6像素)、横(6像素)、倾斜(3像素以上)的任一方向的像素列均包含绿色的像素。此外，此后使用作为颜色排列的一例的(a)的颜色排列101进行说明。

<信息处理装置的硬件构成例>

图3是示出信息处理装置的硬件构成例的框图。信息处理装置300为包括编码装置以及解码装置的某一方或者双方的装置。信息处理装置300可以为例如数码相机、数码摄像机等的摄像装置，也可以为个人计算机或平板电脑、智能电话、游戏机。

信息处理装置300具有处理器301、存储设备302、操作设备303、LSI(Large ScaleIntegration：大规模集成电路)304、摄像单元305、和通信IF(Interface：接口)306。它们通过总线308连接。处理器301控制信息处理装置300。存储设备302成为处理器301的工作区域。

存储设备302为存储各种程序或数据的非临时或者临时的记录介质。作为存储设备302，具有例如ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存储器)、HDD(Hard Disk Drive：硬盘驱动)、快闪存储器。操作设备303操作数据。作为操作设备303例如具有按钮、开关、触摸面板。

LSI304为执行颜色插补、白平衡调整、轮廓强调、伽玛修正、灰阶变换等的图像处理或编码处理、解码处理、压缩解压处理等、特定处理的集成电路。

摄像单元305拍摄被摄体并生成RAW图像数据。摄像单元305包括摄像光学系统351、具有彩色滤光片352的摄像元件353、和信号处理电路354。

摄像光学系统351由例如包括变焦透镜或聚焦透镜在内的多个透镜构成。此外，为了简化，在图3中图示一个透镜作为摄像光学系统351。

摄像元件353是对基于从摄像光学系统351通过的光束的被摄体的成像进行拍摄(摄影)的设备。摄像元件353可以为依次扫描方式的固体摄像元件(例如CCD(ChargeCoupled Device：电荷耦合器件)图像传感器)，也可以为XY地址方式的固体摄像元件(例如CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器)。

在摄像元件353的受光面呈矩阵状排列有具有光电转换部的像素。而且，在摄像元件353的各像素按照规定的颜色排列101配置有分别使不同的颜色分量的光透射的多种彩色滤光片352。因此，摄像元件353的各像素通过利用彩色滤光片352的分色输出与各颜色分量对应的电信号。

在实施例1中，例如红色(R)、绿色(G)、蓝色(B)的彩色滤光片352按照2行2列的拜耳排列而周期性地配置于受光面。作为一例，在摄像元件353的颜色排列101的奇数行交替排列有G、B的像素，在颜色排列的偶数行交替排列有R、G的像素。而且，在颜色排列101的整体，以使绿色像素成为方格图案的方式进行配置。由此，摄像元件101在摄影时能够获取彩色的RAW图像数据。

相对于从摄像元件353输入来的图像信号，依次执行模拟信号处理(相关双采样、黑电平修正等)、A/D变换处理、和数字信号处理(缺陷像素修正等)。从信号处理电路354输出的RAW图像数据100被输入至LSI304或者存储设备302。通信IF306经由网络与外部装置连接，进行数据的收发。

<编码装置的功能的构成例>

图4是示出实施例1的编码装置的功能的构成例的框图。编码装置400具有第1生成部401、编码部402、记录部403。第1生成部401从RAW图像数据100生成针对每个颜色分量的分量帧，编码部402对分量帧进行编码，记录部403将编码分量帧记录于存储设备302。

具体来说，第1生成部401、编码部402、以及记录部403为通过使处理器301执行例如存储在存储设备302内的程序而实现的功能或者为由LSI304实现的功能。

第1生成部401从反复配置有第1颜色分量和与第1颜色分量不同的第2颜色分量的RAW图像数据，生成由第1颜色分量的像素组构成的第1图像数据、和由第2颜色分量的像素组构成的第2图像数据。换言之，摄像元件353反复配置有具有对第1颜色分量的光进行光电转换的光电转换部的像素、和具有对与第1颜色分量不同的第2颜色分量进行光电转换的光电转换部的像素，第1生成部401从基于来自该摄像元件353的输出的RAW图像数据100生成由第1颜色分量构成的第1图像数据、和由第2颜色分量构成的第2图像数据。例如RAW图像数据100可以为从摄像元件353直接输出的图像数据，也可以为复制的RAW图像数据100。

如上所述，颜色排列101具有三种、且为四个颜色分量的绿(G1)，绿(G2)、蓝(B)以及红(R)。

在此，第1颜色分量是指，构成颜色排列101的绿(G1)、绿(G2)、蓝(B)以及红(R)中的某一个。若第1颜色分量为绿(G1)或者绿(G2)，则第2颜色分量为蓝(B)或者红(R)。若第1颜色分量为蓝(B)，则第2颜色分量为绿(G1)、绿(G2)以及红(R)中的某一个，若第1颜色分量为红(R)，则第2颜色分量为绿(G1)、绿(G2)以及蓝(B)中的某一个。

若第1颜色分量为绿(G1)则第1图像数据为G1图像数据111，若第1颜色分量为绿(G2)则第1图像数据为G2图像数据112，若第1颜色分量为蓝(B)则第1图像数据为B图像数据113，若第1颜色分量为红(R)则第1图像数据为R图像数据114。

与之相对地，若第1图像数据为G1图像数据111或者G2图像数据112，则第2图像数据为B图像数据113或者R图像数据114，若第1图像数据为B图像数据113，则第2图像数据为G1图像数据111、G2图像数据112以及R图像数据114的某一个，若第1图像数据为R图像数据114，则第2图像数据为G1图像数据111、G2图像数据112以及B图像数据113的某一个。

另外，RAW图像数据100具有与第1颜色分量以及第2颜色分量中的某一方的颜色分量相同或者与第1颜色分量以及第2颜色分量不同的第3颜色分量。具体来说，例如，若第1颜色分量为绿(G1)且第2颜色分量为蓝(B)，则第3颜色分量为与第1颜色分量的绿(G1)相同的颜色分量即绿(G2)，或者为与第1颜色分量以及第2颜色分量不同的颜色分量即红(R)。另外，若第1颜色分量为绿(G2)且第2颜色分量为蓝(B)，则第3颜色分量为与第1颜色分量的绿(G2)相同的颜色分量即绿(G1)、或者为与第1颜色分量以及第2颜色分量不同的颜色分量即红(R)。

另外，同样地，若第1颜色分量为绿(G1)且第2颜色分量为红(R)，则第3颜色分量为与第1颜色分量的绿(G1)相同的颜色分量即绿(G2)、或者为与第1颜色分量以及第2颜色分量不同的颜色分量即蓝(B)。另外，若第1颜色分量为绿(G2)且第2颜色分量为红(R)，则第3颜色分量为与第1颜色分量的绿(G2)相同的颜色分量即绿(G1)、或者为与第1颜色分量以及第2颜色分量不同的颜色分量即蓝(B)。

若第1图像数据为G1图像数据111且第2图像数据为B图像数据113，则第3图像数据为G2图像数据112或者R图像数据114。另外，若第1图像数据为G2图像数据112且第2图像数据为B图像数据113，则第3图像数据为G1图像数据111或者R图像数据114。

若第1图像数据为G1图像数据111且第2图像数据为R图像数据114，则第3图像数据为G2图像数据112或者B图像数据113。另外，若第1图像数据为G2图像数据112且第2图像数据为R图像数据114，则第3图像数据为G1图像数据111或者B图像数据113。

此外，第4颜色分量为剩余的颜色分量，第1生成部401从RAW图像数据100中的、剩余的颜色分量的像素组，生成剩余的颜色分量的第4图像数据。

图5是示出基于第1生成部401的分量帧的生成例的说明图。(a)为作为编码对象的RAW图像数据100。此外，将RAW图像数据100的水平方向像素数设为H(在图5中为H＝8)，将垂直方向像素数设为V(在图5中为V＝8)。

(b)～(e)示出通过RAW图像数据100的颜色分量的排序变更而生成的分量帧。(b)的分量帧为G1图像数据111，(c)的分量帧为G2图像数据112，(d)的分量帧为B图像数据113，(e)的分量帧为R图像数据114。

第1生成部401通过执行图1的(A)分离，按照颜色排列101的位置对从RAW图像数据100分离的G一个像素、B像素、R像素、G2像素进行排序变更。由此，第1生成部401从一个RAW图像数据100生成G1图像数据111、G2图像数据112、B图像数据113、R图像数据114的四个分量帧。此外、G1图像数据111、G2图像数据112、B图像数据113、R图像数据114分别成为RAW图像数据100的1/4的图像尺寸(V/2×H/2)。

返回图4，编码部402基于由第1生成部401生成的第1图像数据，对由第1生成部401生成的第2图像数据进行编码。具体来说，例如编码部402通过对第1图像数据与第2图像数据之间补偿像素位置，来对第2图像数据进行编码。在此，“像素位置的补偿”是指，用与着眼像素不同的位置的第1图像数据内的特定的参照像素对第2图像数据的着眼像素进行补偿。

从RAW图像数据100的相同颜色排列101提取的G一个像素、G2像素、B像素以及R像素在各分量帧(G1图像数据111、G2图像数据112、B图像数据113、R图像数据114)中分别配置在相同像素位置。然而，在分量帧间，会产生因颜色排列101的像素位置的不同而引起的图样的偏移。因此，编码部402与通常的编码处理中的时间轴方向上的帧间的动态补偿同样地，执行从同一RAW图像数据100生成的分量帧间的像素位置补偿。

在此，作为进行像素位置补偿预测的编码方式，已知例如由ISO/IEC14496-10规定的AVC(Advanced Video Coding：高级视频编码)等。编码部402针对特定的分量帧(例如G1图像数据111)执行帧内预测编码来生成I图片，并且针对剩余的分量帧(例如G2图像数据112、B图像数据113、R图像数据114)执行帧间预测编码来生成P图片或者B图片。

I图片为通过仅在分量帧内完成的编码而得到的编码图像数据。P图片为通过利用最大一张参照分量帧的分量帧间预测编码而得到的编码图像数据。B图片为通过利用最大两张参照分量帧的分量帧间预测编码而得到的编码图像数据。以下，针对编码部402的详细构成例进行说明。

<编码部402的构成例>

图6是示出编码部402的构成例的框图。编码部402具有第1累积部601、减法部602、正交变换部603、量化部604、可变长度编码部605、反量化部606、反向正交变换部607、加法部608、第2累积部609、位置偏移检测部610、第1像素位置补偿部611。

第1累积部601对从第1生成部401输出的各分量帧(G1图像数据111、G2图像数据112、B图像数据113、R图像数据114)进行累积。累积在第1累积部601的分量帧作为编码对象的图像数据而按照输入顺序向减法部602输出。此外，从第1累积部601依次删除编码完毕的图像数据。

减法部602在生成P图片或者B图片时，将输入来的原图像的分量帧与通过第1像素位置补偿部611生成的后述的预测值之差分信号(预测误差值)输出。另外，减法部602在生成I图片时，直接将输入来的原图像的分量帧输出。

正交变换部603在生成I图片时，对直接从减法部602通过而输入来的原图像的分量帧进行正交变换。另外，正交变换部603在生成P图片或者B图片时，相对于上述差分信号进行正交变换。

量化部604将从正交变换部603输入来的块单位的频率系数(正交变换系数)变换为量化系数。量化部604的输出向可变长度编码部605以及反量化部606分别输入。

可变长度编码部605对量化系数或与来自位置偏移检测部610的位置偏移有关的动态矢量(以下，仅称为“动态矢量”)进行可变长度编码，输出编码分量帧(I图片、P图片、B图片)。

反量化部606以作为编码的单位的块单位对量化系数进行反量化，来对频率系数进行解码。反向正交变换部607对由反量化部606解码后的频率系数进行反向正交变换，来对预测误差值(或者原图像的分量帧)进行解码。

加法部608将解码后的预测误差值、和由第1像素位置补偿部611生成的后述的预测值相加。然后，从加法部608输出的图片的解码值(参照分量帧)被累积至第2累积部609。此外，从第2累积部609依次删除在以后的像素位置补偿预测中未被参照的分量帧。

位置偏移检测部610使用第2累积部609的参照图像，检测表示用于预测编码对象的分量帧的像素位置的偏移的动态矢量。动态矢量被输出至第1像素位置补偿部611以及可变长度编码部605。

第1像素位置补偿部611基于动态矢量以及参照分量帧，输出以块单位预测到的编码对象的分量帧的预测值。该预测值被输出至减法部602以及加法部608。

此外，在针对某一块进行像素位置补偿预测的情况下，若编码对象的分量帧与预测值完全一致，则仅对动态矢量编码。另外，在编码对象的分量帧与预测值部分一致的情况下，对动态矢量和差分图像编码。另外，在编码对象的分量帧与预测值全部不同的情况下，对与块整体对应的图像全部进行编码。

<分量帧的参照方向例>

图7是示出分量帧的参照方向例的说明图。(A)示出来自同一RAW图像数据100的分量帧的输入顺序为G1图像数据111、G2图像数据112、B图像数据113以及R图像数据114的情况下的参照方向。最前面的G1图像数据111被编码为I图片。接下来输入的G2图像数据112以之前的G1图像数据111作为参照分量帧，并利用帧间预测编码被编码为P图片。

接下来输入的B图像数据113以在每块中之前的G1图像数据111以及G2图像数据112中的至少一方的分量帧作为参照分量帧，利用帧间预测编码被编码为P图片或者B图片。最后输入的R图像数据114以在每块中之前的G1图像数据111、G2图像数据112以及B图像数据113中的至少一个分量帧作为参照分量帧，利用帧间预测编码被编码为P图片或者B图片。

(B)示出来自同一RAW图像数据100的分量帧的输入顺序为B图像数据113、R图像数据114、G1图像数据111以及G2图像数据112的情况下的参照方向。最前面的B图像数据113被编码为I图片。接下来输入的R图像数据114以之前的B图像数据113作为参照分量帧，利用帧间预测编码被编码为P图片。

接下来输入的G1图像数据111以之前的B图像数据113以及R图像数据114中的至少一方的分量帧作为参照分量帧，利用帧间预测编码被编码为P图片或者B图片。最后输入的G2图像数据112以之前的B图像数据113、R图像数据114以及G1图像数据111中的至少一个分量帧作为参照分量帧，利用帧间预测编码被编码为P图片或者B图片。

此外，图7的参照方向为一例，利用(A)、(B)以外的分量帧的输入顺序也能够进行编码。即，最前面的分量帧被编码为I图片，后续的分量帧被编码为P图片或者B图片。另外，该编码部402由于利用不取决于颜色分量的、来自摄像元件353的像素的亮度值，所以即使以不同的颜色分量作为参照帧也能够进行编码。

<动态矢量的检测例>

图8是示出动态矢量的检测例的说明图。(A)示出RAW图像数据100以及分量帧，(B)～(M)示出动态矢量的检测例。在图8中，为了简化说明，如(A)所示，将RAW图像数据100设为H＝4像素、V＝4像素的帧。另外，为了与其他相同颜色分量进行区别，对颜色分量的附图标记的末尾标注a～d、x。

另外，将相对于预测对象的分量帧的着眼像素的位置的参照分量帧的参照像素的位置偏移设为动态矢量V(x、y)。动态矢量V(x、y)因右方向的偏移而x增加，因左方向的偏移而x减少，因下方向的偏移而y增加，因上方向的偏移而y减少。在图8中，用黑色箭头表示动态矢量V(x、y)。

(B)～(E)示出将参照分量帧设为B图像数据113、将预测对象的分量帧设为R图像数据114、将着眼像素设为R图像数据114的像素Rx的情况下的动态矢量V(Rx)的检测例。在(B)～(E)中，位置偏移检测部610利用一个参照像素检测用于预测着眼像素的动态矢量。由此，能够将R图像数据114编码为P图片。

在(B)中，将B图像数据113的参照像素设为像素Bb。着眼像素Rx位于与参照像素Bb相同的像素位置。即，在参照像素Bb和着眼像素Rx没有产生位置偏移。因此，在用像素Bb预测着眼像素Rx的情况下，动态矢量V(B)成为V(B)＝(0、0)。即，动态矢量V(B)未被检测到。

在(C)中，将B图像数据113的参照像素设为像素Ba。着眼像素Rx位于从参照像素Ba向右方向偏移了一个像素的像素位置。即，在参照像素Ba和着眼像素Rx产生了位置偏移。因此，在利用参照像素Ba预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(-1、0)。

在(D)中，将B图像数据113的参照像素设为像素Bd。着眼像素Rx位于从参照像素Bd向上方向偏移了一个像素的像素位置。即，在参照像素Bd和着眼像素Rx产生了位置偏移。因此，在利用参照像素Bd预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(0、1)。

在(E)中，将B图像数据113的参照像素设为像素Bc。着眼像素Rx位于从参照像素Bc向右方向偏移了一个像素且向上方向偏移了一个像素的像素位置。即，在参照像素Bc和着眼像素Rx产生了位置偏移。因此，在利用参照像素Bc预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(-1、1)。

(F)～(J)示出将参照分量帧设为B图像数据113、将预测对象的分量帧设为R图像数据114、将着眼像素设为R图像数据114的像素Rx的情况下的动态矢量V(B)的检测例。在(F)～(J)中，位置偏移检测部610利用相同颜色分量的多个参照像素检测用于预测着眼像素的动态矢量。由此、能够将R图像数据114编码为P图片。

在(F)中，将B图像数据113的参照像素设为像素Ba～Bd。着眼像素Rx位于与参照像素Bb相同的像素位置。在利用参照像素Ba～Bd进行预测的情况下，平均的参照像素位置成为参照像素Ba～Bd的中心，与着眼像素Rx产生了位置偏移。

即，着眼像素Rx位于从参照像素Ba～Bd的中心向右方向偏移了0.5像素且向上方向偏移了0.5像素的像素位置。因此，在利用参照像素Ba～Bd预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(-0.5、0.5)。

在(G)中，将B图像数据113的参照像素设为像素Bb、Bd。着眼像素Rx位于与参照像素Bb相同的像素位置。在利用参照像素Bb、Bd进行预测的情况下，平均的参照像素位置成为参照像素Bb、Bd的中心，与着眼像素Rx产生了位置偏移。

即，着眼像素Rx位于从参照像素Bb、Bd的中心向上方向偏移了0.5像素的像素位置。因此，在利用参照像素Bb、Bd预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(0、0.5)。

在(H)中，将B图像数据113的参照像素设为像素Ba、Bc。着眼像素Rx位于与参照像素Bb相同的像素位置。在利用参照像素Ba、Bc进行预测的情况下，平均的参照像素位置成为参照像素Ba、Bc的中心，与着眼像素Rx产生了位置偏移。

即，着眼像素Rx位于从参照像素Ba、Bc的中心向右方向偏移了一个像素且向上方向偏移了0.5像素的像素位置。因此，在利用参照像素Ba、Bc预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(-1、0.5)。

在(I)中，将B图像数据113的参照像素设为像素Ba、Bb。着眼像素Rx位于与参照像素Bb相同的像素位置。在利用参照像素Ba、Bb进行预测的情况下，平均的参照像素位置成为参照像素Ba、Bb的中心，与着眼像素Rx产生了位置偏移。

即，着眼像素Rx位于从参照像素Ba、Bb的中心向右方向偏移了0.5像素的像素位置。因此，在利用参照像素Ba、Bb预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(-0.5、0)。

在(J)中，将B图像数据113的参照像素设为像素Bc、Bd。着眼像素Rx位于与参照像素Bb相同的像素位置。在利用参照像素Bc、Bd进行预测的情况下，平均的参照像素位置成为参照像素Bc、Bd的中心，与着眼像素Rx产生了位置偏移。

即，着眼像素Rx位于从参照像素Bc、Bd的中心向右方向偏移了0.5像素且向上方向偏移了一个像素的像素位置。因此，在利用参照像素Bc、Bd预测着眼像素Rx的情况下，动态矢量V(B)被检测为V(B)＝(-0.5、1)。

(K)～(M)示出将参照分量帧设为G1图像数据111或者/以及G2图像数据112、将预测对象的分量帧设为R图像数据114、将着眼像素设为R图像数据114的像素Rx的情况下的动态矢量V的检测例。在(K)～(M)中，位置偏移检测部610利用相同颜色分量或者不同的颜色分量的多个参照像素检测用于预测着眼像素的动态矢量。由此，能够将R图像数据114编码为P图片或者B图片。

在(K)中，将G1图像数据111的参照像素设为像素G1b、G1d。着眼像素Rx位于与参照像素G1b相同的像素位置。在利用参照像素G1b、G1d进行预测的情况下，平均的参照像素位置成为参照像素G1b、G1d的中心，与着眼像素Rx产生了位置偏移。

即，着眼像素Rx位于从参照像素G1b、G1d的中心向上方向偏移了0.5像素的像素位置。因此，在利用参照像素G1b、G1d预测着眼像素Rx的情况下，动态矢量V(G1)被检测为V(G1)＝(0、0.5)。

在(L)中，将G2图像数据112的参照像素设为像素G2a、G2b。着眼像素Rx位于与参照像素G2b相同的像素位置。在利用参照像素G2a、G2b进行预测的情况下，平均的参照像素位置成为参照像素G2a、G2b的中心，与着眼像素Rx产生了位置偏移。

即，着眼像素Rx位于从参照像素G2a、G2b的中心向右方向偏移了0.5像素的像素位置。因此，在利用参照像素G2a、G2b预测着眼像素Rx的情况下，动态矢量V(G2)被检测为V(G2)＝(-0.5、0)。

(M)将G1图像数据111以及G2图像数据112设为参照分量帧。因此，(M)的动态矢量成为(K)的动态矢量V(G1)和(L)的动态矢量V(G2)的合成动态矢量V(G)。因此，在利用参照像素G1b、G1d以及参照像素G2a、G2b预测着眼像素Rx的情况下，合成动态矢量V(G)被检测为V(G)＝(-0.5、0.5)。

此外，在图8中，将预测对象设为R图像数据114，但预测对象可以为G1图像数据111、G2图像数据112、B图像数据113。另外，也可以将R图像数据114设为参照分量帧。另外，(M)的双向的参照分量帧也可以不为相同颜色分量，而为不同的颜色分量。

像这样，从RAW图像数据100的相同颜色排列101提取的G一个像素、G2像素、B像素以及R像素在各分量帧分别配置在相同像素位置。然而，在分量帧间产生因颜色排列101的像素位置的不同而引起的图样的偏移。因此，考虑颜色排列101的像素位置的不同，执行分量帧间的像素位置补偿预测。

<分量帧间的像素位置补偿预测例>

以下，使用图9～图16说明分量帧间的像素位置补偿预测例。此外，在图9～图16中，用圆圈表示RAW图像数据100的像素的排列。另外，利用框线表示一个颜色排列的范围(分量帧的标本点)。

图9是示出分量帧间的像素位置补偿预测例1的说明图。(A)的参照图案示出如下的例子：将预测对象的分量帧设为G2图像数据112，利用与其着眼像素G2x相邻的参照分量帧即G1图像数据111的周围4个像素G1a～G1d的平均值，预测着眼像素G2x的值。

在(A)中，像素G1a和像素G2x属于同一标本点，但着眼像素G2x因插补而受到像素G1b～G1d的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素G2x的位置向右偏移0.5像素且向下偏移0.5像素。因此，在该情况下的动态矢量V(G1)为V(G1)＝(0.5、0.5)。

像这样，在(A)中，通过利用四个相邻像素G1a～G1d的平均预测着眼像素G2x的像素值，将G2图像数据112编码为P图片。因此、利用G1图像数据能够进行与着眼像素G2x的像素位置匹配的预测。另外，能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

(B)的参照图案示出如下的例子：将预测对象的分量帧设为G2图像数据112，利用与其着眼像素G2x相邻的参照分量帧即G1图像数据111的相邻的2个像素G1a、G1c的平均值预测着眼像素G2x的值。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。利用两个相邻像素G1a、G1c的平均预测着眼像素G2x的像素值，因此，能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

在(B)中，像素G1a和像素G2x属于同一标本点，但着眼像素G2x因插补而受到像素G1a、G1c的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素G2x的位置向下偏移了0.5像素。因此，在该情况下的动态矢量V(G1)为V(G1)＝(0、0.5)。

(C)的参照图案示出如下的例子：将预测对象的分量帧设为G2图像数据112，利用与其着眼像素G2x相邻的参照分量帧即G1图像数据111的相邻的两个像素G1b、G1d的平均值预测该着眼像素G2x的值。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。由于利用两个相邻像素G1b、G1d的平均预测着眼像素G2x的像素值，所以能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

在(C)中，像素G1a和像素G2x属于同一标本点，但着眼像素G2x因插补而受到像素G1b、G1d的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素G2x的位置向右偏移一个像素且向下偏移0.5像素。因此，在该情况下的动态矢量V(G1)为V(G1)＝(1、0.5)。

(D)的参照图案示出如下的例子：将预测对象的分量帧设为G2图像数据112，利用与其着眼像素G2x相邻的参照分量帧即G1图像数据111的相邻的两个像素G1a、G1b的平均值预测该着眼像素G2x的值。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。由于利用两个相邻像素G1a、G1b的平均预测着眼像素G2x的像素值，所以能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

在(D)中，像素G1a和像素G2x属于同一标本点，但着眼像素G2x因插补而受到像素G1a、G1b的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素G2x的位置向右偏移0.5像素。因此，在该情况下的动态矢量V(G1)为V(G1)＝(0.5、0)。

(E)的参照图案示出如下的例子：将预测对象的分量帧设为G2图像数据112，利用与其着眼像素G2x相邻的参照分量帧即G1图像数据111的相邻的两个像素G1c、G1d的平均值预测该着眼像素G2x的值。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。由于利用两个相邻像素G1c、G1d的平均预测着眼像素G2x的像素值，所以能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

在(E)中，像素G1aと像素G2x属于同一标本点，着眼像素G2x因插补而受到像素G1c、G1d的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素G2x的位置向右偏移0.5像素且向下偏移一个像素。因此，在该情况下的动态矢量V(G1)为V(G1)＝(0.5、1)。

像这样，在(B)～(E)中，利用包括纵边缘或者横边缘在内的图样的块选择的概率很高。通过两个相邻像素的平均预测着眼像素G2x的像素值，将G2图像数据112编码为P图片。因此，能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

图10是示出分量帧间的像素位置补偿预测例2的说明图。在图10中，预测对象的分量帧的着眼像素的值根据与预测对象的分量帧相同的颜色分量即参照分量帧的不同位置的像素的值来预测。在图10中，将预测对象的分量帧设为G2图像数据112，将该着眼像素设为像素G2x，将参照分量帧设为G1图像数据111。

在(A)的参照图案的情况下，预测对象的分量帧即G2图像数据112的着眼像素G2x的值根据在RAW图像数据中位于左上的像素G1a的值来预测。在该情况下，参照分量帧即G1图像数据111的参照像素(G1a所属的标本点)为与预测对象的分量帧即G2图像数据112的着眼像素(G2x所属的标本点)相同的位置。因此，动态矢量V成为V(G1)＝(0、0)。就这种动态补偿预测而言，利用包括从右下向左上的倾斜边缘在内的图样的块选择的概率很高。

在(B)的参照图案的情况下，预测对象的分量帧即G2图像数据112的着眼像素G2x的值根据在RAW图像数据中位于右上的像素G1b的值来预测。在该情况下，参照分量帧即G1图像数据111的参照像素(G1b所属的标本点)相对于预测对象的分量帧即G2图像数据112的着眼像素(G2x所属的标本点)的位置向右偏移一个像素。因此，动态矢量V成为V(G1)＝(1、0)。就这种动态补偿预测而言，利用包括从左下向右上的倾斜边缘在内的图样的块选择的概率很高。

在(C)的参照图案的情况下，预测对象的分量帧即G2图像数据112的着眼像素G2x的值根据在RAW图像数据中位于左下的像素G1c的值来预测。在该情况下，参照分量帧即G1图像数据111的参照像素(G1c所属的标本点)相对于预测对象的分量帧即G2图像数据112的着眼像素(G2x所属的标本点)的位置向下偏移一个像素。因此，动态矢量V为V(G1)＝(0、1)。就这种动态补偿预测而言，利用包括从右下向左上的倾斜边缘在内的图样的块选择的概率很高。

在(D)的参照图案的情况下，预测对象的分量帧即G2图像数据112的着眼像素G2x的值根据在RAW图像数据100中位于右下的像素G1d的值来预测。在该情况下，参照分量帧即G1图像数据111的参照像素(G1d所属的标本点)相对于预测对象的分量帧即G2图像数据112的着眼像素(G2x所属的标本点)的位置向右偏移一个像素且向下偏移一个像素。因此，动态矢量V为V(G1)＝(1、1)。就这种动态补偿预测而言，利用包括从左下向右上的倾斜边缘在内的图样的块选择的概率很高。

像这样，通过利用一个像素G1预测着眼像素G2x的像素值，将G2图像数据112编码为P图片。因此，能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

图11是示出分量帧间的像素位置补偿预测例3的说明图。在图11中，预测对象的分量帧的着眼像素的值根据与预测对象的分量帧不同的颜色分量即参照分量帧的不同位置的像素的值来预测。在图11中，将预测对象的分量帧设为B图像数据113，将该着眼像素设为像素Bx，将参照分量帧设为G1图像数据111或者G2图像数据112。

(A)的参照图案示出如下的例子：利用与着眼像素Bx相邻的参照分量帧即G1图像数据111的相邻的两个像素G1a、G1b的平均值预测预测对象的分量帧即B图像数据113的着眼像素Bx的值。通过利用两个相邻像素G1a、G1b的平均预测着眼像素Bx的像素值，将B图像数据113编码为P图片。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

在(A)中，像素G1a和着眼像素Bx属于同一标本点，着眼像素Bx因插补而受到像素G1a、G1b的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素Bx的位置向右偏移0.5像素。因此，该情况下的动态矢量V(G1)为V(G1)＝(0.5、0)。

(B)的参照图案示出如下的例子：利用与着眼像素Bx相邻的参照分量帧即G2图像数据112的相邻的两个像素G2a、G2b的平均值预测预测对象的分量帧即B图像数据113的着眼像素Bx的值。通过两个相邻像素G2a、G2b的平均预测着眼像素Bx的像素值，将B图像数据113编码为P图片。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即G2图像数据112的解码值所包含的编码失真。

在(B)中，参照像素G2b和着眼像素Bx属于同一标本点，着眼像素Bx因插补而受到像素G2a、G2b的影响。因此，参照分量帧即G2图像数据112的参照像素的范围相对于着眼像素Bx的位置向上偏移0.5像素。因此，该情况下的动态矢量V(G2)为V(G2)＝(0、-0.5)。

(C)的参照图案为(A)的像素位置补偿预测和(B)的像素位置补偿预测的组合。即，(C)为利用与着眼像素Bx相邻的参照分量帧即G1图像数据111的相邻的两个像素G1a、G1b以及G2图像数据112的相邻的两个像素G2a、G2b的平均值预测预测对象的分量帧即B图像数据113的着眼像素Bx的值的例子。

通过四个相邻像素G1a、G1b、G2a、G2b的平均预测着眼像素Bx的像素值，将B图像数据113编码为B图片。因此，能够进一步抑制参照分量帧即G1图像数据111以及G2图像数据112的解码值所包含的编码失真。

在(C)中，像素G1a、G2b和着眼像素Bx属于同一标本点，着眼像素Bx因插补而受到像素G1a、G1b、G2a、G2b的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素Bx的位置向右偏移0.5像素，G2图像数据112的参照像素的范围相对于着眼像素Bx的位置向上偏移0.5像素。因此，该情况下的动态矢量V(G)为V(G1)+V(G2)＝(0.5、-0.5)。

图12是示出分量帧间的像素位置补偿预测例4的说明图。在图12中，预测对象的分量帧的着眼像素的值根据与预测对象的分量帧不同的颜色分量即参照分量帧的不同位置的像素的值来预测。在图12中，将预测对象的分量帧设为R图像数据114，将该着眼像素设为像素Rx，将参照分量帧设为G1图像数据111或者G2图像数据112。

(A)的参照图案示出如下的例子：利用与着眼像素Rx相邻的参照分量帧即G1图像数据111的相邻的两个像素G1a、G1b的平均值预测预测对象的分量帧即R图像数据114的着眼像素Rx的值的例子。通过利用两个相邻像素G1a、G1b的平均预测着眼像素Rx的像素值，将R图像数据114编码为P图片。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即G1图像数据111的解码值所包含的编码失真。

在(A)中，像素G1a和着眼像素Rx属于同一标本点，着眼像素Rx因插补而受到像素G1a、G1b的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素Rx的位置向下偏移0.5像素。因此，该情况下的动态矢量V(G1)为V(G1)＝(0、0.5)。

(B)的参照图案示出如下的例子：利用与着眼像素Rx相邻的参照分量帧即G2图像数据112的相邻的两个像素G2a、G2b的平均值预测预测对象的分量帧即R图像数据114的着眼像素Rx的值。通过两个相邻像素G2a、G2b的平均预测着眼像素Rx的像素值，将R图像数据114编码为P图片。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即G2图像数据112的解码值所包含的编码失真。

在(B)中，参照像素G2b和着眼像素Rx属于同一标本点，着眼像素Rx因插补而受到像素G2a、G2b的影响。因此，参照分量帧即G2图像数据112的参照像素的范围相对于着眼像素Rx的位置向左偏移0.5像素。因此，该情况下的动态矢量V(G2)为V(G2)＝(-0.5、0)。

(C)的参照图案为(A)的像素位置补偿预测和(B)的像素位置补偿预测的组合。即，(C)为利用与着眼像素Rx相邻的参照分量帧即G1图像数据111的相邻的两个像素G1a、G1b以及G2图像数据112的相邻的两个像素G2a、G2b的平均值预测预测对象的分量帧即R图像数据114的着眼像素Rx的值的例子。

通过利用四个相邻像素G1a、G1b、G2a、G2b的平均预测着眼像素Bx的像素值，将R图像数据114编码为B图片。因此，能够抑制参照分量帧即G1图像数据111以及G2图像数据112的解码值所包含的编码失真。

在(C)中，像素G1a、G2b和着眼像素Rx属于同一标本点，着眼像素Rx因插补而受到像素G1a、G1b、G2a、G2b的影响。因此，参照分量帧即G1图像数据111的参照像素的范围相对于着眼像素Rx的位置向下偏移0.5像素，G2图像数据112的参照像素的范围相对于着眼像素Rx的位置向左偏移0.5像素。因此，该情况下的动态矢量V(G)为V(G1)+V(G2)＝(-0.5、0.5)。

图13是示出分量帧间的像素位置补偿预测例5的说明图。(A)的参照图案示出如下的例子：将预测对象的分量帧设为R图像数据114，利用与着眼像素Rx相邻的参照分量帧即B图像数据113的周围4像素Ba～Bd的平均值预测该着眼像素Rx的值。

在(A)中，像素Bb和像素Rx属于同一标本点，着眼像素Rx因插补而受到像素Bb～Bd的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素Rx的位置向左偏移0.5像素，向下偏移0.5像素。因此，该情况下的动态矢量V(B)为V(B)＝(-0.5、0.5)。

像这样，通过利用四个相邻像素Ba～Bd的平均预测着眼像素Rx的像素值，将R图像数据114编码为P图片。因此，能够利用B图像进行与眼像素Rx的像素位置匹配的预测。另外，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

(B)的参照图案示出如下的例子：将预测对象的分量帧设为R图像数据114，利用与着眼像素Rx相邻的参照分量帧即B图像数据113的相邻的两个像素Ba、Bc的平均值预测该着眼像素Rx的值。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。利用两个相邻像素Ba、Bc的平均预测着眼像素Rx的像素值，因此，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

在(B)中，像素Bb和像素Rx属于同一标本点，着眼像素Rx因插补而受到像素Ba、Bc的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素Rx的位置向左偏移一个像素，向下偏移0.5像素。因此，该情况下的动态矢量V(B)为V(B)＝(-1、0.5)。

(C)的参照图案示出如下的例子：将预测对象的分量帧设为R图像数据114，利用与着眼像素Rx相邻的参照分量帧即B图像数据113的相邻的两个像素Bb、Bd的平均值预测该着眼像素Rx的值。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。利用两个相邻像素Bb、Bd的平均预测着眼像素Rx的像素值，因此，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

在(C)中，像素Bb和像素Rx属于同一标本点，着眼像素Rx因插补而受到像素Bb、Bd的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素Rx的位置向下偏移0.5像素。因此，该情况下的动态矢量V(B)为V(B)＝(0、0.5)。

(D)的参照图案示出如下的例子：将预测对象的分量帧设为R图像数据114，利用与着眼像素Rx相邻的参照分量帧即B图像数据113的相邻的两个像素Ba、Bb的平均值预测该着眼像素Rx的值。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。利用两个相邻像素Ba、Bb的平均预测着眼像素Rx的像素值，因此，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

在(D)中，像素Bb和像素Rx属于同一标本点，着眼像素Rx因插补而受到像素Ba、Bb的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素Rx的位置向左偏移0.5像素。因此，该情况下的动态矢量V(B)为V(B)＝(-0.5、0)。

(E)的参照图案示出如下的例子：将预测对象的分量帧设为R图像数据114，利用与着眼像素Rx相邻的参照分量帧即B图像数据113的相邻的两个像素Bc、Bd的平均值预测该着眼像素Rx的值。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。利用两个相邻像素Bc、Bd的平均预测着眼像素Rx的像素值，因此，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

在(E)中，像素Bb和像素Rx属于同一标本点，着眼像素Rx因插补而受到像素Bc、Bd的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素Rx的位置向左偏移0.5像素，向下偏移一个像素。因此，该情况下的动态矢量V(B)为V(B)＝(-0.5、1)。

像这样，在(B)～(E)中，通过利用两个相邻像素的平均预测着眼像素Rx的像素值，将R图像数据114编码为P图片。因此，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

图14是示出分量帧间的像素位置补偿预测例6的说明图。在图14中，预测对象的分量帧的着眼像素的值根据与预测对象的分量帧相同的颜色分量即参照分量帧的不同位置的像素的值来预测。在图14中，将预测对象的分量帧设为R图像数据114，将该着眼像素设为像素Rx，将参照分量帧设为B图像数据113。

在(A)的参照图案的情况下，预测对象的分量帧即R图像数据114的着眼像素Rx的值根据在RAW图像数据100中位于左上的像素Ba的值来预测。在该情况下，参照分量帧即B图像数据113的参照像素(Ba所属的标本点)相对于预测对象的分量帧即R图像数据114的着眼像素(Rx所属的标本点)的位置向左偏移一个像素。因此，动态矢量V成为V(B)＝(-1、0)。就这种动态补偿预测而言，利用包括从右下向左上的倾斜边缘在内的图样的块选择的概率很高。

(B)的参照图案的情况下，预测对象的分量帧即R图像数据114的着眼像素Rx的值根据在RAW图像数据100中位于右上的像素Bb的值来预测。在该情况下，参照分量帧即B图像数据113的参照像素(Bb所属的标本点)位于与预测对象的分量帧即R图像数据114的着眼像素(Rx所属的标本点)相同的位置。因此，动态矢量V为V(B)＝(0、0)。就这种动态补偿预测而言，包括从左下向右上的倾斜边缘在内的图样的块选择的概率很高。

在(C)的参照图案的情况下，预测对象的分量帧即R图像数据114的着眼像素Rx的值根据在RAW图像数据100位于右下的像素Bd的值来预测。在该情况下，参照分量帧即B图像数据113的参照像素(Bd所属的标本点)相对于预测对象的分量帧即R图像数据114的着眼像素(Rx所属的标本点)的位置向下偏移一个像素。因此，动态矢量V为V(B)＝(0、1)。就这种动态补偿预测而言，利用包括从左上向右下的倾斜边缘在内的图样的块选择的概率很高。

在(D)的参照图案的情况下，预测对象的分量帧即R图像数据114的着眼像素Rx的值根据在RAW图像数据100位于右下的像素Bc的值来预测。在该情况下，参照分量帧即B图像数据113的参照像素(Bc所属的标本点)相对于预测对象的分量帧即R图像数据114的着眼像素(Rx所属的标本点)的位置向右偏移一个像素，向下偏移一个像素。因此，动态矢量V为V(B)＝(-1、1)。就这种动态补偿预测而言，利用包括从右上向左下的倾斜边缘在内的图样的块选择的概率很高。

像这样，通过利用一个像素B预测着眼像素Rx的像素值，将R图像数据114编码为P图片。因此，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

图15是示出分量帧间的像素位置补偿预测例7的说明图。在图15中，预测对象的分量帧的着眼像素的值根据与预测对象的分量帧不同的颜色分量即参照分量帧的不同位置的像素的值来预测。在图15中，将预测对象的分量帧设为G1图像数据111，将该着眼像素设为像素G1x，将参照分量帧设为B图像数据113或者R图像数据114。

(A)的参照图案示出如下的例子：利用与着眼像素G1x相邻的参照分量帧即B图像数据113的相邻的两个像素Ba、Bb的平均值预测预测对象的分量帧即G1图像数据111的着眼像素G1x的值。通过利用两个相邻像素Ba、Bb的平均预测着眼像素G1x的像素值，将G1图像数据111编码为P图片。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

在(A)中，像素Bb和着眼像素G1x属于同一标本点，着眼像素G1x因插补而受到像素Ba、Bb的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素G1x的位置向左偏移0.5像素。因此，该情况下的动态矢量V(B)为V(B)＝(-0.5、0)。

(B)的参照图案示出利用与着眼像素G1x相邻的参照分量帧即R图像数据114的相邻的两个像素Ra、Rb的平均值预测预测对象的分量帧即G1图像数据111的着眼像素G1x的值的例子。通过两个相邻像素Ra、Rb的平均预测着眼像素G1x的像素值，将G1图像数据111编码为P图片。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即R图像数据114的解码值所包含的编码失真。

在(B)中，参照像素Rb和着眼像素G1x属于同一标本点，着眼像素G1x因插补而受到像素Ra、Rb的影响。因此，参照分量帧即R图像数据114的参照像素的范围相对于着眼像素G1x的位置向上偏移0.5像素。因此，该情况下的动态矢量V(R)为V(R)＝(0、-0.5)。

(C)的参照图案为(A)的像素位置补偿预测和(B)的像素位置补偿预测的组合。即，(C)是利用与着眼像素G1x相邻的参照分量帧即B图像数据113的相邻的两个像素Ba、Bb以及R图像数据114的相邻的两个像素Ra、Rb的平均值预测预测对象的分量帧即G1图像数据111的着眼像素G1x的值的例子。

通过四个相邻像素Ba、Bb、Ra、Rb的平均预测着眼像素G1x的像素值，将G1图像数据111编码为B图片。因此，能够抑制参照分量帧即G1图像数据111以及R图像数据114的解码值所包含的编码失真。

在(C)中，像素Bb、Rb和着眼像素G1x属于同一标本点，着眼像素G1x因插补而受到像素Ba、Bb、Ra、Rb的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素G1x的位置向左偏移0.5像素，R图像数据114的参照像素的范围相对于着眼像素G1x的位置向上偏移0.5像素。因此，该情况下的动态矢量V(G)为V(G1)+V(R)＝(-0.5、-0.5)。

图16是示出分量帧间的像素位置补偿预测例4的说明图。在图16中，预测对象的分量帧的着眼像素的值根据与预测对象的分量帧不同的颜色分量即参照分量帧的不同位置的像素的值来预测。在图16中，将预测对象的分量帧设为G2图像数据112，将其着眼像素设为像素G2x，将参照分量帧设为B图像数据113或者R图像数据114。

(A)的参照图案示出如下的例子：利用与着眼像素G2x相邻的参照分量帧即B图像数据113的相邻的两个像素Ba、Bb的平均值预测预测对象的分量帧即G2图像数据112的着眼像素G2x的值。通过利用两个相邻像素Ba、Bb的平均预测着眼像素G2x的像素值，将G2图像数据112编码为P图片。就这种像素位置补偿预测而言，利用包括纵边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即B图像数据113的解码值所包含的编码失真。

在(A)中，像素Ba和着眼像素G2x属于同一标本点，着眼像素G2x因插补而受到像素Ba、Bb的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素G2x的位置向下偏移0.5像素。因此，该情况下的动态矢量V(B)为V(B)＝(0、0.5)。

(B)的参照图案示出如下的例子：利用与着眼像素G2x相邻的参照分量帧即R图像数据114的相邻的两个像素Ra、Rb的平均值预测预测对象的分量帧即G2图像数据112的着眼像素G2x的值。通过利用两个相邻像素Ra、Rb的平均预测着眼像素G2x的像素值，将G2图像数据112编码为P图片。就这种像素位置补偿预测而言，利用包括横边缘在内的图样的块选择的概率很高。另外，能够抑制参照分量帧即R图像数据114的解码值所包含的编码失真。

在(B)中，参照像素Rb和着眼像素G2x属于同一标本点，着眼像素G2x因插补而受到像素Ra、Rb的影响。因此，参照分量帧即R图像数据114的参照像素的范围相对于着眼像素G2x的位置向右偏移0.5像素。因此，该情况下的动态矢量V(R)为V(R)＝(0.5、0)。

(C)的参照图案为(A)的像素位置补偿预测和(B)的像素位置补偿预测的组合。即，(C)为利用与着眼像素G2x相邻的参照分量帧即B图像数据113的相邻的两个像素Ba、Bb以及R图像数据114的相邻的两个像素Ra、Rb的平均值对预测对象的分量帧即G2图像数据112的着眼像素G2x的值进行预测的例子。

通过四个相邻像素Ba、Bb、Ra、Rb的平均对着眼像素Bx的像素值进行预测，将G2图像数据112编码为B图片。因此，能够进一步抑制参照分量帧即B图像数据113以及R图像数据114的解码值所包含的编码失真。

在(C)中，像素Ba、Rb和着眼像素G2x属于同一标本点，着眼像素G2x因插补而受到像素Ba、Bb、Ra、Rb的影响。因此，参照分量帧即B图像数据113的参照像素的范围相对于着眼像素G2x的位置向下偏移0.5像素，R图像数据114的参照像素的范围相对于着眼像素G2x的位置向右偏移0.5像素。因此，该情况下的动态矢量V(G)为V(B)+V(R)＝(0.5、0.5)。

此外，编码部402在编码为P图片或者B图片的情况下，试行图9～图16示出的像素位置补偿预测，选择差分最小的像素位置补偿预测。在例如参照B图像数据113预测R图像数据114的情况下，编码部402利用图13的(A)～(E)以及图14的(A)～(D)的各参照图案试行像素位置补偿预测，选择差分变得最小的参照图案。由此，能够适合且高效地执行像素位置补偿预测。

特别是在参照图案跨过图像的边缘的情况下，夹持边缘的参照分量帧中的像素和预测对象的分量帧的着眼像素的值之差变大。因此，通过适用性地选择参照图案，能够确定出不跨过边缘的参照图案，能够实现编码效率的提高。

<编码分量帧的数据结构例>

图17是示出编码分量帧的数据结构例的说明图。编码分量帧1700具有头部信息1701和编码数据列1702。头部信息1701为由编码部402赋予的信息。头部信息1701包括图像形式信息1711和控制信息1712。

图像形式信息1711包括编码前的分量帧的尺寸、编码分量帧1700的尺寸、确定颜色排列101的图案的识别信息、和分量帧的像素数。控制信息1712包括编码分量帧1700的种类(I图片、P图片、B图片的某一个)、参照分量帧的识别信息、和图9～图16示出的像素位置补偿预测所使用的参照图案。编码数据列1702为对分量帧进行了编码的数据列。

<编码处理顺序例>

图18是示出基于编码装置400的编码处理顺序例的流程图。编码装置400受理RAW图像数据100的输入(步骤S1801)，由第1生成部401针对每个颜色分量将RAW图像数据100的像素组分离，生成针对每个颜色分量的分量帧(步骤S1802)。接下来，编码装置400通过编码部402执行分量帧内预测编码，生成I图片(步骤S1803)。

然后，编码装置400通过编码部402针对剩余的分量帧执行分量帧间预测编码，生成P图片或者B图片(步骤S1804)。最后，编码装置400通过记录部403将在步骤S1803以及S1804中编码得到的编码图像数据组保存在存储设备302内(步骤S1805)。

<解码装置的功能的构成例>

图19是示出解码装置的功能的构成例的框图。解码装置1900具有获取部1901、解码部1902、第2生成部1903。获取部1901获取由编码装置400编码得到的编码分量帧1700，解码部1902使用控制信息1712将编码分量帧1700解码为分量帧，第2生成部1903使用图像形式信息1711从解码后的各分量帧生成RAW图像数据100。

具体来说，获取部1901、解码部1902以及第2生成部1903为通过使处理器301执行例如存储在存储设备302内的程序而实现的功能或者为由LSI304实现的功能。

获取部1901获取第1编码图像数据和第2编码图像数据。第1编码图像数据为对由第1颜色分量的像素组构成的第1图像数据进行帧内预测编码而得到的数据。第2编码图像数据为基于第1图像数据对由第1颜色分量不同的第2颜色分量的像素组构成的第2图像数据进行编码而得到的第2编码图像数据。

另外，获取部1901获取第3编码图像数据。第3编码图像数据为基于第1图像数据对由第3颜色分量的像素组构成的第3图像数据进行编码而得到的数据。另外，获取部1901获取第4编码图像数据。第4编码图像数据为基于第1图像数据对由第4颜色分量的像素组构成的第4图像数据进行编码而得到的数据。

解码部1902使用控制信息1712将由获取部1901获取的第1编码图像数据解码为第1图像数据，并且基于第1图像数据，将由获取部1901获取的第2编码图像数据解码为第2图像数据。具体来说，例如解码部1902将作为I图片的第1编码图像数据解码为第1图像数据，并按照应用于像素位置补偿预测的参照图案，利用第1图像数据将作为P图片的第2图像数据解码为第2图像数据。

另外，解码部1902使用控制信息1712，基于第1图像数据，将由获取部1901获取的第3编码图像数据解码为第3图像数据。具体来说，例如解码部1902在第3编码图像数据为P图片的情况下，按照应用于像素位置补偿预测的参照图案，利用第1图像数据将第3编码图像数据解码为第3图像数据，在第3编码图像数据为B图片的情况下，按照应用于像素位置补偿预测的参照图案，利用第1图像数据以及第2图像数据将第3编码图像数据解码为第3图像数据。

另外，解码部1902利用控制信息1712，基于第1图像数据，将由获取部1901获取的第4编码图像数据解码为第4图像数据。具体来说，例如解码部1902在第4编码图像数据为P图片的情况下，按照应用于像素位置补偿预测的参照图案，利用第1图像数据～第3图像数据中的、某一个的图像数据将第4编码图像数据解码为第4图像数据，在第3编码图像数据为B图片的情况下，按照应用于像素位置补偿预测的参照图案，利用第1图像数据～第3图像数据中的、两个图像数据将第4编码图像数据解码为第4图像数据。

第2生成部1903从图像形式信息1711确定颜色排列的图案，以成为确定出的颜色排列101的方式，从由解码部1902解码出的第1图像数据～第4图像数据的像素组，生成反复配置有第1颜色分量～第4颜色分量的RAW图像数据100。

<解码部1902的构成例>

图20是示出解码部1902的构成例的框图。解码部1902具有可变长度代码解码部2001、反量化部2002、反向正交变换部2003、加法部2004、第3累积部2005，第2像素位置补偿部2006。

可变长度代码解码部2001对输入来的编码分量帧进行解码，输出量化系数、动态矢量。此外，解码后的量化系数被输入至反量化部2002，解码后的动态矢量被输入至第2像素位置补偿部2006。

反量化部2002以块单位对量化系数进行反量化，对频率系数进行解码。反向正交变换部2003利用反量化部2002对解码后的频率系数进行反向正交变换，对预测误差值(或者原图像的信号)进行解码。

加法部2004通过将解码后的预测误差值和由第2像素位置补偿部2006生成的预测值相加，以块单位输出解码后的图像数据。而且，从加法部2004输出的图像数据被作为分量帧输出，并且被输入至第3累积部2005。

第3累积部2005将图像的解码值作为参照分量帧进行累积。此外，在以后的像素位置补偿预测中没有被参照的图像数据从第3累积部2005依次删除。第2像素位置补偿部2006基于动态矢量以及参照分量帧，将以块单位预测了解码对象的图像的预测值输出至加法部2004。

<解码处理顺序例>

图21是示出基于解码装置1900的解码处理顺序例的流程图。解码装置1900作为编码分量帧组，通过获取部1901获取编码图像数据组(步骤S2101)，通过解码部1902将最前面的编码图像数据(I图片)解码为分量帧(步骤S2102)。

接下来，解码装置1900通过解码部1902将后续的编码图像数据(P图片或者B图片)解码为分量帧(步骤S2103)。然后，解码装置1900通过第2生成部1903对解码后的生成帧组进行合成，将RAW图像数据100复原(步骤S2104)。

像这样，根据实施例1，利用由色相、色彩饱和度使分量帧间的相关性变高的性质，对RAW图像数据100进行分量帧间预测，由此，能够提高分量帧间的相关性高的RAW图像数据100的编码效率。另外，即使在像这样利用分量帧间预测编码进行了编码的情况下，也能够复原成原本的RAW图像数据100。

【实施例2】

实施例2进行对RAW图像数据100执行白平衡调整再执行编码的编码、和解码为分量帧且生成白平衡调整完毕的RAW图像数据、再利用白平衡反向调整而生成RAW图像数据的解码。此外，在实施例2中，以与实施例1的不同点为中心进行说明，对于实施例1相同的构成标注同一附图标记，并对其省略说明。

<编码以及解码例>

图22是示出实施例2的编码以及解码例的说明图。(E)WB(白平衡)调整、(A)分离以及(B)编码由编码装置400执行，(C)解码、(D)合成以及(F)WB反向调整由解码装置1900执行。

(E)编码装置400对RAW图像数据100进行白平衡调整。白平衡调整由在利用摄影生成了RAW图像数据时设定的(编码装置400中的)白平衡的设定项目(自动、手动、灯泡、阴天、荧光灯、晴天的背阴，晴天等)来执行。将被进行了白平衡调整的RAW图像数据100设为WB调整完毕RAW图像数据2200。

(A)编码装置400从WB调整完毕RAW图像数据2200针对每个颜色分量生成分量帧。具体来说，例如编码装置400生成绿(G1)的颜色分量帧即G1图像数据2211、绿(G2)的颜色分量帧即G2图像数据2212、蓝(B)的颜色分量帧即B图像数据2213、红(R)的颜色分量帧即R图像数据2214。

G1图像数据2211为由来自WB调整完毕RAW图像数据2200中的颜色排列101的每一个的G1像素组构成的图像数据。G2图像数据2212为由来自WB调整完毕RAW图像数据2200中的颜色排列101的每一个的G2像素组构成的图像数据。

B图像数据2213为由来自WB调整完毕RAW图像数据2200中的颜色排列101的每一个的B像素组构成的图像数据。R图像数据2214为由来自WB调整完毕RAW图像数据2200中的颜色排列101的每一个的R像素组构成的图像数据。

(B)编码装置400在分量帧间对各分量帧进行编码。具体来说，例如编码装置400用帧内预测编码对分量帧组的一个进行编码，生成I图片，利用I图片用帧间预测编码对剩余的分量帧组进行编码，生成P图片或者B图片。在此，通过编码，使G1图像数据2211成为G1编码图像数据2221，使G2图像数据2212成为G2编码图像数据2222，使B图像数据2213成为B编码图像数据2223，使R图像数据2214成为R编码图像数据2224。

(C)解码装置1900对编码后的分量帧组进行解码。具体来说，例如解码装置1900对I图片进行解码，使用从I图片解码后的分量帧，对P图片或者B图片进行解码，生成其他分量帧。即，解码装置1900对G1编码图像数据2221、G2编码图像数据2222、B编码图像数据2223以及R编码图像数据2224进行解码，生成G1图像数据2211、G2图像数据2212、B图像数据2213以及R图像数据2214。

(D)解码装置1900对解码后的分量帧组进行合成，生成WB调整完毕RAW图像数据2200。具体来说，例如通过按照颜色排列101排列G1图像数据2211、G2图像数据2212、B图像数据2213以及R图像数据2214的同一位置的像素G1、G2、B、R，从G1图像数据2211、G2图像数据2212、B图像数据2213以及R图像数据2214复原WB调整完毕RAW图像数据2200。

(F)解码装置1900通过WB反向调整将WB调整完毕RAW图像数据2200转换为原本的RAW图像数据100。

像这样，利用由色相、色彩饱和度使分量帧间的相关性变高的性质，对WB调整完毕RAW图像数据2200进行分量帧间预测，能够提高WB调整完毕RAW图像数据2200的编码效率。另外，即使在像这样利用分量帧间预测编码进行了编码的情况下，也能够复原至原本的WB调整完毕RAW图像数据2200。

另外，蓝(B)以及红(R)与绿(G)相比，成为信号电平的像素的值低，因此，相关性很低。因此，在编码前针对RAW图像数据100执行白平衡调整，由此，使蓝(B)以及红(R)的信号电平接近绿(G)的信号电平。由此，能够实现WB调整完毕RAW图像数据2200的编码效率的提高。

另外，由于在编码前针对RAW图像数据100执行白平衡调整，所以不需要在解码对象的RAW图像数据100的白平衡调整。但为了在解码对象复原至WB调整完毕RAW图像数据2200，也可以进行白平衡反向调整。

<编码装置400的功能的构成例>

图23是示出实施例2的编码装置400的功能的构成例的框图。编码装置400除了具有在实施例1中示出的构成以外，还具有白平衡调整部2301、和白平衡检测部2302。具体来说，白平衡调整部2301以及白平衡检测部2302为通过使处理器301执行例如存储在存储设备302内的程序而实现的功能或者为由LSI304实现的功能。

白平衡调整部2301根据白平衡的设定项目(自动、手动、灯泡、阴天、荧光灯、晴天的背阴，晴天等)，针对RAW图像数据100进行平衡调整，将WB调整完毕RAW图像数据2200输出至第1生成部401。因此，第1生成部401针对WB调整完毕RAW图像数据2200执行图22的(A)示出的分量帧的分离。白平衡调整通过以例如RAW图像数据100的黑电平为基准，向RAW图像数据100的像素值乘以白平衡调整增益系数来进行处理。例如，在将RAW图像数据100的黑电平设为OB、将B分量的像素值设为XB、将B分量的白平衡调整增益系数设为AB时，白平衡调整后的B分量的像素值YB以如下方式算出。

在OB≤XB时，YB＝(XB-OB)×AB+OB

在XB<OB时，YB＝(OB-XB)×AB+OB

白平衡检测部2302从RAW图像数据100检测适于该RAW图像数据100的白平衡，并向白平衡调整部2301通知。由此，白平衡调整部2301通过受理了通知的白平衡(自动、手动、灯泡、阴天、荧光灯、晴天的背阴，晴天等)，针对RAW图像数据100执行白平衡调整。

另外，白平衡检测部2302将确定检测到的白平衡的信息(白平衡控制信息)向编码部402通知。具体来说，例如如图6所示，白平衡控制信息被输出至可变长度编码部605。由此，编码部402能够向由编码部402编码得到的编码分量帧1700的头部信息1701内的控制信息1712赋予白平衡控制信息。

在此，白平衡控制信息例如由表示RAW图像数据2200对白平衡调整完毕的信息(以下，称为“调整完毕信息”)、RAW图像数据2200的B分量的白平衡调整增益、RAW图像数据2200的R分量的白平衡调整增益系数构成。

后述的解码装置1900能够根据赋予给控制信息1712的调整完毕信息来识别RAW图像数据2200的白平衡调整完毕。另外，解码装置1900能够根据赋予给控制信息1712的B分量和R分量的各白平衡调整增益系数，在解码处理中进行白平衡反向调整。

此外，对控制信息1712赋予上述的调整完毕信息、B分量的白平衡调整增益系数、R分量的白平衡调整增益系数中的至少一个。

在实施例2中，示出了对RAW图像数据100进行白平衡调整的例子。然而，例如也可以取代白平衡调整，进行使R的颜色分量数据的值与G的颜色分量数据的值之差、G的颜色分量数据的值与B的颜色分量数据的值之差、B的颜色分量数据的值与R的颜色分量数据的值之差中的、至少一个差变小的处理。

<编码处理顺序例>

图24是示出基于实施例2的编码装置400的编码处理顺序例的流程图。编码装置400受理RAW图像数据100的输入(步骤S2401)，通过白平衡调整部2301对RAW图像数据100进行白平衡调整，输出WB调整完毕RAW图像数据2200(步骤S2402)。编码装置400通过第1生成部401针对每个颜色分量将WB调整完毕RAW图像数据2200的像素组分离，生成针对每个颜色分量的分量帧(步骤S2403)。

接下来，编码装置400通过编码部402执行分量帧内预测编码，生成I图片(步骤S2404)。然后，编码装置400通过编码部402针对剩余的分量帧执行分量帧间预测编码，生成P图片或者B图片(步骤S2405)。最后，编码装置400通过记录部403将在步骤S2404以及S2405中编码后的编码图像数据组保存至存储设备302(步骤S2406)。

<解码装置1900的功能的构成例>

图25是示出实施例2的解码装置1900的功能的构成例的框图。解码装置1900除了在实施例1中示出的构成以外，还具有白平衡反向调整部2504。具体来说，白平衡反向调整部2504为通过使处理器301执行例如存储在存储设备302内的程序而实现的功能或者为由LSI304实现的功能。此外，在实施例2中，构成为第2生成部1903生成调整完毕RAW图像数据2200。

白平衡反向调整部2504参照赋予至从第2生成部1903得到的WB调整完毕RAW图像数据2200的头部信息1701内的白平衡控制信息，针对WB调整完毕RAW图像数据2200进行白平衡反向调整，复原至原本的RAW图像数据100。

<解码处理顺序例>

图26是示出基于实施例2的解码装置1900的解码处理顺序例的流程图。解码装置1900在步骤S2101～S2104之后，通过白平衡反向调整部2504针对WB调整完毕RAW图像数据2200进行白平衡反向调整，复原至原本的RAW图像数据100(步骤S2605)。

像这样，根据实施例2，与实施例1同样地，利用根据色相或色彩饱和度使得分量帧间的相关性变高这种性质，对RAW图像数据100进行分量帧间预测，并对WB调整完毕RAW图像数据2200进行分量帧间预测，由此，能够提高WB调整完毕RAW图像数据2200的编码效率。另外，即使在像这样通过分量帧间预测编码进行了编码的情况下也能够复原至原本的RAW图像数据100。

另外，蓝(B)以及红(R)与绿(G)相比，成为信号电平的像素的亮度值低，因此相关性也低。因此，通过在编码前针对RAW图像数据100执行白平衡调整，使蓝(B)以及红(R)的信号电平接近绿(G)的信号电平。由此，能够实现WB调整完毕RAW图像数据2200的编码效率的提高。另外，由于在编码前针对RAW图像数据100执行白平衡调整，所以能够通过省略白平衡反向调整部2504，而设为不需要在解码对象的RAW图像数据100的白平衡调整。

【实施例3】

实施例3是对在时间轴方向上排列了RAW图像数据100的RAW动态图像数据进行编码以及解码的例子。此外，在实施例3中，以与实施例1的不同点为中心进行说明，对与实施例1相同的构成标注同一附图标记，并对其省略说明。

<编码以及解码例>

图27是示出实施例3的编码以及解码例的说明图。(A)分离以及(B)编码由编码装置400执行，(C)解码以及(D)合成由解码装置1900执行。

(A)编码装置400获取在时间轴方向上排列了RAW图像数据100的RAW动态图像数据2700，针对各RAW图像数据100，并针对每个颜色分量生成分量帧。由此，得到G1图像数据列2711、G2图像数据列2712、B图像数据列2713以及R图像数据列2714。

(B)编码装置400在分量帧间对各颜色分量帧进行编码。具体来说，例如编码装置400利用帧内预测编码对分量帧组的一个进行编码生成I图片，使用I图片并使用帧间预测编码对剩余的分量帧组进行编码，来生成P图片或者B图片。在此，通过编码，G1图像数据列2711成为G1编码图像数据列2721，G2图像数据列2712成为G2编码图像数据列2722，B图像数据列2713成为B编码图像数据列2723，R图像数据列2714成为R编码图像数据列2724。

(C)解码装置1900对编码得到的分量帧组进行解码。具体来说，例如解码装置1900将I图片解码，使用从I图片解码后的分量帧将P图片或者B图片解码，生成其他分量帧。即，解码装置1900将G1编码图像数据列2721、G2编码图像数据列2722、B编码图像数据列2723以及R编码图像数据列2724解码，生成G1图像数据列2711、G2图像数据列2712、B图像数据列2713以及R图像数据列2714。

(D)解码装置1900将解码后的分量帧组合成，生成RAW图像数据100。具体来说，例如按照颜色排列101将G1图像数据111、G2图像数据112、B图像数据113以及R图像数据114的同一位置的像素G1、G2、B、R排列，由此，依次复原RAW图像数据100，从而复原RAW动态图像数据2700。

像这样，利用根据色相或色彩饱和度使得分量帧间的相关性变高这种性质，对RAW图像数据100进行分量帧间预测，对RAW图像数据100进行分量帧间预测，由此，能够提高分量帧间的相关性高的RAW图像数据100的编码效率，从而能够提高RAW动态图像数据2700的编码效率。另外，即使在像这样通过分量帧间预测编码进行了编码的情况下也能够复原至原本的RAW图像数据100，从而复原至RAW动态图像数据2700。

<分量帧的参照方向例>

图28是示出分量帧的参照方向例的说明图。(A)示出RAW动态图像数据2700的一例。(B)以及(C)示出RAW动态图像数据2700中的分量帧的参照方向例。在说明时，在(B)以及(C)中，示出时间序列的RAW图像数据1～n(n为2以上的整数)中的、RAW图像数据1以及RAW图像数据2中的分量帧的参照方向例。

(B)示出来自同一RAW图像数据1、2的每一个的分量帧的输入顺序为G1图像数据111、G2图像数据112、B图像数据113以及R图像数据114的情况下的参照方向。在RAW图像数据1以及RAW图像数据2的每一个中，最前面的G1图像数据111被编码为I图片。接下来输入的G2图像数据112以之前的G1图像数据111作为参照帧而通过帧间预测编码被编码为P图片。

接下来输入的B图像数据113以之前的G1图像数据111以及G2图像数据112中的、至少一方的分量帧作为参照帧而通过帧间预测编码被编码为P图片或者B图片。最后输入的R图像数据114以之前的G1图像数据111、G2图像数据112以及B图像数据113中的、至少一个分量帧作为参照帧而通过帧间预测编码被编码为P图片或者B图片。

在(C)中，最前面的RAW图像数据1中的参照方向与(B)的RAW图像数据1相同。就RAW图像数据2而言，最前面的G1图像数据111以之前的RAW图像数据1的G1图像数据111作为参照帧，而通过帧间预测编码被编码为P图片或者B图片。

接下来输入的G2图像数据112以之前的RAW图像数据1的G1图像数据111以及RAW图像数据2的G1图像数据111中的、至少一方的分量帧作为参照帧，而通过帧间预测编码被编码为P图片或者B图片。

接下来输入的B图像数据113以之前的RAW图像数据1的B图像数据113、RAW图像数据2的G1图像数据111、RAW图像数据2的G2图像数据112中的、至少一个分量帧作为参照帧，通过帧间预测编码而被编码为P图片或者B图片。

最后输入的R图像数据114以之前的RAW图像数据1的R图像数据114、RAW图像数据2的G1图像数据111、RAW图像数据2的G2图像数据112、RAW图像数据2的B图像数据113中的、至少一个分量帧作为参照帧，而通过帧间预测编码被编码为P图片或者B图片。

此外，图28的参照方向为一例，还能够以(B)、(C)以外的分量帧的输入顺序进行编码。另外，由于该编码部402使用不取决于颜色分量的来自摄像元件353的像素的亮度值，所以以不同的颜色分量作为参照分量帧也能够进行编码。

<切片单位的编码例>

图29是示出切片单位的编码例的说明图。(A)示出从时间序列的RAW图像数据1～4生成的各分量帧的切片单位。切片是指，将分量帧划分而得到的数据，成为编码的1个单位。在此，各分量帧(G1图像数据111、G2图像数据112、B图像数据113、R图像数据114)被设为具有n个(n为2以上的整数)同一尺寸的切片。此外，分量帧的输入顺序以图28的(B)为例，但也可以采用其他输入顺序。

(B)示出切片单位的编码处理例。箭头表示编码的顺序。即，按照切片编号为“1”的G1分量切片1、G2分量切片1、B分量切片1、R分量切片1的顺序进行编码，接下来，按照切片编号为“2”的G1分量切片2、G2分量切片2、B分量切片2、R分量切片2的顺序进行编码。像这样，按照切片编号的降序进行编码，最终，按照切片编号为“n”的G1分量切片n、G2分量切片n、B分量切片n、R分量切片n的顺序进行编码。

像这样，通过以切片单位进行分量帧间的编码，能够提高编码的时延(latency)。此外，同一切片编号的分量切片间的参照方向可以如图28的(B)所示将G1分量切片编码为I图片，也可以如(C)所示将G1分量切片编码为P图片。在图29中，说明了切片单位的编码例，但在解码的情况下也与切片单位的编码同样地，可以以切片单位进行解码。由此，能够提高解码的时延。

像这样，在实施例3中，利用根据色相或色彩饱和度使得分量帧间的相关性变高这种性质，对RAW图像数据100进行分量帧间预测，并对RAW图像数据100进行分量帧间预测，由此，能够提高分量帧间的相关性高的RAW图像数据100的编码效率，从而提高RAW动态图像数据2700的编码效率。另外，即使像这样利用分量帧间预测编码进行了编码的情况下也能够复原至原本的RAW图像数据100，从而复原至RAW动态图像数据2700。

另外，通过以切片单位对分量帧进行编码，能够提高分量帧间编码的时延。同样地，通过以切片单位对分量帧进行解码，能够提高分量帧解码的时延。

【实施例4】

实施例4是对在时间轴方向上排列了RAW图像数据100的RAW动态图像数据2700进行白平衡调整之后再进行编码以及解码，来进行白平衡反向调整的例子。此外，在实施例4中，以与实施例1以及实施例3的不同点为中心进行说明，对与实施例1以及实施例3相同的构成标注同一附图标记，并对其省略说明。

<编码以及解码例>

图30是示出实施例4的编码以及解码例的说明图。(E)WB调整、(A)分离以及(B)编码由编码装置400执行，(C)解码、(D)合成以及(F)WB反向调整由解码装置1900执行。

(E)编码装置400对RAW动态图像数据2700的各RAW图像数据100进行白平衡调整。白平衡调整通过编码装置400中的白平衡(自动、手动、灯泡、阴天、荧光灯、晴天的背阴，晴天等)来执行。将白平衡调整后的RAW图像数据100作为WB调整完毕RAW图像数据2200，将时间序列的WB调整完毕RAW图像数据2200作为WB调整完毕RAW动态图像数据3000。

(A)编码装置400获取在时间轴方向上排列了WB调整完毕RAW图像数据2200的WB调整完毕RAW动态图像数据3000，针对各WB调整完毕RAW图像数据2200，并针对每个颜色分量生成分量帧。由此，得到WB调整完毕G1图像数据列3011、WB调整完毕G2图像数据列3012、WB调整完毕B图像数据列3013以及WB调整完毕R图像数据列3014。

(B)编码装置400在分量帧间对各颜色分量帧进行编码。具体来说，例如编码装置400利用帧内预测编码对分量帧组的一个进行编码而生成I图片，使用I图片并利用帧间预测编码对剩余的分量帧组进行编码而生成P图片或者B图片。

在此，通过编码，WB调整完毕G1图像数据列3011成为WB调整完毕G1编码图像数据列3021，WB调整完毕G2图像数据列3012成为WB调整完毕G2编码图像数据列3022，WB调整完毕B图像数据列3013成为WB调整完毕B编码图像数据列3023，WB调整完毕R图像数据列3014成为WB调整完毕R编码图像数据列3024。

(C)解码装置1900对编码后的分量帧组进行解码。具体来说，例如解码装置1900对I图片进行解码，使用从I图片解码后的分量帧对P图片或者B图片进行解码，生成其他分量帧。即，解码装置1900对WB调整完毕G1编码图像数据列3021、WB调整完毕G2编码图像数据列3022、WB调整完毕B编码图像数据列3023以及WB调整完毕R编码图像数据列3024进行解码，生成WB调整完毕G1图像数据列3011、WB调整完毕G2图像数据列3012、WB调整完毕B图像数据列3013以及WB调整完毕R图像数据列3014。

(D)解码装置1900将解码后的分量帧组合成，生成WB调整完毕RAW图像数据2200。具体来说，例如通过按照颜色排列101将WB调整完毕G1图像数据2211、WB调整完毕G2图像数据2212、WB调整完毕B图像数据2213以及WB调整完毕R图像数据2214的同一位置的像素G1、G2、B、R进行排列，依次复原WB调整完毕RAW图像数据，复原WB调整完毕RAW动态图像数据2700。

(F)解码装置1900通过WB反向调整，针对每个WB调整完毕RAW图像数据2200转换为原本的RAW图像数据100，从而复原至RAW动态图像数据2700。

像这样，利用根据色相或色彩饱和度使得分量帧间的相关性变高这种性质，对RAW图像数据100进行分量帧间预测，对RAW图像数据100进行分量帧间预测，由此，能够提高分量帧间的相关性高的WB调整完毕RAW图像数据2200的编码效率，从而提高WB调整完毕RAW动态图像数据3000的编码效率。另外，即使像这样利用分量帧间预测编码进行了编码的情况下也能够复原至原本的WB调整完毕RAW图像数据2200，从而复原至WB调整完毕RAW动态图像数据3000。

另外，与实施例3同样地，针对WB调整完毕RAW动态图像数据3000以切片单位对分量帧进行编码，由此能够提高分量帧间编码的时延。同样地，针对WB调整完毕G1编码图像数据列3021、WB调整完毕G2编码图像数据列3022、WB调整完毕B编码图像数据列3023以及WB调整完毕R编码图像数据列3024，以切片单位对分量帧进行解码，由此能够提高分量帧解码的时延。

如以上说明的那样，根据本实施例，利用根据色相或色彩饱和度使得分量帧间的相关性变高这种性质，对RAW图像数据100进行分量帧间预测，并对RAW图像数据100进行分量帧间预测，由此能够提高分量帧间的相关性高的RAW图像数据100的编码效率。另外，即使像这样利用分量帧间预测编码进行了编码的情况下也能够复原至原本的RAW图像数据100。

附图标记说明

100RAW图像数据，101颜色排列，111G1图像数据，112G2图像数据，113B图像数据，114R图像数据，121G1编码图像数据，122G2编码图像数据，123B编码图像数据，124R编码图像数据，300信息处理装置，301处理器，302存储设备，353摄像元件，400编码装置，401第1生成部，402编码部，403记录部，610位置偏移检测部，611第1像素位置补偿部，1700编码分量帧，1701头部信息，1711图像形式信息，1712控制信息，1900解码装置，1901获取部，1902解码部，1903第2生成部，2006第2像素位置补偿部，2200WB调整完毕RAW图像数据，2301白平衡调整部，2504白平衡反向调整部，2700RAW动态图像数据，3000WB调整完毕RAW动态图像数据。

Claims (24)

1.一种编码装置，其具备：

生成部，其根据反复配置有第1颜色分量和与所述第1颜色分量不同的第2颜色分量的RAW图像数据，生成由所述第1颜色分量的像素组构成的第1图像数据、和由所述第2颜色分量的像素组构成的第2图像数据；以及

编码部，其基于由所述生成部生成的第1图像数据，对由所述生成部生成的第2图像数据进行编码。

2.根据权利要求1所述的编码装置，其中，

所述编码部通过在所述第1图像数据与所述第2图像数据之间补偿像素位置，对所述第2图像数据进行编码。

3.根据权利要求2所述的编码装置，其中，

所述编码部通过利用与所述第2图像数据的着眼像素不同的位置处的所述第1图像数据内的特定的参照像素来补偿所述着眼像素，对所述第2图像数据进行编码。

4.根据权利要求3所述的编码装置，其中，

所述编码部基于所述特定的参照像素的多种参照图案中的、与所述着眼像素的差分为最小的参照图案，对所述着眼像素进行编码。

5.根据权利要求1所述的编码装置，其中，

所述RAW图像数据具有与所述第1颜色分量以及所述第2颜色分量中的某一方的颜色分量相同、或者与所述第1颜色分量以及所述第2颜色分量不同的第3颜色分量，

所述生成部根据配置有所述第3颜色分量的所述RAW图像数据，生成由所述第1图像数据、所述第2图像数据、所述第3颜色分量的像素组构成的第3图像数据，

所述编码部基于所述第1图像数据，对由所述生成部生成的第3图像数据进行编码。

6.根据权利要求5所述的编码装置，其中，

所述编码部基于所述第1图像数据以及所述第2图像数据，对所述第3图像数据进行编码。

7.根据权利要求1所述的编码装置，其中，

具有对所述RAW图像数据的白平衡进行调整的调整部，

所述生成部根据由所述调整部调整了白平衡而得到的RAW图像数据，生成由所述第1颜色分量的像素组构成的第1图像数据、和由所述第2颜色分量的像素组构成的第2图像数据。

8.根据权利要求1所述的编码装置，其中，

所述生成部获取多个所述RAW图像数据，针对所述RAW图像数据的每一个生成所述第1图像数据、和所述第2图像数据，

所述编码部基于所述第1图像数据，对所述第2图像数据进行编码。

9.根据权利要求8所述的编码装置，其中，

所述编码部基于所述第1图像数据，对从与所述第1图像数据为同一RAW图像数据分离的第2图像数据进行编码。

10.根据权利要求8所述的编码装置，其中，

所述编码部基于所述第1图像数据，对从与所述第1图像数据为不同的其他RAW图像数据分离的第2图像数据进行编码。

11.根据权利要求10所述的编码装置，其中，

所述编码部基于所述第1图像数据的规定区域，对从与所述第1图像数据为不同的RAW图像数据生成的第2图像数据中的、与所述规定区域对应的区域进行编码。

12.一种编码装置，其具备：

生成部，其根据基于来自摄像元件的输出的RAW图像数据，生成由第1颜色分量构成的第1图像数据、和由与所述第1颜色分量不同的第2颜色分量构成的第2图像数据，其中，所述摄像元件反复配置有对所述第1颜色分量的光进行光电转换的光电转换部和对所述第2颜色分量进行光电转换的光电转换部；以及

编码部，其基于由所述生成部生成的第1图像数据，对由所述生成部生成的第2图像数据进行编码。

13.一种解码装置，其具备：

获取部，其获取对由第1颜色分量的像素组构成的第1图像数据进行编码而得到的第1编码图像数据、和基于所述第1图像数据对由与所述第1颜色分量不同的第2颜色分量的像素组构成的第2图像数据进行编码而得到的第2编码图像数据；

解码部，其将由所述获取部获取的第1编码图像数据解码为所述第1图像数据，并且基于所述第1图像数据将由所述获取部获取的第2编码图像数据解码为所述第2图像数据；以及

生成部，其基于由所述解码部解码出的第1图像数据以及第2图像数据，生成反复配置有所述第1颜色分量和所述第2颜色分量的RAW图像数据。

14.根据权利要求13所述的解码装置，其中，

所述解码部基于表示在对所述第2图像数据的着眼像素进行编码时所参照的像素位置的参照图案，确定所述第1图像数据的参照像素，并基于所述参照像素从所述第2编码图像数据将所述第2图像数据的着眼像素解码。

15.根据权利要求13所述的解码装置，其中，

所述获取部获取基于所述第1图像数据对由第3颜色分量的像素组构成的第3图像数据进行编码而得到的第3编码图像数据，

所述第3颜色分量为与所述第1颜色分量以及所述第2颜色分量中的某一方的颜色分量相同、或者与所述第1颜色分量以及所述第2颜色分量不同的颜色分量，

所述解码部基于所述第1图像数据，将所述第3编码图像数据解码为所述第3图像数据，

所述生成部基于由所述解码部解码出的第1图像数据、第2图像数据以及第3图像数据，生成反复配置有所述第1颜色分量、所述第2颜色分量以及所述第3颜色分量的RAW图像数据。

16.根据权利要求13所述的解码装置，其中，

所述获取部获取与对所述第1图像数据以及所述第2图像数据实施的白平衡有关的信息，

所述解码装置具有反向调整部，该反向调整部基于与所述白平衡有关的信息，将所述第1图像数据以及所述第2图像数据的颜色变换为通过白平衡进行调整前的颜色，

所述生成部基于通过所述反向调整部变换后的第1图像数据以及变换后的第2图像数据，生成所述RAW图像数据。

17.根据权利要求13所述的解码装置，其中，

所述获取部获取多个包括所述第1编码图像数据以及所述第2编码图像数据在内的编码帧，

所述解码部针对每个所述编码帧，将所述第1编码图像数据解码为所述第1图像数据，并且基于所述第1图像数据将所述第2编码图像数据解码为所述第2图像数据，输出多个包括所述第1图像数据以及所述第2图像数据在内的帧，

所述生成部针对每个所述帧，基于由所述解码部解码出的第1图像数据以及第2图像数据，生成反复配置有所述第1颜色分量和所述第2颜色分量的RAW图像数据。

18.根据权利要求17所述的解码装置，其中，

所述解码部基于所述第1图像数据，对与所述第1编码图像数据为同一编码帧内的第2编码图像数据进行解码。

19.根据权利要求17所述的解码装置，其中，

所述解码部基于所述第1图像数据，对与所述第1编码图像数据为不同的编码帧内的第2编码图像数据进行解码。

20.根据权利要求19所述的解码装置，其中，

所述解码部基于所述第1图像数据的规定区域，对与所述第1图像数据为不同的编码帧内的第2编码图像数据中的、与所述规定区域对应的区域进行解码。

21.一种编码方法，其包括：

生成处理，根据反复配置有第1颜色分量和与所述第1颜色分量不同的第2颜色分量的RAW图像数据，生成由所述第1颜色分量的像素组构成的第1图像数据、和由所述第2颜色分量的像素组构成的第2图像数据；以及

编码处理，基于在所述生成处理中生成的第1图像数据，对在所述生成处理中生成的第2图像数据进行编码。

22.一种解码方法，其包括：

获取处理，获取对由第1颜色分量的像素组构成的第1图像数据进行编码而得到的第1编码图像数据、和基于所述第1图像数据对由与所述第1颜色分量不同的第2颜色分量的像素组构成的第2图像数据进行编码而得到的第2编码图像数据；

解码处理，将在所述获取处理中获取的第1编码图像数据解码为所述第1图像数据，并且基于所述第1图像数据将在所述获取处理中获取的第2编码图像数据解码为所述第2图像数据；以及

生成处理，基于在所述解码处理中解码得到的第1图像数据以及第2图像数据，生成反复配置有所述第1颜色分量和所述第2颜色分量的RAW图像数据。

23.一种编码程序，其使处理器执行权利要求21所述的编码方法。

24.一种解码程序，其使处理器执行权利要求22所述的解码方法。

Images