CN102318343B - 图像发送装置以及图像接收装置 - Google Patents

Abstract

图像发送装置(100)具备：影像处理部(102)，将多个影像处理之一适用于规定单位的图像，生成影像数据；输出部(103)，输出传送数据，所述传送数据包含：规定单位的图像的帧号码、规定单位的图像的坐标信息、识别影像数据的二次采样/非二次采样的信息、当对影像数据进行二次采样处理的情况下的影像数据的像素相位信息、识别影像数据的压缩/非压缩的信息、影像数据的尺寸信息、影像数据。

Description

图像发送装置以及图像接收装置

技术领域

本发明涉及图像的发送以及接收。

背景技术

在无线等受限制的传送频带中为了高品质实时传送高精细的影像数据，需要具备针对传送速度的变动的跟随性以及针对传送错误的耐受性的低延迟的图像压缩/图像伸展技术。

专利文献1所述的影像数据处理装置根据像素相位二次采样图像并分离成许多二次采样图像，并压缩各二次采样图像。如果采用该影像数据处理装置，则即使在许多二次采样图像中一部分因错误而缺失，也能够根据剩下的正常的二次采样图像隐蔽错误。

专利文献2所述的图像通信方法以块为单位对图像进行可变长压缩，在各块的压缩数据上附加该压缩数据的尺寸后发送。如果采用该图像通信方法，因为各块的压缩数据的位置对于接收一侧是已知的，所以可以随机存取。即，如果采用该图像通信方法，则能够将传送错误的传播范围抑制在块级别。

专利文献

专利文献1：特开平6-22288号公报

专利文献2：特开平11-18086号公报

专利文献1所述的影像数据处理装置未假想影像数据的无线传送。当无线传送影像数据的情况下，传送错误率等的传送环境时时刻刻地变化。一般，二次采样处理为了降低图像的空间性相关，而降低利用了空间方向预测的图像压缩的效率。因而，二次采样处理在传送错误率高的传送环境中适宜，但在传送错误率低的传送环境中不一定适宜。该影像数据处理装置因为在传送错误率低的情况下也进行二次采样处理，所以高效率的图像压缩不适合。另外，基于二次采样处理的错误隐蔽在传送错误率非常高(多个二次采样图像几乎都缺失那样)的传送环境中不发挥作用。

专利文献2所述的图像通信方法将每个块的压缩数据尺寸存储在发生数据中。因而，为了表现压缩数据尺寸需要大的信息量。另外，在表现该压缩数据尺寸的区域上如果发生错误，则对块的压缩数据的随机存取发生失败，错误有可能超过块级别来进行传播。

发明内容

因而，本发明的目的在于提供一种为了针对传送环境的变动稳定地传送高品质的影像的图像发送/图像接收的技术。

本发明的一种方式的图像发送装置具备：分割部，将输入图像分割为规定单位的图像；影像处理部，将(a)第1影像处理、(b)第2影像处理、(c)第3影像处理、(d)第4影像处理中的某一个处理适用于上述规定单位的图像中，生成影像数据，其中上述第1影像处理将上述规定单位的图像作为上述影像数据生成，上述第2影像处理压缩上述规定单位的图像生成上述影像数据，上述第3影像处理进行将上述规定单位的图像按照像素相位而像素分离为多个二次采样图像的二次采样处理，并将各二次采样图像作为上述影像数据生成，上述第4影像处理进行按照像素相位将上述规定单位的图像分离为多个二次采样图像的二次采样处理，并压缩各二次采样图像而生成上述影像数据；输出部，输出传送数据，该传送数据包含：上述规定单位的图像的帧号码、上述规定单位的图像的坐标信息、识别上述影像数据的二次采样/非二次采样的信息、在对上述影像数据进行二次采样处理的情况下的该影像数据的像素相位信息、识别上述影像数据的压缩/非压缩的信息、上述影像数据的尺寸信息、以及上述影像数据。

本发明的另一方式的图像接收装置具备：输入部，输入传送数据，该传送数据包含：规定单位的图像的帧号码、上述规定单位的图像的坐标信息、识别影像数据的二次采样/非二次采样的信息、在对上述影像数据进行二次采样处理的情况下的该影像数据的像素相位信息、识别上述影像数据的压缩/非压缩的信息、上述影像数据的尺寸信息、以及上述影像数据；抽出部，按照上述影像数据的尺寸信息，从上述传送数据中抽出上述影像数据；伸展部，如果识别上述影像数据的压缩/非压缩的信息表示对该影像数据进行压缩处理，则对该影像数据进行伸展；反二次采样部，如果识别上述影像数据的二次采样/非二次采样的信息表示对该影像数据进行二次采样处理，则按照该像素相位信息对上述影像数据进行反二次采样处理，重构上述规定单位的图像；显示区域决定部，根据上述规定单位的图像的坐标信息，决定上述规定单位的图像的显示区域；以及显示顺序决定部，根据上述规定单位的图像的帧号码，决定上述规定单位的图像的显示帧。

本发明的另一方式的图像发送装置，具备：图像输入部，输入分割了输入图像而得的规定单位的图像；格式变换部，针对上述规定单位的图像的每一信号组成部分进行水平方向的缩小变换；像素分离部，对实施了上述缩小变换的规定单位的图像，进行水平方向的像素分离；压缩部，对分离出的每一像素相位独立地压缩实施了上述像素分离的规定单位的图像，得到图像压缩数据；打包部，对上述图像压缩数据进行打包；以及发送部，发送经过上述打包的图像压缩数据，其中，上述图像发送装置传送(1)上述图像压缩数据、(2)上述输入图像的颜色空间的信息、涉及上述图像压缩数据的(3)水平方向的缩小率信息、(4)图像分离类型的信息、以及(5)像素分离相位的信息。

本发明的另一方式的图像接收装置具备：接收部，接收多个包，上述包包含：分割了输入图像而得的规定单位的图像或者将上述规定单位的图像在水平方向上进行像素分离而得的图像的(1)图像压缩数据、(2)上述输入图像的颜色空间的信息、涉及上述图像压缩数据的(3)水平方向的缩小率的信息、(4)图像分离类型的信息、以及(5)像素分离相位的信息；去打包部，从上述数据包中抽出上述第(1)至第(5)的信息；伸展部，伸展上述图像压缩数据；像素结合部，根据上述像素分离类型的信息以及上述像素分离相位的信息，进行伸展后的图像的水平方向的像素结合；格式变换部，根据上述水平方向的缩小率的信息，将经过上述像素结合后的图像针对每一信号组成部分在水平方向上放大；以及图像输出部，输出进行了格式变换的图像。

本发明的另一方式的图像发送装置具备：分割部，将输入图像帧分割为片单位；压缩部，在上述片单位中进行封闭的压缩，生成压缩图像数据；打包部，为了生成经过打包的数据信号，对(1)上述压缩图像数据，(2)表示上述输入图像帧的颜色空间是RGB、YCbCr422以及YCbCr444中的哪个颜色空间的颜色空间信息，(3)上述输入图像帧的帧尺寸信息，(4)表示上述片是上述输入图像帧的规定单位的图像、还是将上述规定单位的图像分离为2个分区后的其中的一方的图像的分离信息，(5)表示上述片所属的帧号码的帧号码信息，(6)表示上述片应该在帧内显示的位置的显示位置信息，(7)表示上述片是基于(A)将上述规定单位的图像分离为偶数列的像素和奇数列的像素的像素分离模式、(B)将上述规定单位的图像分离为方格图案的第1相位的像素和第2相位的像素的像素分离模式、以及(C)将上述规定单位的图像分离为左半部分的图像和右半部分的图像的像素分离模式中的哪个像素分离模式的分区的像素分离类型信息，(8)表示上述片是上述2个分区中的哪一个的分区号码信息，以及(9)表示上述规定单位的图像的各信号组成部分的水平二次采样率的水平二次采样率信息进行打包；以及发送部，对上述经过打包的数据信号进行OFDM调制，用从57GHz到66GHz的频率范围内的无线传送频道进行发送。

本发明的另一方式的图像接收装置具备：接收部，通过对用从57GHz到66GHz的频率范围内的无线传送频道接收到的信号进行OFDM解调，接收多个包数据；去打包部，从上述多个包数据中对(1)以片为单位压缩的图像数据，(2)表示上述图像数据的帧的颜色空间是RGB、YCbCr422以及YCbCr444中的哪个颜色空间的颜色空间信息，(3)上述帧的帧尺寸信息，(4)表示上述片是上述帧的规定单位的图像、还是将上述规定单位的图像分离为2个分区后的其中的一方的图像的分离信息，(5)表示上述片所属的上述帧的号码的帧号码信息，(6)表示上述片应该在上述帧内显示的位置的显示位置信息，(7)表示上述片是基于(A)将上述规定单位的图像分离为偶数列的像素和奇数列的像素的像素分离模式、(B)将上述规定单位的图像分离为方格图案的第1相位的像素和第2相位的像素的像素分离模式、以及(C)将上述规定单位的图像分离为左半部分的图像和右半部分的图像的像素分离模式中的哪个像素分离模式的分区的像素分离类型信息，(8)表示上述片是上述2个分区中的哪一个的分区号码信息，以及(9)表示上述规定单位的图像的各信号组成部分的水平二次采样率的水平二次采样率信息进行去打包；以及重构部，根据上述(1)至(9)的信息进行上述图像数据的伸展，并且重构上述规定单位的图像。

根据本发明，能够提供用于针对传送环境的变动稳定地传送高品质的影像的图像发送/图像接收的技术。

附图说明

图1是表示第1实施方式涉及的图像发送装置的方框图。

图2是表示图1中的影像处理部102的详细的方框图。

图3是表示第1实施方式涉及的图像接收装置的方框图。

图4是表示第2实施方式涉及的图像发送装置的方框图。

图5是表示第2实施方式涉及的图像接收装置的方框图。

图6是表示第3实施方式涉及的图像发送装置的方框图。

图7是表示第3实施方式涉及的图像接收装置的方框图。

图8是第1实施方式中的规定单位的图像的说明图。

图9A是第3影像处理部203以及第4影像处理部204进行的二次采样处理的说明图。

图9B是第3影像处理部203以及第4影像处理部204进行的二次采样处理的说明图。

图10是表示第1实施方式中的传送数据的一个例子的图。

图11A是反二次采样部304进行的反二次采样处理的说明图。

图11B是反二次采样部304进行的反二次采样处理的说明图。

图12是表示第2实施方式中的传送数据的一个例子的图。

图13是表示第3实施方式中的传送数据的一个例子的图。

图14是表示第4实施方式中的传送数据的一个例子的图。

图15是表示第5实施方式涉及的图像发送装置的框图。

图16是表示第5实施方式涉及的图像接收装置的框图。

图17是表示第5实施方式涉及的传送数据构造的一个例子的图。

图18是表示第5实施方式涉及的片(Slice)头的例子的图。

图19是表示第5实施方式涉及的像素分离类型的信息例子的图。

图20是表示第5实施方式涉及的缩小率信息的例子的图。

图21是表示第5实施方式涉及的像素分离例子的图。

图22是表示第5实施方式涉及的像素分离例子的图。

图23是表示第5实施方式涉及的像素分离例子的图。

图24是表示第5实施方式涉及的片识别符例子的图。

图25是表示第5实施方式涉及的传送图像格式信息的例子的图。

图26是表示第5实施方式的颜色空间信息例子的图。

图27是表示第5实施方式涉及的像素分离的有效/无效的信息的例子的图。

图28是表示第5实施方式涉及的压缩数据的颜色空间的例子的图。

图29是表示第5实施方式涉及的压缩数据的块数系数例子的图。

图30是表示像素结合部25的一个例子的框图。

图31是说明第5实施方式涉及的像素分离效果的图。

图32A是说明第5实施方式涉及的像素分离效果的图。

图32B是说明第5实施方式涉及的像素分离效果的图。

图33是说明第5实施方式涉及的缩小变换的效果的图。

符号说明

11：输入图像

12：图像输入部

13：格式变换部

14：像素分离部

15：压缩部

16：打包部

17：发送部

18、21：传送数据

22：接收部

23：去打包部

24：伸展部

25：像素结合部

26：格式变换部

27：图像输出部

28：再生图像

19、29：缩小率的信息

20、30：像素分离的信息

30a：涉及像素分离类型以及像素分离相位的信息

30b：接收错误信息

33：经过伸展的图像信号

34：选择部

35：图像缓冲器(相位1)

36、37：插补部

38：图像缓冲器(相位2)

39：选择部

40：结合部

41：图像

100：图像发送装置

101：分割部

102：影像处理部

103：输出部

104：输入图像

105：传送数据

201：第1影像处理部

202：第2影像处理部

203：第3影像处理部

204：第4影像处理部

205：规定单位的图像

206：传送速度

207：传送错误率

208：影像数据

300：图像接收装置

301：输入部

302：影像数据抽出部

303：伸展部

304：反二次采样部

305：显示区域决定部

306：显示顺序决定部

307：输出影像

400：图像发送装置

401：块分割部

402：压缩部

403：输出部

404：规定单位的图像

405：规定尺寸

406：传送数据

500：图像接收装置

501：输入部

502：分离部

503：伸展部

504：输出图像

600：图像发送装置

601：块分割部

603：输出部

604：规定单位的图像

605：规定尺寸

606：传送数据

610：压缩部

611：第1压缩部

612：第2压缩部

613：第3压缩部

700：图像接收装置

701：输入部

702：分离部

704：输出图像

710：伸展部

711：第1伸展部

712：第2伸展部

713：第3伸展部

800：图像发送装置

810：压缩部

900：图像接收装置

910：伸展部

具体实施方式

以下，参照附图说明本发明的实施方式。而且，在本申请说明书中称为“图像压缩/图像伸展”的词汇可以置换为“图像编码/图像译码”这一词汇来理解。

(第1实施方式)

如图1所示，本发明的第1实施方式的图像发送装置100具有分割部101、影像处理部102以及输出部103。图像发送装置100从输入图像104中生成传送数据105。

分割部101将输入图像104分割为规定单位的图像。在此，输入图像104例如是包含在成为传送对象的影像中的1帧大小的图像。分割部101将该输入图像104在空间上进行分割。分割部101例如如图8所示，将输入图104分割为多个规定单位的图像。在图8中，规定单位的图像的宽度是1帧的一半、高度是16像素的区域内的像素集合。而且，规定单位的图像并不限于图8所示的图像。分割部101将规定单位的图像、该规定单位的图像的帧号码、该规定图像的坐标信息输入到影像处理部102。帧号码是用于识别规定单位的图像所属的帧(时间性位置)，坐标信息是用于识别在帧内规定单位的图像占据的区域(空间性位置)而被使用的。

影像处理部102对规定单位的图像适用以后说明的第1至第4影像处理中的某一个，生成影像数据。影像处理部102根据传送速度以及传送错误率选择上述第1至第4影像处理，适用于规定单位的图像。在影像处理部102中的影像处理的选择既可以在第1至第4影像处理的适用前进行，也可以在第1至第4影像处理的适用后进行。传送速度以及传送错误率可以利用任意的现有方法取得。

影像处理部102如图2所示，具有第1影像处理部201、第2影像处理部202、第3影像处理部203以及第4影像处理部204。

第1影像处理部201对规定单位的图像205进行第1影像处理。第1影像处理不包含针对规定单位的图像205的压缩以及二次采样处理。即，第1影像处理部201将规定单位的图像205直接作为影像数据208生成。通过第1影像处理生成的影像数据208的数据量大且错误耐受性低。因而，第1影像处理适合于传送速度206高、传送错误率207低的传送环境。

第2影像处理部202对规定单位的图像205进行第2影像处理。第2影像处理部202对规定单位的图像205进行压缩处理，生成影像数据208。而且，第2影像处理不包含二次采样处理。第2影像处理中的压缩方式、压缩率等是任意的。通过第2影像处理生成的影像数据208的数据量小、错误耐受性低。因而，第2影像处理适合于传送速度206以及传送错误率207低的传送环境。

第3影像处理部203对规定单位的图像205进行第3影像处理。第3影像处理包含针对规定单位的图像205的二次采样处理。即，第3影像处理部203根据像素相位将规定单位的图像205像素分离为多个二次采样图像，将各二次采样图像作为影像数据208生成。而且，第3影像处理不包含压缩处理。第3影像处理中的二次采样处理的方式是任意的。通过第3影像处理生成的影像数据208的数据量大、错误耐受性高。因而，第3影像处理适合于传送速度206以及传送错误率207高的传送环境。

第4影像处理部204对规定单位的图像205进行第4影像处理。第4影像处理包含针对规定单位图像205的二次采样处理以及压缩处理。即，第4影像处理部204根据像素相位将规定单位的图像205像素分离为多个二次采样图像，对各二次采样图像的每个进行压缩处理生成影像数据208。第4影像处理中的二次采样处理的方式、压缩方式、压缩率等是任意的。通过第4影像处理生成的影像数据208的数据量小、错误耐受性高。因而，第4影像处理适合于传送速度206低、传送错误率207高的传送环境。

而且，虽然说明了在传送错误率207高的传送环境中二次采样处理是适宜的，但当传送错误率207非常高的情况下在接收一侧中基于二次采样处理的错误隐蔽有可能不起作用。这种情况下，影像处理部102也可以适用假设了数据再次传送的影像处理。例如，影像处理部102以比通常高的压缩率执行第2或者第4影像处理来生成影像数据208，可以在未图示的缓冲器等中为了再次发送而暂时保存。

以下，说明第3以及第4影像处理中的二次采样处理的具体例子。而且，第3影像处理部203以及第4影像处理部204都可以固定地适用1个二次采样处理，也可以从多个二次采样处理中适应性地选择1个来适用。当可以切换多个二次采样处理的情况下，也可以将识别所适用的二次采样处理的信息存储在以后说明的传送数据105中。

例如，如图9A以及图9B所示，在二次采样处理中，通过将规定单位的图像内的像素在水平方向以及垂直方向上进行奇偶分离，从而可以生成4个二次采样图像。换句话说，可以生成：用规定单位的图像内的第奇数个的水平方向线以及第奇数个的垂直方向线的交点像素构成的二次采样图像；用第奇数个的水平方向线以及第偶数个的垂直方向线的交点像素构成的二次采样图像；用第偶数个的水平方向线以及第奇数个的垂直方向线的交点像素构成的二次采样图像；以第偶数个的水平方向线以及第偶数个的垂直方向线的交点像素构成的二次采样图像。另外，该二次采样处理也可以看做根据在2×2像素块单位中的相对位置进行像素分离，生成4个二次采样图像。图9A表示该二次采样处理前的规定单位的图像。在图9A中，第奇数个的水平方向线以及第奇数个的垂直方向线的交点像素用三角形标记表示，第奇数个的水平方向线以及第偶数个的垂直方向线的交点像素用菱形标记表示，第偶数个的水平方向线以及第奇数个的垂直方向线的交点像素用正方形标记表示，第偶数个的水平方向线以及第偶数个的垂直方向线的交点像素用圆形标记表示。而且，在图9A中像素0的坐标假设是(0，0)，像素31的坐标假设是(7，3)。如果对图9A所示的规定单位的图像根据上述的规则进行二次采样，则生成图9B所示的4个二次采样图像。而且，在图9A以及图9B中在同一像素上标注同一符号。

另外，在二次采样处理中，通过将规定单位的图像内的像素在水平方向、垂直方向或者倾斜方向(方格型(棋盘型))上进行奇偶分离，能够生成2个二次采样图像。

影像处理部102将规定单位的图像的帧号码、规定单位的图像的坐标信息、识别二次采样/非二次采样的信息、像素相位信息、识别压缩/非压缩的信息、影像数据208的尺寸信息和通过适用第1至第4影像处理得到的影像数据208一同输入到输出部103。识别二次采样/非二次采样的信息表示为了生成影像数据208是否进行二次采样处理。另外，当进行多个二次采样处理的切换的情况下，在识别二次采样/非二次采样的信息中还包含各采样处理的识别信息。像素相位信息表示当进行二次采样处理的情况下影像数据208表现的二次采样图像。识别压缩/非压缩的信息表示为了生成影像数据208是否进行压缩处理。影像数据208的尺寸信息例如表示影像数据208的总尺寸。

输出部103整理来自影像处理部102的数据形式，生成传送数据105并输出。传送数据105经由传送速度以及传送错误率随时间变化的传送线路(例如，无线传送线路)传送到图像接收装置。传送数据105的格式例如如图10所示那样。而且，在图10的格式中，各字段的位置可以适宜地改变，也可以追加未图示的信息。

如以上说明的那样，本实施方式涉及的图像发送装置根据随时间变化的传送速度以及传送错误率切换压缩处理、二次采样处理等的影像处理的适用/非适用。因而，根据本实施方式涉及的图像发送装置，能够针对传送速度或者传送错误率的变动稳定地传送高品质的影像。

如图3所示，本实施方式涉及的图像接收装置300具有：输入部301；影像数据抽出部302；伸展部303；反二次采样部304；显示区域决定部305以及显示顺序决定部306。图像接收装置300根据传送数据105生成输出影像307。传送数据105从图1的图像发送装置100等经由例如无线传送线路进行传送。

输入部301将传送数据105输入到影像数据抽出部302。而且，输入部301当在传送数据105中检测出错误的情况下，可以向发送一侧(图像发送装置100等)要求再次传送该传送数据105的一部分或者全部。而且，为了检测错误，例如也可以利用现有的纠错码。

影像数据抽出部302根据包含在传送数据105中的影像数据的尺寸信息，从传送数据105中抽出影像数据208。如果传送数据105中的识别压缩/非压缩的信息表示对影像数据208进行压缩处理，则将该影像数据208输入到伸展部303中。如果传送数据105中的识别压缩/非压缩的信息表示对影像数据208未进行压缩处理，并且识别二次采样/非二次采样的信息表示对该影像数据208进行二次采样处理，则将该影像数据208输入到反二次采样部304。如果传送数据105中的识别压缩/非压缩的信息表示对影像数据208未进行压缩处理，并且，识别二次采样/非二次采样的信息表示对该影像数据208未进行二次采样处理，则该影像数据208作为规定单位的图像输入到显示区域决定部305。

伸展部303伸展被输入的影像数据。而且，伸展部303进行的伸展处理与在发送一侧(图像发送装置100等)中适用的压缩处理对应。如果传送数据105中的识别二次采样/非二次采样的信息表示对该影像数据208进行二次采样处理，则将经过伸展的影像数据输入到反二次采样部304，如果这样则将经过伸展的影像数据作为规定单位的图像输入到显示区域决定部305。

在反二次采样部304中输入相当于对规定单位的图像进行了像素分离的二次采样图像的影像数据。反二次采样部304根据传送数据105中的像素相位信息对多个影像数据进行反二次采样处理(像素合并)重构规定单位的图像。而且，当一部分二次采样图像因错误而缺失的情况下，反二次采样部304可以根据(空间上或者时间上)相邻的正常的像素插补缺失的像素。而且，反二次采样部304进行的反二次采样处理与在发送一侧(图像发送装置100等)中适用的二次采样处理对应。例如，如果在发送一侧进行图9A以及图9B所示那样的二次采样处理，则反二次采样部304可以根据图11A所示的二次采样图像重构图11B所示的规定单位的图像。另外，当在发送一侧进行多个二次采样处理的切换的情况下，根据包含在识别二次采样/非二次采样的信息中的二次采样处理的识别信息决定反二次采样处理的内容。反二次采样部304将重构的规定单位的图像输入到显示区域决定部305。

显示区域决定部305根据传送数据105中的规定单位的图像的坐标信息，决定规定单位的图像的显示区域(空间性位置)(例如参照图8)。显示顺序决定部306根据传送数据105中的规定单位的图像的帧号码，决定规定单位的图像的显示帧，生成输出影像307。输出影像307向电视等的显示装置输出。

如上所述，本实施方式涉及的图像接收装置与本实施方式涉及的图像发送装置对应。因而，根据本实施方式涉及的图像接收装置，可以针对传送速度或者传送错误率的变动稳定地输出高品质的影像。

(第2实施方式)

如图4所示，本发明的第2实施方式涉及的图像发送装置400具有块分割部401、压缩部402以及输出部403。图像发送装置400对规定单位的图像404进行压缩处理，生成传送数据406。而且，图像发送装置400也可以作为在图1的图像发送装置100中的第2影像处理部202或者第4影像处理部204的一部分适宜地被编入。

块分割部401分割规定单位的图像404，生成多个图像块。而且，图像块的形状以及尺寸并没有限制。块分割部401将多个图像块输入到压缩部402中。

压缩部402根据规定尺寸405压缩图像块。规定尺寸405是指定各图像块的压缩后的数据量的参数。即，压缩部402压缩图像块使得不超过规定尺寸405。规定尺寸405既可以是可变值，也可以是固定值。如果规定尺寸405是可变值，则可以跟随传送速度的变动地变化。压缩部402将图像块的压缩数据(以下，只称为块压缩数据)输入到输出部403。

输出部403如图12所示，将包含与规定单位的图像404对应的多个块压缩数据的汇总和上述规定尺寸信息的影像数据、该影像数据的总尺寸信息作为传送数据406发送。规定尺寸信息是表示规定尺寸405的信息。而且，规定尺寸信息可以不作为影像数据的一部分而作为影像数据的尺寸信息的一部分处理。总尺寸信息是与影像数据的总尺寸有关的信息。传送数据406经由例如无线传送线路传送到图像接收装置。图像接收装置能够根据该规定尺寸信息以及总尺寸信息，对任意的块压缩数据进行存取(随机存取)。具体地说，图像接收装置能够根据总尺寸信息抽出多个块压缩数据的汇总，根据规定尺寸信息抽出各个块压缩数据。

如上所述，本实施方式涉及的图像发送装置根据规定尺寸对分割了规定单位的图像的多个图像块进行压缩，并和规定尺寸信息以及总尺寸信息一同传送。因而，根据本实施方式涉及的图像发送装置，因为可以对各个块压缩数据进行随机存取，所以可以将错误的传播范围抑制在块级别。即，即使传送错误率暂时上升也能够稳定地传送高品质的图像。

如图5所示，本实施方式涉及的图像接收装置500具有输入部501、分离部502以及伸展部503。图像接收装置500根据传送数据406生成输出图像504。传送数据406从图4的图像传送装置400等经由例如无线传送线路被传送。而且，图像接收装置500也可以作为图3的图像接收装置300中的伸展部303的一部分适宜地被编入。

输入部501将传送数据406输入到分离部502。而且，输入部501在传送数据406中检测到错误的情况下，也可以向发送一侧(图像发送装置400)请求再次传送该传送数据406的一部分或者全部。

分离部502根据传送数据406中的总尺寸信息，分离规定尺寸信息和块压缩数据的汇总。分离部502将规定尺寸信息以及块压缩数据的汇总输入到伸展部503。

伸展部503根据规定尺寸信息判定在块压缩数据的汇总中的各个块压缩数据的位置(例如开始位置)。因为在各块压缩数据中分配规定尺寸，所以伸展部503能够唯一地识别各个块压缩数据的位置。伸展部503伸展各个块压缩数据，生成输出图像504。而且，伸展部503进行的伸展处理对应于在发送一侧(图像发送装置400等)中适用的压缩处理。

伸展部503当在一部分块压缩数据中检测到错误的情况下，废弃该块压缩数据，可以根据(空间上或者时间上)临近的正常的图像块插补对应的图像块。另外，伸展部503当在一部分块压缩数据中检测到错误的情况下，废弃该块压缩数据，可以向发送一侧请求该块压缩数据的再次传送，伸展被再次传送的块压缩数据。这2种处理可以例如根据传送速度进行切换。即，伸展部503可以是如果传送速度低则进行图像块的插补，如果传送速度高则进行再次传送请求。

如上所述，本实施方式涉及的图像接收装置与本实施方式涉及的图像发送装置对应。因而，根据本实施方式涉及的图像接收装置，因为可以对各个块压缩数据进行随机存取，所以能够将错误的传播范围抑制在块级别。即，即使传送错误率暂时上升也能够稳定地输出高品质的图像。

(第3实施方式)

如图6所示，本发明的第3实施方式涉及的图像发送装置600具有块分割部601、压缩部610以及输出部603。图像发送装置600对规定单位的图像604进行压缩处理，生成传送数据606。而且，图像发送装置600也可以作为在图1的图像发送装置100中的第2影像处理部202或者第4影像处理部204的一部分适宜地被编入。

块分割部601分割规定单位的图像604，生成多个图像块。而且，图像块的形状以及尺寸并没有限制。块分割部601将多个图像块输入到压缩部610中。

压缩部610根据规定尺寸605压缩图像块。规定尺寸605是指定各图像块的压缩后的数据量的参数。即，压缩部602压缩图像块使得不超过规定尺寸605。规定尺寸605既可以是可变值，也可以是固定值。如果规定尺寸605是可变值，则可以使得跟随传送速度的变动而变化。压缩部610能够从多个压缩方式中以块为单位选择适用某个方式。例如，如图6所示，压缩部610例如具有第1压缩部611、第2压缩部612以及第3压缩部613。

第1压缩部611将压缩像素间差分的DPCM(Differential Pulse CodeModulation)等的第1压缩处理(可逆压缩)适用于图像块。第2压缩部612将对伴随离散余弦变换(DCT)等的正交变换的低频区域利用能源集中的第2压缩处理(非可逆压缩)适用到图像块。第3压缩部613将所谓的调色板方式的第3压缩处理(固定长的像素单位压缩)适用到图像块。用调色板方式生成的块压缩数据包含像素值以及索引号码的对应表(调色板)、和给予给块内的各像素的索引号码。

压缩部610可以根据图像块的性质选择压缩方式。例如，一般在自然图像中与第3压缩处理相比第2压缩处理适宜，在人工图像(例如计算机图形)中与第2压缩处理相比第3压缩处理适宜。另外，压缩部610可以试验性地适用第1至第3压缩处理，选择压缩失真最小的压缩处理。压缩部610如图13所示，对在图像块上进行压缩处理得到的压缩数据附加压缩方式的识别符，作为块压缩数据输入到输出部603。

输出部603如图13所示，将包含与规定单位的图像604对应的多个块压缩数据的汇总和上述规定尺寸信息的影像数据、该影像数据的总尺寸信息作为传送数据606生成。规定尺寸信息是表示规定尺寸605的信息。而且，规定尺寸信息可被理解为不是影像数据的一部分而是影像数据的尺寸信息的一部分。总尺寸信息是与影像数据的总尺寸有关的信息。传送数据606经由例如无线传送线路传送到图像接收装置。图像接收装置能够根据该规定尺寸信息以及总尺寸信息，对任意的块压缩数据进行存取(随机存取)。具体地说，图像接收装置能够根据总尺寸信息抽出多个块压缩数据的汇总，根据规定尺寸信息抽出各个块压缩数据。

如上所述，本实施方式涉及的图像发送装置按照规定尺寸压缩分割了规定单位的图像得到的多个图像块，并和规定尺寸信息以及总尺寸信息一同传送。因而，根据本实施方式涉及的图像传送装置，因为可以对各个块压缩数据进行随机存取，所以可以将错误的传播范围抑制在块级别。即，即使传送错误率暂时上升也能够稳定地传送高品质的图像。另外，本实施方式涉及的图像发送装置可以以块为单位切换多种压缩方式。因而，根据本实施方式涉及的图像发送装置，能够适用与各个图像块的性质相符的压缩处理。

如图7所示，本实施方式涉及的图像接收装置700具有输入部701、分离部702以及伸展部710。图像接收装置700从传送数据606中生成输出图像604。传送数据606从图6的图像传送装置600等中经由例如无线传送线路进行传送。而且，图像接收装置700也可以作为图3的图像接收装置300中的伸展部303的一部分适宜地被编入。

输入部701将传送数据606输入到分离部702。而且，输入部701在传送数据606中检测到错误的情况下，也可以向发送一侧(图像发送装置600)请求再次传送该传送数据606的一部分或者全部。

分离部702根据传送数据606中的总尺寸信息，分离规定尺寸信息、块压缩数据的汇总。分离部702将规定尺寸信息以及块压缩数据的汇总输入到伸展部710。

伸展部710根据规定尺寸信息判定在块压缩数据的汇总中的各个块压缩数据的位置(例如开始位置)。对各块压缩数据中分配规定尺寸的伸展部710能够唯一识别各个块的压缩数据的位置。伸展部710根据压缩方式的识别符伸展各个块压缩数据，生成输出图像704。而且，伸展部710进行的伸展处理对应于在发送一侧(图像发送装置600等)中适用的压缩处理。例如，如图7所示，伸展部710具有第1伸展部711、第2伸展部712以及第3伸展部713。

第1伸展部711与图6的第1压缩部611对应。即，第1伸展部711将与第1压缩处理对应的第1伸展处理适用到块压缩数据中，生成输出图像704。第2伸展部712与图6的第2压缩部612对应。即，第2伸展部712将与第2压缩处理对应的第2伸展处理适用到块压缩数据中，生成输出图像704。第3伸展部713与图6的第3压缩部613对应。即，第3伸展部713将与第3压缩处理对应的第3伸展处理适用到块压缩数据中，生成输出图像704。

伸展部710当在一部分块压缩数据中检测到错误的情况下，可以废弃该块压缩数据，根据(空间上或者时间上)临近的正常的图像块插补对应的图像块。另外，伸展部710当在一部分块压缩数据中检测到错误的情况下，可以废弃该块压缩数据，向发送一侧请求该块压缩数据的再次传送，伸展再次传送的块的压缩数据。这2种处理可以根据例如传送速度进行切换。即，伸展部710可以是如果传送速度低则进行图像块的插补，如果传送速度高则进行再次传送请求。

如上所述，本实施方式涉及的图像接收装置与本实施方式涉及的图像发送装置对应。因而，根据本实施方式涉及的图像接收装置，因为可以对各个块压缩数据进行随机存取，所以能够将错误的传播范围抑制在块级别。即，即使传送错误率暂时上升也能够稳定地输出高品质的图像。另外，本实施方式涉及的图像接收装置根据压缩方式的识别符以块为单位切换适用多种伸展方式。因而，根据本实施方式涉及的图像接收装置，能够输出适合于各个图像块的性质的高品质的图像。

(第4实施方式)

本发明的第4实施方式涉及的图像发送装置800相当于在图4的图像发送装置400中将压缩部402置换为另一压缩部810的构成。在以下说明中，以在压缩部810和压缩部402之间不同的部分为中心进行说明。而且，图像发送装置800可以作为在图1的图像发送装置100中的第2影像处理部202或者第4影像处理部204的一部分适宜地被编入。

压缩部810进行和压缩部402一样的压缩处理。即，压缩图像块使得不超过规定尺寸405。此时，块压缩数据的尺寸不一定与规定尺寸405一致，有时产生剩余区域(填充区域)。该剩余区域一般用没有意义的填充位填满。压缩部810如图14所示，在该剩余区域上存储规定的位图案。该规定的位图案是任意的，例如可以是“0”的堆砌或者“1”的堆砌，也可以是规定单位的图像的帧号码、规定单位的图像的坐标信息等的特征量的一部分(上位位，下位位等)，但是假设该规定的位图案在发送一侧(图像发送装置)和接收一侧(图像接收装置)之间按照共用的规则生成。

如上所述，本实施方式涉及的图像发送装置在各块压缩数据中在不足规定尺寸的剩余区域上存储按照共用的规则生成的位图案。因而，根据本实施方式涉及的图像发送装置，能够根据在发送接收之间的位图案的一致/不一致判定错误。即，即使传送错误率暂时上升也能够稳定地传送高品质的图像。

本实施方式涉及的图像接收装置900相当于在图5的图像接收装置500中将伸展部503置换为另一伸展部910的构成。在以下的说明中，以在伸展部910和压缩部503之间不同的部分为中心说明。

伸展部910进行和伸展部503一样的伸展处理。进而，伸展部910在图像块的伸展数据不足规定尺寸时，按照和图像发送装置800的共用规则生成点图案。伸展部910对比生成的点图案、存储在块压缩数据中的点图案。伸展部910在两者不一致时，检测块压缩数据的错误。另外，伸展部910在图像块的伸展数据超过规定尺寸的情况下也检测块压缩数据的错误。而且，伸展部910在检测到块压缩数据的错误的情况下，和伸展部503一样地执行图像块的插补、再次传送请求等。

如上所述，本实施方式涉及的图像接收装置对应于本实施方式涉及的图像发送装置。因而，根据本实施方式涉及的图像接收装置，能够根据在发送接收间的位图案的一致/不一致判定错误。即，即使传送错误率暂时上升也能够稳定地输出高品质的图像。

(第5实施方式)

图15是本发明的第5实施方式涉及的图像发送装置的框图。将输入图像11输入到图像输入部12。图像输入部12针对每一规定单位的图像(例如，连续的规定线数的图像区域)将输入图像11输入到格式变换部13。格式变换部13对规定单位的图像的信号组成部分的每一个进行水平方向的缩小变换。而且，格式变换部13也可以进一步进行颜色空间的变换(例如，从RGB向YCbCr的变换)。实施了水平方向的缩小变换的规定单位的图像利用像素分离部14分离为水平方向的多个相位的像素。压缩部15与被分离的像素相位的每一个独立地进行针对规定单位的图像的压缩处理(例如，使用了DCT(离散余弦变换)的压缩)。经过压缩的数据被打包部16进行打包。经过打包的数据利用发送部17进行例如OFDM调制后作为传送数据18以60GHz频带的毫米波进行无线传送。发送部17使用从例如57GHz到66GHz频率范围内的传送频道发送传送数据18。格式变换部13、像素分离部14以及压缩部15分别具备包含未处理(旁路处理)的多个模式，能够对规定单位的每一图像改变各自的模式。传送数据18包含在格式变换部13中的缩小率的信息19、像素分离部14中的像素分离类型以及像素分离相位的信息20、以及压缩部15的压缩模式的信息。

图16是本实施方式涉及的图像接收装置的框图。图16所示的图像接收装置接收包含用图15的图像发送装置压缩了的图像压缩数据的传送数据21，进行图像压缩数据的伸展。传送数据21是经过了例如OFMD调制的60GHz频带的毫米波的无线信号。传送数据21使用从例如57GHz至66GHz频率范围内的传送频道传送。接收部22接收传送数据21。接收部22对接收到的传送数据21进行解调处理。去打包部23从解调后的传送数据21中抽出图像压缩数据、缩小率的信息29、像素分离类型以及像素分离相位的信息30。将缩小率信息29、图像分离类型以及像素分离相位信息30被指定给规定单位的图像压缩数据的每一个。伸展部24对规定单位的每一图像压缩数据进行接收到的图像压数据的伸展处理。伸展部24除了上述缩小率的信息外，对规定单位的每一图像压缩数据使用以后说明的输入图像的颜色空间的信息、图像帧的宽度的信息以及表示像素分离的有效/无效的信息进行伸展处理。像素结合部25使用像素分离类型以及像素分离相位的信息30，进行伸展后的图像的像素结合处理。格式变换部26使用缩小率的信息29对经过像素结合的图像的每一信号组成部分进行水平方向的放大处理。而且，格式变化部13进一步进行颜色空间的变换(例如，从YCbCr向RGB的变换)。图像输出部27将经过格式变换了的图像作为以线为单位的再生图像28输出。

图17是表示第5实施方式涉及的传送数据构造的例子的图。对分离的每一像素相位独立地压缩规定单位的图像。在此，将独立地压缩的压缩数据称为片。各片被分割成固定块尺寸(例如8×8像素)的多个块，以块为单位进行压缩。在各片上付与固定位长度的片头，将片头和片的组称为压缩片数据单元。压缩片数据单元用打包部16分割成多个数据在每个分割的数据上付与头进行打包。

图18是表示第5实施方式涉及的片头的例子的图。在片头中包含表示像素分离类型的2位的partition_type和表示水平缩小率的2位的h_subsampling的数据字段。

图19是说明第5实施方式涉及的像素分离类型信息partition_type的图。partition_type＝0表示在水平方向上将图像线进行左右2分割的像素分离类型。另外，当以后说明的PartitionEnable是0(像素分离关闭)的情况下，partition_type必须设置0，表示没有像素分离的意思。图21表示水平左右分割的例子。在该水平左右分割中，将连续的8线作为规定单位的图像，将图像帧的左半部作为分区0(像素分离相位为1)，将右半部作为分区1(像素分离相位为2)，分割为2个区域，对每个被分离出的分区(像素相位)独立地进行压缩。partition_type＝1表示在水平方向上用偶数像素和奇数像素进行像素分离的像素分离类型。图22表示水平偶数奇数像素分离的例子。在该水平偶数奇数像素分离中，将连续的8线作为规定单位的图像，将水平方向第偶数个的像素作为分区0(像素分离相位为1)，将第奇数个的像素作为分区1(像素分离相位为2)进行分离，对分离出的每一分区(像素相位)独立地进行压缩。partition_type＝2表示将像素分离为方格形的情况。图23表示方格像素分离的例子。在该方格像素分离中，将连续的8线作为规定单位的图像，将偶数线的第偶数个的像素以及奇数线的第奇数个的像素作为分区0(像素分离相位为1)，将偶数线的第奇数个的像素以及奇数线的第偶数个的像素作为分区1(像素分离相位为2)在水平方向上分离，对每一分离出的分区(像素相位)独立进行压缩。

以规定线数为单位(在此是8线)的图像压缩中，为了在线方向(垂直方向)上进行像素分离，需要将图像分离前的规定单位的图像的垂直线数倍增(在此，是16线)。倍增垂直线数将招致涉及压缩的延迟以及图像存储量的增加。另外，如果垂直线数倍增，则在图像伸展中，用于将规定单位的图像向线单位的输出图像进行扫描变换的延迟量以及图像存储量也增大。另一方面，如果将像素分离限定在水平方向上，则因为能够在维持规定单位的图像的线数的状态下将像素分离为2个相位，所以可以抑制压缩处理以及伸展处理涉及的延迟的增加、图像存储器的增加。

另外，当以后说明的PartitionEnable是0，即像素分离关闭的情况下，将连续的8线作为规定单位进行压缩构成片，由此能够消减片头和打包等的开销。另外，PartitionEnable是1，即图像分离打开的情况下，对每一连续的8线，不进行像素单位的分离，而选择左右分离的水平左右分割、像素单位的水平偶数奇数像素分离、方格像素分离之一的像素分离类型。通过根据在比1帧还短的周期时时刻刻都在变化的传送速率和错误率以使错误耐受性和编码效率的平衡最佳的方式选择像素分离类型，可以实现画质劣化少的压缩传送。另外，即使选择某个像素分离类型，因为连续的8线作为2片进行压缩，所以后级的打包部16和发送部17不考虑像素分离类型如何(与像素分离类型无关)都能容易动作。

图20是说明表示第5实施方式涉及的水平缩小率的h_subsampling的图。h_subsampling＝0表示不进行水平方向的缩小而进行压缩。h_subsampling＝1表示只是色差信号在水平方向上缩小1/2进行了压缩。h_subsampling＝2表示对全部的图像信号组成部分(例如，R，G，B或者Y，Cb，Cr等)在水平方向上实施1/2缩小进行了压缩。在接收一侧上对进行了伸展处理以及像素结合的图像，当h_subsampling＝1的情况下，进行色差信号的水平2倍的放大处理。另外，当h_subsampling＝2的情况下，对全部的图像信号组成部分进行水平2倍的放大处理。

针对规定单位的每一图像，通过根据比1帧还短的周期时时刻刻都在变化的传送速率和每一规定单位的图像性质(压缩困难度)，切换无水平缩小、只色差缩小、全部组成部分缩小，可以进行使因压缩产生的失真和因缩小产生的分辨率下降的平衡最佳化的高画质传送。

图24是经过压缩的片的识别符SliceIndex。片识别符包含在图17中的数据包头或者片头中。在片识别符中当以后说明的PartitionEnable是1(像素分离打开)的情况下，上述经过像素分离的分区(像素相位)号码(即，1或者0)包含在下位1位中。因而，如以下那样，可以抽出各片的分区(像素相位)号码。

[数1]

图25是表示第5实施方式涉及的传送图像格式信息的例子的图。在传送图像格式信息中包含输入图像的颜色空间的信息ColorSpace、表示像素分离的有效/无效的信息PartitionEnable、图像帧尺寸的信息VideoFrameSizeInfo。传送图像格式信息和图像压缩数据一同进行传送、或者在发送一侧和接收一侧的连接时从发送一侧向接收一侧传送。

图26是说明输入图像的颜色空间信息ColorSpace的图。ColorSpace的0、1、2分别表示输入图像是RGB图像信号、YCbCr422图像信号、YCbCr444图像信号。

图27是表示像素分离的有效/无效的信息PartitionEnable的图。PartitionEnable的0、1分别表示像素分离关闭(无效)、像素分离打开(有效)。

图28是表示第5实施方式涉及的压缩数据的颜色空间的图。压缩数据的颜色空间表示输入到压缩部15的图像以及从伸展部24输出的图像的颜色空间，由(图像发送装置的)输入图像的颜色空间的信息ColorSpace和表示水平缩小率的h_subsampling决定。在水平缩小处理关闭(h_subsampling＝0)或者是全部组成部分1/2(h_subsampling＝2)的情况下，压缩数据的颜色空间和输入图像的颜色空间一致。另一方面，色差信号水平1/2(h_subsampling＝1)只在输入图像的颜色空间是YCbCr444的情况下可以适用，压缩数据的颜色空间变成YCbCr444。根据图28使用输入图像的颜色空间的信息和水平缩小率的信息，导出压缩数据的颜色空间的信息，针对发送装置的压缩部15、接收装置的伸展部24将压缩数据的颜色空间的信息对每一片来设定。

构成片的全部组成部分的块总数(在此是8×8像素块)NB如以下那样计算。

[数2]

在此，NBF是压缩数据的块数系数，如图29所示，由输入图像的颜色空间的信息ColorSpace和表示水平缩小率的h_subsampling决定。frame_width是图像帧的宽度，能够从图像帧尺寸的信息VideoFrameSizeInfo中导出。上式对应于在未进行像素分割的情况下(PartitionEnable＝0)用连续的8线的图像构成1片，当使用像素分割的情况下(PartitionEnable＝1)用连续的8线的图像构成2片。其中，各组成部分不是8×8像素的倍数的像素分离以及水平缩小的组合受到禁止。即，当压缩数据的颜色空间是RGB或者YCbCr444的情况下，NB必须是3的倍数。另外，当压缩数据的颜色空间是YCbCr422的情况下，NB必须是4的倍数。根据上式，使用输入图像的颜色空间的信息、图像帧的宽度、像素分离的有无以及水平缩小率的信息，导出各片的压缩数据的块数。各片的压缩数据的块数对发送装置的压缩部15、接收装置的伸展部24按每一片设定。

图30表示像素结合部25的一个例子。在像素结合部25中输入用伸展部24伸展的图像信号33、来自去打包部23的像素分离类型以及与像素分离相位有关的信息30a、与各相位的压缩数据有关的接收错误信息30b。接收错误信息30b是基于在接收部22以及去打包部23中的接收错误的检测结果的信息。选择部34根据信息30a将图像信号33暂时保存在图像缓冲器(相位1)35或者图像缓冲器(相位2)38中。插补部36根据缓冲器(相位1)35的图像信号生成相位2的插补图像。插补部37根据缓冲器(相位2)38的图像信号生成相位1的插补图像。选择部39根据接收错误信息30b选择输出到结合部40的像素。选择部39对于发生了错误的相位，将插补部36或者插补部37的输出向结合部40输出。另一方面，选择部39对于未发生错误的相位，将图像缓冲器(相位1)35或者图像缓冲器(相位2)38的输出向结合部40输出。结合部40结合从选择部39输出的像素生成像素41并输出。这样，由于像素分离规定单位的图像进行独立地压缩，从正常接收到的相位的像素中插补生成发生了接收错误的相位的像素，因而可以不发生规定单位的图像集中地缺失而进行再生，能够实现对传送错误强健的图像传送。

图31表示本实施方式涉及的像素分离的效果。像素分离对于利用了DCT等的相邻像素间相关的压缩方式来说，一般引起压缩效率的降低。例如，水平偶数奇数像素分离虽然因为将水平方向的像素间距离设置成2倍使水平方向的相关下降，但能够维持垂直方向的像素间相关。另一方面，方格像素分离将垂直方向以及水平方向的像素间距离分别设置成2倍，维持倾斜方向的像素间距离。一般，自然图像信号的垂直方向以及水平方向的像素间相关高。在水平左右分割中，维持像素的连续性，虽然预料由于在水平方向上分割成2片而导致的压缩效率降低，但与没有像素分离相比并没有大的性能劣化。

因而，压缩效率按照左右水平分割或者没有像素分离、水平偶数奇数像素分离、方格像素分离的顺序下降。另外，当在2个经过分离的相位中的一方中发生了接收错误的情况下，将从正常接收到的相位的像素中生成插补像素。进行了水平偶数奇数像素分离的图像信号如图32A所示，因为只在水平方向上维持1/2频带，所以插补图像在水平方向上模糊。另一方面，进行了方格像素分离的图像信号如图32B所示，能够维持成为主观画质上重要的水平以及垂直方向的频带。因而，插补图像的主观画质的方格像素分离比水平偶数奇数像素分离还高。另外，在自然图像信号中，因为由于压缩和滤波处理等的影响，图像信号的倾斜频率成分小的情况多，所以从PSNR(Peak Signal-to-Noise Ratio)的观点出发，也是方格像素分离比水平偶数奇数像素分离的画质高。另一方面，水平左右分割以及没有像素分离在发生接收错误时由于构成片的8线的图像区域将发生缺失，如果缺失了的像素从上下片被插补，则在主观画质以及PSN中都引起大幅度降低。即，在采用像素分离类型的压缩效率的降低和该像素分离类型的错误耐受性之间折中的关系成立。因而，通过根据错误率选择适宜的像素分离类型，可以提高传送画质。具体地说，如图31所示，如果是错误速率低的情况，虽然水平左右分割或者没有像素分离使接收画质最高，但随着错误率(错误隐藏的必要性)增高，按照水平偶数奇数像素分离、方格像素分离的顺序接收画质增高。如上所述，通过根据以比1帧快的周期时时刻刻变化的传送错误率，以片等的规定单位适宜地选择像素分离类型，如图31的虚线所示，与固定的像素分离类型相比可以提高传送画质。

图33表示本实施方式涉及的缩小变换的效果。当输入图像是RGB信号，传送速率充分高的情况下，为了避免伴随从RGB向YCbCr颜色空间变换的变换损耗，通过对RGB信号直接进行压缩能够避免画质劣化。另一方面，因为在RGB的信号组成部分间一般有很强的相关，所以通过变换为YCbCr进行压缩，与对RGB直接压缩相比，压缩效率提高，压缩失真减少。随着传送速率下降，因为直接进行RGB的压缩的损耗的一方比伴随从RGB向YCbCr的颜色空间变换的变换损耗还大，所以用YCbCr的压缩变得有效。另外，当传送速率进一步降低的情况下，因为分辨率和压缩失真之间发生折中，所以随着传送速率降低，以色差信号、亮度信号的顺序消减采样数进行压缩变得有效。图33中的YCbCr222表示在垂直方向上将YCbCr444的各信号组成部分缩小为1/2进行压缩的情况。另外，YCbCr211表示将YCbCr422的各信号组成部分在垂直方向上缩小为1/2进行压缩的情况。如上所述，通过根据以比1帧还快的周期时时刻刻变化的传送速率适应性地选择颜色空间、色差信号或者亮度信号的缩小率，如图33的虚线所示，与用固定的颜色空间、采样数进行压缩相比能够提高传送画质。

而且，本发明并不限于上述各实施方式自身，在实施阶段在不脱离其主旨的范围中可以对构成要素进行变形并具体化。另外通过适宜地组合在上述各实施方式中公开的多个构成要素，能够形成各种发明。另外例如，还考虑从在各实施方式中所示的全部构成要素中删除几个构成要素而得到的构成。进而，还可以适宜组合记载在不同实施方式中的构成要素。

例如，还可以将实现上述的各实施方式的处理的程序存储在计算机可以读取的存储介质中来提供。作为存储介质只要是磁盘、光盘(CD-ROM、CD-R、DVD等)、光磁盘(MO等)、半导体存储器等能够存储程序，并且计算机可以读取的存储介质，则其存储形式可以是任意的形式。

另外，也可以将实现上述各实施方式的处理的程序存储在与因特网等网络连接的计算机(服务器)上，经由网络下载在计算机(客户)中。

Claims (4)

1.一种图像发送装置，具备：

分割部，将输入图像分割为规定单位的图像；

影像处理部，将影像处理适用于上述规定单位的图像中，生成影像数据，其中上述影像处理是进行将上述规定单位的图像按照像素相位而像素分离为多个二次采样图像的二次采样处理，并将各二次采样图像作为上述影像数据生成的影像处理，并且该影像处理通过将上述规定单位的图像内的像素分离为(1)偶数列和奇数列的第1二次采样处理、或者分离为(2)方格图案的第1相位和第2相位的第2二次采样处理，生成2个二次采样图像；

输出部，输出传送数据，该传送数据包含：上述规定单位的图像的帧号码、上述规定单位的图像的坐标信息、识别上述影像数据的二次采样/非二次采样的信息、在对上述影像数据进行二次采样处理的情况下的该影像数据的像素相位信息以及识别上述第1二次采样处理和第2二次采样处理的识别信息、识别上述影像数据的压缩/非压缩的信息、上述影像数据的尺寸信息、以及上述影像数据。

2.根据权利要求1所述的图像发送装置，其中，

上述影像处理包含对各上述二次采样图像进行压缩而生成影像数据的影像处理，

上述输出部输出对上述影像数据的压缩进行识别的信息。

3.一种图像接收装置，具备：

输入部，输入传送数据，该传送数据包含：规定单位的图像的帧号码、上述规定单位的图像的坐标信息、识别影像数据的二次采样/非二次采样的信息、在对上述影像数据进行第1二次采样处理或第2二次采样处理的情况下的该影像数据的像素相位信息以及识别上述第1二次采样处理及第2二次采样处理的识别信息、识别上述影像数据的压缩/非压缩的信息、上述影像数据的尺寸信息、以及上述影像数据，上述影像数据包含通过将上述规定单位的图像内的像素分离为(1)偶数列和奇数列的第1二次采样处理而生成的2个二次采样图像、或者通过将上述规定单位的图像内的像素分离为(2)方格图案的第1相位和第2相位的第2二次采样处理而生成的2个二次采样图像；

抽出部，按照上述影像数据的尺寸信息，从上述传送数据中抽出上述影像数据；

伸展部，如果识别上述影像数据的压缩/非压缩的信息表示对该影像数据进行压缩处理，则对该影像数据进行伸展；

反二次采样部，如果识别上述影像数据的二次采样/非二次采样的信息表示对该影像数据进行二次采样处理，则按照上述像素相位信息以及识别上述第1二次采样处理和第2二次采样处理的识别信息对上述影像数据进行反二次采样处理，重构上述规定单位的图像；

显示区域决定部，根据上述规定单位的图像的坐标信息，决定上述规定单位的图像的显示区域；以及

显示顺序决定部，根据上述规定单位的图像的帧号码，决定上述规定单位的图像的显示帧。

4.根据权利要求3所述的图像接收装置，其中，

分割上述规定单位的图像而得到的图像块的压缩数据包含压缩方式的识别符，

上述伸展部按照上述压缩方式的识别符选择伸展方式，伸展上述图像块的压缩数据。