CN102474647B - 图像编码装置、图像编码方法以及集成电路 - Google Patents

Abstract

提供图像编码装置，能够抑制立体视给观看者带来的疲劳，并能够避免因为摄影方法而在重要的区域进行模糊处理。图像编码装置(10)具备：方法确定部(12)，确定两个图像的摄影方法；视差检测部(11)，按每个构成两个图像的每一个图像的块，检测两个图像之间的视差；调整部(13)，按每个块，根据被确定的摄影方法以及针对该块检测出的视差，决定用于使图像模糊的调整量；以及编码部(14)，按每个块，编码两个图像，以使按照对该块决定的调整量来使该块的图像模糊。

Description

图像编码装置、图像编码方法以及集成电路

技术领域

本发明涉及对立体视频信号进行压缩编码的图像编码装置等，尤其涉及用于数字摄像机和数字图片相机等图像记录设备或者图像传送设备，编码立体图像的图像编码装置等，上述数字摄像机和数字图片相机等对具有视差的两个影像信号即立体影像信号进行处理。

背景技术

在放映立体影像信号的屏幕比摄影时设想的屏幕大的情况下，看起来处于屏幕后方的左右的像之间的距离会比双眼之间的距离大。这个情况下，观看者为了立体观看该像，就要维持双眼的融合，从而给双眼的肌肉和脑部带来高度疲劳。加之，在距离(差距)变得更大时，观看者则变得不能维持双眼的融合，出现无法立体视的问题。为了避免这个问题，以往进行了使远景模糊的处理，以使观看者的注意不转向远景(例如，参照非专利文献1)。

另外，可以考虑在编码时，进行使上述远景模糊的处理。

以往的编码立体影像信号的图像编码装置，通过按照立体影像信号的视差来控制量化程度，从而控制编码量。即，以往的图像编码装置，在视差小的情况下，因为具有该视差的区域的重要度高，所以使该区域的信息量变多，在视差大的情况下，使具有该视差的区域的信息量变少，结果上进行了使该区域的图像模糊的处理(例如，参照专利文献1)。

图1是示出上述专利文献1公开的以往的图像编码装置的结构的方框图。

如图1所示，来自两个相机的影像信号通过被输入到各自的处理电路101以及102，从而取得了RGB成分信号。该RGB成分信号，由AD变换部 103以及104被变换为数字数据列之后，被存储到存储器105以及106。另外，存储器105以及106分别是能够存储8行的数字数据列的存储器。8行的数字数据列，即由画面上的8行×8列的像素构成的区域(块)的数据，分别从该存储器105以及106被读出。之后的处理按每个块来进行。

存储在存储器105的块的数据，被输入到直接耦合晶体管电路(DCT电路)107，在这里进行离散余弦变换，变换为频域上的实数数据组成的系数块。另外，该系数块被输入到量化电路108，在此与规定的量化步长的倒数相乘，被整数化。量化步长利用人的视觉特性而定，设定为越是低频率侧允许的变形越少，越是高频率侧允许的变形越多。即，对于低频率侧的系数，量化步长被设定得小，编码量被大量分配到低频率侧。

另外，对这样被量化的数据，进行由零包电路109的零扫描宽度编码。即，零包电路109，数连续的零数，与该数和止住该连续的零的系数为一个组，从而编码被量化的数据。

在此，所述专利文献1所述的图像编码装置，具有减法器110和绝对值和电路111，该减法器110按每个像素进行分别存储在存储器105以及106的块的数据之间的减法处理，该绝对值和电路111求出由该减法器110进行减法处理的减法结果的绝对值的和(视差信号)。另外，在该绝对值和电路111取得的每个像素的数据的差的绝对值和与针对该块的图像的偏差即视差相对应。

量化电路108按照视差信号调整量化步长，该视差信号是从绝对值和电路111输出的。

哈夫曼编码部112，对于从零包电路109输出的已进行扫描宽度编码的数据，进行熵编码之一的哈夫曼编码。

这样，所述专利文献1所述的图像编码装置，通过对视差大的块，增加量化步长，从而提高了该块的压缩率，在结果上提高了编码效率并且进行了模糊处理。

在这里，对相机的摄影方法进行说明。

图2A是示出两个相机的摄影方法的图。

相机21以及22以使各自的光轴交叉的状态来拍摄物体23。在这种状态下摄影的方法称为交叉法。

另外，光轴是位于由相机进行拍摄而得到的图像的中心，沿着垂直于该图像的表面的方向的轴。视差是由相机21拍摄的物体23的像(左像)的位置和由相机22拍摄的物体23的像(右像)的位置之间的差。另外，沿着针对相机21以及22的排列方向而言是垂直的方向的，从相机21以及22的距离称为摄影距离。加之，沿着所述垂直的方向的，从相机21以及22到交点及焦点的距离分别称为交点距离以及焦点距离。

例如，相机21的光轴和相机22的光轴的交点上有物体23，并且相机21以及22的焦点对准了该交点。在这样的情况下，交点距离和焦点距离相同，该物体23的像鲜明，该像的视差为最小。另一方面，在摄影距离比交点距离(焦点距离)长的情况下，在该摄影距离上的远景的物体24的像的视差表示为差25a以及25b，远大于物体23的视差。

图2B是示出利用交叉法的摄影距离和视差的关系的图。

在摄影距离L上的被摄体的像的视差D如图2B所示，当摄影距离L在0到交点距离L1之间时，摄影距离L越长值越小，该值是正值。另外，在交点距离上视差D为0。另外，视差D在摄影距离L比交点距离L1长的情况下，摄影距离L越长值越小，该值是负值。也就是说，在这个情况下，视差D是负值，摄影距离L越长视差D的绝对值越大。

这样，在物体23位于交点(焦点)的情况下，该物体23的像没有视差。另外，在从相机21以及22的距离比交点更远的位置上的远景的物体24的像的视差，在负的方向上大。在这个情况下，观看者能够容易地以立体来观看物体23，不过，为了立体视在远景上的物体24就需要互相分开双眼的视线。其结果双眼感到疲劳。

于是，所述专利文献1中的图像编码装置，将一个块与另一个块的图像差分确定为视差的大小，对于视差大的块，通过增加量化步长，而使视差大的块的图像模糊。也就是说，所述专利文献1中的图像编码装置，对于视差大的区域，因为该区域的重要程度低，从而减少信息量，对于视差小 的区域，因为该区域的重要程度大，从而增加信息量。

(现有技术文献)

(专利文献)

专利文献1：日本特开平6-284449号公报

非专利文献1：本田捷夫监修“立体影像技术-空间表现媒体的最新动向-”CMC出版，2008年7月31日(P61-P62)

然而，所述专利文献1公开的图像编码装置存在问题，就是对重要的区域进行模糊处理。

也就是说，所述专利文献1所述的图像编码装置，如上所述，在视差大的区域，因为该区域的重要程度低，从而减少信息量，在视差小的区域，因为该区域的重要程度大，从而增加信息量。像这样的图像编码装置的编码技术是只适用于如图2A所示的利用交叉法的摄影方法的技术，无法适用于其他的摄影方法。

图3A是示出两个相机的其他摄影方法的图。

相机21以及22在使各自的光轴平行的状态下拍摄物体23。在这种状态下拍摄的摄影方法称为平行法。例如，相机21以及22的焦点对准了物体23。在这种情况下，该物体23的像很鲜明。另外，物体23的像的视差由差26a以及26b示出，远景物体24的像的视差由差27a以及差27b示出，该远景物体24位于摄影距离L比物体23远的位置上。

图3B是示出利用平行法的摄影距离和视差的关系。

位于摄影距离L上的被摄体的像的视差D，如图3B所示一直是正的值，摄影距离L越长，值越小并接近0。

也就是说，平行法与交叉法不同，即使物体23位于焦点的情况下，该物体23的像也存在视差。加之，位于比焦点更远离相机21以及22的位置上的远景的物体24的像的视差，小于物体23的像的视差。换句话说，通过相机21以及22得到的图像中，对准焦点的重要程度大的区域上存在较大的视差，没有对准焦点的重要程度小的区域(远景)上存在接近0的小的视差。

因此，所述专利文献1所述的图像编码装置，对相机21以及22以平行法来拍摄而得到的的影像信号进行编码时，向视差大的区域分配的信息量少，向视差小的区域分配的信息量多，所以会对焦点对准的重要的块(区域)的图像进行模糊处理。如此，根据摄影方法的不同，视差的分布也会不同，不一定是视差越小的区域，重要程度就越大。

发明内容

于是，本发明鉴于上述以往的课题，目的在于提供一种图像编码装置，既能够抑制立体视给观看者带来的疲劳，又能够避免因为摄影方法而对重要的区域进行模糊处理。

为了达成上述的目的，本发明的一个实施方式涉及的图像编码装置，对用于立体视的两个图像进行编码，所述图像编码装置具备：方法确定部，确定相机进行的所述两个图像的摄影方法；视差检测部，按每个区域检测所述两个图像之间的视差，所述区域是构成所述两个图像的每一个图像的区域；调整部，按每个所述区域，根据由所述方法确定部确定的摄影方法以及由所述视差检测部针对该区域检测出的视差，决定用于使图像模糊的调整量；以及编码部，按每个所述区域，编码所述两个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。

据此，在编码用于立体视的两个图像(例如，主图像和副图像)时，不仅根据视差还根据摄影方法来决定调整量，该两个图像被编码，以使按照该调整量来使图像模糊。通过这样使图像模糊，能够抑制立体视给观看者带来的疲劳。加之，不仅仅根据视差还根据摄影方法来决定调整量，能够避免因为摄影方法而对重要的区域进行模糊处理。

另外，也可以是方法确定部，确定所述摄影方法是平行法还是交叉法，所述调整部，在由所述方法确定部确定为所述摄影方法是交叉法的情况下，针对由所述视差检测部检测出的视差比第一阈值大的区域，决定所述调整量。

在摄影方法是交叉法的情况下，因为映出远景的区域的视差比较大，所 以通过针对视差比第一阈值大的区域决定调整量，从而能够恰当地使视差大的远景的图像模糊，能够抑制立体视给观看者带来的疲劳。加之，在摄影方法是交叉法的情况下，映出位于比远景近的光轴的交点上的被摄体的区域，也就是说重要的区域的视差极小，对于该视差小的区域不会决定调整量，能够避免对该重要的区域进行模糊处理。

另外，也可以是所述调整部决定调整量，以使所述视差越大，模糊程度越大。

据此，视差越大的图像，模糊程度越强，从而能够恰当地抑制观看者的疲劳。

另外，也可以是所述图像编码装置还具备焦点确定部，该焦点确定部，确定由所述相机进行拍摄而得到的所述两个图像的每一个图像中的焦点对准的区域，所述调整部，针对由所述焦点确定部确定的区域，将由所述视差检测部检测出的视差的大小，作为所述第一阈值来设定。

据此，将焦点对准的区域(所谓对焦区域)的视差作为第一阈值而设定，针对具有比该第一阈值大的视差的区域，决定调整量，从而既能够使对焦区域鲜明即高画质化，又能够使远景的图像模糊。

另外，也可以是所述方法确定部，确定所述摄影方法是平行法还是交叉法，所述调整部，在由所述方法确定部确定为所述摄影方法是平行法的情况下，针对由所述视差检测部检测出的视差比第二阈值小的区域，决定所述调整量。

在摄影方法是平行法的情况下，映出远景的区域的视差因为比较小，所以针对视差比第二阈值小的区域，决定调整量，从而能够恰当地使视差小的远景的图像模糊。加之，在摄影方法是交叉法的情况下，映出比远景近的被摄体的区域，即重要的区域的视差比较大，对于该视差大的区域不会决定调整量，从而能够避免对该重要的区域进行模糊处理。

另外，也可以是所述调整部决定调整量，以使所述视差越小，模糊程度越大。

据此，越是视差小的图像，模糊程度越强，从而能够恰当地使远景的图 像模糊。

另外，也可以是所述图像编码装置还具备焦点确定部，该焦点确定部，确定由所述相机进行拍摄而得到的所述两个图像的每一个图像中的焦点对准的区域，所述调整部，针对由所述焦点确定部确定的区域，将由所述视差检测部检测出的视差的大小，作为所述第二阈值来设定。

据此，将焦点对准的区域(所谓对焦区域)的视差作为第二阈值来设定，针对比该第二阈值小的视差的区域决定调整量，从而既能够使对焦区域鲜明即高画质化，又能够使远景的图像模糊。

另外，也可以是所述方法确定部，将用于生成所述两个图像的每一个图像的所述相机的两个光轴交叉的角度作为辐辏角来确定，判别所述辐辏角是否比预先规定的角度小，在判别为所述辐辏角不小于所述预先规定的角度时，确定为所述摄影方法是交叉法，在判别为所述辐辏角小于所述预先规定的角度时，确定为所述摄影方法是平行法。

据此，辐辏角被确定，并且按照该辐辏角确定摄影方法是平行法还是交叉法，从而能够恰当地确定摄影方法。

另外，也可以是所述视差检测部，按每个所述区域，将所述两个图像之间的视差作为视差矢量来检测，所述方法确定部，判别由所述视差检测部按每个区域检测出的视差矢量的分布中，负的方向的视差矢量和正的方向的视差矢量是否混合在一起，在判别为混合在一起时，确定为所述摄影方法是交叉法，在判别为没有混合在一起时，确定为所述摄影方法是平行法。

据此，按照视差矢量的分布来确定摄影方法是平行法还是交叉法，因此例如与根据辐辏角来确定摄影方法的情况相比，不需要特意确定辐辏角，能够简化图像编码装置的构成以及处理动作。

另外，也可以是所述编码部具备：变换部，针对所述两个图像的每一个图像，按每个所述区域进行正交变换；以及量化部，按每个所述区域，对由所述变换部进行正交变换所得到的频率系数进行量化，所述量化部，在对任一个区域的频率系数进行量化时，按照对该区域由所述调整部决定的调整量来增加量化步长，并且使用被增加的量化步长来对该区域的频率系 数进行量化，从而使该区域的图像模糊。

据此，因为量化步长的增加而使图像模糊，从而能够将用于图像编码的参数挪用到图像的模糊处理上，无需追加用于模糊图像的处理和构成要素，能够简化图像编码装置的构成以及处理动作。

另外，也可以是所述编码部具备变换部，该变换部针对所述两个图像的每一个图像，按每个所述区域进行正交变换，所述变换部，在对任一个区域进行正交变换，对该区域生成了频率系数时，通过删除该区域包含的频率系数中的与调整量对应的范围的高频域的频率系数，从而使该区域的图像模糊，所述调整量是针对该区域由所述调整部决定的调整量。

据此，通过删除高频域的频率系数来使图像模糊，从而能够使用由图像的编码而生成的数据，适当地使图像模糊，无需追加用于模糊图像的处理和构成要素，能够简化图像编码装置的构成以及处理动作。

另外，也可以是所述编码部，通过利用按每个所述区域被检测出的视差，将所述两个图像中的一个图像根据另一个图像进行预测来生成预测图像，并且算出所述一个图像与所述预测图像之间的差分，从而编码所述一个图像。

据此，进行所谓视差补偿预测编码，从而能够提高两个图像的编码效率。

另外，也可以是所述方法确定部，将所述两个图像的每一个图像的表示摄像的方向的线之间的角度，作为所述摄影方法来确定，所述调整部，按每个所述区域，根据由所述方法确定部确定的角度以及由所述视差检测部针对该区域检测出的视差，决定用于使图像模糊的调整量。

据此，按照两个图像的每一个图像的所谓中心线之间的角度和视差来使图像模糊，从而能够避免因为该角度对重要的区域进行模糊处理。

另外，为了达成上述目的，本发明的一个实施方式涉及的图像编码装置，对用于立体视的两个图像进行编码，所述图像编码装置具备：视差检测部，按每个区域检测相机以平行法进行拍摄而生成的所述两个图像之间的视差，所述区域是构成所述两个图像的每一个图像的区域；调整部，按每个所述区域，根据由所述视差检测部针对该区域检测出的视差，决定用于使 图像模糊的调整量；以及编码部，按每个所述区域，编码所述两个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。据此，即使在摄影方法是平行法的情况下，也能避免对重要的区域进行模糊处理。

另外，本发明不仅能够作为这样的图像编码装置来实现，而且可以作为该图像编码装置的处理动作的方法、使图像编码装置进行处理动作的程序、存储该程序的记录介质、具备该图像编码装置的系统、并且还作为对该图像编码装置编码的信号进行解码的图像解码装置来实现。

本发明的图像编码装置，既能够抑制立体视给观看者带来的疲劳，又能够避免因为摄影方法而在重要的区域进行模糊处理。

附图说明

图1是示出以往的图像编码装置的结构的方框图。

图2A是示出两个相机的摄影方法的图。

图2B是示出以交叉法拍摄时的摄影距离和视差之间的关系的图。

图3A是示出两个相机的其他的摄影方法的图。

图3B是示出以平行法拍摄时的摄影距离和视差之间的关系的图。

图4是示出本发明的实施例1涉及的图像编码装置的结构的方框图。

图5A是示出上述的交叉法中进行模糊处理的范围的图。

图5B是示出上述的平行法中进行模糊处理的范围的图。

图6是示出上述的图像编码装置的动作的流程图。

图7是示出上述的模糊程度调整处理的细节的流程图。

图8是示出上述的变形例涉及的图像编码装置的结构的方框图。

图9A是示出上述的变形例涉及的交叉法中进行模糊处理的范围的图。

图9B是示出上述的变形例涉及的平行法中进行模糊处理的范围的图。

图9C是示出上述的变形例涉及的平行法中进行模糊处理的其他范围的图。

图9D是示出上述的变形例涉及的平行法中在焦点上的被摄体的像的图。

图10是示出本发明的实施例2的图像编码装置的结构的方框图。

图11是示出上述的变形例涉及的图像编码装置的结构的方框图。

图12是示出本发明的实施例3涉及的图像编码系统的结构的方框图。

图13是示出本发明的实施例4的图像解码装置的结构的方框图。

图14是示出本发明的实施例5的图像解码装置的结构的方框图。

图15是示出本发明涉及的图像编码装置的结构的方框图。

图16是示出本发明涉及的图像编码装置的动作的流程图。

图17是示出本发明涉及的图像编码装置的其他结构的方框图。

图18A是用于说明本发明涉及的相机的构成的图。

图18B是用于说明本发明涉及的相机的其他构成的图。

具体实施方式

下面，参考附图来说明本发明的实施例。

(实施例1)

图4是示出本发明的实施例1的图像编码装置的结构的方框图。

立体摄影设备300A，拍摄被摄体，使被摄体能够立体视，并对通过拍摄而生成的立体影像信号进行编码。这种立体摄影设备300A具备实施例1的图像编码装置300、相机Ca及Cb、以及存储部Me。

相机Ca以及Cb，分别设置在互相隔开例如6.5cm的距离(人的双眼的平均间隔)的位置上，能够以沿着与包含相机Ca及Cb的平面垂直的方向的(例如，垂直于图1的纸面的方向)轴为中心自由旋转。另外，相机Ca以及Cb分别拍摄被摄体，向图像编码装置300输出通过拍摄得到的影像信号。另外，分别从相机Ca以及Cb输出的影像信号加在一起，称为立体影像信号。另外，从相机Ca输出的影像信号表示的图像称为主图像，从相机Cb输出的影像信号表示的图像称为副图像。通过该主图像以及副图像，被摄体的像能够被立体视。影像信号由多个图片构成，相机Ca以及Cb分别依次在大体相同的定时(时刻)生成图片并输出。

存储部Me是用于存储从图像编码装置300输出的图像数据(后述的局部解码图像信号)的记录介质。 

图像编码装置300通过编码从相机Ca以及Cb输出的立体影像信号，生成编码立体影像信号并输出。另外，图像编码装置300在编码立体影像信号中包含的两个影像信号时，按每个构成图片的块(区域)来编码这些影像信号。在此，图像编码装置300在编码从相机Ca输出的影像信号时，将影像信号中包含的各图片分别作为I图片、P图片以及B图片来进行编码。另外，在编码P图片以及B图片时，图像编码装置300进行画面间预测编码(运动补偿预测编码)。另一方面，图像编码装置300在编码从相机Cb输出的影像信号时，进行视差补偿预测编码，将影像信号中包含的各图片分别作为P图片来进行编码。也就是说，图像编码装置300根据主图像的图片来预测与该图片同一定时所生成的副图像的图片，根据该预测结果来编码副图像的图片。

如上述的图像编码装置300包括：辐辏角调整部302、编码调整部303、选择器304、检测部305、减法器306、开关307、变换部308、量化部309、可变长编码部310、逆量化部311、逆变换部312、加法器313、开关314、以及补偿部316。

辐辏角调整部302确定相机Ca以及Cb的辐辏角θ。例如，相机Ca以及Cb上分别安装了检测角度的感应器。这些感应器，将通过上述的旋转被设定为可变的相机Ca或者Cb的朝向检测为上述的角度。辐辏角调整部302，取得由这些感应器检测出的角度，并根据这些角度来确定辐辏角θ。

加之，辐辏角调整部302，根据辐辏角θ来判别相机Ca及Cb的摄影方法是平行法还是交叉法，并将表示该判别结果的摄影方法信号输出到编码调整部303。例如，辐辏角调整部302，在辐辏角θ比预先规定的角度小的情况下，判别为摄影方法是平行法，在辐辏角θ是预先规定的角度以上的情况下，判别为摄影方法是交叉法。

选择器304取得分别从相机Ca以及Cb输出的影像信号，将这些影像信号互相切换，输出到开关307、减法器306或者检测部305。例如，选择器304以图片单位进行切换。在这个情况下，选择器304，分别从相机Ca及Cb在同一定时取得图片时，首先输出从相机Ca取得的图片，接着输出从相 机Cb取得的图片。

减法器306按每个块来算出由从选择器304输出的影像信号所表示的编码对象图像和由从补偿部316输出的预测信号所表示的预测图像之间的差分。减法器306，将示出该差分的预测误差信号输出到开关307。在此，减法器306，在编码对象图像是P图片或者B图片的图像(块)的情况下，算出上述的差分并输出预测误差信号。

开关307，在编码对象图像为I图片的主图像的情况下，使选择器304与变换部308连接，将示出该编码对象图像的影像信号，从选择器304交给变换部308。另外，开关307，在编码对象图像为P图片或者B图片的图像(主图像或者副图像)的情况下，使减法器306与变换部308连接，将P图片或者B图片的预测误差信号，从减法器306交给变换部308。

变换部308，按每个块经由开关307取得影像信号或者预测误差信号，以作为图像信号，并对该图像信号进行正交变换(例如离散余弦变换)。这样，变换部308将图像信号变换为频率系数(DCT系数)，也就是说，将该图像信号的区域从空间区域变换为频域，并将该频率系数输出到量化部309。

量化部309，从变换部308取得频率系数，并对该频率系数进行量化。也就是说，量化部309，通过频率系数除以量化步长，从而生成量化值。在此，量化部309，在从编码调整部303接受了调整信号时，按照由该调整信号所示的调整量来增加量化步长。例如，量化部309，在对于编码对象块没有接受调整信号的情况下，利用由图像编码标准(具体而言H.264/AVC等)而决定的量化步长，来对该编码对象块进行量化。另外，量化部309，在对于编码对象块接受了调整信号的情况下，通过在由该图像编码标准而决定的量化步长上加上或乘以上述的调整量，从而更新该量化步长，以使该量化步长增加。量化部309利用这样被增加的量化步长，来对编码对象块进行量化。

可变长编码部310，通过对由量化部309所生成的量化值和从检测部305被输出的矢量(运动矢量或者视差矢量)进行可变长编码，从而生成编码 立体影像信号并输出。另外，该可变长编码是可逆的编码。

逆量化部311，通过对由量化部309所生成的量化值进行逆量化，从而生成逆量化频率系数。也就是说，逆量化部311，将在量化部309被使用的量化步长乘以量化值，从而生成逆量化频率系数。另外，此时生成的逆量化频率系数与由变换部308生成的频率系数不同，其包含量化误差。

逆变换部312，对由逆量化部311生成的逆量化频率系数进行逆正交变换(例如逆离散余弦变换)。这样，逆变换部312将逆量化频率系数变换为图像信号，也就是说，将该逆量化频率系数的区域从频域变换为空间区域，将该图像信号输出到加法器313。

加法器313，在编码对象图像是I图片的主图像的情况下，将从逆变换部312输出的图像信号存储到存储部Me中，以作为局部解码图像信号。另外，加法器313，在编码对象图像是P图片或者B图片的图像(主图像或者副图像)的情况下，将从逆变换部312输出的图像信号与经由开关314从补偿部316输出的预测信号进行加法运算，将该加算结果存储到存储部Me中，以作为局部解码图像信号。

检测部305，从选择器304取得编码对象图像，在该编码对象图像为P图片或者B图片的主图像的情况下，针对该编码对象图像按每个块来检测运动矢量。也就是说，检测部305，将存储在存储部Me中的表示已被编码并解码的其他主图像(I图片或者P图片)的局部解码图像信号，作为参考图像来参考。而且，检测部305通过从该参考图像搜索与编码对象图像(编码对象块)相同或者类似的块，从而检测该编码对象图像的动作，以作为运动矢量。另外，检测部305，将该运动矢量输出到补偿部316以及可变长编码部310。

另一方面，检测部305，在从选择器304取得的编码对象图像为P图片的副图像的情况下，对该编码对象图像按每个块检测视差矢量。也就是说，检测部305，将存储在存储部Me中的表示已被编码并解码的主图像(I图片、P图片或者B图片)的局部解码图像信号，作为参考图像来参考。而且，检测部305通过从该参考图像搜索与编码对象图像(编码对象块)相同或 者类似的块，从而检测该编码对象块与相同或者类似的块之间的位置关系，以作为视差矢量(视差)。另外，包含编码对象块的副图像的图片和作为主图像的参考图像(参考图片)，分别是由相机Ca以及Cb在相同的定时生成的图片。另外，检测部305，将该视差矢量输出到编码调整部303、补偿部316以及可变长编码部310。另外，视差矢量，将所述块之间的位置关系表示为左右方向的位置的偏差。另外，左右方向中的任一个方向是正的方向，另一个是负的方向。

补偿部316，在从检测部305取得运动矢量时，通过利用该运动矢量和参考图像进行运动补偿，从而生成预测信号，并输出该预测信号。也就是说，参考图像中包含的所述相同或者类似的块，按照所述运动矢量在空间上被移动。另一方面，补偿部316，在从检测部305取得视差矢量时，通过利用该视差矢量和参考图像进行视差补偿，从而生成预测信号，并输出该预测信号。也就是说，参考图像中包含的所述相同或者类似的块，按照所述视差矢量在空间上被移动。

开关314，在编码对象图像为I图片的主图像的情况下，断开补偿部316和加法器313之间。另一方面，开关314，在编码对象图像为P图片或者B图片的图像(主图像或者副图像)的情况下，使补偿部316与加法器313连接，将预测信号从补偿部316交付到加法器313。

编码调整部303，从辐辏角调整部302取得摄影方法信号，并且从检测部305取得视差矢量。另外，编码调整部303，在该摄影方法信号表示交叉法时，针对检测出大小比第一阈值大且方向是负的方向的视差矢量的块，决定与该视差矢量的大小对应的调整量，将表示该调整量的调整信号输出到量化部309。例如，编码调整部303输出调整信号，视差矢量的大小越大，调整信号表示的调整量越大。这个情况下，量化部309在取得该调整信号时，使量化步长增加该调整信号表示的调整量。

另外，编码调整部303，在摄影方法信号表示平行法时，针对检测出大小比第二阈值小且方向是正的方向的视差矢量的块，决定与该视差矢量的大小对应的调整量，将表示该调整量的调整信号输出到量化部309。例如， 编码调整部303输出调整信号，视差矢量的大小越小，调整信号表示的调整量越大。这个情况下，量化部309在取得该调整信号时，使量化步长增加该调整信号表示的调整量。

这样，在块的频率系数根据增加的量化步长被量化时，该块的图像比按照上述的图像编码标准被编码的图像模糊。下面，将这种使图像模糊的处理称为模糊处理，将决定上述的调整量的处理称为模糊程度调整处理。

图5A是示出交叉法中进行模糊处理的范围的图。

如图5A所示，在光轴的交点，视差矢量的大小是0。在这里，例如，第一阈值为0的情况下，位于比交点远的摄影距离L上的被摄体的像的视差矢量的方向是负，其大小比第一阈值0大。其结果，在本实施例的图像编码装置300中，对于位于比交点远的摄影距离L上的被摄体的像进行模糊处理。

图5B是示出平行法中进行模糊处理的范围的图。

例如，如图5B所示，在摄影距离L为距离La时，在该距离La的视差矢量的大小为第二阈值。在这种情况下，位于比距离La远的摄影距离L上的被摄体的像的视差矢量的方向是正，其大小比第二阈值小。其结果，在本实施例的图像编码装置300中，对于位于比距离La远的摄影距离L上的被摄体的像进行模糊处理。

图6是本实施例中的图像编码装置300的动作的流程图。

图像编码装置300在依次编码立体影像信号包含的图片时，按每个块编码该图片。图像编码装置300，在编码该块时，首先，判别作为该块的编码对象图像是不是主图像(步骤S100)。例如，图像编码装置300具备的控制部(未图示)进行判别。

在此，被判别为编码对象图像是主图像时(步骤S100的“是”)，上述的控制部，进一步对该编码对象图像是否应该进行运动补偿预测编码而进行判别(步骤S102)。例如，图像编码装置300，在将编码对象图像作为P图片或者B图片的块来进行编码时，判别为应该进行运动补偿预测编码，在将编码对象图像作为I图片的块来进行编码时，判别为不应该进行运动 补偿预测编码。

控制部，在被判别为应该进行运动补偿预测编码时(步骤S102的“是”)，控制开关307，使减法器306连接到变换部308，并且控制开关314，使补偿部316连接到加法器313。

接着，检测部305对该编码对象图像的块检测运动矢量(步骤S104)。加之，补偿部316，通过利用该被检测出的运动矢量进行运动补偿，从而生成针对编码对象图像的块的预测信号(步骤S106)。另外，减法器306，通过从编码对象图像减去预测信号表示的图像，从而生成预测误差信号(步骤S108)。

变换部308，通过对在步骤S108生成的预测误差信号进行正交变换，从而生成频率系数(步骤S110)，量化部309，通过对该频率系数进行量化，从而生成量化值(步骤S112)。另外，可变长编码部310对该量化值进行可变长编码(步骤S114)。

另一方面，控制部，在步骤S102判别为不应该进行运动补偿预测编码时(步骤S102的“否”)，控制开关307，使选择器304与变换部308连接，并且控制开关314，使补偿部316和加法器313之间断开。其结果，变换部308，通过对从选择器304被输出的编码对象图像的块进行正交变换，从而生成频率系数(步骤S110)。量化部309，通过量化该频率系数从而生成量化值(步骤S112)，可变长编码部310对该量化值进行可变长编码(步骤S114)。

另外，控制部，在步骤S100判别出编码对象图像是副图像时(步骤S100的“否”)，控制开关307，使减法器306连接到变换部308的同时，控制开关314，使补偿部316连接到加法器313。

接着，检测部305，针对该编码对象图像的块检测视差矢量(步骤S116)。加之，补偿部316，通过利用该检测出的视差矢量进行视差补偿，从而生成针对编码对象图像的块的预测信号(步骤S118)。另外，减法器306，从编码对象图像减去预测信号表示的图像，从而生成预测误差信号(步骤S120)。

在此，编码调整部303，根据在步骤S116检测出的视差矢量和从辐辏角 调整部302被输出的摄影方法信号，执行模糊程度调整处理(步骤S130)。

之后，变换部308，通过对在步骤S120生成的预测误差信号进行正交变换，从而生成频率系数(步骤S140)。加之，量化部309，通过利用量化步长来对该频率系数进行量化，从而生成量化值(步骤S142)。在此，量化部309，在通过步骤S130中执行的模糊程度调整处理决定了调整量的情况下，按照该调整量增加量化步长，利用该被增加的量化步长进行量化。另外，量化部309，在通过步骤S130中执行的模糊程度调整处理没有决定调整量的情况下，利用根据图像编码标准而决定的量化步长来进行量化。另外，可变长编码部310对该量化值进行可变长编码(步骤S142)。

图7是示出模糊程度调整处理(步骤S130)的细节的流程图。

首先，辐辏角调整部302确定辐辏角θ，并根据该辐辏角θ来判别相机Ca及Cb的摄影方法是交叉法还是平行法(步骤S132)。在此，在被判别为摄影方法是交叉法时(步骤S132的交叉法)，编码调整部303，对编码对象图像的块进行判别，由检测部305检测出的视差矢量的方向是否为负，该视差矢量的大小是否比第一阈值大(步骤S134)。

在此，在被判别为视差矢量的方向是负、该视差矢量的大小比第一阈值大时(步骤S134的“是”)，编码调整部303，根据该视差矢量的大小，决定在量化部309使用的量化步长的调整量(步骤S138)。例如，编码调整部303决定调整量，以使视差矢量的大小越大，该调整量越大。

另一方面，在步骤S134，被判别为视差矢量的方向不是负的方向，或者，该视差矢量的大小是第一阈值以下时(步骤S134的“否”)，编码调整部303不决定调整量。另外，此时，编码调整部303可以决定表示不需要量化步长增加的调整量(例如，0或者1)，将表示该调整量的调整信号输出到量化部309。这个情况下，量化部309，在取得该调整信号时，对于根据图像编码标准被决定的量化步长，加上调整信号表示的调整量＝0，或者乘以该调整量＝1。其结果，量化部309，对根据图像编码标准决定的量化步长不进行增加，利用该量化步长进行量化。

另外，在步骤S132，由辐辏角调整部302判别为摄影方法是平行法时(步 骤S132的平行法)，编码调整部303，对编码对象图像的块进行判别，由检测部305检测出的视差矢量的方向是否是正，该视差矢量的大小是否比第二阈值小(步骤S136)。

在此，在被判别为视差矢量的方向是正、该视差矢量的大小比第二阈值小时(步骤S136的“是”)，编码调整部303，根据该视差矢量的大小，决定在量化部309使用的量化步长的调整量(步骤S138)。例如，编码调整部303决定调整量，以使视差矢量的大小越小，调整量越大。

另一方面，在步骤S136，判别为视差矢量的方向不是正的方向，或者，该视差矢量的大小是第二阈值以上时(步骤S136的“否”)，编码调整部303不决定调整量。另外，此时，编码调整部303与上述相同，可以决定表示不需要增加量化步长的调整量(例如，0或者1)。

另外，在上述的说明中，只对副图像进行了模糊处理，不过，也可以对主图像以及副图像进行模糊处理。这个情况下，图像编码装置300，如上述一样，在主图像之后按每个块来编码副图像，按每个块的调整量被决定之后，利用该调整量，与副图像一样地再次编码主图像。

这样在本实施例中，在摄影方法为交叉法的情况下，针对块检测出的视差矢量的方向是负，该视差矢量的大小比第一阈值大时，该块上适用大的量化步长。其结果，该块作为模糊的图像被编码。在此，如图5A所示，影像信号表示的图片中，包含交叉法的交点的像的块的视差矢量的大小是0(或大略为0)。因此，在第一阈值为0的情况下，适用了上述大的量化步长的块是映出位于摄影距离L比交点长的位置上的远景的区域。其结果，能够使映出位于摄影距离L比交点长的位置上的远景的区域的图像模糊。另外，如果包含交点的像的块，对于观看者来说是重要的区域，就能够避免对该重要的区域的图像进行模糊处理，而对重要的区域以外的远景映出的区域的图像进行模糊处理。

另外，本实施例中，在摄影方法为平行法的情况下，针对块检测出的视差矢量的方向是正，该视差矢量的大小比第二阈值小时，对该块适用大的量化步长。其结果，该块作为模糊的图像而被编码。在此，如图5B所示， 影像信号表示的图片中，包含位于距离La上的被摄体的像的块的视差矢量的大小是第二阈值。因此，适用上述大的量化步长的块是映出位于摄影距离L比距离La长的位置上的远景的区域。其结果，能够使映出位于摄影距离L比距离La长的位置上的远景的区域的图像模糊。另外，如果包含位于距离La上的被摄体的像的块，对于观看者来说是重要的区域，就能够避免对该重要的区域的图像进行模糊处理，而对重要的区域以外的远景映出的区域的图像进行模糊处理。

这样，本实施例通过进行模糊处理，能够抑制立体视给观看者带来的疲劳，并且能够避免因为摄影方法而在重要的区域进行模糊处理。也就是说，在本实施例中，根据辐辏角来识别摄影方法，从而即使对于因摄影方法不同而不同的视差的分布，也能够恰当地进行重要的区域的高画质化和对远景(背景)的区域的模糊处理。

另外，在本实施例中设第一阈值为0，不过可以设成其他的值。而且，本实施例中图像编码装置300，使用了固定的第一阈值以及第二阈值，不过可以变更第一阈值以及第二阈值。例如，编码调整部303，从图像编码装置300的外部接收信号，按照该信号来变更第一阈值或者第二阈值。这样能够变更上述的重要的区域。

(变形例1)

下面，对本实施例的第一变形例进行说明。本实施例中，通过增加量化步长来使编码对象块的图像模糊，不过，通过删除该块的高频域的频率系数也可以使该块的图像模糊。

也就是说，本变形例涉及的编码调整部303将上述的调整信号输出到变换部308。由该调整信号所表示的调整量，作为在变换部308被删除的高频域的范围而处理。 

具体而言，变换部308，从编码调整部303取得调整信号时，通过正交变换生成的块的频率系数中，删除包含在与该调整信号表示的调整量对应的范围的高频域中的频率系数。也就是说，变换部308进行变更，调整量越大，就将范围更大的高频域的频率系数变更为0，调整量越小，就将范围 更小的高频域的频率系数变更为0。

另外，删除频率系数和增加量化步长可以一起进行。

(变形例2)

下面，对于本实施例的第二变形例进行说明。本变形例涉及的图像编码装置具有以下特点，调整焦点，对在该焦点的被摄体的图像不进行模糊处理，而能够适当地对映出位于摄影距离L比焦点长的位置上的远景的区域的图像进行模糊处理。

图8是示出本变形例涉及的图像编码装置的结构的方框图。

本变形例涉及的图像编码装置500，与上述的图像编码装置300相比还具备焦点调整部402，并且具备编码调整部503，以代替图像编码装置300的编码调整部303。

焦点调整部402调整相机Ca及Cb的焦点。此时，焦点调整部402进行调整，使相机Ca以及Cb的焦点(焦点距离)一样。另外，焦点调整部402，从相机Ca以及Cb输出的图片中，将表示含有焦点对准的被摄体的像的块的位置的焦点信号，输出到编码调整部503。例如，焦点调整部402，通过自动对焦(具体而言，对比检测方式等)来识别所述块。

编码调整部503，在按每个图片取得焦点信号时，对于由该焦点信号所示的位置的块，将由检测部305检测出的视差矢量的大小，作为第一阈值或者第二阈值来设定。也就是说，编码调整部503，在从辐辏角调整部302取得的摄影方法信号表示交叉法的情况下，将上述的视差矢量的大小作为第一阈值来设定。另一方面，编码调整部503，从辐辏角调整部302取得的摄影方法信号表示平行法的情况下，将上述的视差矢量的大小作为第二阈值来设定。

图9A是示出在交叉法中进行模糊处理的范围的图。

如图9A所示，第一阈值被设定为焦点上的视差矢量的大小。而且，对于具有方向是负，大小比第一阈值大的视差矢量的块进行模糊处理。

在此，例如，有时焦点的摄影距离L比交点短。这个情况下，对于生成方向是负，大小与第一阈值相等的视差矢量的位置称为焦点对应位置，位 于比该焦点对应位置远的摄影距离L上的被摄体的像的视差矢量的方向是负，其大小比第一阈值大。其结果，对位于比焦点对应位置远的摄影距离L上的被摄体的像(远景)进行模糊处理。

另外，即使在焦点的摄影距离L比交点短的情况下，也不是对焦点对应位置，而是对位于比该焦点远的摄影距离L上的被摄体的像(远景)进行模糊处理。

另外，可以设定第四阈值(没有图示)，该第四阈值比焦点的视差矢量的大小大预先规定的大小或者比率。这种情况下，在交叉法中，位于比焦点近的位置，并且比与该第四阈值对应的位置更近的摄影距离L上的被摄体的像的视差矢量的方向是正的方向，其大小比第四阈值大。编码调整部303，对于检测出大小比第四阈值大、方向为正的视差矢量的块，也决定与该视差矢量的大小对应的调整量，将表示该调整量的调整信号输出到量化部309。其结果，对位于比焦点近的摄影距离L上的前景等的被摄体的像也可以进行模糊处理。这样，能够抑制因前景大的视差给观看者带来的疲劳。

图9B是示出平行法中进行模糊处理的范围的图。

如图9B所示，第二阈值被设定为焦点的视差矢量的大小。从而，在平行法中，位于比焦点远的摄影距离L上的被摄体的像的视差矢量的方向，是正的方向，其大小比第二阈值小。其结果，对位于比焦点远的摄影距离L上的被摄体的像进行模糊处理。

这样，在本变形例中，不管是什么摄影方法，都能够使包含焦点上的被摄体的像的区域(对焦区域)的图像鲜明，并且使映出对焦区域以外的远景的区域的图像模糊。也就是说，一般的相机拍摄时，焦点和交点偏离的可能性很高，能够形成迎合摄影者意图的摄影构图的更自然的立体图像。

图9C是示出平行法中进行模糊处理的其他范围的图。

如图9C所示，第二阈值可以设定为小于焦点的视差矢量的大小，无限地接近0的值。这种情况下，在平行法中，位于比焦点远的位置，且比与该第二阈值对应的位置Lb更远的摄影距离L上的被摄体的像(例如远的背景等的像)的视差矢量的方向，是正的方向，其大小比第二阈值小。其结果，对于位于比焦点更远的摄影距离L上的背景等的被摄体的像进行模糊处理。

在此，还可以设定第三阈值，该第三阈值比焦点的视差矢量的大小大预 先规定的大小或者比率。这种情况下，在平行法中，位于比焦点近的位置，且比与该第三阈值对应的位置Lc更近的摄影距离L上的被摄体的像的视差矢量的方向，是正的方向，其大小比第三阈值大。编码调整部303，对于检测出大小比第三阈值大、方向为正的视差矢量的块，也决定与该视差矢量的大小对应的调整量，将表示该调整量的调整信号输出到量化部309。其结果，位于比焦点近的摄影距离L上的前景等的被摄体的像也可以进行模糊处理。这样，能够抑制因前景大的视差给观看者带来的疲劳。

此外，如上述一样的情况下，对位于焦点上的被摄体的像，产生视差(视差矢量)。由于这样的视差，主图像和副图像分别映出的被摄体的像的位置偏离，该被摄体的像可能会看不清楚。

图9D是示出位于焦点上的被摄体的像的图。

主图像pL以及副图像pR上，分别映出了被摄体的像dL以及dR。另外，焦点对准在该被摄体上。此时，因为该焦点上的视差(视差矢量)，那些被摄体的像dL以及dR的位置偏离。例如，被摄体的像dL的位置从主图像pL的中心偏离到右侧，被摄体的像dR的位置从副图像pR的中心偏离到左侧。

因此，在图像解码装置(图像再生装置)单纯地再生主图像pL及副图像pR的情况下，对主图像pL以及副图像pR进行立体视而得到的立体图像pLR中，被摄体的像dL以及dR表示为分别偏离到左侧与右侧。于是，图像解码装置(再生装置)，对于这些被摄体的像dL以及dR，进行移动使视差矢量的大小成为0，以此来显示立体图像pLR’。这样，能够鲜明地显示焦点上的被摄体的像dLR。

另外，在本变形例，图像编码装置500只具备了一个焦点调整部402，不过，相机Ca以及Cb可以分别具备一个焦点调整部402。

另外，本实施例以及其变形例中，可以由辐辏角调整部302来转动相机Ca以及Cb。也就是说，辐辏角调整部302从图像编码装置的外部接收表示应该设定的角度(设定角度)的信号，转动相机Ca及Cb，以使辐辏角θ成为该设定角度。这个情况下，辐辏角调整部302，将该设定角度确定为辐辏角θ。另外，本实施例以及其变形例中，图像编码装置只具备了一个辐辏角调整部302，不过，相机Ca以及Cb可以分别具备一个辐辏角调整部302。

(实施例2)

在本实施例的图像编码装置的特点在于，根据对构成图片的各个块检测出的视差矢量的分布(视差分布)来确定摄影方法。

图10是示出本发明的实施例2的图像编码装置的结构的方框图。

本实施例的图像编码装置600具备：视差分布识别部601、编码调整部602、选择器304、检测部305、减法器306、开关307、变换部308、量化部309、可变长编码部310、逆量化部311、逆变换部312、加法器313、开关314、以及补偿部316。另外，在本实施例，图像编码装置600具备的构成要素中，对于与实施例1的图像编码装置300具备的构成要素相同的要素，赋予与实施例1的构成要素相同的参考符号，并省略详细的说明。也就是说，图像编码装置600与实施例1的图像编码装置300比较，具备视差分布识别部601以及编码调整部602，以代替辐辏角调整部302以及编码调整部303。

该图像编码装置600生成视差分布，根据该视差分布来确定摄影方法是平行法，还是交叉法。图像编码装置600，为了生成视差分布，使相机Ca以及Cb执行主图像及副图像的试拍。

也就是说，图像编码装置600，针对从相机Ca输出的影像信号所包含的I图片进行编码(正交变换以及量化)解码(逆正交变换以及逆量化)，将该I图片的局部解码图像信号存储到存储部Me中。

接着，检测部305取得从相机Cb输出的影像信号中包含的图片，按每个构成该图片的块，检测该块的视差矢量。也就是说，检测部305通过将存储在存储部Me中的上述的I图片的局部解码图像信号，作为参考信号来参考，从而检测副图像的图片中包含的各块的视差矢量。

视差分布识别部601取得由检测部305检测出的视差矢量，生成副图像的图片中包含的各块的视差矢量的分布，即视差分布。而且，视差分布识别部601，在该视差分布中，判别正的方向的视差矢量和负的方向的视差矢量是否混合在一起，将表示该判别结果的摄影方法信号输出到编码调整部602。具体而言，视差分布识别部601，在判别为混合在一起的情况下，输出表示摄影方法为交叉法的摄影方法信号，在判别为没有混合在一起的情况下，输出表示摄影方法为平行法的摄影方法信号。

编码调整部602，从视差分布识别部601取得摄影方法信号。另外，编 码调整部602，与实施例1的编码调整部303相同，在该摄影方法信号表示交叉法时，针对具有大小比第一阈值大且方向是负的方向的视差矢量的块，决定与该视差矢量的大小对应的调整量，将表示该调整量的调整信号输出到量化部309。另一方面，编码调整部602，在摄影方法信号表示平行法时，针对具有大小比第二阈值小且方向是正的方向的视差矢量的块，决定与该视差矢量的大小对应的调整量，将表示该调整量的调整信号输出到量化部309。

这样，在本实施例中，根据视差分布确定摄影方法，从而不需要像实施例1一样的检测相机Ca以及Cb的角度的感应器和辐辏角调整部302等，能够简化图像编码装置的构成以及处理。

(变形例1)

下面，对本实施例的第一变形例进行说明。本实施例中通过增加量化步长来使块的图像模糊，不过，与实施例1的变形例1相同，通过删除块的高频域的频率系数，也可以使该块的图像模糊。

也就是说，本变形例涉及的编码调整部602，将上述的调整信号输出到变换部308。由该调整信号所表示的调整量，作为在变换部308被删除的高频域的范围来处理。 

具体而言，变换部308，在从编码调整部602取得调整信号时，由正交变换所生成的块的频率系数中，删除与由该调整信号所表示的调整量对应的范围的高频域中包含的频率系数。也就是说，变换部308进行变更，调整量越大，将范围更大的高频域的频率系数变更为0，调整量越小，将范围更小的高频域的频率系数变更为0。

另外，删除频率系数和增加量化步长可以一起进行。

(变形例2)

下面，对本实施例的第二变形例进行说明。本变形例涉及的图像编码装置，与实施例1的变形例2相同，不是调整焦点和使该焦点上的被摄体的图像模糊，而是适当地使映出位于摄影距离L比焦点长的位置上的远景的区域的图像模糊。

图11是示出本变形例涉及的图像编码装置的结构的方框图。

本变形例涉及的图像编码装置700，与上述的图像编码装置600相比， 还具备焦点调整部402，并且具备编码调整部702，以代替图像编码装置600的编码调整部602。

焦点调整部402调整相机Ca及Cb的焦点。此时，焦点调整部402进行调整，使相机Ca以及Cb的焦点(焦点距离)一样。并且，焦点调整部402在从相机Ca以及Cb输出的图片中，将焦点信号输出到编码调整部702，该焦点信号表示块的位置，该块包含焦点对准的被摄体的像。

编码调整部702，在按每个图片取得焦点信号时，针对由该焦点信号所示的位置的块，将由检测部305检测出的视差矢量的大小，作为第一阈值或者第二阈值来设定。也就是说，编码调整部702，在从视差分布识别部601取得的摄影方法信号表示交叉法的情况下，将上述的视差矢量的大小作为第一阈值来设定。另一方面，编码调整部702，在从视差分布识别部601取得的摄影方法信号表示平行法的情况下，将上述的视差矢量的大小作为第二阈值来设定。

这样，在本变形例中，与实施例1的变形例2相同，不管是什么摄影方法，都能够使包含在焦点上的被摄体的像的区域(对焦区域)的图像鲜明，并且使映出对焦区域以外的远景的区域的图像模糊。另外，在本变形例中，图像编码装置700只具备了一个焦点调整部402，不过，相机Ca以及Cb可以各具备一个焦点调整部402。

(实施例3)

在本实施例中，对具备本发明涉及的图像编码装置的系统进行说明。

图12是示出本实施例涉及的图像编码系统的结构的方框图。

图像编码系统800具备图像编码部801、存储部Me、相机Ca、相机Cb、显示部804、以及外部记录装置805。在本实施例的存储部Me、相机Ca以及相机Cb，与实施例1和实施例2以及这些实施例的变形例中的存储部Me、相机Ca以及相机Cb相同。另外，本实施例的图像编码部801是实施例1和实施例2以及这些实施例的变形例的图像编码装置300、500、600或者700。

相机Ca具备透镜Ca1、成像器件Ca2、主控制部Ca3、以及透镜控制部Ca4。成像器件Ca2例如由电荷耦合器件(CCD：Charge Coupled Device)构成，经由透镜Ca1取得光信号，将该光信号变换为电信号，输出到主控 制部Ca3。透镜控制部Ca4按照来自主控制部Ca3的控制，调整透镜Ca1的焦点等。主控制部Ca3例如由集成电路(IC：Integrated Circuit)构成，取得从成像器件Ca2输出的电信号，将该电信号作为影像信号输出到图像编码部801。加之，主控制部Ca3，通过控制成像器件Ca2以及透镜控制部Ca4，进行快门速度调整、增益调整，以及焦点调整等。

相机Cb具备透镜Cb1、成像器件Cb2、主控制部Cb3、以及透镜控制部Cb4。相机Cb具备的这些构成要素分别与相机Ca具备的上述各构成要素相同。

另外，主控制部Ca3以及Cb3分别进行协调动作，以使相机Ca及Cb的焦点以及快门速度等一样。

显示部804，例如具备液晶显示器等，从图像编码部801取得立体影像信号，显示由该立体影像信号所示的主图像及副图像。另外，显示部804可以从图像编码部801取得局部解码图像信号，显示由该局部解码图像信号所示的主图像及副图像。

外部记录装置805构成为能够安装以下记录介质，例如CD(Compact Disc)、MO(Magnet Optical disk)、DVD(Digital Versatile Disk)、BD(Blu-ray Disc)、或者半导体存储器等记录介质。而且，外部记录装置805从图像编码部801取得编码立体影像信号，将该编码立体影像信号写入到安装的记录介质上。

(实施例4)

图13是示出本发明的实施例4的图像解码装置的结构的方框图。

图像解码装置1000是解码从实施例1、实施例2或者这些实施例的变形例的图像编码装置输出的编码立体影像信号的装置，该图像解码装置具备：可变长解码部1001、逆量化/逆变换部1002、动作/视差补偿部1003、加法器1004、解块滤波器1005、滤波器处理识别部1006、边缘强调部1007、以及开关1008。

另外，该图像解码装置1000，向存储部Me1存储数据并读出数据，并且针对编码立体影像信号中包含的主图像以及副图像的图片，按每个块来进行解码，将解码后的图片显示在显示部D1，以可以立体视。加之，图像解码装置1000，从外部取得主图像显示信号时，只将编码立体影像信号中包 含的主图像显示在显示部D1上。也就是说，在显示部D1不对应3D影像的显示的情况下，图像解码装置1000使显示部D1显示2D影像。

另外，本实施例中，被解码的编码立体影像信号，不仅对副图像还对主图像进行实施例1、实施例2或这些实施例的变形例中的模糊处理。

可变长解码部1001对编码立体影像信号进行可变长解码。从而，被可变长编码的摄影方法信号、量化值、量化步长、运动矢量或者视差矢量被解码。也就是说，从实施例1、实施例2或者这些实施例的变形例的图像编码装置输出的编码立体影像信号包含被可变长编码的摄影方法信号、按每个块被可变长编码的量化值及量化步长(量化参数)、按每个块被可变长编码的运动矢量或者视差矢量。

可变长解码部1001将运动矢量或者视差矢量输出到动作/视差补偿部1003，将量化值及量化步长(量化参数)输出到逆量化/逆变换部1002，将摄影方法信号输出到滤波器处理识别部1006。

逆量化/逆变换部1002，在从可变长解码部1001按每个块取得量化值及量化步长(量化参数)时，针对该量化值利用量化步长进行逆量化，其结果，按每个块生成逆量化频率系数。加之，逆量化/逆变换部1002对逆量化频率系数进行逆正交变换(例如逆离散余弦变换)。这样，逆量化/逆变换部1002将逆量化频率系数变换为图像信号，也就是说，将该逆量化频率系数的区域从频域变换为空间区域，将该图像信号输出到加法器1004。加之，逆量化/逆变换部1002，将按每个块用于逆量化的量化步长输出到滤波器处理识别部1006。

加法器1004，在解码对象图像为I图片的主图像的情况下，将从逆量化/逆变换部1002输出的图像信号，作为解码图像信号输出到解块滤波器1005。另外，加法器1004，在解码对象图像为P图片或者B图片的图像(主图像或者副图像)的情况下，对从逆量化/逆变换部1002输出的图像信号和从动作/视差补偿部1003输出的预测信号进行加法运算，将该加算结果作为解码图像信号，输出到解块滤波器1005。

解块滤波器1005，在从加法器1004取得解码图像信号时，过滤该解码图像信号。也就是说，解块滤波器1005，除去该解码图像信号所示的块的图像的变形(块变形)，将除去了该变形的解码图像信号存储到存储部Me1。

动作/视差补偿部1003，在解码对象图像(解码对象块)为P图片或者B图片的主图像的情况下，通过使用从可变长解码部1001取得的运动矢量进行运动补偿，从而生成预测信号，并将该预测信号输出到加法器1004。也就是说，动作/视差补偿部1003，将存储在存储部Me1中的表示已被解码的主图像(I图片或者P图片)的解码图像信号，作为参考图像来参考。另外，动作/视差补偿部1003，按照运动矢量将该参考图像中的块在空间上移动，将表示该块的图像的信号作为预测信号来生成并输出。

另一方面，动作/视差补偿部1003，在解码对象图像(解码对象块)为P图片的副图像的情况下，通过使用从可变长解码部1001取得的视差矢量进行视差补偿，从而生成预测信号，并将该预测信号输出到加法器1004。也就是说，动作/视差补偿部1003，将存储在存储部Me1中的表示已被解码的主图像(I图片、P图片或者B图片)的解码图像信号，作为参考图像来参考。另外，动作/视差补偿部1003，按照视差矢量将该参考图像中的块在空间上移动，将表示该块的图像的信号作为预测信号来生成并输出。加之，动作/视差补偿部1003，将用于该视差补偿的视差矢量输出到滤波器处理识别部1006。

边缘强调部1007从滤波器处理识别部1006取得调整信号时，根据该调整信号进行强调存储在存储部Me1的解码图像信号的图像的边缘的处理，将该已被处理的解码图像信号输出到开关1008。

开关1008按照滤波器处理识别部1006的控制切换连接。也就是说，开关1008经由边缘强调部1007使显示部D1连接在存储部Me1，或者不经由边缘强调部1007，使显示部D1连接在存储部Me1。

滤波器处理识别部1006，在显示主图像以及副图像的情况下，也就是说，在没有取得表示应该只显示主图像的主图像显示信号的情况下，控制开关1008，使显示部D1连接在存储部Me1。这样，表示存储在存储部Me1的主图像以及副图像的解码图像信号被读出，主图像以及副图像在显示部D1上交替地显示。因此，这个情况下，立体地显示图像。

另一方面，滤波器处理识别部1006，在取得了示出应该只显示主图像的主图像显示信号的情况下，按每个显示对象的主图像的块，使开关1008切换连接。也就是说，滤波器处理识别部1006，按每个块，对该块在编码时 是否进行了模糊处理进行判别，根据从动作/视差补偿部1003输出的与该块对应的视差矢量和从可变长解码部1001输出的摄影方法信号进行判别。另外，滤波器处理识别部1006，按照该判别结果控制开关1008。

具体而言，滤波器处理识别部1006，在摄影方法信号示出交叉法的情况下，与块对应的视差矢量的方向是负，且该大小比第一阈值大时，判别为编码该块时进行了模糊处理。另外，滤波器处理识别部1006，在摄影方法信号示出平行法的情况下，与块对应的视差矢量的方向是正，且该大小比第二阈值小时，判别为编码该块时进行了模糊处理。

滤波器处理识别部1006，在判别为没有进行模糊处理时，通过控制开关1008，使显示部D1连接在存储部Me1。这样，表示存储在存储部Me1中的主图像的块的解码图像信号被读出，该主图像的块显示在显示部D1上。另一方面，滤波器处理识别部1006，在判别为进行了模糊处理时，通过控制开关1008，使显示部D1连接在边缘强调部1007。这样，边缘强调部1007从存储部Me1读出表示已进行模糊处理的主图像的块的解码图像信号，强调由该解码图像信号所表示的主图像(块)的边缘，将该主图像的块显示在显示部D1上。

加之，滤波器处理识别部1006，在判别为进行了模糊处理时，根据从逆量化/逆变换部1002输出的用于主图像的块的逆量化的量化步长，来确定示出模糊程度的上述的调整量。也就是说，滤波器处理识别部1006从用于主图像的块的逆量化的量化步长，减去预先规定的量化步长(例如由图像编码标准而决定的量化步长)，将该减法结果作为调整量来确定。另外，滤波器处理识别部1006，将示出该调整量的调整信号输出到边缘强调部1007。这样，边缘强调部1007，在强调由解码图像信号所表示的主图像(块)的边缘时，从滤波器处理识别部1006取得调整信号，按照该调整信号所表示的调整量来强调边缘。

这样，本实施例的图像解码装置1000，能够将由实施例1、实施例2或者这些实施例的变形例的图像编码装置所生成的编码立体影像信号适当地进行解码，并显示在显示部D1，从而能够立体视。加之，本实施例的图像解码装置1000，在显示部D1不对应3D影像的显示的情况下，能够在显示部D1只显示主图像。此时，图像解码装置1000，即使对该主图像在编码时 进行了模糊处理，也能恰当地强调该被模糊的主图像的边缘，将主图像以鲜明的2D影像来显示在显示部D1上。

(实施例5)

图14是示出本发明的实施例5的图像解码装置的结构的方框图。

图像解码装置1100是解码从实施例1、实施例2或这些实施例的变形例的图像编码装置输出的编码立体影像信号的装置，该图像解码装置具备：可变长解码部1001、逆量化/逆变换部1002、动作/视差补偿部1003、加法器1004、解块滤波器1010、滤波器处理识别部1011、以及开关1009。

另外，该图像解码装置1100，向存储部Me1存储数据并读出数据，并且按每个块来对编码立体影像信号中包含的主图像以及副图像的图片进行解码，将解码后的图片显示在显示部D1上，从而可以立体视。加之，图像解码装置1100，在从外部取得主图像显示信号时，只将编码立体影像信号中包含的主图像显示在显示部D1上。也就是说，在显示部D1不对应3D影像的显示的情况下，图像解码装置1100使显示部D1显示2D影像。

另外，在本实施例的被解码的编码立体影像信号中，不仅对副图像还对主图像进行实施例1、实施例2或者这些实施例的变形例中的模糊处理。另外，本实施例中，图像解码装置1100具备的各个构成要素当中，针对与实施例4的图像解码装置1000具备的构成要素相同的要素，赋予与实施例4的构成要素相同的参考符号，省略其详细的说明。

开关1009按照滤波器处理识别部1011的控制切换连接。也就是说，开关1009使加法器1004连接在解块滤波器1010的输入，或者使存储部Me1连接在解块滤波器1010的输入。

解块滤波器1010与实施例4的解块滤波器1005一样，在从加法器1004取得解码图像信号时，过滤该解码图像信号。也就是说，解块滤波器1010，除去该解码图像信号所示的块的图像的变形(块变形)，将除去了该变形的解码图像信号存储到存储部Me1。此外，解块滤波器1010，从滤波器处理识别部1011取得调整信号时，执行与由该调整信号所示的调整量对应的强度的过滤。

滤波器处理识别部1011，在显示主图像以及副图像的情况下，也就是说，在没有取得表示应该只显示主图像的主图像显示信号的情况下，控制开关 1009，使加法器1004连接在解块滤波器1010的输入。这样，表示存储在存储部Me1的主图像以及副图像的解码图像信号被读出，主图像以及副图像在显示部D1交替地显示。因此，这个情况下，立体地显示图像。

另一方面，滤波器处理识别部1011，在取得示出应该只显示主图像的主图像显示信号的情况下，按每个显示对象的主图像的块，使开关1009切换连接。也就是说，滤波器处理识别部1011，与实施例4的滤波器处理识别部1006相同，按每个块，对该块在编码时是否进行了模糊处理进行判别，根据从动作/视差补偿部1003输出的与该块对应的视差矢量和从可变长解码部1001输出的摄影方法信号进行判别。另外，滤波器处理识别部1011，按照该判别结果控制开关1009。

滤波器处理识别部1011，在判别为没有进行模糊处理时，通过控制开关1009，使加法器1004连接在解块滤波器1010的输入。这样，表示从加法器1004输出的主图像的块的解码图像信号，由解块滤波器1010被过滤，经由存储部Me1输出到显示部D1，显示在该显示部D1上。

另一方面，滤波器处理识别部1011，在判别为进行了模糊处理时，首先通过控制开关1009，使加法器1004连接在解块滤波器1010的输入。这样，表示从加法器1004输出的主图像的块的解码图像信号，由解块滤波器1010被过滤，存储在存储部Me1中。接着，滤波器处理识别部1011，通过控制开关1009，使存储部Me1连接在解块滤波器1010的输入。这样，被过滤后存储在存储部Me1的上述的解码图像信号，还通过解块滤波器1010再次被过滤。再次被过滤的解码图像信号，经由存储部Me1输出到显示部D1，并显示在该显示部D1上。

加之，滤波器处理识别部1011，在判别为进行了模糊处理时，根据从逆量化/逆变换部1002输出的用于主图像的块的逆量化的量化步长，来确定表示模糊程度的上述的调整量。也就是说，滤波器处理识别部1011从用于主图像的块的逆量化的量化步长，减去预先规定的量化步长(例如由图像编码标准而决定的量化步长)，将该减法结果作为调整量来确定。另外，滤波器处理识别部1011，将表示该调整量的调整信号输出到解块滤波器1010。此外，解块滤波器1010，在对解码图像信号再次进行过滤时，从滤波器处理识别部1011取得调整信号，执行与由该调整信号表示的调整量对应的强 度的过滤。

这样，本实施例的图像解码装置1100，能够将由实施例1、实施例2或者这些实施例的变形例的图像编码装置所生成的编码立体影像信号适当地进行解码，显示在显示部D1上，从而能够立体视。加之，本实施例的图像解码装置1100，在显示部D1不对应3D影像的显示的情况下，能够使显示部D1只显示主图像。此时，图像解码装置1100，即使对该主图像在编码时进行了模糊处理，也能恰当地删除该模糊的主图像的变形，将主图像以鲜明的2D影像来显示在显示部D1上。

如上述，本发明涉及的图像编码装置、图像编码系统以及图像解码装置，利用实施例1～5以及这些实施例的变形例来进行了说明，不过本发明不被这些所限定。

例如，本发明涉及的图像编码装置可以不具备图4、图8、图10以及图11示出的构成要素的全部，即使不具备某些构成要素(例如，只要具备图15或者图17示出的构成要素)，也能够发挥本发明的效果。

图15是示出本发明涉及的图像编码装置的结构的方框图。

本发明涉及的图像编码装置10是编码用于立体视的2个图像的图像编码装置，该图像编码装置具备：方法确定部12，确定2个相机Ca以及相机Cb进行的2个图像的摄影方法；视差检测部11，按每个区域来检测2个图像之间的视差，该区域是构成该2个图像的每个图像的区域；调整部13，按该每个区域，根据由方法确定部12所确定的摄影方法以及由视差检测部11针对该区域检测出的视差，决定用于使图像模糊的调整量；以及编码部14，按该每个区域编码2个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。在这里，视差检测部11与实施例1～5以及这些实施例的变形例的检测部305对应。方法确定部12与实施例1～5以及这些实施例的变形例的辐辏角调整部302或者视差分布识别部601对应。调整部13与实施例1～5以及这些实施例的变形例的编码调整部303、503、602、702对应。编码部14与实施例1～5以及这些实施例的变形例的变换部308、量化部309以及可变长编码部310对应。

例如，本发明涉及的图像编码方法可以不具备图6以及图7示出的步骤的全部，即使不具备某些步骤(例如，只要具备图16示出的步骤)，也能 够发挥本发明的效果。

图16是本发明涉及的图像编码方法的流程图。

本发明涉及的图像编码方法是编码用于立体视的2个图像的图像编码方法，确定2个相机进行的2个图像的摄影方法(步骤S10)，按每个区域来检测该2个图像之间的视差，该区域是构成2个图像的每一个图像的区域(步骤S12)，按该每个区域，根据确定的摄影方法以及对该区域检测出的视差，决定用于使图像模糊的调整量(步骤S14)，按该每个区域编码2个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。(步骤S16)。图15示出的图像编码装置10，以这样的图像编码方法来进行编码。

这样，本发明涉及的图像编码装置10以及其图像编码方法，在用于立体视的2个图像(例如，主图像和副图像)被编码时，不只是视差还根据摄影方法来决定调整量，并且使图像模糊的程度为调整量来编码该2个图像。通过这样模糊图像，能够抑制观看者的立体视的疲劳。加之，除了视差之外还根据摄影方法来决定调整量，所以能够避免因摄影方法引起的对重要的区域进行模糊处理。因此，实施例1～5以及这些实施例的变形例的构成要素中，除了图像编码装置10具备的各个构成要素以外，都不是必须的构成要素。另外，关于编码部14(步骤S16)的编码，不被实施例1～5以及这些实施例的变形例的编码(正交变换和量化，可变长编码等)所限定。

图17是示出本发明涉及的图像编码装置的其他结构的方框图。

本发明涉及的图像编码装置10a是编码用于立体视的2个图像的图像编码装置，该图像编码装置具备：方法确定部12，确定2个相机Ca以及相机Cb进行的2个图像的摄影方法；视差检测部11，按每个区域来检测2个图像之间的视差，该区域是构成该2个图像的每一个图像的区域；调整部13，按该每个区域，根据由方法确定部12确定的摄影方法以及由视差检测部11对该区域检测出的视差，决定用于使图像模糊的调整量；以及编码部14，按该每个区域编码2个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。另外，图像编码装置10a，还具备焦点确定部15，确定由2个相机进行拍摄而得到的2个图像的每一个图像中的焦点对准的区域，调整部13a，针对由焦点确定部15所确定的区域，将由视差检测部11检测出 的视差的大小，作为第一阈值或者第二阈值来设定。在此，焦点确定部15与实施例1～5以及这些实施例的变形例的焦点调整部402对应。

这样，图像编码装置10a既能够发挥上述的图像编码装置10的效果，又将对焦区域的视差作为第一或者第二阈值来被设定，从而能够使对焦区域鲜明，也就是一边进行高画质化一边能够使远景的图像模糊。从而，在实施例1～5以及这些实施例的变形例的构成要素中，关于图像编码装置10 

a具备的各构成要素以外的要素，不是必须的构成要素。

此外，实施例1～5以及这些实施例的变形例中是使映出远景(背景)的区域的图像模糊，不过，相反地可以在对焦区域分配更多的信息量，使该对焦区域高画质化。此外，实施例1～5以及这些实施例的变形例中是使映出远景(背景)的区域的图像模糊，不过，例如，可以使映出摄影距离L比焦点近的近景的区域的图像模糊，也可以同时使分别映出远景以及近景的区域的图像模糊。

此外，实施例1～5以及这些实施例的变形例中，决定了与视差矢量的大小对应的调整量，不过，也可以决定固定的调整量而不受视差矢量的大小的影响。

此外，实施例1～5以及这些实施例的变形例中，对从相机Cb输出的影像信号(副图像)进行了视差补偿预测编码，不过，可以进行视差补偿预测编码和运动补偿预测编码。也就是说，图像编码装置作为多视点剖面(MVP：Multi-View Profile)，可以使用利用了视差补偿预测和运动补偿预测的两个方式的压缩编码方式。

另外，实施例1～5以及这些实施例的变形例中，立体摄影设备300A具备了2个相机(Ca及Cb)，不过，可以只具备1个相机。这个情况下，相机可以具备相机Ca以及Cb具有的所有功能及构成，也可以对2个光学设备(透镜)只具备1个成像器件(例如CCD)。在相机只具备1个成像器件(例如CCD)的情况下，该1个成像器件接受从2个光学设备的每一个输出的光，变换为示出主图像的电信号和示出副图像的电信号。

另外，实施例1～5以及这些实施例的变形例中，在平行法的情况下，如图5B所示，随着摄影距离L的增加视差矢量的方向不会从正转换为负。但是，也可以这样构成相机(Ca及Cb)，即使是平行法的情况下，也像交 叉法一样(如图5A所示)视差矢量的方向转换。

图18A以及图18B是用于说明相机的构成的图。

如图18A所示，在交叉法的情况下，相机Ca及Cb(2个光学设备)的每一个相机的光轴交叉。在此，相机Ca以及Cb中，每个相机的光学设备和与该光学设备对应的成像器件沿着光轴被配置。其结果，从相机Ca的光学设备朝向与主图像对应的摄影区域的中心的中心线，与该相机Ca的光学设备的光轴一致。同样，从相机Cb的光学设备朝向与副图像对应的摄影区域的中心的中心线，与该相机Cb的光学设备的光轴一致。另外，这些中心线是示出主图像或者副图像的摄像的方向的线。从而，在2个光轴交叉的情况下，2个中心线也交叉。通过该中心线交叉，如图5A所示，随着摄影距离L的增加视差矢量的方向从正转换为负。

另一方面，配置相机Ca及Cb以使相机Ca及Cb的光轴成为平行，则可进行上述的平行法的摄影。这个情况下，相机Ca及Cb每一个相机的中心线也成为平行。从而，如图5B所示，随着摄影距离L的增加，视差矢量的方向不会从正转换为负。

然而，如图18B所示，即使是平行法，也像交叉法一样，即如图5A所示，随着摄影距离L的增加，视差矢量的方向有可能从正转换为负。这个情况下，相机Ca及Cb的每一个，成像器件配置地偏离光轴。也就是说，相机Ca及Cb作为所谓透镜移动相机而被构成。即使相机Ca及Cb每一个相机的光轴为平行，但由于该成像器件的偏差，相机Ca及Cb每一个相机的中心线交叉。通过该中心线交叉，如图5A所示，随着摄影距离L的增加，视差矢量的方向从正转换为负。

因此，实施例1～5以及这些实施例的变形例中，图像编码装置，将那些中心线之间的角度作为摄影方法来确定，编码调整部，按每个块(区域)，根据该被确定的角度以及对该块检测出的视差，决定用于使图像模糊的调整量。

另外，在上述的例子中是由透镜移动相机在平行法中使中心线交叉，不过，可以由其他的构成在平行法中使中心线交叉。例如，光轴平行的2个相机的每一个相机，光学设备和与该光学设备对应的成像器件沿着光轴被配置，该光学设备的视角以及成像器件的受光面积被设定地较广。而且， 由成像器件所生成的图像的一部分(由另一个成像器件所生成的图像的一部分)作为主图像或者副图像被修剪(trimming)。即使是这样的2个相机，也能像上述的透镜移动相机一样，虽然是平行法但是能够使中心线交叉。

另外，实施例1～5以及这些实施例的变形例中是确定了相机进行的2个图片(主图像及副图像)的摄影方法，不过，可以不用确定该摄影方法。例如，该摄影方法是平行法的情况下，可以不确定该摄影方法，按每个块(区域)，编码2个图片，以使按照与2个图片之间的视差对应的调整量来使该块的图像模糊。例如，在视差比阈值小时，2个图片被编码，以使与该视差对应的块的图像模糊，视差越小，与该视差对应的块的图像模糊程度越强。从而，在摄影方法为平行法的情况下，能够避免在重要的区域进行模糊处理。

此外，本发明还包括以下的情况。

(1)具体而言所述的各装置是由下述所构成的计算机系统：微处理器、只读存储器(ROM)、随机存储器(RAM)、硬盘单元、显示器单元、键盘、鼠标等。所述随机存储器或者硬盘单元存储有计算机程序。所述微处理器按照上述计算机程序工作，从而各装置完成各自的功能。在此，计算机程序是为了完成规定的功能，组合多个指令码(instruction code)来构成的程序，该指令码示出对计算机发出的指令。

(2)构成所述各装置的构成要素的一部分或者全部可以由一个系统大规模集成电路(LSI：Large Scale Integration)来构成。系统LSI是一个芯片上集成多个结构部而制作的超多功能LSI，具体而言是包含微处理器、只读存储器、随机存储器等而构成的计算机系统。所述随机存储器中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，从而系统LSI完成其功能。

另外，构成所述的各装置的构成要素的各个部分，可以个别地单片化，也可以包括一部分或者全部地单片化。

另外，系统LSI按照集成度的不同，被称为IC、LSI、超级LSI、极超LSI，此外，集成电路化的方法不局限于LSI，也可以用专用线路或者通用处理器来实现。此外，也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA：Field Programmable Gate Array)或可重构LSI内部的电路单 元的连接和设定的可重构处理器。

进一步，随着半导体技术的发展或者派生出别的技术出现了替换LSI的集成电路化的技术时，当然可以使用该技术进行构成要素的集成化。有可能适用生物技术等。

(3)构成所述各装置的构成要素的一部分或者全部可以由可在各装置装卸的IC卡或者单体模块构成。所述IC卡或者所述模块是由微处理器、只读存储器、随机存储器等构成的计算机系统。所述IC卡或者所述模块可以包含所述超多功能LSI。通过微处理器按照计算机程序工作，所述IC卡或者所述模块完成其功能。该IC卡或者该模块可以具有防篡改性。

(4)本发明可以是所述示出的方法。还有，这些方法可以是通过计算机实现的计算机程序，也可以是由所述计算机程序而成的数字信号。

还有，本发明中所述计算机程序或者所述数字信号可以记录在计算机可以读取的记录介质，例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM，蓝光盘(BD：Blu-ray Disc)、半导体存储器等。还有，本发明中可以是记录在这些记录介质的所述数字信号。

还有，本发明中所述计算机程序或者所述数字信号通过以电气通信线路，无线或者有线通信线路，互联网为代表的网络、数据广播等来传送。

还有，本发明是包括微处理器和存储器的计算机系统，所述存储器可以存储所述计算机程序，所述微处理器可以按照所述计算机程序工作。

还有，通过所述计算机程序或者所述数字信号记录在所述记录介质上传送，或者通过所述计算机程序或者所述数字信号经由所述网络等传送，从而可以由独立的其他计算机系统来实施。

(5)可以组合所述实施例及所述变形例。

本发明涉及的图像编码装置，在根据两个影像信号进行立体影像的编码时，不依照立体影像的摄影方法，使背景区域模糊，给对焦区域分配信息，从而起到进行了易看的立体影像编码的效果，例如作为数字摄像机和数字图片相机等有用。

符号说明

10、300、500、600、700 图像编码装置

11 视差检测部

12 方法确定部

13 调整部

14 编码部

302 辐辏角调整部

303、503、602、702 编码调整部

304 选择器

305 检测部

306 减法器

307、314、1008、1009 开关

308 变换部

309 量化部

310 可变长编码部

311 逆量化部

312 逆变换部

313、1004 加法器

316 补偿部

402 焦点调整部

601 视差分布识别部

800 图像编码系统

801 图像编码部

804 显示部

805 外部记录装置

1000、1100 图像解码装置

1001 可变长解码部

1002 逆量化/逆变换部

1003 动作/视差补偿部

1005、1010 解块滤波器

1006、1011 滤波器处理识别部

1007 边缘强调部 

Ca、Cb 相机

D1 显示部

Me、Me1 存储部

Claims (16)

1.一种图像编码装置，对用于立体视的两个图像进行编码，所述图像编码装置具备：

方法确定部，确定相机进行的所述两个图像的摄影方法是平行法还是交叉法；

视差检测部，按每个区域检测所述两个图像之间的视差，所述区域是构成所述两个图像的每一个图像的区域；

调整部，按每个所述区域，根据由所述方法确定部确定的摄影方法以及由所述视差检测部针对该区域检测出的视差，决定用于使图像模糊的调整量；以及

编码部，按每个所述区域，编码所述两个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。

2.如权利要求1所述的图像编码装置，

所述调整部，在由所述方法确定部确定为所述摄影方法是交叉法的情况下，针对由所述视差检测部检测出的视差比第一阈值大的区域，决定所述调整量。

3.如权利要求2所述的图像编码装置，

所述调整部决定调整量，以使所述视差越大，模糊程度越大。

4.如权利要求2所述的图像编码装置，

所述图像编码装置还具备焦点确定部，该焦点确定部，确定由所述相机进行拍摄而得到的所述两个图像的每一个图像中的焦点对准的区域，

所述调整部，针对由所述焦点确定部确定的区域，将由所述视差检测部检测出的视差的大小，作为所述第一阈值来设定。

5.如权利要求1所述的图像编码装置，

所述调整部，在由所述方法确定部确定为所述摄影方法是平行法的情况下，针对由所述视差检测部检测出的视差比第二阈值小的区域，决定所述调整量。

6.如权利要求5所述的图像编码装置，

所述调整部决定调整量，以使所述视差越小，模糊程度越大。

7.如权利要求5所述的图像编码装置，

所述图像编码装置还具备焦点确定部，该焦点确定部，确定由所述相机进行拍摄而得到的所述两个图像的每一个图像中的焦点对准的区域，

所述调整部，针对由所述焦点确定部确定的区域，将由所述视差检测部检测出的视差的大小，作为所述第二阈值来设定。

8.如权利要求1所述的图像编码装置，

所述方法确定部，将用于生成所述两个图像的每一个图像的所述相机的两个光轴交叉的角度作为辐辏角来确定，判别所述辐辏角是否比预先规定的角度小，在判别为所述辐辏角不小于所述预先规定的角度时，确定为所述摄影方法是交叉法，在判别为所述辐辏角小于所述预先规定的角度时，确定为所述摄影方法是平行法。

9.如权利要求1所述的图像编码装置，

所述视差检测部，按每个所述区域，将所述两个图像之间的视差作为视差矢量来检测，

所述方法确定部，判别由所述视差检测部按每个区域检测出的视差矢量的分布中，负的方向的视差矢量和正的方向的视差矢量是否混合在一起，在判别为混合在一起时，确定为所述摄影方法是交叉法，在判别为没有混合在一起时，确定为所述摄影方法是平行法。

10.如权利要求1所述的图像编码装置，

所述编码部具备:

变换部，针对所述两个图像的每一个图像，按每个所述区域进行正交变换；以及

量化部，按每个所述区域，对由所述变换部进行正交变换所得到的频率系数进行量化，

所述量化部，在对任一个区域的频率系数进行量化时，按照对该区域由所述调整部决定的调整量来增加量化步长，并且使用被增加的量化步长来对该区域的频率系数进行量化，从而使该区域的图像模糊。

11.如权利要求1所述的图像编码装置，

所述编码部具备变换部，该变换部针对所述两个图像的每一个图像，按每个所述区域进行正交变换，

所述变换部，在对任一个区域进行正交变换，对该区域生成了频率系数时，通过删除该区域包含的频率系数中的与调整量对应的范围的高频域的频率系数，从而使该区域的图像模糊，所述调整量是针对该区域由所述调整部决定的调整量。

12.如权利要求1所述的图像编码装置，

所述编码部，通过利用按每个所述区域被检测出的视差，将所述两个图像中的一个图像根据另一个图像进行预测来生成预测图像，并且算出所述一个图像与所述预测图像之间的差分，从而编码所述一个图像。

13.如权利要求1所述的图像编码装置，

所述方法确定部，将所述两个图像的每一个图像的表示摄像的方向的线之间的角度，作为所述摄影方法来确定，

所述调整部，按每个所述区域，根据由所述方法确定部确定的角度以及由所述视差检测部针对该区域检测出的视差，决定用于使图像模糊的调整量。

14.一种图像编码系统，具备：

相机；

对由所述相机进行拍摄所生成的用于立体视的两个图像进行编码的权利要求1所述的图像编码装置；以及

记录介质，用于记录由所述图像编码装置进行编码所生成的信号。

15.一种图像编码方法，对用于立体视的两个图像进行编码，

在所述图像编码方法中，

确定相机进行的所述两个图像的摄影方法是平行法还是交叉法，

按每个区域检测所述两个图像之间的视差，所述区域是构成所述两个图像的每一个图像的区域，

按每个所述区域，根据被确定的所述摄影方法以及针对该区域被检测出的视差，决定用于使图像模糊的调整量，

按每个所述区域，编码所述两个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。

16.一种集成电路，对用于立体视的两个图像进行编码，所述集成电路具备：

方法确定部，确定相机进行的所述两个图像的摄影方法是平行法还是交叉法；

视差检测部，按每个区域检测所述两个图像之间的视差，所述区域是构成所述两个图像的每一个图像的区域；

调整部，按每个所述区域，根据由所述方法确定部确定的摄影方法以及由所述视差检测部针对该区域检测出的视差，决定用于使图像模糊的调整量；以及

编码部，按每个所述区域，编码所述两个图像，以使按照对该区域决定的调整量来使该区域的图像模糊。