CN102790890A - 立体图像编码设备及其方法和摄像设备 - Google Patents

Abstract

本发明涉及一种立体图像编码设备及其方法和摄像设备。当通过使用图像之间的帧间预测来以预定像素块为单位对多个摄像单元所拍摄的被摄体的多个图像信号进行编码时，根据这些多个图像信号来生成表示图像之间的偏移的差信息，并根据所生成的差信息来自适应地设置为了以预定像素块为单位检测矢量所设置的搜索范围。

Description

立体图像编码设备及其方法和摄像设备

技术领域

本发明涉及一种用于对图像进行编码的编码设备，并且尤其涉及一种用于通过对使用由多个摄像单元拍摄到的多个图像所形成的立体图像进行编码的立体图像编码设备。

背景技术

近年来，伴随着可以显示立体图像的显示器的普及，还关注了可以拍摄立体图像的摄像设备。通常通过使用由具有视差的两个照相机分别拍摄到的右图像和左图像来形成立体图像。作为用于对图像进行编码的技术，根据现有技术已知有使用如下的运动预测的压缩编码/解码技术，其中该运动预测以MPEG方法等所使用的方式来搜索图像之间在时间方向上的运动矢量。除这种技术以外，还已知有使用如下的视差预测的编码方法，其中该视差预测搜索由于右照相机和左照相机之间的视差所引起的矢量(以下称为视差矢量)(参见日本特开2000-165909)。

日本特开2000-165909公开了如下的编码设备，其中例如通过使用视差预测来对平行配置的两个照相机所拍摄的立体图像进行压缩编码。特别地，日本特开2000-165909公开了如下这种技术：基于利用右照相机在必然具有左方向上的偏移的位置处拍摄利用左照相机所拍摄的被摄体图像这样的照相机之间的视差，将针对右照相机所拍摄的图像的视差预测的搜索范围设置为具有左方向上的偏移的位置。

在相关技术中，在用于设置图像的深度的立体编码的情况下，考虑到基于左眼所观看的图像中的被摄体在右眼中必然具有左方向上的偏移这样的视差的偏移，例如，使用如下这种技术：将视差预测的搜索范围设置为相对于与显示画面上的图像中的被摄体位置相同的位置、具有左方向上的偏移的位置。

然而，在相关技术中，尽管考虑了视差的方向，但搜索范围的偏移量在显示画面内的任意位置处均恒定。因此，例如在显示画面内相对于被摄体的距离不同的情况下，无法总是适当设置搜索范围并且担心无法检测正确的视差矢量。

在右照相机和左照相机水平配置于一个壳体内的摄像设备中，通常仅发生由两个照相机之间的视差所引起的图像在水平方向上的偏移。然而，在各照相机具有转动校正功能的摄像设备的情况下，存在如下情况：在拍摄时，由于因拍摄者所引起的抖动的影响而在各照相机所拍摄的图像中发生垂直方向上的偏移。有鉴于此，在上述相关技术中，尽管考虑了基于视差的在水平方向上的偏移，但无法应对垂直方向上的偏移。因此，在上述现有技术中，由于没有考虑由多个照相机的位置之间的差异所引起的垂直方向上的偏移，因此发生无法设置适当的搜索范围并且视差矢量预测的精度劣化这样的问题。

发明内容

本发明的方面是解决现有技术的前述问题，并提供如下一种立体图像编码设备和方法，其中可以通过使得能够检测到正确的视差矢量来进行图像劣化小的编码。

根据本发明的方面，提供一种图像编码设备，用于对通过利用多个摄像单元拍摄被摄体所获得的多个图像信号进行编码，所述图像编码设备包括：输入部件，用于输入所述多个图像信号；编码部件，用于以预定像素块为单位对所输入的多个图像信号进行编码，并以所述预定像素块为单位在所述多个图像信号之间进行帧间预测；生成部件，用于生成表示所述编码部件的编码对象块与如下的像素块之间的图像偏移的差信息，其中该像素块是所述帧间预测所参考的参考图像中的位于与所述编码对象块的位置相对应的位置处的像素块；以及设置部件，用于根据所述生成部件所生成的差信息，自适应地设置用于检测在所述帧间预测中所述编码对象块所使用的矢量的搜索范围。

根据本发明的另一方面，一种摄像设备，包括：多个摄像单元，用于通过拍摄被摄体来获得图像信号；以及上述图像编码设备。

根据本发明的又一方面，一种图像编码方法，用于对通过利用多个摄像单元拍摄被摄体所获得的多个图像信号进行编码，所述图像编码方法包括以下步骤：输入步骤，用于输入所述多个图像信号；编码步骤，用于以预定像素块为单位对所输入的多个图像信号进行编码，并以所述预定像素块为单位在所述多个图像信号之间进行帧间预测；生成步骤，用于生成表示所述编码步骤的编码对象块与如下的像素块之间的图像偏移的差信息，其中该像素块是所述帧间预测所参考的参考图像中的位于与所述编码对象块的位置相对应的位置处的像素块；以及设置步骤，用于根据所述生成步骤中所生成的差信息，自适应地设置用于检测在所述帧间预测中所述编码对象块所使用的矢量的搜索范围。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的立体图像编码设备的结构示例的框图。

图2A和2B是用于说明根据本发明第一实施例的视差预测的搜索范围的设置方法的图。

图3A和3B是用于说明根据本发明第一实施例的视差预测的搜索范围的设置方法的图。

图4是示出根据本发明第一实施例的立体图像编码设备的变形例的框图。

图5A和5B是用于说明根据本发明第一实施例的视差预测的搜索范围的设置方法的其它变形例的图。

图6是根据本发明第二实施例的立体图像编码设备的框图。

图7A和7B是示出根据本发明的编码处理的开始顺序以及开始时的搜索范围的图。

图8是用于说明根据本发明第二实施例的编码处理中的编码对象图像的图。

图9是示出根据本发明第二实施例的搜索范围的设置处理所用的流程图的图。

图10是根据本发明第三实施例的立体图像编码设备的框图。

具体实施方式

以下将参考附图来详细说明本发明的典型实施例。

第一实施例

以下将参考图1、2A、2B、3A和3B来详细说明根据本发明的立体图像编码设备的第一实施例。

图1是根据本实施例的立体图像编码设备的框图。该编码设备的操作由如下方法所控制：使用本发明的立体图像编码设备的设备(例如，照相机或PC等)的控制单元例如载入和执行控制程序。在这种情况下，可以将本发明的立体图像编码设备的各块中的处理作为该控制程序的一部分来提供。

如图1所示，根据本实施例的立体图像编码设备100具有如下结构，其中该结构例如用于输入由平行配置的主图像拍摄单元101和副图像拍摄单元102所拍摄的被摄体的多个图像并对这些多个图像进行编码。具体来说，该设备100具有用以保持所输入的多个图像的帧存储器103、用以对所保持的图像进行编码的结构、以及用以设置用于检测视差矢量的搜索范围的结构。该编码结构包括滤波后参考帧存储器104、运动/视差预测单元105、运动/视差补偿单元106、帧内预测单元107、正交变换单元108、量化单元109和熵编码单元110。该编码结构还包括逆量化单元111、逆正交变换单元112、帧内/帧间判断单元113、减法器114、加法器115、滤波前参考帧存储器116和环路滤波器117。搜索范围的设置结构包括原点差运算单元118和搜索范围确定单元119。

在上述结构中，首先将说明对帧存储器103中所保持的输入图像进行编码的方法。

假定主图像拍摄单元101和副图像拍摄单元102各自包括：拍摄镜头；摄像元件，用于对经由拍摄镜头所形成的图像进行光电转换；以及A/D转换处理单元，用于将从摄像元件读出的模拟信号转换成数字信号；等等。主图像拍摄单元101和副图像拍摄单元102各自根据转换得到的数字信号形成亮度信号和色差信号并输出这两者。在以下针对实施例的说明中，假定将亮度信号和色差信号称为图像信号。在本实施例中，假定主图像拍摄单元101拍摄左图像并且副图像拍摄单元102拍摄右图像。还假定尽管副图像可以使用主图像作为参考图像，但主图像无法使用副图像作为参考图像。

立体图像编码设备100输入从摄像单元101和102输出的图像信号并且按显示顺序将各个主图像和副图像存储到帧存储器103中。以预定像素块(例如，宏块)为单位来进行编码。以像素块(例如，在图7A中的编码对象块)为单位按编码顺序从帧存储器103中读出图像信号，并将这些图像信号分别输入至运动/视差预测单元105、帧内预测单元107、减法器114和原点差运算单元118。

滤波后参考帧存储器104存储经过了滤波处理的编码图像(在被编码之后进行了解码的局部解码图像)作为参考图像，并按编码顺序将编码对象块的参考图像分别发送至运动/视差预测单元105和运动/视差补偿单元106。在由于来自帧存储器103的编码对象块是副图像这一原因而执行视差预测的情况下，将该编码对象块以及位于与该编码对象块的位置相对应的位置(相同坐标位置)处的参考图像的像素块发送至原点差运算单元118。

滤波前参考帧存储器116存储在进行滤波处理之前的编码图像(在被编码之后进行了解码的局部解码图像)作为参考图像，并按编码顺序将编码对象块的参考图像发送至帧内预测单元107。

原点差运算单元118在主图像和副图像之间对编码对象块与位于与该编码对象块的位置相对应的位置(相同坐标位置)处的参考图像的绝对像素差值和(sum of ab solute pixel differencevalues)进行运算，生成表示该运算结果的信息(差信息)，并将该信息发送至搜索范围确定单元119。

在进行作为帧间预测之一的视差预测的情况下，搜索范围确定单元119根据由从原点差运算单元发送来的信息所表示的绝对像素差值和来确定视差预测的搜索范围，并将所确定的搜索范围发送至滤波后参考帧存储器104。在进行运动预测的情况下，设置预定的搜索范围并将该搜索范围发送至滤波后参考帧存储器104。作为进行运动预测时的搜索范围设置方法，尽管可以考虑在与编码对象块的位置相同的位置周围的位置处或者在先前所获得的运动矢量周围的位置处进行运动预测的方法，但这里没有特别限制该搜索范围设置方法。以下将详细说明用于确定进行视差预测时的搜索范围的方法。

运动/视差预测单元105根据与从帧存储器103发送来的编码对象块是主图像还是副图像有关的判断结果来改变处理。

当编码对象块是主图像时，使用从滤波后参考帧存储器104发送来的先前被编码后再被解码的主图像的局部解码图像作为参考图像，并且检测运动矢量并将该运动矢量连同参考图像数据编号一起发送至运动/视差补偿单元106。

当编码对象块是副图像时，从滤波后参考帧存储器104读出显示顺序与副图像相同的先前被编码后再被解码的主图像的局部解码图像、或者先前被编码后再被解码的副图像的局部解码图像。随后，使用所读出的局部解码图像作为参考图像以检测运动矢量或视差矢量。将所检测到的运动矢量或视差矢量连同参考图像数据的编号一起发送至运动/视差补偿单元106。

这里没有特别限制在副图像的情况下、选择副图像的局部解码图像以及显示顺序与该副图像的显示顺序相同的主图像的局部解码图像的哪一个作为最终的参考图像的方法。在本实施例中，假定选择矢量位置处的编码对象块与参考图像之间的差值较小的局部解码图像。

运动/视差补偿单元106通过使用从运动/视差预测单元105发送来的运动矢量或视差矢量来形成各块的预测图像数据。即，参考滤波后参考帧存储器104中的由参考图像数据编号所表示的参考图像，形成各块的预测图像数据并将该预测图像数据发送至帧内/帧间判断单元113。

帧内预测单元107通过使用从滤波前参考帧存储器116发送来的编码对象块周围的局部解码图像来针对多个帧内预测模式中的每个帧内预测模式形成帧内预测图像。通过使用从帧存储器103发送来的编码对象块以及所形成的多个预测图像来进行块匹配。选择能提供最大相关性的帧内预测模式并将该帧内预测模式连同相应的预测图像一起发送至帧内/帧间判断单元113。

帧内/帧间判断单元113在从运动/视差补偿单元106和帧内预测单元107发送来的预测图像数据中选择与编码对象块的相关性大的预测图像数据，并将所选择的预测图像数据发送至减法器114。作为选择相关性大的预测图像数据的方法，例如，考虑选择编码对象块和预测图像之间的差值小的预测图像的方法。然而，没有特别限制该方法。

减法器114计算从帧存储器103发送来的编码对象块与从帧内/帧间判断单元113发送来的预测图像块之间的差并输出图像残差数据。

正交变换单元108对从减法器114输出的图像残差数据进行正交变换处理并将变换系数发送至量化单元109。

量化单元109通过使用预定的量化参数对该变换系数进行量化并将变换系数发送至熵编码单元110和逆量化单元111。

熵编码单元110输入量化单元109所量化后的变换系数，进行诸如CAVLC或CABAC等的熵编码，并输出编码数据。

随后，将说明通过使用量化单元109所量化后的变换系数来形成参考图像数据的方法。

逆量化单元111对从量化单元109发送来的量化变换系数进行逆量化。

逆正交变换单元112对逆量化单元111所逆量化后的变换系数进行逆正交变换，形成解码残差数据，并将该解码残差数据发送至加法器115。

加法器115对该解码残差数据和以下将说明的预测图像数据进行相加，形成局部解码图像、即参考图像数据，并将该参考图像数据存储到滤波前参考帧存储器116中。将滤波前参考帧存储器116中所保持的数据发送至环路滤波器117。

环路滤波器117通过对该参考图像数据进行滤波来消除噪声，并将该滤波处理之后的参考图像数据存储到滤波后参考帧存储器104中。

随后，将参考图2A、2B、3A和3B来详细说明作为本发明的特征的、利用搜索范围确定单元119来设置主图像和副图像之间的视差预测(帧间预测)的搜索范围的方法。

搜索范围确定单元119将搜索范围设置为在参考图像中的与编码对象块的位置相同的位置。此时，如果从原点差运算单元118发送来的绝对像素差值和大，则所设置的搜索范围变宽，由此使搜索精度下降。即，如果绝对像素差值和大于预定阈值，则搜索范围确定单元119对搜索范围进行设置从而粗略搜索宽的搜索范围。

如果绝对像素差值和较小，则与该和较大的情况相比，将搜索范围设置为较窄。即，当绝对像素差值和小到等于或小于预定阈值时，搜索范围确定单元119对搜索范围进行粗略设置从而精细搜索窄的搜索范围。

搜索范围确定单元119进行调整，以使得每单位时间施加至搜索的处理负荷在绝对像素差值和较大的情况与绝对像素差值和不大的情况之间基本相等。例如，搜索范围确定单元119对搜索精度进行设置，以使得每单位时间的搜索次数保持恒定(恒定值)。

例如，当绝对像素差值和大于预定阈值时，将搜索范围设置为水平方向上的32个像素以及垂直方向上的16个像素，由此对搜索精度进行设置以使得每4个像素进行搜索。另一方面，当绝对像素差值和小到等于或小于预定阈值时，将搜索范围设置为水平方向上的8个像素以及垂直方向上的4个像素，并且将搜索精度设置为1个像素。因而，上述这两种情况的搜索次数都为153次。

无论搜索范围的面积如何都将搜索次数设置为相同值的原因是防止由于搜索次数增加而无法实时进行编码的这种状况。

现在将参考图2A、2B、3A和3B来说明如上所述根据主图像和副图像之间的绝对像素差值和来适应性地设置搜索范围的原因。图2A和2B是示出通过使用双镜头摄像设备来拍摄球状物体(被摄体)的状态的图。

当如图2A所示、球状物体和摄像设备之间的距离小时，在多数情况下，主图像和副图像之间的差大并且视差矢量大。因而，除非如图3A所示、使搜索范围变宽，否则无法检测到正确的视差矢量的可能性高。因此，如果主图像和副图像之间的差大，则由于主图像和副图像之间的视差大的可能性高，因此在本实施例中，即使搜索精度下降也使搜索范围变宽。

另一方面，当如图2B所示、球状物体和摄像设备之间的距离大时，在多数情况下，主图像和副图像之间的差小并且视差矢量也小。因而，即使如图3B所示、搜索范围窄，也可以容易地检测到正确的视差矢量。因此，如果主图像和副图像之间的差小，则由于主图像和副图像之间的视差小的可能性高，因此在本实施例中，搜索范围变窄并且搜索精度提高，从而使得检测到更加正确的视差矢量。

如上所述，在本实施例中，使用由于相对于被摄体的距离针对各编码对象块而不同、因此像素差值不同的现象，针对各编码对象块单独且适应性地设置适当大小的搜索范围，并且使设备工作从而在任意情况下均获得更加正确的视差矢量。

在本实施例中，尽管按绝对像素差值和等于或小于预定阈值的情况以及绝对像素差值和大于预定阈值的情况这两个阶段进行视差矢量的搜索范围和搜索精度的改变，但可以通过增加阈值的数量来按三个以上的阶段进行该改变。例如，可以对搜索范围和搜索精度进行设置，以使得绝对像素差值和越大，搜索范围越宽并且所设置的搜索精度越粗略。

例如，当绝对像素差值和大于第一阈值时，将搜索范围设置为水平方向上的32个像素以及垂直方向上的16个像素，由此对搜索精度进行设置以使得每4个像素进行搜索。当绝对像素差值和小于第二阈值时，将搜索范围设置为水平方向上的8个像素以及垂直方向上的4个像素，并且将搜索精度设置为1个像素。此外，当绝对像素差值和大于第二阈值且小于第一阈值时，将搜索范围设置为水平方向上的16个像素以及垂直方向上的8个像素，由此对搜索精度进行设置以使得每2个像素进行搜索。即使这样设置了搜索范围，上述任意情况中的搜索次数都等于153次。

在本实施例中，尽管不对主图像进行视差预测，但即使在对主图像进行视差预测的情况下，也可以利用与上述方法相同的方法来设置搜索范围。

在第一实施例中，尽管通过使不同大小的搜索范围的搜索精度相等来补偿编码处理的实时操作，但是还可以对宽的搜索范围设置高的搜索精度，只要其在对实时处理进行补偿的范围内即可。以下将说明为了设置如上所述的搜索精度而构造的第一实施例的变形例。

图4是根据上述第一实施例的变形例的立体图像编码设备的框图。尽管图4中的立体图像编码设备400的结构与第一实施例的结构基本相同，但其与第一实施例的不同之处在于：立体图像编码设备400具有搜索次数控制单元402，并且搜索范围确定单元401可以在不会使搜索精度下降的情况下设置搜索精度。

由于除搜索次数控制单元402和搜索范围确定单元401以外的结构的操作与第一实施例的操作相同，因此这里省略对该操作的说明。在本变形例中，还假定主图像拍摄单元101和副图像拍摄单元102平行配置。

搜索范围确定单元401以与图3A和3B的方式相同的方式来将搜索范围设置为与编码对象块的位置相同的位置。此时，当绝对像素差值和大于预定阈值并且从搜索次数控制单元402生成用以允许搜索范围的变宽的信号时，使搜索范围变宽。以下将说明从搜索次数控制单元402生成用以允许搜索范围的变宽的信号的方法。如果绝对像素差值和小到等于或小于预定阈值，则使搜索范围变窄。在本变形例中，当生成允许信号时，即使搜索范围变宽，搜索精度也不会下降，并且当搜索范围变宽时，搜索范围确定单元401将表示搜索范围变宽的信号发送至搜索次数控制单元402。

例如根据控制程序，搜索次数控制单元402在进行一个图片的编码之前设置表示在一个图片内可以使搜索范围变宽的编码对象块的数量的N，并将用以允许搜索范围的变宽的信号输出至搜索范围确定单元401。在对图片的编码开始之后，每当从搜索范围确定单元401发送了表示搜索范围变宽的信号时，从N的设置值中减去1。当N的值达到0时，停止用于将用以允许搜索范围的变宽的信号输出至搜索范围确定单元401的处理。

通过如上所述进行控制，在生成了用以允许搜索范围的变宽的信号的情况下，即使搜索范围变宽，也可以在不会使搜索精度下降的情况下搜索到视差矢量。通过设置用以允许搜索范围的变宽的信号的输出时间段的上限，可以对实时编码处理进行补偿。

随后，将说明第一实施例的另一变形例。该变形例涉及以如下方式所构造的立体图像编码设备：不仅针对视差矢量的搜索范围的大小、还针对该搜索范围的设置位置进行该搜索范围的设置控制。然而，在本变形例中，没有必要总是连同搜索范围的大小的设置控制一起进行搜索范围的设置位置的设置控制，而且还可以使用仅对设置位置进行控制而不改变搜索范围的大小的结构。在上述任意情况中，立体图像编码设备的结构与图1所示的结构基本相同，并且本变形例可以通过改变搜索范围确定单元119的控制结构(例如，控制程序)来实现。

将参考图1、2A、2B、5A和5B来说明根据本变形例的立体图像编码设备。尽管根据本变形例的立体图像编码设备的结构与第一实施例(图1)的结构基本相同，但其与第一实施例的不同之处在于：搜索范围确定单元119具有可以根据从原点差运算单元118发送来的绝对像素差值和来改变搜索范围的设置位置的功能。在本变形例中，还假定主图像拍摄单元101和副图像拍摄单元102平行配置。由于除搜索范围确定单元119以外的结构的操作与第一实施例的操作相同，因此这里省略对该操作的说明。即，将仅说明搜索范围确定单元119的搜索范围的位置设置功能。

搜索范围确定单元119通过使用从原点差运算单元118发送来的主图像和副图像之间的绝对像素差值和来确定搜索范围设置位置。此时，当从原点差运算单元118发送来的绝对像素差值和大于预定阈值时，使搜索范围从编码对象块的位置向右移动预定距离。另一方面，当绝对像素差值和小到等于或小于预定阈值时，将搜索范围设置为与编码对象块的位置相同的位置。基本与在设置搜索范围的大小时所使用的阈值无关来适当地设置这种情况下的阈值。然而，当与搜索范围的大小控制功能相组合来使用本变形例时，可以将阈值适当设置为上述这两个功能共用的阈值。

尽管将视差矢量的搜索范围的位置改变的阶段设置为绝对像素差值和小于一个阈值的情况以及绝对像素差值和大于该阈值的情况这两个阶段，但可以通过设置另一阈值来增加该改变的阶段数量。

如上所述，搜索范围确定单元119的功能可以局限于本变形例的功能或者可以被设置为与第一实施例中的大小改变功能相组合的功能。

现在将参考图2A、2B、5A和5B来说明如上所述适应性地改变搜索范围的位置的原因。图5A和5B是用于说明本变形例的搜索范围的设置方法的图。此外，在本变形例中，假定照相机的左侧的摄像单元所拍摄的图像是主图像，并且右侧的摄像单元所拍摄的图像是副图像。

当如图2A所示、球状物体和摄像单元之间的距离小时，在多数情况下，主图像和副图像之间的差(摄像单元之间的视差)大并且视差矢量大。然而，如果这些摄像单元平行配置，则右图像中的物体在左图像中必然存在于具有右方向上的偏移的位置处。因此，在本变形例中，如果主图像和副图像之间的差大，则可以通过如图5A所示使搜索范围向右偏移来检测到更加正确的视差矢量。另一方面，如果如图2B所示、球状物体和摄像单元之间的距离大，则在多数情况下，主图像和副图像之间的差小并且视差矢量也小。因此，即使如图5B所示、搜索范围相对于编码对象块的周边位置没有移动，也可以检测到正确的视差矢量。

如果如本变形例所示来确定搜索范围的设置位置，则可以根据基于视差的像素差来适应性地设置搜索范围的位置，并且可以搜索到适当的视差矢量。

尽管已针对应用于具有多个摄像单元的摄像设备的情况作为例子说明了包括如上所述的两个变形例的第一实施例的立体图像编码设备，但本发明不限于此。例如，在诸如PC等的处理设备中，还可以应用于针对从记录介质读出的立体图像所用的多个图像的编码处理。在这种情况下，将本发明的编码功能作为该PC的控制设备所执行的应用程序来实现。

第二实施例

尽管在第一实施例中本发明应用于由平行配置的多个摄像单元所拍摄的多个图像，但在以下的第二实施例中将说明本发明应用于从具有转动校正功能的多个摄像单元所获得的多个图像的示例。

图6是根据本实施例的立体图像编码设备600的框图。

尽管将说明根据本实施例的立体图像编码设备600的组件，但除视差矢量的搜索范围的设置结构以外的编码的结构与第一实施例的结构相同。即，本实施例的立体图像编码设备600具有如下结构：将用于拍摄主图像的摄像单元601A以及用于拍摄副图像的摄像单元601B所拍摄的多个图像输入和保存在帧存储器602A和602B中并对所保持的多个图像进行编码。以与第一实施例相同的方式，以由预定数量的像素构成的像素块(例如，宏块)为单位来执行编码处理(参见图7A)。假定摄像单元610A和610B各自包括：镜头；摄像元件，用于对经由镜头所形成的图像进行光电转换；A/D转换处理单元，用于将从摄像元件读出的模拟信号转换成数字信号；等等。各个摄像单元根据转换得到的数字信号来形成亮度信号和色差信号(图像信号)并输出这些信号。

随后，将简单说明编码处理的流程。

将帧存储器602A和602B各自中所保持的主图像和副图像发送至差计算单元603(与图1的114相对应)、预测图像生成单元609和运动矢量/视差矢量生成单元614。差计算单元603计算预测图像生成单元609所生成的预测图像与从帧存储器602A发送来的主图像之间的差值、或者预测图像生成单元609所生成的预测图像与从帧存储器602B发送来的副图像之间的差值。

在运动矢量/视差矢量生成单元614中，处理根据编码对象图像是主图像还是副图像而不同。如果编码对象图像是主图像，则针对从存储器613发送来的经过了解块滤波处理单元611的滤波处理的参考图像，在搜索范围设置单元615所设置的搜索范围中进行搜索。通过利用该搜索而获得预测图像与用作编码对象图像的主图像之间的差值小的像素块的位置，来生成运动矢量。将所生成的运动矢量输出至预测图像生成单元609。如果编码对象图像是副图像，则针对所输入的主图像，在搜索范围设置单元615所设置的搜索范围中进行搜索。通过利用该搜索而获得预测图像与用作编码对象图像的副图像之间的差值小的像素块的位置，来生成视差矢量。将所生成的视差矢量输出至预测图像生成单元609。

差计算单元603所计算出的差值由正交变换单元604进行正交变换，并且还由量化单元605基于预定的量化参数进行量化。将量化数据发送至熵编码单元606和逆量化单元607。熵编码单元606利用诸如CABAC(Context-adaptive binary arithmeticcoding，基于上下文的自适应二进制算术编码)等的熵编码方法对从量化单元605发送来的量化数据进行编码并输出该编码数据。

逆量化单元607对从量化单元605发送来的量化数据进行逆量化，并且还利用逆正交变换单元608执行逆正交变换，由此形成差值数据。加法器610对从预测图像生成单元609输出的预测图像和从逆正交变换单元608输出的差值数据进行相加，由此形成参考图像。将所形成的参考图像数据发送至存储器612和解块滤波处理单元611。解块滤波处理单元611将通过对从加法器610发送来的参考图像数据应用滤波处理所形成的滤波处理后的参考图像数据发送至存储器613。

随后，将说明搜索范围设置单元615的处理。搜索范围设置单元615在编码对象图像是主图像的情况以及编码对象图像是副图像的情况下执行不同的处理。

首先，当编码对象图像是主图像时，在图片内设置与用作编码对象的像素块的位置相同的位置作为搜索范围的位置，并将表示这种位置的信息发送至运动矢量/视差矢量生成单元614。

随后，将说明在编码对象图像是副图像的情况下的处理。

如图7A所示，从图片内的左上方的像素块开始，并且在由该图中的箭头所表示的方向上以像素块为单位顺序执行编码处理。图7B示出在对左上方的宏块进行处理时、即在编码开始时的搜索范围。在图7A中，假定将搜索范围的左上点的坐标设置为(0,0)，将搜索范围的水平方向设置为X，并将垂直方向设置为Y。搜索范围设置单元615如上所述设置搜索范围并将搜索范围信息发送至运动矢量/视差矢量生成单元614。此外，搜索范围设置单元615接收运动矢量/视差矢量生成单元614所生成的视差矢量信息并存储该视差矢量信息作为同一图片内的视差矢量信息。搜索范围设置单元615基于所存储的同一图片内的视差矢量信息(视差信息)来设置视差矢量的搜索范围。图8是示出如下状态的图：从图片的左上方的宏块开始顺次执行编码处理，并且该编码处理前进到位于该图片的几乎中间点的像素块。此时，存储在从左上方的宏块到图8所示的编码对象块的位置的处理期间所产生的视差矢量信息。搜索范围设置单元615基于所存储的信息来设置搜索范围的位置和形状。

图9是示出搜索范围设置处理的流程图。在图9及以下说明中，假定所存储的同一图片内的视差矢量信息是视差矢量A。在步骤S901中，判断所存储的视差矢量A的垂直分量的值(最大值)是否小于阈值。如果判断为该最大值小于阈值，则在步骤S902中，图8所示的搜索范围的设置值在水平方向上变宽且在垂直方向上变窄。即，将图8所示的α的值设置为正数并将β的值设置为负数。在这种情况下，在水平方向和垂直方向上的设置值的乘积、即搜索范围的面积不变，而是仅在水平方向和垂直方向上的设置值的比率改变。如果在S901中判断为该最大值等于或大于阈值，则该处理例程进入S903。在S903中，计算视差矢量A的垂直分量的最大值和最小值之间的差值并且判断所计算出的差值是否等于或大于预定阈值。如果判断为该差值等于或大于预定阈值，则在步骤S904中，搜索范围的设置值在水平方向上变窄并且在垂直方向上变宽。即，将图8所示的α的值设置为负数并将β的值设置为正数。以与S902相同的方式，仅在水平方向和垂直方向上的设置值的比率改变，使得用作在水平方向和垂直方向上的设置值的乘积的搜索范围的面积不变。如果在步骤S903中判断为差值小于预定阈值，则该处理例程进入步骤S905。在步骤S905中，搜索范围的在水平方向和垂直方向上的设置值的比率不变，而是将搜索范围的位置设置为具有与视差矢量A的垂直分量(平均值)相对应的偏移的位置。

如上所述，当编码对象图像是副图像时，本实施例的立体图像编码设备600通过使用同一图片内的编码处理后的像素块的视差矢量来在同一图片内动态且自适应地设置搜索范围。因而，可以搜索到适当的视差矢量。

第二实施例的立体图像编码设备具有如下结构：为了对来自具有转动校正功能的多个摄像单元的图像进行编码，考虑到这些摄像单元在垂直方向上的偏移来自适应地设置视差矢量的搜索范围。尽管在图6的实施例中基于所检测到的视差矢量来对搜索范围的设置位置进行校正，但还考虑如下的方法：检测摄像单元的转动，并且利用所检测到的转动作为视差信息来对搜索范围的位置进行校正。随后将说明这种实施例作为本发明的第三实施例。

第三实施例

图10是使用根据第三实施例的立体图像编码设备的摄像设备的框图。

在图10中，使用根据本实施例的立体图像编码设备的摄像设备1000具有摄像单元1001A和1001B。在该图中，除摄像单元1001A和1001B以外的组件涉及根据本实施例的立体图像编码设备的结构。该摄像设备包括存储器1002A和1002B、差计算单元1003、正交变换单元1004、量化单元1005、熵编码单元1006、逆量化单元1007、逆正交变换单元1008、预测图像生成单元1009以及加法器1010。该摄像设备还包括解块滤波处理单元1011、存储器1012和1013以及运动矢量/视差矢量生成单元1014。由于组件1001~1014的功能与图6所示的组件601~614的功能相同，因此这里省略了对这些功能的详细说明。

角速度传感器单元1017是诸如陀螺仪等的用于检测角速度的传感器。转动校正量计算单元1016根据角速度传感器单元1017所检测到的角速度的值来计算转动校正量并将所计算出的转动校正量发送至搜索范围设置单元1015。搜索范围设置单元1015基于从转动校正量计算单元1016所接收到的转动校正量来设置搜索范围并将该搜索范围的设置值发送至运动矢量/视差矢量生成单元1014。在搜索范围设置单元1015中，判断转动校正量是否小于第一阈值。如果该转动校正量小于第一阈值，则搜索范围的设置值在水平方向上变宽并且在垂直方向上变窄。仅在水平方向和垂直方向上的设置值的比率改变，而在水平方向和垂直方向上的设置值的乘积不变、即搜索范围的面积不变。随后，如果该转动校正量等于或大于第一阈值，则进一步判断该转动校正量是否小于第二阈值。如果该转动校正量小于第二阈值，则搜索范围的设置值在水平方向上变窄并且在垂直方向上变宽。此外，在这种情况下，仅在水平方向和垂直方向上的设置值的比率改变，而用作搜索范围的在水平方向和垂直方向上的设置值的乘积的面积值不变。

随后，如果该转动校正量等于或大于第二阈值，则搜索范围的设置值在水平方向上变窄并且在垂直方向上变宽，并且将搜索范围的位置设置为具有根据转动校正方向的偏移的位置。

在本实施例中，尽管通过使用诸如陀螺仪等的角速度传感器来计算转动校正值，但假定可以使用其它方法，只要可以计算出相同的校正值即可。例如，可以使用根据从多个输入图像信号所获得的图像的运动矢量来对转动的方向和量进行运算的方法。在这种情况下，不需要角速度传感器单元1017，可以以与第一实施例和第二实施例相同的方式与摄像单元分开构造本发明的编码设备，并且本发明的编码设备还可应用于诸如PC等的图像处理设备。此外，还可以容易地与第一实施例和第二实施例中的搜索范围的设置功能相组合。

在根据本实施例的立体图像编码设备中，由于在编码时考虑了因多个摄像单元的转动所引起的视差，因此可以动态且自适应地设置视差矢量的搜索范围，由此使得能够搜索到适当的视差矢量并且使得能够进行图片质量劣化小的编码。

尽管已针对本发明的典型实施例详细说明了本发明，但本发明不限于这些特定实施例，而且在没有背离本发明的本质的范围内的多种不同变形例也包含在本发明内。此外，前述各个实施例仅是本发明的实施例，并且还可以适当组合这些实施例。

尽管已针对本发明应用于摄像设备的情况作为例子说明了这些实施例，但本发明不限于该例子。即，本发明可以应用于诸如PC等的摄像设备。在这种情况下，将立体图像信号从本发明的立体图像编码设备内的记录介质或者从外部记录介质提供给该设备的帧存储器。

对于上述实施例的处理，可以向系统或设备提供记录有实现这些功能的软件的程序代码的存储介质。该系统或设备的计算机(或者CPU或MPU)读出和执行该存储介质中所存储的程序代码，以使得可以实现上述实施例的功能。在这种情况下，从该存储介质读出的程序代码自身实现了上述实施例的功能。存储有该程序代码的存储介质构成了本发明。作为用于供给这种程序代码的存储介质，例如，可以使用软盘(floppy，注册商标)、硬盘、光盘或磁光盘等。或者，还可以使用CD-ROM、CD-R、磁带、非易失性存储卡或ROM等。

本发明不仅包含利用计算机执行所读出的程序代码的方法来实现上述实施例的功能的情况，还包含如下情况：在计算机上运行的OS(操作系统)等基于该程序代码的指令来执行实际处理的一部分或全部，并且通过这些处理来实现上述实施例的功能。

此外，本发明还包含如下情况：可以将从存储介质读出的程序代码写入针对插入至计算机中的功能扩展板或连接至该计算机的功能扩展单元所设置的存储器，之后，针对该功能扩展板或功能扩展单元所设置的CPU等基于该程序代码的指令来执行实际处理的一部分或全部，并且通过这些处理来实现上述实施例的功能。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种图像编码设备，用于对通过利用多个摄像单元拍摄被摄体所获得的多个图像信号进行编码，所述图像编码设备包括：

输入部件，用于输入所述多个图像信号；

编码部件，用于以预定像素块为单位对所输入的多个图像信号进行编码，并以所述预定像素块为单位在所述多个图像信号之间进行帧间预测；

生成部件，用于生成表示所述编码部件的编码对象块与如下的像素块之间的图像偏移的差信息，其中该像素块是所述帧间预测所参考的参考图像中的位于与所述编码对象块的位置相对应的位置处的像素块；以及

设置部件，用于根据所述生成部件所生成的差信息，自适应地设置用于检测在所述帧间预测中所述编码对象块所使用的矢量的搜索范围。

2.根据权利要求1所述的图像编码设备，其特征在于，所述差信息是所述编码对象块与所述参考图像的相应位置处的像素块之间的像素差值、以所述预定像素块为单位所检测到的视差矢量、以及所述多个摄像单元的运动信息的其中一个。

3.根据权利要求1所述的图像编码设备，其特征在于，所述差信息是所述编码对象块与所述参考图像的相应位置处的像素块之间的像素差值，所述设置部件根据所述像素差值来针对各编码对象块单独设置所述搜索范围的大小，并且当所述像素差值大于预定阈值时，所述设置部件将所述搜索范围的大小设置为大于当所述像素差值等于或小于所述预定阈值时的大小。

4.根据权利要求3所述的图像编码设备，其特征在于，所述设置部件根据所述像素差值来改变从所述搜索范围中检测所述矢量时的搜索精度，并且与所述搜索范围的大小的改变无关地将每单位时间的搜索次数设置为预定值。

5.根据权利要求1所述的图像编码设备，其特征在于，所述差信息是所述编码对象块与所述参考图像的相应位置处的像素块之间的像素差值，所述设置部件根据所述像素差值来针对各编码对象块单独设置所述搜索范围的大小，当所述像素差值大于预定阈值时，所述设置部件进行设置从而对所设置的搜索范围进行粗略搜索，以及当所述像素差值等于或小于所述预定阈值时，所述设置部件进行设置从而对所设置的搜索范围进行精细搜索。

6.根据权利要求1所述的图像编码设备，其特征在于，所述差信息是所述编码对象块与所述参考图像的相应位置处的像素块之间的像素差值，所述设置部件根据所述像素差值来改变所述搜索范围的设置位置，并且当所述像素差值大于阈值时，所述设置部件使所述搜索范围的设置位置在与所述多个摄像单元的配置方向相对应的方向上移动。

7.根据权利要求6所述的图像编码设备，其特征在于，所述设置部件还根据所述像素差值来改变所述搜索范围的大小。

8.根据权利要求1所述的图像编码设备，其特征在于，所述差信息是以所述预定像素块为单位所检测到的视差矢量，并且所述设置部件根据针对先前被所述编码部件编码了的像素块而检测到的视差矢量的垂直分量，不改变所述搜索范围的面积而改变所述搜索范围的形状。

9.根据权利要求8所述的图像编码设备，其特征在于，当针对先前被所述编码部件编码了的像素块而检测到的视差矢量的垂直分量的值落入预定范围内时，所述设置部件不改变所述搜索范围的形状而改变所述搜索范围的设置位置。

10.根据权利要求1所述的图像编码设备，其特征在于，所述差信息是所述多个摄像单元的运动信息，并且所述设置部件根据所述多个摄像单元的运动信息，不改变所述搜索范围的面积而改变所述搜索范围的形状。

11.根据权利要求10所述的图像编码设备，其特征在于，当所述多个摄像单元的运动落入预定范围内时，所述设置部件根据所述多个摄像单元的运动信息来不改变所述搜索范围的面积而改变所述搜索范围的形状，并使所述搜索范围的设置位置根据所述运动信息而移动。

12.一种摄像设备，包括：

多个摄像单元，用于通过拍摄被摄体来获得图像信号；以及

根据权利要求1至11中任一项所述的图像编码设备。

13.一种图像编码方法，用于对通过利用多个摄像单元拍摄被摄体所获得的多个图像信号进行编码，所述图像编码方法包括以下步骤：

输入步骤，用于输入所述多个图像信号；

编码步骤，用于以预定像素块为单位对所输入的多个图像信号进行编码，并以所述预定像素块为单位在所述多个图像信号之间进行帧间预测；

生成步骤，用于生成表示所述编码步骤的编码对象块与如下的像素块之间的图像偏移的差信息，其中该像素块是所述帧间预测所参考的参考图像中的位于与所述编码对象块的位置相对应的位置处的像素块；以及

设置步骤，用于根据所述生成步骤中所生成的差信息，自适应地设置用于检测在所述帧间预测中所述编码对象块所使用的矢量的搜索范围。

Images