CN101600124B

CN101600124B - 图像编码设备和图像编码方法

Info

Publication number: CN101600124B
Application number: CN2009101322637A
Authority: CN
Inventors: 且本敏幸; 伊木信弥; 渡边弘昌; 柳原幸生
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-06-04
Filing date: 2009-04-30
Publication date: 2011-10-05
Anticipated expiration: 2029-04-30
Also published as: EP2131597A2; US20090304294A1; JP4591548B2; US8369630B2; EP2131597A3; CN101600124A; JP2009296272A

Abstract

一种图像编码设备，包括通过拍摄至少一个对象来产生图像数据的单个图像拾取单元，通过编码所产生的图像数据来产生数字图像数据的图像压缩单元，当所述图像拾取单元进行拍摄时，测量到所述对象的距离的距离测量单元，以及多重复用单元，所述多重复用单元基于所述数字图像数据和所测量的距离，通过将指示到所述数字图像数据的每个给定像素块的对象的距离的距离数据多重复用到数字图像数据来产生多重复用数据。

Description

图像编码设备和图像编码方法

技术领域

本发明涉及图像编码设备和图像编码方法，用于当拍摄对象时测量图像编码设备和对象之间的距离，从而获得对象的图像。

背景技术

已经发展了各种技术来获得真实的视频数据。作为一种实现真实视频数据的方法，要考虑三维图像的再现。例如，通过从左眼和右眼中每一个的视点拍摄同一对象，使得获得两个图像数据项，从而产生三维图像。在再现时，可通过左眼观看左眼图像数据并且通过右眼观看右眼图像数据。从左眼和右眼中每一个的视点拍摄的对象的图像数据被称作视差图像数据。

根据产生视差图像数据的最简单方法，在对应于左眼和右眼的位置提供两个相机，使得通过拍摄可以获得两种图像。然而，根据上述方法，在拍摄上花费了巨大的努力和成本。因此，期望基于由单个相机拍摄获得的二维视频数据产生三维图像数据的技术。

当基于单个二维图像产生三维图像数据时，应当基于单个二维图形数据项产生两个视差图像。在过去，被配置为基于单个二维图像来产生两个视差图像的三维图像产生系统使用指示三维图像产生系统和二维图像数据中所示的每个对象图像之间的距离的距离信息。例如，通过人员观察图像并估计图像数据产生时限定的视点(相机位置)和对象之间的距离来获得距离信息。然而，在上述例子中，由于采用人员来估计距离信息，所以难以自动化上述步骤。

因此，期望一种在产生二维图像数据的过程中能自动测量系统和对象之间距离的技术。日本未审查专利申请公开No.08-70473公开了在产生二维图像数据过程中自动测量到对象的距离并且把该距离信息添加到单个二维图像数据中的技术。

发明内容

如上所述，日本未审查专利申请公开No.08-70473公开了一种用于立体图像的通信方法，其通过使用关于所测量的距离的信息而实现，其中所述距离信息可被嵌入到以像素为单位的二维图像数据中。然而，上述方法具有如下缺点。即，由于距离信息项与单个像素相关并且被嵌入在二维图形数据中，所以距离信息的尺寸增大，使得二维图形数据量增大。此外，由于以像素为单位执行距离测量，增加了距离测量处理的负担。因此，难以将上述通信方法用于视频拍摄。

为了克服上述缺点，本发明提供了一种图像编码设备和图像编码方法，其可以轻易获得距离信息并轻易管理距离信息和图像数据。

为了消除上述缺点，根据本发明实施例的一种图像编码设备包括单个图像拾取单元，被配置为通过拍摄至少一个对象来产生图像数据；图像压缩单元，被配置为通过编码所产生的图像数据来产生数字图像数据；距离测量单元，被配置为当所述图像拾取单元进行拍摄时，测量到所述对象的距离；以及多重复用单元，被配置为基于所述数字图像数据和所测量的距离，通过将指示到所述数字图像数据的每个给定像素块的对象的距离的距离数据多重复用到数字图像数据来产生多重复用数据。

根据本发明另一实施例的图像编码方法包括以下步骤：通过利用单个图像拾取单元拍摄至少一个对象来产生图像数据；通过编码所产生的图像数据来产生数字图像数据；当所述图像拾取单元在所述图像数据产生步骤进行拍摄时，测量到所述对象的距离；以及基于在所述数字图像数据产生步骤编码和产生的数字图像数据和在所述测量步骤测量的距离，把指示到所述数字图像数据的每个给定像素块的对象的距离的距离数据多重复用到所述数字图像数据上。

本发明提供了图像编码设备和图像编码方法，其可以轻松获取距离信息并且能轻易管理该距离信息和图像数据。

附图说明图1是示出根据本发明实施例的三维图像产生系统的示例性配置的框图；图2是用于例示在上述三维图像产生系统中产生三维图像所执行的示例性操作的流程图；图3示出了图像转换单元如何把多重复用数据转换成两个视差图像(三维图像数据)；图4是示出了图像视点和到对象距离之间关系的概念性例示；图5是例示填充移动对象之后出现的间隙的例子的图；和图6是用于例示基于到周围像素块的距离数据来计算包括在预定像素块中的每个小块的距离数据的例子的图。

具体实施方式

下面，将描述本发明的实施例。图1是示出了根据本发明实施例的三维图像产生系统100的示例性配置的框图。如图1所示，上述三维图像产生系统100包括图像拾取单元1(对应于根据本发明实施例的图像拾取单元)、图像压缩单元2(对应于本发明实施例的图像压缩单元)、距离测量传感器3(对应于本发明实施例的距离测量单元)、距离信息处理单元4、多重复用(multiplexing)单元5(对应于本发明实施例的多重复用单元)、存储单元6、图像转换单元7(对应于本发明实施例的图像转换单元)和三维图像再现单元8。

图像拾取单元1是包括例如数字静态相机、数字视频相机等的部件，其被配置为拍摄一个对象并产生图像数据201。图像压缩单元2把图像拾取单元1拾取的图像数据201转换成数字图像数据202。图像压缩单元2可以使用例如运动图像专家组第一阶段(MPEG1)、MPEG2、MPEG4、“DivX(DivX公司的注册商标)”、Xvid、WMV9等等，来作为图像压缩技术。

当图像拾取单元1拍摄一个对象时，距离测量传感器3测量三维图像产生系统100和该对象之间的距离。距离测量传感器3示例性地测量三维图像产生系统100和对象之间的距离，通过从图像拾取单元1中的像素的每个给定像素块提取的像素来获得所述对象的图像。距离测量传感器3通过例如红外线和/或超声波来测量距离。

这里，通过MPEG1和/或MPEG2获得的宏块(16×16像素)和/或块(8×8像素)可例如对应于上述给定的像素块。即，当对每个宏块执行距离测量时，可为图像拾取单元1的每十六个像素提供单个距离测量传感器3，使得距离测量传感器3对每十六个像素测量所述系统和对象之间的距离。

即，例如，可提供与由图像拾取单元1拾取并被图像压缩单元2压缩的数字图像数据的宏块相同数量的距离测量传感器3，并且可以矩阵的形式提供多个距离测量传感器3，使得各距离测量传感器3对应于单个宏块。从而，有可能通过使上述距离数据与预定块周围的块相关联来校正预定块的距离数据。

距离信息处理单元4基于关于距离测量传感器3测量的距离的信息来产生距离数据203。通过距离信息处理单元4为通过图像压缩单元2产生的数字图像数据202的每个给定像素块产生距离数据203。

多重复用单元5多重复用通过数字压缩单元2产生的数字图像数据202和通过距离信息处理单元4产生的距离数据203，从而产生多重复用数据204。即，在数字图像数据202的给定像素块中，嵌入了对应于给定像素块的距离数据203，从而获得了多重复用数据204。

存储单元6是用于存储通过多重复用单元5产生的多重复用数据204的存储器。图像转换单元7读取存储在存储单元6中的多重复用数据204并且基于针对每个给定像素块嵌入的距离数据203产生三维图像数据205。由三维图像再现单元8来再现通过图像转换单元7产生的三维图像数据205。例如，在未示出的监视器设备(包括液晶显示器等)上显示再现的三维图像数据205。

接下来，描述在上述三维图像产生系统100中产生三维图像所执行的示例性操作。图2是例示上述示例性操作的流程图。

步骤ST1：图像拾取单元1拍摄对象并产生图像数据。同时，距离测量传感器3测量三维图像产生系统100和对象之间的距离。

步骤ST2：图像压缩单元2压缩在步骤ST1通过图像拾取单元1产生的图像数据并且产生数字图像数据202。

步骤ST3：距离信息处理单元4把步骤ST1中通过距离测量传感器3测量的距离的数据转换成距离数据203。

步骤ST4：对于数字图像数据202的每个给定像素块和每一帧，多重复用单元5多重复用在步骤ST2产生的数字图像数据202和在步骤ST3转换的距离数据203，并且产生多重复用数据204。根据多重复用上述数据的方法，距离数据203可被嵌入到例如数字图像数据202的首部等部分。

步骤ST5：存储单元6存储步骤ST4产生的多重复用数据204。

步骤ST6：图像转换单元7把步骤ST5中存储在存储单元6中的多重复用数据204转换成三维图像数据205。稍后将详细描述实现上述转换的方法。

步骤ST7：基于例如用户的操作，三维图像再现单元8再现在步骤ST6转换的三维图像数据205。

因此，在上述三维图像产生系统100中，通过距离测量传感器3获得的对应于数字图像数据202的单个给定像素块的距离数据203被多重复用到通过图像压缩单元2压缩通过图像拾取单元1执行拍摄而获得的图像数据201而获得的数字图像数据202上。因此，当执行拍摄并且获得二维图像数据时，有关三维图像产生系统100和对象之间距离的信息被自动多重复用到二维图像数据上，从而产生多重复用数据204。因此，不用人来手动输入三维图像产生系统100和对象之间的距离的数据。

接下来，将描述通过图像转换单元7来执行，以基于为每个给定像素块获得的距离数据203把多重复用数据204转换成三维图像数据205的方法。图3示出了一个例子，其中图像转换单元7把多重复用数据204转换成两个视差图像的数据(三维图像数据205)。

图3的部分(a)示出了尚未进行转换的多重复用数据204，图3的部分(b)示出了通过转换获得的两个视差图像之一，该视差图像是通过右眼观看的图像(右眼图像数据206)，以及图3的部分(c)示出了通过转换获得的两个视差图像的另外一个，其是通过左眼观看的图像(左眼图像数据207)。这里，图3的部分(a)所示的多重复用数据204是其中嵌入有距离数据203的数字图像数据202。然而，由于距离数据203难以观看到，所以只在图3的部分(a)中示出了图像数据。

如图3的部分(a)、(b)和(c)所示，每个图像数据被划分成预定的像素块。该预定的像素块对应于上述给定的像素块。即，当根据MPEG1等压缩产生多重复用数据204的数字图像数据202时，该像素块对应于宏块和/或块。

图像转换单元7通过基于距离数据203水平移动数字图像数据202来产生右眼图像数据206和左眼图像数据207。将基于图3所示图像数据具体描述每个对象的水平移动量。

图3的部分(a)所示的在转换前获得的多重复用数据204示出了对应于人物数据301和树木数据302的两个对象。当此时参照例如距离数据203时，三维图像产生系统100和人物数据301之间的距离被确定为距离A，并且三维图像产生系统100和树木数据302之间的距离被确定为距离B。在这种情况下，通过例如对用于对象图像的单个给定距离块的全部距离数据项203进行平均来获得三维图像产生系统100和每个对象之间的距离。

此外，三维图像产生系统100和转换前获得的多重复用数据204的背景数据303之间的距离被确定为距离C。距离C的值对应于三维图像产生系统100和屏幕图像所示最远对象之间的距离(即多重复用数据204的最大距离数据203)以及预定固定值中的较小值。此处，在上述实施例中，表达式A＜B＜C成立。

图4是示出了图像视点和到对象距离之间关系的概念性例示。如图4所示，当产生多重复用数据204时指定的实际视点(图像拾取单元1的位置)被确定为视点401，基于视点401而指定的右眼的位置被确定为右眼视点402，并且基于视点401而指定的左眼的位置被确定为左眼视点403。

从右眼视点402和/或左眼视点403观看的对象被放置在右侧或左侧，移动量对应于到视点的距离。因此，可通过把对象向右移动对应于右眼视点402和对象之间距离的移动量来产生右眼图像数据206。相反地，可通过把对象向左移动对应于左眼视点403和对象之间距离的移动量来产生左眼图像数据207。

基于视点和对象之间的距离计算移动对象的量(移动量)。例如，视点和人物数据301之间的距离被确定为A的人物数据301的移动量被示例性的确定为(C-A)/C×(预定像素单位)，如图4所示。类似地，视点和树木数据302之间的距离被确定为B的树木数据302的移动量被示例性地确定为(C-B)/C×(预定像素单位)。当背景被视作无限时获得上述移动量。

这里，预定像素单位表示对应于上述给定像素块的值。即，当像素块是宏块(16×16像素)时，预定像素单位(pixel unit)被确定为16像素。即，对应于像素块诸侧之一的像素可被确定为预定像素单位。

这样，图像转换单元7把每个对象向右移动根据上述方法基于图3的部分(a)所示的多重复用数据204计算的移动量，从而获得图3的部分(b)所示的右眼图像数据206。类似地，图像转换单元7把每个对象向左移动根据上述方法基于图3的部分(a)所示多重复用数据204计算的移动量，从而获得图3的部分(c)所示的左眼图像数据207。

附带地，如上所述，当图像转换单元7通过水平地把每个对象向右和/或向左移动而产生右眼图像数据206和/或左眼图像数据207时，尽管在原始位置应当有像素，但是在每个对象的原始位置没有像素。结果，在每个对象的原始位置出现间隙。根据下面描述的方法来填充该间隙。

图5是例示填充对象被移动后出现的间隙的例子的图。图5的部分(a)示出产生尚未移动的对象的块α以及相邻于块α的块β(不产生对象图像)。图5的部分(b)示出了当把产生对象图像的块α移动一个移动量c时出现的间隙γ。如图5的部分(b)所示，当把对象移动移动量c时，产生移动对象图像的块偏离预定像素单位的末端移动量c，并且在块α和块β之间出现间隙γ。

把对象移动了移动量c之后，图像转换单元7把产生整个移动对象图像的诸像素(包括块α的全部像素)扩展移动量c，使得由于对象移动出现的间隙被消除，如图5的部分(c)所示。否则，图像转换单元7把产生移动对象图像的部分的像素扩展移动量c，使得由于对象移动出现的间隙被消除，如图5的部分(d)所示。即，在产生对象图像的块α中限定的范围被复制并粘贴到上述间隙，使得间隙γ被填充用于显示，其中范围对应于移动量c，并且在移动原始方向延伸。

上述实施例中，为每个给定像素块产生用于确定对象移动量的距离数据203。然而，根据本发明另一实施例，可基于距离数据203对包括在像素块中的每个小块详细计算距离。下面将描述基于预定块的距离数据203对包括在像素块中的每个小块详细计算距离的方法。

图6是用于例示基于指示到周围像素块601到609的距离的距离数据203来计算包括在预定像素块中的每个小块501到516的距离数据的例子的图。这里，小块表示包括在给定像素块中的预定块。例如，图6中，每个给定像素块601-609都是宏块(16×16像素)并且小块是通过把宏块分割成16像素而得到的块(4×4像素)。进一步地，本发明中分割给定像素块后的小块应当具有的像素数目不受限制。可根据三维图像数据205的适当精度来任意设置上述数目。

图6中，基于包括小块和如下所述的周围块601-609的预定像素块的距离数据来计算每个小块501-516的详细距离数据。此后，块n(符号n表示任一个块编号，即501-516，或601-609)的距离数据被表示为Dn。

如下计算小块501的距离数据D501。D501＝(D601×2+D602+D604+D605×2)/6如下计算小块502的距离数据D502。D502＝(D602×2+D601+D603+D605×2)/6如下计算小块503的距离数据D503。D503＝(D602×2+D601+D603+D605×2)/6如下计算小块504的距离数据D504。D504＝(D603×2+D602+D606+D605×2)/6如下计算小块505的距离数据D505。D505＝(D604×2+D601+D607+D605×2)/6如下计算小块506的距离数据D506。D506＝D605如下计算小块507的距离数据D507。D507＝D605如下计算小块508的距离数据D508。D508＝(D606×2+D603+D609+D605×2)/6如下计算小块509的距离数据D509。D509＝(D604×2+D601+D607+D605×2)/6如下计算小块510的距离数据D510。D510＝D605如下计算小块511的距离数据D511。D511＝D605如下计算小块512的距离数据D512。D512＝(D606×2+D603+D609+D605×2)/6如下计算小块513的距离数据D513。D513＝(D613×2+D604+D608+D605×2)/6如下计算小块514的距离数据D514。D514＝(D608×2+D607+D609+D605×2)/6如下计算小块515的距离数据D515。D515＝(D608×2+D607+D609+D605×2)/6如下计算小块516的距离数据D516。D516＝(D609×2+D606+D608+D605×2)/6

通过利用根据上述方式计算的小块的距离数据，当基于上述多重复用数据204产生包括在三维图像数据205中的右眼图像数据206和左眼图像数据207时，有可能详细地计算对象的移动量。

因此，根据上述实施例的三维图像产生系统100，基于到对象的距离(所述距离通过距离测量传感器3测量)的数据产生的距离数据203被多重复用到由单个图像拾取单元1执行的拍摄而产生的数字图像数据202上，从而产生多重复用数据204。然后，图像转换单元7能基于多重复用数据204自动产生两个视差图像的数据(即基于单个二维图像的数据的右眼图像数据206和左眼图像数据207)作为三维图像数据205。即，上述实施例的三维图像产生系统100允许自动地和轻易地基于单个二维图像的数据(通过单个图像拾取单元获得所述数据)产生三维图像数据。

进一步地，根据三维图像产生系统100，为数字图像数据202的每个给定的像素块(例如，宏块)执行距离测量，所述数字图像数据202通过图像压缩单元202压缩由图像拾取单元1进行拍摄而获得的图像数据201来产生。又进一步地，图像转换单元7在给定像素块中产生三维图像。因此，降低了在距离测量期间出现的处理负载，并且管理距离数据203和/或产生三维图像变得容易。进一步地，由于能够把给定的像素块分割成小块，所以可对每个小块计算距离数据203，并且基于所计算的距离数据将03来在小块中产生三维图像。因此，还能产生具有更高精度的三维图像数据205。

本发明含有涉及2008年6月4日向日本专利局提交的日本优先权专利申请JP2008-147354中公开的对象内容，其全部内容通过引用包含于此。

本发明不限于上述实施例。即，为了实现本发明，在本发明的技术范围内和/或与之相关的技术范围内，可以各种方式修改上述实施例的部件并且使用各种部件进行替换。本领域普通技术人员应当理解，在所附权利要求及其等价范围内，根据设计要求和其它因素，可以进行各种修改、组合、子组合和替换。

Claims

1.一种图像编码设备，包括：

单个图像拾取单元，被配置为通过拍摄至少一个对象来产生图像数据；

图像压缩单元，被配置为通过编码所产生的图像数据来产生数字图像数据；

距离测量单元，被配置为当所述图像拾取单元进行拍摄时，测量到所述对象的距离；以及

多重复用单元，被配置为基于所述数字图像数据和所测量的距离，通过将指示到所述数字图像数据的每个给定像素块的对象的距离的距离数据多重复用到数字图像数据来产生多重复用数据；

图像转换单元，被配置为通过利用所产生的多重复用数据并基于为每个给定像素块获得的距离数据向右和向左水平移动包括在数字图像数据中的每个对象，来产生考虑到在拍摄过程中限定的视点处出现的视差的右眼图像数据和左眼图像数据。

2.根据权利要求1的图像编码设备，其中所述图像转换单元基于到所述数字图像数据的背景的距离的数据和到对象的距离的数据来计算向右和向左移动每个对象的移动量。

3.一种图像编码方法，包括步骤：

通过利用单个图像拾取单元拍摄至少一个对象来产生图像数据；

通过编码所产生的图像数据来产生数字图像数据；

当所述图像拾取单元在所述图像数据产生步骤进行拍摄时，测量到所述对象的距离；以及

基于在产生数字图像数据的步骤编码和产生的数字图像数据和在测量步骤测量的距离，把指示到所述数字图像数据的每个给定像素块的对象的距离的距离数据多重复用到所述数字图像数据上；

通过利用所产生的多重复用数据并基于为每个给定像素块获得的距离数据向右和向左水平移动包括在数字图像数据中的每个对象，来产生考虑到在拍摄过程中限定的视点处出现的视差的右眼图像数据和左眼图像数据。