CN102257829B - 立体影像显示装置及运动矢量导出方法 - Google Patents

Abstract

避免导出错误的运动矢量，从而高精度地导出运动矢量。立体影像显示装置100具备影像取得部(148)和矢量导出部(158)，该影像取得部(148)取得立体影像数据，该矢量导出部(158)针对各基准部分影像数据，分别导出表示与对象部分影像数据之间的相关的大小的相关值，针对各基准部分影像数据，提取与基准部分影像数据相关值最大的对象部分影像数据，导出运动矢量，该基准部分影像数据是将立体影像数据的任意的第一帧(204)分割后的区域的影像数据，该对象部分影像数据是将不同于第一帧的第二帧(206)分割后的区域的影像数据，矢量导出部分别在基准部分影像数据与对象部分影像数据的右眼用影像数据(202b)之间、或分别在基准部分影像数据与对象部分影像数据的左眼用影像数据(202a)之间导出相关值。

Description

立体影像显示装置及运动矢量导出方法

技术领域

本发明涉及根据用于感知因两眼视差产生的立体影像的立体影像数据来导出运动矢量的立体影像显示装置及运动矢量导出方法。

背景技术

近年来具备如下功能的立体影像显示装置得到了广泛的应用：使用块匹配等方法来导出表示构成运动图像的各个静止图像的、多个帧间的被摄体的移动方向或大小的运动矢量，生成对帧间的时序的变化进行插补的帧。

此外，提出了如下插补技术：不限于相同的摄像装置拍摄的帧地、对于通过多个摄像装置拍摄的帧也导出表示相同时刻的帧间的帧内的被摄体的位置的偏移的运动矢量，并推测从没有设置摄像装置的位置拍摄时的帧(例如专利文献1)

专利文献：日本特开平10-13860号公报

发明内容

发明要解决的课题

但是，通过并排(side by side)、上下(top and bottom)方式等来收录用于感知因两眼视差产生的立体影像的立体影像数据进行发送的技术已经开始普及。对通过这样的3D影像的收录方式收录的立体影像数据使用逐行插补的帧间插补技术。此时，对在对象的两帧中的一方的帧的左眼用影像数据中包含的部分影像数据和在另一方的帧的右眼用影像数据中包含的部分影像数据进行比较，存在横跨左眼用影像数据和右眼用影像数据的、导出的错误的运动矢量的情形。根据错误的运动矢量生成的插值帧成为噪声的原因。

因此，本发明的目的在于提供一种立体影像显示装置及运动矢量导出方法，其能够避免导出错误的运动矢量、从而高精度地导出运动矢量。

为了解决上述课题，本发明的立体影像显示装置的特征在于具备：影像取得部，其取得用于感知因两眼视差产生的立体影像的、由左眼用影像数据和右眼用影像数据的组合构成的立体影像数据；以及矢量导出部，其分别导出表示基准部分影像数据与多个对象部分影像数据之间的相关的强度的相关值，针对各个基准部分影像数据，提取导出的相关值最大的对象部分影像数据，导出基准部分影像数据与提取出的对象部分影像数据之间的运动矢量，其中基准部分影像数据是将立体影像数据的任意的第一帧分割而得的区域的影像数据，多个对象部分影像数据是将不同于立体影像数据的第一帧的第二帧分割而得的区域的影像数据、且成为基准部分影像数据的比较对象，矢量导出部在基准部分影像数据的右眼用影像数据和对象部分影像数据的右眼用影像数据之间、或基准部分影像数据的左眼用影像数据和对象部分影像数据的所述左眼用影像数据之间导出相关值。

上述影像取得部还可以具备左右判断部，其根据与立体影像数据一同输入的同步信号，来判断通过预定的像素单位划分立体影像数据而得的影像数据即单位影像数据属于左眼用影像数据和右眼用影像数据中的哪一个，对每个单位影像数据附加表示该单位影像数据是属于左眼用影像数据和右眼用影像数据中的哪一个的影像数据的影像信息。

还可以在构成立体影像数据的预定的单位影像数据中附加有表示该单位影像数据是属于左眼用影像数据和右眼用影像数据中的哪一个的影像数据的影像信息，矢量导出部根据影像信息来判断单位影像数据是属于左眼用影像数据和右眼用影像数据中的哪一个的影像数据。

用于解决课题的手段

为了解决上述课题，本发明的运动矢量导出方法的特征在于取得用于感知因两眼视差产生的立体影像的、由左眼用影像数据和右眼用影像数据的组合构成的立体影像数据，在基准部分影像数据的所述右眼用影像数据和对象部分影像数据的所述右眼用影像数据之间、或所述基准部分影像数据的所述左眼用影像数据和所述对象部分影像数据的所述左眼用影像数据之间分别导出表示基准部分影像数据与多个对象部分影像数据之间的相关的强度的相关值，其中所述基准部分影像数据是将所述立体影像数据的任意的第一帧分割而得的区域的影像数据，所述多个对象部分影像数据是将不同于所述立体影像数据的第一帧的第二帧分割而得的区域的影像数据、且成为所述基准部分影像数据的比较对象，针对各基准部分影像数据，提取导出的相关值最大的对象部分影像数据，导出基准部分影像数据与提取出的对象部分影像数据之间的运动矢量。

还可以根据与立体影像数据一同输入的同步信号，来判断通过预定的像素单位划分立体影像数据而得的影像数据即单位影像数据属于左眼用影像数据和右眼用影像数据中的哪一个，对每个单位影像数据附加表示该单位影像数据是属于左眼用影像数据和右眼用影像数据中的哪一个的影像数据的影像信息。

还可以在构成立体影像数据的预定的单位影像数据中附加有表示该单位影像数据是属于左眼用影像数据和右眼用影像数据中的哪一个的影像数据的影像信息，根据影像信息来判断单位影像数据是属于左眼用影像数据和右眼用影像数据中的哪一个的影像数据。

发明效果

如以上说明，本发明能够避免导出错误的运动矢量，从而高精度地导出运动矢量。

附图说明

图1是表示立体影像显示装置的概要的结构的功能框图。

图2是表示立体影像数据的一个例子的说明图。

图3是表示插值帧的一个例子的说明图。

图4是用于说明基于错误的运动矢量的插值帧的说明图。

图5是用于说明基准部分影像数据和对象部分影像数据的说明图。

图6是用于说明基准部分影像数据和对象部分影像数据的其它关系的说明图。

图7是表示运动矢量导出方法的处理的流程的流程图。

符号说明

100立体影像显示装置

148影像取得部

154左右判断部

156帧存储器

158矢量导出部

160插值生成部

202a左眼用影像数据

202b右眼用影像数据

204第一帧

206第二帧

208插值帧

具体实施方式

以下参照附图对本发明的优选实施方式进行详细说明。该实施方式所示的尺寸、材料、其它具体的数值等只不过是用于容易理解发明的例子，除去需要特别拒绝的情形以外，并不是对本发明的限定。并且，在本说明书及附图中，通过对实质上具有相同功能、结构的要素赋予相同符号来省略重复说明，另外，省略与本发明没有直接关系的要素的图示。

(立体影像显示装置100)

图1是表示立体影像显示装置100的概略的功能的功能框图。如图1所示，立体影像显示装置100与显示器110连接，具有影像取得部148、缩放部150、影像处理部152、左右判断部154、帧存储器156、矢量导出部158、插值生成部160、频率变换存储器162、临时存储器164、行顺序部(line sequential)166、以及影像输出部168。在此，对单独构成显示器110和立体影像显示装置100的情形进行说明，但是也可以构成为一体。

影像取得部148通过天线122来取得从外部的电视台120广播的、用于感知因两眼视差产生立体影像的、由左眼用影像数据和右眼用影像数据的组合构成的立体影像数据。另外，影像取得部148也能够从DVD、Blu-ray刻录盘这样的记录介质124、通信网(网络或LAN)126取得立体影像数据。另外，在本实施方式中的影像取得部148也取得与立体影像数据一同输出的同步信号。并且，影像取得部148还可以从与立体影像数据不同的输出目标输入的同步信号。

图2是表示立体影像数据的一个例子的说明图。在影像取得部148能够取得的立体影像数据中存在多个格式，在各格式中还有可能像素数等参数不同的情形。图2(a)是一台摄像装置拍摄的影像数据200，图2(b)、(c)是两台摄像装置拍摄的影像数据(以下简单称为立体影像数据)。该立体影像数据是将摄影方向不同(有视差)的两个影像数据(左眼用影像数据202a和右眼用影像数据202b)作为一个影像数据汇总的影像数据。

作为立体影像数据的收录方式，如图2所示那样，能够使用在有效影像数据的左半部分配置用于使左眼进行辨别的左眼用影像数据202a、在右半部分分配置用于使右眼进行辨别的右眼用影像数据202b的并排(side by side)方式，或，如图2(c)所示那样，在有效影像数据的上半部分配置用于使左眼进行辨别的左眼用影像数据202a、在下半部分配置用于使右眼进行辨别的右眼用影像数据202b的上下(top and bottom)方式。

另外，有效影像数据是从立体影像数据整体中除去了非显示区域(空白期间)的影像数据。此外，在并排方式时，可以使用将用于使右眼辨别的右眼用影像数据202b配置在有效影像数据的左半部分、将用于使左眼辨别的左眼用影像数据202a配置在有效影像数据的左半部分的立体影像数据。另外，在上下方式时，也可以使用将用于使右眼辨别的右眼用影像数据202b配置在有效影像数据的上半部分、将用于使左眼辨别的左眼用影像数据202a配置在有效影像数据的下半部分的立体影像数据。

其中，通过并排方式获得的立体影像数据的左眼用影像数据202a及右眼用影像数据202b分别与显示在显示器110上的影像数据垂直分辨率相等，但是水平分辨率被压缩为1/2。因此，整个画面的有效像素数据的像素单位的数据即像素数据数是1920×1080时，左眼用影像数据202a及右眼用影像数据202b的像素数据数为960×1080。同样，通过上下方式的立体影像数据的左眼用影像数据202a及右眼用影像数据202b分别与显示在显示器110中的影像数据水平分辨率相等，但是，垂直分辨率被缩小为1/2，整个画面的有效像素数据的像素数据数是1920×1080时，左眼用影像数据202a及右眼用影像数据202b的像素数据数为1920×540。

在显示器110的显示面上显示的立体影像数据，例如使用行顺序(linesequential)方式作为显示方式，该行顺序方式以行为单位交替地配置左眼用影像数据202a的水平行影像数据和右眼用影像数据202b的水平行影像数据。另外，能够对在立体影像数据中包含的被摄体进行交叉视(交叉法)以及平行视(平行法)中的任意一个的立体显示，能够通过相对地左右移动左眼用影像数据202a中包含的被摄体和右眼用影像数据202b中包含的被摄体，使被摄体成像在比显示面靠近最里面一侧、显示面上或前面一侧中的任意一个位置上。另外，行顺序方式是观察者通过偏振光眼镜用左眼来辨别隔行显示的左眼影像，用右眼来辨别右眼影像，由此能够通过两眼视差来辨别立体影像的方式。

以下，以使用并排方式作为立体影像数据的收录方式、使用行顺序方式作为显示方式的情形为例，来说明立体影像显示装置100，但是并不限于该情形，也可以使用上下方式等作为收录方式、使用帧顺序方式等作为显示方式。另外，帧顺序方式是观察者通过主动快门(active shutter)(电子快门)，交替地辨别左眼用的帧和右眼用的帧，由此能够认识立体影像的方式。

另外，也可以是使用了行顺序方式作为收录方式的立体影像数据。此时，将立体影像数据的两行数量汇总为一行数量记录在与立体影像数据的水平方向的一行数量的信息量相比具有两倍的容量的行存储器中。通过该处理，能够在变换为与通过并排方式收录的立体影像数据相同的形式之后，导出后述的运动矢量。

另外，当收录方式是每行交替地排列左眼用影像数据202a和右眼用影像数据202b的纵行交替显示方式或、将左眼用影像数据202a和右眼用影像数据202b排列为市松花纹状的棋盘方式时，例如，在通过影像取得部148取得后，使用临时存储器164排序为并排方式或上下方式，由此同样能够导出后述的运动矢量。另外，在收录方式为帧顺序方式时，将在内部使用的垂直同步信号的周期缩短为二分之一，使帧频率成为两倍来进行处理，由此能够将左眼用影像数据202a和右眼用影像数据202b作为隔着空白区域配置在上下的一帧来捕捉，来进行对应。

缩放部150调整立体影像数据的数据尺寸，使影像取得部148取得的立体影像数据与显示器110的显示尺寸匹配。

影像处理部152对通过缩放部150调整的立体影像数据进行RGB处理(γ修正或颜色修正)、增强处理、去噪声处理等影像信号处理。影像处理部152将进行处理后的立体影像数据分别输出到左右判断部154和频率变换存储器162。

左右判断部154根据与立体影像数据一同输入的同步信号，来判断构成立体影像数据的预定的单位影像数据属于左眼用影像数据和右眼用影像数据中的哪一个。在此，在影像取得部148中取得的同步信号是通过缩放部150及影像处理部152，但是延迟了在缩放部150及影像处理部152中的处理所要的时间量的信号。然后，左右判断部154对每个该单位影像数据附加表示该单位影像数据属于左眼用影像数据和右眼用影像数据中的哪一个的影像数据的影像信息，分别输出到帧存储器156和矢量到场部158。关于单位影像数据及影像信息，后面进行详细阐述。

帧存储器156例如，通过RAM(Random Access Memory)、非易失性存储器RAM、闪速存储器等记录介质构成，临时存储从左右判断部154输出的立体影像数据，例如一帧数量。

矢量导出部158分别比较各个基准部分影像数据和多个对象部分影像数据，导出表示基准部分影像数据和对象部分影像数据之间的相关的强度的相关值，该基准部分影像数据是左右判断部154输出的立体影像数据的任意的帧(以下称为第一帧)中的分割后的区域的影像数据、即成为比较源的数据，该对象部分影像数据是与第一帧在时间上连续的、保持在帧存储器156中的帧(以下称为第二帧)中的分割后的区域的影像数据、且成为比较对象的数据。另外，矢量导出部158在此在连续的两帧间进行比较，但是只要第一帧和第二帧的时间不同则足够，也能够在不连续的两帧间进行比较。

接着，矢量导出部158针对各个基准部分影像数据提取与基准部分影像数据相关值最大的对象部分影像数据，根据第一帧中的基准部分影像数据表示的影像的位置和第二帧中的提取出的对象部分影像数据表示的影像的位置，导出基准部分影像数据和提取出的对象部分影像数据之间的运动矢量。

插值生成部160根据矢量导出部158导出的运动矢量和左右判断部154输出的第一帧及在帧存储器156中保持的第二帧，生成插补第一帧和第二帧的插值帧，输出到频率变换存储器162。使用图3，对该插值帧进行说明。

图3是表示插值帧的一个例子的说明图。图3所示的例子是将帧频率变换为两倍时生成的插值帧。如图3所示那样，例如，在连续的(也包含在不连续，而在中间隔着一个或多个帧的情形)两帧即第一帧204和第二帧206之间，第一帧的被摄体210a、210b、212a、212b移动到第二帧206的被摄体214a、214b、216a、216b的位置时，表现表示移动途中的状态的被摄体218a、218b、220a、220b的帧是插值帧。在此，通过左眼用影像(下标“a”)和右眼用影像(下标“b”)的两个影像的视差使被摄体210、212、214、216、218、220立体地成像。在本实施方式中，将在时间上先取得的帧作为第一帧204、后取得的帧作为第二帧206，但是也可以将先取得的帧作为第二帧206、将后取得的帧作为第一帧204。

另外，因为在此将帧频率的倍率变换为两倍，所以插值帧208中的被摄体的位置从第一帧204的位置移动从第一帧204中的被摄体的位置到第二帧中的被摄体的位置为止的1/2的距离量，在将帧频率变换为n倍时，生成(n-1)枚从第一帧204的位置逐一移动从第一帧204中的被摄体的位置到第二帧206中的被摄体的位置为止的1/n的距离量的插值帧208。

不改变第一帧204和第二帧206之间的时间间隔地将插值帧208插入到第一帧204和第二帧206之间，由此，帧频率变高，被摄体被识别为运动平滑的影像。

但是，上述的立体影像数据的帧不是通过一台摄像装置拍摄的影像数据的帧，而是改变视点拍摄的相同的被摄体的影像数据，因此有时会发生因错误的运动矢量导致的特有的误显示的情形。

图4是用于说明基于错误的运动矢量的插值帧的说明图。如图4(a)所示那样，假设在第一帧204和第二帧206中作为被摄体分别包含字母的字符串“ABCD”，如图4(b)所示那样，假设在第一帧204和第二帧206中作为被摄体分别包含字母的字符串“ABCA”。在此，为了便于理解，假设在第一帧204和第二帧206中没有被摄体的移动。

图4(a)中所示的情况下，矢量导出部158正确地识别第一帧204中的被分割为预定的尺寸的区域的字母的字符串“ABCD”的位置，导出运动矢量210a，插值生成部160根据运动矢量210a，如图4(a)中虚线箭头212a、214a所示那样，使用第一帧204的基准部分影像数据和第二帧206的对象部分影像数据，生成进行插补的正确的插值帧208。

但是，在图4(b)中所示的情形，在被分割为第一帧204的预定的尺寸的区域的字母的字符串“ABCA”的两端配置有相同“A”的字符，因此矢量导出部158，例如错误判断第一帧204的左眼用影像数据202a的被摄体“A”移动到第二帧206的右眼用影像数据202b的被摄体“A”，导出错误的运动矢量210b。此时，插值生成部160根据运动矢量210b，如图4(b)中虚线箭头212b、214b所示那样，根据第一帧204的左眼用影像数据202a的被摄体“C”和、横跨第二帧206的左眼用影像数据202a和右眼用影像数据202b的图4(b)中虚线表示的被摄体216，生成插值帧208。当再生这样的插值帧208时，在第一帧204、第二帧206之间，字符串的位置发生不恰当的变化，导致发生影像紊乱。

因此，矢量导出部158在导出运动矢量时，在横跨左眼用影像数据和右眼用影像数据时不执行基准部分影像数据和对象部分影像数据的比较。以下，详细说明该动作。

图5是用于说明基准部分影像数据和对象部分影像数据的说明图。矢量导出部158设定例如不重复地分割第一帧204的有效影像数据而得的各基准部分影像数据(在图5中，作为例子图示了一个基准部分影像数据222)。基准部分影像数据是第一帧204中的成为比较源的影像数据。

另外，矢量导出部158根据成为运动矢量的候补的矢量(候补矢量)，来设定第二帧206中的被分割为预定的尺寸的区域的对象部分影像数据。候补矢量是根据占有基准部分影像数据的移动体在一帧移动的最大范围设定的、表示从第一帧204的基准部分影像数据的中心的坐标到第二帧206的对象部分影像数据的中心的坐标为止的朝向和大小的预先准备的多个矢量。

在此，在从基准部分影像数据移动了上述的候补矢量数量的位置上，通过与基准部分影像数据相同的大小，根据候补矢量决定的对象部分影像数据，只定义候补矢量的个数。

对象部分影像数据是第二帧206中的比较对象的部分影像数据，矢量导出部158根据候补矢量，例如将成为其中心的像素数据逐一移位，并将重复的多个部分影像数据设定为对象部分影像数据。在本实施方式中，为了便于理解，以彼此不重复的对象部分影像数据224a～224l为例进行说明。

如图5所示那样，矢量导出部158，例如在设定了包含被摄体“A”的字符的第一帧204的基准部分影像数据22时，设定对象部分影像数据224a～224l。然后，比较一个基准部分影像数据和多个对象部分影像数据，关于各像素数据的辉度值，例如使用差分绝对值和(SAD)法等来导出相关值。SAD法在基准部分影像数据和对象部分影像数据之间，即块之间，将相同位置上的像素数据配成像素数据对时，在块范围内对在像素数据对间计算的辉度值的差分绝对值进行累计，计算累计值。在使用该累计值调查相关时，累计值最小时，相关值最大。

矢量导出部158在导出相关值时，针对每个基准部分影像数据，将与导出的对象部分影像数据的相关值与候补矢量关联起来，保存在未图示的作业区域(存储器)。然后，对与新导出的其它的对象部分影像数据的相关值和所保存的相关值进行比较，在新的相关值大于所保持的相关值时，更新该相关值和候补矢量。通过该结构，在关于比较源的基准部分影像数据的相关值的导出结束的时刻，所保持的相关值是关于比较源的基准部分影像数据的最大的相关值。矢量导出部158将与该最高相关值关联起来的候补矢量作为关于第一帧204中的比较源的基准部分影像数据的运动矢量。

但是，例如如果比较了基准部分影像数据222和在基准部分影像数据222附近的部分影像数据224i，则因为各影像数据(基准部分影像数据222、部分影像数据224i)包含相同被摄体“A”的字符，所以相关值变高，如使用图4(b)所说明的那样，有生成了基准部分影像数据222移动到对象部分影像数据224i这样的、基于错误运动矢量的插值帧208的情形。

因此，本实施方式的矢量导出部158使用表示基准部分影像数据222以及对象部分影像数据224i是左眼用影像数据202a的一部分，还是右眼用影像数据202b的一部分，即属于左眼用影像数据202a和右眼用影像数据202b中的哪一个的影像数据的影像信息(标志)来导出相关值。影像信息是根据影像取得部148与立体影像数据一同取得的同步信号，由左右判断部154附加到各单位影像数据的信息。

具体来讲，左右判断部154具有通过在同步信号中包含的水平同步信号进行重置的水平点计数器，将水平点计数器的计数值设为hcnt。此时，左右判断部154对到达左眼用影像数据202a和右眼用影像数据202b的边界位置的值为止的单位影像数据赋予表示左眼用影像数据202a的影像信息“L”，对剩余的单位影像数据赋予表示右眼用影像数据202b的影像信息“R”。在此，边界位置的值因立体影像数据的有效范围、左眼用影像数据202a的右端与右眼用影像数据202b的左端之间的空白宽度而不同，因此根据立体影像数据任意地设定。关于影像信息，例如分别用一比特的信息“0”、“1”表示“L”、“R”。然后，左右判断部154在计数完一行数量的总象素数时，根据下一个水平同步信号重置计数值hcnt。另外，单位影像数据是通过预定的像素单位来划分的影像数据。另外，当单位影像数据的大小与基准部分影像数据及对象部分影像数据的大小相等时，能够减少运算量。

另外，影像取得部148在取得了使用上下方式收录的立体影像数据时，左右判断部154还可以具有通过同步信号中包含的、通过垂直同步信号重置的垂直行计数器，将垂直行计数器的值设为vcnt。此时，左右判断部154对到达左眼用影像数据202a和右眼用影像数据202b的边界位置的值为止的单位影像数据赋予表示左眼用影像数据202a的影像信息“L”、对剩余的单位影像数据赋予表示右眼用影像数据202b的影像信息“R”。在此，边界位置的值根据立体影像数据的有效范围的空白宽度而不同，因此根据立体影像数据来任意地设定。在此，关于影像信息，例如也是一比特的信息“0”、“1”分别表示“L”、“R”。然后，左右判断部154在计数完一行数量的总像素数时，根据垂直同步信号来重置计数值vcnt。

左右判断部154通过在左眼用影像数据202a和右眼用影像数据202b的判断中使用包含在已存在的影像系统(例如电视广播)中的同步信号，能够不伴随影像系统的大的改变地、高精度地导出运动矢量。

另外，影像取得部148在从记录介质124或通信网126中取得立体影像数据时，如果针对构成立体影像数据的每个预定的单位影像数据(例如预定数量的像素数据)赋予表示该单位影像数据属于左眼用影像数据202a和右眼用影像数据202b中的哪一个的影像信息，则左右判断部154也可以不工作。此时，矢量导出部158可以根据该影像信息来判断单位影像数据是左眼用影像数据202a的一部分还是右眼用影像数据202b的一部分，即属于左眼用影像数据202a和右眼用影像数据202b中的哪一个的影像数据。通过使用如此预先赋予的影像数据，立体影像显示装置100能够正确地判断单位影像数据是左眼用影像数据202a的一部分还是右眼用影像数据202b的一部分。

矢量导出部158根据影像信息来判断基准部分影像数据或对象部分影像数据属于左眼用影像数据202a和右眼用影像数据202b中的哪一个。关于在基准部分影像数据或对象部分影像数据中包含的、例如全部的像素数据，如果影像数据为“L”，则判断为左眼用影像数据202a，如果影像信息为“R”，则判断为右眼用影像数据202b。

然后，矢量导出部158在基准部分影像数据222的右眼用影像数据202b和对象部分影像数据224a～224l的右眼用影像数据202b之间、或基准部分影像数据222的左眼用影像数据202a和对象部分影像数据的左眼用影像数据202b之间导出相关值。

因此，矢量导出部158，如在图5中箭头230以及箭头232所示那样，针对在左眼用影像数据202a中包含的对象部分影像数据224a～224f进行与基准部分影像数据222的比较，针对包含在右眼用影像数据202b中的对象部分影像数据224g～224l进行与左眼用影像数据202a的基准部分影像数据222的比较(用“x”图示)。此时，矢量导出部158可以限制不进行设定从初始影像信息为“R”的对象部分影像数据224g～224l，限制不选择设定为对象部分影像数据的224a～224l中的、影像信息为“R”的对象部分影像数据224g～224l作为比较对象。

图6是用于说明基准部分影像数据和对象部分影像数据的其它关系的说明图。如在图6中所示那样，当分别在左眼用影像数据202a中包含基准部分影像数据222的一部分，在右眼用影像数据202b中包含剩余部分时，换言之，当在基准部分影像数据222中包含影像信息为“R”的像素数据和影像信息为“L”的像素数据的两方时，矢量导出部158限制基准部分影像数据为包含在左眼用影像数据202a或右眼用影像数据202b的某一方中的数据部分。例如，在图6的例子中，在显示基准部分影像数据时，限制为在块的中心像素存在的一方中包含的数据部分，使基准部分影像数据的区域从正方形缩小为长方形。即，矢量导出部158重新设定为仅包含左眼用影像数据或右眼用影像数据的一方的、除去了阴影线的区域的基准部分影像数据222b。

此时，矢量导出部158关于对象部分影像数据(例如224m～224r)的区域也与基准部分影像数据222b的区域匹配地进行设定。

在图6中的情形下，矢量导出部158也将在第一帧204和第二帧206中的、将基准部分影像数据222b和对象部分影像数据224m～224r的比较限制在左眼用影像数据202a之间。因此，矢量导出部158能够避免导出错误的运动矢量，从而高精度地导出运动矢量。

在此，矢量导出部158不导出错误的运动矢量，因此，插值生成部160不会生成基于错误的运动矢量的插值帧。并且，立体影像显示装置100能够通过将进行了帧间的插值的立体影像数据显示在显示器110上，使视听者感知到无噪声的、美妙的立体影像。

频率变换存储器162存储从影像处理部152输出的一帧数量(第一帧204或第二帧206)的立体影像数据和从插值生成部160输出的插值帧208，将这些立体影像数据以两倍的帧频率按时序顺读出，输出到临时存储器164。

临时存储器164，例如是由RAM、非易失性存储器RAM、闪速存储器等记录介质构成，临时存储从频率变换存储器162输出的、插入了插值帧208的频率变换后的立体影像数据。

行顺序部166通过控制保持在临时存储器164中的、插入了插值帧的立体影像数据(以下简单称为插补后立体影像数据)的读写地址，交替地并排配置插值后立体影像数据中的右眼用影像数据202b的水平行影像数据和左眼用影像数据202a的水平行影像数据，生成顺序影像数据，输出到影像输出部168。

其中，并排方式中的左眼用影像数据202a和右眼用影像数据202b的水平分辨率成为原立体影像数据的1/2，因此必须将该水平分辨率增大为两倍。伴随水平分辨率增大的新的像素数据的生成，能够使用线性插补或其它的滤波。另外，根据立体影像数据的收录方式、或立体影像数据的输入时和输出时的格式的水平方向的像素数的比例来适当地调整水平分辨率的倍率。然后，行顺序部166在水平分辨率增大的同时将垂直分辨率压缩为1/2，由此生成行顺序影像数据，输出到影像输出部168。

影像输出部168将行顺序部166输出的行顺序影像数据输出到外部的显示器110。

如上述那样，本实施方式的立体影像显示装置100仅从左眼用影像数据202a之间、或右眼用影像数据202b之间导出运动矢量。因此，能够避免导出横跨左眼用影像数据202a和右眼用影像数据202b的、错误的运动矢量，高精度地导出运动矢量，在帧频率的高速化处理或数据压缩处理等中，能够提高帧插补的精度、也能够提高去除电影抖动的精度。

(运动矢量导出方法)

另外，还提供使用了上述的立体影像显示装置100的运动矢量导出方法。图7是表示运动矢量导出方法的处理的流程的流程图。

影像取得部148在取得立体影像数据及同步信号时(S300的“是”)，左右判断部156根据在取得步骤S300中取得的同步信号，来判断立体影像数据的单位影像数据属于左眼用影像数据202a和右眼用影像数据202b中的哪一个，对每个单位影像数据附加影像信息(S302)。

矢量导出部158分割第一帧204的有效影像数据，设定多个基准部分影像数据(S304)，设定由在第二帧206中所设定的基准部分影像数据的中心的坐标和候补矢量决定的对象部分影像数据(S306)。

矢量导出部158根据影像信息来判断基准部分影像数据及对象部分影像数据属于左眼用影像数据或右眼用影像数据的哪一个的影像数据(S308)，如果双方的影像数据不一致(S308的“否”)，则将该对象部分影像数据从比较对象中除去(S310)。即，如果基准部分影像数据是右眼用影像数据的一部分，则将作为左眼用影像数据的一部分的对象部分影像数据从比较对象中除去，如果基准部分影像数据是左眼用影像数据的一部分，则将作为右眼用影像数据的一部分的对象部分影像数据从比较对象中除去。当双方的影像信息一致时(S308的“是”)，矢量导出部158不进行除去步骤(S310)。

接着，矢量导出部158针对所有的候补矢量，判断是否完成了对象部分影像设定步骤(S306)(S312)，当未完成时(S312的“否”)，返回到对象部分影像设定步骤(S306)，设定下一个对象部分影像数据。

当已经针对所有的矢量完成了对象部分影像设定步骤(S306)时(S312的“是”)，矢量导出部158分割有效影像数据，判断是否完成了设定基准部分影像数据的基准部分影像设定处理步骤(S308)(S314)。当未完成时(S314的“否”)，返回到基准部分影像数据设定步骤(S304)。

当已经针对所有的分割了有效影像数据后的部分影像数据完成了基准部分影像设定步骤(S308)时(S314的“是”)，矢量导出部158针对第一帧204中的多个基准部分影像数据的每一个，与第二帧206中的多个基准部分影像数据进行比较，针对各基准部分影像数据中的每个对象部分影像数据导出表示相关的强度的相关值(S316)。在此，矢量导出部158不导出关于在除去步骤(S310)中从比较对象中除去的对象部分影像数据的相关值。

然后，矢量导出部158关于各基准部分影像数据，提取与基准部分影像数据相关值最大的对象部分影像数据，将与该对象部分影像数据关联起来的候补矢量作为运动矢量(S318)。插值生成部160根据矢量导出部158导出的运动矢量和第一帧204以及第二帧206，生成对第一帧204和第二帧206进行插补的插值帧208(S320)。

频率变换存储器162存储从影像处理部152输出的一帧数量的立体影像数据和从插值生成部160输出的插值帧208，将这些立体影像数据以两倍的帧频率按时序顺输出到临时存储器164(S322)。行顺序部166分别交替地并排配置右眼用影像数据202b及左眼用影像数据202a的水平行影像，生成行顺序影像数据(S324)。影像输出部168将行顺序影像数据输出到外部显示器110(S326)。

如上述那样，通过使用了立体影像显示装置100的运动矢量导出方法，能够避免导出错误的运动矢量，高精度地导出运动矢量，因此能够使视听者辨别没有噪声的立体影像。

以上，参照附图对本发明的优选实施方式进行了说明，但是，本发明并不限于该实施方式。如果是本领域的技术人员则能够在权利要求的范围内想到各种变更例或修正例，关于这些，当然属于本发明的技术范围。

另外，关于本说明书中记载的运动矢量导出方法中的各处理过程，也未必一定沿着流程图所记载的顺序、按照时序顺进行处理，可以包含并列的或子程序的处理。

产业上的利用可能性

本发明能够在根据用于感知因两眼视差产生立体影像的立体影像数据，导出运动矢量的立体影像显示装置以及运动矢量导出方法中使用。

Claims (6)

1.一种立体影像显示装置，其特征在于，

该立体影像显示装置具备：

影像取得部，其取得用于感知因两眼视差产生的立体影像的、由左眼用影像数据和右眼用影像数据的组合构成的立体影像数据；以及

矢量导出部，其分别导出表示基准部分影像数据与多个对象部分影像数据之间的相关的强度的相关值，针对各个所述基准部分影像数据，提取所述导出的相关值最大的所述对象部分影像数据，导出所述基准部分影像数据与所述提取出的对象部分影像数据之间的运动矢量，其中所述基准部分影像数据是将所述立体影像数据的任意的第一帧分割而得的区域的影像数据，所述多个对象部分影像数据是将不同于所述立体影像数据的第一帧的第二帧分割而得的区域的影像数据、且成为所述基准部分影像数据的比较对象，

所述矢量导出部在所述基准部分影像数据的所述右眼用影像数据和所述对象部分影像数据的所述右眼用影像数据之间、或所述基准部分影像数据的所述左眼用影像数据和所述对象部分影像数据的所述左眼用影像数据之间导出所述相关值；

其中，当在所述基准部分影像数据中包含所述右眼用影像数据的像素数据和所述左眼用影像数据的像素数据的两方时，所述矢量导出部限制所述基准部分影像数据为包含在所述左眼用影像数据或所述右眼用影像数据的某一方中的数据部分。

2.根据权利要求1所述的立体影像显示装置，其特征在于，

所述立体影像显示装置还具备左右判断部，其根据与所述立体影像数据一同输入的同步信号来判断通过预定的像素单位划分所述立体影像数据而得的影像数据即单位影像数据属于所述左眼用影像数据和所述右眼用影像数据中的哪一个，对每个所述单位影像数据附加表示该单位影像数据是属于所述左眼用影像数据和所述右眼用影像数据中的哪一个的影像数据的影像信息。

3.根据权利要求1或2所述的立体影像显示装置，其特征在于，

在构成所述立体影像数据的预定的单位影像数据中附加有表示该单位影像数据是属于所述左眼用影像数据和所述右眼用影像数据中的哪一个的影像数据的影像信息，其中所述单位影像数据是通过预定的像素单位来划分的影像数据，

所述矢量导出部根据所述影像信息来判断所述单位影像数据是属于所述左眼用影像数据和所述右眼用影像数据中的哪一个的影像数据。

4.一种运动矢量导出方法，其特征在于，

取得用于感知因两眼视差产生的立体影像的、由左眼用影像数据和右眼用影像数据的组合构成的立体影像数据，

在基准部分影像数据的所述右眼用影像数据和对象部分影像数据的所述右眼用影像数据之间、或所述基准部分影像数据的所述左眼用影像数据和所述对象部分影像数据的所述左眼用影像数据之间分别导出表示基准部分影像数据与多个对象部分影像数据之间的相关的强度的相关值，其中所述基准部分影像数据是将所述立体影像数据的任意的第一帧分割而得的区域的影像数据，所述多个对象部分影像数据是将不同于所述立体影像数据的第一帧的第二帧分割而得的区域的影像数据、且成为所述基准部分影像数据的比较对象，

针对各所述基准部分影像数据，提取所述导出的相关值最大的所述对象部分影像数据，导出所述基准部分影像数据与所述提取出的对象部分影像数据之间的运动矢量；

其中，当在所述基准部分影像数据中包含所述右眼用影像数据的像素数据和所述左眼用影像数据的像素数据的两方时，限制所述基准部分影像数据为包含在所述左眼用影像数据或所述右眼用影像数据的某一方中的数据部分。

5.根据权利要求4所述的运动矢量导出方法，其特征在于，

根据与所述立体影像数据一同输入的同步信号来判断通过预定的像素单位划分所述立体影像数据而得的影像数据即单位影像数据属于所述左眼用影像数据和所述右眼用影像数据中的哪一个，对每个所述单位影像数据附加表示该单位影像数据是属于所述左眼用影像数据和所述右眼用影像数据中的哪一个的影像数据的影像信息。

6.根据权利要求4或5所述的运动矢量导出方法，其特征在于，

在构成所述立体影像数据的预定的单位影像数据中附加有表示该单位影像数据是属于所述左眼用影像数据和所述右眼用影像数据中的哪一个的影像数据的影像信息，其中所述单位影像数据是通过预定的像素单位来划分的影像数据，

根据所述影像信息来判断所述单位影像数据是属于所述左眼用影像数据和所述右眼用影像数据中的哪一个的影像数据。

Images