CN103179411B - 图像处理装置及方法、以及图像显示装置 - Google Patents

Abstract

本发明的实施方式涉及图像处理装置及方法、以及图像显示装置。使画面成为正常视觉区域。图像处理装置(12)具备第1取得部(30)、第2取得部(36)、校正部(32)以及第1生成部(40)。第1取得部(30)取得相互具有视差的多个视差图像。第2取得部(36)在将对矩阵状地配置了包括多个视差图像各自的像素的要素图像的立体图像进行显示的显示装置(14)的显示区域分割为包括至少1个要素图像的多个区域而得到的各区域中，取得从预定的视点位置应被观察的视差图像的识别信息。校正部(32)将所取得的视差图像中的与各区域对应的位置的像素校正为通过识别信息确定的视差图像的像素。第1生成部(40)根据校正后的视差图像生成立体图像。

Description

图像处理装置及方法、以及图像显示装置

(优先权基础申请等关联申请的引用)

本申请以日本专利申请2011-280468(申请日：2011年12月21日)为基础，从该申请享受优先权。本申请通过参照该申请，包括该申请的所有内容。

技术领域

本发明的实施方式涉及图像处理装置及方法、以及图像显示装置。

背景技术

存在使视听者观察立体图像的图像显示装置。在图像显示装置中，在排列了多个像素的显示面板的前表面，设置用于控制来自各像素的光线的射出方向的光线控制部，显示相互具有视差的多个视差图像。

例如，在如幕布和显示器等那样显示区域自身能够弯曲的情况、由于经年变化而面板和镜头的一部分变形或者剥离的情况下，在这样的图像显示装置中，视听者观看的图像看起来不立体。

发明内容

本实施方式的目的在于提供一种能够使画面成为正常视觉区域的图像处理装置及方法、以及图像显示装置。

根据实施方式，图像处理装置具备第1取得部、第2取得部、校正部以及第1生成部。第1取得部取得相互具有视差的多个所述视差图像。第2取得部在将显示所述立体图像的显示区域分割为包括至少1个所述要素图像的多个区域而得到的各区域中，取得从预定的视点位置应被观察的视差图像的识别信息。校正部将所述视差图像中的与所述区域对应的位置的像素校正为通过所述识别信息确定的视差图像的像素。第1生成部根据校正后的所述视差图像生成所述立体图像。

根据本实施方式，能够提供能够使画面成为正常视觉区域的图像处理装置及方法、以及图像显示装置。

附图说明

图1是实施方式1的图像显示装置的概略图。

图2是示出显示装置的示意图。

图3是示出显示装置的示意图。

图4是从要素图像的各像素射出的光线方向的说明图。

图5是示出构成要素图像的像素的示意图。

图6是光线方向均匀的情况下的示意图。

图7是光线方向不均匀的情况下的示意图。

图8是实施方式1的图像处理装置的框图。

图9是示出实施方式1的图像处理的步骤的流程图。

图10是示出视差图像的校正的示意图。

图11是示出要素图像的各像素的亮度分布的图。

图12是实施方式2的图像处理装置的框图。

图13是示出亮度分布的一个例子的图。

图14是示出显示装置与视点位置m的位置关系的图。

图15是示出实施方式2的图像处理的步骤的流程图。

图16是示出视差图像的校正的示意图。

图17是示出亮度分布的校正的示意图。

图18是实施方式3的图像处理装置的框图。

图19是示出滤波器系数的插值的示意图。

具体实施方式

(实施方式1)

本实施方式的图像处理装置能够应用于视听者能够用裸眼观察立体图像的TV(电视)、PC(PersonalComputer，个人电脑)、智能手机、数码相框等图像显示装置。立体图像是指，包括相互具有视差的多个视差图像的图像。另外，实施方式中叙述的图像既可以是静止图像也可以是运动图像。

图1是本实施方式的图像显示装置10的概略图。图像显示装置10具备显示装置14、以及图像处理装置12。

显示装置14显示立体图像。显示装置14例如采用积分成像方式(II方式)、多眼方式等3D显示方式。

显示装置14具备显示面板20和光线控制部22。显示面板20是在第1方向(例如，图1中的行方向(左右))和第2方向(例如，图1中的列方向(上下))上矩阵状地排列了具有颜色成分的多个子像素(例如，R、G、B)的液晶面板。在该情况下，在第1方向上排列的RGB各色的子像素构成1个像素。另外，将在第1方向排列了视差数量的邻接的像素而得到的像素群中显示的图像称为要素图像。即，显示装置14显示矩阵状地排列了多个要素图像的立体图像。显示装置14的子像素的排列也可以是其他公知的排列。另外，子像素不限于RGB这3色。例如，也可以是4色以上。

在显示面板20中，使用直视型二维显示器、例如有机EL(OrganicElectroLuminescence，有机电致发光)、LCD(LiquidCrystalDisplay，液晶显示器)、PDP(PlasmaDisplayPanel，等离子显示器)、投射型显示器等。另外，显示面板20也可以是具备背光源的结构。

光线控制部22相对显示面板20隔开间隔而对向地配置。光线控制部22控制来自显示面板20的各像素的光线的射出方向。关于光线控制部22，使用于射出光线的光学性的开口部直线状地延伸，并在第1方向排列多个该光学性的开口部。在光线控制部22中，使用例如排列了多个柱面透镜的光栅片、排列了多个狭缝的视差屏障等。与显示面板20的各要素图像对应地配置光学性的开口部。

另外，在本实施方式中，说明图像显示装置10是在第2方向排列同一颜色成分的子像素、并且在第1方向反复排列各颜色成分的“纵条状排列”的情况。另外，在本实施方式中，说明以使其光学性的开口的延伸方向与显示面板20的第2方向一致的方式，配置了光线控制部22的情况。

另外，也可以以使其光学性的开口的延伸方向相对显示面板20的第2方向具有倾斜的方式，配置光线控制部22。

图2是将显示装置14的一部分的区域放大而示出的示意图。另外，图2中的符号(1)～(3)分别表示视差图像的识别信息。另外，在本实施方式中，作为视差图像的识别信息，使用对视差图像的各个唯一地赋予的视差编号。同一视差编号的像素是显示同一视差图像的像素。在图2所示的例子中，按照视差编号1～3的顺序，排列通过各视差编号确定的视差图像的像素，而作为要素图像24。图2的例子中的视差数是3视差(视差编号1～3)，但也可以是其他视差数(例如，视差编号1～9的9视差)。

如图2所示，在显示面板20中，在第1方向以及第2方向上矩阵状地排列了要素图像24。在视差数是3的情况下，各要素图像24是在第1方向依次排列了视差图像1的像素24₁、视差图像2的像素24₂、视差图像3的像素24₃的像素群。

各要素图像24中的、从各视差图像的像素(像素24₁～像素24₃)射出的光线到达光线控制部22。然后，通过光线控制部22，控制行进方向和散射，朝向显示装置14的整个面射出。例如，各要素图像24中的、从视差图像1的像素24₁射出的光向箭头Z1方向射出。另外，各要素图像24中的从视差图像2的像素24₂射出的光向箭头Z2方向射出。另外，各要素图像24中的从视差图像3的像素24₃射出的光向箭头Z3方向射出。这样，在显示装置14中，通过光线控制部22调整从各要素图像24的各像素射出的光的射出方向。

图3是示出视听者18观察了显示装置14的状态的示意图。在显示面板20中显示由多个要素图像24构成的立体图像。于是，视听者18在左眼18A以及右眼18B的各个视点位置m(m2、m1)观察要素图像24中包含的不同的视差图像的像素。这样，通过针对视听者18的左眼18A以及右眼18B，分别显示视差不同的图像，能够使视听者18观察立体图像。

此处，将从各要素图像24的各像素射出的光经由光线控制部22，向预先设定的方向射出。但是，从各要素图像24的各像素射出的光有时向与预先设定的方向不同的方向射出。因此，显示装置14中显示的立体图像的各要素图像24中的、从相同的视差编号的像素射出的光有时向不同的方向射出，而在显示装置14的显示区域整体中产生偏差。

图4是说明从各要素图像24的各像素射出的光线方向的图。图4(A)示出从各要素图像24的像素(24₁～24₃)射出的光向预先设定的方向射出的情况。

如图4(A)所示，在例如预先设定的状态下，要素图像24中的、从视差编号3的像素24₃射出的光线经由光线控制部22向箭头Z3方向射出。另外，要素图像24中的、从视差编号2的像素24₂射出的光线经由光线控制部22向箭头Z2方向射出。另外，要素图像24中的、从视差编号1的像素24₁射出的光线经由光线控制部22向箭头Z1方向射出。

图4(B)是示出从各要素图像24的像素(24₁～24₃)射出的光向与预先设定的方向不同的方向射出的情况的示意图。如图4(B)所示，要素图像24中的、从视差编号3的像素24₃射出的光线有时经由光线控制部22向箭头Z2方向而并非箭头Z3方向射出。另外，要素图像24中的、从视差编号2的像素24₂射出的光线有时经由光线控制部22向箭头Z3方向而并非箭头Z2方向射出。

认为由于例如下述主要原因而产生这样的从各要素图像24的像素射出的光线方向的偏差。例如，可以举出显示装置14中的显示区域的歪斜、显示装置14的经年劣化、显示面板20和光线控制部22的间隙不均等。如果产生了显示装置14的经年劣化，则有显示面板20和光线控制部22的一部分剥离、或者在显示面板20与光线控制部22的间隙中产生不均的情况。

因此，在显示装置14的显示区域整体中，有时在从各要素图像24的同一视差编号的像素射出的光线方向上产生偏差。

如果产生这样的偏差，则成为虽然在显示装置14的某区域中能观察到良好的立体图像，但在某区域中无法观察立体图像的状态。

进一步具体说明该现象。

图5是示出视差数是9的情况下的、构成要素图像24的像素(24₁～24₉)的示意图。各像素(24₁～24₉)分别是通过视差编号1～视差编号9分别确定的视差图像的像素。

图6是示出在视差数是9的情况下，从同一视差编号的像素射出的光线方向均匀的情况的图。另外，光线方向均匀是指，从各要素图像24的各视差编号的像素射出的光线方向与预先设定的方向一致的状态。更具体而言，表示从某视点位置(单眼)在各区域P之间观察通过同一视差编号确定的视差图像的像素。

另外，区域P是指，将显示装置14中的立体图像的显示区域分割为多个区域时的各区域P。可以预先设定将显示装置14中的立体图像的显示区域分割为多个区域P时的分割方法。例如，既可以将显示装置14中的与各要素图像24对应的各个区域作为区域P，也可以每多个要素图像24设定1个区域P。另外，在本实施方式中，将显示装置14中的立体图像的显示区域中的与各要素图像24对应的区域作为将显示装置14中的立体图像的显示区域分割为多个区域时的区域P进行说明。

另外，视点位置表示对立体图像进行视听的视听者的位置。更具体而言，视点位置表示视听者的单眼的位置。

图6(A)是示出在光线方向均匀的情况下，从某视点位置在显示装置14的显示区域的各区域P(Pa～Pe)中观察的视差图像的视差编号的图。另外，设为从视点位置m应被观察的视差图像是视差编号为5的视差图像。在该情况下，如图6(A)所示，如果视听者从某视点位置m用单眼观察了显示装置14，则能够在显示装置14的全部区域内观察视差编号5的视差图像。

即，如图6(B)所示，在视点位置m，从显示装置14，从各区域Pa～Pe，入射来自视差编号为5的视差图像的像素的光。同样地，如果视听者用另一方的单眼观察了显示装置14，则作为应被观察的视差编号的视差图像，能够观察到例如视差编号为3(图示省略)的视差图像。因此，在光线方向均匀的情况下，如果视听者用双眼观察了显示装置14，则不论使视线偏向将显示装置14的整个区域分割为多个区域而得到的区域的哪一个区域P，都能够观察立体图像。

图7是示出在视差数是9的情况下，从同一视差编号的像素射出的光线方向不均匀的情况的图。另外，光线方向不均匀是指，在从各要素图像24的各视差编号的像素射出的光线方向中，包含与预先设定的方向不同的方向的情况。更具体而言，表示从某视点位置(单眼)在各区域P之间观察通过不同的视差编号确定的视差图像的像素。

图7(A)是示出在光线方向不均匀的情况下，从某视点位置，在显示装置14的显示区域的各区域P(Pf～Pj)中观察的视差图像的视差编号的图。另外，设为从视点位置m应被观察的视差图像是视差编号为5的视差图像。在该情况下，在光线方向不均匀的情况下，如果视听者从某视点位置m用单眼观察了显示装置14，则在各区域中观察到不同的视差编号的视差图像。例如，如图7(A)所示，产生观察到视差编号5的区域Ph、观察到视差编号1的区域Pf、以及观察到视差编号9的区域Pi。

即，如图7(B)所示，在视点位置m，从显示装置14的各区域Pf～Pj，入射来自不同的视差编号(1、4、5、9)的视差图像的像素的光。因此，在光线方向不均匀的情况下，如果视听者用双眼观察显示装置14，则基于显示装置14上的区域P，产生能够观察立体图像的区域、和无法观察立体图像的区域(逆视区域)。

如上所述，由于显示装置14的歪斜等，从显示装置14的各区域P中包含的要素图像24的各视差图像的像素射出的光线方向有时射向与假想的方向不同的方向。于是，观察到与从某视点位置应被观察的视差编号不同的视差编号的视差图像，画面整个区域不成为正常视觉区域，而无法实现立体视觉。因此，有时在显示装置14的显示区域上，产生能够观察立体图像的区域P、和无法观察立体图像的区域P。

因此，在本实施方式中，图像处理装置12根据视点位置、和在将显示装置14分割为多个区域而得到的各区域P的各像素中从该视点位置应被观察的像素的视差图像的视差编号(识别信息)，将视差图像中的、与校正对象的区域P对应的位置的像素校正为该应观察的像素。然后，将根据校正后的视差图像生成的立体图像显示于显示装置14。

因此，在本实施方式的图像处理装置12中，能够使画面成为正常视觉区域。

以下，详细说明本实施方式的图像处理装置12。

图8是示出图像处理装置12的框图。图像处理装置12具备第1取得部30、校正部32、第1存储部34、第2取得部36、第2存储部38、第1生成部40以及输出部42。

第1取得部30取得立体图像中使用的多个(K个(K是2以上的整数))视差图像。第1取得部30将所取得的视差图像输出给校正部32。

第1存储部34将各区域P和视点位置对应起来，存储表示从该视点位置应被观察的视差图像的视差编号的第1视差编号。该视点位置如上所述，表示视听者的实际空间上的位置。更详细而言，在本实施方式中，视点位置表示视听者的眼睛(即单眼)的位置。另外，该视点位置表示实际空间上的三维位置坐标。另外，第1存储部34存储各区域P的显示装置14的显示区域上的位置而作为区域P。

第1视差编号表示在从对应的视点位置观察了对应的区域P时应观察的视差图像的视差编号。在图像显示装置10中，将和视点位置与区域P的位置关系对应的第1视差编号预先存储到第1存储部34。另外，也可以预先通过实验、仿真等求出和各视点位置与区域P对应的第1视差编号，并存储到第1存储部34。

第2存储部38预先存储视听者的单眼的位置即视点位置。对于该视点位置，预先设定能够观察显示装置14的实际空间上的任意一个位置(三维位置坐标)即可。另外，在本实施方式中，说明预先存储1个视点位置的情况，但也可以存储多个视点位置。

另外，在本实施方式中，说明预先存储视点位置的情况，但也可以从外部装置读取。另外，也可以设为将检测部(图示省略)设置于图像显示装置10中，通过从该检测部检测视听者的单眼的位置来取得视点位置。在检测部中，使用照相机、传感器等。另外，检测部也可以通过检测实际空间上的视听者的左眼的三维位置坐标、以及右眼的三维位置坐标的至少一方，来检测视点位置。

第2取得部36从第1存储部34取得与视听者的视点位置和校正对象的区域P对应的第1视差编号。即，第2取得部36从第1存储部34取得从视点位置在校正对象的区域P中应被观察的像素的视差编号。

另外，在第1存储部34中，作为从1个视点位置在各区域P中应被观察的视差图像的第1视差编号，将在该各区域P之间相同的视差编号对应起来存储。因此，第2取得部36优选作为从某视点位置在各区域P应被观察的视差图像的第1视差编号，取得在该各区域之间相同的视差编号。

校正部32根据视点位置、和从该视点位置在各区域P的像素中应被观察的第1视差编号，将从第1取得部30取得的视差图像中的、与区域P对应的位置的像素校正为通过第1视差编号确定的视差图像的像素。

然后，校正部32将校正了的视差图像(校正视差图像)输出给第1生成部40。第1生成部40根据多个校正视差图像生成立体图像，输出给输出部42。输出部42将从第1生成部40接收到的立体图像显示于显示装置14的显示面板20。

另外，第1取得部30、校正部32、第2取得部36、第1生成部40、以及输出部42通过CPU(CentralProcessingUnit，中央处理单元)来实现。第1存储部34、第2存储部38通过CPU使用的存储器、硬盘驱动器装置(HDD)等存储介质来实现。

接下来，详细说明由校正部32校正视差图像的校正处理。

校正部32指定在将显示装置14的显示区域分割为多个区域P时的全部区域P内的、校正对象的1个区域P。另外，将显示装置14的各区域P的位置坐标设为(i，j)^T。T表示转置。i是显示装置14中的第1方向的坐标(也可以是索引)。j是显示装置14中的第2方向的坐标(也可以是索引)。在各视差图像中，坐标(i，j)设为共同的。

此处，区域P的位置坐标(i，j)^T中包含的要素图像24由视差数K(K是1以上的整数)的视差图像的像素群构成。因此，校正前的各区域P的像素群y(i，j)如下述式(1)。

y(i，j)=(y₁(i，j)，…，y_K(i，j))^T…(1)

在式(1)中、y₁～y_K的下标(₁～_K)表示视差编号。K表示视差数。y(i，j)表示根据由第1取得部30取得的视差图像生成的立体图像中的、构成1个区域P(要素图像24)的各视差编号的像素群。另外，y₁(i，j)表示视差编号为1的视差图像中的坐标(i，j)的像素值。另外，在式(1)中，“，…，”表示式(1)中的K值是大于等于2小于K-1的各视差编号的视差图像中的坐标(i，j)的像素值。同样地，y_K(i，j)表示视差编号K的视差图像中的坐标(i，j)的像素值。即，y(i，j)表示根据由第1取得部30取得的视差图像(校正前的视差图像)生成的立体图像中的、1个区域P(要素图像24)的像素值。

校正部32使用区域P的位置坐标(i，j)^T、以及与视点位置对应的、应观察的第1视差编号k_dst的视差图像的像素L(i，j)，校正各视差编号的视差图像中的坐标(i，j)的像素值。

具体而言，校正部32首先使用下述式(2)，求出用于校正各视差图像中的坐标(i，j)的像素值(y₁(i，j)～y_K(i，j))的校正值c。

c=k_dst-L(i，j)…(2)

然后，校正部32使用通过式(2)计算出的校正值c，将式(1)中的各像素值(y₁(i，j)～y_K(i，j))分别校正为通过下述式(2A)表示的视差编号为k’的视差图像中的相同的位置坐标的像素值。

k'=mod(k+c，K)式(2A)

在式(2A)中、k表示校正前的视差编号。K表示视差数。c如上述式(2)所示。k’表示校正后的视差编号。

即，校正部32将把对视差编号k加上了上述校正值c的加法值除以视差数K而得到的剩余的值即k’作为校正后的视差编号。然后，将与区域P对应的位置的视差图像的像素校正为通过校正后的视差编号所确定的视差图像的像素。

因此，校正后的各区域P的像素群x(i，j)如下述式(3)所示。

x(i，j)=(x₁(i，j),…，x_K(i，j))^T…(3)

在式(3)中、x₁～x_K的下标(₁～_K)表示校正后的视差编号。即，在式(3)中、x₁～x_K的下标(₁～_K)是使用上述式(2A)对通过校正前的视差编号即式(1)中的y₁～y_K的下标(₁～_K)表示的视差编号进行了校正之后的视差编号。

另外，在式(3)中、K表示视差数。x(i，j)表示根据校正后的视差图像生成的立体图像中的、构成1个区域P(要素图像24)的像素群。另外，x₁(i，j)表示视差编号为1的视差图像中的坐标(i，j)的校正后的像素值。另外，在式(3)中，“，…，”表示式(3)中的K的值是大于等于2小于K-1的各视差编号中的坐标(i，j)的校正后的像素值。同样地，x_K(i，j)表示视差编号为K的视差图像中的坐标(i，j)的校正后的像素值。即，x(i，j)表示根据由校正部32校正之后的校正视差图像生成的立体图像中的、1个区域P(要素图像24)的像素值。

这样，在本实施方式的图像处理装置12中，以在将显示装置14分割为多个区域而得到的各区域P的各像素中，观察到从视点位置应被观察的第1视差编号的视差图像的像素的方式，校正由第1取得部30取得的视差图像。即，校正部32以显示应被观察的第1视差编号的视差图像的像素的方式，变更构成各区域P的要素图像24的多个视差图像的像素群的排列。因此，图像处理装置12以在各区域P中形成假想的视觉区域的方式，使视觉区域旋转。

接下来，说明由图像处理装置12执行的图像处理的步骤。图9是示出由本实施方式的图像显示装置10执行的图像处理的步骤的流程图。

首先，第1取得部30取得多个视差图像(步骤S100)。接下来，校正部32读取第2存储部38中存储的视点位置(步骤S104)。

接下来，图像处理装置12对下述步骤S106～步骤S108的处理，反复将显示装置14分割为预定的多个区域P的区域数量次数。

首先，第2取得部36从第1存储部34取得与在上述步骤S104中读取的视听者的视点位置和校正对象的区域P对应的第1视差编号(步骤S106)。通过步骤S106的处理，第2取得部36取得应从视点位置在校正对象的区域P中被观察的像素的视差编号。

接下来，校正部32进行校正处理(步骤108)。即，校正部32根据在步骤S104中取得的视点位置、和在上述步骤S106中取得的第1视差编号，将在上述步骤S100中取得的视差图像中的、与校正对象的区域P对应的位置的像素校正为应被观察的第1视差编号的像素。

通过针对显示装置14中的多个区域P的全部区域P执行步骤S106～步骤S108的处理，校正从第1取得部30取得的视差图像，生成校正视差图像。

接下来，第1生成部40根据校正视差图像生成立体图像(步骤S110)。接下来，输出部42将在步骤S110中生成的立体图像显示于显示面板20(步骤S112)，结束本例程。

图10是示出由第1取得部30取得的视差图像的校正的示意图。

图10(A)是示出在显示了根据由第1取得部30取得的视差图像生成的立体图像的情况下，从视点位置m在各区域P(P1～P5)中观察的视差编号的像素的示意图。如图10(A)所示，在光线方向不均匀的情况下，如果视听者从某视点位置m用单眼观察显示装置14，则针对显示装置14的每个区域P，观察到不同的视差编号的视差图像。

详细而言，如图10(A)所示，显示装置14上的各区域P1～P5各自中的要素图像24是连续排列了视差编号1～9的视差图像的像素的结构。而且，在来自显示装置14的各要素图像24的像素的光线方向不均匀的情况下，如果从视点位置m观察各区域P1～P5，则观察到以下的视差编号的像素。例如，对于区域P1，从视点位置m观察视差编号为1的像素，对于区域P2观察视差编号为4的像素，对于区域P3观察视差编号为5的像素。同样地，对于区域P4，从视点位置m观察视差编号为5的像素，对于区域P5，从视点位置m观察视差编号为9的像素。

另一方面，在本实施方式的图像处理装置12中，如上所述，校正部32根据视点位置m和第1视差编号，将由第1取得部30取得的视差图像中的、与校正对象的区域P对应的位置的像素校正为应被观察的第1视差编号的像素。

另外，设为从视点位置m在各区域P(P1～P5)中应被观察的像素是视差编号为5的像素。在该情况下，通过本实施方式的图像处理装置12进行上述图像处理，以使在各区域P1～P4中从视点位置m观察的像素的视差编号成为视差编号5的方式来校正视差图像的各像素。

因此，如果使用校正后的校正视差图像而将立体图像显示于显示装置14，则成为以在显示装置14的各区域P1～P4中，从视点位置m观察视差编号为5的像素的方式旋转了视觉区域的状态(参照图10(B))。因此，从各区域P(P1～P5)，视差编号为5的像素的光到达视点位置m。

通过这样以从视点位置m观察到应被观察的第1视差编号的像素的方式，校正视差图像中的、与各区域P对应的位置的像素，从而能够根据视点位置使画面整个区域为正常视觉区域。

如以上说明那样，在本实施方式的图像处理装置12中，以在将显示装置14分割为多个区域而得到的各区域P的各像素中，观察到从视点位置预定的应被观察的第1视差编号的视差图像的像素的方式，校正视差图像。然后，根据校正后的校正视差图像生成立体图像，显示于显示装置14。因此，即使在幕布和显示器由于经年变化而显示区域的一部分变形或者剥离等的情况下，也能够使画面整个区域为正常视觉区域，能够立体地观察图像。

另外，第1取得部30也可以根据所输入的一个图像生成各视差图像。或者，也可以根据所输入的立体图像生成各视差图像。另外，各个视差图像也可以包括相互具有视差的区域。即，即使包括成为同一视差的区域也可以。

(实施方式2)

在实施方式1中，说明了以在显示装置14上的各区域P中，观察到应被观察的第1视差编号的视差图像的像素的方式，校正由第1取得部30取得的视差图像，并根据校正后的校正视差图像生成立体图像的情况。

在本实施方式中，说明根据第1视差编号、以及与视点位置和各区域P的位置关系对应的亮度分布，校正视差图像的情况。

另外，亮度分布表示从显示装置14的各区域P射出的光线的亮度的角度分布。该角度表示例如第1方向(左右方向)的角度、或者第2方向(上下方向)的角度。在本实施方式中，说明角度是第2方向的角度的情况，但也可以是第1方向的角度、或者第1方向以及第2方向这双方的角度。

此处，说明到达位于某视点位置的单眼的光。图11是示出从某区域P的要素图像24射出的光线的亮度分布的图。

另外，在图11中，示出了相对光线控制部22中的光学性的开口部，将由视差数3、即视差编号为1的像素24₁、视差编号为2的像素24₂、以及视差编号为3的像素24₃构成的1个要素图像24配置于显示装置14的区域P1的情况。

如图11所示，从各像素(像素24₁～像素24₃的各个)射出的光经由光线控制部22射出。经由光线控制部22射出的光线具有宽度，所以如果在从光线控制部22离开一定距离的位置测量光线的亮度，则如图11所示，分布于某一定的范围内。此处，横轴表示位置、纵轴表示强度，像素24₁的亮度分布是506、像素24₂的光线分布是505、像素24₃的光线分布是504。

在从某视点位置m观察了显示装置14中的区域P1时到达单眼的光依照该亮度分布。即，到达视点位置m的光成为各像素24₁～像素24₃的像素值重叠了(例如被混色了)的结果。例如，在从位置507观察了该区域P1时到达视点位置m的眼的光成为将各亮度分布的位置507处的值508、509、510作为权重并对像素24₁、像素24₂、像素24₃的亮度值进行加权加法而得到的结果。

在视点位置m是仅能够选择性地观察来自像素24₂的光线的位置503的情况下，从视点位置m能够观察的像素为视差编号为2的像素24₂。但是，在视点位置m是能够观察像素24₂和像素24₁这双方的光线的位置507的情况下，从视点位置m能够观察的像素成为视差编号为2的像素24₂和视差编号为1的像素23₁这双方。

因此，在视听者将位置507作为视点位置m而用单眼观察了显示装置14的情况下，成为多个视差图像的各像素通过该视点位置处的亮度分布而重叠了的重叠图像，产生多重模糊。换言之，在从观察角度不同的视点位置m观察到相同的区域P的情况下，由于其视点位置m处的亮度分布，有时观察到与应被观察的视差编号不同的视差编号的视差图像。

因此，在本实施方式的图像显示装置中，根据第1视差编号、以及与视点位置和各区域P的位置关系对应的亮度分布，将各视差图像中的、与各区域P对应的位置的像素的亮度校正为应被观察的第1视差编号的视差图像的像素的亮度。

图12是示出本实施方式的图像显示装置10A的框图。图像显示装置10A具备图像处理装置12A、以及显示装置14。

图像处理装置12A具备第1取得部30、校正部32A、第3存储部43、第3取得部45、第1生成部40、输出部42、第1存储部34、第2取得部36、以及第2存储部38。第1取得部30、第1存储部34、第2取得部36、第2存储部38、第1生成部40、以及显示装置14与实施方式1相同，所以省略说明。

第3存储部43针对显示装置14的每个角度θ，存储亮度分布。另外，角度θ表示视听者从角度θ的视点位置观察区域P时的角度。即，表示视听者的单眼的位置即视点位置和显示装置14中的区域P所成的角度。另外，在本实施方式中，用H来表示亮度分布。该亮度分布H如下述式(4)所示。

$H=\left[\begin{array}{ccc}{h}_1\left({\mathrm{\θ}}_0\right)& \·\·\·& h_K\left({\mathrm{\θ}}_0\right)\\ & \·& \\ & \·& \\ & \·& \\ h_1\left({\mathrm{\θ}}_Q\right)& \·\·\·& h_K\left({\mathrm{\θ}}_Q\right)\end{array}\right]\·\·\·\left(4\right)$

另外，在式(4)中、h_K(θ)表示从显示视差编号为K的像素射出的光线的、角度θ方向的亮度。角度θ₀～θ_Q也可以通过实验、仿真等而预先设定。另外，K是1以上视差数以下的整数。另外，在式(4)中，行方向表示同一角度θ的亮度。在式(4)中，列方向表示各视差编号的像素的亮度。

图13是某区域P的亮度分布的一个例子的图。在图13中，示出与9视差对应的亮度分布。在图13所示的亮度分布中，针对每个视差编号，示出了从显示装置14所显示的立体图像中的区域P的要素图像24的各像素(例如，视差编号1～9的各像素)射出的光线亮度的分布。横轴表示相对区域P的角度(例如，第1方向的角度)。纵轴表示亮度。图13中的编号1～9所示的线图分别表示与视差编号1～9的像素对应的亮度分布。

另外，在图13所示的亮度分布中，将区域P的正前面的方向设为角度0(deg)。纵轴表示亮度(光线的强度)。也可以针对每个区域P，使用亮度计等，预先测定亮度分布。

图14是显示装置14与视点位置m的位置关系的说明图。如图14(A)所示，在显示装置14上设定原点(例如显示装置14的左上点)。在通过原点的第1方向上设定X轴。在通过原点的第2方向上设定Y轴。在通过原点且与第1方向和第2方向正交的方向上设定Z轴。Z表示从显示装置14至视点位置m的距离。

如图14(B)所示，将视听者的视点位置设为m=(X_m，Y_m，Z_m)^T。在本实施方式中，预先决定了视点位置m。视点位置m也可以是多个。在从视点位置m观察了坐标(i，j)^T的区域P的情况下，能够通过式(5)表示该观察方向与Z方向所成的角φ_m。

${\mathrm{\φ}}_m={\tan }^{-1}\left(\frac{X_m-i}{Z_m}\right)\·\·\·\left(5\right)$

另外，在式(5)中，m是表示各个视点位置的编号，是1以上总视点位置数以下的整数。

因此，在从视点位置m观察了坐标(i，j)^T的区域P的情况下，能够通过式(6)表示从该区域P到达角度φ_m方向的光线亮度h^(i，j)(φ_m)。

$h^{(i,j)}\left({\mathrm{\φ}}_m\right)=(h_1^{(i,j)}\left({\mathrm{\φ}}_m\right),\·\·\·,h_K^{(i,j)}\left({\mathrm{\φ}}_m\right))\·\·\·\left(6\right)$

返回图12，继续说明。

第3取得部45从第3存储部43取得与各区域P和视点位置的位置关系对应的亮度分布。

校正部32A根据与各区域P和视点位置的位置关系对应的亮度分布，将视差图像中的与各区域P对应的位置的像素的亮度校正为通过在该区域P中应观察的视差编号即第1识别编号所确定的视差图像的像素的亮度。

然后，校正部32A将校正后的视差图像(校正视差图像)输出给第1生成部40。第1生成部40根据多个校正视差图像生成立体图像，输出给输出部42。输出部42将从第1生成部40接收到的立体图像显示于显示装置14的显示面板20。

另外，第1取得部30、校正部32A、第2取得部36、第1生成部40、第3取得部45以及输出部42通过CPU(CentralProcessingUnit)实现。第1存储部34、第2存储部38、以及第3存储部43通过CPU使用的存储器、硬盘驱动器装置(HDD)等存储介质实现。

接下来，详细说明由校正部32A校正视差图像。

另外，在本实施方式中，说明与实施方式1同样地，各区域P包括1个要素图像24的情况。

校正部32A依次指定将显示装置14的显示区域分割为多个区域P时的各区域P内的、校正对象的1个区域P。另外，如实施方式1说明的那样，区域P的位置坐标(i，j)^T中包含的要素图像24具有视差数K(K是1以上的整数)的视差图像的像素群。因此，校正前的各区域P的像素群y(i，j)如上述式(1)所示。

然后，校正部32A根据与视点位置m、区域P的位置坐标(i，j)^T相应的应被观察的第1视差编号k_dst、以及区域P的亮度分布H(i，j)，进行校正处理。

此处，将与区域P的位置坐标(i，j)^T以及视点位置相应的、应被观察的第1视差编号k_dst的视差图像的像素(像素值)设为L_m(i，j)。

首先，校正部32A根据第1视差编号k_dst，校正通过区域P的亮度分布H(i，j)示出的、与各像素对应的视差编号。于是，校正后的视差编号k’如下述式(7)所示。

k’=k+(k_dst-L_m(i，j))式(7)

另外，在应被观察的第1视差编号k_dst中，优选使用通过下述式(8)所示的视觉区域中央部k_c的值。视觉区域中央部k_c表示应在各区域P的中央部中被观察的像素的视差编号。

k_c=(K+1)/2式(8)

在式(8)中，K表示视差数。

于是，通过下述式(9)来表示上述式(7)。

k’=k+(k_c-L_m(i，j))式(9)

然后，校正部32A将表示校正前的各区域P的像素群的y(i，j)(参照式(1))中的各像素值(y₁(i，j)～y_K(i，j))分别校正为通过式(9)所示的视差编号k’的视差图像中的相同位置坐标的像素值。

在式(9)中，k表示校正前的视差编号。K表示视差数。k’表示校正后的视差编号。

即，校正部32A将k’设为根据第1视差编号校正了的校正后的视差编号。因此，根据第1视差编号校正了的、校正后的各区域P的像素群x(i，j)成为对上述式(1)的k代入了式(9)的k’而得到的值(参照上述(3))。

进而，校正部32A使用根据该第1视差编号校正了的、校正后的各区域P的像素群x(i，j)，校正与各区域P对应的亮度分布。然后，校正部32A使用校正后的各区域P的亮度分布，将视差图像中的与各区域P对应的位置的像素的亮度校正为通过第1视差编号确定的视差图像的像素的亮度。

首先，校正部32A通过下述式(10)所示的式子来校正上述式(6)所示的光线亮度h^(i，i)(_m)。即，从视点位置m观察了的情况下的区域P的位置坐标(i，j)T处的、通过第1视差编号校正了的、从区域P到达角度φ_m方向的光线的亮度h^(i，j)(φ_m)如下述式(10)所示。

$h^{(i,j)}\left({\mathrm{\φ}}_m\right)=(h_{1+(k_c-L_m(i,j))}\left({\mathrm{\φ}}_m\right),\·\·\·,h_{K+(k_c-L_m(i,j))}\left({\mathrm{\φ}}_m\right))\·\·\·\left(10\right)$

然后，校正部32A从与区域P对应的亮度分布H(i，j)，抽出与角度φ_m相当的(θ=φ_m)亮度分布分量(式(4)的矩阵式中的行分量)。在无与角度φ_m相当的亮度分布分量的情况下，校正部32A也可以计算根据其他亮度分布分量(θ₀～θ_Q)插值了的亮度分布分量。或者，也可以抽出最接近角度φ_m的角度θ下的亮度分布分量。

接下来，校正部32A使用所抽出的亮度分布分量，求出表示从各视点位置m观察了各区域P的情况下的、校正前的各区域P的像素群y(i，j)的亮度的光线亮度A(i，j)。光线亮度A(i，j)能够通过式(11)来表示。

将通过式(11)示出的矩阵设为区域P的位置坐标(i，j)^T下的矩阵。校正部32A求出对式(11)所示的矩阵乘以根据第1视差编号校正了的校正后的各区域P的像素群x(i，j)后的乘法值。校正部32A将该乘法值即A(i，j)x(i，j)作为本实施方式中的根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群进行计算。

另外，校正部32A通过式(12)求出根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群(参照下述式(14))，以使与由第1取得部30取得的视差图像的像素区域y(i，j)的误差成为最小。

By(i，j)-A(i，j)x(i，j)…(12)

式(12)中的矩阵B用于指定从哪一个视点位置(视点位置P_m)观察哪一个视差图像(视差编号k)。例如，在视差数K=5、视点位置的数量M=2的情况下，能够通过式(13)来表示矩阵B。

$B=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 0& 1& 0\end{array}\right]\·\·\·\left(13\right)$

式(13)是指定从视点位置P_m＝P₁观察视差编号k=3的视差图像，从视点位置P_m＝P₂观察视差编号k=4的视差图像的矩阵B。除了式(13)所示的矩阵B以外，只要是列数为视差数、行数为视点位置的数量的矩阵即可。

然后，校正部32A根据下述式(15)求出通过例如下述式(15)根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群(参照式(14))。

$\hat{x}(i,j)\·\·\·\left(14\right)$

$\hat{x}(i,j)=\underset{x}{\arg \min }{(\mathrm{By}(i,j)-A(i,j)x(i,j))}^T(\mathrm{By}(i,j)-A(i,j)x(i,j))\·\·\·\left(15\right)$

另外，式(14)示出最佳化了的校正后的视差图像。即，式(14)示出根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群。另外，式(15)是求出使(By(i，j)-A(i，j)x(i，j))^T(By(i，j)-A(i，j)x(i，j))成为最小的式(14)的式子。

由此，校正部32A将视差图像中的与各区域P对应的位置的像素的亮度校正为通过第1视差编号确定的视差图像的像素的亮度。

另外，由校正部32A进行校正处理的方法不限于上述方法。例如，也可以使用下述式(16)所示的联立一次方程式。

By(i，j)-A(i，j)x(i，j)=0…(16)

即，校正部32A也可以通过式(12)求出根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群(参照下述式(14))，以使与由第1取得部30取得的视差图像的像素区域y(i，j)的误差成为0(零)。

在该情况下，校正部32A通过下述式(17)求出根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群(参照式(14))即可。

另外，式(17)中的、式(18)是A(i，j)的一般化矩阵。另外，在式(17)中，I是单位矩阵、Z(i，j)是与视差数相同维数的任意矢量。虽然对该矢量能够设定任何例子，但优选使用y(i，j)。

另外，校正部32A也可以使用下述式(19)以及式(20)来进行校正处理。

$\frac{\∂E}{\∂x}=-A{(i,j)}^T(\mathrm{By}(i,j)-A(i,j)x(i,j))=0\·\·\·\left(19\right)$

$\hat{x}(i,j)={\left(A{(i,j)}^{T}A(i,j)\right)}^{-1}A{(i,j)}^T\mathrm{By}(i,j)\·\·\·\left(20\right)$

即，校正部32A也可以通过式(12)求出根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群(参照式(14))，以使与由第1取得部30取得的视差图像的像素区域y(i，j)的误差满足式(19)的关系。

另外，对于作为式(20)的解的校正后的各区域P的像素群(参照式(14))，优选赋予充分接近y(i，j)等限制条件。在该情况下，也可以代替上述式(20)而使用下述式(21)。

$\hat{x}(i,j)={(A{(i,j)}^{T}A(i,j)+I)}^{-1}(A{(i,j)}^{T}B+I)y(i,j)\·\·\·\left(21\right)$

另外，校正部32A也可以解析地计算By(i，j)-A(i，j)x(i，j)=0，而求出式(14)所示的校正后的各区域P的像素群(参照式(14))。

除了上述以外，校正部32A也可以使用最急下降法、梯度法等非线性最佳化法来求出式(14)所示的校正后的各区域P的像素群。

接下来，说明由图像处理装置12A执行的图像处理的步骤。图15是示出由本实施方式的图像显示装置10A执行的图像处理的步骤的流程图。

首先，第1取得部30取得多个视差图像(步骤S200)。接下来，校正部32A读取第2存储部38中存储的视点位置(步骤S204)。

接下来，图像处理装置12A将下述步骤S206～步骤S210的处理，反复执行将显示装置14分割为预定的多个区域P的区域数量的次数。

首先，第2取得部36读取与在上述步骤S204中读取的校正对象的区域P对应的亮度分布(步骤S206)。接下来，第2取得部36A从第1存储部34取得与在上述步骤S204中读取的视听者的视点位置和校正对象的区域P对应的第1视差编号(步骤S208)。

接下来，校正部32A根据在步骤S204中取得的视点位置、在上述步骤S206中取得的第1视差编号、以及在上述步骤S206中读取的亮度分布，将在上述步骤S200中取得的视差图像中的、与校正对象的区域P对应的位置的像素校正为应被观察的第1视差编号的像素(步骤S210)。

通过针对显示装置14中的多个区域P的全部区域P执行步骤S206～步骤S210的处理，从而校正从第1取得部30取得的视差图像，来生成校正视差图像。

接下来，第1生成部40根据所生成的校正视差图像，生成立体图像(步骤S212)。接下来，输出部42将在步骤S212中生成的立体图像显示于显示面板20(步骤S214)，结束本例程。

图16是示出与各区域P的要素图像24的像素对应的视差编号的视差图像的校正的示意图。

图16是示意地示出在视差数是9的情况下，针对显示装置14的各区域P，在视点位置m被观察的视差编号的像素的图。另外，图10中的数字表示视差编号。

设为在图像显示装置10A中，作为应从视点位置m1被观察的视差编号的视差图像，使用了视差编号为1的视差图像。另外，设为作为应从视点位置m2被观察的视差编号的视差图像，使用了视差编号为2的视差图像。

在图像显示装置10A中，如果在良好的状态下，从视点位置m1用单眼观察显示装置14，则在显示装置14上的全部区域P(P1～P6)中，观察到视差编号为1的视差图像的像素。另外，在图像显示装置10A中，如果在良好的状态下，从视点位置m2用单眼观察显示装置14，则在显示装置14的全部区域P(P1～P6)中，观察到视差编号为2的视差图像的像素。

但是，由于显示装置14上的与各区域P对应的亮度分布(在图16中，参照L)、从各区域P的要素图像的像素射出的光线方向不均匀(在图16中，参照H)，所以画面整体无法成为正常视觉区域，而无法实现立体视觉。

因此，本实施方式的图像显示装置10A通过根据与各区域P对应的亮度分布、以及与各区域P和视点位置对应的第1视差编号，利用第1视差编号对取得的视差图像的光线亮度A进行校正，从而来校正所取得的视差图像。

具体而言，显示装置14上的各区域P的要素图像24的各像素的视差图像的视差编号校正为应被观察的视差编号的视差图像(在图16中，参照视差编号1～视差编号4的视差图像1～视差图像4)。

图17是示出通过第1视差编号校正亮度分布的校正的示意图。

如图17所示，假想从视点位置m以θ₁的角度观察的区域P1、从视点位置m以θ₂的角度观察的区域P2、从视点位置m以θ₃的角度观察的区域P3。

另外，设为根据由第1取得部30取得的视差图像生成的立体图像中的、各区域P1～P3各自的要素图像24(要素图像24₁～要素图像24₃)的像素的视差编号的排列是7、6、5、4、3、2、1、9、8(对于1、9、8，图示省略)。

于是，通过校正部32A的基于第1视差编号的校正，区域P1个要素图像24₁的像素的视差编号的排列被校正为例如5、4、3、2、1、9、8、7、6(对于6～8，图示省略)。另外，设为区域P2的要素图像24₂的视差编号的排列与校正前相同。另外，区域P3的要素图像24₃的视差编号的排列被校正为例如1、9、8、7、6、5、4、3、2(对于4～2，图示省略)。

然后，校正部32A与该校正了的视差编号的排列对应地，校正各区域P中的各像素的亮度，以使得成为校正后的视差编号的亮度。

如以上说明，在图像处理装置12A中，根据与各区域P和视点位置的位置关系对应的亮度分布，将视差图像中的与各区域P对应的位置的像素的亮度校正为通过第1视差编号确定的视差图像的像素的亮度。

因此，能够使通过在来自显示某视差图像的像素的光线中混入来自显示其他视差图像的像素的光线的一部分而形成的画面成为正常视觉区域。

(第3实施方式)

关于本实施方式涉及的图像处理装置，在第2实施方式中的图像处理装置12A中，进行使用了与亮度分布对应的滤波器系数(亮度滤波器)的校正。由此，能够以少的处理成本，使画面成为正常视觉区域。

滤波器系数是指，在从预先设定的视点位置观察了区域P的情况下，以使来自应被观察的第1视差编号的像素的光线到达该视点位置的方式，变换视差图像(具体而言，校正前的各区域P的像素群y(i，j))的系数。以下，说明与前面的实施方式不同的点。

图18是示出图像显示装置10B的图像处理装置12B的框图。在图像处理装置12中，还具备第2生成部46、第4存储部44。另外，第3存储部43以及第1存储部34连接到第2生成部46。另外，代替校正部32A，而设置了校正部32B。校正部32B连接到第2生成部46、第4存储部44、第1取得部30、第1生成部40以及第2存储部38。另外，第4存储部44连接到第2生成部46以及校正部32B。

第4存储部44保存有与各区域P对应的一个或者多个亮度滤波器G(i，j)。亮度滤波器G(i，j)优选为与前面的实施方式的亮度分布H(i，j)等价的例子。第4存储部44存储与各区域P对应的亮度滤波器。

第2生成部46根据与各区域P以及视点位置对应的、第1视差编号以及亮度分布，生成亮度滤波器，存储到第4存储部44。

具体而言，第2生成部46通过下述方法，生成亮度滤波器。

此处，有如实施方式2的说明那样，校正部32B通过与上述式(17)相同的式子即下述式(22)求出根据第1视差编号以及光线亮度校正了的校正后的各区域P的像素群(参照式(14))的方法。

此处，设为下述式(23)的关系成立。于是，式(22)如式(24)所示。

z(i，j)=y(i，j)…(23)

进而，如果下述式(25)的式子成立，则式(22)通过式(26)表示。

$\hat{x}(i,j)=G(i,j)y(i,j)\·\·\·\left(26\right)$

另外，在式(26)中、G(i，j)不依赖于根据所输入的视差图像生成的立体图像中的、校正前的各区域P的像素群y(i，j)，而仅依赖于亮度分布。因此，能够事先计算。

在第2生成部46中，将该G(i，j)计算为与区域P的位置坐标(i，j)W对应的滤波器系数，预先存储到第4存储部44。

在校正部32B中，可以通过从第4存储部44读出与区域P的位置坐标(i，j)^T对应的滤波器系数即G(i，j)并乘上校正前的各区域P的像素群y(i，j)，求出由下述式(27)所示的校正后的各区域P的像素群。

$\hat{x}(i,j)=G(i,j)y(i,j)\·\·\·\left(27\right)$

根据本实施方式，能够以少的处理成本，使画面成为正常视觉区域。

(变形例)

另外，第4存储部44也可以完全不保存与各区域P对应的滤波器系数G(i，j)。在该情况下，也可以在第2生成部46或者校正部32B中，根据第4存储部44中保存的其他一个或者多个滤波器系数G(i，j)进行插值，来生成与各区域P对应的滤波器系数G(i，j)。

图19是示出插值的示意图。例如，设为如图19所示，在第4存储部44中，保存了G(0，0)、G(3，0)、G(0，3)、G(3，3)这4个滤波器系数。此时，第2生成部46可以通过式(28)求出与区域P(2，2)对应的滤波系数G(2，2)。

G(2，2)=αG(0，0)+βG(3，0)+γG(0，3)+λG(3，3)…(28)

式(28)中的、α、β、γ、λ分别是权重系数，通过坐标的内分比来求出。

根据本变形例，能够抑制第4存储部44的存储容量。

另外，将用于执行由实施方式1～3中的图像显示装置10、图像显示装置10A、图像显示装置10B执行的图像处理的程序预先嵌入到ROM等来提供。

也可以构成为将用于执行由实施方式1～3中的图像显示装置10、图像显示装置10A、图像显示装置10B执行的图像处理的程序以能够安装的形式或者能够执行的形式的文件记录到CD-ROM、软盘(FD)、CD-R、DVD(DigitalVersatileDisk)等计算机可读取的记录介质来提供。

进而，也可以构成为通过将用于执行由实施方式1～3中的图像显示装置10、图像显示装置10A、图像显示装置10B执行的图像处理的程序保存到与因特网等网络连接的计算机上并经由网络下载来提供。另外，也可以构成为将用于执行由实施方式1～3中的图像显示装置10、图像显示装置10A、图像显示装置10B执行的图像处理的程序经由因特网等网络提供或者分发。

用于执行由实施方式1～3中的图像显示装置10、图像显示装置10A、图像显示装置10B执行的图像处理的程序成为包括上述各部的模块结构，通过作为实际的硬件CPU(处理器)从上述ROM读出并执行程序，上述各部分被载入到主存储装置上，在主存储装置上生成这些各功能部分。

另外，虽然说明了本发明的几个实施方式，但这些实施方式仅为例示，并不意图限定发明的范围。这些新的实施方式能够通过其他各种方式来实施，能够在不脱离发明的要旨的范围内，进行各种省略、置换、变更。这些实施方式、其变形包含于发明的范围、要旨内，并且包含于权利要求书所记载的发明和其均等范围内。

Claims (6)

1.一种图像处理装置，在能够显示分配了要素图像的立体图像的显示部中显示所述立体图像，所述要素图像包括多个视差图像各自的像素，该图像处理装置的特征在于，具备：

第1取得部，取得相互具有视差的多个所述视差图像；

第2取得部，在将显示所述立体图像的显示区域分割为包括至少1个所述要素图像的多个区域而得到的各区域中，取得从预定的视点位置应被观察的视差图像的识别信息；

第3取得部，取得与所述各区域和所述视点位置之间的位置关系对应的亮度分布；

校正部，根据所述视点位置、所述识别信息以及所述亮度分布，将所述视差图像中的与所述各区域对应的位置的像素的亮度校正为通过所述识别信息确定的视差图像的像素的亮度；以及

第1生成部，根据被校正后的所述视差图像，生成所述立体图像。

2.根据权利要求1所述的图像处理装置，其特征在于，还具备：

第2生成部，该第2生成部根据所述亮度分布，生成滤波器系数，该滤波器系数用于将所述视差图像中的与所述各区域对应的位置的像素的亮度校正为通过所述识别信息确定的视差图像的像素的亮度，

所述校正部通过使用了所述滤波器系数的滤波处理，将所述视差图像中的与所述各区域对应的位置的像素的亮度校正为通过所述识别信息确定的视差图像的像素的亮度。

3.根据权利要求2所述的图像处理装置，其特征在于，还具备：

存储单元，存储与所述各区域和所述视点位置之间的位置关系对应的所述滤波器系数。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述校正部根据所述各区域与所述视点位置之间的位置关系，对所述滤波器系数进行插值，通过使用了插值后的所述滤波器系数的滤波处理，将所述视差图像中的与所述各区域对应的位置的像素的亮度校正为通过所述识别信息确定的视差图像的像素的亮度。

5.一种图像处理方法，在能够显示分配了要素图像的立体图像的显示部中显示所述立体图像，所述要素图像包括多个视差图像各自的像素，所述图像处理方法的特征在于，

取得相互具有视差的多个所述视差图像，

在将显示所述立体图像的显示区域分割为包括至少1个所述要素图像的多个区域而得到的各区域中，取得从预定的视点位置应被观察的视差图像的识别信息；

取得与所述各区域和所述视点位置之间的位置关系对应的亮度分布；

根据所述视点位置、所述识别信息以及所述亮度分布，将所述视差图像中的与所述各区域对应的位置的像素的亮度校正为通过所述识别信息确定的视差图像的像素的亮度，

根据校正后的所述视差图像，生成所述立体图像。

6.一种图像显示装置，能够显示分配了要素图像的立体图像，所述要素图像包括多个视差图像各自的像素，该图像显示装置的特征在于，具备：

第1取得部，取得相互具有视差的多个所述视差图像；

第2取得部，在将显示所述立体图像的显示区域分割为包括至少1个所述要素图像的多个区域而得到的各区域中，取得从预定的视点位置应被观察的视差图像的识别信息；

第3取得部，取得与所述各区域和所述视点位置之间的位置关系对应的亮度分布；

校正部，根据所述视点位置、所述识别信息以及所述亮度分布，将所述视差图像中的与所述各区域对应的位置的像素的亮度校正为通过所述识别信息确定的视差图像的像素的亮度；

第1生成部，根据校正后的所述视差图像，生成所述立体图像；以及

显示部，显示所述立体图像。