CN102970572A - 影像处理装置及影像处理方法 - Google Patents

Abstract

本发明提供一种容易校正摄像机的位置偏移，观众可观看到良好的立体影像的影像处理装置以及影像处理方法。根据实施方式，影像处理装置具备：观众检测部，使用由摄像机拍摄的影像进行脸部识别，取得观众的位置信息；校正量算出部，算出用于补偿伴随所述摄像机的安装位置的偏移而产生的所述位置信息的误差的校正量；位置信息校正部，使用由所述校正量算出部算出的所述校正量，校正所述位置信息；视域信息算出部，使用由所述位置信息校正部校正的位置信息，算出用于设定纳入所述观众的视域的控制参数；以及视域控制部，根据所述控制参数控制视域。

Description

影像处理装置及影像处理方法

相关申请的交叉参考

本申请基于并要求2011年8月31日提交的日本专利申请No.2011-189660的优先权，其全部内容结合于此作为参考。

技术领域

本发明的实施方式涉及影像处理装置及影像处理方法。

背景技术

近年来，观众不使用特殊眼镜，裸眼就可以观看立体影像的立体影像显示装置(所谓的裸眼3D电视)正在普及。该立体影像显示装置显示视点不同的多个图像(视差图像)。并且，这些图像的光线例如由视差屏障(parallax barrier)、柱状透镜(lenticular lens)等控制输出方向，并被导向观众的双眼。只要观众的位置适当，观众左右眼会看到不同的视差图像，因此，能够立体地识别影像。这样，将观众可看到立体影像的区域称为视域。

该视域是受限制的区域，当观众在视域以外时，无法看到立体影像。因此，立体影像显示装置具有使用立体影像显示装置中设置的摄像机来检测观众的位置并以观众在视域内的方式控制视域的功能(脸部追踪功能)。

然而，由于摄像机的更换等，存在摄像机的安装位置偏移的情况。这种情况下，随着摄像机的位置偏移量，观众的位置会被误识。因此，观众没有进入基于观众的位置而生成的视域，其结果，观众可能无法观看到良好的立体影像。

发明内容

本发明所要解决的课题在于提供一种容易校正摄像机的位置偏移，观众可观看到良好的立体影像的影像处理装置以及影像处理方法。

根据本发明的实施方式，提供一种影像处理装置具备：观众检测部，使用由摄像机拍摄的影像进行脸部识别，取得观众的位置信息；校正量算出部，算出用于补偿伴随所述摄像机的安装位置的偏移而产生的所述位置信息的误差的校正量；位置信息校正部，使用由所述校正量算出部算出的所述校正量，校正所述位置信息；视域信息算出部，使用由所述位置信息校正部校正的位置信息，算出用于设定将所述观众纳入其中的视域的控制参数；视域控制部，根据所述控制参数控制视域；显示部，显示在所述视域内的观众可作为立体影像观看的多个视差图像；以及开口控制部，将显示在所述显示部的多个视差图像向指定方向输出。

根据上述构成的影像处理装置，容易校正摄像机的位置偏移，观众可观看良好的立体影像。

附图说明

图1为一实施方式涉及的影像处理装置100的外观图。

图2为表示一实施方式涉及的影像处理装置100的概略结构的框图。

图3为从俯视观察液晶面板1以及柱状透镜2的一部分的图。

图4为表示影像处理装置的视听区域P的多个视域21的一例子的俯视图。

图5为变形例涉及的影像处理装置100’的概略结构的框图。

图6A为表示一实施方式涉及的摄像机校准方法的流程图。

图6B为接图6A的、表示一实施方式涉及的重校准方法的流程图。

图7为示出了3D视听位置检查画面的一例子。

图8(1)～(9)分别表示3D视听位置检查画面的第1～第9视差图像。

图9的(a)及(b)为俯视观察3D视听位置检查画面的第1～第9视差图像的光线与观众20的图。

图10为示出了显示有滑动条的3D视听位置检查画面的一例子。

图11的(1)及(2)为俯视观察3D视听位置检查画面的第1～第9视差图像的光线与观众20的图。

图12为表示用于算出校正量的各参数的关系的图。

图13为表示变形例涉及的摄像机校准方法的流程图。

具体实施方式

以下，针对本发明涉及的实施方式，参照附图具体说明。

图1为一实施方式涉及的影像显示装置100的外观图，图2为表示其概略结构的框图。影像显示装置100具备液晶面板1、柱状透镜(lenticularlens，双凸透镜)2、摄像机3、受光部4、控制器10。

液晶面板(显示部)1显示位于视域内的观众可作为立体影像而观看的多个视差图像。该液晶面板1例如为55英寸尺寸的面板，在水平方向配置有11520(＝1280×9)个像素，垂直方向配置有720个像素。并且，在各像素内，在垂直方向上形成有3个子像素、即R子像素、G子像素以及B子像素。光从设于背面的背光装置(未图示)照射到液晶面板1。各像素使对应于控制器10供给的视差图像信号(后述)的亮度的光透过。

柱状透镜(开口控制部)2向指定方向输出显示于液晶面板1(显示部)的多个视差图像。该柱状透镜2具有沿液晶面板1的水平方向配置的多个凸部，其数量是液晶面板1的水平方向像素数的1/9。并且，为使水平方向上配置的每9个像素对应一个凸部，柱状透镜2被粘贴于液晶面板1的表面。透过了各像素的光从凸部的顶点附近带有指向性地向指定方向输出。

本实施方式的液晶面板1能够以3视差以上的多视差方式(集成成像(integral imaging)方式)或双视差方式显示立体影像，此外，也可以显示普通的二维影像。

在以下的说明中，对可与液晶面板1的各凸部对应地设置9个像素并采用9个视差的多视差方式的例子进行说明。多视差方式中，对与各凸部对应的9个像素分别显示第1～第9视差图像。所谓第1～第9视差图像是指从沿液晶面板1的水平方向排列的9个视点分别观看到被拍摄体的图像。观众通过经由柱状透镜2，分别由左眼观看第1～第9视差图像中的一个视差图像，由右眼观看其他一个视差图像，从而可以立体观看影像。采用多视差方式，随着视差数量增加，能够扩大视域。所谓视域是指在从液晶面板1的前方看到液晶面板1时可立体观看影像的区域。

另一方面，双视差方式中，在与各凸部对应的9个像素中的4个显示右眼用视差图像，在其他5个显示左眼用视差图像。所谓左眼用及右眼用视差图像是指从水平方向上排列的2个视点中的左侧视点及右侧视点分别看到拍摄体的图像。观众经由柱状透镜2用左眼观看左眼用视差图像、用右眼观看右眼用视差图像，从而可以立体地观看影像。采用双视差方式，比多视差方式更容易取得所显示的影像的立体感，但与多视差方式相比视域变窄。

另外，液晶面板1可以对与各凸部对应的9个像素显示同一图像，也可以显示二维图像。

另外，在本实施方式中，根据柱状透镜2的凸部与所显示的视差图像的相对位置关系、即对与各凸部对应的9个像素是如何显示视差图像的，可以可变地控制视域。以下，以多视差方式为例，对视域的控制进行说明。

图3为从上方观看到液晶面板1以及柱状透镜2的一部分的图。同图的影线区域表示视域，从视域观看液晶面板1便可立体观看影像。其他区域为发生逆视或串扰的区域、难以立体观看影像的区域。

图3示出了视域因液晶面板1与柱状透镜2的相对位置关系，更具体而言，因液晶面板1与柱状透镜2的距离、或液晶面板1与柱状透镜2在水平方向的偏移量而发生变化的情况。

实际上，柱状透镜2被高精度地位置校准而贴合于液晶面板1，因此很难物理地变更液晶面板1与柱状透镜2的相对位置。

因此，在本实施方式中，通过移动对液晶面板1的各像素所显示的第1～第9视差图像的显示位置，从而从外观上改变液晶面板1与柱状透镜2的相对位置关系，由此进行视域的调整。

例如，相比对与各凸部对应的9个像素分别显示了第1～第9视差图像的情况(图3的(a))，当将视差图像整体向右侧移动显示时(图3的(b))，视域向左侧移动。相反，当将视差图像整体向左侧移动显示时，视域向右侧移动。

另外，在水平方向的中央附近不移动视差图像，越靠近液晶面板1的外侧，视差图像就越大地向外侧移动并显示的情况下(图3的(c))，视域向靠近液晶面板1的方向移动。另外，移动的视差图像与未移动的视差图像之间的像素、移动量不同的视差图像之间的像素可以根据周围的像素适当插补。另外，与图3的(c)相反，在水平方向的中央附近不移动视差图像，越靠近液晶面板1的外侧，视差图像就越大地向中心侧移动并显示的情况下，视域向远离液晶面板1的方向移动。

这样，通过移动视差图像的整体或一部分，可以使视域相对于液晶面板1向左右方向或前后方向移动。图3中，为了简化说明只示出了一个视域，但实际上，如图4所示，多个视域21存在于视听区域P内，它们联动地移动。视域由后述的图2的控制器10来控制。另外，视域21以外的视听区域是由于发生逆视或串扰等而难以看到良好的立体影像的逆视区域22。

返回至图1，对影像处理装置100的各构成要素进行说明。

摄像机3以规定的仰角安装于液晶面板1的下部中央附近，拍摄液晶面板1前方的指定范围。所拍摄到的影像被供给到控制器10，用于检测观众的位置或观众的脸部等与观众有关的信息。摄像机3也可以拍摄动态图像与静止图像中的任意。

受光部4例如设置在液晶面板1的下部的左侧。并且，受光部4接收从观众使用的遥控器发送来的红外线信号。该红外线信号包含表示显示立体影像还是显示二维影像、还是在显示立体影像时采用多视差方式以及双视差方式中的任一个、或是否进行视域的控制等的信号。

接着，针对控制器10的构成要素的详细进行说明。如图2所示，控制器10具有调谐器解码器(tuner decoder)11、视差图像转换部12、观众检测部13、视域信息算出部14、图像调整部15、位置信息校正部16、存储部17、校正量算出部18。控制器10例如被安装为一个IC(IntegratedCircuit)，配置于液晶面板1的背侧。当然，也可以使用软件安装控制器10的一部分。

调谐器解码器(接收部)11接收被输入的广播波(broadcast wave)及进行选台，并解码编码后的影像信号。在电子节目表(EPG)等数据广播信号被重叠于广播波的情况下，调谐器解码器11将其提取。或者，调谐器解码器11从光盘再生装置或个人算出机等影像输出器械中接收编码的影像信号并非广播波，并对其解码。解码后的信号也称为基带影像信号，供给到视差图像转换部12。另外，在影像显示装置100不接收广播波而专门显示从影像输出器械中接收的影像信号的情况下，也可以单独地设置具有解码功能的解码器作为接收部来代替调谐器解码器11。

调谐器解码器11接收的影像信号也可以是二维影像信号，也可以是以帧封装(FP)、并排(SBS)或上下(TAB)方式等包含左眼用及右眼用图像的三维影像信号。并且，影像信号也可以是包含3视差以上的图像的三维影像信号。

为了立体显示影像，视差图像转换部12将基带影像信号转换为多个视差图像信号并供给至图像调整部15。视差图像转换部12根据采用多视差方式与双视差方式中的哪一个而处理内容不同。并且，根据基带影像信号是二维影像信号还是三维影像信号，视差图像转换部12的处理内容而不同。

在采用双视差方式(stereo imaging manner)的情况下，视差图像转换部12生成与左沿用及右眼用视差图像分别对应的左眼用及右眼用视差图像信号。更具体如下。

在采用双视差方式且输入包含左眼用及右眼用图像的三维影像信号的情况下，视差图像转换部12生成液晶面板1可显示形式的左眼用及右眼用视差图像信号。并且，在输入包含3个以上图像的三维影像信号的情况下，视差图像转换部12例如使用其中的任意2个来生成左眼用及右眼用视差图像信号。

与此相对，在采用双视差方式且输入不含有视差信息的二维影像信号的情况下，视差图像转换部12基于影像信号中各像素的深度值，生成左眼用及右眼用视差图像信号。深度值(depth value)是表示各像素显示为相对于液晶面板1看起来靠前到何种程度或者靠后到何种程的值。深度值也可以预先附加于影像信号，也可以基于影像信号的特征进行动态检测、取景识别以及人脸检测等生成深度值。在左眼用视差图像中，被看成近前的像素需要比被看成里侧的像素向右侧偏移地显示。因此，视差图像转换部12进行将影像信号中被看成近前的像素向右侧移动的处理来生成左眼用视差图像。深度值越大移动量越大。

另一方面，在采用多视差方式(integral imaging manner)的情况下，视差图像转换部12生成与第1～第9视差图像分别对应的第1～第9视差图像信号。更具体如下。

在采用多视差方式且输入二维影像信号或包含8视差以下的图像的三维影像信号的情况下，视差图像转换部12与根据二维影像信号生成左用及右眼用视差图像信号一样，基于深度信息生成第1～第9视差图像信号。

在采用多视差方式且输入包含9视差图像的三维影像信号的情况下，视差图像转换部12使用其影像信号来生成第1～第9视差图像信号。

观众检测部13使用摄像机3拍摄到的影像进行脸部识别，并取得观众的位置信息。该位置信息被供给到后述的位置信息校正部16及校正量算出部18。另外，即使观众活动，观众检测部13也能追随，因此也可以把握每位观众的视听时间。

观众的位置信息被表示为例如以液晶面板1的中央为原点的X轴(水平方向)、Y轴(垂直方向)以及Z轴(正交于液晶面板1的方向)上的位置。图4所示的观众20的位置用坐标(X1，Y1，Z1)来表示。更具体而言，观众检测部13首先通过从摄像机3拍摄到的影像来检测脸部从而识别观众。接着，观众检测部13根据影像中观众的位置算出X轴以及Y轴上的位置(X1，Y1)，并根据脸部的大小算出Z轴上的位置(Z1)。在有多名观众情况下，观众检测部13也可以检测预定数量例如10名观众。该情况下，检测出的脸部的数量大于10时，例如按照距离液晶面板1由近及远、即Z轴上的位置由小到大的顺序检测10名观众的位置。

视域信息算出部14使用从后述的位置信息校正部16供给的观众的位置信息，算出用于设定将被检测出的观众纳入其中的视域的控制参数。该控制参数例如为图3说明的视差图像移动的量、一个参数或多个参数的组合。并且，视域信息算出部14将算出的控制参数供给至图像调整部15。

更详细而言，为了设定希望的视域，视域信息算出部14使用将控制参数与使用该控制参数而设定的视域关联对应的视域数据库。该视域数据库预先存储于存储部17。视域信息算出部14通过检索视域数据库，找出可将观众纳入其中的视域。

图像调整部(视域控制部)15为了控制视域，在根据算出的控制参数进行了移动视差图像信号、插补等调整后，将其供给至液晶面板1。液晶面板1显示与调整后的视差图像信号对应的图像。

位置信息校正部16使用后述的校正量算出部18算出的校正量，校正由观众检测部13取得的观众的位置信息，并将校正后的位置信息供给至视域信息算出部14。另外，在未进行算出校正量时，位置信息校正部16将观众检测部13取得的观众的位置信息保持原样地供给至视域信息算出部14。

存储部17是闪存器等非易失性存储器，并存储视域数据库、位置信息的校正量等。另外，该存储部17也可以设于控制器10的外部。

校正量算出部18算出用于补偿随摄像机3的安装位置的偏移而产生的观众的位置信息的误差的、校正量。该校正量的算出如后面详述，有(a)观众不移动而改变视差图像的输出方向的方式、(b)视差图像的输出方向不变但观众移动的方式。另外，此处提及的安装位置的偏移包含摄像机的安装方向的偏移(光轴的偏移)。

以上，对影像处理装置100的结构进行了说明。本实施方式中示出了通过使用柱状透镜2移动视差图像来控制视域的例子，但也可以使用其他方法控制视域。例如，也可以将视差屏障(parallax barrier)设置为开口控制部2’来代替柱状透镜2。图5为表示作为图2所示的本实施方式的变形例的影像处理装置100’的概略结构的框图。如同图所示，影像处理装置100’的控制器10具备视域控制部15’以代替图像调整部15。该视域控制部15’根据视域信息算出部14算出的控制参数来控制开口控制部2’。本变形例的情况下，控制参数是液晶面板1与开口控制部2’的距离、液晶面板1与开口控制部2’在水平方向的偏移量等。

本变形例中，通过使用开口控制部2’来控制液晶面板1所显示的视差图像的输出方向从而控制视域。这样，不进行移动视差图像的处理，也可以通过视域控制部15’来控制开口控制部2’。

接着，针对上述构成的影像处理装置100(100’)的影像处理方法(摄像机的校准方法)，使用图6A以及图6B的流程图进行说明。

(1)液晶面板1显示3D视听位置检查画面(3D测试图)(步骤S1)。3D视听位置检查画面为立体观看用的测试图像，由多个视差图像(例如，第1～第9视差图像)构成。进而，3D视听位置检查画面显示表示哪一视差图像进入眼睛的引导字符。这里提及的引导字符不限于字符，如图7以及图8中例示的双圆、圆、三角等记号，除此之外，也包含画、图案、色彩等观众可判别的事物。

另外，3D视听位置检查画面优选显示提醒观众在指定位置按下摄像机调整键的消息。例如，显示“请离开1m，尽量在正面附近按下摄像机调整键。”。

图7示出了3D视听位置检查画面的一例子。3D视听位置检查画面包含用于显示引导字符32的引导显示部31。并且，如图7所示，3D视听位置检查画面也可以包含球体或柱体等立体影像。

图8为9视差情况下的3D视听位置检查画面，图8的(1)～(9)分别示出了第1～第9视差图像。第4视差图像(图8的(4))以及第5视差图像(图8的(5))显示表示是视域内最佳视听位置(例如视域中心)的双圆的引导字符。随着从最佳视听位置离开，引导字符变成圆、三角、叉(×)。图8的(9)中，也可以不显示引导显示部31。另外，在第5视差图像以及第6视差图像也可以显示表示是视域内最佳视听位置的引导字符(例如双圆)。

这样，3D视听位置检查画面由多个视差图像构成，中心的2张视差图像具有除此以外的视差图像中所没有的共用的引导字符(上述例子中的双圆)。这里，中心2张视差图像是指显示大致中央视野的2张视差图像。一般而言，在3D视听位置检查画面由第1～第n视差图像构成的情况下，中心2张视差图像在n为奇数时，为第(n+1)/2视差图像以及第(n+1)/2-1视差图像(或第(n+1)/2+1视差图像)，在n为偶数时，为第n/2视差图像以及第n/2+1视差图像。

(2)受光部4接收从遥控器发送来的红外线信号，并判定遥控器的摄像机调整键是否被按下(步骤S2)。若按下摄像机调整键，则进入步骤S3。另外，也可以从菜单画面中选择具有同样功能的项目来代替按下遥控器的摄像机调整键。

(3)观众检测部13使用摄像机3所拍摄的影像(摄像机影像)进行脸部识别，并算出观众的位置信息(X1，Y1，Z1)(步骤S3)。并且，判定是否检测到了观众(步骤S4)，若检测到观众，则进入步骤S6。另一方面，若未检测到观众，则液晶面板1显示错误消息(例如“无法识别脸部。”)(步骤S5)。

(4)观众检测部13判定观众是否为1人(步骤S6)。其结果，若观众为1人，则进入步骤S9，相反，若观众为多人，则液晶面板1显示错误消息(例如“摄像机调整在1人时可执行。”)(步骤S7)。另外，也可以继续显示步骤S5以及步骤S7的错误消息，在液晶面板1上显示摄像机影像以及脸部识别的状态(例如，识别出的观众的脸部的轮廓图案)(步骤S8)。

(5)基于步骤S3取得的观众的位置信息，生成视域(步骤S9)。具体而言，视域信息算出部14基于观众检测部13取得的位置信息，算出用于设定视域的控制参数。然后，如上所述，基于算出的控制参数生成视域。

图9的(a)以及(b)为从上方观看到3D视听位置检查画面的第1～第9视差图像的光线与观众20的图。在图9的(a)以及(b)中，符号(1)～(9)分别为图8的(1)～(9)所示的视差图像的光线。

在不存在摄像机的位置偏移时，如图9的(a)所示，第4视差图像进入观众20的右眼，第5视差图像进入左眼，因此，观众20在引导显示部31内看到双圆的引导字符32。另一方面，如图9的(b)所示，在摄像机3向从影像处理装置100看的右方向偏移时，与不存在摄像机3的位置偏移的情况相比，观众检测部13识别到观众20位于左方向。因此，第1～第9视差图像以对应于摄像机3的偏移量，向从影像处理装置100看的左侧输出。图9的(b)的情况下，第6视差图像进入观众的右眼，第7视差图像进入左眼，因此，观众右眼会看到圆符号，左眼会看到三角符号。

(6)生成视域后，液晶面板1在3D视听位置检查画面显示摄像机调整用的滑动条(步骤S10)。并且，本实施方式中的摄像机校准由于以观众的位置不变化为前提，因此为使观众在摄像机调整中不改变视听位置，在3D视听位置检查画面上显示消息(例如“请在不改变视听位置的情况下调整摄像机。”)。

图10示出了显示有滑动条的3D视听位置检查画面(摄像机调整画面)的一例子。如图10所示，3D视听位置检查画面的下部设有包含滑块34的滑动条33。观众可以通过遥控器的方向键等，左右移动滑块34的位置。通过移动该滑块34，能够改变3D视听位置检查画面的第1～第9视差图像的输出方向。即，可以移动视域。例如，当观众将滑块34从滑动条33的中心向左侧移动时，第1～第9视差图像向从观众看的左方向输出，当观众将滑块34从滑动条33的中心向右侧移动时，第1～第9视差图像向从观众看的右方向输出。

另外，在滑块34初次进行摄像机调整时，显示在滑动条33的中心，在已进行摄像机调整时，显示在与上次算出的校正量对应的位置。

(7)图像调整部15(视域控制部15’)判定滑块34的位置是否变化(步骤S11)，在滑块34的位置发生了变化时进入步骤S12。

(8)当滑块34的位置变化时，图像调整部15(视域控制部15’)根据滑块34的位置，改变第1～第9视差图像的输出方向(步骤S12)。即，图像调整部15(视域控制部15’)根据来自未改变视听位置的观众的指示，改变3D视听位置检查画面的第1～第9视差图像的输出方向。

对于滑块34的位置与3D视听位置检查画面的第1～第9视差图像的输出方向的关系，使用图11进行说明。图11的(1)以及(2)为从上方观看到3D视听位置检查画面的第1～第9视差图像的光线与观众20的图。摄像机3与图9一样向右方向偏移。

在如图10所示滑块34位于滑动条33的中心的左侧的情况下，第1～第9视差图像与图9的(b)相比向从观众看的左方向(从影像处理装置100看的右方向)输出，视域向左方向移动。在图11的(1)所示的状态下，第5视差图像进入观众的右眼，第6视差图像进入观众的左眼。该状态下，观众右眼看到双圆符号，左眼看到圆符号，仍然不能用两眼看到双圆符号。

在滑块34位于更左侧的情况下，如图11的(2)所示，第1～第9视差图像与图11的(1)的情况相比更向从观众20看的左方向输出，视域向左方向偏移。其结果，第4视差图像进入观众的右眼，第5视差图像进入观众的左眼。在该状态下，观众可以双眼看到双圆。

观众双眼看到双圆便按下遥控的确定键。另外，也可以从菜单画面中选择具有同样的功能的项目来代替按下遥控器的确定键。

(9)受光部4接收从遥控器发送来的红外线信号，判定遥控器的确定键是否被按下(步骤S13)。若确定键已被按下，则进入步骤S14。

(10)校正量算出部18通过下述式(1)，算出位置信息的校正量，并保存至存储部17内(步骤S14)。

Δx＝Z1·(tanθ2-tanθ1)          (1)

其中，Δx为校正量，Z1为观众在Z轴上的位置，θ1为改变输出方向前的多个视差图像的输出方向，θ2为观众右眼看到中心2张视差图像中的一张、左眼看到另一张的状态下的多个视差图像的输出方向。

本实施方式中，角度θ1为步骤S9中生成视域时的视差图像的输出方向，角度θ2为按下确定键时的视差图像的输出方向。

图12示出了式(1)的各参数的关系。表示视差图像的输出方向的角度θ1、θ2被定义为液晶面板1的法线L与视差图像的光线R1、R2所形成的角度。光线R1是改变视差图像的输出方向前的光线，光线R2为改变视差图像的输出方向后的光线。并且，x1以及x2表示X轴上的位置，x1＝Z1·tanθ1、x2＝Z1·tanθ2。例如，x1为校正前的位置信息所示的观众的位置，x2为校正后的位置信息所示的观众的位置(即，真正的观众的位置)。

另外，虽然以上只针对X方向求得位置信息的校正量，但针对Y方向也可以与X方向一样求得校正量Δy。该情况下，存储部17中保存的位置信息的校正量是X方向的校正量以及Y方向的校正量的组合(Δx，Δy)。并且，调整视差图像的输出方向的部件不限于滑动条33。

如上所述，本实施方式中，观众不改变视听位置，通过改变视差图像的输出方向，从而进行视域的调整，算出用于补偿观众的位置信息的误差的校正量。更具体而言，为使观众能够用双眼看到引导显示部31的引导字符32为双圆，移动3D显示在视听位置检查画面的滑动条33的滑块34，并根据滑块的偏移量算出校正量。

接着，针对算出校正量的其他方法涉及的变形例进行说明。与上述摄像机校准方法相反，本变形例中，固定视差图像的输出方向，并改变观众的位置。图13为表示本变形例涉及的影像处理方法(摄像机的校准)的流程图。由于与上述图6A中说明的步骤S1～S9相同，因此省略说明，按照图13，从步骤S9的下一步骤开始说明。

(1)液晶面板1显示提醒观众的消息，以提醒观众从现在的位置(观众移动前的位置)移动到用右眼看到多个视差图像中的中心2张视差图像的一张、左眼看到另一张的位置(步骤S21)。作为该消息，例如显示为“请移动至双眼可看到双圆的位置后按下确定键”。

(2)观众检测部13判定确定键是否被按下(步骤S22)，若已按下确定键则进入步骤S23。

(3)当按下确定键时，观众检测部13使用摄像机影像进行脸部识别，并取得观众的位置信息(步骤S23)。在按下确定键的时刻，观众用双眼看到双圆的引导字符32。因此，本步骤中，观众检测部13取得表示观众右眼看到中心2张视差图像中的一张、左眼看到另一张的位置的位置信息。

(4)校正量算出部18根据表示观众移动前的位置的位置信息(X1，Y1)(步骤S3中算出)与表示观众移动后的位置的位置信息(X2，Y2)(步骤S23中算出)，使用式(2)算出校正量(Δx，Δy)，并保存至存储部17(步骤S24)。

(Δx，Δy)＝(X2，Y2)-(X1，Y1)        (2)

即，校正量算出部18算出移动前的位置信息(X1，Y1)与移动后的位置信息(X2，Y2)之间的差作为校正量。

如上所述，本变形例中，视差图像的输出方向固定，通过改变观众的视听位置，进行视域的调整，取得用于补偿观众的位置信息的误差的校正量。即，观众移动用双眼看到引导显示部31的引导字符32为双圆的位置，并根据移动前后的位置信息算出校正量。

另外，在上述实施方式以及变形例中液晶面板1上向观众显示了的各种消息，但取而代之，也可以使用影像处理装置100的扬声器(未图示)，通过语音向观众传达消息。

接着，针对使用上述位置信息的校正量(Δx，Δy)，在视听立体影像时生成适当的视域的方法进行说明。

(1)观众检测部13将根据摄像机影像算出的观众的位置信息(X1，Y1)供给至位置信息校正部16。

(2)位置信息校正部16当从观众检测部13获得观众的位置信息时，从存储部17中读出位置信息的校正量(Δx，Δy)，并使用该校正量(Δx，Δy)，校正由观众检测部13供给的位置信息(X1，Y1)，并得到校正后的位置信息(X1’，Y1’)。该校正后的位置信息通过式(3)来求得。位置信息校正部16将校正后的位置信息(X1’，Y1’)供给至视域信息算出部14。

(X1’，Y1’)＝(X1，Y1)+(Δx，Δy)       (3)

(3)如上所述，通过视域信息算出部14以及图像调整部15(视域控制部15’)生成包含位置(X1’，Y1’)的视域。更详细而言，首先，视域信息算出部14使用校正后的位置信息(X1’，Y1’)算出控制参数。然后，图像调整部15使用视域信息算出部14算出的控制参数调整视差图像，并供给至液晶面板1。对于影像处理装置100’，视域控制部15’使用视域信息算出部14算出的控制参数，控制开口控制部2’。

(4)液晶面板1显示通过图像调整部15调整后的图像。对于影像处理装置100’，液晶面板1显示从视差图像转换部12供给的图像。

如上所述，在视听立体影像时，使用校正量校正观众的位置信息，在校正后的位置生成视域。由此，即使在发生摄像机的位置偏移的情况下，也可以生成将观众纳入其中的视域。

虽然说明了本发明的几个实施方式，但这些实施方式仅作为例子示出，并不用于限定发明的范围。这些实施方式可通过其他各种实施方式来实施，在不脱离发明的要旨范围内，可以进行各种省略、代替、变更。这些实施方式或其变形如果包含于发明的范围或要旨内，则包含于专利要求的范围所记载的发明与其相等的范围内。

Claims (16)

1.一种影像处理装置，其特征在于，包括：

观众检测部，使用由摄像机拍摄的影像进行脸部识别，取得观众的位置信息；

校正量算出部，算出用于补偿伴随所述摄像机的安装位置的偏移而产生的所述位置信息的误差的校正量；

位置信息校正部，使用由所述校正量算出部算出的所述校正量，校正所述位置信息；以及

视域信息算出部，使用由所述位置信息校正部校正的位置信息，算出用于设定纳入所述观众的视域的控制参数。

2.根据权利要求1所述的影像处理装置，其特征在于，还包括：

视域控制部，根据所述控制参数控制视域；

显示部，显示在所述视域内的观众能作为立体影像观看的多个视差图像；以及

开口控制部，将显示在所述显示部的多个视差图像向指定方向输出。

3.根据权利要求2所述的影像处理装置，其特征在于：

所述显示部显示由多个视差图像构成的3D视听位置检查画面，在所述3D视听位置检查画面中，所述多个视差图像中的中心的2张视差图像具有其它视差图像中没有的共用引导字符，

所述视域控制部根据来自未改变视听位置的所述观众的指示，改变所述3D视听位置检查画面的所述多个视差图像的输出方向，

所述校正量算出部通过式(1)算出所述校正量，

Δx＝Z1·(tanθ2-tanθ1)            (1)

其中，Δx为所述校正量，Z1为所述观众在Z轴上的位置，θ1为改变输出方向前的所述多个视差图像的输出方向，θ2为所述观众用右眼看到所述中心的2张视差图像中的一张、用左眼看到另一张的状态下的所述多个视差图像的输出方向。

4.根据权利要求3所述的影像处理装置，其特征在于：

所述视域控制部根据显示在所述3D视听位置检查画面的且所述观众能操作的滑动条的滑块的位置，改变所述3D视听位置检查画面的所述多个视差图像的输出方向。

5.根据权利要求3所述的影像处理装置，其特征在于：

所述校正量算出部将算出的所述校正量保存至存储部，

所述位置信息校正部当从所述观众检测部获得所述位置信息时，从所述存储部中读出所述校正量，并使用读出的所述校正量校正所述位置信息。

6.根据权利要求3所述的影像处理装置，其特征在于：

在所述观众检测部未检测到观众时或检测到多个观众时，所述显示部显示错误消息。

7.根据权利要求2所述的影像处理装置，其特征在于：

所述显示部显示由多个视差图像构成的3D视听位置检查画面，在所述3D视听位置检查画面中，所述多个视差图像中的中心的2张视差图像具有其它视差图像中没有的共用引导字符，

所述观众检测部取得表示所述观众移动前的位置的第1位置信息以及表示所述观众移动后的位置、即右眼看到所述中心的2张视差图像中的一张、左眼看到另一张的位置的第2位置信息，

所述校正量算出部算出所述第1位置信息与所述第2位置信息的差作为所述校正量。

8.根据权利要求7所述的影像处理装置，其特征在于：

所述校正量算出部将算出的所述校正量保存至存储部，

所述位置信息校正部当从所述观众检测部获得所述位置信息时，从所述存储部中读出所述校正量，并使用读出的所述校正量校正所述位置信息。

9.根据权利要求7所述的影像处理装置，其特征在于：

在所述观众检测部未检测到观众时或检测到多个观众时，所述显示部显示错误消息。

10.一种影像处理方法，其特征在于：

显示由多个视差图像构成的3D视听位置检查画面，在所述3D视听位置检查画面中，所述多个视差图像中的中心的2张视差图像具有其它视差图像中没有的共用引导字符；

使用由摄像机拍摄的影像进行脸部识别，取得观众的位置信息；

根据所述观众的位置信息，生成视域；

根据来自未改变视听位置的所述观众的指示，改变所述3D视听位置检查画面的多个视差图像的输出方向；

通过式(2)算出所述观众的位置信息的校正量，

Δx＝Z1·(tanθ2-tanθ1)          (2)

其中，Δx为所述校正量，Z1为所述观众在Z轴上的位置，θ1为改变输出方向前的所述多个视差图像的输出方向，θ2为所述观众右眼看到所述中心的2张视差图像中的一张、左眼看到另一张的状态下的所述多个视差图像的输出方向。

11.根据权利要求10所述的影像处理方法，其特征在于：

根据显示在所述3D视听位置检查画面的且所述观众能操作的滑动条的滑块的位置，改变所述多个视差图像的输出方向。

12.根据权利要求10所述的影像处理方法，其特征在于：

使用所述校正量校正所述位置信息，

使用所述校正后的位置信息，算出用于设定纳入所述观众的视域的控制参数，

根据所述控制参数控制视域。

13.根据权利要求10所述的影像处理方法，其特征在于：

在未检测到观众时或检测到多个观众时，显示错误消息。

14.一种影像处理方法，其特征在于：

显示由多个视差图像构成的3D视听位置检查画面，在所述3D视听位置检查画面中，所述多个视差图像中的中心的2张视差图像具有其它视差图像中没有的共用引导字符；

使用由摄像机拍摄的影像进行脸部识别，取得表示观众移动前的位置的第1位置信息；

基于所述第1位置信息，生成视域；

取得表示所述观众移动后的位置、即右眼看到所述中心的2张视差图像中的一张、左眼看到另一张的位置的第2位置信息；

算出所述第1位置信息与所述第2位置信息的差，从而算出所述观众的位置信息的校正量。

15.根据权利要求14所述的影像处理方法，其特征在于：

使用所述校正量校正所述观众的位置信息，

使用所述校正后的位置信息，算出用于设定纳入所述观众的视域的控制参数，

根据所述控制参数控制视域。

16.根据权利要求14所述的影像处理方法，其特征在于：

在未检测到观众时或检测到多个观众时，显示错误消息。

Images