CN102457745A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明公开了一种图像处理设备、图像处理方法和程序，该图像处理设备包括：第一显示控制单元，使得显示单元显示第一3D图像；接收单元，从用户接收表示显示在显示单元上的第一3D图像的视差量是否在允许范围内的消息；确定单元，基于接收单元接收的消息，确定估计允许范围，以使得如果消息表示所显示的第一3D图像的视差量不在允许范围内，则视差量不包括在估计允许范围中；以及第二显示控制单元，基于估计允许范围，使得显示单元显示第二3D图像。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开内容涉及一种图像处理设备、图像处理方法和程序，并且特别地，涉及一种能够显示适合于个体用户的3D图像的图像处理设备、图像处理方法和程序。

背景技术

近年来，3D图像已取得了大量的关注，并且因此，已开发了能够显示3D图像的显示设备(参考例如日本未审查专利申请公布第2010-211036号)。显示在这样的显示设备上的3D图像的视差量被设置为适合于一般用户。

发明内容

然而，用于感知3D图像的立体观看能力以及对深度方向上的显示范围的偏好在不同的个体之间不同。因此，适合于一般用户的3D图像对一些用户来说会引起疲劳，或者由于深度感对一些用户不够强而无法满足这些用户。

因此，本公开内容允许显示适合于个体用户的3D图像。

根据本公开内容的实施例，一种图像处理设备包括：第一显示控制单元，其使得显示单元显示第一3D图像；接收单元，其从用户接收表示显示在显示单元上的第一3D图像的视差量是否在允许范围内的消息；确定单元，其基于接收单元接收的消息，确定估计允许范围，以使得如果消息表示所显示的第一3D图像的视差量不在允许范围内，则视差量不包括在估计允许范围中；以及第二显示控制单元，其基于估计允许范围，使得显示单元显示第二3D图像。

根据本公开内容的另一实施例，提供了一种与根据本公开内容的实施例的图像处理设备对应的图像处理方法和程序。

根据本公开内容的实施例，第一3D图像显示在显示单元上，接收表示显示在显示单元上的第一3D图像的视差量是否在允许范围内的消息，基于消息确定估计允许范围，以使得如果消息表示所显示的第一3D图像的视差量不在允许范围内，则视差量不包括在估计允许范围中，以及基于估计允许范围在显示单元上显示第二3D图像。

如上所述，根据本公开内容的实施例，可以显示适合于个体用户的3D图像。

附图说明

图1是根据本公开内容的实施例的再现系统的示例性配置的框图；

图2是示出图1所示的电视接收机的示例性配置的框图；

图3示出了3D测试图像的示例；

图4是示出视差设置处理的流程图；

图5详细示出了图2所示的视差处理单元的配置的示例；

图6是示出图5所示的视差处理单元执行的视差处理的流程图；

图7详细示出了图2所示的视差处理单元的配置的另一示例；

图8是图7所示的视差校正单元的配置的示例的框图；

图9是示出图7所示的视差处理单元执行的视差处理的流程图；

图10是详细示出图9所示的视差校正处理的流程图；

图11是图7所示的视差校正单元的详细配置的另一示例的框图；

图12示出了视差控制的示例；

图13是示出图11所示的视差校正单元执行的视差校正处理的流程图；以及

图14示出了根据实施例的计算机的示例性配置。

具体实施方式

示例性实施例

根据示例性实施例的再现系统的示例性配置

根据本公开内容的实施例，公开了一种图像处理设备，包括：第一显示控制单元，其使得显示单元显示第一3D图像；接收单元，其从用户接收表示显示在显示单元上的第一3D图像的视差量是否在允许范围内的消息；确定单元，其基于接收单元接收的消息，确定估计允许范围，以使得如果消息表示所显示的第一3D图像的视差量不在允许范围内，则视差量不包括在估计的允许范围中；以及第二显示控制单元，其基于估计的允许范围，使得显示单元显示第二3D图像。

根据本公开内容的另一实施例，还公开了一种用于图像处理设备的图像处理方法，包括：使得显示单元显示第一3D图像；从用户接收表示显示在显示单元上的第一3D图像的视差量是否在允许范围内的消息；基于所接收的消息确定估计允许范围，以使得如果消息表示所显示的第一3D图像的视差量不在允许范围内，则视差量不包括在估计允许范围中；以及基于估计允许范围，使得显示单元显示第二3D图像。

图1是根据本公开内容的实施例的、包括用作图像处理设备的电视接收机的再现系统的示例性配置的框图。

如图1所示，再现系统10包括电视接收机11、遥控器12以及再现设备13。再现系统10在电视接收机11上显示再现设备13再现的图像。

更具体地，再现系统10的电视接收机11接收从遥控器12发出的光信号，并且根据与光信号对应的命令执行多种处理。例如，响应于命令，电视接收机11经由天线(未示出)接收表示预定信道节目的2D图像的音频和视频(AV)流，并且输出节目的2D图像和声音。

另外，响应于命令，电视接收机11显示3D测试图像(第一3D图像)。此时，用户操作例如遥控器12，并且向电视接收机11发送表示所显示的3D测试图像的视差量是否在允许范围内的消息。响应于与该消息对应的命令，电视接收机11确定针对用户的视差量的估计允许范围，以使得如果消息表示所显示的3D测试图像的视差量不在允许范围内，则视差量不包括在估计允许范围中。电视接收机11将估计范围中的最大值保持为最大视差量。另外，电视接收机11将估计范围中的最小值保持为最小视差量。

如本文所使用的，术语“视差量”指的是左眼图像与右眼图像之间的移动量。如果左眼图像从右眼图像向左侧移动，即，如果3D图像在深度方向上位于显示屏后面，则视差量为正。相反，如果左眼图像从右眼图像向右侧移动，即，如果3D图像在深度方向上位于显示屏前面，则视差量为负。

另外，响应于命令，电视接收机11接收由再现设备13再现并传送的3D图像的AV流。此后，电视接收机11基于最小视差量和最大视差量，对与AV流对应的3D图像(第二3D图像)执行图像处理，并且生成对个体用户最优的3D图像的图像数据。电视接收机11输出与经过图像处理的图像数据对应的3D图像，并且输出与AV流对应的声音。

遥控器12由电视接收机11的用户来操作。遥控器12根据用户执行的操作而生成多种命令，并且发出与命令之一对应的光信号。

响应于从例如电视接收机11的用户接收的指令，再现设备13再现安装在再现设备13中的盘或内部硬盘中存储的AV流，并且将再现的AV流传送到电视接收机11。

电视接收机的示例性配置

图2是示出图1所示的电视接收机11的示例性配置的框图。

如图2所示，电视接收机11包括调谐器21、接收单元22、多路信号分离器23、音频解码器24、扬声器25、视频解码器26、显示单元27、输入单元28、控制单元29、存储器30、视差处理单元31以及测试图像生成单元32。

电视接收机11的调谐器21经由天线(未示出)接收数字广播信号。在从控制单元29接收到指令时，调谐器21从所接收的数字广播信号中提取用户指示选择的信道的数字广播信号，并且对该数字广播信号进行解调。调谐器21将所得到的AV流供应到多路信号分离器23。

接收单元22接收从图1所示的再现设备13传送的3D图像的AV流，并且响应于从控制单元29接收的指令而将AV流供应到多路信号分离器23。

多路信号分离器23将从调谐器21或接收单元22供应的AV流分离成图像流和音频流。多路信号分离器23将音频流供应到音频解码器24，并且将图像流供应到视频解码器26。

音频解码器24使用预定方案对从多路信号分离器23供应的音频流进行解码，并且对所得到的音频数据执行D/A转换。音频解码器24将通过D/A转换获得的模拟声音信号供应到扬声器25。以此方式，输出基于声音信号的声音。

视频解码器26使用预定方案对从多路信号分离器23供应的预定节目的2D图像的图像流进行解码，并且将所得到的2D图像的图像数据供应到显示单元27。视频解码器26使用预定方案对从多路信号分离器23供应的3D图像的图像流进行解码，并且将所得到的图像数据供应到视差处理单元31。

显示单元27使用从视频解码器26供应的2D图像的图像数据作为左眼的图像数据和右眼的图像数据，并且交替显示与左眼的图像数据对应的图像和与右眼的图像数据对应的图像。以此方式，用户可以观看预定节目的2D图像。

另外，显示单元27交替显示与从视差处理单元31供应的3D图像数据或从测试图像生成单元32供应的3D测试图像数据中的左眼图像数据对应的图像和与右眼图像数据对应的图像。此时，用户佩戴如下眼镜：当显示左眼图像时，该眼镜打开用于左眼的快门，并且当显示右眼图像时，打开用于右眼的快门。然后，用户察看图像。以此方式，用户可以观看3D图像。

输入单元28包括接收从图1所示的遥控器12发出的光的光接收单元和操作按钮。输入单元28接收从遥控器12发出的光信号，并且将与所接收的光信号对应的命令供应到控制单元29。另外，输入单元28将表示用户对操作按钮执行的操作的操作信号供应到控制单元29。

控制单元29指示调谐器21选择基于从输入单元28供应的命令或操作信号而确定的信道，并且指示接收单元22输出AV流。另外，响应于命令或操作信号，控制单元29指示视差处理单元31开始视差处理，在该视差处理中，基于最小视差量和最大视差量执行图像处理。此外，响应于命令或操作信号，控制单元29指示测试图像生成单元32开始视差设置处理，在该视差设置处理中，设置最小视差量和最大视差量，并且将表示所显示的3D测试图像的视差量是否在允许范围内的消息发送到测试图像生成单元32。

存储器30由例如闪存构成。存储器30保存从测试图像生成单元32供应的最小视差量和最大视差量。另外，存储器30预先存储用作3D测试图像的图像数据的预定3D图像数据(下文中称为“测试图像数据”)。

视差处理单元31响应于从控制单元29输出的指令而执行视差处理。更具体地，视差处理单元31从存储器30读取最小视差量和最大视差量。视差处理单元31使用最小视差量和最大视差量对从视频解码器26供应的3D图像的图像数据执行图像处理，并且生成对于个体用户最优的3D图像的图像数据。视差处理单元31将经过图像处理的3D图像的图像数据供应到显示单元27。

测试图像生成单元32包括修改单元32A、确定单元32B以及显示控制单元32C。响应于从控制单元29输出的指令，测试图像生成单元32执行视差设置处理。更具体地，测试图像生成单元32的修改单元32A(修改单元)基于如下消息而修改存储在存储器30中的测试图像数据的视差量：该消息是从控制单元29接收的，并且表示所显示的3D测试图像的视差量是否在允许范围内。例如，为了修改测试图像数据的视差量，可以在水平方向上移动与测试图像数据中的右眼图像数据对应的图像和与左眼图像数据对应的图像中的每个图像。

使用从控制单元29接收的并且表示所显示的3D测试图像的视差量是否在允许范围内的消息，确定单元32B(确定单元)确定用户的视差量的估计允许范围，以使得如果消息表示所显示的3D测试图像的视差量不在允许范围内，则视差量不包括在估计允许范围中。此后，确定单元32B将估计范围的最大值作为最大视差量供应到存储器30，并且将估计范围的最小值作为最小视差量供应到存储器30。

显示控制单元32C从存储器30读取测试图像数据，并且将测试图像数据供应到显示单元27。另外，显示控制单元32C将具有经修改单元32A修改的视差量的测试图像数据供应到显示单元27。

3D测试图像的示例

图3示出了与存储在图2所示的存储器30中的测试图像数据对应的3D测试图像的示例。

如图3所示，3D测试图像包括左眼图像41和右眼图像42。在图3所示的示例中，左眼图像41包含矩形测试图案41A。右眼图像42包含在距与左眼图像41的矩形测试图案41A的位置对应的位置距离d的位置处的、与左眼图像41中的图案41A相同的图案42A。即，图3所示的3D测试图像的视差量是+d。

图2所示的修改单元32A基于从控制单元29接收的并且表示所显示的3D测试图像的视差量是否在允许范围内的消息，修改视差量+d。

注意，在图3所示的示例中，3D测试图像仅包括一个矩形测试图案。然而，测试图案的数量和测试图案的形状不限于此。

视差设置处理的描述

图4是示出图1所示的电视接收机11执行的视差设置处理的流程图。当用户操作例如遥控器12并且指示电视接收机11设置最大视差量和最小视差量时，视差设置处理开始。

如图4所示，在步骤S11中，在从控制单元29接收到用于开始视差设置处理的指令时，电视接收机11的显示控制单元32C从存储器30读取测试图像数据。

注意，以以下方式从控制单元29发送用于开始视差设置处理的指令。例如，响应于用于设置最大视差量和最小视差量的用户操作，遥控器12生成用于指示开始视差设置处理的命令(下文中称为“视差设置处理开始命令”)。此后，遥控器12发出与所生成的视差设置处理开始命令对应的光信号。在接收到光信号时，输入单元28将与该光信号对应的视差设置处理开始命令供应到控制单元29。控制单元29响应于视差设置处理开始命令，指示测试图像生成单元32开始视差设置处理。

在步骤S12中，显示控制单元32C(第一显示控制单元)将测试图像数据供应到显示3D测试图像的显示单元27。此时，用户观看显示在显示单元27上的3D测试图像，并且确定3D图像是否被感知以及3D图像是否使得他们的眼睛疲倦。此后，例如当用户可以感知到3D图像时并且如果3D图像没有使得他们的眼睛疲倦，则用户操作例如遥控器12，并且发送表示所显示的3D测试图像的视差量在允许范围内的消息。然而，如果例如用户难以感知到3D图像或者如果3D图像使得他们的眼睛疲倦，则用户操作例如遥控器12，并且发送表示所显示的3D测试图像的视差量不在允许范围内的消息。在接收到根据这样的操作的命令或操作信号时，输入单元28(接收单元)将该命令或操作信号供应到控制单元29。控制单元29基于命令或操作信号，将表示所显示的3D测试图像的视差量是否在允许范围内的消息发送到测试图像生成单元32。

在步骤S13中，修改单元32A确定是否已从控制单元29接收到表示所显示的3D测试图像的视差量在允许范围内的消息。如果在步骤S13中确定已接收到表示所显示的3D测试图像的视差量在允许范围内的消息，则处理进行到步骤S14。

在步骤S14中，修改单元32A将测试图像数据的视差量增加预定量。此后，处理返回到步骤S12，并且在没有接收到表示所显示的3D测试图像的视差量在允许范围内的消息之前，重复步骤S12至S14中的处理。即，以逐步方式将显示在显示单元27上的3D测试图像的视差量增加预定量，直至用户停止执行用于发送表示所显示的3D测试图像的视差量在允许范围内的消息的操作为止。

然而，如果在步骤S13中确定尚未从控制单元29接收到表示所显示的3D测试图像的视差量在允许范围内的消息，则处理进行到步骤S15。在步骤S15中，确定单元32B确定是否已从控制单元29接收到表示所显示的3D测试图像的视差量不在允许范围内的消息。

如果在步骤S15中确定尚未接收到表示所显示的3D测试图像的视差量在允许范围之外的消息，则处理返回到步骤S13。此后，重复步骤S13至S15中的处理，直至接收到表示所显示的3D测试图像的视差量在允许范围内的消息或表示所显示的3D测试图像的视差量不在允许范围内的消息为止。

然而，如果在步骤S15中确定已接收到表示所显示的3D测试图像的视差量在允许范围之外的消息，则处理返回到步骤S16。在步骤S16中，确定单元32B选择测试图像数据的先前视差量(即，比测试图像数据的当前视差量小预定量的值)作为估计允许范围的最大值，并且将所选择的值供应到存储器30。存储器30将该值存储作为最大视差量。

在步骤S17中，显示控制单元32C再次从存储器30读取测试图像数据。在步骤S18中，显示控制单元32C将测试图像数据供应到显示单元27。因此，显示单元27显示3D测试图像。此时，如在步骤S12中一样，用户操作例如遥控器12，并且发送表示所显示的3D测试图像的视差量是否在允许范围内的消息。作为操作的结果，控制单元29将表示所显示的3D测试图像的视差量是否在允许范围内的消息发送到测试图像生成单元32。

在步骤S19中，修改单元32A确定是否已从控制单元29接收到表示所显示的3D测试图像的视差量在允许范围内的消息。如果在步骤S19中修改单元32A确定已接收到表示所显示的3D测试图像的视差量在允许范围内的消息，则处理进行到步骤S20。

在步骤S20中，修改单元32A将测试图像数据的视差量减小预定量。此后，处理返回到步骤S18，并且在没有接收到表示所显示的3D测试图像的视差量在允许范围内的消息之前，重复步骤S18至S20中的处理。即，以逐步方式将显示在显示单元27上的3D测试图像的视差量减小预定量，直至用户停止执行用于发送表示所显示的3D测试图像的视差量在允许范围内的消息的操作为止。

然而，如果在步骤S19中确定尚未从控制单元29接收到表示所显示的3D测试图像的视差量在允许范围内的消息，则处理进行到步骤S21。在步骤S21中，确定单元32B确定是否已从控制单元29接收到表示所显示的3D测试图像的视差量不在允许范围内的消息。

如果在步骤S21中确定尚未接收到表示所显示的3D测试图像的视差量在允许范围之外的消息，则处理返回到步骤S19。此后，重复步骤S19和S21中的处理，直至接收到表示所显示的3D测试图像的视差量在允许范围内的消息或表示所显示的3D测试图像的视差量不在允许范围内的消息为止。

然而，如果在步骤S21中确定已接收到表示所显示的3D测试图像的视差量在允许范围之外的消息，则处理返回到步骤S22。在步骤S22中，确定单元32B选择测试图像数据的先前视差量(即，比测试图像数据的当前视差量大预定量的值)作为估计允许范围的最小值，并且将所选择的值供应到存储器30。存储器30将该值存储作为最小视差量。

尽管已参照使用预先存储的3D测试图像或具有修改的视差量的3D测试图像而确定的估计允许范围对本实施例进行了描述，但是可仅使用预先存储的3D测试图像来确定估计允许范围。

另外，尽管已参照以逐步方式将3D测试图像的视差量增加或减小预定量对本实施例进行了描述，但是可随意修改3D测试图像的视差量。

视差处理单元的详细配置的示例

图5详细示出了图2所示的视差处理单元31的配置的示例。

如图5所示，视差处理单元31包括视差检测单元51、比较单元52、告警图像生成单元53以及组合单元54。如果从视频解码器26供应的3D测试图像的图像数据的视差量不在估计允许范围内，则图5所示的视差处理单元31将告警图像重叠在与图像数据对应的3D图像上，并且显示重叠的3D图像。

更具体地，视差处理单元31的视差检测单元51对从图2所示的视频解码器26供应的3D图像的图像数据执行块匹配，并且检测图像数据的每个像素的视差量。注意，在该示例中，针对每个像素检测视差量。然而，检测视差量的单位不限于像素。例如，可针对多个像素来检测视差量。视差检测单元51将针对每个像素检测到的视差量供应到比较单元52。

比较单元52从存储器30读取最小视差量和最大视差量。比较单元52将从视差检测单元51供应的每个像素的视差量与最小视差量和最大视差量中的每个进行比较，并且确定是否存在具有不在估计允许范围内的视差量的像素。如果确定存在具有不在估计允许范围内的视差量的像素，则比较单元52指示告警图像生成单元53生成告警图像。

注意，在该示例中，如果确定存在具有不在估计允许范围内的视差量的像素，则生成告警图像。然而，如果确定预定像素的视差量不在估计允许范围内，则可生成告警图像。预定像素的视差量的示例包括具有主要对象的区域的视差量和在所有像素的视差量的直方图中具有最大频率的视差量。

在从比较单元52接收到指令时，告警图像生成单元53生成表示视差量不适合用户的告警图像的图像数据，并且将所生成的图像数据供应到组合单元54。注意，告警图像的图像数据可预先存储在例如存储器30(参照图2)中。

如果尚未从告警图像生成单元53供应告警图像的图像数据，则组合单元54(第二显示控制单元)直接将从视频解码器26供应的3D图像的图像数据供应到显示单元27。因此，仅显示3D图像。相反，如果已从告警图像生成单元53供应了告警图像的图像数据，则组合单元54组合告警图像的图像数据与3D图像的图像数据，并且将组合图像供应到显示单元27。因此，显示与告警图像交叠的3D图像。以此方式，例如，如图5所示，与文本“视差不合适！”的告警图像交叠的3D图像显示在显示单元27上。

注意，显示在显示单元27上的告警图像可响应于用户指令而消失。

第一视差处理的描述

图6是示出图5所示的视差处理单元31执行的视差处理的流程图。例如，当以逐帧为基础的3D图像的图像数据从图2所示的视频解码器26被输入到视差处理单元31时，视差处理开始。

如图6所示，在步骤S30中，视差处理单元31的视差检测单元51(参照图5)对从图2所示的视频解码器26供应的3D图像的图像数据执行块匹配，并且检测图像数据的每个像素的视差量。视差检测单元51将所检测的每个像素的视差量供应到比较单元52。

在步骤S31中，比较单元52从图2所示的存储器30读取最小视差量和最大视差量。在步骤S32中，比较单元52基于从视差检测单元51供应的每个像素的视差量、最小视差量以及最大视差量，确定是否存在具有不在从最小视差量到最大视差量的范围(包括性地)内的视差量的像素。

如果在步骤S32中确定存在具有不在从最小视差量到最大视差量的范围(包括性地)内的视差量的像素，即，具有不在估计允许范围内的视差量的像素，则比较单元52指示告警图像生成单元53生成告警图像。此后，处理进行到步骤S33。

在步骤S33中，在接收到从比较单元52供应的指令时，告警图像生成单元53生成表示视差量不适合用户的告警图像的图像数据，并且将所生成的图像数据供应到组合单元54。

在步骤S34中，组合单元54组合从告警图像生成单元53供应的告警图像的图像数据与从视频解码器26(参照图2)供应的3D图像的图像数据。在步骤S35中，组合单元54将组合的图像数据供应到显示单元27，该显示单元27显示与告警图像重叠的3D图像。

然而，如果在步骤S32中确定不存在具有在从最小视差量到最大视差量的范围(包括性地)之外的视差量的像素，即，如果所有像素的视差量都在估计允许范围内，则处理进行到步骤S36。在步骤S36中，组合单元54直接将从视频解码器26供应的3D图像的图像数据供应到显示单元27。因此，仅在显示单元27上显示3D图像。此后，处理完成。

如上所述，图5所示的视差处理单元31基于用户的视差量的估计允许范围，将告警图像重叠在3D图像上，并且指示显示单元27显示重叠图像。因此，可以显示适合于个体用户的3D图像。

视差处理单元的详细配置的另一示例

图7详细示出了图2所示的视差处理单元31的配置的另一示例。

图7所示的视差处理单元31包括视差检测单元51和视差校正单元71。注意，与关于图5示出和描述的那些部件相同的部件以相同的附图标记来指示，并且下文不包括其详细描述。

如果从图2所示的视频解码器26供应的3D图像的图像数据的视差量不在估计允许范围内，则图7所示的视差处理单元31对图像数据的视差量进行校正，以使得视差量在估计允许范围内。

更具体地，视差处理单元31的视差校正单元71从存储器30读取最小视差量和最大视差量。视差校正单元71基于视差检测单元51检测的3D图像的图像数据的每个像素的视差量、最小视差量和最大视差量，确定是否存在具有不在估计允许范围内的视差量的像素。如果确定存在具有不在估计允许范围内的视差量的像素，则视差校正单元71(视差量校正单元)确定用于校正视差量的参数，以使得在校正之后，所有像素的视差量都在估计允许范围内。

此后，视差校正单元71基于参数对从视频解码器26供应的3D图像的图像数据的视差量进行校正。视差校正单元71将3D图像的校正图像数据供应到显示单元27(参照图2)。此后，视差校正单元71指示显示单元27显示具有校正的视差量的3D图像。以此方式，所有像素都具有在估计允许范围内的视差量的3D图像显示在显示单元27上。

视差校正单元的详细配置的示例

图8是图7所示的视差校正单元71的配置的示例的框图。

如图8所示，视差校正单元71包括视差控制单元81和移动处理单元82。图8所示的视差校正单元71通过移动3D图像的视差量来对3D图像的视差量进行校正，以使得3D图像的所有像素的视差量都在估计允许范围内。

更具体地，视差校正单元71的视差控制单元81从图2所示的存储器30读取最小视差量和最大视差量。视差控制单元81基于图7所示的视差检测单元51检测的3D图像的图像数据的每个像素的视差量、最小视差量和最大视差量，确定是否存在具有不在估计允许范围内的视差量的像素。如果确定存在具有不在估计允许范围内的视差量的像素，则视差控制单元81将使得所有像素的视差量都在估计允许范围内所需的视差量的移动量确定为参数。视差控制单元81将所确定的移动量供应到移动处理单元82。

通过使用从视差控制单元81供应的移动量，移动处理单元82将包括在与从视频解码器26供应的3D图像的图像数据对应的3D图像中的左眼图像和右眼图像中的每个在水平方向上移动移动量的一半。此后，移动处理单元82将视差量被移动了移动量并且被校正过的3D图像的图像数据供应到显示单元27(参照图2)。因此，具有校正的视差量的3D图像显示在显示单元27上。

注意，如果没有从视差控制单元81供应移动量，则移动处理单元82直接将从视频解码器26供应的3D图像的图像数据供应到显示单元27，并且指示显示单元27显示3D图像。

第二视差处理的描述

图9是示出图7所示的视差处理单元31执行的视差处理的流程图，该视差处理单元31包括图8所示的视差校正单元71。例如，当以逐帧为基础的3D图像的图像数据从图2所示的视频解码器26输入到视差处理单元31时，视差处理开始。

如图9所示，在步骤S50中，视差处理单元31的视差检测单元51(参照图7)对从图2所示的视频解码器26供应的3D图像的图像数据执行块匹配，并且检测图像数据的每个像素的视差量。视差检测单元51将所检测到的每个像素的视差量供应到视差校正单元71。

在步骤S51中，视差校正单元71的视差控制单元81(参照图8)从图2所示的存储器30读取最小视差量和最大视差量。

在步骤S52中，视差控制单元81基于从视差检测单元51供应的每个像素的视差量、最小视差量和最大视差量，确定是否存在具有不在从最小视差量到最大视差量的范围(包括性地)内的视差量的像素。

如果在步骤S52中确定存在具有不在从最小视差量到最大视差量的范围(包括性地)内的视差量(即，不在估计允许范围内的视差量)的像素，则在步骤S53中，视差校正单元71执行对3D图像的图像数据的视差进行校正的视差校正处理。以下参照图10更详细地描述视差校正处理。

在步骤S54中，移动处理单元82将具有通过视差校正处理校正过的视差量的3D图像的图像数据供应到显示单元27(参照图2)，并且指示显示单元27显示具有校正的视差量的3D图像。此后，处理完成。

然而，如果在步骤S52中确定不存在具有在从最小视差量到最大视差量的范围(包括性地)之外的视差量的像素，则处理进行到步骤S55。在步骤S55中，移动处理单元82直接将从视频解码器26供应的3D图像的图像数据供应到显示单元27。因此，仅3D图像显示在显示单元27上。此后，处理完成。

图10是示出在图9所示的步骤S53中执行的视差校正处理的流程图。

在图10所示的步骤S61中，通过使用3D图像的图像数据的每个像素的视差量、最小视差量和最大视差量，视差校正单元71的视差控制单元81(参照图8)将使得所有像素的视差量都在估计允许范围内所需的视差量的移动量确定为参数。视差控制单元81将所确定的移动量供应到移动处理单元82。

在步骤S62中，通过使用从视差控制单元81供应的移动量，移动处理单元82将包括在与从视频解码器26供应的3D图像的图像数据对应的3D图像中的左眼图像和右眼图像中的每个在水平方向上移动移动量的一半。以此方式，3D图像的图像数据的视差量被校正了移动量。此后，处理返回到图9所示的步骤S53，并且随后，处理进行到步骤S54。

如上所述，通过使用用户的视差量的估计允许范围，图7所示的视差处理单元31对视差量进行校正，以使得3D图像的所有像素的视差量都在估计允许范围内。因此，可以显示适合于个体用户的3D图像。

视差校正单元的详细配置的另一示例

图11是图7所示的视差校正单元71的详细配置的另一示例的框图。

如图11所示，视差校正单元71包括视差控制单元101和图像转换单元102。图11所示的视差校正单元71通过移动3D图像的视差量以及缩放3D图像来对3D图像的视差量进行校正，以使得3D图像的所有像素的视差量都在估计允许范围内。

更具体地，与图8所示的视差控制单元81相同，视差控制单元101从存储器30读取最小视差量和最大视差量。此后，与视差控制单元81相同，视差控制单元101基于视差检测单元51检测的3D图像的图像数据的每个像素的视差量、最小视差量和最大视差量，确定是否存在具有不在估计允许范围内的视差量的像素。如果确定存在具有不在估计允许范围内的视差量的像素，则视差控制单元101将使得所有像素的视差量都在估计允许范围内所需的视差量的移动量和缩放因子确定为参数。

更具体地，首先，视差控制单元101使用以下等式(1)，确定使得校正的3D图像的视差量在估计允许范围内所需的缩放因子r和偏移量(x_Li，y_Li)和(x_Ri，y_Ri)(i＝0，1)：

$\left(\begin{array}{cc}{x^{\text{'}\text{'}}}_L& {x^{\text{'}\text{'}}}_R\\ {y^{\text{'}\text{'}}}_L& {y^{\text{'}\text{'}}}_R\end{array}\right)=\left(\begin{array}{cc}r& 0\\ 0& 1\end{array}\right)\left(\begin{array}{cc}{x}_L-x_{L0}& x_R-x_{R0}\\ y_L& y_R\end{array}\right)+\left(\begin{array}{cc}{x}_{L1}& x_{R1}\\ 0& 0\end{array}\right)...\left(1\right)$

其中，x”_L、y”_L、x”_R和y”_R分别表示校正的3D图像的左眼像素在水平方向上的位置、该像素在垂直方向上的位置、校正的3D图像的右眼像素在水平方向上的位置以及该像素在垂直方向上的位置，并且x_L、y_L、x_R和y_R分别表示未校正的3D图像的左眼像素在水平方向上的位置、该像素在垂直方向上的位置、未校正的3D图像的右眼像素在水平方向上的位置以及该像素在垂直方向上的位置。

随后，为了获得移动量S，视差控制单元101将等式(1)分成以下等式(2)和(3)：

$\left(\begin{array}{cc}{x^{\text{'}}}_L& {x^{\text{'}}}_R\\ {y^{\text{'}}}_L& {y^{\text{'}}}_R\end{array}\right)=\left(\begin{array}{cc}{x}_L-\frac{S}{2}& x_R+\frac{S}{2}\\ y_L& y_R\end{array}\right)...\left(2\right)$

$\left(\begin{array}{cc}{x^{\text{'}\text{'}}}_L& {x^{\text{'}\text{'}}}_R\\ {y^{\text{'}\text{'}}}_L& {y^{\text{'}\text{'}}}_R\end{array}\right)=\left(\begin{array}{cc}r& 0\\ 0& 1\end{array}\right)\left(\begin{array}{cc}{x^{\text{'}}}_L-x_{\mathrm{LC}}& {x^{\text{'}}}_R-x_{\mathrm{RC}}\\ y_L& y_R\end{array}\right)+\left(\begin{array}{cc}{x}_{\mathrm{LC}}& x_{\mathrm{RC}}\\ 0& 0\end{array}\right)...\left(3\right)$

在等式(2)和(3)中，x’_L、y’_L、x’_R和y’_R分别表示移动的3D图像的左眼像素在水平方向上的位置、该像素在垂直方向上的位置、移动的3D图像的右眼像素在水平方向上的位置以及该像素在垂直方向上的位置。另外，在等式(3)中，x_LC表示移动的左眼图像的中心在水平方向上的位置，并且x_RC表示移动的右眼图像的中心在水平方向上的位置。视差控制单元101将所获得的移动量S和缩放因子r供应到图像转换单元102。

图像转换单元102包括前转换子单元111和后转换子单元112。

从视频解码器26供应的3D图像的图像数据被输入到前转换子单元111。与图8所示的移动处理单元82相同，前转换子单元111使用从视差控制单元101供应的移动量S和上述等式(2)，在水平方向上移动包括在与输入的3D图像的图像数据对应的3D图像中的左眼图像和右眼图像中的每个。此后，前转换子单元111将移动的3D图像的图像数据供应到后转换子单元112。

通过使用从视差控制单元101供应的缩放因子和上述等式(3)，后转换子单元112在水平方向上相对于图像的中心对与从前转换子单元111供应的3D图像的图像数据对应的左眼图像和右眼图像的整个屏幕进行缩放。后转换子单元112将缩放后的3D图像的图像数据供应到显示单元27(参照图2)。因此，具有校正的视差量的3D图像显示在显示单元27上。

如上所述，图11所示的视差校正单元71可以对3D图像的视差量进行缩放。因此，可以使得校正的3D图像的立体效果更自然。

尽管已参照将等式(1)表示的转换分成等式(2)和(3)表示的两阶段转换描述了本实施例，但是等式(2)表示的转换可以由如下转换来替代：其中，在水平方向上相对于图像的边缘对包括左眼图像和右眼图像的整个屏幕进行缩放。在该情况下，视差控制单元101确定两个缩放因子，将其中一个缩放因子供应到前转换子单元111，并且将另一个缩放因子供应到后转换子单元112。此后，前转换子单元111在水平方向上相对于图像的边缘对包括与输入的3D图像对应的左眼图像和右眼图像的整个屏幕进行缩放。

视差控制的描述

图12示出了图11所示的视差控制单元101执行的视差控制的示例。

在图12所示的示例中，最小视差量是-56个像素，而最大视差量是+55个像素。

如图12所示，当视差检测单元51(参照图7)检测的3D图像的视差量的最小值是-80个像素而最大值是+32个像素时，视差控制单元101将移动量S确定为例如+25个像素。因此，移动的3D图像的视差量的最小值被改变为-55个像素，而移动的3D图像的视差量的最大值被改变为57个像素。

在这样的情况下，移动的3D图像的视差量的最大值略大于最大视差量。因此，视差控制单元101将缩放因子r设置为小于1的值，例如0.95。以此方式，缩放后的3D图像的视差量的最小值是-52个像素，而缩放后的3D图像的视差量的最大值是54个像素。因此，缩放后的3D图像的视差量在从最小视差量到最大视差量的范围(包括性地)内。

第三视差处理的描述

图7所示的视差处理单元31执行的视差处理与图9所示的视差处理类似，除了在图9所示的步骤S53中执行的视差校正处理之外，其中该视差处理单元31包括图11所示的视差校正单元71。因此，以下参照图13描述图11所示的视差校正单元71执行的视差校正处理。

如图13所示，在步骤S131中，通过使用3D图像的图像数据的每个像素的视差量、最小视差量、最大视差量以及上述等式(1)至(3)，图11所示的视差校正单元71的视差控制单元101确定使得所有像素的视差量都在估计允许范围内所需的视差量的移动量和缩放因子。视差控制单元101将移动量和缩放因子供应到图像转换单元102。

在步骤S132中，通过使用从视差控制单元101供应的移动量和上述等式(2)，图像转换单元102的前转换子单元111在水平方向上移动包括在与从视频解码器26供应的输入3D图像的图像数据对应的3D图像中的左眼图像和右眼图像中的每个。此后，前转换子单元111将移动的3D图像的图像数据供应到后转换子单元112。

在步骤S133中，通过使用从视差控制单元101供应的缩放因子和上述等式(3)，后转换子单元112在水平方向上相对于图像的中心对与从前转换子单元111供应的3D图像的图像数据对应的左眼图像和右眼图像的整个屏幕进行缩放。此后，处理返回到图9中的步骤S53，并且随后，处理进行到步骤S54。

注意，取代确定用于校正视差量以使得校正的3D图像的所有像素的视差量都在估计允许范围内的参数，可确定参数，以使得预定像素的视差量在估计允许范围内。预定像素的视差量的示例包括具有主要对象的区域的视差量和具有所有像素的视差量的直方图中的最大频率的视差量。

根据实施例的计算机的描述

上述一系列处理不仅可以通过硬件来执行，而且可以通过软件来执行。当通过软件执行上述一系列处理时，软件的程序被安装在例如通用计算机中。

图14示出了根据实施例的、其中安装有执行上述一系列处理的程序的计算机的示例性配置。

程序可以预先存储在存储单元208和用作并入计算机的记录介质的只读存储器(ROM)202中。

替选地，程序可以存储(记录)在可拆卸介质211中。可拆卸介质211可以以所谓的封装软件的形式来提供。可拆卸介质211的示例包括软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘以及半导体存储器。

注意，除了经由驱动器210从上述可拆卸介质211安装到计算机中之外，程序可以从通信网络或广播网络下载到计算机中，并且可以安装在并入计算机的存储单元208中。即，程序可以无线地从例如下载站点经由用于数字卫星广播的人造卫星而传输到计算机，或者可以以有线方式经由网络(诸如局域网(LAN)或因特网)来下载。

计算机包括中央处理单元(CPU)201。输入/输出接口205经由总线204连接到CPU 201。

当从例如经由输入/输出接口205操作输入单元206的用户输入指令时，CPU 201执行存储在ROM 202中的程序。替选地，CPU 201将存储在存储单元208中的程序加载到随机存取存储器(RAM)203中并且执行该程序。

以此方式，CPU 201执行根据上述流程图的处理或者由上述框图中的部件执行的处理。此后，CPU 201经由输入/输出接口205从输出单元207输出处理结果，或者在必要时从通信单元209传送结果。替选地，CPU 201在必要时将结果记录在存储单元208中。

注意，输入单元206包括键盘、鼠标以及麦克风。输出单元207包括液晶显示器(LCD)和扬声器。

在本说明书中，不需要总是按照流程图中描述的上述次序来执行计算机根据程序而执行的处理。即，可以并行地或独立地执行计算机根据程序而执行的处理(例如，并行处理或基于对象的处理)。

另外，程序可以由单个计算机(处理器)来执行，或者可以分布式地由多个计算机来执行。此外，程序可以传输到远程计算机，并且可以由远程计算机来执行。

另外，如本说明书中所使用的，术语“系统”指的是多个装置的组合。

另外，应理解，本公开内容的实施例不限于上述实施例。可以在所附权利要求或其等同方案的范围内进行各种修改。

本公开内容包含与2010年10月20日向日本专利局提交的日本优先权专利申请JP 2010-235385中公开的主题内容相关的主题内容，其全部内容通过引用而合并于此。

Claims (9)

1.一种图像处理设备，包括：

第一显示控制单元，被配置成使得显示单元显示第一3D图像；

接收单元，被配置成从用户接收表示显示在所述显示单元上的所述第一3D图像的视差量是否在允许范围内的消息；

确定单元，被配置成基于所述接收单元接收的所述消息，确定估计允许范围，以使得如果所述消息表示所显示的所述第一3D图像的视差量不在所述允许范围内，则所述视差量不包括在所述估计允许范围中；以及

第二显示控制单元，被配置成基于所述估计允许范围，使得所述显示单元显示第二3D图像。

2.根据权利要求1所述的图像处理设备，还包括：

修改单元，被配置成修改要显示在所述显示单元上的所述第一3D图像的视差量。

3.根据权利要求2所述的图像处理设备，其中，所述修改单元增加所述第一3D图像的视差量，直至所述接收单元接收到表示显示在所述显示单元上的所述第一3D图像的视差量不在所述允许范围内的消息为止，并且减小所述第一3D图像的视差量，直至所述接收单元接收到表示显示在所述显示单元上的所述第一3D图像的视差量不在所述允许范围内的消息为止。

4.根据权利要求1所述的图像处理设备，其中，如果所述第二3D图像的视差量不在所述估计允许范围内，则所述第二显示控制单元将告警图像重叠在所述第二3D图像上，并且使得所述显示单元显示重叠图像。

5.根据权利要求1所示的图像处理设备，还包括：

视差量校正单元，被配置成如果所述第二3D图像的视差量不在所述估计允许范围内，则对所述第二3D图像的视差量进行校正，以使得所述第二3D图像的视差量在所述估计允许范围内；

其中，所述第二显示控制单元使得所述显示单元显示经所述视差量校正单元校正过的所述第二3D图像。

6.根据权利要求5所述的图像处理设备，其中，所述视差量校正单元通过在水平方向上移动构成所述第二3D图像的左眼图像和右眼图像，对所述第二3D图像的视差量进行校正。

7.根据权利要求5所述的图像处理设备，其中，所述视差量校正单元通过在水平方向上移动构成所述第二3D图像的左眼图像和右眼图像以及缩放所述图像，对所述第二3D图像的视差量进行校正。

8.一种用于图像处理设备的图像处理方法，包括：

使得显示单元显示第一3D图像；

从用户接收表示显示在所述显示单元上的所述第一3D图像的视差量是否在允许范围内的消息；

基于所接收的消息确定估计允许范围，以使得如果所述消息表示所显示的所述第一3D图像的视差量不在所述允许范围内，则所述视差量不包括在所述估计允许范围中；以及

基于所述估计允许范围，使得所述显示单元显示第二3D图像。

9.一种计算机可读程序，包括：

用于使计算机执行以下处理的代码：使得显示单元显示第一3D图像；从用户接收表示显示在所述显示单元上的所述第一3D图像的视差量是否在允许范围内的消息；基于所接收的消息确定估计允许范围，以使得如果所述消息表示所显示的所述第一3D图像的视差量不在所述允许范围内，则所述视差量不包括在所述估计允许范围中；以及基于所述估计允许范围，使得所述显示单元显示第二3D图像。

Images