CN102438164A - 图像处理装置、图像处理方法以及计算机程序 - Google Patents

Abstract

一种图像处理装置包括3D图像转换器和3D图像产生器。3D图像转换器执行用于基于在2D图像的多个平面中的虚拟距离将包括利用虚拟距离创建的多个平面的2D图像转换为3D图像的转换处理。3D图像产生器基于通过3D图像转换器执行的转换处理从二维图像产生3D图像并且显示产生的3D图像。当在通过使用3D图像产生器显示3D图像的同时，在2D图像的对应平面之间的虚拟距离改变时，3D图像转换器依据在虚拟距离中的改变执行转换处理。

Description

图像处理装置、图像处理方法以及计算机程序

技术领域

本发明涉及一种图像处理装置，图像处理方法，和计算机程序。

背景技术

最近，允许用户三维地感受图像的用于显示图像(三维(3D)图像)的视频显示装置已经发布并且取得广泛的使用(例如，见日本未审查专利申请公告第2010-210712号)。配置来显示3D图像的装置不局限于电视接收机和视频显示装置。一些个人计算机也能够显示3D图像。

在个人计算机上运行的应用中，一些应用使得用户能够产生包括3D图像的内容。通过使用此类应用，用户能够产生内容和利用预定的方法观看内容，从而感知内容中包括的图像为3D图像。

发明内容

可是，根据现有技术，需要专用的软件以设置位置关系以便创建包括3D图像的内容。因此终端用户要创建此类内容是非常困难的。

由此期望提供一种新颖的和改进的图像处理装置，图像处理方法和计算机程序，其便利包括3D图像的内容的创建。

根据本发明的实施例，提供一种图像处理装置，包括：3D图像转换器，配置来执行用于基于在二维图像的多个平面之间的虚拟距离，将利用虚拟距离创建的包括多个平面的二维图像转换为3D图像的转换处理；以及3D图像产生器，配置来基于通过3D图像转换器执行的转换处理从二维图像产生3D图像并且配置来显示产生的3D图像。当在通过使用3D图像产生器显示三维图像的同时，在二维图像的对应平面之间的虚拟距离改变时，3D图像转换器依据在虚拟距离中的改变执行转换处理。

3D图像转换器可以基于在2D图像的多个平面的至少一个中设置的水平线，执行用于将2D图像的底色部分转换为3D图像的转换处理。

3D图像转换器可以执行转换处理，使得当将2D图像转换为3D图像时在3D图像的边缘部分不产生空白。

3D图像转换器可以执行转换处理，使得当将2D图像转换为3D图像时在3D图像中2D图像的边缘部分不会缺失。

通过使用滚动条通过3D图像转换器改变在2D图像的对应平面之间的虚拟距离，该滚动条与2D图像关联地显示在屏幕上。

通过使用轮子通过3D图像转换器改变在2D图像的对应平面之间的虚拟距离，该轮子与2D图像的对应平面关联地显示在屏幕上。

该图像处理装置可以还包括：成像设备，配置来捕捉图像。3D图像转换器可以检测由用户朝成像设备执行的手势，该手势由成像设备捕捉，使得依据该手势改变在2D图像的对应平面之间的虚拟距离。

通过使用手势，用户可以利用适当数目的手指指定2D图像的平面，并且利用手指的来回移动改变在2D图像的对应平面之间的虚拟距离。

根据本发明的另一实施例，提供一种图像处理方法，包括：执行用于基于在二维图像的多个平面中的虚拟距离，将包括利用虚拟距离创建的多个平面的二维图像转换为三维图像的转换处理；以及基于该转换处理从二维图像产生三维图像从而显示产生的三维图像。当在显示三维图像的同时，在二维图像的对应平面之间的虚拟距离改变时，依据在虚拟距离中的改变执行转换处理。

根据本发明的另一实施例，提供一种计算机程序，允许计算机运行来：执行用于基于在二维图像的多个平面中的虚拟距离将包括利用虚拟距离创建的多个平面的二维图像转换为三维图像的转换处理；以及基于该转换处理从二维图像产生三维图像从而显示产生的三维图像。当在显示三维图像的同时，在二维图像的对应平面之间的虚拟距离改变时，依据在虚拟距离中的改变执行转换处理。

如上所述，根据本发明的实施例，可以提供一种新颖的和改进的图像处理装置、图像处理方法和计算机程序，其便利包括3D图像的内容的创建。

附图说明

图1图示根据本发明的实施例的图像处理装置的功能配置；

图2图示根据本发明的实施例的通过图像处理装置执行的3D图像的产生的概述；

图3图示根据本发明的实施例的通过图像处理装置执行的3D图像的产生的示例；

图4A到4C图示要在图像显示单元上显示的菜单屏幕的示例；

图5A和5B图示用于调整3D图像的外观的滚动条的示例；

图6概念性图示从包括多个层的2D图像到3D图像的转换；

图7A到7C图示从包括多个层的常规2D图像到3D图像的转换的示例；

图8A和8B图示从包括多个层的常规2D到3D图像的转换的示例；

图9图示其中当比显示表面布置得更靠后的层投影在输出图像上时在输出图像的边缘部分产生空白(space)的状态；

图10图示其中用于创建图像的画布的分辨率设置为大于3D图像的分辨率的状态；

图11图示其中当比显示表面布置得更靠后的层投影在输出图像上时在输出图像的边缘部分产生缺失部分的状态；

图12图示其中缺失部分显示在图像创建屏幕上的状态；

图13图示产生包括多个3D图像的图片簿的屏幕的示例；

图14图示根据本发明的实施例的通过使用图像处理装置移动在用户绘制的图像中包含的对象的技术；

图15图示根据本发明的实施例的通过使用图像处理装置移动在用户绘制的图像中包含的对象的技术；

图16到20图示用于调整层的深度的用户界面的示例；

图21图示根据本发明的实施例的在通过使用图像处理装置创建的3D图像中设置底色(ground)的示例；

图22图示从底色部分到3D图像的转换的示例；以及

图23图示根据本发明的实施例的图像处理装置的硬件配置的示例。

具体实施方式

下面将参考附图详细描述本发明的实施例。在说明书和附图中，具有基本相同功能配置的组件由相似参考标号表示，并且其解释将仅给出一次。

将按照如下顺序给以说明。

1.本发明的实施例

1-1.图像处理装置的功能配置

1-2.产生3D图像的概述

1-3.产生3D图像的示例

1-4.用于调整深度的界面的示例

1-5.在3D图像中设置底色的示例

2.硬件配置

3.总结

1.本发明的实施例

1-1.图像处理装置的功能配置

下面将首先参考图1描述根据本发明的实施例的图像处理装置100的功能配置。

图1所示的图像处理装置100配置来允许用户创建图像和显示图像。如图1所示，图像处理装置100包括图像创建处理器110、图像存储单元120、输入单元130和图像显示单元140。

图像创建处理器110配置来通过使用图像显示单元140向用户呈现图像创建屏幕并且从用户创建的图像中产生3D图像。如图1所示，图像处理装置100的图像创建处理器110包括图像创建单元112、3D图像转换器114和3D图像产生器116。

在该实施例中，当用户通过使用图像创建屏幕产生多个图像(如，三个图像)时，图像创建处理器110从用户创建的图像中产生3D图像。在该实施例的图像处理装置100中，由图像创建处理器110产生的3D图像根据预定方法显示在图像显示单元140上，以及用户根据预定方法(如，通过佩戴工作在时分驱动系统的快门眼镜)观看该3D图像，由此使得用户能够三维地感知在图像显示单元140上显示的3D图像。

图像创建单元112配置来通过使用图像显示单元140向用户呈现图像创建屏幕，从而允许用户产生图像。当用户通过使用由图像创建单元112呈现的图像创建屏幕创建包括多个层的图像时，具有多个层的图像通过3D图像转换器114和3D图像产生器116转换为3D图像。通过使用图像创建单元112创建的包括多个层的图像也响应于由用户执行的操作存储在图像存储单元120中。

3D图像转换器114执行用于将从图像创建单元112提供的包括多个层的图像转换为3D图像的转换处理。产生的3D图像显示在图像显示单元140上。在转换处理中，该实施例的图像处理装置100假定用户的眼睛间的距离和在用户和显示单元之间的距离，并基于在各层中的虚拟距离(关于图像的层深度的信息)执行用于将包括多个层的图像转换为3D图像以及将转换的3D图像显示在图像显示单元140上的转换处理。更具体地，3D图像转换器114对包括多个层的图像执行坐标变换处理从而产生3D图像。后面将讨论转换处理的详情。

如上讨论的，3D图像转换器114执行转换处理，用于将包括多个层的二维(2D)图像转换为3D图像以及将3D图像显示在图像显示单元140。在该实施例中，在转换处理期间，在3D图像显示在图像显示单元140上的同时，用户调整图像的层深度从而改变3D图像的深度，然后3D图像转换器114依据用户做出的调整实时执行转换处理。利用该处理，在调整图像的层深度之后，用户能够实时检查调整的3D图像。

当从用户产生的包括多个层的2D图像创建3D图像时，该实施例的图像处理装置100显示3D图像的预览。这使得用户能够在存储3D图像之前检查创建的图像作为3D图像显得如何。

3D图像产生器116配置来基于由3D图像转换器114执行的转换处理从包括多个层的图像产生3D图像。由3D图像产生器116产生的3D图像显示在图像显示单元140上，并且也响应于由用户在输入单元130上执行的操作存储在图像存储单元120中。

图像存储单元120配置来在其中存储由图像创建单元112创建的包括多个层的图像和通过3D图像转换器114和3D图像产生器116从包括多个层的图像产生的3D图像。依据用户在输入单元130上执行的操作，从图像存储单元120中读出存储在图像存储单元120中的图像。读取的图像然后在图像创建处理器110中经历图像处理或者显示在图像显示单元140上。

输入单元130包括各种输入设备用于允许用户在图像处理装置100上执行输入操作，并且例如包括键盘、鼠标、图形书写板和触摸面板。通过操作输入单元130，用户能够创建包括多个层的图像或当将图像转换为3D图像时调整图像的层深度。

图像显示单元140配置来显示图像(例如，由图像创建处理器110创建的包括多个层的图像和从包括多个层的图像产生的3D图像)。图像显示单元140显示用于允许用户创建这些图像的屏幕。

在该实施例中，图像显示单元140可以是实现3D图像的显示的显示设备。不特别限定用于3D图像的显示技术。作为显示技术的示例，显示右眼图像和左眼图像，使得它们以高速交替切换。作为用于3D图像到图像显示单元140的传输技术，可以使用帧连续、并排、上下格式。

在本发明的实施例中，在图像创建处理器110创建的图像可以输出到电视接收机或另一显示设备，该显示设备连接到图像处理装置100并且配置来显示3D图像。

图像处理装置100的功能配置已经在上面参考图1来描述。现在将给出根据本发明的实施例的通过使用图像处理装置100的3D图像产生的概述的描述。

1-2.产生3D图像的概述

图2图示根据本发明的实施例的通过图像处理装置100执行的3D图像的产生的概述。

如图2所示，图像处理装置100允许用户创建包括三层(即，背景、中景和前景)的图像。包括三层的图像通过使用3D图像转换器114转换为3D图像，使得用户能够三维地感知图像。因此可以产生3D图像而无需用户执行复杂的图像处理。

上面已经描述根据本发明的实施例的3D图像的产生的概述。现在将给出根据本发明的实施例的通过图像处理装置100执行的3D图像的产生的示例的描述。

1-3.产生3D图像的示例

图3图示根据本发明的实施例的通过图像处理装置100执行的3D图像的产生的示例。

图3所示的P1到P6表示通过使用图像创建处理器110要在图像显示单元140上显示的图像的示例。

由P1表示的图像是菜单屏幕的示例。在P1表示的图像通过图像创建处理器110在图像显示单元140上显示的同时，用户通过使用输入单元130选择“绘图”按钮。然后，图像创建处理器110在图像显示单元140上显示通过P2表示的图像。

通过P2表示的图像是用于允许用户创建图像的图像创建屏幕的示例。通过P2表示的图像创建屏幕是用于允许用户创建背景图像的屏幕。用户能够通过操作输入单元130在图像创建屏幕上绘制背景图像。在P2表示的图像通过图像创建处理器110在图像显示单元140上显示的同时，用户选择“下一个”按钮。然后，图像创建处理器110在图像显示单元140上显示通过P3表示的图像。

通过P3表示的图像是用于允许用户创建图像的图像创建屏幕的示例。通过P3表示的图像创建屏幕是用于允许用户通过操作输入单元130创建中景图像的屏幕。在其中用于允许用户创建中景图像的屏幕在图像显示单元140上显示的状态中，通过用户在通过P2表示的图像显示屏幕上创建的背景图像也在图像显示单元140上显示。

在P3表示的图像通过图像创建处理器110在图像显示单元140上显示的同时，用户通过使用输入单元130选择“下一个”按钮。然后，图像创建处理器110在图像显示单元140上显示通过P4表示的图像。

通过P4表示的图像是用于允许用户创建图像的图像创建屏幕的示例。通过P4表示的图像是用于允许用户通过操作输入单元130创建前景图像的屏幕。在其中用于允许用户创建前景图像的屏幕在图像显示单元140上显示的状态中，通过用户在通过P2和P3表示的图像显示屏幕上创建的背景图像和中景图像也分别在图像显示单元140上显示。

在P4表示的图像通过图像创建处理器110在图像显示单元140上显示的同时，用户通过使用输入单元130选择“完成”按钮。然后，图像创建处理器110在图像显示单元140上显示通过P5表示的图像。

当创建上述的背景、中景、前景图像时，可以提供模板以允许用户从模板中选择材料。如果图像处理装置100提供了成像设备(网络照相机)，则其可以使用由该成像设备捕捉的图像作为背景、中景和前景图像。

通过P5表示的图像是显示用户创建的图像的屏幕的示例。图像创建单元112在图像显示单元140上呈现通过P5表示的屏幕，使得用户能够检查创建的图像。

在P5表示的图像通过图像创建处理器110在图像显示单元140上显示的同时，用户通过使用输入单元130选择“3D视图”按钮。然后，图像创建处理器110在图像显示单元140上显示通过P6表示的图像。

通过P6表示的图像是用于显示用户创建的图像的屏幕的示例。通过P6表示的图像是用于显示从用户创建的包括多个层的图像转换的3D图像的预览的屏幕。在这种情况下，呈现3D图像，使得作为背景图像创建的山脉的图像在后面看见，作为中景图像创建的树的图像在中间部分看见，以及作为前景图像创建的蜜蜂和狗的图像在前面看见。以此方式，图像创建单元112在图像显示单元140上呈现通过P6表示的屏幕，从而使得用户能够检查从用户创建的图像中产生的3D图像。

用于调整3D图像的外观的滚动条显示在通过P6表示的屏幕上。当用户使用输入单元130操作该滚动条时，3D图像转换器114调整3D图像的外观并且将用户创建的图像转换为3D图像。当用户使用输入单元130操作该滚动条时，3D图像转换器114无任何延迟地调整3D图像的外观。因此，当用户使用输入单元130操作该滚动条时，在图像显示单元140上预览显示的3D图像的外观被实时改变。

如上所述通过用户创建的图像能够存储在图像存储单元120中。在这种情况下，可以按各种数据格式存储图像。例如，每个层可以被存储为独立的图像，使得其能够被重新编辑。可替代地，图像可以按一种数据格式(如，JPEG)存储，使得全部层被存储为一个图像。可替代地，图像可以按多画面对象文件(MPO)格式存储。

上面已经探讨了根据本发明的实施例的通过图像处理装置100执行的3D图像的产生的示例。现在将给出当通过使用图像处理装置100产生3D图像时在图像显示单元140上显示的菜单屏幕的示例的描述。

图4A到4C图示根据本发明的实施例的当使用图像处理装置100产生3D图像时要在图像显示单元140上显示的菜单屏幕的示例。

图4A图示当使用图像处理装置100产生3D图像时要在图像显示单元140上显示的菜单屏幕的示例。在图4A中，显示菜单，其包括菜单项“绘制新图”、“产生新簿”、“从前一图继续”和“观看”。如果用户选择“产生新簿”，则显示“选择主题”菜单，并且显示菜单项“图片簿”、“图片日记”和“观看”。如果用户选择“图片簿”或“图片日记”，则在图像显示单元140上显示用于创建图像的绘制屏幕。

图4B图示根据本发明的实施例的当使用图像处理装置100产生3D图像时要在图像显示单元140上显示的菜单屏幕的其他示例。在图4B，显示菜单，其包括菜单项“绘制新图”、“从前一图继续”和“观看”。如果用户选择“绘制新图”，则在图像显示单元140上显示用于创建图像的绘制屏幕。当完成绘制图像的一页时，用于创建另一图像的菜单屏幕显示在图像显示单元140上。在菜单屏幕上，显示菜单项“结束”和“绘制下一页”。如果用户选择“绘制下一页”，则再次显示用于创建图像的绘制屏幕。如果用户选择“完成”，则图像处理装置100完成创建图像。

图4C图示根据本发明的实施例的当使用图像处理装置100产生3D图像时要在图像显示单元140上显示的菜单屏幕的其他示例。在图4C中，显示菜单，其包括菜单项“绘制新图”、“从前一图继续”和“观看”。如果用户选择“绘制新图”，则在图像显示单元140上显示“绘制新图”屏幕，并且在菜单屏幕上，显示菜单项“绘制图”和“产生簿”。如果用户选择“绘制图”，则在图像显示单元140上显示用于创建图像的绘制屏幕。

已经通过在图像显示单元140上显示的菜单屏幕的示例图示探讨了根据本发明的实施例的通过图像处理装置100执行3D图像的产生。现在将给出用于允许用户调整3D图像的外观的用户界面的示例的描述。

图5A和5B图示用于调整3D图像的外观的滚动条的示例。在图5A中示出的滚动条是其中一个滚动条能够用来调整全部单个层的示例。相反，在图5B中示出的滚动条是其中一个滚动条调整对应层的示例。在图5A和5B中，为了表示之故，3D图像的预览显示没有显示，然而希望3D图像的预览与诸如图5A或5B所示的用户界面一起显示。

在图5A或5B所示的滚动条上，指示显示屏幕的位置的标记也被显示。当用户操作滚动条时，3D图像转换器114依据在滚动条上执行的操作改变对应层的虚拟深度，由此执行坐标变换处理。

这样的滚动条显示在图像显示单元140上，使得用户调整3D图像的每个层的外观，从而3D图像转换器114能够无任何延迟地调整3D图像的外观，以便将用户绘制的图像转换为3D图像。滚动条的操作可以被限制从而防止前景层超出背景层。可替代地，前景层可以无任何限制地超出背景层。

以上已经探讨用于允许用户调整3D图像的外观的用户界面的示例。现在将给出根据本发明的实施例的通过3D图像转换器114执行的3D图像转换处理的详细描述。

图6概念性图示从包括多个层的常规2D图像到3D图像的转换。图6图示从2D图像到利用右眼观看的右眼图像和利用左眼观看的左眼图像的转换。为了将2D图像转换到右眼图像和左眼图像，3D图像转换器114计算右眼图像和左眼图像的渲染位置。

下面将描述用于右眼图像和左眼图像的渲染位置的具体计算方法的示例。

图7A到7C图示从常规2D图像到3D图像的转换的示例。图7A图示从诸如图7B所示的包括三个层的2D图像产生右眼图像和左眼图像的坐标变换。执行在图7A中所示的坐标变换，使得看到三个层比显示表面更靠后，如图7C所示。图7A示意性图示从顶部起观看的各个层和显示表面。

假设在右眼图像和左眼图像之间的眼间距离E和虚拟观看距离L，如图7A所示，3D图像转换器114通过分别使用在显示表面和层3、层2和层1之间的层深度D1、D2和D3来执行用于右眼图像的投影坐标变换和用于左眼图像的投影坐标变换。

以此方式，3D图像转换器114执行到显示表面上的投影坐标变换。因此，该实施例的图像处理装置100能够将包括多层的常规2D图像转换为3D图像。

图8A和8B图示从包括多个层的常规2D图像到3D图像的转换的示例。图8A图示从诸如图8A所示的包括三个层的2D图像到右眼图像和左眼图像的坐标变换。在图8A中所示，执行坐标变换，使得特定层弹出比显示表面更靠前，如图8B所示。图8A示意性图示从顶部起观看的各个层和显示表面。

以此方式，3D图像转换器114执行坐标变换。因此，该实施例的图像处理装置100能够将包括多层的常规2D图像转换为3D图像，即使当特定层弹出比显示表面更靠前时。

以上已经探讨由3D图像转换器114执行的3D转换处理。现在给出在常规2D图像转换为3D图像时发生的问题对这样的问题的解决方案的描述。

现在假设当创建图像时使用的分辨率(画布分辨率)和图像的输出分辨率设置为相同的分辨率。在这种情况下，如果定位比显示表面更后的层投影到输出图像(显示表面)上，则在输出图像的边缘部分产生空白。图9示意性图示在这样状态中从顶部起观看的各层和显示表面。

作为对产生的空白的解决方案，当转换2D图像到3D图像时，该空白可以用背景色填充。背景色可以由用户选择。可替代地，可以自动选择在该层使用最多的颜色，或可以选择在层周边使用的颜色。

作为另一示例，当创建图像时使用的画布分辨率可以设置为大于作为最后输出的3D图像的分辨率。图10示意性图示当画布的分辨率设置为大于3D图像的分辨率时从顶部起观看的各层和显示表面。

在图10中，画布差ΔC是画布分辨率比作为最后输出的3D图像的分辨率大的差别数量。能够通过使用虚拟观看距离L、从显示表面起的最大深度DMax、虚拟显示宽度W和要输出的3D图像的分辨率RO来计算画布差ΔC。

可以将画布分辨率设置为和输出分辨率相同，以及在用于转换2D图像到3D图像的过程中，画布分辨率可以增加等于画布差ΔC的量，然后可以将2D图像转换到3D图像。

相反，如果画布分辨率设置为和图像的输出分辨率相同，则当位于比显示表面更靠前的层投影到输出图像(显示表面)上时，在该层的边缘部分产生缺失部分。图11示意性图示在这种状态中从顶部起观看的层和显示表面。能够使用虚拟显示宽度W、虚拟观看距离L、最小深度DMin等计算缺失部分宽度N。

如果在每个层的边缘部分产生缺失部分，则当创建图像时(当显示图像创建屏幕时)，可以显示图像以便让用户识别缺失部分。图12图示其中缺失部分Δ显示在图像创建屏幕上的状态。这使得用户能够识别当转换2D图像到3D图像时要在作为结果的3D图像中产生的缺失部分。

上面已经探讨在常规2D图像转换为3D图像时发生的问题和此类问题的解决方案。

如上所述，根据本发明的实施例的图像处理装置100使得用户能够容易地产生3D图像。根据本发明的实施例的图像处理装置100也可以使得用户能够产生包括多个3D图像的图片簿。图13图示用于产生包括多个3D图像的图片簿的屏幕的示例。如图13所示，当产生包括多个3D图像的图片簿时，在屏幕的顶部示出用于将创建图像作为缩略图显示的页浏览器，以便允许用户检查形成图片簿的图像。

如上所述通过用户产生的图片簿能够存储在图像存储单元120中。在这种情况下，图片簿可以以各种数据格式存储在图像存储单元120中。例如，每页或每层可以被存储为独立的图像，使得其能够被重新编辑。可替代地，图片簿可以以一种数据格式(如，JPEG)存储，使得每页的全部层存储为一个图像。图片簿可以以多画面对象文件(MPO)格式存储。可替代地，可以从多个3D图像中形成电影文件并且可以存储为3D电影。

现在将参考图14，给出根据本发明的实施例的通过使用图像处理装置100移动在由用户绘制的图像中包含的对象的技术的描述。

图14图示这样的状态，其中通过使得对象的边界透明来移动用户选择(例如，通过用鼠标点击对象或用手指触摸对象)的对象。更具体地，在图14中，选择和移动蜜蜂的图像。在移动对象的图像之后，对象呈现的部分变得透明，并且更新移动对象。因此，在图14所示的示例中，蜜蜂的图像呈现的部分变得透明，并且狗的图像被蜜蜂的图像盖写。

图15图示根据本发明的实施例的通过使用图像处理装置100移动在用户绘制的图像中包含的对象的技术。

在图15示出的示例中，用户选择(例如，通过用鼠标点击移动范围或用手指触摸它)移动范围，以便移动移动范围的整体。更具体地，选择和移动包括蜜蜂的图像的矩形区域。在移动对象之后，对象呈现的部分变得透明，并且更新移动对象。因此，在图15所示的示例中，蜜蜂的图像呈现的矩形区域变得透明，并且包括狗的图像的矩形区域被包括蜜蜂的图像的矩形区域盖写。

在图像处理装置100中，用户能够移动在用户绘制的图像中包含的对象。用于移动对象的技术不局限于以上所述。在图15中，选择范围是矩形形状。然而，可以根据期望选择选择的范围的形状，例如，可以是圆形形状。

以上已经探讨了通过使用图像处理装置100移动在用户绘制的图像中包含的对象的技术。现在将给出当转换2D图像到3D图像时用于调整各层的深度的用户界面的示例的描述。

1-4.调整深度的界面的示例

图16图示用于调整各层的深度的用户界面的示例，所述层通过图像处理装置100显示在图像显示单元140上。在图16中，在图像显示单元140上示出轮子的图像，以便调整各层的深度。

用户利用鼠标或在提供触摸板时利用手指触摸轮子来操作与图像显示单元140上显示的各个层对应的轮子，由此改变各个层的深度。通过该操作，用户可以享受操作该系统并且可以容易地执行各层的深度的精细调整。另外，通过该操作，各层的深度不会迅速地改变，因此，在3D图像的外观上的改变不剧烈，由此防止用户被迷惑。

图17图示用于调整各层的深度的用户界面的示例，所述层通过图像处理装置100显示在图像显示单元140上。在图17中，用户通过使用手势调整各层的深度。

例如，如果图像处理装置100提供有小型成像设备131，则用户可以在面对成像设备131时使用适当数目的手指来指定层并且在成像设备131前面来回移动他们的手指，由此调整对应层的深度。

用户指定的手指的数目和手指的位置改变可以通过3D图像转换器114检测。因此，3D图像转换器114能够调整对应层的深度。通过此操作，用户可以享受操作该系统。也防止用户眼睛疲劳，因为用户在远离屏幕的同时执行操作。同样，当显示3D图像的预览时，没有必要在屏幕上显示用于调整层的深度的用户界面，由此使得可以在整个屏幕上显示3D图像。用于指定层或层的深度的手势不局限于上述的这些。

图18图示用于调整各层的深度的用户界面的示例，所述层通过图像处理装置100显示在图像显示单元140上。在图18中，为了容易理解在多个层中的位置关系，各层按倾斜向上的方向显示，以便调整各层的深度。在图18中，刻度150也被显示以使得用户容易地理解每层的位置。出于表示之故，在图18中，没有示出3D图像的预览。然而，理想地是3D图像的预览与诸如图18所示的用户界面一起显示。

以此方式，为了使用户容易理解在各层之间的位置关系，各层按倾斜向上的方向显示以便允许用户操作图18所示的用户界面。因此用户可以在显示3D图像的预览时容易地调整3D图像的外观。

在图18所示的用户界面中，用户可以通过直接操作图18所示的各个层来调整层的深度。可替代地，用户界面可以与上述的滚动条、轮子和手势组合，并且调整的结果可以提供给用户作为对那些用户界面执行操作的反馈。

图19图示用于调整各层的深度的用户界面的示例，所述层通过图像处理装置100显示在图像显示单元140上。在图19中，为了使用户容易理解在各层之间的位置关系，从顶部起显示各层以便允许用户调整各层的深度。在图19中，为了使用户容易理解各层的位置，也示出刻度150。出于表示之故，在图19中，没有示出3D图像的预览。然而，理想地是3D图像的预览与诸如图19所示的用户界面一起显示。

以此方式，为了使用户容易理解在各层之间的位置关系，从顶部起显示各层以便允许用户操作图19所示的用户界面。因此用户可以在显示3D图像的预览时容易地调整3D图像的外观。

在图19所示的用户界面中，用户可以通过直接操作图19所示的各个层来调整层的深度。可替代地，用户界面可以与上述的滚动条、轮子和手势组合，并且调整的结果可以提供给用户作为对那些用户界面执行操作的反馈。

图20图示用于调整层的深度的用户界面的示例，所述层通过图像处理装置100显示在图像显示单元140上。在图20中，为了使用户容易理解在各层之间的位置关系，滚动条和缩略图一起显示以便调整各层的深度。出于表示之故，在图20中，没有示出3D图像的预览。然而，理想地是3D图像的预览与诸如图20所示的用户界面一起显示。

以此方式，为了使用户容易理解在各层之间的位置关系，滚动条和缩略图一起显示以便允许用户操作图20所示的用户界面。因此用户可以在显示3D图像的预览时容易地调整3D图像的外观。

在图20所示的用户界面中，用户可以通过直接操作图20所示的各个层来调整层的深度。可替代地，用户界面可以与上述的滚动条、轮子和手势组合，并且调整的结果可以提供给用户作为对那些用户界面执行操作的反馈。

在图像处理装置100中，在用户预览3D图像或当用户创建2D图像时，可以执行各层的深度的调整。如果当创建2D图像时执行层的深度的调整，则在图16到20中所示的用于调整层的深度的用户界面其中之一可以期望地显示在用于创建2D图像的屏幕上。

1-5.在3D图像中设置底色的示例

现在将参考图21给出根据本发明的实施例的在通过使用图像处理装置100创建的3D图像中设置底色的示例的描述。

在图21中，水平线设置在背景图像中，并且在水平线下方的部分表示为底色(ground)。在水平线下面的底色部分被转换为3D图像作为在朝向具有深度0的表面(即，显示表面)的深度方向中投影的层。也即，在背景图像中设置的在水平线以下的部分被转换为3D图像，作为在比其中设置水平线的层更靠前的深度方向延伸的底色层。结果，在根据本发明的实施例的图像处理装置100中，如果水平线在背景图像中设置，则能够创建诸如图21所示的3D图像。水平线可以在对于背景图像的模板中预设置或可以当用户绘制各层时根据期望设置。

图22图示从水平线和底色部分到3D图像的转换的示例。为了表示这种转换，图22图示从顶部和从侧面观看的在各层之间的位置关系。在侧视图中，左侧是屏幕的顶部，而右侧是屏幕的底部。

下文中，其中设置水平线的层称为远端层，而包括底色的最前面部分的层称为近端层。底色层被定义为具有如四个顶点的层，在远端层的水平线的两个角和近端层的底部的两个角。近端层是显示层或比远端层位置更靠前的渲染层。近端层可以由用户选择，或可以被固定为例如显示表面。在多数情况中，如图21和22所示，水平线设置在最后的层，其中背景被渲染，并且显示表面用作近端层。

如图22所示，为了将水平线和背景(层1)的2D图像的底色部分转换为3D图像，3D图像转换器114首先将水平线和底色部分的图像的像素投影到连接背景的水平线和显示表面的最底部部分的行，然后，在投影点上执行对于右眼图像的投影坐标变换和对于左眼图像的投影坐标变换。按照和上述的投影坐标变换类似的方式执行对于右眼图像的投影坐标变换和对于左眼图像的投影坐标变换。

3D图像转换器114如上所述执行坐标变换，因此，底色部分也能够在3D图像中三维地显示，由此允许用户更容易地创建3D图像。如果其中设置水平线的层的深度被调整，则底色层的定义依据层的深度的调整来实时地重新计算。

2.硬件配置

下面将参考框图23描述根据本发明的实施例的图像处理装置100的硬件配置的示例。

图像处理装置100包括作为主要部件的：中央处理单元(CPU)901、只读存储器(ROM)903、随机存取存储器(RAM)905、主机总线907、桥909、外部总线911、接口913、输入设备915、输出设备917、成像设备918、存储设备919、驱动器921、连接端口923以及通信设备925。

CPU 901用作处理器和控制器，并且依据存储在ROM 903、RAM 905、存储设备919或可移除记录介质927中的各种程序控制在图像处理装置100中的整个或部分的操作。在ROM 903中，存储用户CPU 901使用的程序、控制参数等。在作为主要存储设备的RAM 905中，存储当CPU 901运行时使用的程序和当CPU 901运行时适当改变的参数。CPU 901、ROM 903和RAM905经由由诸如CPU总线的内部总线形成的主机总线907彼此连接。

主机总线907经由桥909连接到外部总线911，诸如外围组件互连/接口(PCI)总线。

输入设备915是这样的操作单元，其包括用户操作的鼠标、键盘、触摸板、按钮、开关、控制杆等。输入设备915可以是对应于图像处理装置100的操作的使用红外线或其他类型的无线电波的遥控器或外部连接设备929，诸如蜂窝电话机或个人数字助理(PDA)。输入设备915可以包括基于用户使用上述操作单元输入的信息产生输入信号并且输出该输入信号到CPU 901的输入控制电路。图像处理装置100的用户操作输入设备915以便输入向图像处理装置100输入各项数据或指令图像处理装置100执行处理操作。

输出设备917包括显示单元，诸如阴极射线管(CRT)显示器、液晶显示器、等离子体显示器、电致发光(EL)显示器和灯；声音输出单元，诸如扬声器和耳机；和能够视觉地或听觉地通知用户获得的信息的设备，诸如打印机、蜂窝电话机和传真机。输出设备917可以输出通过使用图像处理装置100执行各种类型的处理获得的结果。更具体地，显示单元按文字或图像显示通过使用图像处理装置100执行各种类型的处理获得的结果。声音输出单元将诸如再现的声音数据或听觉数据的音频信号转换为模拟信号并将其输出。

成像设备918在例如显示设备的上面部分中提供，从而捕捉由图像处理装置100的用户拍摄的静止图像或运动图像。成像设备918，包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器，将利用镜头浓缩的光转换为电信号从而捕捉静止图像或运动图像。

存储设备919是作为图像处理装置100的存储单元的部分形成的数据存储设备，并且包括磁存储设备，诸如硬盘驱动器(HDD)、半导体存储设备、光存储设备或磁光存储设备。存储设备919存储由CPU 901执行的程序和各种数据以及从外部源获得的听觉信号数据和图像信号数据。

驱动器921是记录介质读卡器/写卡器，并且包含在图像处理装置100中或作为外部设备附着到图像处理装置100。驱动器921读取在驱动器921中设置的可移除记录介质927中记录的信息，可移除记录介质927诸如是磁盘、光盘、磁光盘或半导体存储器，并且输出读取的信息到RAM 905。驱动器921也向在驱动器921中设置的可移除记录介质927中写入信息，可移除记录介质927诸如是磁盘、光盘、磁光盘或半导体存储器。可移除记录介质927可以是数字多用途盘(DVD)、蓝光介质、压缩闪存(CompactFlash CF)(注册的)、存储棒或安全数字(SD)存储卡。可移除记录介质927可以是具有其上安装的非接触集成电路(IC)芯片的集成电路(IC)卡或电子设备。

连接端口923是用于直接连接设备到图像处理装置100的端口。连接端口923可以是通用串行总线(USB)端口、IEEE 1394端口，如，i.Link端口，小计算机系统接口(SCSI)端口、推荐标准(RS)-232C端口、音频光学端子或高清晰度多媒体接口(HDMI)端口。外部连接设备929连接到连接端口923从而图像处理装置100直接从外部连接设备929获得声学信号数据和图像信号数据或者向外部连接设备929提供声学信号数据和图像信号数据。

通信设备925是图像处理装置100通过它与通信网络931通信的通信接口。通信设备925包括用于有线或无线局域网(LAN)的通信卡、蓝牙、或无线USB(WUSB)、光通信路由器、非对称数字用户线(ADSL)路由器，或各种通信调制器。通信设备925被配置来依据诸如传输控制协议/因特网协议(TCP/IP)的预定的协议往返于因特网和其他通信设备发送和接收信号。要连接到通信设备925的通信网络931是有线或无线网络，诸如因特网，家庭LAN、红外线通信、无线通信或卫星通信。

已经探讨根据本发明的实施例的能够实现图像处理装置100的功能的硬件配置的示例。上述组件可以通过通用组件或专用于上述组件的功能的硬件形成。因此，当实现本发明的实施例时可以根据技术水平适当地改变该硬件配置。

3.总结

如上所述，通过使用根据本发明的实施例的图像处理装置100，由用户创建的包括多个层的2D图像能够被转换为3D图像。当从2D图像转换为3D图像时，图像处理装置100通过使用关于各层的深度的信息执行坐标变换从而创建右眼图像和左眼图像。利用图像处理装置100的该操作，用户能够容易地创建3D图像而无需复杂的计算或处理。

另外，通过使用根据本发明的实施例的图像处理装置100，用户能够在预览3D图像时调整各层的深度。然后，基于各层的深度的调整，图像处理装置100实时地执行3D转换。利用该操作，图像处理装置100能够实时调整3D图像的外观。

上述图像处理可以通过在图像处理装置100中存储的计算机程序来执行。在这种情况下，在图像处理装置100中提供的CPU或另一控制器可以读取计算机程序并且顺序地执行该程序操作，以便使得该计算机程序执行该图像处理。

虽然已经参考附图探讨本发明的优选实施例，本发明不局限于前述的实施例。显然具有本发明的技术领域的共同知识的技术人员将获得依据设计要求和其他因素的各种修改、组合、子组合以及改变，只要它们处于所附权利要求及其等价物的范围中。将理解那些修改、组合、子组合以及改变被包括在本发明的范围中。

例如，在上述实施例中，图像创建单元112包括在图像处理装置100的图像创建处理器110中，并且图像处理装置100为用户创建2D图像并且将2D图像转换为3D图像。然而，本发明不局限于该配置。例如，包括多个层的图像可以在另一设备中创建，或可以通过例如经由因特网下载创建的图像来获得。然后，图像处理装置100可以将获得的图像转换为3D图像。在这种情况下，可以在图像处理装置100中预置在2D图像的各层之间的虚拟距离，并且图像处理装置100可以基于该虚拟距离将2D图像转换为3D图像。

本申请包含与于2010年9月29日在日本专利局提交的日本优先权专利申请JP 2010-219867中公开的内容相关的主题，由此其整个内容通过引用并入。

Claims (10)

1.一种图像处理装置，包括：

三维图像转换器，配置来执行转换处理，用于基于在二维图像的多个平面之间的虚拟距离，将包括利用虚拟距离创建的多个平面的二维图像转换为三维图像；以及

三维图像产生器，配置来基于通过三维图像转换器执行的转换处理从二维图像产生三维图像，并且配置来显示产生的三维图像，

其中，当在通过使用三维图像产生器显示三维图像的同时，在二维图像的对应平面之间的虚拟距离改变时，三维图像转换器依据在虚拟距离中的改变执行转换处理。

2.根据权利要求1所述的图像处理装置，其中三维图像转换器基于在二维图像的多个平面的至少一个中设置的水平线，执行用于将二维图像的底色部分转换为三维图像的转换处理。

3.根据权利要求1所述的图像处理装置，其中三维图像转换器执行转换处理，使得当将二维图像转换为三维图像时在三维图像的边缘部分不产生空白。

4.根据权利要求1所述的图像处理装置，其中三维图像转换器执行转换处理，使得当将二维图像转换为三维图像时在三维图像上二维图像的边缘部分不缺失。

5.根据权利要求1所述的图像处理装置，其中通过使用滚动条通过三维图像转换器改变在二维图像的对应平面之间的虚拟距离，该滚动条与二维图像关联显示在屏幕上。

6.根据权利要求1所述的图像处理装置，其中通过使用轮子通过三维图像转换器改变在二维图像的对应平面之间的虚拟距离，该轮子与二维图像的对应平面关联显示在屏幕上。

7.根据权利要求1所述的图像处理装置，还包括：

成像设备，配置来捕捉图像，

其中三维图像转换器检测由用户朝成像设备执行的手势，该手势由成像设备捕捉，以便依据该手势改变在二维图像的对应平面之间的虚拟距离。

8.根据权利要求7所述的图像处理装置，其中，通过使用手势，用户利用适当数目的手指指定二维图像的平面，并且利用手指的来回移动改变在二维图像的对应平面之间的虚拟距离。

9.一种图像处理方法，包括：

执行用于基于在二维图像的多个平面之间的虚拟距离将包括利用虚拟距离创建的多个平面的二维图像转换为三维图像的转换处理；以及

基于该转换处理从二维图像产生三维图像从而显示产生的三维图像，

其中，当在显示三维图像的同时，在二维图像的对应平面之间的虚拟距离改变时，依据在虚拟距离中的改变执行转换处理。

10.一种计算机程序，允许计算机运行来：

执行用于基于在二维图像的多个平面之间的虚拟距离将包括利用虚拟距离创建的多个平面的二维图像转换为三维图像的转换处理；以及

基于该转换处理从二维图像产生三维图像从而显示产生的三维图像，

其中，当在显示三维图像的同时，在二维图像的平面之间的虚拟距离改变时，依据在虚拟距离中的改变执行转换处理。

Images