CN101739567A

CN101739567A - 终端装置、显示控制方法和显示控制程序

Info

Publication number: CN101739567A
Application number: CN200910222864A
Authority: CN
Inventors: 川上高; 川上裕幸; 大森健太
Original assignee: Sony Ericsson Mobile Communications Japan Inc
Current assignee: Sony Corp
Priority date: 2008-11-19
Filing date: 2009-11-19
Publication date: 2010-06-16
Anticipated expiration: 2029-11-19
Also published as: JP2010122879A; CN101739567B; EP2189835A1; US20100123772A1; US8350896B2

Abstract

提供了终端装置，显示控制方法和显示控制程序。所述终端装置包括：显示单元，被配置为在二维显示屏幕上显示三维对象的投影图像；成像单元，被配置为捕获处于观看所述显示屏幕的状态的操作者的图像；改变单元，被配置为响应于所述操作者的面部的图像相对于所捕获图像的位置来改变相对于所述三维对象的视点位置；投影图像发生器，被配置为获得通过将从所述视点位置观看的所述三维对象的每一部分投影到预定投影平面上而产生的投影图像。

Description

终端装置、显示控制方法和显示控制程序

技术领域

本发明涉及用于在二维显示屏幕上显示三维对象的投影图像的终端装置、显示控制方法和显示控制程序。

背景技术

存在将三维对象的投影图像显示在显示设备上的终端装置。通过显示三维对象的这种图像以便可由操作者操作，可以期望便利性和可观看性的改善。

提出了通过对控制器进行操作而使得能够对显示屏幕上的这种三维对象的投影图像执行显示控制(如改变视点)的技术(参见日本未审查专利申请公开No.2007-260232)。控制器操作不限于简单的按钮按压操作。控制器操作包括测量和使用控制器自身的位置或姿势的变化。

此外，还提出了如下的视频电话应用中的技术：在所述视频电话应用中，由向其他操作者发送CG人物(character)的图像(而不是发送其自身面部的图像)的一个操作者来发送与接收各操作者的图像。在这种应用中，测量操作者的头部姿势信息和面部表情，并且基于测量结果来控制CG人物的移动(参见日本未审查专利申请公开No.2003-108980)。

还提出了以少量的计算来从所捕获图像中即时确定面部图像的技术(参见日本未审查专利申请公开No.2005-284487)。

发明内容

如上所述，通过显示三维对象的图像和操作三维对象的所显示的图像，可以期望诸如更真实的显示之类的效果。

通过对用于获得投影到投影平面上的三维对象的图像的照相机位置所对应的三维视点位置执行操作，并且对照相机的景物所对应的三维对象执行操作，可以改变与终端装置的显示屏幕上的三维对象的图像有关的视点。

然而，诸如移动终端之类的终端装置的输入功能受限，这使得用户难以如其希望的那样来执行这些操作。

为简化操作，操作者可以仅对三维对象执行操作，而不对三维视点位置执行操作。然而，在这种情况下，难以确保响应于视点的变化的可观看性。

另外，存在通过并入用于直观地改变三维视点位置的设备(如加速度传感器或陀螺仪)，来执行倾斜移动终端的操作的技术。然而，在这种技术中，操作者或移动终端的姿势也受限。

因此，尽管在没有复杂视点变化的情况下几乎不能充分地欣赏三维对象显示的优点，然而实际上操作者执行用于改变视点的复杂操作是麻烦的。

在现有技术中，即使处理三维对象，投影到二维投影平面上的三维对象的图像显得平坦，且仅表现出有限的真实性。为了在二维显示设备上实现立体显示，重要的是掌握在操作者和显示设备之间的位置关系。为了在二维显示设备上实现立体显示，存在使用红外接收机的技术。然而，为了采用这种技术，操作者另外安装用于接收红外辐射的设备，这引起对于操作者的显著负荷。

期望提供具有二维显示屏幕的终端装置，其中通过容易的操作来直观地执行三维对象的显示控制。

根据本发明实施例的终端装置包括：显示单元，被配置为在二维显示屏幕上显示三维对象的投影图像；成像单元，被配置为捕获处于观看所述显示屏幕的状态的操作者的图像；用于响应于所述操作者的面部的图像相对于所捕获图像的位置来改变相对于所述三维对象的视点位置的部件；和投影图像产生部件，用于获得通过将从所述视点位置观看的所述三维对象的每一部分投影到预定投影平面上而产生的投影图像。

由成像单元捕获处于观看显示屏幕的状态的操作者的图像，且确定操作者的面部图像相对于所捕获图像的位置以便由此改变三维对象的视点位置。这样，操作者可以仅仅通过相对于成像单元移动其面部来执行输入操作，而不执行任何手动操作。此外，由投影图像产生部件获得通过将从视点位置观看的三维对象的每一部分投影到预定投影平面上而产生的投影图像，以使得根据视点位置来以透视法投影和显示三维对象。

投影图像产生部件可以改变视点位置以使得视点位置跟随操作者的面部沿着显示屏幕的移动。因此，投影图像随着面部的移动而动态地改变，好像操作者观看实际的三维对象一样。

投影图像产生部件可以改变视点位置以使得从三维对象到视点位置的距离响应于操作者的面部的图像相对于所捕获图像的尺寸而改变。因此，当面部接近三维对象时，以大尺寸显示三维对象，好像操作者观看实际的三维对象一样。

根据本发明的另一实施例，显示控制方法中包括的步骤和显示控制程序执行的步骤是用于在终端装置中显示三维对象的显示控制方法，该终端装置包括成像单元和具有二维显示屏幕的显示单元，所述显示控制方法包括步骤：由成像单元捕获处于观看显示屏幕的状态的操作者的图像；响应于操作者的面部的图像相对于所捕获图像的位置来改变相对于三维对象的视点位置；获得通过将从视点位置观看的三维对象的每一部分投影到预定投影平面上而产生的投影图像；和在所述显示屏幕上显示投影图像。

根据本发明的实施例，操作者可以通过改变其面部位置的容易的和直观的方法来在终端装置中执行输入。此外，由于好像从操作者的位置观看的三维图像被投影到终端装置的投影平面上，因此可以在增强执行终端装置中的三维对象显示的系统的可操作性的同时而实现改善的真实性。

附图说明

图1示意地示出根据本发明实施例的移动终端的结构；

图2示意地示出图1中所示的移动终端中的硬件的结构；

图3是示出本发明的实施例中移动终端的主要功能的功能框图；

图4A和图4B图示本发明的实施例中的所捕获图像信息和包含在所捕获图像中的操作者的面部图像之间的关系的示例；

图5A和图5B图示本发明的实施例中的所捕获图像信息和包含在所捕获图像中的操作者的面部图像之间的关系的另一示例；

图6A和图6B图示本发明的实施例中的所捕获图像信息和包含在所捕获图像中的操作者的面部图像之间的关系的又一示例；

图7图示根据本发明实施例的三维图像产生方法；

图8图示本发明的实施例中的三维图像产生方法；和

图9图示本发明的实施例中的三维图像产生方法。

具体实施方式

以下将参考附图详细描述本发明的实施例。

图1示意地示出根据本发明实施例的移动终端100的结构。例如，假定移动终端100为移动电话终端。

移动终端100包括可以显示三维对象投影图像120的显示屏幕110，以及能够获得正在观看显示屏幕110的操作者(用户)10的面部的图像(面部图像)的成像单元104。成像单元104对应于在本发明实施例中捕获处于观看显示屏幕的状态的操作者的图像的设备(如数字照相机)。成像单元104可以是用于对操作者前面的景物进行成像的成像单元，对其进行旋转以捕获操作者的图像。可替代地，成像单元104可以是与用以对景物进行成像的成像单元不同的成像单元，且具有用于视频电话等的被固定至面向操作者的镜头。此外，尽管未在图1中示出，然而移动终端100包括操作单元，其具有通常提供在移动电话终端等上的各种操作按键等。终端不限于特定类型，其可以是折叠型、滑动型、直板型等之中的任何一种。

图2示意地示出图1中所示的移动终端100中的硬件的结构。

移动终端100包括CPU 101、存储单元102、显示单元103、成像单元104和操作单元105。

CPU 101是构成本发明实施例中的控制器的部分。CPU 101控制整个移动终端100，并通过执行各种程序来进行各种处理。

存储单元102存储CPU 101所执行的程序以及必要的数据。存储单元102不仅可以包括内部存储器件(如ROM、RAM、闪存和HDD)，还可以包括可移动式记录介质。存储单元102还存储三维对象信息和作为捕获图像的结果所获得的所捕获图像信息，这将在稍后描述。

显示单元103在图1所示的显示屏幕110上显示三维对象投影图像120。显示单元103包括显示器件(如LCD、有机EL显示器等)。

如参考图1描述的那样，成像单元104捕获操作者10的面部的图像。

如参考图1描述的那样，操作单元105接收操作者10的输入操作。

虽然未示出，然而移动终端100可以进一步包括：通常的移动电话终端中所包括的无线通信单元、语音输出单元、GPS单元等。

图3是示出该实施例中的移动终端100的主要功能的功能框图。

控制单元300包括面部矩形检测单元310、三维对象投影视点计算单元311、投影图像产生单元312和投影图像显示指令单元313。

存储单元102包括：所捕获图像保持单元340，其对成像单元104所获得的捕获的图像341(包含操作者面部图像341A)进行保持；面部矩形信息保持单元350，其对基于所捕获图像而获得的面部矩形信息351进行保持；以及三维对象信息保持单元360，其对用于指示三维对象的三维结构的三维对象信息361进行保持。三维对象信息361包括关于要输出到显示单元的三维对象的形状、位置、颜色等的信息。

控制单元300中所包括的面部矩形检测单元310在由成像单元104获得的所捕获图像341中，检测与操作者的面部的一部分对应的矩形(例如，包括眼睛的矩形或包括眼睛和鼻子两者的矩形)，并获得面部矩形信息351。面部矩形信息351包括如面部矩形的预定点(例如，左上点)的坐标这样的信息和关于面部矩形的宽度和高度的信息。可以使用面部矩形的对角点的坐标代替宽度和高度信息。现有技术(如上述日本未审查专利申请公开No.2005-284487中公开的技术)可以用作检测面部矩形的方法。例如，预先获知很多组面部信息以创建用于面部检测的词典数据。接下来，在对所捕获图像信息进行缩放的同时，将输入的所捕获图像信息与存储在面部检测词典中的信息比较，且重复类似的部分确定以由此检测面部矩形。通过使用该方法，有可能从所捕获图像信息提取关于面部元素(如眼睛、鼻子和嘴)的信息，并快速地检测这些面部元素的位置且因此快速地检测面部的区域作为面部矩形信息。面部矩形信息反映操作者的面部相对于成像单元104的位置和距离以及该位置和距离的改变(如稍后所述)。

三维对象投影视点计算单元311基于所检测到的面部矩形信息来计算三维对象投影视点相对于三维对象的位置。例如，三维对象投影视点计算单元311确定从所确定的投影视点观看的三维对象的图像要被投影到二维平面上的投影视点的角度和距离。

投影图像产生单元312根据从三维对象投影视点计算单元311输出的投影视点，使用三维对象信息361产生三维对象投影图像120。投影图像产生单元312产生通过在预定投影平面(显示屏幕或平行于显示屏幕的虚拟平面)上投影三维对象所获得的投影图像。

投影图像显示指令单元313指令显示单元103在显示屏幕上显示由投影图像产生单元312所产生的投影图像。

显示单元103显示由投影图像显示指令单元313所指定的图像。

图4A～图6B均示出所捕获图像信息和在所捕获图像中包括的操作者的面部图像之间的关系。以下描述根据这种关系基于所捕获图像信息可以怎样估计操作者的面部的实际位置。图4A、图5A和图6A均示出从上方看时的移动终端和操作者之间的位置关系。图4B、图5B和图6B中的每一个示出处于图4A、图5A和图6A中相应之一所示的情形下的所捕获图像保持单元340中保持的所捕获图像341。

通过如上所述的现有技术方法，从所捕获图像341检测面部矩形信息。

参考图4A～图6B，以下描述用于根据所捕获图像341和与操作者面部图像341A对应的面部矩形之间的位置关系来估计操作者的面部位置的方法。

首先，如图4A所示，考虑操作者10(操作者10的面部)位于移动终端100的前面的情况。在该情况下，如图4B所示，所捕获图像341中包括的操作者面部图像341A位于所捕获图像341的中心。

如图5A所示，在操作者10相对于移动终端100向左移动的情况下，所捕获图像341中包括的操作者面部图像341A位于所捕获图像中的左边，如图5B所示。在该情况下，虽然操作者面部图像341A位于实际所捕获图像中的右边，但是为了简单，在与图5A中操作者10的面部的相同侧示出操作者面部图像341A。当确定操作者面部图像341A相对于所捕获图像341的位置时，使用所捕获图像341的左右反转图像，或对所捕获图像341中操作者面部图像341A的位置进行左右反转。

如从上面可以理解的那样，通过检测包含在所捕获图像341中的操作者面部图像341A的位置，可以确定操作者10位于相对于成像单元104(即，相对于移动终端100)的哪个方向。

如图6A所示，在操作者10接近成像单元104的情况下，所捕获图像信息中包括的操作者面部图像的尺寸(面部尺寸)(更详细地，作为示例，所捕获图像上操作者的眼睛之间的距离)相对于所捕获图像变得更大，如图6B所示。实际上，通过使用面部检测器检测相对于所捕获图像的面部尺寸，可以确定操作者和成像单元104之间的距离。换句话说，可以基于面部尺寸的改变来检测距离的改变。这里，面部矩形的宽度基本上可以用作眼睛之间的距离(其用作面部尺寸的指示器)。作为替换，可以使用所捕获图像信息中包括的其他面部元素(如鼻子和嘴或眉毛)之间的距离或者整体面部的尺寸来获得面部尺寸信息，由此以与上面相同的方式基于所获得的面部尺寸信息来确定距离。

这样，根据本发明的实施例，可以根据操作者面部图像341A确定操作者10相对于成像单元104的位置。

参考图7、图8和图9，以下描述根据本发明实施例的三维图像产生方法。在每幅图的左边示出了所捕获图像以及所捕获图像中包括的操作者面部图像341A。在每幅图的中心示出了三维对象370和由投影图像产生单元312使用的三维视点位置331之间的关系，其中从上面观看投影图像产生范围371。在每幅图的右边示出从操作者观看的移动终端、显示屏幕和投影到投影平面372上的三维对象投影图像120。三维视点位置331响应于操作者面部图像341A的改变而改变。三维视点位置331相对于固定投影平面372的移动使得投影图像产生范围371变形，作为其结果，示出在右边的投影图像被改变。更详细地，穿过三维视点位置331和三维对象370的任何点381的直线380与投影平面372交叉的点382是点381的显示点。以这种方式，可以使得投影到投影平面372上的二维投影图像以增强的真实性显得是三维的。虽然从三维视点位置331来观看，将投影平面372示为位于三维对象370的前后表面之间，但是这种位置关系不限于此。

以下描述图7、图8和图9中所示的特定示例。

在图7的示例中，操作者面部图像341A近似位于所捕获图像的中心。面部矩形检测单元310根据所捕获图像信息而产生面部矩形信息。在图7的示例中，该面部矩形信息指示操作者10的面部近似位于相对于成像单元104的中心处。

据此，三维对象投影视点计算单元311可以基于面部矩形信息来确定操作者位于移动终端的前面。三维对象投影视点计算单元311还基于例如所捕获图像上的操作者的眼睛之间的距离相对于所捕获图像的相对尺寸来计算三维视点位置331，并进一步基于三维视点位置331来确定投影图像产生范围371的形状和位置。更详细地，投影图像产生单元312改变三维视点位置331以使得视点位置跟随操作者的面部沿着显示屏幕的移动。投影图像产生单元312还响应于面部图像相对于所捕获图像的尺寸来改变三维视点位置331，以便改变从三维对象到三维视点位置331的距离。

图7的中心处所示的反转的梯形表示投影图像产生范围371。将该梯形的底固定以便与投影到投影平面372上的区域重合。以该底和三维视点位置331定义该投影图像产生范围371。虽然图7的中心示出当从上面观看时的水平方向上的投影图像产生范围371，但是对垂直方向执行相同的计算，以便计算形状为四角锥(quadrangular pyramid)的平截体(frustum)的投影图像产生范围371。

据此，投影图像产生单元312基于投影图像产生范围371和三维对象信息361来产生三维对象投影图像120。

最后，投影图像显示指令单元313指令显示单元103显示所产生的三维对象投影图像120。结果，显示了在图7的右边处所示的、如显示屏幕110上的图像那样的图像。

在图8的示例中，操作者面部图像341A位于所捕获图像中的右端。面部矩形检测单元310基于所捕获图像信息来产生面部矩形信息。在图8的示例中，该面部矩形信息指示操作者10的面部位于相对于成像单元104的右边。

据此，三维对象投影视点计算单元311可以基于面部矩形信息来确定操作者位于移动终端的右边。三维对象投影视点计算单元311例如还基于操作者的眼睛之间的距离相对于所捕获图像的相对尺寸来计算三维视点位置331，并进一步基于三维视点位置331来确定投影图像产生范围371的形状和位置。

这里，当与图7比较时，三维视点位置331由于操作者面部图像341A的位置的改变而改变，且将投影图像产生范围371定义为具有公共底的反转的梯形，如图8的中心处所示。当操作者面部图像341A不仅在水平方向上而且在垂直方向上移动时，也对垂直方向计算反转的梯形，并且将结合这两个反转的梯形的四角锥的平截体定义为投影图像产生范围371。

最后，投影图像显示指令单元313指令显示单元103显示所产生的三维对象投影图像120。结果，显示了在图8的右边处所示的、如显示屏幕110上的图像那样的图像。

在图9的示例中，操作者面部图像341A近似位于所捕获图像的中心处，但是当与图7比较时，其占据了相对大的面积。面部矩形检测单元310根据所捕获图像信息来产生面部矩形信息。在图9的示例中，该面部矩形信息指示操作者的面部位于中心。三维对象投影视点计算单元311可以基于近似指示中间位置的面部矩形信息来确定操作者位于移动终端的前面。三维对象投影视点计算单元311例如还基于操作者的眼睛之间的距离相对于所捕获图像的相对尺寸来计算三维视点位置331，并进一步基于三维视点位置331来确定投影图像产生范围371的形状和位置。如图9的中心处所示，当与图7的中心比较时，三维视点位置331在图中向上改变，并且作为结果，以三维视点位置331和固定的底所定义的投影图像产生范围371具有含更宽顶部的反转梯形的形状。也对垂直方向计算反转的梯形，并且将结合了这两个反转的梯形的四角锥的平截体定义为投影图像产生范围371。投影图像产生单元312基于投影图像产生范围371和三维对象信息361来产生三维对象投影图像120。最后，投影图像显示指令单元313指令显示单元103显示所产生的三维对象投影图像120。结果，显示了在图9的右边处所示的、如显示屏幕110上的图像那样的图像。

以上结构具有下列的效果。通过将三维对象投影到二维显示屏幕上来以透视法获得三维对象的显示图像，可以向操作者传递真实性的感觉，而无需使用除了包括成像单元104的移动终端之外的额外设备或仪器。仅使用操作者的面部(即，面部图像)相对于成像单元104(即，所捕获图像)的位置来计算三维视点位置，即使当操作者的姿势改变时也可以同样地使用所述位置。另外，通过从成像单元104连续地获取所捕获图像信息并且在投影图像上反映操作者的面部位置，可以将关于其自身面部和成像单元104之间的位置关系的反馈提供给操作者。这允许更容易地执行视点操作。

虽然上面已经描述了本发明的实施例，但是除了上述实施例之外，还可以进行各种修改和变化。

上面的描述假定移动终端是移动电话终端，但是移动终端可以不必具有电话功能。例如，具有显示屏幕的任何移动终端(如PDA、游戏机和小PC)都是可适用的。此外，虽然根据本发明实施例的移动终端最好是便携式移动终端，但是移动终端不限于便携式的。

根据本发明的实施例，还提供了使得计算机执行在以上实施例中所述的功能的计算机程序，以及以计算机可读方式存储程序的记录介质。用于提供该程序的记录介质的示例包括磁记录介质(软盘、硬盘、磁带等)、光盘(磁光盘(如MO或PD)、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD+R、DVD-R、DVD-RW、DVD+RW等)、半导体存储器(storage)、纸带等。

本申请包括与2008年11月19日在日本专利局提交的日本优先权专利申请JP 2008-295582中公开的主题相关的主题，据此通过引用的方式而并入其全部内容。

本领域技术人员应该理解，取决于设计要求及其它因素，可出现各种修改、组合、部分组合和变更，只要其在所附权利要求及其等效物的范围之内即可。

Claims

1.一种终端装置，包括：

显示单元，被配置为在二维显示屏幕上显示三维对象的投影图像；

成像单元，被配置为捕获处于观看所述显示屏幕的状态的操作者的图像；

用于响应于所述操作者的面部的图像相对于所捕获图像的位置来改变相对于所述三维对象的视点位置的部件；和

投影图像产生部件，用于获得通过将从所述视点位置观看的所述三维对象的每一部分投影到预定投影平面上而产生的投影图像。

2.如权利要求1所述的终端装置，其中，所述投影图像产生部件改变所述视点位置，以使得所述视点位置跟随所述操作者的面部沿着所述显示屏幕的移动。

3.如权利要求1所述的终端装置，其中，所述投影图像产生部件改变所述视点位置，以使得从所述三维对象到所述视点位置的距离响应于所述操作者的面部的图像相对于所捕获图像的尺寸而改变。

4.一种用于在终端装置中显示三维对象的显示控制方法，所述终端装置包括成像单元和具有二维显示屏幕的显示单元，所述显示控制方法包括以下步骤：

由所述成像单元捕获处于观看所述显示屏幕的状态的操作者的图像；

响应于所述操作者的面部的图像相对于所捕获图像的位置来改变相对于所述三维对象的视点位置；

获得通过将从所述视点位置观看的所述三维对象的每一部分投影到预定投影平面上而产生的投影图像；和

在所述显示屏幕上显示所述投影图像。

5.一种用于在终端装置中显示三维对象的显示控制程序，所述终端装置包括成像单元和具有二维显示屏幕的显示单元，所述显示控制程序使得计算机执行以下步骤：

在所述显示屏幕上显示所述投影图像。

6.一种终端装置，包括：

改变单元，被配置为响应于所述操作者的面部的图像相对于所捕获图像的位置来改变相对于所述三维对象的视点位置；和

投影图像发生器，被配置为获得通过将从所述视点位置观看的所述三维对象的每一部分投影到预定投影平面上而产生的投影图像。