CN101751219B - 终端装置和显示控制方法 - Google Patents

Abstract

本发明公开了终端装置、显示控制方法和显示控制程序。终端装置包括：显示器，在显示屏上显示多个代表选项的显示要素；图像拍摄部件，拍摄正在观看显示屏的操作者的图像；脸部位置检测器，检测拍摄图像中操作者的脸部图像的位置；以及控制器，对显示器进行控制，以当检测到拍摄图像中操作者的脸部图像在预定范围之外时，在显示屏上在预定方向上移动所述多个显示要素并且顺序更新并显示显示要素，并且在检测到脸部图像落在预定范围之内时停止对所述多个显示要素的移动。

Description

终端装置和显示控制方法

技术领域

本发明涉及在二维显示屏上显示三维物体的投影图像(projection image)的终端装置、显示控制方法和显示控制程序。 

背景技术

现有技术终端装置在显示装置上显示三维物体的投影图像。三维物体被显示以使得操作者能够操纵此三维物体，从而提高便利性和一目了然的能力。 

已经提出了一种使得能够进行诸如通过对控制器的操作来改变显示屏上的三维物体的投影图像的视点(viewpoint)之类的显示控制的技术(参见日本未实审专利申请公开No.2007-260232)。这种对控制器的操作不只局限于按钮的操作，而是还可以测量和使用控制器的位置或姿态的改变。 

已经提出了一种如下的技术，其中，为了进行传输人物映像的视频电话，通过将CG人物的映像而不是人的脸部发送给联系者，测量出关于操作者的头部姿态和脸部表情的信息，并且基于此测量结果来控制CG人物的运动(参见日本未实审专利申请公开No.2003-108980)。 

还已经提出了一种以少量计算从所拍摄的图像快速确定脸部图像的技术(参见日本未实审专利申请公开No.2005-284487)。 

发明内容

利用上面描述的对三维物体的显示和操纵，可以期望增加显示的真实感。 

在具有比较小的显示屏和有限输入手段的诸如移动电话之类的移动体终端中，使用了如下一种方法，其中，当从相对大量的备选物中选择所希望的备选物时，备选物被以列表或图标的形式显示出来，并且操作者操作 十字键等来相对于列表或图标移动光标或焦点以选择一个备选物。 

然而，为了从多个备选物中选出所希望的备选物，有必要手动执行操作来在显示屏上滚动备选物或者切换页面。在所希望的备选物可见之前在观看屏幕的同时对操作部件进行手动操作变得很烦杂并使得不习惯于此操作的初学者很难使用该操作部件。 

希望在无需操作者的手动操作的情况下容易地执行对多个备选物的选择。 

还希望提供一种新颖的显示方法，其使得能够一目了解地很容易地理解有限大小的显示屏上的多个备选物并能够对它们进行选择。(本发明实现这些任务之一应该就足够了)。 

根据本发明的一个实施例的终端装置，包括显示装置，用于在显示屏上显示多个代表选项的显示要素；图像拍摄装置，用于拍摄正在观看显示屏的操作者的图像；脸部位置检测装置，用于检测拍摄图像(capturedimage)中操作者的脸部图像的位置；以及控制装置，用于对显示装置进行控制，以当检测到拍摄图像中操作者的脸部图像在预定范围之外时，在显示屏上在预定方向上移动所述多个显示要素并且顺序更新并显示所述显示要素，并且在检测到脸部图像落在预定范围之内时停止对所述多个显示要素的移动。 

利用此实施例，通过用于拍摄正在观看显示屏的操作者的图像的图像拍摄装置以及脸部位置检测装置可以检测出操作者的脸部图像相对于图像拍摄装置的位置，并从而检测出相对于显示屏的位置，并且根据检测出的位置执行对多个显示要素进行移动或者停止移动的操作。结果，实现了所谓的免手动操作。 

控制装置可以根据脸部图像的大小来改变视点和卡群组(card group)之间的距离。利用此配置，当显示要素被三维显示时，显示被实现为就好像操作者实际接近显示要素或者远离显示要素。 

本发明的另一实施例提供用于终端装置的显示控制方法和显示控制程序，所述终端装置包括在显示屏上显示多个代表选项的显示要素的显示部件和拍摄正在观看显示屏的操作者的图像的图像拍摄部件。所述方法包括 并且所述程序使得计算机执行如下步骤：检测由图像拍摄部件所拍摄的图像中操作者的脸部图像的位置；确定拍摄图像中操作者的脸部图像是否在预定范围之外；当检测到脸部图像在预定范围之外时，在显示屏上在预定方向上移动所述多个显示要素并且顺序地更新并显示所述显示要素；并且当检测到脸部图像落在预定范围之内时，控制显示部件停止对所述多个显示要素的移动并且强调显示当时处于特定位置的显示要素。 

根据本发明的此实施例，操作者可以通过简单并且直观的手段(例如通过改变脸部位置)来免手动地执行对终端装置的输入。此外，仿佛从操作者的位置可见的三维图像被投影并显示在终端装置的显示屏上，因此可以增加通过终端装置选择选项时用户界面的操作能力并且可以提高真实感。 

附图说明

图1是示出根据本发明的终端的一个实施例的移动体终端的示意性配置的示图； 

图2是示出图1中所示的移动体终端的示意性硬件配置的示图； 

图3是示出根据本发明一个实施例的移动体终端的主要功能的功能性框图。 

图4A和图4B是示出根据本发明一个实施例的拍摄图像和拍摄图像中的操作者的脸部图像之间的关系的一个示例的示图； 

图5A和图5B是示出根据本发明一个实施例的拍摄图像和拍摄图像中的操作者的脸部图像之间的关系的另一个示例的示图； 

图6A和图6B是示出根据本发明一个实施例的拍摄图像和拍摄图像中的操作者的脸部图像之间的关系的又一个示例的示图； 

图7A和图7B是根据本发明一个实施例的卡群组的立体图，以及示出了在显示屏上强调显示一备选物的状态的示图； 

图8A和图8B是示出根据本发明一个实施例的操作者相对于图像拍摄部件(或者显示屏)的位置以及当时在显示屏上的显示示例的示图； 

图9A和图9B是示出根据本发明一个实施例的操作者相对于图像拍摄 部件(或者显示屏)的位置以及当时在显示屏上的显示示例的示图； 

图10A和图10B是示出根据本发明一个实施例的操作者相对于图像拍摄部件(或者显示屏)的位置以及当时在显示屏上的显示示例的示图； 

图11A和图11B是示出根据本发明一个实施例的操作者相对于图像拍摄部件(或者显示屏)的位置以及当时在显示屏上的显示示例的示图； 

图12A和图12B是示出根据本发明一个实施例的操作者相对于图像拍摄部件(或者显示屏)的位置以及当时在显示屏上的显示示例的示图； 

图13A和图13B是示出根据本发明一个实施例的操作者相对于图像拍摄部件(或者显示屏)的位置以及当时在显示屏上的显示示例的示图； 

图14A和图14B是根据本发明一个实施例的脸部图像的改变的一个示例的示图； 

图15是示出用于实现根据本发明一个实施例的操作的主要处理的执行过程的流程图； 

图16是图示出本发明一个实施例的修改的示图； 

图17A和图17B是示出与图16对应的多个卡列的三维显示的一个示例的示图； 

图18A和图18B是示出与图17A和图17B的示例对应的强调显示的一个示例的示图； 

图19是根据本发明一个实施例的通过投影图像实现具有立体感的三维显示的方法的说明性示图； 

图20是根据本发明一个实施例的通过投影图像实现具有立体感的三维显示的方法的说明性示图；以及 

图21是根据本发明一个实施例的通过投影图像实现具有立体感的三维显示的方法的说明性示图。 

具体实施方式

下面将参考附图详细描述本发明的优选实施例。 

图1示出根据本发明一个实施例的移动体终端100的示意性配置。移动体终端100例如是移动电话终端。 

移动体终端100在显示屏110上显示可由操作者选择的多个选项(即，多个备选物)作为三维物体的投影图像120。正在观看显示屏110的操作者(即，用户)10的脸部的图像(脸部图像)由图像拍摄部件104获取。图像拍摄部件104对应于诸如数码相机之类的装置，其拍摄正在观看显示屏的操作者的图像。图像拍摄部件104可以是设置在操作者上的可旋转的图像拍摄部件，以便对操作者前方的被摄体进行成像，或者可以是与这样的图像拍摄部件分开设置的、镜头固定地面对操作者以便用于视频通话等的另一图像拍摄部件。虽然在图1中未示出，但是在移动电话终端等中设置有设有各种操作键的操作部件。终端的样式不受特别限制，并且可以使用折叠式、滑动式、直板式，等等。 

图2示出图1中所示的移动体终端100的示意性硬件配置。 

移动体终端100包括CPU 101、存储部件102、显示部件103、图像拍摄部件104、操作部件105和特有功能部件106。 

CPU 101是构成本发明的控制部件的一部分，并且执行各种程序，包括终端装置的系统程序以及本发明的显示控制程序，用于控制整个移动体终端100和执行各种处理。 

存储部件102存储要被CPU 101执行的程序以及必要的数据，并且包括诸如ROM、RAM、闪存、HDD等的可移除记录介质和内部存储装置。下面描述的三维物体信息和由图像拍摄部件获取的拍摄图像信息也存储在存储部件102中。 

显示部件103在图1中所示的显示屏110上显示三维物体的投影图像120等，并且包括诸如LCD、有机EL等的显示装置。 

如参考图1所描述的，图像拍摄部件104是能够拍摄操作者10的脸部的图像的图像拍摄装置。 

如参考图1所描述的，操作部件105接收操作者的输入操作。 

特有功能部件106执行各个移动体终端的特有功能。例如，设置有音乐播放器、图像播放器、运动图像播放器、GPS功能部件、非接触式IC功能部件等中的一个或多个。 

典型的移动电话中设置的无线通信部件、振动生成部件、LED发光部 件、电源部件等未被示出。 

图3是示出根据本实施例的移动体终端100的主要功能的功能性框图。 

控制部件300包括脸部矩形检测部件310、三维物体投影视点计算部件311、投影图像生成部件312、投影图像显示指示部件313、脸部位置检测部件314和三维物体信息改变部件315。 

存储部件102设有拍摄图像存储部件340、脸部矩形信息存储部件350和三维物体信息存储部件360，拍摄图像存储部件340存储由图像拍摄部件104获取的拍摄图像341(包括操作者的脸部图像341A)，脸部矩形信息存储部件350存储基于拍摄图像获取的脸部矩形信息351，三维物体信息存储部件360存储指示三维物体的三维结构的三维物体信息361。三维物体信息361包括将要输出到显示部件的三维物体的形状、位置、颜色等。在本实施例中，显示备选物、具有正面和背面的具有相同大小的卡形显示要素的集合(群组)被定义作为三维物体。显示要素对应于用户界面上构成选项的指示备选物的图标或选择按钮。 

由控制部件300构成的脸部矩形检测部件310检测由图像拍摄部件104获取的拍摄图像341中与操作者的脸部相对应的矩形(例如，包括双眼的矩形、既包括双眼又包括鼻子的矩形，等等)，并且获取脸部矩形信息351。脸部矩形信息351是有关脸部矩形的预定点(例如，左上点)的坐标、脸部矩形的高度和宽度等的信息。代替宽度和高度，可以使用脸部矩形的对角点的坐标。 

可以使用日本未实审专利申请公开No.2005-284487中描述的技术作为检测脸部矩形的方法。例如，预先准备大量有关脸部的信息，并且构建用于脸部检测的辞典数据。接着，输入的拍摄图像341被与辞典中存储的用于脸部检测的信息进行比较，同时该图像被放大或者缩小并且相似部分被重复确定，从而检测出脸部矩形。利用此方法，可以从拍摄图像341中提取出诸如双眼、鼻子、嘴等的脸部要素以及这些脸部要素的位置，随后可以高速检测出脸部区域、表情等作为脸部矩形信息。如下所述，在脸部矩形信息中反映了操作者的脸部相对于图像拍摄部件104的位置或距离以 及位置或距离的改变。 

三维物体投影视点计算部件311基于检测出的脸部矩形信息来计算三维物体投影视点相对于三维物体的位置。例如，计算三维物体被投影到二维平面上作为图像的视点的角度和距离。 

脸部位置检测部件314从脸部图像314A相对于拍摄图像341的位置来检测操作者的脸部相对于显示屏110的相对位置。术语“相对”意思是：脸部相对于静止终端的移动等价于终端相对于静止脸部的移动。 

三维物体信息改变部件315更新三维物体信息，从而根据从三维物体投影视点计算部件311输出的视点位置的改变来改变三维物体的布置。三维物体信息的更新包括所有显示要素的位置的改变、某些显示要素的位置的改变、显示要素本身的更新(或者向显示要素分配的正面和背面的图像的改变)，等等。 

投影图像生成部件312根据从三维物体投影视点计算部件311输出的视点通过使用三维物体信息361来生成三维物体投影图像120。三维物体投影图像120是在三维物体被投影到预定投影平面(显示屏或者与显示屏平行的虚拟平面)时获得的投影图像。 

投影图像显示指示部件313指示显示部件103在显示屏上显示由投影图像生成部件312所生成的投影图像。 

显示部件103根据来自投影图像显示指示部件313的指示来显示图像。 

图4A和4B、图5A和5B以及图6A和6B示出拍摄图像341与拍摄图像中操作者的脸部图像341A之间的关系。将参考这些关系来描述能够基于拍摄图像341估计操作者的脸部实际在哪里。图4A、图5A和图6A示出从上方看时的便携终端与操作者之间的位置关系。图4B、图5B和图6B分别示出在图4A、图5A和图6A的情形中存储在拍摄图像存储部件340中的拍摄图像341。如上所述，通过现有方法从拍摄图像341检测出脸部矩形信息。 

以下将参考图4A到图6B描述根据拍摄图像341和与操作者的脸部图像341A对应的脸部矩形之间的位置关系来估计操作者的脸部位置的方 法。 

如图4A中所示，假设操作者10(的脸部)位于显示屏110的正前方。在此情况中，如图4B所示，拍摄图像341中操作者的脸部图像341A位于拍摄图像341的中心。显示屏110和图像拍摄部件104是偏离的，因此即使脸部位于显示屏110的正前方，在图像拍摄部件104所拍摄的图像中的脸部图像也可能偏离中心。在此情况中，可以对脸部图像相对于拍摄图像的偏离量进行校正。 

如图5A中所示，当操作者10面向显示屏110相对向左移动时，拍摄图像341中操作者的脸部图像341A位于拍摄图像的靠左侧，如图5B所示。在实际的拍摄图像中，操作者的脸部图像341A位于拍摄图像的靠右侧，但是为了方便，操作者的脸部图像341A与图5A中所示的操作者10的脸部位于同一侧。当计算出了脸部图像341A相对于拍摄图像341的相对位置时，使用拍摄图像341的左右反转的图像，或者对从拍摄图像341获取的脸部图像341A的位置进行左右反转。 

按照此方式，拍摄图像341中操作者的脸部图像341A的位置被检测出，从而能够确定操作者10相对于图像拍摄部件104或者显示屏110所处的方向，并从而检测出相对于移动体终端100所处的方向。 

如图6A所示，当操作者接近图像拍摄部件104时，拍摄图像341中操作者的脸部图像的大小(脸部大小)(具体地是拍摄图像上操作者的眼间距离)相对于拍摄图像增大，如图6B所示。实际上，如果是使用脸部检测器来检测脸部大小相对于拍摄图像的相对大小，则可以确定操作者相对于图像拍摄部件104的距离。换句话说，可以基于脸部大小的改变来检测距离的改变。在此情况中，可以将脸部矩形的宽度用作作为脸部大小的指标的眼间距离。替代地，可以使用诸如构成脸部的鼻子、嘴和眉毛之类的要素之间的距离，或者可以通过使用拍摄图像341中的整个脸部的大小来获取脸部大小信息，并且可以基于此脸部大小信息来确定距离。 

在本实施例中，作为三维物体的示例，假设预定大小的卡形构件(在本说明书中，为了方便，称为卡)以等间隔平行布置(称为卡群组)。图7A是卡群组70的立体图。每个卡与一个备选物相关联。如下所描述的布 置是当操作员选择所希望的备选物并且此备选物被移动并被显示时的布置。图7B示出操作者选择一个备选物并且此备选物被强调显示的状态。在图7B的示例中，此备选物的卡的一面被布置为面对正面(操作者侧)。 

将描述本实施例的特定操作示例。 

图8A到图13B示出操作者相对于图像拍摄部件(或者显示屏)的位置以及那时的显示示例。对于这样的操作，操作者相对于显示屏(相对于图像拍摄部件)移动他的/她的脸部并且从多个选项中选择所希望的备选物。图8A、图9A、图10A、图11A、图12A和图13A示出拍摄图像和操作者的脸部图像之间的关系。图8B、图9B、图10B、图11B、图12B和图13B示出那时的投影图像120的示例。如上所述，选项由具有正面和背面的相同大小的卡形显示要素表示，并且以从下述视点所见的立体图的形式显示出了多个卡：在所述视点处，三维空间中以等间隔平行布置的卡群组中的每个卡的一面是部分可见的。在本示例中，假设使用诸如CD(或者音乐唱片)之类的音乐记录介质的封套作为多个选项的示例。封套的三维图像或者在卡的正面和背面附有封套的正面和背面的图像的卡被用作卡形显示要素。本发明不在卡的厚度、有无等方面进行特别限制。在附图的示例中，为了说明的方便，大写字母指示正面图像，小写字母指示背面图像。在本实施例中，操作者可见的面根据脸部图像是位于一阈值边界的一侧还是另一侧而切换到卡的正面或背面。当卡的一面对于操作员可见时，可以进行配置以使得正面总是可见。 

在本实施例中，三维视点位置的控制和选择根据拍摄图像中操作者的脸部图像的位置而被同时执行。因此，拍摄图像341被按照如下使用。 

(1)根据拍摄图像341中操作者的脸部图像的位置来决定三维视点位置。在此情况中，操作者的脸部图像的位置包括当操作者在面对图像拍摄部件的镜头部件(未示出)从左向右或者上下移动时的位置，以及从镜头部件到脸部的距离。如上所述，距离的改变可以通过拍摄图像341中操作者的脸部图像341A的相对大小的改变来确定。随着距离增大，三维视点位置移动远离三维物体，并且随着距离减小，三维视点位置接近三维物 体。 

(2)确定拍摄图像341上操作者的脸部图像341A是否在阈值边界90之外，阈值边界90作为拍摄图像中预先设定的预定范围。此确定例如根据脸部图像的中心是否在阈值边界90之外来执行。在附图的示例中，阈值边界90是矩形，但是阈值边界90的形状不局限于矩形。例如，可以使用圆形或者多边形。阈值边界90的位置基本上是拍摄图像341的中心，但是其可以相对于拍摄图像341的中心稍稍偏离。 

(3)当操作者的脸部图像341A在阈值边界90之外时，选项被顺序更新并显示。也就是说，构成选项的卡列在卡的布置方向上被移动和显示，并且卡被更新以使得卡顺序出现在显示屏上并且从显示屏上消失。当操作者的脸部图像341A移动并进入阈值边界90时，卡列的移动显示停止，并且此时预定位置(例如，基本上为投影图像的中心)处的卡被强调显示。 

卡群组的“移动”或“移动显示”的意思是：在显示屏上显示的卡按箭头方向被顺序移动，并且每当新卡从来源处出现在显示屏上时，屏幕的开头处的卡从屏幕消失。实际上，作为选项的备选物的数目是有限的，因此在由于移动使得最后的卡出现后，移动停止。或者，卡可以周期性地循环，以使得从消失于屏幕的开头的卡开始再次顺序出现。 

图8A和图8B示出操作者的脸部图像341A在阈值边界90之内的情况，如图8A所示。在此情况中，卡群组70按照如图7B那样布置，并且一个卡如图8B所示被强调显示。术语“强调显示”意思是操作者认识到从多个备选物中选择了一个特定备选物的显示状态。在附图的示例中，进行布置以使得该备选物的卡的表面面对正面(操作员侧)。在此情况中，卡群组不移动。强调显示的卡是在卡群组即将被移动显示之前处于预定位置(例如，屏幕的中心)的卡。 

假定，操作者从图8A的状态面向显示屏相对向左移动他的/她的脸部。然后，如果脸部图像341A在阈值边界90之外，则卡群组70开始在预定方向上被移动。在附图的示例中，卡群组在由箭头(实际上未显示在屏幕上)所指示的卡布置方向上被移动。也就是，在本实施例中，卡群组 在远离操作者的视点的方向上被移动。相对照地，可以在朝向操作者的视点的方向上移动卡群组。 

在本实施例中，卡群组被认为是三维物体并且通过下面所述的方法被显示为当从特定三维视点位置观看时投影在预定投影平面上的投影图像。因此，卡群组被显示为具有立体感。 

从真实感来说，进行卡群组的移动以使得卡被显示为在屏幕上按箭头方向连续被移动。或者可以执行显示以使得每个卡跳到下一个卡位置。在此情况中，不必在卡之间的中间位置连续移动每个卡，因此降低了显示控制的负荷。 

图8B示出操作者的脸部图像在阈值边界90之内并且一个备选物(在附图中为备选物74)被强调显示的状态。此外，当操作者执行任何操作时，与此卡对应的功能被执行。任何操作可以以免手动方式通过根据脸部图像检测脸部表情等的改变来执行。或者，选择操作可以是上面描述的对操作部件的手动操作。除了被选择的备选物74以外的备选物72、73、75和76根据此时的视点位置而被有立体感地三维显示。类似于在实际的卡布置中卡如何变为可见，视点的右侧的备选物75和76被显示为使得其正面可见，而视点的左侧的备选物72和73被显示为使得其背面可见。或者，左侧的备选物可以被显示为其正面可见。 

如图9A所示，当操作者从图8A的状态相对于显示屏相对地向左移动他的/她的脸部并且脸部图像在阈值边界90之外时，卡群组返回到图7A的布置并且根据此时的视点被有立体感地三维显示。之后，卡群组被移动，以使得按箭头方向流动。此时，操作者从图像拍摄部件拉回他的/她的脸部(相对地使他的/她的脸部远离图像拍摄部件)，以使得从卡群组到视点位置的距离扩大。这样，进入视野的卡的数目增加，从而提高了一目了然的能力。如上所述，从卡群组到视点位置的距离的改变可以基于脸部图像341A的大小的改变来辨认。 

如图10A所示，当脸部图像从图9A的状态变到在阈值边界90之内时，卡的移动显示停止，并且如图9B所示那样，此时处于预定位置的一个卡(在附图的示例中为备选物73)被强调显示。在强调显示之前，如果 那时脸部图像在阈值边界90之外，则可以对该卡执行任何识别显示，以使得操作者可识别出正在强调显示的卡。对于识别显示，例如，可以将卡的框架加粗，可以改变卡的框架的颜色或亮度，可以执行反转显示等。 

图11A和图11B示出卡群组以与上述示例相反的箭头方向被移动并被显示的示例。此时的视点位置在卡的背面可见的方向上，因此每个卡的背面被显示。在此情况中，可以进行配置以使得卡的正面可见。 

图12A和图12B示出操作者相对于显示屏相对地向左上方向移动他的/她的脸部并且脸部图像在左上方向上在阈值边界90之外的情况。在此情况中，如图12B所示，视点位置被转移到左上方向，因此当从左上方向倾斜地观看时，卡群组被三维显示。在此情况中，卡群组70在右上方向上被倾斜移动。 

图13A和图13B示出操作者相对于显示屏相对地向右上方向移动他的/她的脸部并且脸部图像在右上方向上在阈值边界90之外的情况。此时，如图13B所示，视点位置被转移到右上方向，因此当从右上方向倾斜地观看时，卡群组被三维显示。在此情况中，卡群组70在左上方向上被倾斜移动。 

如图12A到图13B所示，由于视点位置在上下方向上的移动，卡群组在倾斜方向被平行显示，所以三维显示变得更真实。在某些情况中，提高了一目了然地观看卡群组的能力。 

脸部图像在上下方向上的位置可以被忽略并且脸部图像可以仅在左右方向上被移动和显示。 

图14A和图14B示出了脸部图像的改变的示例。脸部图像的改变可用于执行与正被强调显示的备选物相应的功能。在此情况中，从开始到结束都可实现免手动操作。这样的脸部图像可以包括操作者保持他的/她的嘴张开的图像或者操作者正在微笑的图像，并且可以一起用于上述操作。 

例如，如图14A所示，如果检测到在操作者的脸部图像341A中，操作者保持他的/她的嘴张开，则可以执行为此备选物预先分配的功能。同时，如图14B所示，如果检测到操作者的脸部图像341A是操作者正在微笑的图像，则可以打开为此备选物预先分配的辅助操作菜单。然而，这仅 仅是示例，通过确定嘴或眼睛的开/闭状态、开/闭状态以外的脸部的方向或操作或者确定脸部的表情(诸如微笑的脸部、流泪的脸部、生气的脸部)等等可以提供很多输入方法。 

结果，操作者可以通过直观方法(例如，通过相对于显示屏移动他的/她的脸部或改变表情)来操作应用等。三维视点位置可以通过同样的操作来改变，并且利用三维显示，同时可以直观地见到多个物体。 

图15是示出用于实现本实施例的操作的主要处理的执行过程的流程图。该处理是在图2中所示的CPU 101读取和执行存储部件102中所存储的显示控制程序而实现的。该处理可以在用于音乐播放等的特定应用被激活时有效，或者可以被移动体终端的系统程序初始使用。 

首先，卡群组被布置，并且视点被初始化(S11)。最初，假定操作者基本位于显示屏的正前方，并且脸部图像在阈值边界90之内。卡群组的布置如图7B所示。即使该布置如图7A所示，也可以通过检测操作者的脸部图像来立即对卡群组的布置进行校正，因此卡群组的初始配置不特别论述。初始视点位置被设定在考虑到操作者的一般使用而预先设定的位置处。 

图像拍摄部件开始拍摄图像，并且拍摄图像中的脸部图像被检测(S12)。确定脸部图像相对于拍摄图像的位置(S13)。还确定脸部图像的大小(S14)。确定脸部图像的位置和大小的方法如上所述。根据所获得的脸部图像的位置和大小来决定和更新视点位置(S15)。 

接着，确定脸部图像是否在阈值边界之外(S16)。如果脸部图像在阈值边界之外，则如图7A所示以等间隔布置的卡群组的布置被更新以便在布置方向上移动(S17)。生成此时的卡群组的投影图像(S18)，并将其显示在显示屏上(S19)。 

如果脸部图像在阈值边界之内，则如图7B所示卡群组的布置被更新以使得预定卡被强调显示(S20)。生成此时的卡群组的投影图像(S21)，并将其显示在显示屏上(S22)。当操作者给出执行与所选择的卡对应的功能的指令时(S23，是)，执行与该功能对应的预定处理(S24)。 

例如，当从表示CD封套的卡群组选出了特定卡并且给出了进行音乐回放的执行指令时，可以显示表示音乐片段的卡群组，以便重新选择在CD集中记录的一组音乐片段。当执行了从卡群组中选择一段音乐时，开始播放该段音乐。 

图16是图示出本实施例的修改的示图。图7A中所示的卡群组被布置为一列。然而，卡群组可以以多个列来布置，以使得在上下方向上以多级叠置。图16示出三个列的卡群组70’，但是可以设置两列或四列或更多列。在本说明书中，各个列中的卡群组被称为卡列70a、70b和70c。在此情况中，如图17所示，在多个卡列中执行三维显示。在附图的示例中，即使设置了四列或更多列，在显示屏上也仅仅主要示出三列。然而，有多少列可见是可以根据视点位置改变的。类似于上面描述的情况，卡列被同时移动和显示。同时，可以仅仅处于中心的卡列被移动和显示。 

卡列的选择通过当脸部图像在上方向上在阈值边界之外时以卡列为单位移动卡群组70’并且当脸部图像在阈值边界之内时停止在上方向上的移动来执行。即使脸部图像仍然在上方向上在阈值边界之外，但是当没有应当显示的卡列时，在最后的卡列处于中心的状态中停止移动。或者，可以使卡列周期性地循环。这同样适用于下方向。 

当使用以多级叠置的多个卡列时，如果在所有方向上脸部图像都没有在阈值边界之外，则在预定位置(例如，正在中心显示的卡列中处于基本上中心处的卡)执行强调显示。图18A和图18B示出这样的强调显示的一个示例。 

如上所述，如果以多个列来布置卡群组，则每列的卡数被减小，从而期望减少操作者找出所希望的卡所必须的实质时间。每个卡列被分配了备选物的属性(在音乐片段的情况中例如为流派)，所以可以有助于操作者的选择。 

将参考图19到21描述通过投影图像实现立体性三维显示的方法。在图19到图21中，左侧示出拍摄图像341以及拍摄图像341中的操作者的脸部图像341A的示例。在图19到图21中，中心侧示出在投影图像生成部件312中所使用的三维物体370和三维视点位置331之间的关系，并且 示出在从上方观看时的投影图像生成范围371的一个示例。在图19到图21中，右侧示出从操作者看的移动体终端、显示屏以及投影在投影平面372上的三维物体投影图像120的示例。 

在本实施例中，三维物体370是布置如图7A和图7B所示的卡群组，但是为了方便，示出了房子。三维物体信息改变部件315通过与阈值边界进行比较来确定脸部矩形的位置，并且如果必要的话还对作为三维物体的卡群组的布置进行更新以便进行移动显示和强调显示。当三维物体的布置被改变时，三维显示跟随该改变。以下，为了对三维显示进行说明，将假设三维物体为固定来提供描述。 

在本实施例中，三维视点位置331根据操作者的脸部图像341A的改变而改变。三维视点位置331相对于固定投影平面372的移动使得投影图像生成范围371变形，并且改变投影图像120。具体地，连接三维视点位置331和三维物体370的任意点381的线380与投影平面相交的点382成为有关点的显示点。因此，投影在投影平面372上的二维投影图像是三维可见的，所以可以增加真实感。虽然示出了当从三维视点位置331观看时投影平面372位于三维物体370的正面和背面之间的情况，但是不一定必须提供这样的位置关系。 

在图19所示的示例中，操作者的脸部图像341A基本位于拍摄图像的中心。脸部矩形检测部件310根据拍摄图像341生成脸部矩形信息。在图19所示的示例中，脸部矩形信息指示操作者的脸部基本位于显示屏的中心。 

接着，三维物体投影视点计算部件311可以基于脸部矩形信息来确定操作者位于移动体终端的正面。然后，三维物体投影视点计算部件311根据脸部大小相对于拍摄图像的相对大小来计算三维视点位置331，并基于三维视点位置331来决定投影图像生成范围371的形状和位置。 

投影图像生成部件312改变三维视点位置331以使得三维视点位置331跟随操作者的脸部沿显示屏的移动。投影图像生成部件312改变三维视点位置331以使得从三维物体到三维视点位置331的距离根据脸部图像相对于拍摄图像的大小来改变。 

图19的中心侧的倒置的梯形是投影图像生成范围371。梯形的底边被固定以使得与投影到投影平面372上的区域一致，并且根据底边和三维视点位置331来决定投影图像生成范围371。图19的中心侧示出当从上方观看时的水平方向的示例，对垂直方向执行同样的计算，并且计算出被截头的四面棱锥状投影图像生成范围371。 

接着，投影图像生成部件312基于投影图像生成范围371和三维物体信息361生成三维物体投影图像120。 

最后，投影图像显示指示部件313指示显示部件103显示所生成的三维物体投影图像120。结果，实现了如图19的右侧上的显示屏110的显示。 

在图20的示例中，操作者的脸部图像341A位于拍摄图像右端。脸部矩形检测部件310基于拍摄图像341生成脸部矩形信息。在图20中，脸部矩形信息指示操作者10的脸部位于相对于显示屏的右侧。 

接着，三维物体投影视点计算部件331可基于脸部矩形信息来确定操作者位于移动体终端的右侧。然后，三维物体投影视点计算部件311根据脸部大小相对于拍摄图像的相对大小来计算三维视点位置，并基于三维视点位置来决定图像生成范围371的形状和位置。 

与图19相比，操作者的脸部图像341A的位置的改变引起了三维视点位置的改变，并且如图20的中心侧所示，投影图像生成范围371被决定为具有共同底边的倒置的梯形。当操作者的脸部图像341A在垂直方向以及水平方向上被移动时，以相同的方式来计算针对垂直方向的倒置的梯形，并且通过组合水平方向和垂直方向上的倒置的梯形而获得的被截头的四面棱锥被决定为投影图像生成范围371。 

接着，投影图像生成部件312基于投影图像生成范围371以及三维物体信息361生成三维物体投影图像120。 

最后，投影图像显示指示部件313指示显示部件103显示所生成的三维物体投影图像120。结果，实现了如图20的右侧上的显示屏110的显示。 

在图21的示例中，操作者的脸部图像341A基本位于拍摄图像的中 心，但是与图19相比，操作者的脸部图像341A占据了较大的区域。脸部矩形检测部件310根据拍摄图像341生成脸部矩形信息。在图21中，脸部矩形信息指示中心。三维物体投影视点计算部件331可以基于基本指示中心的脸部矩形信息来确定操作者位于移动体终端的正面。然后，三维物体投影视点计算部件311根据脸部大小相对于拍摄图像的相对大小来计算三维视点位置，并基于三维视点位置来决定投影图像生成范围371的形状和位置。如在图21的中心侧所示，与图19的中心侧相比，三维视点位置向图的上方向改变。结果，通过三维视点位置和固定底边获得的投影图像生成范围371具有上部被加宽的梯形形状。按照同样的方式来计算针对垂直方向的梯形，并且通过水平方向和垂直方向的梯形的组合而获得的被截头的四面棱锥被决定为投影图像生成范围371。投影图像生成部件312基于投影图像生成范围371和三维物体信息361来生成三维物体投影图像120。最后，投影图像显示指示部件313指示显示部件103显示所生成的三维物体投影图像120。结果，实现了如图21的右侧上的显示屏110的显示。 

如上所述，如果脸部接近，则三维物体的投影图像的显示大小增大，并且细节容易可见。如果脸部被拉回(变远)，则难以看到细节，但是在表面上可以显示更多的备选物。这样，一目了然的能力变好。操作者仅仅通过相对地改变脸部相对于移动体终端100的位置就能够实现这样的操作。 

作为移动显示的修改，当脸部图像在阈值边界90之外时，可以根据脸部图像的位置和大小来可变地控制卡群组的移动和更新速度。例如，当脸部图像在阈值边界90之外时，可以执行控制以使得脸部图像越远离阈值边界90，移动显示的移动速度越增大。或者，当脸部图像在阈值边界90之外时，可以执行控制以使得脸部图像的大小越小，移动显示的移动速度越增大。 

利用本实施例的基于脸部图像的三维显示，除了包括图像拍摄部件104的移动体终端以外，无需使用特殊装置或工具，通过将三维物体投影到二维显示屏上就能够获得三维物体的具有立体感的显示图像，所以可以 向操作者提供真实感。在计算三维视点位置时，仅仅使用了操作者的脸部位置(相应地，脸部图像)相对于图像拍摄部件104(相应地，拍摄图像)的相对位置，所以即使操作者的姿态改变了，也可以以同样的方式使用三维视点位置。此外，拍摄图像341是从图像拍摄部件104连续获取的，所以操作者的脸部位置在投影图像中被连续反映出。因此，提供了操作者本身的脸部和图像拍摄部件104之间的位置关系的反馈，所以可以有助于视点操作。 

虽然已经描述了本发明的优选实施例，但是可以做出多种修改和改变。 

在前面的描述中，已经描述了这样的情况，其中，图像拍摄装置的镜头定位在显示屏的靠上部分，其中，所述显示屏处于在垂直方向较长的矩形显示屏的状态。然而，在显示屏为水平方向较长的状态中，镜头可以定位在显示屏的侧部。在此情况中，可以按照与如上所述相同的方式根据显示屏110的中心和图像拍摄部件104的偏移量来对脸部位置进行校正。 

虽然在前面的描述中假设移动电话终端用作移动体终端，但是也可以使用不具有电话功能的终端。例如，本发明可应用于诸如PDA、游戏机、紧凑形PC等的具有显示屏的移动体终端。此外，优选地，移动体终端是便携移动体终端，但是本发明不局限于便携式。 

用于实现前面的实施例中所描述的功能的计算机程序以及在其上记录有程序的计算机可读记录介质都落在本发明的范围内。用于提供程序的“记录介质”的示例例如包括磁记录介质(软盘、硬盘、磁带等)、光盘(诸如MO、PD等的磁光盘、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD+R、DVD-R、DVD-RW、DVD+RW，等等)、半导体存储装置、纸带等。 

本申请包含于2008年12月5日向日本专利局提交的日本在先专利申请JP 2008-310672所公开的主题有关的主题，该申请全部内容通过引用而被结合于此。 

本领域技术人员应当明白，依赖于设计需求和其它因素可以出现各种修改、组合、子组合和替代，只要它们在所附权利要求或者其等同物的范围内即可。 

Claims (11)

1.一种终端装置，包括：

显示部件，用于在显示屏上将多个代表选项的显示要素显示为三维物体；

图像拍摄部件，用于拍摄正在观看所述显示屏的操作者的图像；以及

控制部件，用于对所述显示部件进行控制，以当检测到拍摄图像中所述操作者的脸部图像在预定范围之外时，在所述显示屏上在预定方向上移动所述多个显示要素并且顺序更新并显示所述显示要素，并且在检测到所述脸部图像落在所述预定范围之内时停止对所述多个显示要素的移动，其中

所述控制部件包括：

脸部矩形检测部件，用于检测所述拍摄图像中与所述操作者的脸部相对应的矩形，并且获取脸部矩形信息；

脸部位置检测部件，用于根据所述脸部矩形信息来检测所述操作者的脸部相对于显示屏的相对位置；

三维物体投影视点计算部件，用于基于所述脸部矩形检测部件所获取的脸部矩形信息来计算三维物体投影视点相对于三维物体的位置；

三维物体信息改变部件，用于更新三维物体信息，从而根据从所述三维物体投影视点计算部件输出的视点位置的改变来改变三维物体的布置；

投影图像生成部件，用于根据从所述三维物体投影视点计算部件输出的视点，通过使用所述三维物体信息来生成三维物体投影图像；以及

投影图像显示指示部件，用于指示所述显示部件在显示屏上显示由所述投影图像生成部件所生成的三维物体投影图像。

2.根据权利要求1所述的终端装置，

其中，当停止对所述显示要素的移动时，所述控制装置强调显示当时处于预定位置的显示要素。

3.根据权利要求2所述的终端装置，

其中，所述多个显示要素由具有正面和背面的相同大小的卡来表示，并且所述控制装置以从能看见每个卡的一面的至少一部分的视点所见的立体图的方式显示在三维空间中以等间隔平行布置的卡群组。

4.根据权利要求3所述的终端装置，

其中，进行所述强调显示，以使得所述多个卡中与处于所述预定位置的显示要素对应的卡的一面被显示为面对正面。

5.根据权利要求3或4所述的终端装置，

其中，所述控制装置根据所述脸部图像是存在于所述预定范围的一侧还是另一侧来将对于所述操作者可见的面切换成所述卡的正面或背面。

6.根据权利要求3或4所述的终端装置，

其中，所述控制装置根据所述脸部图像的大小来改变所述视点和所述卡群组之间的距离。

7.根据权利要求1到4中任一项所述的终端装置，

其中，所述控制装置显示投影在面对所述操作者的虚拟投影平面上的投影图像。

8.根据权利要求1所述的终端装置，

其中，在三维空间中用作所述多个显示要素的卡群组被布置成多列，并且所述控制装置根据水平方向上所述脸部图像的移动来在水平方向上移动至少一个卡列，并且根据垂直方向上所述脸部图像的移动来选择卡列。

9.根据权利要求8所述的终端装置，

其中，垂直方向上卡列的移动和卡列的更新根据所述脸部图像的位置来执行。

10.根据权利要求1所述的终端装置，

其中，当所述脸部图像在所述预定范围之外时，所述控制装置根据所述脸部图像的位置或大小来可变地控制所述显示要素的移动和更新的速度。

11.一种用于移动终端的显示控制方法，所述移动终端包括在显示屏上将多个代表选项的显示要素显示为三维物体的显示部件和拍摄正在观看所述显示屏的操作者的图像的图像拍摄部件，所述方法包括：

控制步骤，用于对所述显示部件进行控制，以当检测到拍摄图像中所述操作者的脸部图像在预定范围之外时，在所述显示屏上在预定方向上移动所述多个显示要素并且顺序更新并显示所述显示要素，并且在检测到所述脸部图像落在所述预定范围之内时停止对所述多个显示要素的移动，其中

所述控制步骤包括：

检测所述拍摄图像中与所述操作者的脸部相对应的矩形，并且获取脸部矩形信息；

根据所述脸部矩形信息来检测所述操作者的脸部相对于显示屏的相对位置；

基于所述脸部矩形信息来计算三维物体投影视点相对于三维物体的位置；

更新三维物体信息，从而根据三维物体投影视点位置的改变来改变三维物体的布置；

根据所述三维物体投影视点，通过使用所述三维物体信息来生成三维物体投影图像；以及

指示所述显示部件在显示屏上显示所生成的三维物体投影图像。

Images