CN101784980A - 遥控操作装置及遥控操作方法 - Google Patents

Abstract

提供一种遥控操作装置及遥控操作方法，能够利用较简单的结构实现电子镜装置等的遥控操作。该遥控操作装置具有：三维绘制部(23)，根据第1和第2三维模型生成第1和第2用户像；第1操作判定部(24)，判定菜单图像与第2用户像是否重合；第2操作判定部(24)，根据第2用户像向与显示画面垂直的方向的移动量，确定表示用户指定的位置的显示画面上的坐标；操作信息输出部(25)，在菜单图像与第2用户像重合的情况下，且所确定的坐标包含于显示有菜单图像的区域中的情况下，输出对应于菜单图像的操作信息，第2操作判定部(24)参照存储有表示投影面上的坐标与进深值之间的关系的进深信息的深度缓冲器来计算第1用户像的进深值与第2用户像的进深值之间的差分值，作为移动量。

Description

遥控操作装置及遥控操作方法

技术领域

本发明涉及用于对装置进行遥控操作的遥控操作装置及遥控操作方法，该被遥控操作的装置生成用户的三维人体形状模型(以下简称为“三维模型”)，并显示在从任意位置的视点对所生成的三维模型进行三维绘制(rendering)时的用户像。

背景技术

已经存在如图1所示的生成用户的三维模型并从任意视点进行显示的电子镜装置。一般，电子镜装置使用由三维人体形状计测装置102(在图1中为摄像机)计测到的计测数据，生成用户101的三维模型。并且，电子镜装置通过绘制三维模型来生成用户的投影像104，并在显示画面103上显示所生成的用户的投影像104。

在电子镜装置中还可以考虑下述方法，位于远离显示画面103的位置的用户101选择并确定被显示在显示画面103上的菜单图像，由此遥控操作电子镜装置。在这种电子镜装置的遥控操作方法中，利用显示在显示画面上的用户的投影像来遥控操作电子镜装置。

具体地讲，如图2所示，电子镜装置将与映在显示画面202上的用户201的投影像203重合的菜单图像204，判定为由用户201“选择”的菜单图像(步骤S1)。然后，电子镜装置将由用户201“选择”的菜单图像中、包含与显示画面202垂直的方向上的用户的移动量为最大的位置的菜单图像，判定为由用户201“决定”的菜单图像(步骤S2)。

专利文献1公开了将这种遥控操作方法适用于投影仪的示例。在专利文献1的遥控操作方法中，公开了使用投影仪的投影像以及投影仪与投影面之间的距离(＝进深方向的信息)来进行菜单操作的遥控操作方法。

【现有技术文献】

【专利文献1】日本特开2005-322055号公报

但是，在上述现有技术中，为了获取进深方向的信息，还另外需要距离传感器。即，在上述现有技术中，存在除了用于显示投影像的装置之外，还需要用于计测进深方向的信息的装置的问题。

发明内容

本发明就是鉴于上述问题而提出的，其目的在于，提供一种遥控操作装置，能够利用比较简单的结构实现电子镜装置等的遥控操作。

为了达到上述目的，本发明的遥控操作装置的一种方式是，一种遥控操作装置，用于输出与显示在显示画面上的菜单图像相对应的操作信息，该菜单图像由位于与所述显示画面分离的位置的用户所指定，该遥控操作装置具有：三维模型生成部，生成第1和第2三维模型，该第1和第2三维模型是表示在第1时刻及在所述第1时刻之后的第2时刻的所述用户的形状的外观的三维模型；三维绘制部，对由所述三维模型生成部生成的第1和第2三维模型进行三维绘制，由此生成第1和第2用户像；第1操作判定部，在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下，判定所述菜单图像与所述第2用户像是否重合；第2操作判定部，计算在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下、所述第2用户像向与所述显示画面垂直的方向移动的移动量，并根据所计算出的移动量，确定表示所述用户所指定的位置的、所述显示画面上的坐标；和操作信息输出部，在由所述第1操作判定部判定为所述菜单图像与所述第2用户像重合的情况下，且在由所述第2操作判定部确定的坐标包含于显示有所述菜单图像的区域中的情况下，输出与所述菜单图像相对应的操作信息，所述第2操作判定部参照存储有在对所述第1和第2三维模型进行三维绘制时生成的、表示投影面上的坐标与进深值之间的关系的进深信息的深度缓冲器，来计算所述第1用户像的进深值与所述第2用户像的进深值之间的差分值，作为所述移动量。

由此，通过参照深度缓冲器，能够计算与投影面垂直的方向上的用户像的移动量，所以能够输出操作信息，而不需要使用距离传感器等装置来检测用户与显示画面之间的距离。即，能够利用比较简单的结构实现电子镜装置等的遥控操作。

并且，优选地，所述三维绘制部使用第1投影矩阵对所述第1和第2三维模型进行三维绘制，由此生成所述第1和第2用户像，并使用与第1投影矩阵不同的第2投影矩阵对所述第2三维模型进行三维绘制，由此生成第3用户像，在所述显示画面上显示由所述三维绘制部生成的第3用户像。

由此，能够使用与显示用的用户像不同的操作用的用户像来判定用户指定的菜单图像，所以用户能够凭借固定的操作感觉来指示菜单图像，而与用户的位置或大小等无关。

并且，优选地，所述第1投影矩阵是正交投影矩阵，所述第2投影矩阵是透视投影矩阵。

由此，能够使用正交投影矩阵来生成显示用的用户像，所以用户能够凭借固定的操作感觉来指示菜单图像，而与用户和显示画面之间的位置关系无关。

并且，优选地，所述第1投影矩阵是按照所述用户的大小和所述显示画面的大小来使用户像的大小改变的投影矩阵。

由此，用户能够凭借固定的操作感觉来指示菜单图像，而与用户的大小无关。

并且，本发明的集成电路的一种方式是，一种集成电路，用于输出与显示在显示画面上的菜单图像相对应的操作信息，该菜单图像由位于与所述显示画面分离的位置的用户所指定，该集成电路具有：三维模型生成部，生成第1和第2三维模型，该第1和第2三维模型是表示在第1时刻及在所述第1时刻之后的第2时刻的所述用户的形状的外观的三维模型；三维绘制部，对由所述三维模型生成部生成的第1和第2三维模型进行三维绘制，由此生成第1和第2用户像；第1操作判定部，在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下，判定所述菜单图像与所述第2用户像是否重合；第2操作判定部，计算在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下、所述第2用户像向与所述显示画面垂直的方向移动的移动量，并根据所计算出的移动量，确定表示所述用户所指定的位置的、所述显示画面上的坐标；和操作信息输出部，在由所述第1操作判定部判定为所述菜单图像与所述第2用户像重合的情况下，且在由所述第2操作判定部确定的坐标包含于显示有所述菜单图像的区域中的情况下，输出与所述菜单图像相对应的操作信息，所述第2操作判定部参照存储有在对所述第1和第2三维模型进行三维绘制时生成的、表示投影面上的坐标与进深值之间的关系的进深信息的深度缓冲器，来计算所述第1用户像的进深值与所述第2用户像的进深值之间的差分值，作为所述移动量。

另外，本发明不仅能够实现为这种遥控操作装置，也能够实现为以这种遥控操作装置具有的特征构成部分的动作为步骤的遥控操作方法，还能够实现为使计算机执行这些步骤的程序。

发明效果

根据本发明，通过参照深度缓冲器，能够计算与投影面垂直的方向上的用户像的移动量，所以能够输出操作信息，而不需要使用距离传感器等装置来检测用户与显示画面之间的距离。即，能够利用比较简单的结构实现电子镜装置等的遥控操作。

(与本申请的技术背景相关的信息)

2008年6月2日提出申请的申请号为2008-144458号的日本专利申请的说明书、附图及权利要求书公开的全部内容，作为参考被引入本申请。

附图说明

图1是表示以往的电子镜装置的概况的图。

图2是说明以往的电子镜装置的优选的遥控操作方法的图。

图3是表示具有本发明的实施方式1的遥控操作装置的电子镜装置的功能结构的方框图。

图4A是表示本发明的实施方式1的遥控操作装置进行的处理流程的流程图。

图4B是表示本发明的实施方式1的遥控操作装置进行的处理流程的流程图。

图5是说明本发明的实施方式1的遥控操作装置进行的处理流程的图。

图6是表示具有本发明的实施方式2的遥控操作装置的电子镜装置的功能结构的方框图。

图7是表示本发明的实施方式2的遥控操作装置进行的处理流程的流程图。

图8是说明本发明的实施方式2的遥控操作装置进行的处理流程的图。

图9是表示基于用户与显示画面之间的位置关系的投影像的差异的图。

图10是说明透视投影的图。

图11是说明正交投影的图。

图12是说明本发明的实施方式2的变形例的图。

图13是说明本发明的变形例的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

(实施方式1)

图3是表示具有本发明的实施方式1的遥控操作装置的电子镜装置的功能结构的方框图。如图3所示，电子镜装置10具有三维人体形状计测部11、显示部12、电子镜控制部13和遥控操作装置20。

三维人体形状计测部11计测用户的三维人体形状，将计测数据输出给遥控操作装置20的三维模型生成部21。三维人体形状计测部11可以使用立体计测法或光切断法等一般用于计测三维人体形状时使用的方法，来计测用户的三维人体形状。

显示部12具有液晶显示器等的显示画面，显示由显示图像合成部26输出的显示用图像。

电子镜控制部13控制构成电子镜装置10的各个构成要素的动作。并且，电子镜控制部13根据由操作信息输出部25输出的操作信息，控制各个构成要素的动作。例如，在操作信息表示提高亮度(亮度UP)的情况下，电子镜控制部13使要显示的图像的亮度增大预定的值。

遥控操作装置20是根据位于远离显示画面的位置的用户的动作，输出与被显示在显示画面上的菜单图像相对应的操作信息的装置。遥控操作装置20具有三维模型生成部21、数据存储部22、三维绘制部23、操作判定部24、操作信息输出部25、显示图像合成部26和控制部27。

三维模型生成部21根据由三维人体形状计测部11计测到的计测数据，依次生成用户的三维模型。具体地讲，三维模型生成部21例如使用所谓德劳内(Delaunay)三角形分割法或移动立方体(marching cubes)法等、一般生成三维模型时使用的方法，来生成三维模型。

数据存储部22是存储器等存储介质，存储包括投影矩阵在内的绘制参数。

三维绘制部23使用存储在数据存储部22中的绘制参数，对由三维模型生成部21生成的三维模型进行三维绘制，由此生成二维的投影像(以下简称为“用户像”)。具体地讲，三维绘制部23执行模型(modeling)变换、光源计算、投影变换、视口(viewport)变换、纹理映射等一系列的绘制处理，由此生成用户像。在该绘制处理中，三维绘制部23在未图示的作为缓冲存储器的颜色缓冲器和深度(depth)缓冲器中存储颜色信息和进深信息。

其中，所说存储在颜色缓冲器中的颜色信息，是表示三维模型被投影在投影面上时的投影面上的位置与颜色之间的关系的信息。并且，所说存储在深度缓冲器中的进深信息，是表示三维模型被投影在投影面上时的位置与进深值之间的关系的信息。

操作判定部24是第1和第2操作判定部的一例，通过参照由三维绘制部23存储在颜色缓冲器和深度缓冲器中的颜色信息和进深信息，执行第1操作判定和第2操作判定。

具体地讲，在由三维绘制部23生成的用户像被显示在显示画面上的情况下，操作判定部24使用存储在颜色缓冲器中的颜色信息来判定菜单图像与用户像是否重合(第1操作判定)。

并且，在由三维绘制部23生成的用户像被显示在显示画面上的情况下，操作判定部24计算用户像向与显示画面垂直的方向的移动量。并且，操作判定部24根据所算出的移动量来确定由用户指定的显示画面上的坐标(第2操作判定)。具体地讲，操作判定部24例如把与成为最大移动量的投影面上的位置相对应的显示画面上的坐标，确定为由用户指示的坐标。另外，操作判定部24参照深度缓冲器计算当前的用户像与过去的用户像之间的进深值的差分值，作为移动量。

在由操作判定部24判定为菜单图像与第2用户像重合的情况下，且由操作判定部24确定的坐标包含于显示有菜单图像的区域中的情况下，操作信息输出部25向显示图像合成部26和电子镜控制部13等输出与菜单图像相对应的操作信息。关于对应于菜单图像的操作信息，例如可以从将菜单图像和操作信息相对应地存储的操作信息表等中获取。

显示图像合成部26根据由操作信息输出部25输出的操作信息，生成显示用菜单图像。并且，显示图像合成部26将所生成的显示用菜单图像和由三维绘制部23生成的用户像合成，由此生成显示用图像。并且，显示图像合成部26将所生成的显示用图像输出给显示部12。

控制部27控制遥控操作装置20的各个构成要素的动作。

另外，由三维模型生成部21生成的三维模型或由三维绘制部23生成的用户像等，也可以存储在未图示的存储部中。该情况时，各个构成要素读出存储在存储部中的三维模型或用户像，使用所读出的三维模型或用户像来执行处理。

下面，说明如上所述构成的遥控操作装置20的各种动作。

图4A和图4B是表示本发明的实施方式1的遥控操作装置进行的处理流程的流程图。并且，图5是说明本发明的实施方式1的遥控操作装置进行的处理流程的图。

首先，使用图4A说明遥控操作装置20的整体处理流程。

首先，三维模型生成部21根据用户的三维人体计测数据生成三维模型(S101)。

然后，三维绘制部23对三维模型进行三维绘制，由此生成用于显示在显示画面上的用户像。在此，三维绘制部23在生成用户像时生成颜色信息和进深信息，并将所生成的颜色信息和进深信息存储在绘制缓冲器401中(S102)。如图5所示，绘制缓冲器401由颜色缓冲器402和深度缓冲器403构成，颜色缓冲器402存储作为用户在显示画面上的投影像的颜色信息，深度缓冲器403存储表示用户距显示画面的距离的进深信息。

然后，操作判定部24选择成为操作判定的对象的、且还没有被选择的菜单图像(S103)。

然后，操作判定部24使用存储在颜色缓冲器402中的颜色信息和存储在深度缓冲器403中的进深信息，执行操作判定处理(S104)。另外，关于操作判定处理的具体情况，将在后面使用图4B进行说明。

并且，操作判定部24判定在步骤S103是否已选择被显示在显示画面上的全部菜单图像(S105)。其中，在没有选择全部菜单图像的情况下(S105：否)，操作判定部24反复进行步骤S103～S104的处理。另一方面，在已选择全部菜单图像的情况下(S105：是)，操作信息输出部25输出决定信息表示的、与由用户“决定”的菜单图像相对应的操作信息(S106)。

然后，显示图像合成部26根据所输出的操作信息，生成显示用菜单图像404。具体地讲，显示图像合成部26例如生成将操作信息表示的菜单图像的颜色变更后的显示用菜单图像404。并且，显示图像合成部26向显示部12输出将所生成的显示用菜单图像404和用户像合成后的显示用图像405(S107)。最后，显示部12将显示用图像405显示在显示画面上(S108)。

下面，使用图4B说明遥控操作装置20的操作判定处理的流程。在用于确定用户选择及决定的菜单图像的操作判定处理中，参照绘制缓冲器401。并且，操作判定处理可以划分为确定用户“选择”的菜单图像的第1操作判定、和确定用户“决定”的菜单图像的第2操作判定。

首先，说明第1操作判定(S111和S112)。操作判定部24从颜色缓冲器402获取在步骤S103被选择的菜单图像的显示区域的颜色信息(S111)。然后，操作判定部24判定菜单图像的显示区域中是否包含用户像(S112)。具体地讲，例如在与菜单图像的显示区域对应的位置的颜色信息是与初始值不同的值的情况下，操作判定部24判定为在该菜单图像的显示区域中包含用户像。

其中，在菜单图像的显示区域中包含用户像的情况下(S112：是)，操作判定部24判定为该菜单图像已被用户选择，并执行第2操作判定。另一方面，在菜单图像的显示区域中不包含用户像的情况下(S112：否)，操作判定部24判定为该菜单图像没有被用户选择，不执行第2操作判定。

下面，说明第2操作判定(S121～S124)。操作判定部24从深度缓冲器403获取在步骤S103被选择的菜单图像的显示区域的进深信息(S121)。其中，操作判定部24从深度缓冲器403获取当前及过去的进深信息。具体地讲，操作判定部24例如从深度缓冲器403获取根据在步骤S101生成的三维模型而生成的进深信息、和根据在该三维模型之前生成的前一个三维模型而生成的进深信息。

然后，操作判定部24按投影面上的每个位置计算所获取的进深信息表示的进深值的差分值(S122)。然后，操作判定部24判定所算出的差分值的最大值是否大于在其他菜单图像中已经算出的差分值的最大值(S123)。

其中，在所算出的差分值的最大值大于在其他菜单图像中已经算出的差分值的最大值的情况下(S123)，操作判定部24将表示由用户“决定”的菜单图像的确定信息更新为表示该菜单图像的信息(S124)。

如上所述，本实施方式的遥控操作装置20能够使用存储在颜色缓冲器和深度缓冲器中的颜色信息和进深信息，确定由用户“选择”及“决定”的菜单图像。即，遥控操作装置20能够通过用于生成要显示的用户像的三维绘制处理，获得相对在第1操作判定中使用的显示画面为水平方向的信息、和相对在第2操作判定中使用的显示画面为垂直方向的信息，并分别作为存储在颜色存储器和深度存储器中的颜色信息和进深信息，所以不需要其他的计测处理或识别处理。即，遥控操作装置20能够利用比较简单的结构实现电子镜装置10的遥控操作。

另外，操作判定部24参照的颜色信息中不仅包含可视颜色值(RGB或HSV等)，也可以包含表示透明度的α值(A)等相应位置的像素的控制信息。该情况时，例如在与菜单图像的显示区域对应的位置的颜色信息中上述的控制信息是与初始值不同的值的情况下，操作判定部24可以判定为在该菜单图像的显示区域中包含用户像。

另外，在进深值的差分值的最大值未达到预定的阈值的情况下、或者不是显示画面方向的移动的情况下，操作判定部24也可以不更新决定信息。由此，遥控操作装置能够避免因用户的非计划动作而造成的误操作。

并且，显示图像合成部26也可以根据由操作判定部24算出的进深值的差分值，变更菜单图像或用户像的颜色。由此，用户能够识别自己决定的菜单图像。

(实施方式2)

下面，说明本发明的实施方式2的遥控操作装置。

本实施方式的遥控操作装置40与实施方式1的遥控操作装置20的不同之处是，生成用于执行操作判定处理的用户像和用于显示在显示画面上的用户像这一点。

图6是表示具有本发明的实施方式2的遥控操作装置的电子镜装置30的功能结构的方框图。本实施方式的遥控操作装置40与实施方式1的遥控操作装置20的不同之处是，三维绘制部和显示图像合成部的处理的一部分、以及存储在数据存储部中的数据的一部分，但其他部分相同。另外，在图6中对与图3相同的构成要素标注相同的标号，并省略说明。

数据存储部42存储包括正交投影矩阵在内的第1绘制参数(以下称为“操作用绘制参数”)、和包括透视投影矩阵在内的第2绘制参数(以下称为“显示用绘制参数”)。

三维绘制部43使用存储在数据存储部42中的操作用绘制参数，对由三维模型生成部21生成的三维模型进行三维绘制，由此生成颜色信息和进深信息。并且，三维绘制部43将颜色信息存储在颜色缓冲器中，将进深信息存储在深度缓冲器中。

另外，三维绘制部43使用存储在数据存储部42中的显示用绘制参数，对由三维模型生成部21生成的三维模型进行三维绘制，由此生成显示用的用户像。

另外，三维绘制部43也可以由生成显示用的用户像的第1三维绘制部、和生成操作用的用户像的第2三维绘制部这两个三维绘制部构成。并且，控制部27也可以按照生成显示用的用户像的处理和生成操作用的用户像的处理，进行时分控制。

显示图像合成部46根据由操作信息输出部25输出的操作信息，生成显示用菜单图像。并且，显示图像合成部46将所生成的显示用菜单图像和由三维绘制部43生成的显示用的用户像合成，由此生成显示用图像。并且，显示图像合成部46将所生成的显示用图像输出给显示部12。

下面，说明如上所述构成的遥控操作装置40的各种动作。

图7是表示本发明的实施方式2的遥控操作装置进行的处理流程的流程图。并且，图8是说明本发明的实施方式2的遥控操作装置进行的处理流程的图。另外，在图7中对与图4A相同的处理标注相同的标号，并省略说明。

在执行步骤S101的处理后，三维绘制部43使用操作用绘制参数对三维模型进行三维绘制，由此生成操作用的用户像(颜色信息及进深信息)(S201)。并且，三维绘制部43将所生成的颜色信息及进深信息存储在操作用绘制缓冲器601中。另外，三维绘制部43使用与在步骤S202生成显示用的用户像时不同的投影矩阵，生成操作用的用户像。

然后，操作判定部24和操作信息输出部25执行与实施方式1相同的步骤S103～S106的处理。其中，在步骤S104的操作判定处理中，操作判定部24使用存储在操作用绘制缓冲器601中的颜色信息和进深信息，执行操作判定处理。具体地讲，操作判定部24使用存储在操作用颜色缓冲器602中的颜色信息进行第1操作判定。并且，操作判定部24使用存储在操作用深度缓冲器603中的进深信息进行第2操作判定。

然后，三维绘制部43使用显示用绘制参数，对与在步骤S201生成操作用的用户像时相同的三维模型进行三维绘制，由此生成显示用的用户像(S202)。并且，三维绘制部43将所生成的颜色信息及进深信息存储在显示用绘制缓冲器604中。另外，三维绘制部43使用与在步骤S201生成操作用的用户像时不同的投影矩阵，生成显示用的用户像。

并且，显示图像合成部46根据所输出的操作信息，生成显示用菜单图像605。并且，显示图像合成部46向显示部12输出将所生产的显示用菜单图像404和显示用的用户像合成后的显示用图像606(S203)。最后，显示部12将显示用图像606显示在显示画面上(S106)。

如上所述，本实施方式的遥控操作装置40根据相同的三维模型来生成操作用的用户像和显示用的用户像，下面使用图9和图10说明其优选示例。

如图9中的上部所示，在用户701与显示画面702之间的距离较近的情况下，用户像703被显示得比较大。因此，由于用户像703达到各个菜单图像704，所以用户701能够指示各个菜单图像704。

另一方面，如图9中的下部所示，在用户705与显示画面706之间的距离较远的情况下，用户像707被显示得比较小。因此，用户705的用户像707有时达不到菜单图像708。该情况时，用户705为了指示菜单图像708需要移动。

这样，用户像的大小根据用户与显示画面之间的距离而变化，这是因为显示在显示画面上的用户像一般是通过考虑了远近感的透视投影而生成的。如图10所示，在透视投影中，在将视点801和对象802连接得到的投影线804与投影面803相交的位置生成有投影像805。因此，投影像805的大小根据对象802与投影面803之间的距离而变化。基于透视投影矩阵的投影式利用下式(1)表示。

式(1)

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{cccc}\frac{2n}{r-l}& 0& \frac{r+l}{r-l}& 0\\ 0& \frac{2n}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& -\frac{f+n}{f-n}& -\frac{2\mathrm{nf}}{f-n}\\ 0& 0& -1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ …式(1)

在式(1)中，x、y、z表示投影前的三维坐标，x’、y’、z’、w’表示投影后的三维坐标，l、r、b、t、n、f分别示出表示三维空间的边界的常数。根据式(1)可知，相对画面为水平方向(XY方向)的坐标根据垂直方向(Z方向)而变化。

与此相对，在通过正交投影来生成操作用的用户像的情况下，用户像的大小不根据用户与显示画面之间的距离而变化。如图11所示，在正交投影中，在投影线809与投影面808相交的位置生成有投影像810，该投影线809是从视点806侧朝向对象807延伸的、与投影面808垂直的互相平行的投影线。因此，投影像810的大小是固定的，与对象807和投影面808之间的距离无关。基于正交投影矩阵的投影式利用下式(2)表示。

式(2)

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{cccc}\frac{2}{r-l}& 0& 0& \frac{r+l}{r-l}\\ 0& \frac{2n}{t-b}& 0& \frac{t+b}{t-b}\\ 0& 0& -\frac{2}{f-n}& \frac{f+n}{f-n}\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ …式(2)

根据式(2)可知，相对画面为水平方向(XY方向)的坐标不依赖于垂直方向(Z方向)。因此，水平方向的信息和垂直方向的信息被准确分离地存储在操作用颜色缓冲器602和操作用深度缓冲器603中。

三维绘制部43根据正交投影矩阵来生成存储在操作用绘制缓冲器中的颜色信息和进深信息，由此用户能够凭借固定的操作感觉来指示菜单图像，而和在与显示画面垂直的方向上的用户的位置关系无关。

另外，在实施方式2中，三维绘制部43使用正交投影矩阵来生成操作用的用户像，但也可以使用其他的投影矩阵来生成操作用的用户像。图12是说明本发明的实施方式2的变形例的图。如图12所示，由于用户901与显示画面902的大小关系，即使三维绘制部43根据上述的正交投影矩阵来生成操作用的用户像，用户像也达不到菜单或不能马上触及到菜单，所以用户有时不容易指示菜单图像。因此，三维绘制部43也可以使用根据用户901与显示画面902的大小(例如已计测的高度或横宽等)来改变用户像903的大小的投影矩阵，生成操作用的用户像。具体地讲，三维绘制部43可以使用例如以点(Cx、Cy)为中心将用户像903放大或缩小至s倍的投影矩阵，生成操作用的用户像。基于将用户像放大或缩小至s倍的投影矩阵的投影式利用下式(3)表示。

式(3)

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{cccc}s& 0& 0& (1-s)\mathrm{Cx}\\ \text{0}& s& 0& (1-s)\mathrm{Cy}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\frac{2}{r-l}& 0& 0& \frac{r+l}{r-l}\\ 0& \frac{2n}{t-b}& 0& \frac{t+b}{t-b}\\ 0& 0& -\frac{2}{f-n}& \frac{f+n}{f-n}\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ …式(3)

这样，变形例的遥控操作装置使用将用户像放大或缩小至s倍的投影矩阵来生成操作用的用户像，由此始终能够生成用户901容易指示菜单图像的用户像904，而与用户901和显示画面902的大小无关。

另外，本实施方式示出的用于生成操作用的用户像的投影矩阵只是一例，本发明的遥控操作装置也可以使用其他的投影矩阵来生成操作用的用户像。例如，在遥控操作装置生成从任意位置的视点对用户的三维模型进行三维绘制得到的用户像、或者生成左右翻转后的用户像等情况下，用于生成显示用的用户像的投影矩阵变化。但是，在这种情况下，也可以将在生成操作用的用户像时使用的投影矩阵固定。由此，用户能够凭借相同的操作感觉来指示菜单图像。

并且，在生成操作用的用户像的情况下生成的颜色信息不一定是表示实际的用户颜色的信息，只要是表示有无用户像的信息(例如1比特的数据)即可。这是因为操作用的用户像不需要显示在显示部12上。由此，遥控操作装置能够削减使用存储器区域。

另外，在本实施方式中，显示在显示画面上的显示用的用户像和在操作判定处理中使用的操作用的用户像不同，所以也可以显示操作用的用户像的轮廓，还可以将操作用的用户像的颜色显示为半透明状。由此，用户容易理解操作。

以上，根据实施方式说明了本发明的遥控操作装置，但本发明不限于这些实施方式。只要不脱离本发明的宗旨，对实施方式进行本领域技术人员能够想到的各种变形后的方式、或者将不同的实施方式中的构成要素组合起来构成的方式，也包含于本发明的范围之内。

例如，上述实施方式中的遥控操作装置在执行第1操作判定之后执行第2操作判定，但也可以在执行第2操作判定之后执行第1操作判定。具体地讲，遥控操作装置确定向与显示画面垂直的方向的移动量为预定的阈值以上的坐标，并判定该坐标是否包含于菜单图像的显示区域中。预定的阈值例如可以是预先设定的值，也可以是算出的移动量的最大值。

并且，上述实施方式中的遥控操作装置通过三维绘制处理来生成与显示画面是实际的镜子时相同的用户的像，但也可以生成与映到实际的镜子上的镜像不同的用户像，并输出给显示部。具体地讲，遥控操作装置也可以通过使与显示画面平行的方向成为视线的三维绘制，输出例如映出用户的侧面的用户像。

并且，上述实施方式的遥控操作装置具有的各个功能单元典型地可以实现为作为集成电路的LSI(Large Scale Integration：大规模集成电路)。即，如图3或图6所示，遥控操作装置典型地可以由LSI51或LSI52构成。另外，这些功能单元可以独立地单芯片化，也可以包含一部分或全部地单芯片化。并且，数据存储部可以设于集成电路的内部或外部，也可以利用单体或多个存储器构成。此处是形成为LSI，但根据集成程度的不同，有时也称为IC(Integration Circuit：集成电路)、系统LSI、超级(super)LSI或特级(ultra)LSI。并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。并且，也可以采用在制作LSI后能够编程的FPGA(FieldProgrammable Gate Array：现场可编程门阵列)、或者能够再构成LSI内部的电路单元的连接或设定的可重构处理器。另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。还存在适用生物技术等的可能性。

并且，在上述实施方式中示出了电子镜装置具有遥控操作装置的示例，但具有生成用户的三维模型并从任意视点进行显示的功能的其他装置也可以具有遥控操作装置。具体地讲，如图13所示，除了电子镜装置1103之外，例如电视机1104、记录器/播放器1105或游戏机1106等各种设备，也可以具有遥控操作装置。该情况时，只要具有系统LSI1101的模块基板1102即可，该系统LSI1101实现了遥控操作装置具有的各个功能单元。

并且，本发明也可以实现为以遥控操作装置具有的特征构成要素的动作为步骤的遥控操作方法。并且，还可以实现为使具有CPU(CentralProcessing Unit：中央处理单元)、存储器等的计算机执行这种遥控操作方法中包含的步骤的程序。并且，这种程序也可以通过CD-ROM等记录介质或因特网等传输介质来发布。

产业上的可利用性

本发明的遥控操作装置能够用作生成用户的三维模型并根据所生成的三维模型来显示任意视点的用户像的电子镜装置、电视机、记录器/播放器、或游戏机等各种设备的用户接口。

标号说明

10、30、1103电子镜装置；11三维人体形状计测部；12显示部；13电子镜控制部；20、40遥控操作装置；21三维模型生成部；22、42数据存储部；23、43三维绘制部；24操作判定部；25操作信息输出部；26、46显示图像合成部；27控制部；51、52 LSI；101、201、701、705、901用户；102三维人体形状计测装置；103、202、702、706、902显示画面；104、203用户的投影像；207、704、708菜单图像；401绘制缓冲器；402颜色缓冲器；403深度缓冲器；404、605显示用菜单图像；405、606显示用图像；601操作用绘制缓冲器；602操作用颜色缓冲器；603操作用深度缓冲器；604显示用绘制缓冲器；703、707、903、904用户像；801、806视点；802、807对象；803、808投影面；804、809投影线；805、810投影像；1101系统LSI；1102模块基板；1104电视机；1105记录器/播放器；1106游戏机。

Claims (7)

1.一种遥控操作装置，用于输出与显示在显示画面上的菜单图像相对应的操作信息，该菜单图像由位于与所述显示画面分离的位置的用户所指定，该遥控操作装置具有：

三维模型生成部，生成第1和第2三维模型，该第1和第2三维模型是表示在第1时刻及在所述第1时刻之后的第2时刻的所述用户的形状的外观的三维模型；

三维绘制部，对由所述三维模型生成部生成的第1和第2三维模型进行三维绘制，由此生成第1和第2用户像；

第1操作判定部，在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下，判定所述菜单图像与所述第2用户像是否重合；

第2操作判定部，计算在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下、所述第2用户像向与所述显示画面垂直的方向移动的移动量，并根据所计算出的移动量，确定表示所述用户所指定的位置的、所述显示画面上的坐标；和

操作信息输出部，在由所述第1操作判定部判定为所述菜单图像与所述第2用户像重合的情况下，且在由所述第2操作判定部确定的坐标包含于显示有所述菜单图像的区域中的情况下，输出与所述菜单图像相对应的操作信息，

所述第2操作判定部参照存储有在对所述第1和第2三维模型进行三维绘制时生成的、表示投影面上的坐标与进深值之间的关系的进深信息的深度缓冲器，来计算所述第1用户像的进深值与所述第2用户像的进深值之间的差分值，作为所述移动量。

2.根据权利要求1所述的遥控操作装置，

所述三维绘制部使用第1投影矩阵对所述第1和第2三维模型进行三维绘制，由此生成所述第1和第2用户像，并使用与第1投影矩阵不同的第2投影矩阵对所述第2三维模型进行三维绘制，由此生成第3用户像，

在所述显示画面上显示由所述三维绘制部生成的第3用户像。

3.根据权利要求2所述的遥控操作装置，

所述第1投影矩阵是正交投影矩阵，

所述第2投影矩阵是透视投影矩阵。

4.根据权利要求2所述的遥控操作装置，

所述第1投影矩阵是按照所述用户的大小和所述显示画面的大小来使用户像的大小改变的投影矩阵。

5.一种遥控操作方法，用于输出与显示在显示画面上的菜单图像相对应的操作信息，该菜单图像由位于与所述显示画面分离的位置的用户所指定，该遥控操作方法包括：

三维模型生成步骤，生成第1和第2三维模型，该第1和第2三维模型是表示在第1时刻及在所述第1时刻之后的第2时刻的所述用户的形状的外观的三维模型；

三维绘制步骤，对在所述三维模型生成步骤中生成的第1和第2三维模型进行三维绘制，由此生成第1和第2用户像；

第1操作判定步骤，在所述显示画面上显示所述三维绘制步骤中生成的第2用户像的情况下，判定所述菜单图像与所述第2用户像是否重合；

第2操作判定步骤，计算在所述显示画面上显示所述三维绘制步骤中生成的第2用户像的情况下、所述第2用户像向与所述显示画面垂直的方向移动的移动量，并根据所计算出的移动量，确定表示所述用户所指定的位置的、所述显示画面上的坐标；和

操作信息输出步骤，在所述第1操作判定步骤判定为所述菜单图像与所述第2用户像重合的情况下，且在所述第2操作判定步骤确定的坐标包含于显示有所述菜单图像的区域中的情况下，输出与所述菜单图像相对应的操作信息，

所述第2操作判定步骤中，参照存储有在对所述第1和第2三维模型进行三维绘制时生成的、表示投影面上的坐标与进深值之间的关系的进深信息的深度缓冲器，来计算所述第1用户像的进深值与所述第2用户像的进深值之间的差分值，作为所述移动量。

6.一种集成电路，用于输出与显示在显示画面上的菜单图像相对应的操作信息，该菜单图像由位于与所述显示画面分离的位置的用户所指定，该集成电路具有：

三维模型生成部，生成第1和第2三维模型，该第1和第2三维模型是表示在第1时刻及在所述第1时刻之后的第2时刻的所述用户的形状的外观的三维模型；

三维绘制部，对由所述三维模型生成部生成的第1和第2三维模型进行三维绘制，由此生成第1和第2用户像；

第1操作判定部，在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下，判定所述菜单图像与所述第2用户像是否重合；

第2操作判定部，计算在所述显示画面上显示由所述三维绘制部生成的第2用户像的情况下、所述第2用户像向与所述显示画面垂直的方向移动的移动量，并根据所计算出的移动量，确定表示所述用户所指定的位置的、所述显示画面上的坐标；和

操作信息输出部，在由所述第1操作判定部判定为所述菜单图像与所述第2用户像重合的情况下，且在由所述第2操作判定部确定的坐标包含于显示有所述菜单图像的区域中的情况下，输出与所述菜单图像相对应的操作信息，

所述第2操作判定部参照存储有在对所述第1和第2三维模型进行三维绘制时生成的、表示投影面上的坐标与进深值之间的关系的进深信息的深度缓冲器，来计算所述第1用户像的进深值与所述第2用户像的进深值之间的差分值，作为所述移动量。

7.一种程序，用于输出与显示在显示画面上的菜单图像相对应的操作信息，该菜单图像由位于与所述显示画面分离的位置的用户所指定，该程序使计算机执行下列步骤：

三维模型生成步骤，生成第1和第2三维模型，该第1和第2三维模型是表示在第1时刻及在所述第1时刻之后的第2时刻的所述用户的形状的外观的三维模型；

三维绘制步骤，对在所述三维模型生成步骤中生成的第1和第2三维模型进行三维绘制，由此生成第1和第2用户像；

第1操作判定步骤，在所述显示画面上显示所述三维绘制步骤中生成的第2用户像的情况下，判定所述菜单图像与所述第2用户像是否重合；

第2操作判定步骤，计算在所述显示画面上显示所述三维绘制步骤中生成的第2用户像的情况下、所述第2用户像向与所述显示画面垂直的方向移动的移动量，并根据所计算出的移动量，确定表示所述用户所指定的位置的、所述显示画面上的坐标；和

操作信息输出步骤，在所述第1操作判定步骤判定为所述菜单图像与所述第2用户像重合的情况下，且在所述第2操作判定步骤确定的坐标包含于显示有所述菜单图像的区域中的情况下，输出与所述菜单图像相对应的操作信息，

所述第2操作判定步骤中，参照存储有在对所述第1和第2三维模型进行三维绘制时生成的、表示投影面上的坐标与进深值之间的关系的进深信息的深度缓冲器，来计算所述第1用户像的进深值与所述第2用户像的进深值之间的差分值，作为所述移动量。

Images