CN1913545A - 移动通信终端的用户输入方法和装置 - Google Patents

Abstract

本发明提供了一种移动通信终端的用户输入方法和装置，该方法包括：根据当前设置的操作模式，显示包括与终端控制所需的每个键功能和菜单功能关联的图像的菜单屏幕；当设置了扩增实境输入模式时，从相机拍摄的视频检测预设的指示器，将检测到的预设的指示器与所述菜单屏幕实时合成，并显示合成的屏幕；和在所述图像中的预定的一个图像与所述指示器在合成的屏幕上重叠的状态下，当从相机拍摄的视频检测到与选择关联的预设的用户动作时，执行基于与该图像关联的功能的操作。

Description

移动通信终端的用户输入方法和装置

                         技术领域

本发明一般涉及一种移动通信终端，具体地讲，涉及一种移动通信终端中的诸如键输入的用户输入方法和装置。

                         背景技术

移动通信终端提供除基本的呼叫服务之外的各种附加服务。例如，这些附加服务包括，但不限于：短消息服务、多媒体消息服务、用于玩游戏的游戏服务和无线互联网服务。

通过移动通信终端提供的附加服务的数量的增加导致用户界面的改变。在移动通信技术的最初阶段，键输入单元仅包括数字键和用于呼叫和结束呼叫的基本功能键，在所述数字键中，多个字母字符被分配给0到9的每个数字键。然而，现在的键输入单元可包括分配给一个数字键的多个字母字符，从而增加了其复杂性。相似地，诸如方向键的功能键的复杂性同样增加，从而增加了键输入单元的键按钮的总数和提供给每个功能键的功能。在移动通信终端中，键按钮是用于允许用户控制该移动通信终端的操作的基本组成元件。然而，每个按钮不用于各种操作模式的每一个或预定的操作控制。不管根据当前移动通信终端设置的操作模式或者运行中的操作的实际情况如何，只有少数相关的键按钮被利用。提供的大量键按钮使得用户不方便并导致低效率。

随着键按钮减小，移动通信终端的大小日益缩小。键按钮的减小的大小引起用户的不方便，并且还需要更精密的操作。随着向用户提供的信息的增加，移动通信终端的显示屏幕的大小增加。然而，键输入单元的最小保证区域限制了显示屏幕可增大的大小。这更引起用户的不满。

扩增实境(Augmented reality，AR)是用于使计算机产生的虚拟视频与用户观看的真实视频相匹配的用户界面技术。AR是用于实时合成计算机产生的虚拟的附加信息(如字符和图形)与用户观看的真实视频并且显示合成的结果以提高真实感和识别度的技术。AR系统实时匹配通过相机获得的真实视频与计算机产生的虚拟视频，使用跟踪器跟踪相机的位置，对跟踪器和相机进行误差校正，并且以二维或三维模拟匹配的结果。AR被利用在各种领域，所述各种领域包括，但不限于：游戏、广播、教育、医学、设计和广告。

如上所述，只要AR具有相机、显示单元和用于视频数据处理的处理器，AR就可检测用户的动作。

因此，具有AR特点的移动通信终端的用户输入方法将更加方便地被实现。

                         发明内容

因此，本发明的一个目的在于提供一种方便的移动通信终端的用户输入方法和装置。

本发明的另一目的在于提供一种使用扩增实境(AR)的移动通信终端的用户输入方法和装置。

因此，为了实现本发明的以上和其他目的，提供了一种移动通信终端的用户输入方法。该方法包括：根据当前设置的操作模式，显示具有与终端控制所需的每个键功能和菜单功能关联的图像的菜单屏幕；当设置了AR输入模式时，从相机拍摄的真实视频检测预设的指示器，将检测到的预设的指示器与菜单屏幕实时合成，并显示合成的屏幕；和在预定的图像之一与预设的指示器在合成的屏幕上重叠的状态下，当从相机拍摄的视频检测到与选择关联的预设的用户动作时，执行基于与预定的图像关联的功能的操作。

                         附图说明

通过下面结合附图进行的详细描述，本发明的以上和其他目的、特点和优点将会变得更加清楚，其中：

图1是示意性示出根据本发明的移动通信终端的方框图；

图2是示出根据本发明的移动通信终端的正视图；

图3是示意性示出根据本发明的移动通信终端中基于菜单选择处理的控制器的操作的流程图；

图4是示意性示出根据本发明的基于字符识别处理的控制器的操作的流程图；

图5是示意性示出根据本发明的基于文档显示处理的控制器的操作的流程图；和

图6是示意性示出根据本发明的视频呼叫中的控制器的操作的流程图。

                       具体实施方式

现在将参照附图详细描述本发明的优选实施例。在附图中，即使相同或相似的元件表示在不同的附图中，也使用相同的标号来表示这些元件。在下面的描述中，为了简明，省略合并于此的已知功能和构造的详细描述。

图1是示意性示出根据本发明的移动通信终端的方框图。如图1所示，本发明的移动通信终端100包括控制器11、存储器13、视频处理器15、相机17、显示单元19、基带处理器25、射频(RF)模块21和语音处理器23。

控制器11控制移动通信终端100的一般操作。RF模块21通过天线向移动通信基站发送信号和从移动通信基站接收信号。RF模块21对通过基带处理器25从控制器11接收的信号进行调制，并通过天线发送无线信号，如RF信号。RF模块21对通过天线接收的RF无线信号进行解调，并通过基带处理器25将解调的RF无线信号发送到控制器11。基带处理器25处理RF模块21和控制器11之间发送和接收的基带信号。

与控制器11连接的语音处理器23以及连接到语音处理器23的麦克风(MIC)和扬声器(SPK)用于电话呼叫和语音记录。

显示单元19在控制器11的控制之下，在显示屏幕上显示包括从基站接收的图像或存储在存储器13中的图像的多种图像信息。

相机17将通过图像传感器(未示出)获得的图像帧输出到视频处理器15。在控制器11的控制之下，视频处理器15将从相机17接收的图像帧转换为视频数据，并将转换的图像帧输出到显示单元19。在控制器11的控制之下，视频处理器15实时匹配使用相机17获得的真实视频与存储在存储器13中的虚拟视频，或者实时匹配从真实视频检测到的预设的指示器与虚拟视频，校正误差，并将真实视频和虚拟视频的匹配的结果以二维或三维显示在显示单元19上。

存储器13存储用于控制器11的处理和控制的程序、参考数据和多种可更新的存储数据。存储器13被提供作为控制器11的工作存储器。根据本发明，存储器13存储用于执行扩增实境(Augmented reality，AR)输入模式的程序数据，并存储移动通信终端100的操作控制所需的多种图像。AR输入模式指的是这样的模式，其中，从使用相机17拍摄的真实视频检测预设的指示器。在AR输入模式下，将检测到的预设的指示器与由预先存储在存储器13中的图像构成的预定的虚拟视频合成，显示合成的视频，并且在这样的显示状态下，当预设的指示器指示选择包括在所述预定虚拟视频中的图像的输入，或者指示使用该指示器的直接数据输入时，执行基于指示的输入的移动通信终端的操作。操作控制所需的多种图像包括与键、多种菜单和各种背景屏幕关联的图像。

根据本发明，存储器13存储执行AR输入模式所需的多种指示器信息和多种用户动作。所述指示器信息指的是在AR输入模式的执行中从相机17拍摄的视频中区分识别为移动通信终端100的输入元素的指示器所需的信息。例如，指示器可以是用户的手指、钢笔、红外线输出笔、瞳孔和脸的形式。指示器信息是用于区分和识别所述指示器的信息。在本发明中，用户可指定存储在存储器13中的指示器中的一种，并且可注册新的指示器。附加的新的指示器的注册是将指示器信息存储在存储器13中，而指示器信息的存储是拍摄该指示器。

用户的动作指的是与在AR输入模式下用户可输入到移动通信终端100的多种命令关联的用户的预定动作。所述多种命令可以是选择、取消选择、以及预定动作的开始和结束。根据需要，与所述多种命令关联的用户的动作都可被不同地区分，或者可由相同的动作来构成。例如，当指示器具有手指或钢笔形状时，与选择和取消选择命令关联的用户的动作可被定义为按压动作。与开始和结束命令关联的用户的动作可被定义为环绕动作。另外例如，当指示器是瞳孔时，选择动作和取消选择动作可被定义为眨眼一次的动作，而开始动作和结束动作可还被定义为眨眼两次的动作。

根据本发明，存储器13存储读取字符所需的数据，并存储与虚拟动作菜单相关的程序数据以及多个虚拟动作代码。所述虚拟动作菜单指的是用于合成预定的固定虚拟图像或动态虚拟图像与真实视频并且在呼叫对方的移动通信终端的视频呼叫屏幕上显示合成的视频的菜单。每个菜单包括虚拟动作代码。虚拟图像可以是花粉或鞭炮。

根据本发明的移动通信终端100的操作如下所述。在移动通信终端100中，控制器11根据操作模式显示包括键界面或具有与多种键关联的图像的菜单的菜单屏幕。当执行AR输入模式时，控制器11将从拍摄的图像检测的指示器与所述菜单屏幕实时合成，并在显示单元19上显示合成的屏幕。为了选择，用户随后检查显示单元19并且在与键或菜单关联的图像上放置指示器。接下来，用户执行选择图像的动作，即，选择动作，控制器11检测指示器的位置和图像的位置的一致性，检测选择动作，检测与选择的图像关联的键或菜单的选择，并且基于以上检测执行操作。在本发明中，指示器的位置和图像的位置的一致性意味着存在两个图像的重叠部分。这不意味着两个图像的中心坐标彼此不一致。

根据本发明，移动通信终端100在显示单元19上显示其操作控制所需的多种键，响应于用户的请求执行AR输入模式，使用AR功能接收键输入，并且接收菜单选择。因此，移动通信终端100可不包括单独的键输入单元。相应地，移动通信终端100可如图2来构造。图2是示出根据本发明的移动通信终端的正视图。

如图2所示，移动通信终端100包括其正面的显示单元19和其顶部的相机17。显示单元19可分为普通显示屏幕31和输入显示屏幕33，普通显示屏幕31用于显示移动通信终端的信息，输入显示屏幕33用于根据当前的操作模式显示键或多种菜单。如图2所示，普通显示屏幕31和输入显示屏幕33是分开的，只有输入显示屏幕33与指示器被合成。

在图2中，整个显示单元19可根据操作模式由输入显示屏幕33来构成，然而，普通显示屏幕31和输入显示屏幕33被分开显示。

在AR输入模式下，移动通信终端100可使用传统的移动通信终端的键输入单元来接收所有用户输入。以下将参照图3到图6描述基于以上内容的几个优选实施例。

将参照图3描述根据本发明的键输入处理。图3是示意性示出根据本发明的移动通信终端中基于菜单选择处理的控制器的操作的流程图。如图3所示，在步骤101中，控制器11根据当前设置的操作模式显示包括与终端控制所需的键关联的图像或图标的菜单屏幕。例如，在当前的待机模式下，控制器11显示包括发送键、菜单键、取消键、确定键和数字键的基本功能键。其后，当在步骤103中检测到动作输入请求时，控制器11进行步骤105。所述动作输入请求指的是设置AR输入模式的请求。这一请求可由单独的键输入来执行。在步骤105中，控制器11开始相机拍摄，并进行步骤107。在步骤107中，控制器11从拍摄的视频检测预先指定的指示器，将检测到的指示器与菜单屏幕实时合成，并显示合成的屏幕。例如，如果预先指定的指示器是手指，则控制器11从相机拍摄的用户图像检测作为指示器的手指图像，并且将手指的实时动作与菜单屏幕合成。用户通过观看合成的屏幕并通过键图标移动手指进行选择来检测手指位置。在步骤109中，控制器11分析拍摄的视频，并在指示器的位置与菜单屏幕的预定图标的位置一致的状态下检查是否检测到图标选择用户动作。当检测到所述图标选择用户动作时，执行步骤111。否则，执行步骤113。换句话说，在用户将手指放置在预定键图标位置上的状态下，当用户执行作为与预设选择关联的用户动作的按压动作时，在步骤111中，控制器11执行设置给该图标的功能，根据结果设置操作模式，进行步骤107，并执行步骤109到115。

在步骤113中，控制器11分析拍摄的视频和菜单屏幕，并且在指示器的位置与菜单屏幕的滚动条一致的状态下检查是否检测到图标选择用户动作。当检测到所述图标选择用户动作时，控制器11执行步骤115，并且执行步骤107。简单地讲，在用户将手指移动到菜单屏幕的滚动条上的位置并且使得滚动条的位置与手指的位置一致的状态下，通过执行作为预设的选择用户动作的按压动作，控制器11检测滚动条的选择，在步骤115中根据指示器的动作滚动并显示菜单屏幕，并且进行步骤107。

选择和输入键的处理在本发明中如上描述。选择菜单的处理也以类似的方式被执行。换句话说，在控制器11显示包括多个菜单列表的屏幕的状态下，当设置为AR输入模式时，控制器11从拍摄的视频检测指示器，将检测的指示器与显示的屏幕实时合成，并显示合成的屏幕。当用户将指示器放置在期望的菜单列表上并进行选择用户动作时，控制器11确定与指示器当前的位置相同的位置的菜单被选择，并且基于选择的菜单执行操作。菜单列表可以以各种格式被显示。菜单列表还可以显示为与每个菜单关联的图标或动态图像。

在本发明中，将参照图4描述在AR输入模式下使用指示器的动作来输入字符的处理。图4是示意性示出根据本发明的基于字符识别处理的控制器11的操作的流程图。参照图4，当设置字符识别模式时，在步骤201中，控制器11显示字符识别屏幕并开始相机拍摄。在本发明中，字符识别模式指的是基于AR输入模式识别与指示器的动作关联的字符的模式。在步骤203，控制器11从拍摄的视频检测指示器，将检测到的指示器与字符识别屏幕合成，显示合成的屏幕，并且进行步骤205。当指示器显示为与字符识别屏幕合成时，用户进行预设的用于在适当的位置写入字符的输入开始用户动作，随后写入字符。在步骤205中，控制器11检查是否从拍摄的视频检测到字符输入开始用户动作。当检测到字符输入开始用户动作时，控制器执行步骤207。在步骤207中，控制器11显示基于指示器的动作的位置，并进行步骤209。当完成期望的字符的写入时，用户进行预设的输入结束用户动作。换句话说，期望写入“3”的用户进行输入开始用户动作并写入“3”。当完成“3”的写入时，用户进行输入结束用户动作。当在步骤209中从拍摄的视频检测到字符输入结束用户动作时，控制器11进行步骤211。在步骤211中，控制器11停止显示基于指示器的动作的位置，将显示的位置识别为字符，进行步骤203，并重复执行步骤203到211。在上述示例中，当指示器是红外线输出笔时，输入开始用户动作和输入结束用户动作还可以是红外光的存在和消失。

在以上处理中，用户可输入字符。

在本发明中，将参照图5描述使用滚动功能检查整个文档是否可被显示在一屏上的处理。图5是示意性示出根据本发明的基于文档显示处理的控制器11的操作的流程图。参照图5，当在步骤401中从用户接收到文档显示请求时，控制器11进行步骤403。在步骤403中，控制器11确定整个文档是否可被显示在屏幕上。如果确定可以，则控制器11进行步骤415并在显示屏幕上显示整个文档。否则，进行步骤405。在步骤405中，控制器11显示文档的一些最大可显示的内容并进行步骤407。当在步骤407中检测到动作输入请求时，控制器11进行步骤409。在步骤409中，控制器11开始相机拍摄，从拍摄的视频检测指示器，将检测到的指示器与文档屏幕实时合成，并显示合成的屏幕。期望观看显示的文档的其他部分的用户进行预设的文档滚动动作。当在步骤411中从拍摄的视频检测到文档滚动动作时，控制器11进行步骤413。在步骤413中，控制器11响应于指示器的动作滚动并显示文档内容，并且终止操作处理。尽管没有显示，但是，如果用户进行预设的滚动取消选择动作时，则控制器11改变并仅显示指示器的动作，无论指示器是否在拍摄的视频中移动，也不滚动和移动文档。用户还可检查没有显示在一屏上的网页或菜单屏幕。

接下来，将参照图6描述在视频呼叫期间使用AR输入模式执行虚拟动作菜单的处理。图6是示意性示出根据本发明的视频呼叫中的控制器11的操作的流程图。如图6所示，在视频呼叫模式下，在步骤501中控制器11显示具有被呼叫方视频/用户视频和虚拟动作菜单的视频呼叫屏幕，并进行步骤503。在步骤503中，控制器11将从拍摄的视频检测到的指示器与视频呼叫屏幕合成，显示合成的屏幕，并且进行步骤505。期望在视频呼叫期间执行用于被呼叫方的虚拟动作菜单的用户检查所述屏幕，将指示器移动并放置在期望的虚拟动作菜单上，并且进行预设的选择用户动作。虚拟动作菜单的示例可以是传播花粉和燃放鞭炮。在步骤505中，在指示器的位置与视频屏幕的预定虚拟动作菜单的位置一致的状态下，当检测到菜单选择用户动作时，控制器11进行步骤507。在步骤507中，控制器11将与选择的虚拟动作菜单关联的虚拟动作代码发送到被呼叫方终端，将被呼叫方视频与选择的虚拟动作菜单的执行视频合成，即，将被呼叫方视频与虚拟图像合成，显示合成的视频，并且进行步骤509。换句话说，控制器11仅发送与选择的虚拟动作菜单关联的虚拟动作代码，而不直接发送与选择虚拟动作菜单相关的数据。接收虚拟动作代码的移动通信终端检测关联的虚拟动作菜单数据，将检测到的数据与用户的视频合成，并显示合成的视频。

其后，直到在步骤509中检测到呼叫结束，控制器11才重复执行步骤501到507。

虚拟动作菜单(未示出)可包括音乐播放。然而，用户使用AR输入模式输入音乐播放命令，同时控制器11发送包括在图像数据中的音乐声源数据。用户可使用AR输入模式的指示器在音乐播放中选择表示时间上的音乐播放程度的滚动条(未示出)，并且随意地调整选择的滚动条。控制器11根据用户的调整播放音乐。

如上所述，在本发明中，在AR输入模式下从相机拍摄的视频中检测预设的指示器，并且将检测到的预设的指示器与存储在移动通信终端中的由与菜单或键关联的图像构成的虚拟屏幕合成。显示合成的屏幕，并且在预设的指示器的位置与预定图像的位置在合成的屏幕上一致的状态下，当检测到基于选择的预设的用户动作时，执行与所述图像关联的操作，从而使得在移动通信终端中基于方便和有趣的方法的用户输入成为可能。

尽管已参照本发明的特定优选实施例显示和描述了本发明，但是本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上对这些实施例进行各种变动。

Claims (19)

1、一种移动通信终端的用户输入方法，该方法包括：

根据当前设置的操作模式，显示包括与终端控制所需的每个键功能和菜单功能关联的图像的菜单屏幕；

当设置了扩增实境输入模式时，从相机拍摄的视频检测预设的指示器，将检测到的预设的指示器与所述菜单屏幕实时合成，并显示合成的屏幕；和

在所述图像中的预定的一个图像与所述指示器在合成的屏幕上重叠的状态下，当从相机拍摄的视频检测到与选择关联的预设的用户动作时，执行基于与该图像关联的功能的操作。

2、如权利要求1所述的方法，其中，所述预设的指示器是在执行扩增实境输入模式期间由相机拍摄的视频中被识别为移动通信终端的输入元素的对象。

3、如权利要求1所述的方法，其中，所述检测、合成并显示的步骤包括：

响应于用户的请求设置扩增实境输入模式，并激活相机；

从相机拍摄的视频检测所述预设的指示器；和

将检测到的预设的指示器与所述菜单屏幕实时合成，并显示合成的屏幕。

4、如权利要求1所述的方法，其中，所述指示器被设置为用户从多个预先存储的指示器中选择的指示器。

5、如权利要求4所述的方法，其中，所述预先存储的指示器包括用户手指、钢笔、红外线输出笔、瞳孔和脸之一。

6、如权利要求1所述的方法，其中，所述用户动作被与用户可输入到移动通信终端的多种命令相关联地预先确定。

7、如权利要求1所述的方法，还包括：在显示屏幕的滚动条与所述指示器在合成的屏幕上重叠的状态下，当从相机拍摄的视频检测到与选择关联的预设的用户动作时，根据所述指示器的动作执行滚动功能。

8、如权利要求1所述的方法，还包括：在所述菜单屏幕被部分显示的状态下，当从相机拍摄的视频检测到预设的滚动用户动作时，响应于所述指示器的动作在所述菜单屏幕上滚动并显示内容。

9、一种移动通信终端的用户输入方法，该方法包括：

显示字符识别屏幕，并且启动提供给移动通信终端的相机拍摄的视频；

从拍摄的视频检测预设的指示器，将检测到的预设的指示器与菜单屏幕实时合成，并显示合成的屏幕；

当从拍摄的视频检测到预设的字符输入开始用户动作时，在字符识别屏幕上按行显示基于所述指示器的动作的位置；和

当从拍摄的视频检测到预设的字符输入结束用户动作时，停止显示基于所述指示器的动作的位置，并将显示的位置识别为字符。

10、一种移动通信终端的用户输入方法，该方法包括：

在视频呼叫中，显示包括被呼叫方视频、用户拍摄的视频和多个虚拟动作菜单的视频呼叫屏幕；

从拍摄的视频检测预设的指示器，将检测到的预设的指示器与所述视频呼叫屏幕实时合成，并显示合成的视频呼叫屏幕；和

在预定的虚拟动作菜单与所述指示器在合成的视频呼叫屏幕上重叠的状态下，当检测到用户选择动作时，将与预定的虚拟动作菜单关联的动作代码发送到被呼叫方终端，将与预定的虚拟动作菜单关联的虚拟图像与被呼叫方视频合成，并显示合成的视频。

11、如权利要求10所述的方法，还包括：当从被呼叫方终端接收到预定的动作代码时，搜索与接收的动作代码关联的虚拟动作菜单，将与所述虚拟动作菜单关联的虚拟图像与用户视频合成，并显示合成的视频。

12、一种移动通信终端的用户输入装置，该装置包括：

显示单元；

相机；

视频处理器，将从相机拍摄的视频检测到的指示器与拍摄的视频以及包括预先存储的图像的虚拟视频实时匹配，校正误差，并将匹配的结果以二维或三维显示在显示单元上；和

控制器，根据当前设置的操作模式，控制视频处理器和显示单元，在显示单元上显示具有与终端控制所需的每个键功能和菜单功能关联的图像的菜单屏幕，在扩增实境输入模式的设置下控制视频处理器从相机拍摄的视频检测预设的指示器，将检测到的指示器与所述菜单屏幕实时合成并显示合成的屏幕，并且在所述图像中的预定的一个图像与所述指示器在合成的屏幕上重叠的状态下，当从拍摄的视频检测到与选择关联的预设的用户动作时，执行基于与该图像关联的功能的操作。

13、如权利要求12所述的装置，其中，所述指示器在执行扩增实境输入模式期间由相机拍摄的视频中被识别为移动通信终端的输入元素的对象。

14、如权利要求12所述的装置，其中，控制器响应于用户请求设置扩增实境输入模式并激活相机，控制视频处理器从相机拍摄的视频检测预设的指示器，将检测到的预设的指示器与所述菜单屏幕实时合成，并显示合成的屏幕。

15、如权利要求12所述的装置，其中，所述指示器被设置为用户从多个预先存储的指示器中选择的指示器。

16、如权利要求15所述的装置，其中，所述预先存储的指示器包括用户手指、钢笔、红外线输出笔、瞳孔和脸之一。

17、如权利要求12所述的装置，其中，所述用户动作被与用户可输入到移动通信终端的多种命令相关联地预先确定。

18、如权利要求12所述的装置，其中，在显示屏幕的滚动条与所述指示器在合成的屏幕上重叠的状态下，当从相机拍摄的视频检测到与选择关联的预设的用户动作时，控制器根据所述指示器的动作执行滚动功能。

19、如权利要求12所述的装置，其中，当所述菜单屏幕被部分显示时，当从相机拍摄的视频检测到预先确定的滚动动作时，控制器响应于所述指示器的动作在所述菜单屏幕上滚动并显示内容。

Images