CN103576906B - 鼠标图标控制方法及系统 - Google Patents

Abstract

一种鼠标图标控制方法及系统，该方法包括：建立鼠标图标形态与对荧幕画面操作的关联，将该关联添加到一对应关系表中；第一投影装置将第一电子装置的荧幕画面投射成荧幕；当第二投影装置将第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄上述荧幕；获取拍摄到的荧幕；当荧幕中存在鼠标图标时，辨识该鼠标图标的形态和在荧幕上的位置变化；从所述对应关系表中查询相应的对荧幕画面的操作；根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应操作，该荧幕画面控制过程显示在上述荧幕上。本发明利用投影技术实现通过辨识鼠标图标控制多个电子装置的投影荧幕。

Description

鼠标图标控制方法及系统

技术领域

本发明涉及一种鼠标图标控制方法及系统。

背景技术

随着投影技术的发展，投影技术被嵌入电子装置，特别是被嵌入手机、平板电脑、个人数字助理等移动电子装置，投影技术嵌入使电子装置屏幕从机身上的小荧幕变成由投影装置投影形成的大荧幕。但是现有技术只能将用户自身电子装置上的信息投影到荧幕上并由用户独自控制荧幕，无法实现用户以外的人对荧幕控制从而实现互动。

发明内容

本发明提供一种鼠标图标控制方法，该方法包括：建立步骤，建立鼠标图标形态与对荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中；投射步骤，第一投影装置将第一电子装置的荧幕画面投射成荧幕；触发步骤，当第二投影装置将第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄上述荧幕；获取步骤，从上述摄像装置获取拍摄到的荧幕；辨识步骤，当荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标的形态和该鼠标图标在荧幕上的位置变化；查询步骤，根据辨识得到的鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作；控制步骤，根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应操作，该荧幕画面控制过程显示在上述荧幕上。

本发明提供一种鼠标图标控制系统，该系统包括：建立模块，用于建立鼠标图标形态与对该鼠标图标操作的关联关系，并将该关联关系添加到一对应关系表中；触发模块，用于当第二投影装置将第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄由第一投影装置将第一电子装置的荧幕画面投射成的荧幕；获取模块，用于从上述摄像装置获取拍摄到的荧幕；辨识模块，用于当获取到的荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标形态和该鼠标在荧幕上的位置变化；查询模块，用于根据鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作；控制模块，用于根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应动作，该荧幕画面控制过程显示在上述荧幕上。

本发明利用投影技术实现通过辨识鼠标图标控制多个电子装置的投影荧幕。

附图说明

图1是本发明鼠标图标控制系统的较佳实施方式的运行环境图。

图2是本发明鼠标图标控制系统的较佳实施方式的功能模块图。

图3是本发明鼠标图标控制方法的较佳实施方式的流程图。

图4是本发明鼠标图标控制方法的较佳实施方式的鼠标图标形态与对荧幕画面操作的对应关系表。

主要元件符号说明

第一电子装置	1
		第二电子装置	2
荧幕	3
		鼠标图标	4
鼠标图标控制系统	10
		第一存储器	12
处理器	14
		摄像装置	16
第一投影装置	18
		第二投影装置	20
第二存储器	22
		建立模块	100
触发模块	102
		获取模块	104
判断模块	106
		辨识模块	108
查询模块	110
		控制模块	112

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

如图1所示，是本发明鼠标图标控制系统较佳实施例的运行环境图。鼠标图标控制系统10运行在第一电子装置1上，所述第一电子装置1包括第一存储器12、第一处理器14、摄像装置16、第一投影装置18。所述第二电子装置2可以包括第二投影装置20及第二存储器22。

所述第一电子装置1与第二电子装置2可以为手机、平板电脑或个人数字助理等电子装置。

第一存储器12用于存储鼠标图标控制系统10的程序代码等资料。

所述第一投影装置18集成在第一电子装置1内，用于将第一电子装置1的荧幕画面投射成荧幕3。

第二投影装置20集成在第二电子装置2内，用于投射鼠标图标到荧幕3。

第二存储器22用于存储各种形状的鼠标图标4。

摄像装置16用于当第二投影装置20将鼠标图标4投射出去时，拍摄荧幕3。

在本实施例中，所述鼠标图标控制系统10可以被分割成一个或多个模块，所述一个或多个模块被存储在第一电子装置1的第一存储器12中并被配置成由一个或多个处理器（本实施例为一个处理器14）执行，以完成本发明。例如，参阅图2所示，所述鼠标图标控制系统10被分割成建立模块100、触发模块102、获取模块104、判断模块106、辨识模块108、查询模块110、控制模块112。本发明所称的模块是完成一特定功能的程序段，比程序更适合于描述软件在第一电子装置1中的执行过程，关于各模块的功能参阅图3的描述。

如图3所示，是本发明鼠标图标控制方法的较佳实施例的流程图。

步骤S200，建立模块100建立鼠标图标4的形态与对荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中，该对应关系表如图4所示，例如当控制荧幕画面进行拖拉操作时，鼠标图标4的形态为一个“小手”形态；当要把荧幕画面翻到下一页时，鼠标图标4的形态为一个向左的箭头；当鼠标图标4形态为一个向右的箭头时，表示把荧幕画面翻到上一页，白色的箭头表示标准选择。

步骤S202，第一投影装置18将第一电子装置1的荧幕画面投射成荧幕3。

步骤S204，当第二投影装置20将鼠标图标4投射出时，触发模块102触发摄像装置16拍摄荧幕3，本实施方式中，第一电子装置1与第二电子装置2通过有线或者无线方式连接通讯，当第二投影装置20投射出鼠标图标4时，第二电子装置2通知第一电子装置1以启动触发模块102触发摄像装置16拍摄荧幕3。

步骤S206，获取模块104从摄像装置16获取拍摄到的荧幕3。

步骤S208，判断模块106判断拍摄到的荧幕3中是否存在鼠标图标4，如果存在，进入步骤S210，否则返回步骤S204。在本实施方式中，当第二投影装置20投射出鼠标图标4时，触发模块102触发摄像装置16拍摄荧幕3，判断模块106判断荧幕3上除第一电子装置1的荧幕画面外是否还包括鼠标图标4，此处可以利用开源计算机视觉库OpenCV（Open SourceComputer Vision Library）对拍摄到的荧幕3的画面进行辨识，看荧幕3上是否包括鼠标图标4，所述OpenCV是一个跨平台计算机视觉库，可以运行在Linux、Windows操作系统上，它由一系列C函数和少量C++类构成，它同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。此处之所以会加入步骤S208，是因为第二投影装置20投射鼠标图标4时，未必一定投射在荧幕3上。

步骤S210，辨识模块108辨识鼠标图标4的形态和鼠标图标4在荧幕3上的位置变化。本实施方式中，所述辨识模块108可以利用OpenCV对拍摄到的荧幕3上的鼠标图标4的形态与位置变化进行辨识。在确定鼠标图标4的位置变化时，以荧幕3左上角为坐标原点建立二维坐标系，则荧幕3左上角坐标为(0，0)，调用OpenCV取得鼠标图标4的多个顶点，例如图1所示顶点A、B、C及中心点相对于原点坐标，根据多个顶点与中心点的相对坐标确定鼠标图标4在荧幕3上的位置，当鼠标图标4在荧幕3上变换位置时，确定鼠标图标4在荧幕3上变换位置的过程中各点的相对坐标，最终确定鼠标图标4在荧幕3上的位置变化。

步骤S212，查询模块110根据辨识得到的荧幕3中的鼠标图标4的形态从所述对应关系表中查询相应的对荧幕画面的操作，例如，鼠标图标4的形态为“小手”形态，那么对应的对荧幕画面的操作为“拖拉”。

步骤S214，控制模块112根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标4在荧幕3上位置变化控制第一电子装置的荧幕画面做出相应动作，该操作过程显示在荧幕3上，例如，控制模块112将第一电子装置1荧幕画面最左端的图片拖拉到荧幕画面最右端，该拖拉过程显示在荧幕3上为将荧幕3最左端的图片拖拉到荧幕3的最右边。

以上步骤S200至步骤S214利用投影技术实现通过辨识投射到荧幕上的鼠标图标来控制多个电子装置的投影荧幕。

以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种鼠标图标控制方法，应用在第一电子装置上，该第一电子装置连接第二电子装置并进行通讯，第一电子装置包括第一投影装置，第二电子装置包括第二投影装置，其特征在于，该方法包括：

建立步骤，建立鼠标图标形态与荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中；

投射步骤，第一投影装置将第一电子装置的荧幕画面投射成荧幕；

触发步骤，当第二投影装置将存储在第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄上述荧幕；

获取步骤，从上述摄像装置获取拍摄到的荧幕；

辨识步骤，当荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标的形态和该鼠标图标在荧幕上的位置变化；

查询步骤，根据辨识得到的鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作；

控制步骤，根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出相应操作，该荧幕画面控制过程显示在上述荧幕上。

2.根据权利要求1所述的鼠标图标控制方法，其特征在于，所述第一电子装置和第二电子装置为手机。

3.根据权利要求1所述的鼠标图标控制方法，其特征在于，当拍摄得到的荧幕中不存在第二电子装置的鼠标图标时，返回触发步骤。

4.根据权利要求1所述的鼠标图标控制方法，其特征在于，所述对荧幕画面的控制为拖拉、翻页、移动或选择文字。

5.根据权利要求1所述的鼠标图标控制方法，其特征在于，所述辨识步骤包括利用开源计算机视觉库OpenCV对拍摄到的荧幕上的鼠标图标形态与位置变化进行辨识，在辨识鼠标图标在荧幕上的位置变化时，以荧幕左上角为坐标原点建立二维坐标系，调用OpenCV取得鼠标图标的多个顶点及中心点相对于原点的坐标，根据该多个顶点与中心点的相对坐标确定鼠标图标在荧幕上的位置，利用该确定鼠标图标位置的方法，当鼠标图标在荧幕上变换位置时确定鼠标图标在荧幕上变换位置过程中的各顶点相对坐标，最终确定鼠标图标在荧幕上的位置变化。

6.一种鼠标图标控制系统，运行在第一电子装置上，该第一电子装置连接第二电子装置并进行通讯，第一电子装置包括第一投影装置，第二电子装置包括第二投影装置，其特征在于，该系统包括：

建立模块，用于建立鼠标图标形态与对荧幕画面操作的关联关系，并将该关联关系添加到一对应关系表中；

触发模块，用于当第二投影装置将存储在第二电子装置的鼠标图标投射出时，触发第一电子装置的摄像装置拍摄由第一投影装置将第一电子装置的荧幕画面投射成的荧幕；

获取模块，用于从上述摄像装置获取拍摄到的荧幕；

辨识模块，用于当获取到的荧幕中存在第二电子装置的鼠标图标时，辨识该鼠标图标形态和该鼠标图标在荧幕上的位置变化；

查询模块，用于根据鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操作；

控制模块，用于根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上位置变化控制第一电子装置的荧幕画面做出相应动作，该荧幕画面控制过程显示在上述荧幕上。

7.根据权利要求6所述的鼠标图标控制系统，其特征在于，所述第一电子装置和第二电子装置为手机。

8.根据权利要求6所述的鼠标图标控制系统，其特征在于，所述对荧幕画面的控制为拖拉、翻页、移动或选择文字。

9.根据权利要求6所述的鼠标图标控制系统，其特征在于，所述辨识模块还用于利用开源计算机视觉库OpenCV对拍摄到的荧幕上的鼠标图标的形态与位置变化进行辨识，在辨识鼠标图标在荧幕上的位置变化时，以荧幕左上角为坐标原点建立二维坐标系，调用OpenCV取得鼠标图标的多个顶点及中心点相对于原点的坐标，根据多个顶点与中心点的相对坐标确定鼠标图标在荧幕上的位置，利用该确定鼠标图标位置的方法，当鼠标图标在荧幕上变换位置时确定鼠标图标在荧幕上变换位置过程中的各顶点相对坐标，最终确定鼠标图标在荧幕上的位置变化。