CN108021243B - 一种虚拟鼠标位置的确定方法、装置及系统 - Google Patents

一种虚拟鼠标位置的确定方法、装置及系统 Download PDF

Info

Publication number
CN108021243B
CN108021243B CN201610928712.9A CN201610928712A CN108021243B CN 108021243 B CN108021243 B CN 108021243B CN 201610928712 A CN201610928712 A CN 201610928712A CN 108021243 B CN108021243 B CN 108021243B
Authority
CN
China
Prior art keywords
screen
computer
position coordinates
virtual mouse
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610928712.9A
Other languages
English (en)
Other versions
CN108021243A (zh
Inventor
骆正虎
赵帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201610928712.9A priority Critical patent/CN108021243B/zh
Publication of CN108021243A publication Critical patent/CN108021243A/zh
Application granted granted Critical
Publication of CN108021243B publication Critical patent/CN108021243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明的实施例提供一种虚拟鼠标位置的确定方法、装置及系统，其中方法包括：获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置。本发明的方案可以快速准确地计算出激光笔光点相对于投影屏幕的位置，这样不受可见光的噪声干扰，具有计算量小、快速、准确的优点，并且不会出现激光笔光点与鼠标指针的双重显示，避免了对于现场观众的视觉干扰。

Description

一种虚拟鼠标位置的确定方法、装置及系统
技术领域
本发明涉及投影图像处理领域，特别是指一种虚拟鼠标位置的确定方法、装置及系统。
背景技术
激光笔在教学、演示、培训、会议、商务展示等方面的应用越来越广泛，为了获得更好的演示效果，演讲者通常使用激光笔投射在屏幕的光点着重指出当前内容的关键点，现场观众能够获得很好的演示效果。
但是常见的激光笔存在以下弊端：(1)激光笔不具备鼠标的功能，演讲者需要使用鼠标的时候还要回到电脑旁边，且鼠标指针和激光笔光点同时出现在投影屏幕上可能会对现场观众造成一定的视觉干扰；(2)参加远程会议的观众只能看到鼠标的位置，却看不到激光笔的位置。
实现具有鼠标功能的激光笔，目前的解决方法是利用摄像头或者图像传感器等额外设备得到激光笔光点的图像，再通过图像处理算法计算出激光光点相对投影屏幕的位置，然后将该位置数据通过无线信号发送到电脑，进而由电脑显示鼠标指针移动的坐标，这种方法需要增加额外的设备，且运算量大。
发明内容
本发明提供了一种虚拟鼠标位置的确定方法、装置及系统。可以快速准确地计算出激光笔光点相对于投影屏幕的位置，这样不受可见光的噪声干扰，具有计算量小、快速、准确的优点，并且不会出现激光笔光点与鼠标指针的双重显示，避免了对于现场观众的视觉干扰。
为解决上述技术问题，本发明的实施例提供如下方案：
一种虚拟鼠标位置的确定方法，包括：
获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；
根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置。
其中，得到虚拟鼠标的位置后还包括：在所述电脑的屏幕上以及所述投影屏幕上显示所述虚拟鼠标的指针。
其中，根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置的步骤包括：
根据所述激光光点位置，确定激光光点位置坐标；
根据所述投影图像的4个边界点位置，确定所述投影图像的4个边界点位置坐标；
根据所述电脑的屏幕显示分辨率，确定所述电脑的屏幕的4个顶点位置坐标；
根据所述激光点位置坐标、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，根据所述激光点位置坐标、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标的步骤包括：
获取将所述激光点位置坐标映射到所述电脑的屏幕上时的映射矩阵H；
根据所述映射矩阵，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’；
根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，所述映射矩阵H为3*3的矩阵：
Figure BDA0001137544180000021
其中，根据所述映射矩阵，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’的步骤包括：
通过公式p'＝[x',y',1]T＝Hp，可得：
Figure BDA0001137544180000031
Figure BDA0001137544180000032
其中，p＝[x,y,1]T为原图像上的一点[x,y]T的齐次坐标，[x,y]T为[x,y]的转置,[x,y]T与[x,y]表示同一点；
p'＝[x',y',1]T为目标图像的一点[x',y']T的齐次坐标，[x',y']T为[x’,y’]的转置，[x',y']T与[x’,y’]表示同一点；
且h33＝1；
根据上述公式(1)和公式(2)，得到等价的矩阵形式：A·H'＝R；
其中
Figure BDA0001137544180000033
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x' y']T。
其中，根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标的步骤包括：
将投影图像的4个边界点位置坐标(xi,yi)和所述电脑的屏幕的4个顶点位置坐标(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，得到矩阵H'＝A'-1·R'，其中：
Figure BDA0001137544180000041
将激光点位置坐标P(x,y)带入到公式1和2，便可计算得到激光点在电脑屏幕上的映射位置坐标P’(x’,y’)，其中：
Figure BDA0001137544180000042
Figure BDA0001137544180000043
将映射位置坐标P’(x’,y’)作为虚拟鼠标的位置坐标。
本发明的实施例还提供一种虚拟鼠标位置的确定装置，包括：
获取模块，用于获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；
确定模块，用于根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置。
其中，所述确定模块具体用于：
第一确定单元，用于根据所述激光光点位置，确定激光光点位置坐标；并根据所述投影图像的4个边界点位置，确定所述投影图像的4个边界点位置坐标；并根据所述电脑的屏幕显示分辨率，确定所述电脑的屏幕的4个顶点位置坐标；
第二确定单元，用于根据所述激光点位置坐标、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，所述第二确定单元具体用于：
获取将所述激光点位置坐标映射到所述电脑的屏幕上时的映射矩阵H；
根据所述映射矩阵，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’；
根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，所述映射矩阵H为3*3的矩阵：
Figure BDA0001137544180000051
其中，通过公式p'＝[x',y',1]T＝Hp，可得：
Figure BDA0001137544180000052
Figure BDA0001137544180000053
其中，p＝[x,y,1]T为原图像上的一点[x,y]T的齐次坐标，[x,y]T为[x,y]的转置,[x,y]T与[x,y]表示同一点；
p'＝[x',y',1]T为目标图像的一点[x',y']T的齐次坐标，[x',y']T为[x’,y’]的转置，[x',y']T与[x’,y’]表示同一点；
且h33＝1；
根据上述公式(1)和公式(2)，得到等价的矩阵形式：A·H'＝R；
其中
Figure BDA0001137544180000054
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x' y']T。
其中，将投影图像的4个边界点位置坐标(xi,yi)和所述电脑的屏幕的4个顶点位置坐标(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，得到矩阵H'＝A'-1·R'，其中：
Figure BDA0001137544180000061
将激光点位置坐标P(x,y)带入到公式(1)和(2)，便可计算得到激光点在电脑屏幕上的映射位置坐标P’(x’,y’)，其中：
Figure BDA0001137544180000062
Figure BDA0001137544180000063
将映射位置坐标P’(x’,y’)作为虚拟鼠标的位置坐标。
本发明的实施例还提供一种虚拟鼠标位置的确定系统，包括：如上所述的装置，其中，所述虚拟鼠标位置的确定装置为一传感器。
其中，确定系统还包括：投影屏幕以及投影屏幕端无线模块；
所述传感器通过所述投影屏幕端无线模块，将所述虚拟鼠标位置发送给电脑端无线模块；
所述投影屏幕上显示所述电脑投影的虚拟鼠标的指针。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置。可以快速准确地计算出激光笔光点相对于投影屏幕的位置，这样不受可见光的噪声干扰，具有计算量小、快速、准确的优点，并且不会出现激光笔光点与鼠标指针的双重显示，避免了对于现场观众的视觉干扰。
附图说明
图1为虚拟鼠标位置的确定方法的流程图；
图2为虚拟鼠标位置的确定系统框架图；
图3为虚拟鼠标位置的确定方法的一具体流程图；
图4为计算光点相对位置示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提供一种虚拟鼠标位置的确定方法，包括：
步骤11，获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；
步骤12，根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置。
本发明的上述方案，通过获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置。可以快速准确地计算出激光笔光点相对于投影屏幕的位置，这样不受可见光的噪声干扰，具有计算量小、快速、准确的优点，并且不会出现激光笔光点与鼠标指针的双重显示，避免了对于现场观众的视觉干扰。
在本发明的一具体实施例中，得到虚拟鼠标的位置后还可以包括：在所述电脑的屏幕上以及所述投影屏幕上显示所述虚拟鼠标的指针。
如图2所示，整个系统由以下模块组成：非可见光频段激光笔、激光笔光点及投影边界点位置传感器、投影屏幕、投影屏幕端无线模块以及电脑端无线模块。
其中，非可见光频段激光笔不同于传统红色或蓝色激光笔，其发射的是非可见光频段激光，比如红外激光；
电脑端无线模块将当前显示分辨率发送给投影屏幕端无线模块；
激光笔光点及投影边界点位置传感器感知激光的光点和投影屏幕图像的四个边界点，结合投影屏幕端无线模块接收到的电脑屏幕显示分辨率，通过计算得到虚拟鼠标的位置坐标；
投影屏幕端无线模块将此位置坐标发送到电脑端无线接收模块；
电脑端无线接收模块将此鼠标指针的坐标位置发送给相关驱动，即可形成虚拟的鼠标，电脑屏幕及投影屏幕上即可在相应位置显示出鼠标指针。
并且屏幕上的鼠标指针会按照演讲者手中的非可见光频段激光笔的运动轨迹而实时刷新当前位置，现场及参加远程会议的观众都可以随时获知演讲者所要强调的关键点。
如图3所示，为上述流程的一具体实现过程：
激光笔发射非可见激光；
电脑端无线模块向投影屏幕端发送显示分辨率；
传感器感知激光笔光点及投影四个边界点位置；
通过计算得到鼠标的当前位置坐标；
投影屏幕端无线模块发送鼠标的位置坐标；
电脑端无线模块接收鼠标的当前位置坐标；
将鼠标指针的位置坐标发送给驱动程序；
电脑屏幕及投影屏幕相应位置显示出鼠标指针。
本方案中，采用传感器检测非可见光频段激光光点和投影屏幕图像四个边界点的位置，然后结合电脑端显示分辨率计算出鼠标的位置坐标，然后将位置坐标通过无线模块发送到电脑侧。为了避免可见光的干扰，本方案激光笔发射出来的激光为非可见光激光，传感器只需检测该频率的光波并获取投影屏幕四个边界点的位置，就能够准确快速换算出鼠标的位置坐标，具有计算量小、抗干扰性及实时性强的特点。
投影时，可能会存在投影倾斜及变形等因素，为了将投影屏幕的激光点变换到电脑屏幕对应的坐标点，须利用单应变换原理将不规则的四边形变换成矩形。图4为投影屏幕显示的投影图像经过单应变换的示意图，其中黑点为激光光点(为了表示清楚用黑点表示，而实际上该光点不可见)。
从激光光点在投影屏幕上的相对位置最终转换为电脑屏幕上鼠标指针坐标位置，其过程可分解如下：
步骤41，根据所述激光光点位置，确定激光光点位置坐标；根据所述投影图像的4个边界点位置，确定所述投影图像的4个边界点位置坐标；根据所述电脑的屏幕显示分辨率，确定所述电脑的屏幕的4个顶点位置坐标；
步骤42，根据所述激光点位置坐标、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，步骤42可以具体包括：
步骤421，获取将所述激光点位置坐标映射到所述电脑的屏幕上时的映射矩阵H；
步骤422，根据所述映射矩阵，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’；
步骤423，根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，所述映射矩阵H为3*3的矩阵：
Figure BDA0001137544180000091
其中，根据所述映射矩阵，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’的步骤包括：
通过公式p'＝[x',y',1]T＝Hp，可得：
Figure BDA0001137544180000092
Figure BDA0001137544180000093
其中，p＝[x,y,1]T为原图像上的一点[x,y]T的齐次坐标，[x,y]T为[x,y]的转置,[x,y]T与[x,y]表示同一点；
p'＝[x',y',1]T为目标图像的一点[x',y']T的齐次坐标，[x',y']T为[x’,y’]的转置，[x',y']T与[x’,y’]表示同一点；
且h33＝1；
根据上述公式(1)和公式(2)，得到等价的矩阵形式：A·H'＝R；
其中
Figure BDA0001137544180000101
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x' y']T。
其中，步骤423具体可以包括：
将投影图像的4个边界点位置坐标(xi,yi)和所述电脑的屏幕的4个顶点位置坐标(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，得到矩阵H'＝A'-1·R'，其中：
Figure BDA0001137544180000102
将激光点位置坐标P(x,y)带入到公式1和2，便可计算得到激光点在电脑屏幕上的映射位置坐标P’(x’,y’)，其中：
Figure BDA0001137544180000103
Figure BDA0001137544180000104
将映射位置坐标P’(x’,y’)作为虚拟鼠标的位置坐标。
结合图2-4，具体的坐标转换过程如下：
1、传感器得到九个位置坐标
电脑将屏幕的坐标A'(x1',y1')、B'(x2',y2')、C'(x3',y3')、D'(x4',y4')发送给传感器，同时传感器感知得到A、B、C、D和光点位置P坐标分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(xp,yp)。
2、计算光点相对屏幕的位置
单应变换原理：在计算机视觉中被定义为一个平面到另一个平面的投影映射，单应矩阵一般描述的是两个平面之间的二维投影变换关系，若一个原图像上的一点p经过单应变换得到另外一个目标图像上的一点p'，有p'＝Hp，H为单应矩阵，对于二维平面，H为3*3的矩阵。
设
Figure BDA0001137544180000111
为了计算方便，二维图像上的坐标点通常用齐次坐标表示，即将一个原本是二维的向量用一个三维向量来表示，例如一个点p的坐标为(x，y)，它的齐次坐标可以表示为(kx，ky，k)。反过来，当知道一个齐次坐标点(kx，ky，k)，也可以计算出它的原始坐标点(x，y)。通常k＝1，则点p的齐次坐标为(x，y，1)。
p'＝[x',y',1]T和kp'＝[kx',ky',k]T(其中k为非零系数)都表示图像中一点的[x',y']T齐次坐标的坐标。令p＝[x,y,1]T为原图像上的一点[x,y]T的齐次坐标，[x,y]T为[x,y]的转置,[x,y]T与[x,y]表示同一点；p'＝[x',y',1]T为目标图像的一点[x',y']T的齐次坐标，[x',y']T为[x’,y’]的转置，[x',y']T与[x’,y’]表示同一点；
如果给定一个单应矩阵H，给它的元素乘上同一个数k，得到新的单应矩阵kH和H作用相同，因为新单应矩阵kH把齐次坐标p'变成了kp'，p'和kp'对应的图像上的点相同，所以一个单应矩阵中只有8个自由元素，一般令右下角的元素h33＝1来归一化处理。
计算出两幅图像之间的单应矩阵H，那么应用这个关系可以将原图像中的任何点变换到另一个目标图像中。
(1)计算单应矩阵H中的系数
由p'＝[x',y',1]T＝Hp，可得：
Figure BDA0001137544180000121
Figure BDA0001137544180000122
把这两个式子重新组织一下，得到等价的矩阵形式：A·H'＝R其中：
Figure BDA0001137544180000123
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x' y']T
由于H'有8个未知数，故需要8个方程来解，将投影屏幕和电脑屏幕的四对点(xi,yi)，(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R。可以计算矩阵H'＝A'-1·R'，其中：
Figure BDA0001137544180000124
(2)计算电脑屏幕对应的坐标
从而将光点坐标P(x,y)带入到公式(1)和(2)，便可计算得到光点在电脑屏幕上的位置P’(x’,y’)，其中：
Figure BDA0001137544180000125
Figure BDA0001137544180000131
3、发送和接收位置坐标
投影屏幕端无线模块将步骤2中得到的位置(x’,y’)发送到电脑端，电脑通过无线模块接收位置坐标并发送给驱动程序予以显示。
本发明的上述实施例通过传感器感知非可见光频段激光笔发出的激光光点，这样避免可见光的噪声干扰，从而能够快速准确计算出光点相对于屏幕的位置，这种方法运算量小、计算速度快而且不需要额外的设备。
本发明的实施例还提供一种虚拟鼠标位置的确定装置，包括：
获取模块，用于获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；
确定模块，用于根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置。
其中，所述确定模块具体用于：
第一确定单元，用于根据所述激光光点位置，确定激光光点位置坐标；并根据所述投影图像的4个边界点位置，确定所述投影图像的4个边界点位置坐标；并根据所述电脑的屏幕显示分辨率，确定所述电脑的屏幕的4个顶点位置坐标；
第二确定单元，用于根据所述激光点位置坐标、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，所述第二确定单元具体用于：
获取将所述激光点位置坐标映射到所述电脑的屏幕上时的映射矩阵H；
根据所述映射矩阵，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’；
根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
其中，所述映射矩阵H为3*3的矩阵：
Figure BDA0001137544180000141
其中，通过公式p'＝[x',y',1]T＝Hp，可得：
Figure BDA0001137544180000142
Figure BDA0001137544180000143
其中，p＝[x,y,1]T为原图像上的一点[x,y]T的齐次坐标，[x,y]T为[x,y]的转置,[x,y]T与[x,y]表示同一点；
p'＝[x',y',1]T为目标图像的一点[x',y']T的齐次坐标，[x',y']T为[x’,y’]的转置，[x',y']T与[x’,y’]表示同一点；
且h33＝1；
根据上述公式(1)和公式(2)，得到等价的矩阵形式：A·H'＝R；
其中
Figure BDA0001137544180000144
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x' y']T。
其中，将投影图像的4个边界点位置坐标(xi,yi)和所述电脑的屏幕的4个顶点位置坐标(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，得到矩阵H'＝A'-1·R'，其中：
Figure BDA0001137544180000151
将激光点位置坐标P(x,y)带入到公式(1)和(2)，便可计算得到激光点在电脑屏幕上的映射位置坐标P’(x’,y’)，其中：
Figure BDA0001137544180000152
Figure BDA0001137544180000153
将映射位置坐标P’(x’,y’)作为虚拟鼠标的位置坐标。
需要说明的是，该装置的实施例是与上述方法对应的装置，上述方法实施例所能达到的技术效果，该装置同样具有。
如图2所示，本发明的实施例还提供一种虚拟鼠标位置的确定系统，包括：如上所述的装置，其中，所述虚拟鼠标位置的确定装置为一传感器。
其中，确定系统还包括：投影屏幕以及投影屏幕端无线模块；
所述传感器通过所述投影屏幕端无线模块，将所述虚拟鼠标位置发送给电脑端无线模块；
所述投影屏幕上显示所述电脑投影的虚拟鼠标的指针。
本发明采用的激光笔发出非可见光频段激光，这样减少可见光的噪声干扰，传感器能够准确、快速感知该频率波段，从而通过较少的计算量得到激光点相对屏幕的位置，同时避免了激光光点与鼠标指针同时出现可能对观众引起的视觉干扰。
本发明的上述实施例通过传感器检测非可见光频段激光，可以快速准确地计算出激光笔光点相对于投影屏幕的位置，这样不受可见光的噪声干扰，具有计算量小、快速、准确的优点，并且不会出现激光笔光点与鼠标指针的双重显示，避免了对于现场观众的视觉干扰。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种虚拟鼠标位置的确定方法，其特征在于，包括：
获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；
根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置，包括：根据所述激光光点位置，确定激光光点位置坐标；根据所述投影图像的4个边界点位置，确定所述投影图像的4个边界点位置坐标；根据所述电脑的屏幕显示分辨率，确定所述电脑的屏幕的4个顶点位置坐标；根据所述激光点位置坐标、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标，其中，获取将所述激光点位置坐标映射到所述电脑的屏幕上时的映射矩阵H；根据所述映射矩阵H，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’；根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
2.根据权利要求1所述的虚拟鼠标位置的确定方法，其特征在于，得到虚拟鼠标的位置后还包括：
在所述电脑的屏幕上以及所述投影屏幕上显示所述虚拟鼠标的指针。
3.根据权利要求1所述的虚拟鼠标位置的确定方法，其特征在于，所述映射矩阵H为3*3的矩阵：
Figure FDA0002592677940000011
计算单应矩阵H中的元素，由p'＝[x',y',1]T＝Hp，得：
Figure FDA0002592677940000012
Figure FDA0002592677940000021
得到等价的矩阵形式A·H'＝R，其中：
Figure FDA0002592677940000022
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x',y']T
原图像上的一个点p，经过单应变换得到目标图像上的一个点p'；
将投影屏幕和电脑屏幕的四对点(xi,yi)，(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，计算矩阵H'＝A'-1·R'，其中：
Figure FDA0002592677940000023
通过8个方程来解出H'中的8个未知数，作为映射矩阵H中元素的取值，h33＝1。
4.根据权利要求3所述的虚拟鼠标位置的确定方法，其特征在于，根据所述映射矩阵H，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’的步骤包括：
通过公式p'＝[x',y',1]T＝Hp，可得：
Figure FDA0002592677940000024
Figure FDA0002592677940000025
其中，p＝[x,y,1]T为原图像上的一点[x,y]T的齐次坐标，[x,y]T为[x,y]的转置,[x,y]T与[x,y]表示同一点；
p'＝[x',y',1]T为目标图像上的一点[x',y']T的齐次坐标，[x',y']T为[x',y']的转置，[x',y']T与[x',y']表示同一点；
且h33＝1；
根据上述公式1和公式2，得到等价的矩阵形式：A·H'＝R；
其中
Figure FDA0002592677940000031
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x',y']T。
5.根据权利要求4所述的虚拟鼠标位置的确定方法，其特征在于，根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标的步骤包括：
将投影图像的4个边界点位置坐标(xi,yi)和所述电脑的屏幕的4个顶点位置坐标(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，得到矩阵H'＝A'-1·R'，其中：
Figure FDA0002592677940000032
将激光点位置坐标P(x,y)带入到公式1和2，便可计算得到激光点在电脑屏幕上的映射位置坐标P’(x’,y’)，其中：
Figure FDA0002592677940000033
Figure FDA0002592677940000041
将映射位置坐标P’(x’,y’)作为虚拟鼠标的位置坐标。
6.一种虚拟鼠标位置的确定装置，其特征在于，包括：
获取模块，用于获取投影屏幕上的非可见光频段的激光光点位置、投影屏幕上投影图像的边界点位置以及向所述投影屏幕上投射图像的电脑的屏幕显示分辨率；
确定模块，用于根据所述激光光点位置、所述投影图像的边界点位置以及所述电脑的屏幕显示分辨率，得到虚拟鼠标的位置；
所述确定模块具体用于：
第一确定单元，用于根据所述激光光点位置，确定激光光点位置坐标；并根据所述投影图像的4个边界点位置，确定所述投影图像的4个边界点位置坐标；并根据所述电脑的屏幕显示分辨率，确定所述电脑的屏幕的4个顶点位置坐标；
第二确定单元，用于根据所述激光点位置坐标、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标；
所述第二确定单元具体用于：
获取将所述激光点位置坐标映射到所述电脑的屏幕上时的映射矩阵H；
根据所述映射矩阵H，得到将所述激光点位置坐标映射到所述电脑的屏幕上时的等价映射矩阵H’；
根据所述映射矩阵H、所述等价映射矩阵H’、所述投影图像的4个边界点位置坐标以及所述电脑的屏幕的4个顶点位置坐标，得到虚拟鼠标的位置坐标。
7.根据权利要求6所述的虚拟鼠标位置的确定装置，其特征在于，所述映射矩阵H为3*3的矩阵：
Figure FDA0002592677940000042
计算单应矩阵H中的元素，由p'＝[x',y',1]T＝Hp，得：
Figure FDA0002592677940000051
Figure FDA0002592677940000052
得到等价的矩阵形式A·H'＝R，其中：
Figure FDA0002592677940000053
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x',y']T
原图像上的一个点p，经过单应变换得到目标图像上的一个点p'；
将投影屏幕和电脑屏幕的四对点(xi,yi)，(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，计算矩阵H'＝A'-1·R'，其中：
Figure FDA0002592677940000054
Figure FDA0002592677940000055
通过8个方程来解出H'中的8个未知数，作为映射矩阵H中元素的取值，h33＝1。
8.根据权利要求7所述的虚拟鼠标位置的确定装置，其特征在于，
通过公式p'＝[x',y',1]T＝Hp，可得：
Figure FDA0002592677940000056
Figure FDA0002592677940000057
其中，p＝[x,y,1]T为原图像上的一点[x,y]T的齐次坐标，[x,y]T为[x,y]的转置,[x,y]T与[x,y]表示同一点；
p'＝[x',y',1]T为目标图像上的一点[x',y']T的齐次坐标，[x',y']T为[x',y']的转置，[x',y']T与[x',y']表示同一点；
且h33＝1；
根据公式1和公式2，得到等价的矩阵形式：A·H'＝R；
Figure FDA0002592677940000061
H'＝[h11 h12 h13 h21 h22 h23 h31 h32]T
R＝[x',y']T。
9.根据权利要求8所述的虚拟鼠标位置的确定装置，其特征在于，将投影图像的4个边界点位置坐标(xi,yi)和所述电脑的屏幕的4个顶点位置坐标(xi',yi')，其中1≤i≤4(i为整数)，带入到公式A·H'＝R，得到矩阵H'＝A'-1·R'，其中：
Figure FDA0002592677940000062
将激光点位置坐标P(x,y)带入到公式1和2，便可计算得到激光点在电脑屏幕上的映射位置坐标P’(x’,y’)，其中：
Figure FDA0002592677940000063
Figure FDA0002592677940000064
将映射位置坐标P’(x’,y’)作为虚拟鼠标的位置坐标。
10.一种虚拟鼠标位置的确定系统，其特征在于，包括：如权利要求6-9任一项所述的确定装置，其中，所述虚拟鼠标位置的确定装置为一传感器。
11.根据权利要求10所述的确定系统，其特征在于，还包括：投影屏幕以及投影屏幕端无线模块；
所述传感器通过所述投影屏幕端无线模块，将所述虚拟鼠标位置发送给电脑端无线模块；
所述投影屏幕上显示所述电脑投影的虚拟鼠标的指针。
CN201610928712.9A 2016-10-31 2016-10-31 一种虚拟鼠标位置的确定方法、装置及系统 Active CN108021243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610928712.9A CN108021243B (zh) 2016-10-31 2016-10-31 一种虚拟鼠标位置的确定方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610928712.9A CN108021243B (zh) 2016-10-31 2016-10-31 一种虚拟鼠标位置的确定方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108021243A CN108021243A (zh) 2018-05-11
CN108021243B true CN108021243B (zh) 2020-11-06

Family

ID=62070366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610928712.9A Active CN108021243B (zh) 2016-10-31 2016-10-31 一种虚拟鼠标位置的确定方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108021243B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471545A (zh) * 2019-08-09 2019-11-19 暨南大学 一种基于红外图像识别的ppt勾画装置及ppt勾画方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975638A (zh) * 2006-12-27 2007-06-06 北京航空航天大学 一种单摄像机虚拟鼠标系统的校准方法
CN102253737A (zh) * 2011-05-31 2011-11-23 王石 一种屏幕视觉鼠标系统及其实现方法
CN102445998A (zh) * 2011-09-16 2012-05-09 海信集团有限公司 遥控光点投影位置的获取方法及交互式投影系统
CN104133565A (zh) * 2014-07-24 2014-11-05 四川大学 利用结构光技术实现的实时激光点追踪人机交互系统
CN104298372A (zh) * 2014-11-13 2015-01-21 厦门美拓通信技术有限公司 一种通过激光笔实现虚拟鼠标及触控操作的方法
CN105183190A (zh) * 2015-10-25 2015-12-23 刘书智 一种具有鼠标功能的激光笔
CN105912145A (zh) * 2016-04-15 2016-08-31 武汉邮电科学研究院 一种激光笔鼠标系统及其图像定位方法
CN105979234A (zh) * 2016-06-13 2016-09-28 Tcl集团股份有限公司 一种投影图像校正的方法及投影装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053080A1 (en) * 2008-09-03 2010-03-04 Yuh-Pyng Shieh Method For Setting Up Location Information On Display Screens And A Recognition Structure Thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975638A (zh) * 2006-12-27 2007-06-06 北京航空航天大学 一种单摄像机虚拟鼠标系统的校准方法
CN102253737A (zh) * 2011-05-31 2011-11-23 王石 一种屏幕视觉鼠标系统及其实现方法
CN102445998A (zh) * 2011-09-16 2012-05-09 海信集团有限公司 遥控光点投影位置的获取方法及交互式投影系统
CN104133565A (zh) * 2014-07-24 2014-11-05 四川大学 利用结构光技术实现的实时激光点追踪人机交互系统
CN104298372A (zh) * 2014-11-13 2015-01-21 厦门美拓通信技术有限公司 一种通过激光笔实现虚拟鼠标及触控操作的方法
CN105183190A (zh) * 2015-10-25 2015-12-23 刘书智 一种具有鼠标功能的激光笔
CN105912145A (zh) * 2016-04-15 2016-08-31 武汉邮电科学研究院 一种激光笔鼠标系统及其图像定位方法
CN105979234A (zh) * 2016-06-13 2016-09-28 Tcl集团股份有限公司 一种投影图像校正的方法及投影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于激光笔的远程人机交互技术;刘芳等;《中国图象图形学报》;20031230(第11期);第1-5页 *

Also Published As

Publication number Publication date
CN108021243A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
US11652965B2 (en) Method of and system for projecting digital information on a real object in a real environment
US9940720B2 (en) Camera and sensor augmented reality techniques
US9613463B2 (en) Augmented reality extrapolation techniques
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
US10606347B1 (en) Parallax viewer system calibration
US9024876B2 (en) Absolute and relative positioning sensor fusion in an interactive display system
US8538084B2 (en) Method and apparatus for depth sensing keystoning
Tomioka et al. Approximated user-perspective rendering in tablet-based augmented reality
US20140168367A1 (en) Calibrating visual sensors using homography operators
JP2023111962A (ja) 画像処理装置、画像処理方法、及びプログラム
US9639212B2 (en) Information processor, processing method, and projection system
KR101713875B1 (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
CN103198286B (zh) 信息处理终端、信息处理方法和程序
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
CN107330974B (zh) 商品展示方法、装置及移动设备
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
TWI463451B (zh) 數位告示系統及其方法
Adcock et al. Visualization of off-surface 3D viewpoint locations in spatial augmented reality
Zhou et al. Automatic calibration of a multiple-projector spherical fish tank vr display
CN108021243B (zh) 一种虚拟鼠标位置的确定方法、装置及系统
Xu et al. Real-time keystone correction for hand-held projectors with an RGBD camera
Zhou et al. Analysis and practical minimization of registration error in a spherical fish tank virtual reality system
JP6351984B2 (ja) 位置特定装置、映像処理装置、パターン生成装置、スクリーン、スクリーンシステムおよび位置特定方法
Celozzi et al. Enabling Human–Machine Interaction in Projected Virtual Environments Through Camera Tracking of Imperceptible Markers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 32 Xuanwumen West Street, Xicheng District, Beijing 100053

Patentee after: CHINA MOBILE COMMUNICATION LTD., Research Institute

Patentee after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd.

Address before: 32 Xuanwumen West Street, Xicheng District, Beijing 100053

Patentee before: CHINA MOBILE COMMUNICATION LTD., Research Institute

Patentee before: CHINA MOBILE COMMUNICATIONS Corp.

CP01 Change in the name or title of a patent holder