CN108227970A - 一种基于图像识别的远程鼠标 - Google Patents
一种基于图像识别的远程鼠标 Download PDFInfo
- Publication number
- CN108227970A CN108227970A CN201810189507.4A CN201810189507A CN108227970A CN 108227970 A CN108227970 A CN 108227970A CN 201810189507 A CN201810189507 A CN 201810189507A CN 108227970 A CN108227970 A CN 108227970A
- Authority
- CN
- China
- Prior art keywords
- module
- raspberry
- remote
- image
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03542—Light pens for emitting or receiving light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
Abstract
本发明公开了一种基于图像识别的远程鼠标，包括激光笔光斑识别模块、摄像头坐标变换模块、通信模块和硬件模块，所述激光笔光斑识辨模块包括用于获取显示屏图像的摄像头，摄像头电性连接用于处理图像和各通信设备的树莓派，树莓派电性连接蓝牙模块，蓝牙模块用于与远程手持设备、路由器和树莓派传输数据，使用时，通过远程手持设备向显示屏发出激光，进而在显示屏上形成激光斑点，然后通过激光光斑识辨模块捕捉显示屏光斑的位置，然后通过手持设备上的鼠标按钮进行按压操作，远程手持设备中的信息传递模块通过通信模块对显示屏进行控制，从而实现远程控制，这种光斑识别控制方便了远程控制，消除了传统的鼠标平面滑动控制的弊端。
Description
技术领域
本发明涉及一种远程鼠标，具体是一种基于图像识别的远程鼠标。
背景技术
为完成大学生创新创业训练计划，完成大学生科研训练SRTP学分项目，现在对鼠标进行研究，现有的鼠标都是通过数据线进行传输控制，这种鼠标会受到数据线长度的控制，现在也有的鼠标通过无线控制进行控制，但是这种控制存在延迟，因为无线传输还是要依附于鼠标，鼠标只能在平面上滑动，不方便使用，为了解决上述问题，现在提供一种基于图像识别的远程鼠标。
发明内容
本发明的目的在于提供一种基于图像识别的远程鼠标，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于图像识别的远程鼠标，包括激光笔光斑识别模块、摄像头坐标变换模块、通信模块和硬件模块，所述激光笔光斑识辨模块包括用于获取显示屏图像的摄像头，摄像头电性连接用于处理图像和各通信设备的树莓派，树莓派电性连接蓝牙模块，蓝牙模块用于与远程手持设备、路由器和树莓派传输数据，使用时，通过远程手持设备向显示屏发出激光，进而在显示屏上形成激光斑点，然后通过激光光斑识辨模块捕捉显示屏光斑的位置，然后通过手持设备上的鼠标按钮进行按压操作，远程手持设备中的信息传递模块通过通信模块对显示屏进行控制，从而实现远程控制，这种光斑识别控制方便了远程控制，消除了传统的鼠标平面滑动控制的弊端。
作为本发明进一步的方案：所述所远程手持设备包括用于向显示屏幕发射激光光束的激光发射端、激光笔按钮、鼠标按钮和信息传递模块，信息传递模块包括蓝牙模块和arduino，前者负责和树莓派相连的蓝牙模块通信，后者负责记录按钮状态并发送给蓝牙模块，所述远程手持设备还上还设有存放电池后盖所述硬件模块用于对对图像进行采集和处理，硬件采用树莓派数据处理平台，为了方便图像的处理，在摄像头方面本项目采用了低畸变的摄像头进行图像的采集，为了传输按钮的数据，本项目选用了arduino nano 作为激光笔终端对按钮的数据进行传输。
作为本发明进一步的方案：所述激光光斑识别模块的作用是识别光斑，光光斑的识别要求速度快且拥有一定的精准度，在尝试了各类算法和各种情况后，考虑到本项目对精准度的要求并不高，因此选择使用遍历图像红色通道求取最大值的方法来进行计算，经过实践，该方案在投影仪红色通道亮度正常的情况下可以顺利高效的运行。
作为本发明进一步的方案：所述摄像头坐标变换模块是本项目的核心，由于摄像头的位置不定，获得的投影图像往往是扭曲的，因此我们需要通过一定的手段将需要的坐标由摄像头坐标恢复为投影的实际坐标。最终本项目在摄像头标定和透视变换之间做出选择，考虑到实现难度、运算量和精度等因素，本项目最终使用了透视变换来对图像进行处理。通过将投影的个边缘通过激光笔指示进行记录，经过计算可以得到一个3*3的变换矩阵。通过将光斑的点带入矩阵，可以还原激光笔在屏幕上的相对位置，和电脑的实际分辨率进行对比，可以得到最终激光笔所指的坐标。
作为本发明进一步的方案：所述由于数据处理和采集都在树莓派进行，因此需要使用合适的通信方式在电脑和树莓派之间建立了连接，考虑到现今大部分的电脑都可以直接接入网络，因此本项目决定将树莓派接入同样的网络，并使用socket协议进行通信，由于需要传输arduino nano 取得的按钮信号的数据，本项目又利用蓝牙模块在arduino nano和树莓派之间建立了串口通信以传输按钮的信号，并通过树莓派和电脑建立的socket通信一并传输给电脑。
与现有技术相比，本发明的有益效果是：本发明通过远程手持设备向显示屏发出激光，进而在显示屏上形成激光斑点，然后通过激光光斑识辨模块捕捉显示屏光斑的位置，然后通过手持设备上的鼠标按钮进行按压操作，远程手持设备中的信息传递模块通过通信模块对显示屏进行控制，从而实现远程。
附图说明
图1为本发明的结构示意图。
图2为本发明中远程手持设备的结构示意图。
图3为本发明中远程手持设备的发送按钮信号的电路图。
图4为本发明中arduino单片机的框图。
图5为本发明中树莓派的框图。
图6为本发明中PC的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～3，本发明实施例中，一种基于图像识别的远程鼠标，包括激光笔光斑识别模块、摄像头坐标变换模块、通信模块和硬件模块，所述激光笔光斑识辨模块包括用于获取显示屏3图像的摄像头2，摄像头2电性连接用于处理图像和各通信设备的树莓派1，树莓派1电性连接蓝牙模块7，蓝牙模块7用于与远程手持设备8、路由器5和树莓派1传输数据，使用时，通过远程手持设备8向显示屏发出激光，进而在显示屏3上形成激光斑点，然后通过激光光斑识辨模块捕捉显示屏3光斑的位置，然后通过手持设备8上的鼠标按钮3进行按压操作，远程手持设备8中的信息传递模块通过通信模块对显示屏3进行控制，从而实现远程控制，这种光斑识别控制方便了远程控制，消除了传统的鼠标平面滑动控制的弊端。
所远程手持设备8包括用于向显示屏幕发射激光光束的激光发射端11、激光笔按钮12、鼠标按钮3和信息传递模块，信息传递模块包括蓝牙模块和arduino，前者负责和树莓派相连的蓝牙模块通信，后者负责记录按钮状态并发送给蓝牙模块，所述远程手持设备8还上还设有存放电池后盖。
所述硬件模块用于对对图像进行采集和处理，硬件采用树莓派数据处理平台，为了方便图像的处理，在摄像头方面本项目采用了低畸变的摄像头进行图像的采集，为了传输按钮的数据，本项目选用了arduino nano 作为激光笔终端对按钮的数据进行传输。
激光光斑识别模块的作用是识别光斑，光光斑的识别要求速度快且拥有一定的精准度，在尝试了各类算法和各种情况后，考虑到本项目对精准度的要求并不高，因此选择使用遍历图像红色通道求取最大值的方法来进行计算，经过实践，该方案在投影仪红色通道亮度正常的情况下可以顺利高效的运行。
像头坐标变换模块：摄像头坐标变换模块是本项目的核心，由于摄像头的位置不定，获得的投影图像往往是扭曲的，因此我们需要通过一定的手段将需要的坐标由摄像头坐标恢复为投影的实际坐标。最终本项目在摄像头标定和透视变换之间做出选择，考虑到实现难度、运算量和精度等因素，本项目最终使用了透视变换来对图像进行处理。通过将投影的4个边缘通过激光笔指示进行记录，经过计算可以得到一个3*3的变换矩阵。通过将光斑的点带入矩阵，可以还原激光笔在屏幕上的相对位置。和电脑的实际分辨率进行对比，可以得到最终激光笔所指的坐标。
通信模块：由于数据处理和采集都在树莓派进行，因此需要使用合适的通信方式在电脑和树莓派之间建立了连接，考虑到现今大部分的电脑都可以直接接入网络，因此本项目决定将树莓派接入同样的网络，并使用socket协议进行通信，由于需要传输arduinonano 取得的按钮信号的数据，本项目又利用蓝牙模块在arduino nano和树莓派之间建立了串口通信以传输按钮的信号，并通过树莓派和电脑建立的socket通信一并传输给电脑。
硬件模块：虽然本项目的大部分内容都可以通过编程进行，但仍需对激光笔的按钮进行处理。为了减少开发的时间，本项目决定直接使用冲孔板直接对电路进行焊接。为了使其能和激光笔较好的契合，使用了排座抬高了arduino 和冲压板间的距离，从而让设备所占的空间尽可能的减少。
电路说明：附图3电路为“远程鼠标”手持设备发送按钮信号的电路图。其中arduino使用其自带的稳压功能对电源进行处理，通过其d13端口和一个按钮，能够实现对按钮状态的检测。将5v、GND端口和HC-05蓝牙模块连接为其供电，并通过RX、TX端口实现和蓝牙模块的通信。由于蓝牙模块已和树莓派蓝牙模块配对，最终可实现对按钮状态的传输
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (5)
1.一种基于图像识别的远程鼠标，包括激光笔光斑识别模块、摄像头坐标变换模块、通信模块和硬件模块，所述激光笔光斑识辨模块包括用于获取显示屏（3）图像的摄像头（2），摄像头（2）电性连接用于处理图像和各通信设备的树莓派（1），树莓派（1）电性连接蓝牙模块（7），蓝牙模块（7）用于与远程手持设备（8）、路由器（5）和树莓派（1）传输数据，使用时，通过远程手持设备（8）向显示屏发出激光，进而在显示屏（3）上形成激光斑点，然后通过激光光斑识辨模块捕捉显示屏（3）光斑的位置，然后通过手持设备（8）上的鼠标按钮（3）进行按压操作，远程手持设备（8）中的信息传递模块通过通信模块对显示屏（3）进行控制，从而实现远程控制，这种光斑识别控制方便了远程控制，消除了传统的鼠标平面滑动控制的弊端。
2.根据权利要求1所述的基于图像识别的远程鼠标，其特征在于，所述所远程手持设备（8）包括用于向显示屏幕发射激光光束的激光发射端（11）、激光笔按钮（12）、鼠标按钮（3）和信息传递模块，信息传递模块包括蓝牙模块和arduino，前者负责和树莓派相连的蓝牙模块通信，后者负责记录按钮状态并发送给蓝牙模块，所述远程手持设备（8）还上还设有存放电池后盖所述硬件模块用于对对图像进行采集和处理，硬件采用树莓派数据处理平台，为了方便图像的处理，在摄像头方面本项目采用了低畸变的摄像头进行图像的采集，为了传输按钮的数据，本项目选用了arduino nano 作为激光笔终端对按钮的数据进行传输。
3.根据权利要求1所述的基于图像识别的远程鼠标，其特征在于，所述激光光斑识别模块的作用是识别光斑，光光斑的识别要求速度快且拥有一定的精准度，在尝试了各类算法和各种情况后，考虑到本项目对精准度的要求并不高，因此选择使用遍历图像红色通道求取最大值的方法来进行计算，经过实践，该方案在投影仪红色通道亮度正常的情况下可以顺利高效的运行。
4.根据权利要求1所述的基于图像识别的远程鼠标，其特征在于，所述摄像头坐标变换模块是本项目的核心，由于摄像头的位置不定，获得的投影图像往往是扭曲的，因此我们需要通过一定的手段将需要的坐标由摄像头坐标恢复为投影的实际坐标，最终本项目在摄像头标定和透视变换之间做出选择，考虑到实现难度、运算量和精度等因素，本项目最终使用了透视变换来对图像进行处理，通过将投影的4个边缘通过激光笔指示进行记录，经过计算可以得到一个3*3的变换矩阵，通过将光斑的点带入矩阵，可以还原激光笔在屏幕上的相对位置和电脑的实际分辨率进行对比，可以得到最终激光笔所指的坐标。
5.根据权利要求1所述的基于图像识别的远程鼠标，其特征在于，所述由于数据处理和采集都在树莓派进行，因此需要使用合适的通信方式在电脑和树莓派之间建立了连接，考虑到现今大部分的电脑都可以直接接入网络，因此本项目决定将树莓派接入同样的网络，并使用socket协议进行通信，由于需要传输arduino nano 取得的按钮信号的数据，本项目又利用蓝牙模块在arduino nano和树莓派之间建立了串口通信以传输按钮的信号，并通过树莓派和电脑建立的socket通信一并传输给电脑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810189507.4A CN108227970A (zh) | 2018-03-08 | 2018-03-08 | 一种基于图像识别的远程鼠标 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810189507.4A CN108227970A (zh) | 2018-03-08 | 2018-03-08 | 一种基于图像识别的远程鼠标 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108227970A true CN108227970A (zh) | 2018-06-29 |
Family
ID=62667151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810189507.4A Pending CN108227970A (zh) | 2018-03-08 | 2018-03-08 | 一种基于图像识别的远程鼠标 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108227970A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493288A (zh) * | 2018-10-23 | 2019-03-19 | 安徽慧视金瞳科技有限公司 | 一种交互式课堂教学系统光斑自适应映射算法 |
| CN110286825A (zh) * | 2019-06-26 | 2019-09-27 | 西南民族大学 | 一种基于机器视觉的机械式全自动鼠标操作装置 |
| CN110297556A (zh) * | 2019-07-02 | 2019-10-01 | 沈阳理工大学 | 一种基于图像识别技术的电子投影画板系统及其处理方法 |
-
2018
- 2018-03-08 CN CN201810189507.4A patent/CN108227970A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493288A (zh) * | 2018-10-23 | 2019-03-19 | 安徽慧视金瞳科技有限公司 | 一种交互式课堂教学系统光斑自适应映射算法 |
| CN110286825A (zh) * | 2019-06-26 | 2019-09-27 | 西南民族大学 | 一种基于机器视觉的机械式全自动鼠标操作装置 |
| CN110297556A (zh) * | 2019-07-02 | 2019-10-01 | 沈阳理工大学 | 一种基于图像识别技术的电子投影画板系统及其处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108227970A (zh) | 一种基于图像识别的远程鼠标 | |
| KR101969624B1 (ko) | 제스처 제어 방법, 장치 및 시스템 | |
| KR20180079399A (ko) | 인간 얼굴의 회전 각도를 결정하기 위한 방법 및 디바이스, 및 컴퓨터 저장 매체 | |
| TW202021294A (zh) | 水下無線通訊裝置及方法 | |
| WO2017177312A1 (en) | Portable rf and wireless communication system and method for creating spherical images | |
| CN107255813A (zh) | 基于3d技术的测距方法、移动终端、及存储介质 | |
| CN111145339B (zh) | 图像处理方法及装置、设备、存储介质 | |
| CN111336948B (zh) | 基于成像平面转换的非标定手持式廓形检测方法及装置 | |
| CN107580206A (zh) | 一种基于多视角图像的装修施工现场三维成像系统 | |
| KR102054688B1 (ko) | 엑스선 디텍터, 모바일 기기, 호스트 장치, 엑스선 영상 장치 및 엑스선 디텍터와 호스트 장치의 페어링 방법 | |
| CA2900267C (en) | System and method of object recognition for an interactive input system | |
| CN105513128A (zh) | 基于Kinect的三维数据融合处理方法 | |
| CN106408614B (zh) | 适于现场应用的摄像机内参数标校方法和系统 | |
| CN107105124A (zh) | 用于平台和图像设备之间的通信的协议 | |
| CN206400472U (zh) | 一种虚拟现实设备及其定位系统 | |
| WO2019227485A1 (zh) | 用于无线电模拟的增强现实的方法、设备 | |
| CN108600691A (zh) | 图像采集方法、装置及系统 | |
| CN106152946B (zh) | 一种测量物体长度的方法和终端 | |
| CN110113575A (zh) | 一种基于NB-IoT的农情信息实时监测平台 | |
| CN106878922A (zh) | 一种室内定位方法及其系统 | |
| CN206422841U (zh) | 自动转台控制和图片无线传输装置及自动拍照系统 | |
| CN206364929U (zh) | 影像服务系统 | |
| CN109669557A (zh) | 一种激光鼠标、远程控制系统及鼠标指针定位方法 | |
| CN106709495A (zh) | 一种图像区域居中的方法和装置 | |
| CN209117872U (zh) | 用于房屋登记的信息采集终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180629 |