CN113157139B - 一种触屏的辅助操作方法和操作装置 - Google Patents
一种触屏的辅助操作方法和操作装置 Download PDFInfo
- Publication number
- CN113157139B CN113157139B CN202110549640.8A CN202110549640A CN113157139B CN 113157139 B CN113157139 B CN 113157139B CN 202110549640 A CN202110549640 A CN 202110549640A CN 113157139 B CN113157139 B CN 113157139B
- Authority
- CN
- China
- Prior art keywords
- main board
- touch screen
- control main
- positioning mechanism
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 241001422033 Thestylus Species 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000592183 Eidolon Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及一种触屏的辅助操作方法和操作装置，包括触摸笔、利用CoreXY结构原理进行位置调节的驱动机构、利用scala原理结构进行触屏扫描确定待触控位置的并能与触屏交互的定位机构、采用arduino或STM的控制主板，触摸笔可拆装连接在驱动机构上，驱动机构、定位机构均和控制主板电性连接，首先通过定位机构扫描触屏上显示的内容并区分定位各待触控的位置信息，之后将获取的信息传递至控制主板，控制主板接收信息并经过处理下达指令使驱动机构运转，驱动机构根据指令信息带动触摸笔移动至待触控位置并驱动触摸笔进行相应的触控操作。该发明属于物理辅助工具，不需要root，对手机没有额外的要求，更利于使用。
Description
技术领域
本发明涉及触屏交互领域，尤其是一种触屏的辅助操作方法和操作装置。
背景技术
触摸屏现如今被广泛的应用于智能终端以及一些仪器的操控面板。有时在人手操作不便的时候就需要对触屏进行辅助的操控，在现有的辅助操控中，尤其是对手机的触屏操作来说，其辅助工具有：一种按键精灵类，就是在手机内安装一个APP，所有的操作指令发送到手机上后，模拟人的手指操作都由这个app来完成，这样的辅助工具却需要手机的root；另一种修改内存类辅助软件，此类操作方式省去了模拟手指操作，而直接模拟的是手指操作的结果，通常情况下其也是需要root的，并且这样的软件也容易被其他软件检测出来，而且修改难度非常大，APP或者游戏升级后，都很难跟着升级，造成使用的不便。
发明内容
针对现有的不足，本发明提供一种触屏的辅助操作方法和操作装置。
本发明解决其技术问题所采用的技术方案是：一种触屏的辅助操作方法，包括用于触控触屏的触摸笔、利用CoreXY结构原理进行位置调节的驱动机构、利用scala原理结构进行触屏扫描确定待触控位置的并能与触屏交互的定位机构、采用arduino或STM的控制主板，首先通过所述定位机构扫描触屏上显示的内容并区分定位各待触控的位置信息，之后所述定位机构将获取的信息传递至控制主板，所述控制主板接收定位机构和用户终端的信息并经过处理下达驱动机构运转的指令使驱动机构运转，所述驱动机构根据指令信息带动触摸笔移动至待触控位置并驱动触摸笔进行相应的触控操作；所述驱动机构包括利用CoreXY结构原理的水平驱动单元、设置在水平驱动单元上驱动触摸笔上下移动的竖直驱动单元，所述水平驱动单元和竖直驱动单元均和控制主板电性连接，所述触摸笔可拆装连接在竖直驱动单元上；所述定位机构包括用于激光发射和接收的激光单元、用来进行一定视角和范围转动的旋转扫描镜、与激光单元和旋转扫描镜电性连接的定位机构主板，所述定位机构主板和控制主板电性连接，所述旋转扫描镜上设置有与控制主板电性连接的摄像头；所述定位机构主板用来控制激光单元和旋转扫描镜的运转。
作为优选，所述竖直驱动单元上还设置有监控触摸笔按压力度的传感器。
作为优选，所述控制主板通信连接有用户终端，所述控制主板将定位机构获得的触屏上的信息同步传递至用户终端，所述用户终端通过软件程序同步显示触屏上的信息并能在用户终端上下达操作驱动机构的指令给控制主板。
一种触屏的辅助操作装置，采用权利要求1至3中任意一项所述触屏的辅助操作方法进行操作的装置。
本发明的有益效果在于：该发明属于纯粹的物理辅助工具，真正的模拟人的手指操作，能准确无误的实现点击、触摸滑动、手指按下、手指抬起、手指移动等动作，使用中不需要ROOT，对手机没有任何额外的要求，既不会受到应用中软件的影响，也不会影响到应用的升级，更利于使用。
具体实施方式
为了更清楚地说明本发明实施例的目的、技术方案和优点，下面将结合实施例对本发明作进一步说明，进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。此外，本发明中所提到的方向用语，例如，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等，仅是使用的方向用语是为了更好、更清楚地说明及理解本发明，而不是指示或暗指本发明必须具有的方位，因此不能理解为对本发明的限制。
本发明实施例，一种触屏的辅助操作方法和操作装置，包括用于触控触屏的触摸笔、利用CoreXY结构原理进行位置调节的驱动机构、利用scala原理结构进行触屏扫描确定待触控位置的并能与触屏交互的定位机构、采用arduino或STM的控制主板，所述触摸笔可拆装连接在驱动机构上并随着驱动机构的驱动进行触控操作，所述驱动机构、定位机构均和控制主板电性连接，触摸笔也可以是用于触摸的模拟手指，CoreXY结构原理就是利用双电机同时控制XY中的移动，其可采用现有的任何一种连接方式，使用时使驱动机构的XY移动所在的平面与触屏相平行，通过它就可以调节对应于触屏上的任意一个位置，定位机构则用于获取触屏上所显示的信息，其获取方式就是利用scala原理机构通过激光扫描、红外扫描或摄像头拍摄来与触屏交互获取其上的信息，如寻找触屏上指定区域的图片、寻找触屏上指定区域的颜色等，通过与触屏的交互，可以让该辅助设备知道触屏当前所处的界面或者所处的状态，从而更智能的进行下一步操作，交互的方式，则可以通过调试口、摄像头录制、投屏录制等多种方式来实现，控制主板则作为核心来处理从定位机构获取的信息然后转化成驱动驱动机构的指令，还可以用来与其它设备之间的连接，在进行辅助操作时，首先通过所述定位机构扫描触屏上显示的内容并区分定位各待触控的位置信息，此时就将触屏上所显示的内容全部扫描，扫描后通过定位机构中相应的程序处理，从而区分出触屏上那些部分是空白区域，那些是显示有内容的区域，而在显示有内容的区域中中有进一步区分出那些地方是触控的按钮，那些不是，之后所述定位机构将获取的信息传递至控制主板，该信息是定位机构将所扫描的信息处理转化后的信号，控制主板接收到定位机构传输过来的信息后，就知道了触屏所处界面的状态，所述控制主板接收定位机构和用户终端的信息并经过处理下达驱动机构运转的指令使驱动机构运转，控制主板就根据用户终端的指令以及定位机构传输过来的信息，进而向驱动机构下达操作指令，所述驱动机构根据指令信息带动触摸笔移动至待触控位置并驱动触摸笔进行相应的触控操作，驱动机构就根据操作指令带着触摸笔进行相应的移动，在移动到指定位置后，就驱动触摸笔进行对应的触控操作，如点击、触摸滑动、手指按下、手指抬起、手指移动等动作。定位机构、驱动机构、以及控制主板就可以采用python或者其它脚本语言来实现灵活的可编程触摸操控。这样的操作装置属于纯粹的物理辅助工具，真正的模拟人的手指操作，能准确无误的实现点击、触摸滑动、手指按下、手指抬起、手指移动等动作，相应的操作方法在使用中不需要ROOT，对手机没有任何额外的要求，既不会受到应用中软件的影响，也不会影响到应用的升级，更利于使用。而在需要多点触控操作时，就可以采用多个与控制主板都电性连接的驱动机构和触摸笔来实现，控制主板就向不同的驱动机构下达不同的操作指令。
进一步的改进，所述驱动机构包括利用CoreXY结构原理的水平驱动单元、设置在水平驱动单元上驱动触摸笔上下移动的竖直驱动单元，这样水平驱动单元就利用CoreXY结构原理来调节水平面上的位置，调节位置更准确，更方便使用，而竖直驱动单元就用来驱动触摸笔向下的触控操作，该驱动单元就可以利用与控制主板电性连接的伺服电机，将其固定连接在水平驱动单元上，之后将触摸笔与伺服电机传动连接，所述水平驱动单元和竖直驱动单元均和控制主板电性连接，这样通过控制主板的指令水平驱动单元带动竖直驱动单元在水平面上移动，在移动到指定位置后，水平驱动单元停止移动，竖直驱动单元启动，驱动触摸笔进行触控，在进行点击动作时，触摸笔就按压指定的位置后在竖直驱动单元的驱动下脱离与触屏的接触，按压动作时触摸笔就按压在指定位置不松开，在触摸滑动时触摸笔就按压在指定的起始位置，然后在水平驱动单元的带动下在触屏上滑动，所述触摸笔可拆装连接在竖直驱动单元上，可拆装连接就方便对触摸笔的更换。此时为了对触摸笔电极按压触屏的压力进行监控，避免力度过大损坏触屏又避免力度过小点击按压不起作用，就在所述竖直驱动单元上设置监控触摸笔按压力度的传感器，通过传感器来监测触摸笔按压的力度，该传感器就设置在竖直驱动单元连接触摸笔的位置，在触摸笔点击按压到触屏上时就会在它和竖直驱动单元的连接处产生相应的作用力，通过检测该作用力就可以推断出触摸笔触控的力度。
进一步的改进，所述定位机构包括激光单元、旋转扫描镜、与激光单元和旋转扫描镜电性连接的定位机构主板，所述定位机构主板和控制主板电性连接，激光单元就负责激光的发射接收，旋转扫描镜用来进行一定视角范围的转动，定位机构主板则用来控制激光单元和旋转扫描镜的运转，所述旋转扫描镜上设置有与控制主板电性连接的摄像头，通过摄像头就能实现双重的扫描，能更精确的获得触屏截面所显示的内容。
进一步的改进，所述控制主板通信连接有用户终端，所述控制主板将定位机构获得的触屏上的信息同步传递至用户终端，所述用户终端通过软件程序同步显示触屏上的信息并能在用户终端上下达操作驱动机构的指令给控制主板，在用户终端就可以很直观的显示触屏上的信息，用户在用户终端就可以下达相应的操作指令。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种触屏的辅助操作方法，其特征在于：包括用于触控触屏的触摸笔、利用CoreXY结构原理进行位置调节的驱动机构、利用scala原理结构进行触屏扫描确定待触控位置的并能与触屏交互的定位机构、采用arduino或STM的控制主板，首先通过所述定位机构扫描触屏上显示的内容并区分定位各待触控的位置信息，之后所述定位机构将获取的信息传递至控制主板，所述控制主板接收定位机构和用户终端的信息并经过处理下达驱动机构运转的指令使驱动机构运转，所述驱动机构根据指令信息带动触摸笔移动至待触控位置并驱动触摸笔进行相应的触控操作；所述驱动机构包括利用CoreXY结构原理的水平驱动单元、设置在水平驱动单元上驱动触摸笔上下移动的竖直驱动单元，所述水平驱动单元和竖直驱动单元均和控制主板电性连接，所述触摸笔可拆装连接在竖直驱动单元上；所述定位机构包括用于激光发射和接收的激光单元、用来进行一定视角范围转动的旋转扫描镜、与激光单元和旋转扫描镜电性连接的定位机构主板，所述定位机构主板和控制主板电性连接，所述旋转扫描镜上设置有与控制主板电性连接的摄像头；所述定位机构主板用来控制激光单元和旋转扫描镜的运转。
2.根据权利要求1所述触屏的辅助操作方法，其特征在于:所述竖直驱动单元上还设置有监控触摸笔按压力度的传感器。
3.根据权利要求1所述触屏的辅助操作方法，其特征在于:所述控制主板通信连接有用户终端，所述控制主板将定位机构获得的触屏上的信息同步传递至用户终端，所述用户终端通过软件程序同步显示触屏上的信息并能在用户终端上下达操作驱动机构的指令给控制主板。
4.一种触屏的辅助操作装置，其特征在于:采用权利要求1至3中任意一项所述触屏的辅助操作方法进行操作的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110549640.8A CN113157139B (zh) | 2021-05-20 | 2021-05-20 | 一种触屏的辅助操作方法和操作装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110549640.8A CN113157139B (zh) | 2021-05-20 | 2021-05-20 | 一种触屏的辅助操作方法和操作装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113157139A CN113157139A (zh) | 2021-07-23 |
| CN113157139B true CN113157139B (zh) | 2024-02-27 |
Family
ID=76876735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110549640.8A Active CN113157139B (zh) | 2021-05-20 | 2021-05-20 | 一种触屏的辅助操作方法和操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113157139B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113733119A (zh) * | 2021-09-10 | 2021-12-03 | 青岛通产智能科技股份有限公司 | 一种用于智能触控设备的示教机器人 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105892783A (zh) * | 2014-05-14 | 2016-08-24 | 株式会社和冠 | 快速移动感应方法、控制电路与电磁式感测装置 |
| CN107228996A (zh) * | 2017-06-15 | 2017-10-03 | 北京日扬弘创科技有限公司 | 测试装置 |
| CN109906426A (zh) * | 2016-11-04 | 2019-06-18 | 微软技术许可有限责任公司 | 有源触控笔同步 |
| CN110955348A (zh) * | 2018-09-26 | 2020-04-03 | 上海肇观电子科技有限公司 | 一种辅助用户的智能系统及应用于该智能系统的介质 |
| CN112166400A (zh) * | 2018-03-08 | 2021-01-01 | 森赛尔股份有限公司 | 人机接口系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5977768B2 (ja) * | 2014-01-14 | 2016-08-24 | シャープ株式会社 | 画像表示装置及びその操作方法 |
-
2021
- 2021-05-20 CN CN202110549640.8A patent/CN113157139B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105892783A (zh) * | 2014-05-14 | 2016-08-24 | 株式会社和冠 | 快速移动感应方法、控制电路与电磁式感测装置 |
| CN109906426A (zh) * | 2016-11-04 | 2019-06-18 | 微软技术许可有限责任公司 | 有源触控笔同步 |
| CN107228996A (zh) * | 2017-06-15 | 2017-10-03 | 北京日扬弘创科技有限公司 | 测试装置 |
| CN112166400A (zh) * | 2018-03-08 | 2021-01-01 | 森赛尔股份有限公司 | 人机接口系统 |
| CN110955348A (zh) * | 2018-09-26 | 2020-04-03 | 上海肇观电子科技有限公司 | 一种辅助用户的智能系统及应用于该智能系统的介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113157139A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110497386B (zh) | 一种协作机器人手眼关系自动标定方法 | |
| US11597097B2 (en) | Mobile security basic control device comprising a coding device for a mobile terminal with multi-touchscreen and method for setting up a uniquely assigned control link | |
| US8552983B2 (en) | Intelligent robotic interface input device | |
| CN113157139B (zh) | 一种触屏的辅助操作方法和操作装置 | |
| US10528796B2 (en) | Body information analysis apparatus with augmented reality and eyebrow shape preview method thereof | |
| WO2017114318A1 (zh) | 一种触摸屏工作模式的控制方法和控制装置 | |
| CN105930087B (zh) | 虚实操控结合的触摸显示屏及信息处理装置 | |
| JP3744116B2 (ja) | 表示入力装置 | |
| CN102901898A (zh) | 一种对触摸屏及相应软件进行自动测试的系统和方法 | |
| JP4901009B2 (ja) | 視野計 | |
| CN110673022A (zh) | 薄膜键盘pcba测试装置及方法 | |
| JP2001117686A (ja) | ペン入力装置およびペン入力装置のポインティング処理方法 | |
| CN104785922B (zh) | 实现双重式控制的激光切割机系统和方法 | |
| CN110069101A (zh) | 一种穿戴式计算设备和一种人机交互方法 | |
| CN205451005U (zh) | 具有触控和按键功能的触控板以及使用该触控板的遥控器 | |
| CN116921951A (zh) | 一种基于三维视觉的焊接机器人的控制方法 | |
| KR101196894B1 (ko) | 터치 스크린 기반 사용자 인터페이스 시험 장치 및 방법 | |
| CN111221405A (zh) | 一种手势控制方法及设备 | |
| CN110501897B (zh) | 智能手表及其触控方法 | |
| CN110409064B (zh) | 一种花样机 | |
| CN208577850U (zh) | 一种刺绣机控制装置及刺绣机 | |
| CN107941169B (zh) | Fk辅助开关通断角度检测仪 | |
| CN105511467A (zh) | 一种基于视频的机器人头部运动控制方法及装置 | |
| CN220085542U (zh) | 一种可视互动的静电场教学实验系统 | |
| WO2018130945A1 (en) | Improved bending press |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |