CN111078018A - 显示器的触摸控制方法、终端设备及存储介质 - Google Patents

显示器的触摸控制方法、终端设备及存储介质 Download PDF

Info

Publication number
CN111078018A
CN111078018A CN201911424297.3A CN201911424297A CN111078018A CN 111078018 A CN111078018 A CN 111078018A CN 201911424297 A CN201911424297 A CN 201911424297A CN 111078018 A CN111078018 A CN 111078018A
Authority
CN
China
Prior art keywords
display
acquiring
image
touch control
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911424297.3A
Other languages
English (en)
Inventor
何康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201911424297.3A priority Critical patent/CN111078018A/zh
Publication of CN111078018A publication Critical patent/CN111078018A/zh
Priority to US17/758,254 priority patent/US11941207B2/en
Priority to EP20910921.4A priority patent/EP4086730A4/en
Priority to PCT/CN2020/111041 priority patent/WO2021135288A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种显示器的触摸控制方法，包括：在通过激光传感器的接收组件接收到反射信号后，根据激光信号以及所述反射信号生成图像；根据图像获取用户的手势信息；执行所述手势信息对应的控制操作。本发明还公开一种终端设备以及计算机可读存储介质。本发明通过激光传感器的接收组件接收的反射信号，根据反射信号以及激光信号获取用户的手势信息，执行手势信息对应的控制操作，在不需要替换显示屏的基础上，实现非触摸屏的触控功能，具有成本低、响应快的有益效果。

Description

显示器的触摸控制方法、终端设备及存储介质
技术领域
本发明涉及触控显示技术领域、尤其涉及一种显示器的触摸控制方法、终端设备及存储介质。
背景技术
随着显示技术的发展，触摸屏产品广泛应用于我们的日常生活，如触摸屏手机、触摸屏点歌器、触摸屏排号机等。但现有的不具备触控功能的显示器设备要实现触控功能时，需要替换显示屏，存在成本高的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明实施例的主要目的在于提供一种显示器的触摸控制方法，旨在解决现有技术中显示器设备实现触控功能时，需要替换显示屏，存在成本高的技术问题。
为解决上述问题，本发明实施例提供一种显示器的触摸控制方法，包括以下内容：
在通过激光传感器的接收组件接收到反射信号后，根据激光信号以及所述反射信号生成图像；
根据图像获取用户的手势信息；
执行所述手势信息对应的控制操作。
可选地，所述根据图像获取用户的手势信息的步骤包括：
获取所述图像中各个像素点的坐标信息；
删除所述图像中坐标信息超出预设区域的像素点，得到更新后的所述图像；
根据更新后的所述图像获取用户的手势信息。
可选地，所述根据图像获取用户的手势信息的步骤还包括：
获取预设时间间隔内生成的多张所述图像；
获取各个所述图像的用户的作用区域，其中，所述作用区域根据相邻的图像确定；
获取各个所述图像的作用区域的质心；
根据各个所述图像的作用区域的质心获取所述用户的手势信息。
可选地，所述获取所述作用区域的质心的步骤包括：
获取所述图像的作用区域中每个像素点的坐标；
获取所述图像的作用区域中每个所述像素点的坐标的平均值；
将所述平均值作为所述图像的作用区域的质心。
可选地，所述显示器的触摸控制方法还包括：
获取所述显示屏的的尺寸信息；
获取所述激光传感器的中心位置，并获取所述激光传感器的中心位置到所述显示屏的中心位置的距离；
根据所述激光传感器的中心位置、所述距离、所述显示屏的尺寸信息确定所述预设区域的坐标范围。
可选地，所述显示器的触摸控制方法还包括：
根据所述坐标范围获取所述预设区域的面积；
根据所述显示屏的尺寸信息获取所述显示屏的面积；
在所述预设区域的面积大于所述显示屏的面积时，输出所述预设区域设置错误的提示信息。
可选地，所述显示器的触摸控制方法还包括：
通过所述激光传感器检测所述显示器多个预设位置的坐标；
根据所述多个预设位置的坐标以及所述激光传感器的中心位置确定所述预设区域的坐标范围。
可选地，所述执行所述手势信息对应的控制操作的步骤包括：
根据所述手势信息获取所述显示器上当前显示界面对应的位置信息以及运动信息；
根据所述位置信息以及所述运动信息执行对应的控制操作。
此外，为解决上述问题，本发明实施例还提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的显示器的触摸控制程序，所述显示器的触摸控制程序被所述处理器执行时实现如上所述的显示器的触摸控制方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有显示器的触摸控制程序，所述显示器的触摸控制程序被处理器执行时实现如上所述的显示器的触摸控制方法的步骤。
本发明实施例提出的一种显示器的触摸控制方法，通过激光传感器的接收组件接收的反射信号，根据反射信号以及激光信号获取用户的手势信息，执行手势信息对应的控制操作，在不需要替换显示屏的基础上，实现非触摸屏的触控功能，具有成本低、响应快的有益效果。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明显示器的触摸控制方法第一实施例的流程示意图；
图3为本发明显示器的触摸控制方法第二实施例的流程示意图；
图4为本发明显示器的触摸控制方法第三实施例的流程示意图；
图5为本发明显示器的触摸控制方法第四实施例的流程示意图
图6为本发明显示器的触摸控制方法第五实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：在通过激光传感器的接收组件接收到反射信号后，根据激光信号以及所述反射信号生成图像；根据图像获取用户的手势信息；执行所述手势信息对应的控制操作。
由于现有技术中不具备触控功能的显示器设备要实现触控功能时，需要替换显示屏，存在成本高的技术问题。
本发明实施例提供一种解决方案，通过激光传感器的接收组件接收的反射信号，根据反射信号以及激光信号获取用户的手势信息，执行手势信息对应的控制操作，在不需要替换显示屏的基础上，实现非触摸屏的触控功能，具有成本低、响应快的有益效果。
如图1所示，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例的执行主体可以是电视、电脑、游戏机以及自动取款机等具有显示器的终端设备。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002，存储器1003，显示器1004。其中，通讯总线1002用于实现这些组件之间的连接通信。存储器1003可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，如磁盘存储器。存储器1003可选地还可以是独立于前述处理器1001的存储装置。显示器1004可以包括显示屏(Display)。
本领域技术人员可以理解，图1示出的终端设备的结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1003可以包括操作系统以及显示器的触摸控制程序，而处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
在通过激光传感器的接收组件接收到反射信号后，根据激光信号以及所述反射信号生成图像；
根据图像获取用户的手势信息；
执行所述手势信息对应的控制操作。
进一步地，处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
获取所述图像中各个像素点的坐标信息；
删除所述图像中坐标信息超出预设区域的像素点，得到更新后的所述图像；
根据更新后的所述图像获取用户的手势信息。
进一步地，处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
获取预设时间间隔内生成的多张所述图像；
获取各个所述图像的用户的作用区域，其中，所述作用区域根据相邻的图像确定；
获取各个所述图像的作用区域的质心；
根据各个所述图像的作用区域的质心获取所述用户的手势信息。
进一步地，处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
获取所述图像的作用区域中每个像素点的坐标；
获取所述图像的作用区域中每个所述像素点的坐标的平均值；
将所述平均值作为所述图像的作用区域的质心。
进一步地，处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
获取所述显示屏的的尺寸信息；
获取所述激光传感器的中心位置，并获取所述激光传感器的中心位置到所述显示屏的中心位置的距离；
根据所述激光传感器的中心位置、所述距离、所述显示屏的尺寸信息确定所述预设区域的坐标范围。
进一步地，处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
根据所述坐标范围获取所述预设区域的面积；
根据所述显示屏的尺寸信息获取所述显示屏的面积；
在所述预设区域的面积大于所述显示屏的面积时，输出所述预设区域设置错误的提示信息。
进一步地，处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
通过所述激光传感器检测所述显示器多个预设位置的坐标；
根据所述多个预设位置的坐标以及所述激光传感器的中心位置确定所述预设区域的坐标范围。
进一步地，处理器1001可以用于调用存储器1003中存储的显示器的触摸控制程序，并执行以下步骤：
根据所述手势信息获取所述显示器上当前显示界面对应的位置信息以及运动信息；
根据所述位置信息以及所述运动信息执行对应的控制操作。
基于上述终端的结构，提出本发明第一实施例，参照图2，图2为本发明显示器的触摸控制方法第一实施例的流程示意图，所述显示器的触摸控制方法包括以下步骤：
步骤S10，在通过激光传感器的接收组件接收到反射信号后，根据激光信号以及所述反射信号生成图像；
随着显示屏的发展，触摸屏已广泛应用于电子产品，但现有的触摸屏相对比较脆弱，表面容易收到损伤，同时，价格相对昂贵，此外，很多终端设备仍使用的是非触摸屏，在短时间内也无法被替代。如果想在非触摸屏上实现触摸交互功能，需要替换屏幕，存在成本高的问题。
本实施例提供一种不需要替换屏幕就可以实现非触摸屏的触控功能。本实施例的执行主体为终端设备，其中，终端设备可以是电视、电脑、游戏机以及自动取款机等具有显示器的终端设备。
终端设备可包括显示器。显示器包括显示屏，用于显示图像，或播放视频。显示屏可以是触摸屏，也可以是非触摸屏，在此不做限定。
可选地，激光传感器可设置于终端设备，与终端设备为一体化装置；激光传感器也可以是外置组件，在需要时设置在终端设备上。
激光传感器包括扫描组件以及接收组件。扫描组件包括发射光源以及驱动电机，其中，发射光源用于发射激光信号，而激光信号可以是激光束；驱动电机用于驱动发射光源旋转转动，使发射的激光信号处于同一平面，进而实现对周围环境的扫描测距。可以理解的是，激光传感器的照射区域以发射光源为中心，由四周发射激光束所在的平面所构成，可通过调节发射光源的功率，调整激光信号发射的远近。
接收组件用于接收反射信号，其中，反射信号是激光信号照射在物体后，被反射回来的激光信号。可以理解的是，由于激光信号的发射与反射信号的接收存在时间差，结合光在空气中的传播速度，可计算出发射光源与物体之间的距离。
可选地，发射光源可以是低功率的红外线激光器，可保证人类与动物的安全，并采用调制脉冲方式驱动，可在极短的时间内进行发射动作。
激光传感器可设置在显示器上，激光传感器发射的激光信号所在的平面与显示器的显示屏平行。
可选地，激光传感器发射的激光信号所在的平面可与显示的显示屏重合，换而言之，用户可作用在显示屏上实现对终端设备的触控功能。
当用户作用在激光传感器的照射区域时，可反射照射区域的激光信号，并将激光信号反射回去，终端设备可通过激光传感器的接收组件接收到反射信号。终端设备在接收到反射信号后，可根据反射信号以及激光信号之间的时间差，以及反射信号与激光信号的夹角，得到用户作用区域的三维云数据。由于通过旋转转动的激光信号所照射的区域处于同一平面，三维云数据中存在一个方向上的数据为相同值，因此，可将该方向上的数据去除，得到二维数据，进而生成图像。
步骤S20，根据图像获取用户的手势信息；
图像可包括空白像素点以及用户作用过的非空白像素点，根据非空白像素点可以得到用户的手势信息。其中，手势信息可包括位置信息以及运动信息中的至少一个。可以理解的是，位置信息可根据非空白像素点对应的坐标得到；运动信息可根据连续多张图像中非空白像素点所构成区域的变化得到。
位置信息可包括用户作用的位置坐标；运动信息可包括用户的移动轨迹，通过移动轨迹可获取用户的控制指令。控制指令可包括单击、双击、拖动以及选择等。终端设备可根据位置信息获取作用在显示器的当前显示界面的作用位置，可根据运动信息获取用户的控制指令。
步骤S30，执行所述手势信息对应的控制操作。
在获取到用户的手势信息后，可获取手势信息对应的控制指令，执行控制指令对应的控制操作。控制操作可包括单击、双击、拖动以及选择中的一个。
可选地，终端设备可根据检测到的用户作用的次数以及连续作用的时间，获取对应的控制指令。若在预设时间如2秒内检测到用户仅出现一次，即检测到用户的手势信息后，在预设时间内未检测到用户，可认定检测到一次，可视为单击；若在预设时间内如2秒内检测到用户出现两次，即由检测到用户的手势信息到用户的手势信息消失共发生两次，可视为双击；若户在预设时间如2秒内检测到用的连续作用，并且位置信息按一定的方向和速度进行移动，则可视为拖动。
可选地，终端设备可将图像中的手势信息转换成显示器当前显示界面对应的鼠标映射事件，如单击、双击、拖动以及选择中的一个。
可选地，执行手势信息对应的控制操作包括：
根据所述手势信息获取所述显示器上当前显示界面对应的位置信息以及运动信息；
根据所述位置信息以及所述运动信息执行对应的控制操作。
需要说明的是，终端设备检测到的图像与显示器的显示屏之间具有一定的映射关系，可将图像中用户的作用区域转换成显示器上显示界面上对应的位置信息以及运动信息。终端设备可根据检测到的手势信息获取显示器上当前显示界面对应的位置信息以及运动信息，根据位置信息以及运动信息获取当前显示界面的作用位置以及控制指令，执行控制指令对应的控制操作。根据图像与显示器的显示界面之间的映射关系，执行用户的手势信息对应的控制操作，具有一一对应、快速响应的有益效果。
在本实施例中，通过激光传感器的接收组件接收的反射信号，根据反射信号以及激光信号获取用户的手势信息，执行手势信息对应的控制操作，在不需要替换显示屏的基础上，实现非触摸屏的触控功能，具有成本低、响应快的有益效果。
参照图3，图3为本发明显示器的触摸控制方法第二实施例的流程示意图，图3也为图2中步骤S20的细化流程图，基于上述第一实施例，步骤S20包括：
步骤S21，获取所述图像中各个像素点的坐标信息；
步骤S22，删除所述图像中坐标信息超出预设区域的像素点，得到更新后的所述图像；
步骤S23，根据更新后的所述图像获取用户的手势信息。
图像可包括空白像素点以及用户作用后的非空白像素点。预设区域可以是像素点的坐标范围。预设区域可以是设计人员根据需要预先设置的，可通过调整激光传感器的位置以及扫描组件的功率进行设置。
由于激光传感器的照射区域为平行于显示屏的平面，且照射区域大于预设区域，进而，超出预设区域的部分也能被激光传感器检测到，因此，需要过滤掉图像中坐标信息超出预设区域的像素点，即删除图像中坐标信息超出预设区域的像素点，以得到过滤后的图像，即更新后的图像。
终端设备在获取到图像中各个像素点的坐标信息后，删除坐标信息超出预设区域的坐标范围的像素点，可过滤掉无关像素点，对图像有平滑的效果，得到更新后的图像，并根据更新后的图像获取用户的手势信息。
在本实施例中，可过滤掉图像中超出预设区域的坐标范围的像素点，以过滤掉无关像素点，对图像进行平滑处理，以便对图像的处理更加精准，具有准确识别用户的手势信息的有益效果。
参照图4，图4为本发明显示器的触摸控制方法第三实施例的流程示意图，基于上述第一实施例或第二实施例，图4也为图2中步骤S20的细化流程图，步骤S20还包括：
步骤S24，获取预设时间间隔内生成的多张所述图像；
步骤S25，获取各个所述图像的用户的作用区域，其中，所述作用区域根据相邻的图像确定；
在预设时间间隔内，终端设备可根据激光传感器检测到的反射信号与激光信号生成多张图像，其中，预设时间间隔可以是设计人员预先设置的，如1秒内。可以理解的是，用户对显示屏进行控制时，作用在激光传感器的照射区域存在一段时间，而激光传感器发射激光的频率较高，进而，可生成多张图像。
终端设备在获取到多张图像后，比对相邻图像之间的差值来确定用户的作用区域。作用区域可以是用户作用在激光传感器照射区域的位置，可由多个像素点组成。
可选地，可通过三帧差分方法来确定用户的作用区域，通过相邻的连续三张图像，来获取用户的作用区域的变化。终端设备可对第一张图像与第二张图像做差分，得到第一组用户的作用区域的形状轮廓；再对第二张图像与第三张图像做差分，得到第二组用户的作用区域的形状轮廓；对第一组用户的作用区域的形状轮廓与第二组用户的作用区域的形状轮廓做“并”运算，进而确定用户在当前图像的作用区域。
类似地，可得到各个图像的用户的作用区域。
步骤S26，获取各个所述图像的作用区域的质心；
终端设备在获取到图像中用户的作用区域后，可得到作用区域的质心。质心可以是作用区域的中心点。类似地，可获取各个图像中用户的作用区域的质心。
可选地，获取作用区域的质心包括：
获取所述图像的作用区域中每个像素点的坐标；
获取所述图像的作用区域中每个所述像素点的坐标的平均值；
将所述平均值作为所述图像的作用区域的质心。
终端设备可获取作用区域中每个像素点的坐标，并计算各个像素点的坐标的平均值。可以理解的是，同一轴上每个像素点在该轴的坐标之和与像素点的总数量的比值，即为该轴的平均值，同理，可获取另一轴上的平均值。将作用区域的两个轴的平均值所构成的坐标作为图像的作用区域的质心。可通过质心替代用户的作用区域，以便准确获取质心的运动轨迹，进而准确获取用户的手势信息。
步骤S27，根据各个所述图像的作用区域的质心获取所述用户的手势信息。
终端设备在获取到各个图像的作用区域的质心后，按时序根据质心的位置变化或移动轨迹获取用户的手势信息。需要说明的是，质心的坐标可以是用户的作用位置，可将质心的坐标转换成显示器中当前显示界面的位置。
在本实施例中，通过生成多张图像，根据相邻图像确定用户的作用区域，并获取各个图像中作用区域的质心，根据各个图像的作用区域的质心获取用户的手势信息，通过质心替代用户的作用区域，可精准获取用户的作用位置以及运动轨迹，进而提高获取用户手势信息的准确度的有益效果。
参照图5，图5为本发明显示器的触摸控制方法第四实施例的流程示意图，基于上述第一至第三实施例中的任一实施例，所述显示器的触摸控制方法还包括：
步骤S40，获取所述显示屏的的尺寸信息；
步骤S50，获取所述激光传感器的中心位置，并获取所述激光传感器的中心位置到所述显示屏的中心位置的距离；
步骤S60，根据所述激光传感器的中心位置、所述距离、所述显示屏的尺寸信息确定所述预设区域的坐标范围。
在本实施例中，终端设备可根据显示屏的尺寸确定预设区域的坐标范围，可使预设区域与显示屏的显示区域重合。终端设备可根据显示屏的配置信息，获取配置信息中的显示屏的尺寸信息，其中，尺寸信息可包括显示屏的宽W以及高H。
终端设备获取激光传感器的中心位置，其中，传感器的中心位置可以是扫描组件中的发射光源所在的位置。终端设备可获取到激光传感器的中心位置到显示屏的中心位置的距离d，其中，显示屏的中心位置为显示屏的中心点的位置。
终端设备以激光传感器的中心位置为原点，以平行于显示屏的宽所在的直线为X轴，正方向为向右的方向，以平行于显示屏的高所在的直线为Y轴，正方向为原点到显示器的显示屏幕的方向，建立平面直角坐标系。由于预设区域与显示屏的显示区域重合，进而可以得到预设区域左上角的起始坐标，以预设区域左上角的起始坐标为起始点，以显示屏的宽为预设区域在X轴的坐标范围，以显示屏的高为预设区域在Y轴的坐标范围，进而可以得到预设区域的坐标范围。
预设区域的左上角的起始坐标可以是(-W/2，-H/2+d)，那么，预设区域在X轴的取值范围由-W/2到W/2；预设区域在Y轴的取值范围由-H/2+d到-H/2+d+H。
可选地，终端设备可将预设区域进行网格化处理，使网格的大小与显示屏的像素点大小相同，可将预设区域的网格转化成像素点。如此，用户作用在激光传感器的照射区域的作用区域可分布在预设区域的像素点上，可将用户的作用区域的像素点通过矩阵转换的形式转换成显示屏中对应的像素点，如此，终端设备可获取用户的作用区域在显示屏中对应的作用区域，从而实现根据用户的手势信息执行对应的控制指令。进而，预设区域中的像素点的物理尺寸可根据显示屏的分辨率得到。
进一步地，配置信息还可包括显示屏的分辨率(SW，SH)，即显示屏的宽所在方向的分辨率为SW，显示屏的高所在方向的分辨率为SH。由于预设区域的分辨率与显示屏的分辨率相同，进而，预设区域中像素点的宽为W/SW；预设区域中像素点的高为H/SH。
进一步地，预设区域中的像素点的物理尺寸可进行调整，存在一个调整参数α，那么，相应地，预设区域中像素点的宽为α*W/SW；预设区域中像素点的高为α*H/SH。当α>1时，预设区域的分辨率高、精度高，但响应速度较慢；当α<1时，预设区域的分辨率低、精度低，但响应速度快；综合分辨率以及响应速度，α＝1时，预设区域的分辨率比较合适，响应速度也快。
可选地，所述显示器的触控方法还包括：
根据所述坐标范围获取所述预设区域的面积；
根据所述显示屏的尺寸信息获取所述显示屏的面积；
在所述预设区域的面积大于所述显示屏的面积时，输出所述预设区域设置错误的提示信息。
由于预设区域为长方形，终端设备可根据坐标范围可获取预设区域的面积，并可根据显示屏的尺寸信息获取显示屏的面积，即宽与高相乘。在预设区域的面积大于显示屏的面积时，即预设区域超出显示屏，可在显示屏的当前显示界面上显示预设区域设置错误的提示信息，可以弹话框的形式显示。
在本实施例中，根据显示屏的尺寸信息，激光传感器的中心位置，以及激光传感器的中心位置到显示屏的中心位置的距离确定预设区域的坐标范围，使预设区域与显示屏的显示区域重合，具有操作方便、直观的有益效果。
参照图6，图6为本发明显示器的触摸控制方法第五实施例的流程示意图，基于上述第一至第三实施例中的任一实施例，与上述第四实施例处于并列实施例，所述显示器的触摸控制方法还包括：
步骤S70，通过所述激光传感器检测所述显示器多个预设位置的坐标；
步骤S80，根据所述多个预设位置的坐标以及所述激光传感器的中心位置确定所述预设区域的坐标范围。
在终端设备获取不到显示屏的配置信息时，可通过激光传感器检测显示器多个预设位置的坐标，得到显示屏的宽与高。其中，预设位置可以是显示屏的顶点的位置；多个可大于3个。以显示屏的四个顶点为例，通过激光传感器可检测到四个顶点的坐标分别为(x1,y1)，(x2,y2)，(x3,y3)和(x4,y4)，其中，左上角的坐标为(x1,y1)。根据四个顶点的坐标可得到显示屏的宽以及高，其中，宽W为(x4-x3)与(x2-x1)中的最小值，高H为(y4-y3)与(y2-y1)中的最小值。
终端设备可根据起始点的坐标(x1,y1)，以及起始点的坐标为(-W/2，-H/2+d)，计算得到激光传感器的中心位置到显示屏的中心位置的距离d，进而，确定激光传感器的中心位置。
终端设备以激光传感器的中心位置为原点，以平行于显示屏的宽所在的直线为X轴，正方向为向右的方向，以平行于显示屏的高所在的直线为Y轴，正方向为原点到显示器的显示屏幕的方向，建立平面直角坐标系。
终端设备以预设区域左上角的起始坐标为起始点，以显示屏的宽为预设区域在X轴的坐标范围，以显示屏的高为预设区域在Y轴的坐标范围，进而可以得到预设区域的坐标范围。
在本实施例中，通过激光检测器检测多个预设区域的坐标，获取显示屏的尺寸信息，根据显示屏的尺寸信息以及激光传感器的中心位置确定预设区域的坐标范围，使预设区域与显示屏的显示区域重合，使预设区域的确定具有普适性的有益效果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种显示器的触摸控制方法，其特征在于，所述显示器上设有激光传感器，所述激光传感器包括扫描组件以及接收组件，所述扫描组件用于发射激光信号，所述接收组件用于接收反射信号，所述激光信号所在的平面与所述显示器的显示屏平行，所述显示器的触摸控制方法包括：
在通过激光传感器的接收组件接收到反射信号后，根据激光信号以及所述反射信号生成图像；
根据图像获取用户的手势信息；
执行所述手势信息对应的控制操作。
2.如权利要求1所述的显示器的触摸控制方法，其特征在于，所述根据图像获取用户的手势信息的步骤包括：
获取所述图像中各个像素点的坐标信息；
删除所述图像中坐标信息超出预设区域的像素点，得到更新后的所述图像；
根据更新后的所述图像获取用户的手势信息。
3.如权利要求1所述的显示器的触摸控制方法，其特征在于，所述根据图像获取用户的手势信息的步骤还包括：
获取预设时间间隔内生成的多张所述图像；
获取各个所述图像的用户的作用区域，其中，所述作用区域根据相邻的图像确定；
获取各个所述图像的作用区域的质心；
根据各个所述图像的作用区域的质心获取所述用户的手势信息。
4.如权利要求3所述的显示器的触摸控制方法，其特征在于，所述获取各个所述图像的作用区域的质心的步骤包括：
获取所述图像的作用区域中每个像素点的坐标；
获取所述图像的作用区域中每个所述像素点的坐标的平均值；
将所述平均值作为所述图像的作用区域的质心。
5.如权利要求2所述的显示器的触摸控制方法，其特征在于，所述显示器的触摸控制方法还包括：
获取所述显示屏的的尺寸信息；
获取所述激光传感器的中心位置，并获取所述激光传感器的中心位置到所述显示屏的中心位置的距离；
根据所述激光传感器的中心位置、所述距离、所述显示屏的尺寸信息确定所述预设区域的坐标范围。
6.如权利要求5所述的显示器的触摸控制方法，其特征在于，所述显示器的触摸控制方法还包括：
根据所述坐标范围获取所述预设区域的面积；
根据所述显示屏的尺寸信息获取所述显示屏的面积；
在所述预设区域的面积大于所述显示屏的面积时，输出所述预设区域设置错误的提示信息。
7.如权利要求2所述的显示器的触摸控制方法，其特征在于，所述显示器的触摸控制方法还包括：
通过所述激光传感器检测所述显示器多个预设位置的坐标；
根据所述多个预设位置的坐标以及所述激光传感器的中心位置确定所述预设区域的坐标范围。
8.如权利要求1所述的显示器的触摸控制方法，其特征在于，所述执行所述手势信息对应的控制操作的步骤包括：
根据所述手势信息获取所述显示器上当前显示界面对应的位置信息以及运动信息；
根据所述位置信息以及所述运动信息执行对应的控制操作。
9.一种终端设备，其特征在于，所述终端设备包括显示器、处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的显示器的触摸控制程序，所述显示器的触摸控制程序被所述处理器执行时实现如权利要求1至8中任一项所述的显示器的触摸控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有显示器的触摸控制程序，所述显示器的触摸控制程序被处理器执行时实现如权利要求1至8中的任一项所述的显示器的触摸控制方法的步骤。
CN201911424297.3A 2019-12-31 2019-12-31 显示器的触摸控制方法、终端设备及存储介质 Pending CN111078018A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911424297.3A CN111078018A (zh) 2019-12-31 2019-12-31 显示器的触摸控制方法、终端设备及存储介质
US17/758,254 US11941207B2 (en) 2019-12-31 2020-08-25 Touch control method for display, terminal device, and storage medium
EP20910921.4A EP4086730A4 (en) 2019-12-31 2020-08-25 TOUCH CONTROL METHOD FOR DISPLAY, TERMINAL AND STORAGE MEDIUM
PCT/CN2020/111041 WO2021135288A1 (zh) 2019-12-31 2020-08-25 显示器的触摸控制方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911424297.3A CN111078018A (zh) 2019-12-31 2019-12-31 显示器的触摸控制方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN111078018A true CN111078018A (zh) 2020-04-28

Family

ID=70321612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911424297.3A Pending CN111078018A (zh) 2019-12-31 2019-12-31 显示器的触摸控制方法、终端设备及存储介质

Country Status (4)

Country Link
US (1) US11941207B2 (zh)
EP (1) EP4086730A4 (zh)
CN (1) CN111078018A (zh)
WO (1) WO2021135288A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351325A (zh) * 2020-11-06 2021-02-09 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质
CN112346644A (zh) * 2020-11-19 2021-02-09 深圳Tcl新技术有限公司 基于激光感应的交互方法、终端设备及可读存储介质
WO2021135288A1 (zh) * 2019-12-31 2021-07-08 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质
CN113293832A (zh) * 2021-05-12 2021-08-24 唐山惠米智能家居科技有限公司 一种智能坐便器的激光投影控制系统及方法
CN114415865A (zh) * 2020-10-28 2022-04-29 深圳Tcl新技术有限公司 一种交互方法、计算机设备、计算机可读存储介质
CN114442851A (zh) * 2022-01-28 2022-05-06 深圳Tcl新技术有限公司 激光处理方法、装置、存储介质、显示设备及激光设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721829B (zh) * 2021-08-11 2023-07-18 上海卓越睿新数码科技股份有限公司 基于手势操作的全景课件平滑旋转操控的方法及系统
CN113900513B (zh) * 2021-09-26 2022-10-11 上海交通大学 基于可见光信号的隔空手势控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236657A (zh) * 2008-03-03 2008-08-06 吉林大学 单一运动目标轨迹的跟踪与记录方法
CN105807989A (zh) * 2016-02-29 2016-07-27 深圳柔石科技有限公司 一种手势触控方法和系统
CN209283349U (zh) * 2019-02-27 2019-08-20 维沃移动通信有限公司 一种深度摄像头及移动终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101634919B (zh) * 2009-09-01 2011-02-02 北京途拓科技有限公司 一种手势识别的装置与方法
CN102523395B (zh) * 2011-11-15 2014-04-16 中国科学院深圳先进技术研究院 具有多点触控功能的电视系统、触控定位识别方法及系统
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
US9229583B2 (en) 2013-05-29 2016-01-05 Otter Products, Llc Object location determination including writing pressure information of a stylus
JP2015125705A (ja) * 2013-12-27 2015-07-06 船井電機株式会社 画像表示装置
CN104331193A (zh) 2014-12-01 2015-02-04 湖北印象光电信息产业有限公司 一种红外精准多点触控平台
KR20170021665A (ko) 2015-08-18 2017-02-28 주식회사 엠오에스 (Mos) 광학식 터치스크린 기능을 갖는 디스플레이 장치
KR101976605B1 (ko) 2016-05-20 2019-05-09 이탁건 전자기기 및 그 동작 방법
DE102017210316A1 (de) * 2017-06-20 2018-12-20 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste
CN111078018A (zh) 2019-12-31 2020-04-28 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236657A (zh) * 2008-03-03 2008-08-06 吉林大学 单一运动目标轨迹的跟踪与记录方法
CN105807989A (zh) * 2016-02-29 2016-07-27 深圳柔石科技有限公司 一种手势触控方法和系统
CN209283349U (zh) * 2019-02-27 2019-08-20 维沃移动通信有限公司 一种深度摄像头及移动终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135288A1 (zh) * 2019-12-31 2021-07-08 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质
US11941207B2 (en) 2019-12-31 2024-03-26 Shenzhen Tcl New Technology Co., Ltd. Touch control method for display, terminal device, and storage medium
CN114415865A (zh) * 2020-10-28 2022-04-29 深圳Tcl新技术有限公司 一种交互方法、计算机设备、计算机可读存储介质
CN112351325A (zh) * 2020-11-06 2021-02-09 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质
CN112351325B (zh) * 2020-11-06 2023-07-25 惠州视维新技术有限公司 基于手势的显示终端控制方法、终端和可读存储介质
CN112346644A (zh) * 2020-11-19 2021-02-09 深圳Tcl新技术有限公司 基于激光感应的交互方法、终端设备及可读存储介质
CN113293832A (zh) * 2021-05-12 2021-08-24 唐山惠米智能家居科技有限公司 一种智能坐便器的激光投影控制系统及方法
CN114442851A (zh) * 2022-01-28 2022-05-06 深圳Tcl新技术有限公司 激光处理方法、装置、存储介质、显示设备及激光设备

Also Published As

Publication number Publication date
WO2021135288A1 (zh) 2021-07-08
EP4086730A1 (en) 2022-11-09
US11941207B2 (en) 2024-03-26
US20230025945A1 (en) 2023-01-26
EP4086730A4 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
CN111078018A (zh) 显示器的触摸控制方法、终端设备及存储介质
US7518596B2 (en) Method and apparatus for computer input using six degrees of freedom
EP2296080A2 (en) Camera-based touch system
US9116553B2 (en) Method and apparatus for confirmation of object positioning
EP2590057A2 (en) Optical tablet stylus and indoor navigation system
US20160334884A1 (en) Remote Sensitivity Adjustment in an Interactive Display System
CN103365617B (zh) 一种投影控制系统、装置及投影控制方法
CN108089772B (zh) 一种投影触控方法和装置
US10401947B2 (en) Method for simulating and controlling virtual sphere in a mobile device
EP4083757A1 (en) Touchless input interface for an electronic display using multiple sensors
JP2012048393A (ja) 情報処理装置およびその動作方法
CN111258411A (zh) 一种用户交互方法及设备
WO2015159547A1 (ja) 情報処理システム、制御方法、及びプログラム記録媒体
US20080018599A1 (en) Space positioning and directing input system and processing method therefor
US10073614B2 (en) Information processing device, image projection apparatus, and information processing method
US20150185321A1 (en) Image Display Device
US9113053B2 (en) Input apparatus and method for acquiring a scan image
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
JP5724688B2 (ja) 情報処理装置、入力装置移動比率設定方法、入力装置移動比率設定プログラム
KR100969927B1 (ko) 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
JP2006338328A (ja) 操作システム、処理装置、指示装置、操作方法およびプログラム
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
WO2018145264A1 (zh) 超声医学检测设备及成像控制方法、成像系统、控制器
CN107977071B (zh) 一种适用于空间系统的操作方法及装置
US20240212269A1 (en) Information processing apparatus, information processing method, program, and information processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428