CN108363485A - 非触摸屏显示终端的控制方法、装置、系统和计算机设备 - Google Patents

非触摸屏显示终端的控制方法、装置、系统和计算机设备 Download PDF

Info

Publication number
CN108363485A
CN108363485A CN201810074643.9A CN201810074643A CN108363485A CN 108363485 A CN108363485 A CN 108363485A CN 201810074643 A CN201810074643 A CN 201810074643A CN 108363485 A CN108363485 A CN 108363485A
Authority
CN
China
Prior art keywords
image
video image
touch
value
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810074643.9A
Other languages
English (en)
Other versions
CN108363485B (zh
Inventor
林凡
成杰
张秋镇
杨峰
李盛阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GCI Science and Technology Co Ltd
Original Assignee
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GCI Science and Technology Co Ltd filed Critical GCI Science and Technology Co Ltd
Priority to CN201810074643.9A priority Critical patent/CN108363485B/zh
Publication of CN108363485A publication Critical patent/CN108363485A/zh
Application granted granted Critical
Publication of CN108363485B publication Critical patent/CN108363485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请涉及一种非触摸屏显示终端的控制方法、系统、计算机设备和存储介质。所述方法包括：获取第一图像采集装置和第二图像采集装置在同一时刻拍摄得到的非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，在第一视频图像和第二视频图像中的显示屏图像分别为一条直线和一个平面；在第一视频图像中的触摸体图像与显示屏图像对应的直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标。采用本发明方案，能够提升人非触摸屏显示终端的机交互效率。

Description

非触摸屏显示终端的控制方法、装置、系统和计算机设备
技术领域
本申请涉及人机交互技术领域，特别是涉及一种非触摸屏显示终端的控制方法、装置、系统、计算机设备和存储介质。
背景技术
在信息高速发展的时代，显示技术作为信息传播的最终环节所依托的技术基础，是信息传播过程中不可或缺的一环。在大型超市或者商场、医院等公共产所均安装大量的显示终端，由于人机交互需求的不断提高，原有的一些显示终端(显示屏不是触摸屏的终端)无法向触摸屏一样实现人机交互。
传统的实现对原有的显示终端的人机交互的一种方式为：将显示屏需垂直安装，照相机安装在显示屏斜上方，在高速照相机前安置一个偏振片，消除显示屏上的偏振光，去除视频中的噪音影响，再提取手部位的外轮廓，利用形状空间理论方法来识别手势，根据识别的手势变化来操作显示终端，实现了人机交互。然而，这种方式中，手势识别难度较大且容易被判定无效，使得人机交互效率低。
发明内容
基于此，有必要针对上述人机交互效率低的技术问题，提供一种能够提升非触摸屏显示终端的人机交互效率的非触摸屏显示终端的控制方法、装置、系统、计算机设备和存储介质。
一种非触摸屏显示终端的控制方法，该方法包括：
获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；
在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；
根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系；
根据接触位置坐标控制非触摸屏显示终端。
在其中一个实施例中，上述的非触摸屏显示终端的控制方法还包括：将第一视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第一二值化图像，根据第一二值化图像确定对应的触摸体图像在第一视频图像中的第一目标区域，在第一目标区域与一条直线有交点时，判定第一视频图像中的触摸体图像与一条直线有交点。
在其中一个实施例中，上述的根据第二视频图像中的触摸体图像确定图上触摸点位置坐标的步骤包括：将第二视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第二二值化图像，根据第二二值化图像确定对应的触摸体图像在第二视频图像中的第二目标区域，根据第二目标区域确定图上触摸点位置坐标。
在其中一个实施例中，上述的根据第一二值化图像确定对应的触摸体图像在第一视频图像中的第一目标区域的步骤包括：将第一二值化图像分别按照列和行进行灰度值统计得到第一统计结果，根据第一统计结果确定有灰度值为第一数值的像素点且左右相邻没有灰度值为第一数值的像素点的第一目标像素列和第一目标像素行，将第一目标像素列和第一目标像素行的灰度值置为第二数值，得到第三二值化图像，根据第三二值化图像确定第一目标区域；上述的根据第二二值化图像确定对应的触摸体图像在第二视频图像中的第二目标区域的步骤包括：将第二二值化图像分别按照列和行进行灰度值统计得到第二统计结果，根据第二统计结果确定有灰度值为第一数值像素点的且左右相邻没有灰度值为第二数值的像素点的第二目标像素列和第二目标像素行，将第二目标像素列和第二目标像素行的灰度值置为第二数值，得到第四二值化图像，根据第四二值化图像确定第二目标区域。
在其中一个实施例中，在根据第三二值化图像确定在一条直线对应的像素行上存在灰度值为第一数值的像素点时，判定第一目标区域与一条直线有交点。
在其中一个实施例中，上述的根据第二目标区域确定图上触摸点位置坐标的步骤包括：根据第四二值化图像查询像素值为第一数值且距离目标边缘最近的像素点，将该像素值为第一数值且距离目标边缘最近的像素点的坐标确定为图上触摸点位置坐标，目标边缘为与第二图像采集装置距离最近的显示屏边缘在第二视频图像中的图像。
在其中一个实施例中，上述的第一图像采集装置和第二图像采集装置设置在显示屏的边缘侧且朝向显示屏拍摄。
在其中一个实施例中，上述的触摸屏显示终端的触摸点定位方法还包括：通过设置在非触摸屏显示终端上的距离检测装置或者红外检测装置的检测数据检测预设距离范围内是否有操作人员，在判定存在操作人员时，启动两个图像采集装置，在判定操作人员离开时，关闭两个图像采集装置。
在其中一个实施例中，上述的坐标对应关系为x′＝k1x和y′＝k2y；其中，x′和y′分别指接触位置坐标的横坐标值和纵坐标值，x和y分别指图上触摸点位置坐标的横坐标值和纵坐标值，k1和k2为预设的比例系数。
一种非触摸屏显示终端的控制装置，该装置包括：
图像获取模块，用于获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；
定位模块，用于在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系；
控制模块，用于根据接触位置坐标控制非触摸屏显示终端。
一种非触摸屏显示终端的控制系统，该系统包括交互控制模块、第一图像采集装置和第二图像采集装置；
交互控制模块用于获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；交互控制模块还用于在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标，根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，根据接触位置坐标控制非触摸屏显示终端，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；
在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；
根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系；
根据接触位置坐标控制非触摸屏显示终端。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；
在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；
根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系；
根据接触位置坐标控制非触摸屏显示终端。
上述非触摸屏显示终端的控制方法、装置、系统、计算机设备和存储介质，由于在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面，可以基于第一视频图像判断操作人员是否在操作显示屏，在判定第一视频图像中的触摸体图像与一条直线有交点时(说明此时操作人员在操作显示屏)根据第二视频图像中的触摸体图像确定图上触摸点位置坐标，且由于是根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，如此，可以降低手势识别难度，也不容易被判无效，可以提升人机交互效率。
附图说明
图1-1为一个实施例中的非触摸屏显示终端的控制方法的应用环境图；
图1-2为一个实施例中的非触摸屏显示终端的内部结构示意图；
图1-3为一个实施例中的非触摸屏显示终端的控制方法的实现流程示意图；
图2为另一个实施例中的非触摸屏显示终端的控制方法的实现流程示意图；
图3-1为在确定坐标对应关系的离线训练中的训练点选取示意图；
图3-2为再一个实施例中的非触摸屏显示终端的控制方法的实现流程示意图；
图3-3为一个实施例中的二值化图像的示意图；
图3-4为对图3-3中的二值化图像对应的列灰度统计直方图；
图3-5为对图3-3中的二值化图像对应的行灰度统计直方图；
图4为一个实施例中非触摸屏显示终端的控制装置的组成结构框图；
图5为一个实施例中非触摸屏显示终端的控制系统的组成结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的非触摸屏显示终端的控制方法，可以应用于如图1-1所示的应用环境中。具体地，在传统的非触摸屏显示终端101的显示屏的上方一下一上重叠放置第一视频采集装置102、第二视频采集装置103，需要说明的是，第一视频采集装置102、第二视频采集装置103并不限于这种方式，可以是任意能保证在第一视频采集装置102采集的第一视频图像中的显示屏图像为一条直线，在第二视频采集装置103采集的第二视频图像中的显示屏图像为一个平面的设置方式。其中，非触摸屏显示终端101是指显示屏为非触摸屏的显示终端，包括各种非触摸屏的的一体机、平板电脑和拼接显示设备等。第一视频采集装置102、第二视频采集装置103负责采集操作人员在显示屏上操作时的视频图像。图1-2为一个实施例中显示非触摸显示设备的内部结构示意图。该非触摸显示设备包括通过系统总线连接的处理器、非易失性存储介质、网络接口、内存储器、输入装置。其中该非触摸显示设备的非易失性存储介质存储有操作系统，还包括一种非触摸屏显示终端的控制装置，该非触摸屏显示终端的控制装置用于实现一种非触摸屏显示终端的控制方法。该处理器用于提供计算和控制能力，支撑整个非触摸显示设备的运行。非触摸显示设备中的内存储器为非易失性存储介质中的触摸操作控制装置的运行提供环境，网络接口用于与服务器或者其他终端进行通信，如当非触摸显示设备响应点击操作可以产生控制命令发送到服务器或者其他终端等。输入装置可以为非触摸显示设备的显示屏。具体的，非触摸显示设备的控制装置可获取由第一图像采集装置和第二图像采集装置在同一时刻拍摄非触摸屏显示终端的显示屏的显示侧得到的第一视频图像和第二视频图像，在判定第一视频图像中的触摸体图像与第一视频图像中的显示屏图像所在的直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标，根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，根据接触位置坐标控制非触摸屏显示终端，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系。
在一个实施例中，如图1-3所示，提供了一种非触摸屏显示终端的控制方法，以该方法应用于图1-1、图1-2中的非触摸屏显示终端为例进行说明，包括：
步骤S101：获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；
本实施例中，通过预先调试第一图像采集装置的拍摄方向，可以使得在第一视频图像中的显示屏图像为一条直线，例如，可以将第一视频采集装置的拍摄方向调试成朝向显示屏且与显示屏所在平面平行，且通过调试使得显示屏在成像时是一条直线。该直线相当于显示屏的横向边缘或者纵向边缘的垂直投影，该直线在第一视频视频图像中可占据一行或者多行像素。其中，显示屏图像是指显示屏所成图像。同时，通过调试第二图像采集装置的拍摄方向，使得第二图像采集装置能拍摄到显示屏的整个平面。
步骤S102：在第一视频图像中的触摸体图像与在第一视频图像中的显示屏图像对应的直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；
具体地，检测第一视频图像中的触摸体图像与在第一视频图像中的显示屏图像对应的直线(即上述步骤S101中的一条直线)是否有交点，若有，则说明触摸体与显示屏存在接触，即此时操作人员正在操作显示屏，这时根据第二视频图像中的触摸体图像确定图上触摸点位置坐标，若无，则判定触摸体与显示屏不存在接触，即此时操作人员没在操作显示屏，重新返回步骤S101，进行下一次的第一视频图像和第二视频图像的获取过程。其中，显示屏图像是指显示屏所成的图像，图上触摸点位置坐标是指在第二视频图像中对应触摸点位置的坐标。触摸体可以是至少一只手或者一个或多个手指，也可以是任何适当的物体或者配件，例如指示笔等。
步骤S103：根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系；
具体地，可以根据预设的坐标对应关系查询与图上触摸点位置坐标对应的实际显示屏上的坐标，即触摸体与显示屏的接触位置坐标。这里，坐标对应关系表征了第二视频图像中的显示屏图像的各点的坐标与实际显示上各点的坐标的对应关系。
步骤S104：根据接触位置坐标控制非触摸屏显示终端。
具体地，可以根据显示屏的显示内容以及接触位置坐标做出响应，以确定非触摸屏显示终端下一步需要显示的内容。
据此，根据上述本实施例的方案，其是获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系；根据接触位置坐标控制非触摸屏显示终端。由于在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面，，可以基于第一视频图像判断操作人员是否在操作显示屏，在判定第一视频图像中的触摸体图像与一条直线有交点时(说明此时操作人员在操作显示屏)根据第二视频图像中的触摸体图像确定图上触摸点位置坐标，且由于是根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，如此，可以降低手势识别难度，也不容易被判无效，可以提升人机交互效率。
上述的接触位置坐标可以是(x，y)，其中，x和y分别指触摸体与显示屏的接触位置的横坐标值和纵坐标值。
在其中一个实施例中，本发明的非触摸屏显示终端的控制方法，还可以包括：将第一视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第一二值化图像，根据第一二值化图像确定对应的触摸体图像在第一视频图像中的第一目标区域，在第一目标区域与在第一视频图像中的显示屏图像对应的直线有交点时，判定第一视频图像中的触摸体图像与在第一视频图像中的显示屏图像对应的直线有交点。
其中，触摸体颜色值范围由触摸体的颜色范围预先确定，例如，触摸体为手时，触摸体颜色值范围是根据手的颜色范围确定。在第一视频图像中的显示屏图像对应的直线上存在像素值为第一数值的像素点时，判定第一目标区域与在第一视频图像中的显示屏图像对应的直线有交点，即第一视频图像中的触摸体图像与一条直线有交点。
本实施例中，通过比较各个像素点的颜色与预设的触摸体颜色值范围方式定位出第一视频图像中的触摸体图像所在区域，并通过检测该区域与直线交点的方式判断对应的触摸体图像是否与在第一视频图像中的显示屏图像对应的直线有交点，算法简单，且检测结果准确，可以提升非触摸屏显示终端控制的准确性。
在其中一个实施例中，上述的根据第二视频图像中的触摸体图像确定图上触摸点位置坐标的步骤包括：将第二视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第二二值化图像，根据第二二值化图像确定对应的触摸体图像在第二视频图像中的第二目标区域，根据第二目标区域确定图上触摸点位置坐标。
本实施例中，通过比较各个像素点的颜色与预设的触摸体颜色值范围方式定位出第二视频图像中的触摸体图像所在区域，并根据第二目标区域确定图上触摸点位置坐标，算法简单，且检测结果准确，可以提升非触摸屏显示终端控制的准确性。
其中，根据第二目标区域确定图上触摸点位置坐标的方式可以是：根据第二二值化图像查询像素值为第一数值且距离目标边缘最近的像素点，将该像素值为第一数值且距离目标边缘最近的像素点的坐标确定为图上触摸点位置坐标，其中，目标边缘为与第二图像采集装置距离最近的显示屏边缘在第二视频图像中的图像。
具体地，可以根据第二二值化图像从目标边缘开始逐行查询是否存在颜色值为第一数值的像素点，将首先查到的颜色值为第一数值的像素点作为第二目标区域上距离目标边缘最近的像素点，将该像素点的坐标确定为图上触摸点位置坐标，目标边缘为与第二图像采集装置距离最近的显示屏边缘在第二视频图像中的图像。
上述的第一数值和第二数值可以任意选取两个不同的数值，一般可以取1和0，例如，第一数值是1，第二数值是0；颜色值一般是指RGB色彩值；
在一个实施例中，如图2所示，提供了一种非触摸屏显示终端的控制方法，该方法包括：
步骤S201：获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；
步骤S202：将第一视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第一二值化图像，根据第一二值化图像确定对应的触摸体图像在第一视频图像中的第一目标区域，在第一目标区域与在第一视频图像中的显示屏图像对应的直线有交点时，判定第一视频图像中的触摸体图像与在第一视频图像中的显示屏图像对应的直线有交点；
步骤S203：在第一视频图像中的触摸体图像与在第一视频图像中的显示屏图像对应的直线有交点时，将第二视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第二二值化图像；
上述的步骤S202和步骤S203中，第一数值和第二数值可以任意选取两个不同的数值，一般可以取1和0，例如，第一数值是1，第二数值是0；颜色值一般是指RGB色彩值；
步骤S204：根据第二二值化图像确定对应的触摸体图像在第二视频图像中的第二目标区域，根据第二目标区域确定图上触摸点位置坐标；
其中，第二目标区域为像素值为第一数值的像素点所在区域；
具体地，可以根据第二二值化图像从目标边缘开始逐行查询是否存在颜色值为第一数值的像素点，将首先查到的颜色值为第一数值的像素点作为第二目标区域上距离目标边缘最近的像素点，将该距离目标边缘最近的像素点的坐标确定为图上触摸点位置坐标，目标边缘为与第二图像采集装置距离最近的显示屏边缘在第二视频图像中的图像。
步骤S205：根据接触位置坐标控制非触摸屏显示终端。
本实施例方案中，采用将各个像素点的颜色值与预设的触摸体颜色值范围进行比较的方式对第一视频图像和第二视频图像进行二值化处理，便于根据二值化处理后的图像确定出第一目标区域和第二目标区域。
考虑到触摸体成像时的面积会在一定的范围内连续，体现在灰度直方图上是存在连续的列中其灰度值不为第二数值，因此，为了去除噪声点和干扰点，可以找出有像素点的灰度值为第一数值但左右相邻没有像素点的灰度值为第一数值的像素列或者像素列，将这些像素列或者像素列的像素点的像素值为第二数值，得到新的二值化图像，以得到触摸体的初定位图片，以下以一个实施例进行说明。
在其中实施例中，上述的根据第一二值化图像确定对应的触摸体图像在第一视频图像中的第一目标区域的步骤包括：将第一二值化图像分别按照列和行进行灰度值统计得到第一统计结果，根据第一统计结果确定有灰度值为第一数值的像素点且左右相邻没有灰度值为第一数值的像素点的第一目标像素列和第一目标像素行，将第一目标像素列和第一目标像素行的灰度值置为第二数值，得到第三二值化图像，根据第三二值化图像确定第一目标区域；上述的根据第二二值化图像确定对应的触摸体图像在第二视频图像中的第二目标区域的步骤包括：将第二二值化图像分别按照列和行进行灰度值统计得到第二统计结果，根据第二统计结果确定有灰度值为第一数值像素点的且左右相邻没有灰度值为第二数值的像素点的第二目标像素列和第二目标像素行，将第二目标像素列和第二目标像素行的灰度值置为第二数值，得到第四二值化图像，根据第四二值化图像确定第二目标区域。
例如，在根据第一统计结果判定第n列上存在灰度值为第一数值的像素点，但第n+1列和第n-1列却都不存在灰度值为第一数值的像素点，则将第n列上灰度值为第一数值的像素点置为第二数值；或者，在根据第二统计结果判定第m行上存在灰度值为第一数值的像素点，但第m+1行和第m-1行却都不在灰度值为第一数值的像素点，则将第m行上灰度值为第一数值的像素点置为第二数值。
采用本实施例的方案，可以去除干扰点和噪声点对触摸体图像定位的影响，可以进一步提升接触位置定位的准确性。
在得到第三二值化图像之后，可以根据第三二值化图像判断在第一视频图像中的触摸体图像与第一视频图像中的显示屏图像所对应的直线是否有交点。具体地，在其中一个实施例中，在根据第三二值化图像确定在第一视频图像中的显示屏图像所对应的直线所在的像素行上存在灰度值为第一数值的像素点时，判定第一目标区域与在第一视频图像中的显示屏图像对应的直线有交点。
在得到和第四二值化图像之后，可以根据第四二值化图像确定接触位置坐标，具体地，在其中一个实施例中，上述的根据第二目标区域确定图上触摸点位置坐标的步骤可以包括：根据第四二值化图像查询像素值为第一数值且距离目标边缘最近的像素点，将该距离目标边缘最近的像素点的坐标确定为图上触摸点位置坐标，其中，目标边缘为与第二图像采集装置距离最近的显示屏边缘在第二视频图像中的图像。
其中，像素值为第一数值且距离目标边缘最近的像素点即第二目标区域上距离目标边缘最近的像素点。
此外，在其中一个实施例中，本发明的非触摸屏显示终端的触摸点定位方法，还可以包括：通过设置在非触摸屏显示终端上的距离检测装置或者红外检测装置的检测数据检测预设距离范围内是否有操作人员，在判定存在操作人员时，启动两个图像采集装置，在判定操作人员离开时，关闭两个图像采集装置。
其中，距离检测装置可以是距离传感器，红外检测装置可以是红外传感器；
具体地，可以判断距离检测装置或者红外检测装置的检测数据值是否高于预设的门限值，若是，则判定在预设距离范围内有操作人员，则启动两个图像采集装置。在启动两个图像采集装置后，若检测到距离检测装置或者红外检测装置的检测数据值低于预设的门限值，或者低于预设的门限值且超过一定时间，判定操作人员离开，关闭两个图像采集装置。
采用本实施例中的方案，只有在距离检测装置检测显示屏前有操作人员时，才启动两个图像采集装置，而在检测到操作人员离开时，能及时关闭两个图像采集装置，可以有效节约能耗。
在其中一个实施例中，上述的第一图像采集装置和第二图像采集装置可以设置在显示屏的边缘侧且朝向显示屏拍摄。采用本实施例的方案，可以尽量避免在操作人员操作非触摸屏显示终端，手掌被触摸体的身体遮住。
另外，上述的第一图像采集装置和第二图像采集装置一般是摄像头，但也可以是其他可以实现图像采集的设备。
在其中一个实施例中，上述的坐标对应关系可以为x′＝k1x和y′＝k2y；其中，x′和y′分别指接触位置坐标的横坐标值和纵坐标值，x和y分别指图上触摸点位置坐标的横坐标值和纵坐标值，k1和k2为预设的比例系数。
其中，k1和k2可以通过离线训练的方式得到。具体地，可以使一个手指接触显示屏，获取第二图像采集装置拍摄得到的图像，确定该图像中的手指图像所在像素点的位置，用手指在显示屏上的位置的横坐标值与该图像中的手指图像所在像素点的横坐标值的比值作为k1，用手指在显示屏上的位置的纵坐标值与该图像中的手指图像所在像素点的纵坐标值的比值作为k2。此外，也可以选择任意一组垂直的边缘上的两个点作为训练点，例如，将显示屏的一条横向边缘上标记出的训练点的横坐标值与第二图像采集装置拍摄得到的图像中的训练点图像的横坐标值的比值作为k1，将显示屏的一条纵向边缘上标记出的训练点的纵坐标值与第二图像采集装置拍摄得到的图像中的训练点图像的纵坐标值的比值作为k2。
为了便于理解本发明的方案，以下提供一具体示例进行说明，在该具体示例是以在非触摸屏显示终端上设置距离传感器和两个摄像头，人手操作非触摸屏显示终端，交互控制模块负责视频图像处理，且1作为第一数值，0作为第二数值为例进行说明，但这些并不能构成对发明方案的限定。
该示例中，两个摄像头分别一上一下安装在在显示屏的上方，为了便于区别，将下方的摄像头称为第一摄像头，将上方的摄像头称为第二摄像头。第一摄像头拍摄得到的图像中显示屏图像为一条直线，第二摄像头可以拍摄到整个显示屏，且第二摄像头拍摄得到的图像中显示屏图像为一个平面。距离传感器模块主要负责感应非触摸屏显示终端前是否有操作人员，并将判断结果反馈到交互控制模块；交互控制模块负责视频图像的处理，并将处理结果发送至显示终端的控制器，同时根据距离传感器模块反馈的结果启动或者关闭摄像头。
首先，通过离线训练获得第二摄像头拍摄得到的图像中显示屏平面位置坐标与实际显示屏平面位置坐标的对应关系。例如，选可选择在显示屏任意一组垂直的边缘上点，例如，图3-1中的A、B两点，获取A点在显示屏上的横坐标XRA以及B点在显示屏上的横坐标YRB，并获取二摄像头拍摄得到的图像中A点像的横坐标XIA以及B点的像的横坐标YIB，则坐标对应关系为x′＝k1x和y′＝k2y；其中，x′和y′分别指所述接触位置坐标的横坐标值和纵坐标值，x和y分别指所述图上触摸点位置坐标的横坐标值和纵坐标值，k1＝XRA/XIA，k2＝YRA/YIA。
如图3-2所示，该具体示例中的非触摸屏显示终端的控制方法包括：
步骤S301：当非触摸屏显示终端上的距离传感器模块检测到预设范围内可能有操作终端人员的存在时，将该信息反馈到交互控制模块，交互控制模块控制两个摄像头启动，开始采集视频图像；
步骤S302：两个摄像头将采集到的第一视频图像和第二视频图像发送给交互控制模块进行处理；
其中，交互控制模块对第一视频图像和第二视频图像进行处理的过程为如下的步骤S303～步骤S308；
步骤S303：将两个摄像头采集到的图像中进行二值化处理；
具体地，分别将两个摄像头采集到的第一视频图像和第二视频图像中在人手颜色值范围内的像素点置1，其他颜色置0，得到第一二值化图像和第二二值化图像；
图3-3为第一视频图像对应的二值化图像的示意图。
步骤S304：对二值化处理得到的图像进行灰度统计，得到灰度统计直方图；
具体地，对第一二值化图像分别按照列和行进行灰度统计，得到第一列灰度统计直方图和第一行灰度统计直方图；对第二二值化图像分别按照列和行进行灰度统计，得到第二列灰度统计直方图和第二行灰度统计直方图；
图3-4和图3-5为第一视频图像对应的二值化图像的列灰度统计直方图和行灰度统计直方图的示意图，灰度统计直方图表征的是对应的二值化图像的各列和各行中像素值为1的像素点的数量。
步骤S305：去除对二值化处理得到的图像的噪声点和干扰点；
具体地，根据第一列灰度统计直方图确定在第一二值化图像中的有灰度值为1的像素点的且左右相邻没有灰度值为1的第一目标像素列，将第一目标像素列上的像素点的像素值置0，且根据第一行灰度统计直方图确定在第一二值化图像中的有灰度值为1的像素点的且左右相邻没有灰度值为1的第一目标像素行，将第一目标像素行上的像素点的像素值置0，得到第三二值化图像；根据第二列灰度统计直方图确定在第二二值化图像中的有灰度值为1的像素点的且左右相邻没有灰度值为1的第二目标像素列，将第二目标像素列上的像素点的像素值置0，且根据第一行灰度统计直方图确定在第二二值化图像中的有灰度值为1的像素点的且左右相邻没有灰度值为1的第二目标像素行，将第二目标像素行上的像素点的像素值置0，得到第四二值化图像；
采用这种方式，是考虑到人手在成像时的面积会在一定的范围内连续，体现在灰度直方图上是存在连续的列中其颜色值不为0，因此，通过这种方式可以较有效地除去噪声点和干扰点。
步骤S306：对噪声点和干扰点去除后的图像进行进行滤波，得到完整的手的区域；
具体地，分别对第三二值化图像、第四二值化图像进行进行滤波，滤波后进行边缘检测并提取，得到第一视频图像和第二视频图像中的完整的手的区域；
在本步骤中，可以采用可以实现的滤波方法，例如中值滤波，在此不加赘述。
步骤S307：根据第三二值化图像检测第一视频图像中的手的区域与在第一视频图像中的显示屏图像对应的直线是否有交点；
即该直线上的像素点是否有颜色值为1的像素点；若有，即此刻操作人员正在操作显示屏，若没有，即此刻操作人员没有操作显示屏
步骤S308：确定接触位置，做出触摸响应；
具体地，若第一视频图像中的显示屏图像对应的直线上存在颜色值为1的像素点，根据第四二值化图像查询像素值为1且距离目标边缘最近的像素点，将该像素值为1且距离目标边缘最近的像素点的坐标确定为图上触摸点位置坐标，其中，目标边缘为与第二图像采集装置距离最近的显示屏边缘在所述第二视频图像中的图像。在获得图上触摸点位置坐标后，根据预设的坐标对应关系获取与该图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，并将该接触位置坐标的坐标由发送至相应的终端控制器，终端控制器根据显示屏的显示内容以及接收到的坐标做出响应，以确定非触摸屏显示终端下一步需要显示的内容；
若第一视频图像中的显示屏图像对应的直线不存在颜色值为1的像素点，即人手未与显示屏接触，此时交互控制模块不进行响应。
步骤S309：当非触摸屏显示终端上的距离传感器模块检测到预设范围内没有操作终端人员的存在时，将该信息反馈到交互控制模块，交互控制模块控制两个摄像头关闭；
如此，两个摄像头停止采集视频图像。
应该理解的是，虽然图1-3、图2以及图3-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，1-3、图2以及图3-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种非触摸屏显示终端的控制装置，包括图像获取模块401、定位模块402和控制模块403，其中：
图像获取模块401，用于获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；
定位模块402，用于在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标；根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系；
控制模块403，用于根据接触位置坐标控制非触摸屏显示终端。
在其中一个实施例中，定位模块402还可以用于将第一视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第一二值化图像，根据第一二值化图像确定对应的触摸体图像在第一视频图像中的第一目标区域，在第一目标区域与一条直线有交点时，判定第一视频图像中的触摸体图像与一条直线有交点。
在其中一个实施例中，定位模块402可以将第二视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第二二值化图像，根据第二二值化图像确定对应的触摸体图像在第二视频图像中的第二目标区域，根据第二目标区域确定图上触摸点位置坐标。
在其中一个实施例中，定位模块402可以将第一二值化图像按照列进行灰度值统计得到第一统计结果，根据第一统计结果确定有灰度值为第一数值的像素点的且左右相邻没有灰度值为第一数值的像素点的第一目标像素列，将第一目标像素列的灰度值置为第二数值，得到第三二值化图像，根据第三二值化图像确定第一目标区域，将第二二值化图像按照行进行灰度值统计得到第二统计结果，根据第二统计结果确定有灰度值为第一数值的像素点的且左右相邻没有灰度值为第二数值的像素点的第二目标像素列，将第二目标像素列的灰度值置为第二数值，得到第四二值化图像，根据第四二值化图像确定第二目标区域。
在其中一个实施例中，定位模块402可以根据第三二值化图像将在对应的显示屏图像所在直线上的灰度值为第一数值的像素点确定第一目标区域与第一视频图像中的显示屏图像所在直线的交点，根据第四二值化图像将在对应的显示屏图像所在直线上的灰度值为第一数值的像素点确定第二目标区域与第二视频图像中的显示屏图像所在直线的交点；根据第一目标区域与第一视频图像中的显示屏图像所在直线的交点确定接触位置的横坐标值，根据第二目标区域与第二视频图像中的显示屏图像所在直线的交点确定接触位置的纵坐标值。
在其中一个实施例中，定位模块402可以在根据第三二值化图像确定在一条直线对应的像素行上存在灰度值为第一数值的像素点时，判定第一目标区域与一条直线有交点。
在其中一个实施例中，定位模块402可以根据第四二值化图像查询像素值为第一数值且距离目标边缘最近的像素点，将该像素值为第一数值且距离目标边缘最近的像素点的坐标确定为图上触摸点位置坐标，目标边缘为与第二图像采集装置距离最近的显示屏边缘在第二视频图像中的图像。
在其中一个实施例中，上述的第一图像采集装置和第二图像采集装置设置在显示屏的边缘侧且朝向显示屏拍摄。
在其中一个实施例中控制模块403还可以用于通过设置在非触摸屏显示终端上的距离检测装置或者红外检测装置的检测数据检测预设距离范围内是否有操作人员，在判定存在操作人员时，启动两个图像采集装置，在判定操作人员离开时，关闭两个图像采集装置。
上述的坐标对应关系可以为x′＝k1x和y′＝k2y；其中，x′和y′分别指接触位置坐标的横坐标值和纵坐标值，x和y分别指图上触摸点位置坐标的横坐标值和纵坐标值，k1和k2为预设的比例系数。
关于非触摸屏显示终端的控制装置的具体限定可以参见上文中对于非触摸屏显示终端的控制方法的限定，在此不再赘述。上述非触摸屏显示终端的控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种非触摸屏显示终端的控制系统，该系统包括交互控制模块501和第一图像采集装置502、第二图像采集装置503；
交互控制模块501获取获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，第一视频图像和第二视频图像分别由第一图像采集装置502和第二图像采集装置503在同一时刻拍摄得到，在第一视频图像中的显示屏图像为一条直线，在第二视频图像中的显示屏图像为一个平面；交互控制模块还用于在第一视频图像中的触摸体图像与一条直线有交点时，根据第二视频图像中的触摸体图像确定图上触摸点位置坐标，根据预设的坐标对应关系获取与图上触摸点位置坐标对应的触摸体与显示屏的接触位置坐标，根据接触位置坐标控制非触摸屏显示终端，其中，坐标对应关系为第二视频图像中的显示屏图像的位置坐标与显示屏的位置坐标的对应关系。
在其中一个实施例中，非触摸屏显示终端的控制系统还可以包括设置在非触摸屏显示终端上的距离检测装置或者红外检测装置，交互控制模块通过距离检测装置或者红外检测装置检测预设距离范围内是否有操作人员，在判定存在操作人员时，启动两个图像采集装置，在判定操作人员离开时，关闭两个图像采集装置。
关于非触摸屏显示终端的控制系统的具体限定可以参见上文中对于非触摸屏显示终端的控制方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种非触摸屏显示终端的控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是计算机设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等，还可以显示屏。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意实施例中的非触摸屏显示终端的控制方法的步骤。该计算机可读存储介质所执行的方法与上述实施例中的非触摸屏显示终端的控制方法相同，此处不再赘述。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种非触摸屏显示终端的控制方法，所述方法包括：
获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，所述第一视频图像和所述第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在所述第一视频图像中的显示屏图像为一条直线，在所述第二视频图像中的显示屏图像为一个平面；
在所述第一视频图像中的触摸体图像与所述一条直线有交点时，根据所述第二视频图像中的触摸体图像确定图上触摸点位置坐标；
根据预设的坐标对应关系获取与所述图上触摸点位置坐标对应的触摸体与所述显示屏的接触位置坐标，其中，所述坐标对应关系为所述第二视频图像中的显示屏图像的位置坐标与所述显示屏的位置坐标的对应关系；
根据所述接触位置坐标控制所述非触摸屏显示终端。
2.根据权利要求1所述的非触摸屏显示终端的控制方法，其特征在于：
所述方法还包括：将所述第一视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在所述触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在所述触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第一二值化图像，根据所述第一二值化图像确定对应的触摸体图像在所述第一视频图像中的第一目标区域，在所述第一目标区域与所述一条直线有交点时，判定所述第一视频图像中的触摸体图像与所述一条直线有交点；
或者/和
所述根据所述第二视频图像中的触摸体图像确定图上触摸点位置坐标的步骤包括：将所述第二视频图像中各个像素点的颜色值分别与预设的触摸体颜色值范围进行比较，将颜色值在所述触摸体颜色值范围内的像素点的颜色值设置为第一数值，将颜色值未在所述触摸体颜色值范围内的像素点的颜色值设置为第二数值，得到第二二值化图像，根据所述第二二值化图像确定对应的触摸体图像在所述第二视频图像中的第二目标区域，根据所述第二目标区域确定所述图上触摸点位置坐标。
3.根据权利要求2所述的非触摸屏显示终端的控制方法，其特征在于：
所述根据所述第一二值化图像确定对应的触摸体图像在所述第一视频图像中的第一目标区域的步骤包括：将所述第一二值化图像分别按照列和行进行灰度值统计得到第一统计结果，根据所述第一统计结果确定有灰度值为所述第一数值的像素点且左右相邻没有灰度值为所述第一数值的像素点的第一目标像素列和第一目标像素行，将所述第一目标像素列和所述第一目标像素行的灰度值置为所述第二数值，得到第三二值化图像，根据所述第三二值化图像确定所述第一目标区域；
所述根据所述第二二值化图像确定对应的触摸体图像在所述第二视频图像中的第二目标区域的步骤包括：将所述第二二值化图像分别按照列和行进行灰度值统计得到第二统计结果，根据所述第二统计结果确定有灰度值为所述第一数值像素点的且左右相邻没有灰度值为所述第二数值的像素点的第二目标像素列和第二目标像素行，将所述第二目标像素列和所述第二目标像素行的灰度值置为所述第二数值，得到第四二值化图像，根据所述第四二值化图像确定所述第二目标区域。
4.根据权利要求3所述的非触摸屏显示终端的控制方法，其特征在于：
在根据所述第三二值化图像确定在所述一条直线对应的像素行上存在灰度值为第一数值的像素点时，判定所述第一目标区域与所述一条直线有交点；
或者/和
所述根据所述第二目标区域确定所述图上触摸点位置坐标的步骤包括：根据所述第四二值化图像查询像素值为所述第一数值且距离目标边缘最近的像素点，将该像素值为所述第一数值且距离目标边缘最近的像素点的坐标确定为所述图上触摸点位置坐标，所述目标边缘为与第二图像采集装置距离最近的显示屏边缘在所述第二视频图像中的图像。
5.根据权利要求1至4任意一项所述的非触摸屏显示终端的触摸点定位方法，其特征在于：
所述第一图像采集装置和所述第二图像采集装置设置在所述显示屏的边缘侧且朝向所述显示屏拍摄；
或者/和
所述方法还包括：
通过设置在所述非触摸屏显示终端上的距离检测装置或者红外检测装置的检测数据检测预设距离范围内是否有操作人员，在判定存在所述操作人员时，启动所述两个图像采集装置，在判定所述操作人员离开时，关闭所述两个图像采集装置。
6.根据权利要求1至4任意一项所述的非触摸屏显示终端的触摸点定位方法，其特征在于，所述坐标对应关系为x′＝k1x和y′＝k2y；其中，x′和y′分别指所述接触位置坐标的横坐标值和纵坐标值，x和y分别指所述图上触摸点位置坐标的横坐标值和纵坐标值，k1和k2为预设的比例系数。
7.一种非触摸屏显示终端的控制装置，其特征在于，所述装置包括：
图像获取模块，用于获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，所述第一视频图像和所述第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在所述第一视频图像中的显示屏图像为一条直线，在所述第二视频图像中的显示屏图像为一个平面；
定位模块，用于在所述第一视频图像中的触摸体图像与所述一条直线有交点时，根据所述第二视频图像中的触摸体图像确定图上触摸点位置坐标；根据预设的坐标对应关系获取与所述图上触摸点位置坐标对应的触摸体与所述显示屏的接触位置坐标，其中，所述坐标对应关系为所述第二视频图像中的显示屏图像的位置坐标与所述显示屏的位置坐标的对应关系；
控制模块，用于根据所述接触位置坐标控制所述非触摸屏显示终端。
8.一种非触摸屏显示终端的控制系统，其特征在于，所述系统包括交互控制模块、第一图像采集装置和第二图像采集装置；
所述交互控制模块用于获取非触摸屏显示终端的显示屏的显示侧的第一视频图像和第二视频图像，其中，所述第一视频图像和所述第二视频图像分别由第一图像采集装置和第二图像采集装置在同一时刻拍摄得到，在所述第一视频图像中的显示屏图像为一条直线，在所述第二视频图像中的显示屏图像为一个平面；所述交互控制模块还用于在所述第一视频图像中的触摸体图像与所述一条直线有交点时，根据所述第二视频图像中的触摸体图像确定图上触摸点位置坐标，根据预设的坐标对应关系获取与所述图上触摸点位置坐标对应的触摸体与所述显示屏的接触位置坐标，根据所述接触位置坐标控制所述非触摸屏显示终端，其中，所述坐标对应关系为所述第二视频图像中的显示屏图像的位置坐标与所述显示屏的位置坐标的对应关系。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201810074643.9A 2018-01-25 2018-01-25 非触摸屏显示终端的控制方法、装置、系统和计算机设备 Active CN108363485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810074643.9A CN108363485B (zh) 2018-01-25 2018-01-25 非触摸屏显示终端的控制方法、装置、系统和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810074643.9A CN108363485B (zh) 2018-01-25 2018-01-25 非触摸屏显示终端的控制方法、装置、系统和计算机设备

Publications (2)

Publication Number Publication Date
CN108363485A true CN108363485A (zh) 2018-08-03
CN108363485B CN108363485B (zh) 2021-06-18

Family

ID=63007106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810074643.9A Active CN108363485B (zh) 2018-01-25 2018-01-25 非触摸屏显示终端的控制方法、装置、系统和计算机设备

Country Status (1)

Country Link
CN (1) CN108363485B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987906A (zh) * 2021-03-26 2021-06-18 北京小米移动软件有限公司 一种降低显示功耗的方法和装置
CN113654459A (zh) * 2021-07-22 2021-11-16 北京小米移动软件有限公司 一种屏下感光传感器位置确定方法、装置及存储介质
CN114527922A (zh) * 2022-01-13 2022-05-24 珠海视熙科技有限公司 一种基于屏幕识别实现触控的方法及屏幕控制设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1380996A (zh) * 2000-05-17 2002-11-20 皇家菲利浦电子有限公司 用于通过图象处理而不用三维建模来指示目标的设备和方法
CN101520700A (zh) * 2008-12-31 2009-09-02 广东威创视讯科技股份有限公司 一种基于摄像头的三维定位触摸装置及其定位方法
CN101714044A (zh) * 2009-12-24 2010-05-26 广东威创视讯科技股份有限公司 一种基于摄像定位的触摸屏系统
CN202306516U (zh) * 2011-10-31 2012-07-04 上海易视计算机科技有限公司 一种虚拟电子白板装置
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
CN102789340A (zh) * 2012-06-27 2012-11-21 深圳市巨龙科教高技术股份有限公司 一种电子白板的白板坐标获取方法、装置及电子白板
CN202795304U (zh) * 2012-07-04 2013-03-13 福州锐达数码科技有限公司 一种基于红外激光的正面影像多点触摸装置
CN103955316A (zh) * 2014-04-28 2014-07-30 清华大学 一种指尖触碰检测系统及方法
KR101465896B1 (ko) * 2013-09-26 2014-11-26 성균관대학교산학협력단 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
CN104703006A (zh) * 2013-12-05 2015-06-10 中国电信股份有限公司 一种智能tv屏终端触控实现方法和系统
CN106360941A (zh) * 2016-11-17 2017-02-01 广州杰赛科技股份有限公司 一种指甲定位方法及美甲设备
CN107463290A (zh) * 2017-07-27 2017-12-12 广东欧珀移动通信有限公司 触摸操作的响应控制方法、装置、存储介质及移动终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1380996A (zh) * 2000-05-17 2002-11-20 皇家菲利浦电子有限公司 用于通过图象处理而不用三维建模来指示目标的设备和方法
CN101520700A (zh) * 2008-12-31 2009-09-02 广东威创视讯科技股份有限公司 一种基于摄像头的三维定位触摸装置及其定位方法
CN101714044A (zh) * 2009-12-24 2010-05-26 广东威创视讯科技股份有限公司 一种基于摄像定位的触摸屏系统
CN202306516U (zh) * 2011-10-31 2012-07-04 上海易视计算机科技有限公司 一种虚拟电子白板装置
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
CN102789340A (zh) * 2012-06-27 2012-11-21 深圳市巨龙科教高技术股份有限公司 一种电子白板的白板坐标获取方法、装置及电子白板
CN202795304U (zh) * 2012-07-04 2013-03-13 福州锐达数码科技有限公司 一种基于红外激光的正面影像多点触摸装置
KR101465896B1 (ko) * 2013-09-26 2014-11-26 성균관대학교산학협력단 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
CN104703006A (zh) * 2013-12-05 2015-06-10 中国电信股份有限公司 一种智能tv屏终端触控实现方法和系统
CN103955316A (zh) * 2014-04-28 2014-07-30 清华大学 一种指尖触碰检测系统及方法
CN106360941A (zh) * 2016-11-17 2017-02-01 广州杰赛科技股份有限公司 一种指甲定位方法及美甲设备
CN107463290A (zh) * 2017-07-27 2017-12-12 广东欧珀移动通信有限公司 触摸操作的响应控制方法、装置、存储介质及移动终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987906A (zh) * 2021-03-26 2021-06-18 北京小米移动软件有限公司 一种降低显示功耗的方法和装置
CN112987906B (zh) * 2021-03-26 2024-05-07 北京小米移动软件有限公司 一种降低显示功耗的方法和装置
CN113654459A (zh) * 2021-07-22 2021-11-16 北京小米移动软件有限公司 一种屏下感光传感器位置确定方法、装置及存储介质
CN114527922A (zh) * 2022-01-13 2022-05-24 珠海视熙科技有限公司 一种基于屏幕识别实现触控的方法及屏幕控制设备

Also Published As

Publication number Publication date
CN108363485B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN104583902B (zh) 改进的手势的识别
US10440223B2 (en) System and method for constructing document image from snapshots taken by image sensor panel
US20180063397A1 (en) Wearable device, control method and non-transitory storage medium
CN108363485A (zh) 非触摸屏显示终端的控制方法、装置、系统和计算机设备
CN104951127B (zh) 用于生成显示覆盖的系统和方法以及显示系统
CN103167230A (zh) 电子设备及其根据手势控制拍照的方法
CN109076159A (zh) 电子设备及其操作方法
CN108596955A (zh) 一种图像检测方法、图像检测装置及移动终端
JP5895720B2 (ja) 被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラム
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN109951635A (zh) 拍照处理方法、装置、移动终端以及存储介质
CN107257440A (zh) 一种检测视频跟踪拍摄的方法、设备以及存储介质
CN104991684A (zh) 触控设备及其工作方法
CN103902222A (zh) 触摸屏滑动调整方法、调整装置及触控设备
CN110166680A (zh) 设备成像方法、装置、存储介质及电子设备
US20140104431A1 (en) System and Method for Utilizing a Surface for Remote Collaboration
WO2022111461A1 (zh) 识别方法、装置及电子设备
CN114299478A (zh) 结合rpa和ai的图像处理方法、装置及电子设备
JP2011118466A (ja) 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器
CN107230195A (zh) 一种影像处理方法和装置
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
CN108363484A (zh) 非触摸显示屏设备的控制方法、装置、系统和计算机设备
CN109358799A (zh) 在手写设备上添加用户输入的手写批注信息的方法
CN109889892A (zh) 视频效果添加方法、装置、设备及存储介质
JP2005346453A (ja) 画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant