CN111831161B - 基于触摸方法自动识别显示屏幕中触点位置的方法 - Google Patents

基于触摸方法自动识别显示屏幕中触点位置的方法 Download PDF

Info

Publication number
CN111831161B
CN111831161B CN202010716055.8A CN202010716055A CN111831161B CN 111831161 B CN111831161 B CN 111831161B CN 202010716055 A CN202010716055 A CN 202010716055A CN 111831161 B CN111831161 B CN 111831161B
Authority
CN
China
Prior art keywords
display screen
data point
distance
new
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010716055.8A
Other languages
English (en)
Other versions
CN111831161A (zh
Inventor
吕嘉昳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010716055.8A priority Critical patent/CN111831161B/zh
Publication of CN111831161A publication Critical patent/CN111831161A/zh
Application granted granted Critical
Publication of CN111831161B publication Critical patent/CN111831161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182Filtering of noise external to the device and not generated by digitiser components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种基于触摸方法自动识别显示屏幕中触点位置的方法,包括如下步骤:在显示屏幕所在平面设置激光雷达,通过激光雷达获取所有数据点云;判断每个数据点云对应的新物体是否为干扰物;将干扰物对应的数据点云设置为干扰数据;显示屏幕通过箭头自动提示触摸显示屏幕的边界四个顶点位置,在时间阈值范围内按照系统箭头提示顺序触摸边界顶点,并自动记录触点位置的坐标值;系统自动计算实际显示屏幕与原始图像界面位置对应关系;触摸显示屏幕任意位置进行命令操作,系统自动识别触点位置,同时原始图像界面对应位置会进行相应操作。本发明将显示屏幕设置为触摸屏,可以促进人机交互,用户使用舒适度体验感参与感更强、触屏准确度更高。

Description

基于触摸方法自动识别显示屏幕中触点位置的方法
技术领域
本发明涉及投影互动技术领域,尤其涉及一种基于触摸方法自动识别显示屏幕中触点位置的方法。
背景技术
目前多媒体技术越来越成熟,但是现有市场上应用最多的是通过大投影屏幕将预展示的画面清晰显示出来,或者将电子设备内的图像通过电子显示屏显示出来,通过将显示界面较小的画面通过较大的显示屏幕显示出来,这给客户带来极大视觉上的享受。但是,在进行视觉享受的同时发现多媒体技术不能进行很好的交互,这对于使用者来说也造成了很大的困扰。
尤其是现有投影图像主要是通过投影仪进行投影获得,但是在投影时经常出现投影屏幕变形问题,对于投影屏幕变形情况通常是通过人工调整投影仪使得投影屏幕从视野角度来看投影正常即可,对于复杂情况,调节至不影响正常观影效果即可。
现有技术中为了解决人机交互问题,以及解决投影变形问题,通常情况是在电子设备端进行人工调节,或者人工调节投影变形问题,但是对于投影变形严重的情况人工调节不仅耗时耗力,而且调节效果也不尽人意。如果显示屏幕仅能实现显示画面,或者因为投影变形不能准确识别屏幕上触点情况,这给用户体验感带来很大的不便。
发明内容
本发明之目的是提供一种基于触摸方法自动识别显示屏幕中触点位置的方法,其能够解决现有人工校准屏幕不准确、自动校正屏幕不精确以及用户体验感差的技术问题。
本发明提供一种基于触摸方法自动识别显示屏幕中触点位置的方法,包括如下步骤:
在显示屏幕所在平面设置激光雷达,通过所述激光雷达获取所述显示屏幕所在平面的所有数据点云;
判断所述显示屏幕上的每个数据点云对应的新物体是否为干扰物;
将干扰物对应的数据点云设置为干扰数据;
所述显示屏幕通过箭头自动提示触摸显示屏幕的边界四个顶点位置,并设置有时间阈值,在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值;
系统自动计算实际显示屏幕与原始图像界面位置对应关系;
触摸所述显示屏幕任意位置进行命令操作,系统自动识别触点位置,同时原始图像界面对应位置会进行相应操作。
优选地,判断所述显示屏幕上的每个数据点云对应的新物体是否为干扰物包括:
判断每个数据点云是否为新物体;
追溯相邻两帧图像中的同一新物体,判断为同一新物体则分配同一ID地址;
如果相邻两帧图像中的新物体数组数量变化量≧10个,则将当前帧图像设置为首帧图像。
优选地,所述判断每个数据点云是否为新物体包括:
设置物体相距距离阈值;
遍历各个数据点云内所有点的距离,将两点之间的距离与所述物体相距距离阈值进行比较;
设置新建索引,将满足两点之间距离小于所述物体相距距离阈值的数据点云判定为一个新物体,每个新物体对应一个新建索引,每个所述新建索引中存储有一个新物体对应的数据点数量数据信息以及包含所有数据点云的矩形的长、宽、中心点坐标、对角线长度信息。
优选地,所述判断每个数据点云是否为新物体还包括:
统计每个所述数据点云内的数据点数量;
对于数据点数量超过30个点的数据点云,则选择间隔5个数据点来比较两点之间的距离与所述物体相距距离阈值的大小;
对于数据点数量不超过30个点的数据点云,则遍历不同数据点云内所有数据点,比较不同数据点云内所有数据点的两点之间的距离与所述物体相距距离阈值的大小。
优选地,所述判断每个数据点云是否为新物体还包括:
获取起始角度左右两个数据点云;
遍历起始角度左右两个数据点云内所有数据点,计算任意两点之间的距离,比较任意两点之间的距离与物体相距距离阈值的大小;
若任意两点之间的距离小于物体相距距离阈值,则判定起始角度左右的两个数据点云为同一物体。
优选地,所述追溯相邻两帧图像中的同一新物体,判断为同一新物体则分配同一ID地址包括:
获取相邻两帧所有新物体的新建索引信息;
计算上一帧中每个新物体中心点与下一帧中每个新物体中心点的多个中心距离值,比较任意中心距离值与物体相距距离阈值*0.5的大小;
计算上一帧中每个新物体与下一帧中每个新物体的对角线长度差值,比较任意对角线长度差值与物体相距距离阈值*0.5的大小;
若任意中心距离值、对角线长度差值同时满足小于等于物体相距距离阈值*0.5,则判定上一帧与下一帧的两个新物体为同一新物体,分配同一新物体相同的ID地址。
优选地,所述追溯相邻两帧图像中的同一新物体,判断为同一新物体则分配同一ID地址还包括:
设置物体形成对角线阈值,比较任意新建索引中对角线长度值与物体形成对角线阈值的大小;
若新建索引中对角线长度值小于物体形成对角线阈值,则判定该数据点云为噪点。
优选地,所述在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值包括:
统计在时间阈值范围内出现的新物体数量;
如果新物体数量≦3个,则将距离激光雷达最近并且出现时间超过时间阈值范围的新物体标记为触点,其余新物体对应数据点云设置为干扰数据;
如果新物体数量≧3个,则显示屏幕自动预警提示无法进行触点定位。
优选地,所述在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值还包括:
设置对角线长度阈值;
比较新物体对应的对角线长度与对角线长度阈值的大小,如果所述新物体对应的对角线长度大于对角线长度阈值,则将新物体设置为干扰数据。
优选地,所述在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值还包括:
在触摸显示屏幕上下一个边界顶点时,上一个触点对应的新物体数据点云设置为干扰数据。
本发明提供的一种基于触摸方法自动识别显示屏幕中触点位置的方法,相比于现有技术具有如下有益效果:
1、本发明通过激光雷达装置采集数据点云,先将显示屏幕上出现的所有新物体通过内设的各个参考值进行分析比较,进而将与触点感知无关的其他新物体设置为干扰物,然后通过系统提示进行自动校准屏幕边界数据,这样可以准确识别屏幕点触摸点位置,不再进行大数据处理,节省处理时间,提高矫正效率。
2、本发明中的显示屏幕可以作为触摸屏,用手指或其他体积较小的物体进行屏幕触摸,此时手指或其他体积较小的物体就可以相当于鼠标进行操作,这样可以促进人机交互,便于在大显示屏幕上直接命令操作,这样用户使用舒适度或体验感更强,尤其是游戏娱乐中体验感则大大提升,用户触屏准确度更高,参与感更强。
3、本发明通过简单的参数设置与分析比较进而精确计算出触点在正投影或正显示画面中的原始图像像素点的实际坐标值,由此通过校正数据来实现真正的准确校正,与现有的视野屏幕校准完全不同。
具体实施方式
在此记载的实施例为本发明的特定的具体实施方式,用于说明本发明的构思,均是解释性和示例性的,不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外,本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案,这些技术方案包括对在此记载的实施例做出任何显而易见的替换和修改的技术方案。
本发明提出的一种基于触摸方法自动识别显示屏幕中触点位置的方法,包括如下步骤:
在靠近显示屏幕所在平面设置激光雷达,通过激光雷达获取显示屏幕所在平面的所有数据点云;
判断显示屏幕上的每个数据点云对应的新物体是否为干扰物;
将干扰物对应的数据点云设置为干扰数据;
显示屏幕通过箭头自动提示触摸显示屏幕的边界四个顶点位置,并设置有时间阈值,在时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值;
系统自动计算实际显示屏幕与原始图像界面位置对应关系;
触摸显示屏幕任意位置进行命令操作,系统自动识别触点位置,同时原始图像界面对应位置会进行相应操作。
本发明中的激光雷达设置在靠近显示屏幕的位置处,其中激光雷达采集数据的前端与显示屏幕所在平面互相平行,激光雷达与显示屏幕距离越近采集的数据越准确,以及显示屏幕所在平面尽量避免出现杂物干扰激光雷达采集数据。
在本发明的进一步实施例中,判断显示屏幕上的每个数据点云对应的新物体是否为干扰物包括:
判断每个数据点云是否为新物体;
追溯相邻两帧图像中的同一新物体,判断为同一新物体则分配同一ID地址;
如果相邻两帧图像中的新物体数组数量变化量≧10个,则将当前帧图像设置为首帧图像。
由于显示屏幕前端可能会同时出现多个新物体,为避免追溯物体的精确性,系统会根据统计的新物体数组数量进行判断,新物体数组变化量太大例如为10个,则认为相邻两帧的数据不具有可追溯性,并舍弃上一帧的数据点云数据信息,同时将当前帧的所有数据点云信息记录为首帧图像信息。
在本发明的进一步实施例中,判断每个数据点云是否为新物体包括:
设置物体相距距离阈值;
遍历各个数据点云内所有点的距离,将两点之间的距离与物体相距距离阈值进行比较;
设置新建索引,将满足两点之间距离小于物体相距距离阈值的数据点云判定为一个新物体,每个新物体对应一个新建索引,每个新建索引中存储有一个新物体对应的数据点数量数据信息以及包含所有数据点云的矩形的长、宽、中心点坐标、对角线长度信息。
进一步地,判断每个数据点云是否为新物体还包括:
统计每个数据点云内的数据点数量;
对于数据点数量超过30个点的数据点云,则选择间隔5个数据点来比较两点之间的距离与物体相距距离阈值的大小;
对于数据点数量不超过30个点的数据点云,则遍历不同数据点云内所有数据点,比较不同数据点云内所有数据点的两点之间的距离与物体相距距离阈值的大小。
在显示屏幕前安装激光雷达,获取激光雷达采集的所有数据点云,系统自设定物体相距距离阈值,计算激光雷达采集的所有数据点云的数据点中任意两点之间的距离,将任意数据点之间的距离与物体相距距离阈值进行比较,如果任意两数据点之间的距离小于物体相距距离阈值则判定这两数据点属于同一新物体内的数据点,遍历完所有数据点云的数据点,将属于同一新物体的数据点云存储在一个新建索引中,即一个新建索引对应一个新物体。
为了直观显示所有数据点云信息,本发明中将不同的数据点云设置用不同的颜色进行区分显示,其中同一物体在不同帧中选用相同颜色,并且颜色与新物体的ID进行绑定,对于同一新物体在不同帧中采用同一颜色进行标记,这样便于追溯相邻新物体,用户也会直观了解显示屏幕上显示的数据点云信息。
为了加快CPU运行速度,本发明系统会自动统计每个数据点云内的数据点数量,如果一个数据点云内数据点数量过大,则选择该数据点云内每间隔5个数据点与另一个数据点云内的数据点进行距离比较。例如,一个数据点云内包含数据点{1,2,3,4,5,6,7,8,……,42,43,44,45,46},则系统内在进行数据点比较时会自动默认{1,6,11,16,21,26,31,36,41,46},如果数据点数量小于30个,则遍历所有数据点进行距离比较。需要说明的是,此处仅是以数据点数量为30个、间隔比较数据点为5个进行举例说明,当然在具体操作过程中,还可以根据实际情况进行具体设置,例如可以设置数据点数量范围为40个或35个,间隔比较数据点设置为6个或4个,在数据量较大情况下选择间隔数据点进行比较,这样可以大大加快CPU运行速率,数据处理效率更高。
如果显示屏幕中同一帧或下一帧出现新的数据点云,则用新数据点云的每个数据点与原所有新物体的中心点进行距离比较,如果新的数据点云中任一点与原新物体的中心点距离值小于物体相距距离阈值,找到最近距离则程序运行结束,如果运行完新的数据点云中所有数据点,发现没有任一数据点与原新物体的中心点距离小于物体相距距离阈值,则将该新的数据点云设置为新物体。
在本发明的进一步实施例中,判断每个数据点云是否为新物体还包括:
获取起始角度左右两个数据点云;
遍历起始角度左右两个数据点云内所有数据点,计算任意两点之间的距离,比较任意两点之间的距离与物体相距距离阈值的大小;
若任意两点之间的距离小于物体相距距离阈值,则判定起始角度左右的两个数据点云为同一物体。
上述获取起始角度左右的两个数据点云进行距离比较,是为了避免由于激光雷达采集数据时由于极坐标起始角度原因将一个新物体的数据点云分割为两个数据点云,为了使得数据判断更精确,将起始角度左右的两个数据点云内的所有数据点进行距离比较,如果两个数据点云内的任意数据点之间距离小于物体相距距离阈值,则认为两个数据点云对应的是同一新物体。
在本发明的进一步实施例中,追溯相邻两帧图像中的同一新物体,判断为同一新物体则分配同一ID地址包括:
获取相邻两帧所有新物体的新建索引信息;
计算上一帧中每个新物体中心点与下一帧中每个新物体中心点的多个中心距离值,比较任意中心距离值与物体相距距离阈值*0.5的大小;
计算上一帧中每个新物体与下一帧中每个新物体的对角线长度差值,比较任意对角线长度差值与物体相距距离阈值*0.5的大小;
若任意中心距离值、对角线长度差值同时满足小于等于物体相距距离阈值*0.5,则判定上一帧与下一帧的两个新物体为同一新物体,分配同一新物体相同的ID地址。
为了能够在显示屏幕上准确识别相邻两帧的新物体是否为同一新物体,本发明设置了物体相距距离阈值*0.5进行参考,通过计算相邻两帧新物体的中心点距离值和对角线长度差值,通过比较相邻两帧新物体的中心点距离值和对角线长度差值与物体相距距离阈值*0.5的大小,如果相邻两帧新物体的中心点距离值和和对角线长度差值同时满足小于等于物体相距距离阈值*0.5,则认为相邻两帧中的两个新物体为同一新物体,分配这两个新物体相同的ID地址。上述物体相距距离阈值*0.5参考值中的系数0.5的设置是通过多次实践试验得出,选择物体相距距离阈值*0.5作为参考值追溯新物体更精确。
优选地,判断每个数据点云是否为新物体还包括:
设置物体形成对角线阈值,比较任意新建索引中对角线长度值与物体形成对角线阈值的大小;
若新建索引中对角线长度值小于物体形成对角线阈值,则判定该数据点云为噪点。
在判断数据点云是否为新物体时,本发明通过判断两数据点之间距离是否小于系统设置的物体相距距离阈值,由于激光雷达每秒转速为7帧或10帧,而每帧上每个物体对应的数据点云相当密集,所以通过与物体相距距离阈值进行比较就可以识别每帧图像上所有新物体的数据点云,但是对于可能由于激光雷达性能原因采集了噪点数据点云,本发明中为了进行去噪,通过设置物体形成对角线阈值作为参考值,该物体形成对角线为每个新物体对应的数据点云形成的矩形,该矩形由数据点的最小坐标值与最大坐标值形成,并非实际显示矩形,系统选择物体形成对角线而不选择物体形成面积进行参考,是为了CPU在进行数据运算时可以节省开方次数,进而大大优化CPU处理性能。
本发明的物体相距距离阈值优选设置为100mm,物体形成对角线阈值优选设置为20mm。当然,在具体进行图像画面或投影画面显示时可以根据具体情况进行具体设置,设置数据参数不唯一。
其中,本发明中在时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值包括:
统计在时间阈值范围内出现的新物体数量;
如果新物体数量≦3个,则将距离激光雷达最近并且出现时间超过时间阈值范围的新物体标记为触点,其余新物体对应数据点云设置为干扰数据;
如果新物体数量≧3个,则显示屏幕自动预警提示无法进行触点定位。
本发明在进行具体自动识别边界四个顶点触点位置时,系统内设了新增新物体数量值,如果新物体的数量≦3个,将距离激光雷达最近并且出现时间超过时间阈值范围的新物体标记为触点,其余新物体对应数据点云设置为干扰数据。其中在触摸边界顶点时可能会出现除了触点之外的新物体,是因为触点位置与显示屏幕所在平面上某一物体处于同一直线上,由于新物体会挡住激光,新物体与激光雷达光线连线后面的物体就会被遮挡住,使得原来的物体被分割为1或2个新物体,如果刚好遮挡住原物体的边界,则仅增加一个新物体,如果遮挡住原物体的中间部分,则增加2个新物体,为此在触摸边界顶点时可能造成除了触点之外的1或2个新物体,即显示屏幕上会出现小于等于3个数量的新物体,此时选择与激光雷达最近的新物体作为触点进行感知数据。但是,如果激光雷达在进行触点提示时探测到显示屏幕上有3个以上物体,为了保证感知数据的准确性,系统会默认为无法判断触点新物体坐标,此时系统会在超过时间阈值范围时自动提醒无法进行校准数据,请重新校准数据。用户在接收到该提示后可以检测显示屏幕所在平面是否有多个新物体在同时接触触点或是有多个新物体在激光雷达前干扰了采集数据。
进一步地,在时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值还包括:
设置对角线长度阈值;
比较新物体对应的对角线长度与对角线长度阈值的大小,如果新物体对应的对角线长度大于对角线长度阈值,则将新物体设置为干扰数据。
由于在激光雷达采集触点触摸新物体数据时会出现较大数据点云信息,例如用人手在触摸边界顶点位置时,人的脚可能也会被激光雷达误认为新物体信息进行数据采集,但是由于人脚站在地面上不能移开,此时为了数据的精准性,系统内部预设对角线长度阈值,如果系统提示进行边界顶点感知时检测到新物体多形成的矩形对角线长度大于对角线长度阈值,则将该新物体对应的数据点云设置为干扰数据。
在具体设置数据参数时,将上述对角线长度阈值优选设置为30cm,当然还可以根据具体情况例如出现石头或其他面积较大的新物体必须在激光采集数据一侧,则可以将该对角线长度阈值设置为50cm或80cm,设置数据参数不唯一,其通常情况选择用手指或其他面积较小的新物体去触摸显示屏幕边界顶点。
其中,在触摸显示屏幕上下一个边界顶点时,上一个触点对应的新物体数据点云设置为干扰数据。
其中,在进行自动提示触摸显示屏幕的边界顶点时,优选默认为左上角、左下角、右下角、右上角的顺序进行提示,并且系统会默认用不同颜色进行不同边界顶点位置提示,这样设置是为了避免在触点感知时由于显示屏幕过大需要借助扶梯情况,按照实际需求进行上述顺序设置,还可以节省触点感知人员体力。
通过本发明的方法可以将电子显示屏幕或投影屏幕设置为触摸屏,进而通过显示屏幕上四个边界顶点的触点感知数据,从而可以通过在顶点数据校准后,显示屏幕可以作为触摸屏,尤其是投影画面变形情况本发明操作更智能更方便,无需进行校正屏幕,只需先校准屏幕顶点坐标即可获取真实显示屏幕与原显示画面的数据对应关系,进而用手指或其他体积较小的物体进行触摸屏幕,此时手指或其他体积较小的物体就可以相当于鼠标进行操作,这样可以促进人机交互,便于在大的显示屏幕上直接操作,这样可以大大提升客户体验感、参与感。
通过本发明的方法将显示屏幕设置为触摸屏,并且能够精确感知触点位置,这样用户使用舒适度或体验感更强,尤其是游戏娱乐中体验感大大提升,用户触屏准确度更高,参与感更强。
以上对本本发明的基于触摸方法自动识别显示屏幕中触点位置的方法的实施方式进行了说明。而且,上述披露的各技术特征并不限于已披露的与其它特征的组合,本领域技术人员还可根据本发明之目的进行各技术特征之间的其它组合,以实现本发明之目的为准。

Claims (4)

1.一种基于触摸方法自动识别显示屏幕中触点位置的方法,其特征在于,包括如下步骤:
在显示屏幕所在平面设置激光雷达,通过所述激光雷达获取所述显示屏幕所在平面的所有数据点云;
判断所述显示屏幕上的每个数据点云对应的新物体是否为干扰物;
将干扰物对应的数据点云设置为干扰数据;
所述显示屏幕通过箭头自动提示触摸显示屏幕的边界四个顶点位置,并设置有时间阈值,在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值;
系统自动计算实际显示屏幕与原始图像界面位置对应关系;
触摸所述显示屏幕任意位置进行命令操作,系统自动识别触点位置,同时原始图像界面对应位置会进行相应操作;
判断所述显示屏幕上的每个数据点云对应的新物体是否为干扰物包括:
判断每个数据点云是否为新物体;
追溯相邻两帧图像中的同一新物体,判断为同一新物体则分配同一ID地址;
所述判断每个数据点云是否为新物体包括:
设置物体相距距离阈值;
遍历各个数据点云内所有点的距离,将两点之间的距离与所述物体相距距离阈值进行比较;
设置新建索引,将满足两点之间距离小于所述物体相距距离阈值的数据点云判定为一个新物体,每个新物体对应一个新建索引,每个所述新建索引中存储有一个新物体对应的数据点数量数据信息以及包含所有数据点云的矩形的长、宽、中心点坐标、对角线长度信息;
所述追溯相邻两帧图像中的同一新物体,判断为同一新物体则分配同一ID地址包括:
获取相邻两帧所有新物体的新建索引信息;
计算上一帧中每个新物体中心点与下一帧中每个新物体中心点的多个中心距离值,比较任意中心距离值与物体相距距离阈值*0.5的大小;
计算上一帧中每个新物体与下一帧中每个新物体的对角线长度差值,比较任意对角线长度差值与物体相距距离阈值*0.5的大小;
若任意中心距离值、对角线长度差值同时满足小于等于物体相距距离阈值*0.5,则判定上一帧与下一帧的两个新物体为同一新物体,分配同一新物体相同的ID地址;
所述在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值包括:
统计在时间阈值范围内出现的新物体数量;
如果新物体数量≦3个,则将距离激光雷达最近并且出现时间超过时间阈值范围的新物体标记为触点,其余新物体对应数据点云设置为干扰数据;
如果新物体数量≧3个,则显示屏幕自动预警提示无法进行触点定位;
所述在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值还包括:
设置对角线长度阈值;
比较新物体对应的对角线长度与对角线长度阈值的大小,如果所述新物体对应的对角线长度大于对角线长度阈值,则将新物体设置为干扰数据;
所述在所述时间阈值范围内按照系统箭头提示的顺序触摸显示屏幕的边界顶点,系统自动记录边界四个顶点位置对应的触点位置的坐标值还包括:
在触摸显示屏幕上下一个边界顶点时,上一个触点对应的新物体数据点云设置为干扰数据。
2.根据权利要求1所述的基于触摸方法自动识别显示屏幕中触点位置的方法,其特征在于,所述判断每个数据点云是否为新物体还包括:
统计每个所述数据点云内的数据点数量;
对于数据点数量超过30个点的数据点云,则选择间隔5个数据点来比较两点之间的距离与所述物体相距距离阈值的大小;
对于数据点数量不超过30个点的数据点云,则遍历不同数据点云内所有数据点,比较不同数据点云内所有数据点的两点之间的距离与所述物体相距距离阈值的大小。
3.根据权利要求1所述的基于触摸方法自动识别显示屏幕中触点位置的方法,其特征在于,所述判断每个数据点云是否为新物体还包括:
获取起始角度左右两个数据点云;
遍历起始角度左右两个数据点云内所有数据点,计算任意两点之间的距离,比较任意两点之间的距离与物体相距距离阈值的大小;
若任意两点之间的距离小于物体相距距离阈值,则判定起始角度左右的两个数据点云为同一物体。
4.根据权利要求1所述的基于触摸方法自动识别显示屏幕中触点位置的方法,其特征在于,所述判断每个数据点云是否为新物体还包括:
设置物体形成对角线阈值,比较任意新建索引中对角线长度值与物体形成对角线阈值的大小;
若新建索引中对角线长度值小于物体形成对角线阈值,则判定该数据点云为噪点。
CN202010716055.8A 2020-07-23 2020-07-23 基于触摸方法自动识别显示屏幕中触点位置的方法 Active CN111831161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010716055.8A CN111831161B (zh) 2020-07-23 2020-07-23 基于触摸方法自动识别显示屏幕中触点位置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010716055.8A CN111831161B (zh) 2020-07-23 2020-07-23 基于触摸方法自动识别显示屏幕中触点位置的方法

Publications (2)

Publication Number Publication Date
CN111831161A CN111831161A (zh) 2020-10-27
CN111831161B true CN111831161B (zh) 2023-10-03

Family

ID=72925154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010716055.8A Active CN111831161B (zh) 2020-07-23 2020-07-23 基于触摸方法自动识别显示屏幕中触点位置的方法

Country Status (1)

Country Link
CN (1) CN111831161B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335021A (zh) * 2015-09-09 2016-02-17 浙江工业大学 基于激光雷达的人机交互系统
JP2018181169A (ja) * 2017-04-20 2018-11-15 キヤノン株式会社 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
CN110502129A (zh) * 2019-08-29 2019-11-26 王国梁 交互控制系统
CN110515092A (zh) * 2019-10-23 2019-11-29 南京甄视智能科技有限公司 基于激光雷达的平面触摸方法
CN111308492A (zh) * 2020-04-16 2020-06-19 梦之源(北京)科技有限公司 一种使用激光雷达将普通墙体或者地面转变成触摸屏的系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
US9030445B2 (en) * 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
CN105706028B (zh) * 2013-11-19 2018-05-29 麦克赛尔株式会社 投影型影像显示装置
JP6716864B2 (ja) * 2015-06-19 2020-07-01 ソニー株式会社 投影装置および投影方法、投影モジュール、電子機器、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335021A (zh) * 2015-09-09 2016-02-17 浙江工业大学 基于激光雷达的人机交互系统
JP2018181169A (ja) * 2017-04-20 2018-11-15 キヤノン株式会社 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
CN110502129A (zh) * 2019-08-29 2019-11-26 王国梁 交互控制系统
CN110515092A (zh) * 2019-10-23 2019-11-29 南京甄视智能科技有限公司 基于激光雷达的平面触摸方法
CN111308492A (zh) * 2020-04-16 2020-06-19 梦之源(北京)科技有限公司 一种使用激光雷达将普通墙体或者地面转变成触摸屏的系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Saja Abdul Rahman Kutty 等."A Novel Technique for LiDAR Data Segmentation and Three-Dimensional Space Projection".《IEEE》.2016,第1-5页. *
张凯 等."基于Kinect 的投影互动控制系统设计".《自动化应用》.2017,(第2017年第07期),第29-31页. *
柴国贝."激光雷达成像特征分析及应用研究".《中国博士学位论文全文数据库(信息科技辑)》.2017,(第2017年第02期),第I136-258页. *

Also Published As

Publication number Publication date
CN111831161A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN109903312B (zh) 一种基于视频多目标跟踪的足球球员跑动距离统计方法
EP3176678B1 (en) Gesture-based object measurement method and apparatus
EP2287708A1 (en) Image recognizing device, operation judging method, and program
US8537134B2 (en) Size/scale and orientation determination of a pointer in a camera-based touch system
US9024896B2 (en) Identification method for simultaneously identifying multiple touch points on touch screens
CN104703090B (zh) 一种基于人脸识别的自动调节拾音设备及自动调节方法
EP3120220B1 (en) User gesture recognition
CN107292223A (zh) 一种实时手势检测的在线验证方法及系统
CN107392157B (zh) 一种基于机器视觉的中国象棋比赛智能虚拟直播方法
CN113763350B (zh) 一种胶线检测方法、装置、胶线检测设备及存储介质
US11113875B1 (en) Visualization tools for point clouds and 3D imagery
CN112741555B (zh) 一种清扫方法、系统及清扫设备
TWI500904B (zh) 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
CN106067177A (zh) Hdr场景侦测方法和装置
US20200218424A1 (en) Touch detection method and computer-readable storage medium
CN112085675B (zh) 深度图像去噪方法、前景分割方法及人体运动监测方法
CN108665472A (zh) 点云分割的方法和设备
CN111831161B (zh) 基于触摸方法自动识别显示屏幕中触点位置的方法
CN103399674A (zh) 一种多点触摸检测方法及装置
CN104766330B (zh) 一种图像处理方法及电子设备
CN108629813B (zh) 一种投影设备高度信息的获取方法、装置
CN112747734B (zh) 环境地图方向调整方法、系统及装置
US11138754B2 (en) Queue analyzing method and image monitoring apparatus
CN107870685B (zh) 一种触控操作识别方法和装置
CN111831162B (zh) 基于触摸屏的毛笔笔形校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant