CN116974400B - 屏幕触显识别方法、装置、设备及存储介质 - Google Patents
屏幕触显识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116974400B CN116974400B CN202311184247.9A CN202311184247A CN116974400B CN 116974400 B CN116974400 B CN 116974400B CN 202311184247 A CN202311184247 A CN 202311184247A CN 116974400 B CN116974400 B CN 116974400B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- infrared
- contact
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 67
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 244000060701 Kaempferia pandurata Species 0.000 description 1
- 235000016390 Uvaria chamae Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及计算机技术领域，公开了一种屏幕触显识别方法、装置、设备及存储介质，该方法包括：在检测到目标显示屏的红外阵列框的表面被遮挡时获取压力传感数据；若压力传感数据发生变化则获取遮挡区域的目标红外数据；在目标红外数据的偏离值达到预设偏离值时，通过摄像阵列获取预设范围空间的目标图像数据；基于压力传感数据、目标红外数据、目标图像数据和目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取获得插值触点坐标，并生成屏幕触点轨迹。由于本发明在判断目标红外数据出现触点漂移时，通过结合压力传感数据、目标红外数据以及目标图像数据生成屏幕触点轨迹；避免了其他光线或遮挡物对触摸识别的干扰，提高了白板的触摸识别的灵敏度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种屏幕触显识别方法、装置、设备及存储介质。
背景技术
红外电子白板是一种交互式教学设备，也被称为红外触摸白板或红外互动白板，通过使用红外线传感器和红外光笔等设备，实现与电脑的交互操作，广泛用作教育领域，能够在课堂教学提高教学效果。在使用红外电子白板时，教师可使用红外光笔在白板上书写、绘制图形、做出标记等操作。通过红外传感器感知光笔的位置和动作，将这些信息传输给控制器，再通过连接的电脑投影到大屏幕上。学生可以在大屏幕上看到教师的操作，并且也可以通过红外光笔进行互动，使教学过程更加直观、生动。
但是红外电子白板是使用红外传感器来捕捉触点位置，对环境的光线和干扰较为敏感。在使用过程中，例如强烈的阳光、其他红外源或者遮挡物都可能对红外电子白板的触摸识别造成一定的干扰，有时会出现触点漂移的情况，导致灵敏度降低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种屏幕触显识别方法、装置、设备及存储介质，旨在解决红外电子白板在使用过程中，光线或者遮挡物会对触摸识别造成一定的干扰，导致灵敏度降低的技术问题。
为实现上述目的，本发明提供了一种屏幕触显识别方法，所述方法包括以下步骤：
在检测到目标显示屏的红外阵列框的表面被遮挡时，获取所述目标显示屏的遮挡区域内的压力传感数据；
判断所述压力传感数据是否发生变化；
在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据；
在所述目标红外数据的偏离值达到预设偏离值时，通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；
基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
可选地，所述基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹，包括：
通过结构光流算法对所述目标图像数据进行数字化处理，获得目标图像数据对应的三维点云数据；
根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，并通过所述目标显示屏的空间坐标值，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据；
对所述目标红外数据中的光变信号进行提取，获得所述目标显示屏对应的红外触点数据；
通过贝塞尔算法，对所述单应矩阵数据、所述红外触点数据和所述压力传感数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
可选地，所述根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，并通过所述目标显示屏的空间坐标值，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据，包括：
根据所述遮挡区域对所述三维点云数据进行点云筛选，获得目标特征点数据；
根据所述目标显示屏的空间坐标值对所述目标特征点数据进行空间体素划分，获得初始体素；
将所述初始体素输入至三维稀疏卷积网络中，获得所述目标特征点数据在所述目标显示屏的三维空间上所对应的体素特征区域；
根据点云与图像联合标定对所述体素特征区域进行坐标变换，获得目标特征点数据投影到所述目标显示屏上所对应的单应矩阵数据。
可选地，所述通过贝塞尔算法，对所述单应矩阵数据、所述红外触点数据和所述压力传感数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹，包括：
以所述压力传感数据为参考值，通过预设坐标转换关系将所述单应矩阵数据投影到所述红外触点数据中，得到聚类目标数据；
将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据；
通过贝塞尔算法对所述目标触点数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
可选地，所述将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据，包括：
提取所述聚类目标数据中的多个聚类数据；
根据每个聚类数据的中心点值与所述红外触点数据进行面积交并比，获得各聚类数据与红外触点数据的交并比值；
判断所述交并比值是否达到预设阈值；
将达到预设阈值的最大交并比值所对应的数据作为目标触点数据。
可选地，所述在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据之后，还包括：
在检测到所述目标红外数据为多点触控数据时，提取所述目标红外数据的多个红外触点数据；
获取所述红外触点数据中的多个触摸点的位置信息；
判断所述位置信息是否达到预设距离阈值；
若所述位置信息达到所述预设距离阈值，将达到所述预设距离阈值所对应的触摸点作为无效触摸点。
可选地，所述获取所述红外触点数据中的多个触摸点的位置信息之后，还包括：
获取所述红外触点数据的多个触摸点的触点时间，并根据所述触点时间确定各触摸点之间的时间间隔；
判断所述时间间隔是否小于预设时间阈值；
将小于所述预设时间阈值所对应的触摸点作为待无效触摸点；
相应的，所述若所述位置信息达到所述预设距离阈值，将达到所述预设距离阈值所对应的触摸点作为无效触摸点，包括：
若所述位置信息达到预设距离阈值，将达到预设距离阈值所对应的待无效触摸点作为无效触摸点。
此外，为实现上述目的，本发明还提出一种屏幕触显识别装置，所述装置包括：
压力传感模块，用于在检测到目标显示屏的红外阵列框的表面被遮挡时，获取所述目标显示屏的遮挡区域内的压力传感数据；
压力判断模块，用于判断所述压力传感数据是否发生变化；
红外获取模块，用于在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据；
图像获取模块，用于在所述目标红外数据的偏离值达到预设偏离值时，通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；
触点识别模块，用于基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
此外，为实现上述目的，本发明还提出一种屏幕触显识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的屏幕触显识别程序，所述屏幕触显识别程序配置为实现如上文所述的屏幕触显识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有屏幕触显识别程序，所述屏幕触显识别程序被处理器执行时实现如上文所述的屏幕触显识别方法的步骤。
本发明在检测到目标显示屏的红外阵列框的表面被遮挡时，获取所述目标显示屏的遮挡区域内的压力传感数据；然后判断所述压力传感数据是否发生变化；在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据；接着在所述目标红外数据的偏离值达到预设偏离值时，通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；最后基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。由于本发明在判断目标红外数据出现触点漂移时，通过结合压力传感数据、目标红外数据以及目标图像数据获取插值触点坐标来生成屏幕触点轨迹；避免了强烈的阳光、其他红外源或者遮挡物对红外电子白板触摸识别的干扰，提高了红外电子白板触摸识别的灵敏度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的屏幕触显识别设备的结构示意图；
图2为本发明屏幕触显识别方法第一实施例的流程示意图；
图3为本发明屏幕触显识别方法第二实施例的流程示意图；
图4为本发明屏幕触显识别方法第三实施例的流程示意图；
图5为本发明屏幕触显识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的屏幕触显识别设备的结构示意图。
如图1所示，该屏幕触显识别设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对屏幕触显识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及屏幕触显识别程序。
在图1所示的屏幕触显识别设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明屏幕触显识别设备中的处理器1001、存储器1005可以设置在屏幕触显识别设备中，所述屏幕触显识别设备通过处理器1001调用存储器1005中存储的屏幕触显识别程序，并执行本发明实施例提供的屏幕触显识别方法。
本发明实施例提供了一种屏幕触显识别方法，参照图2，图2为本发明屏幕触显识别方法第一实施例的流程示意图。
本实施例中，所述屏幕触显识别方法包括以下步骤：
步骤S10：在检测到目标显示屏的红外阵列框的表面被遮挡时，获取所述目标显示屏的遮挡区域内的压力传感数据。
步骤S20：判断所述压力传感数据是否发生变化。
需要说明的是，本实施例方法的执行主体可以是具有压力传感数据处理、图像获取以及触点轨迹生成功能的电子设备，例如电子白板、触控板等，还可以是能够实现相同或相似功能的其他电子设备，例如上述屏幕触显识别设备，本实施例对此不加以限制。此处以上述屏幕触显识别设备（简称识别设备）对本实施例和下述各实施例进行具体说明。
可理解的是，目标显示屏是用于给用户进行书写、绘制图形、做出标记等操作的设备，用户在目标显示屏上使用光笔或其他物体在目标显示屏上书写、擦除、拖动等操作，可使教学过程更加直观、生动。在用户进行书写操作时，内置的识别设备可精确识别用户在目标显示屏上的操作并显示出来。
应理解的是，红外阵列框是安装在目标显示屏周围的一组红外传感器框，也称为红外阵列或红外帧，这些红外传感器通常以一定的间隔布置在目标显示屏的边缘或四角。红外阵列框可发射和接收红外光束，用于捕捉用户在目标显示屏上触摸或操作时引起的光束变化。
可理解的是，压力传感数据是通过目标显示屏下安装的压力传感器获得的与压力相关的数据，通过压力传感器可测量目标显示屏外部物体或介质对其施加的压力大小，并根据其压力大小和变化进行触点判断。
应理解的是，遮挡区域是在红外阵列框的识别下，识别出目标显示屏的表面存在遮挡的区域。此时，可能是用户进行书写操作，也可能是遮挡物，因此，可根据压力传感数据做进一步判断。
在具体实现中，识别设备在检测到目标显示屏的红外阵列框的表面被遮挡时，可通过获取所述目标显示屏的遮挡区域内的压力传感数据来判断遮挡区域是用户操作还是遮挡物误触。例如若压力传感数据在发生变化，说明用户在进行书写操作，则可以进行下一步触点识别并显示触点轨迹；若压力传感数据未进一步发生变化，说明可能是有遮挡物掉落在显示屏上，则不进行触点识别，可当做误触处理，从而提高识别设备的精度，减少误触显示的操作，提高用户的体验感。
步骤S30：在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据。
需要说明的是，目标红外数据是红外阵列框根据框遮挡区域的变化获取的红外传感数据。具体的，红外阵列框通过发射和接收红外光束，捕捉用户在目标显示屏上触摸或操作时造成遮挡区域引起的光束变化，例如当用户触摸目标显示屏表面时，触摸点处的红外光束会被打断或反射，红外阵列框中的传感器能够探测到这种变化，从而生成目标红外数据。通过目标红外数据的偏差和时间延迟，从而大致确定在目标显示屏上触摸点的位置，从而实现交互式操作和功能。
步骤S40：在所述目标红外数据的偏离值达到预设偏离值时，通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据。
需要说明的是，偏离值是根据目标红外数据确定触摸点在目标显示屏位置精确性的数值；可用来评估受干扰的性能表现。例如，若存在其他红外光源，则根据红外阵列框接收的目标红外数据存在不符合实际的状况；或者在课堂上由于粉笔灰尘的缘故，红外阵列框的部分红外传感器被遮挡，导致目标红外数据缺损。这样，可首先对目标红外数据的数据情况进行预判断，以避免识别设备进行识别时出现触点漂移的情况，从而提高识别的精确性。
可理解的是，预设偏离值是根据目标红外数据的误差预先设置的偏离值，例如红外阵列框的部分红外传感器被遮挡，导致目标红外数据缺损，预设偏离值可为缺损数据小于百分之五或百分之十；或者若存在其他红外光源的干扰，目标红外数据多出的红外数据部大于百分之五或百分之十等。
应理解的是，摄像阵列是在目标显示屏上由多个摄像头组成的阵列，通过将摄像头安装在不同的位置或角度，以捕捉到不同的视角或全景图像，从而为目标显示屏的触点识别提供更丰富的信息和更准确的分析。需要说明的是，摄像阵列与红外阵列框可为同一套设备，例如红外摄像头；也可以各自独立分开，本实施例对此不加以限制。
需要说明的是，预设范围空间是预设的在目标显示屏上方的一定范围的空间。由于摄像阵列在目标显示屏的角度原因，难以拍摄到目标显示屏之外的其他图像，并且为确保图像的精度，仅需摄像目标显示屏上方空间的图像即可，例如以目标显示屏为底，上方十厘米或二十厘米矩形范围内的预设范围空间。通过摄像阵列对预设范围空间内的场景进行摄像，可获得目标显示屏上方的具体触摸物体的目标图像数据，例如光笔在目标显示屏上方的位置图像数据，或手指触摸目标显示屏的场景图像数据。
在具体实现中，在所述压力传感数据发生变化时，识别设备可通过所述红外阵列框获取所述遮挡区域的目标红外数据来初步判断是否存在干扰的情况。在所述目标红外数据的偏离值达到预设偏离值时，则说明根据目标红外数据进行触点识别存在触点漂移的情况。为提高识别的精确性，可进一步通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；通过结合目标图像数据和目标红外数据进行触点识别以提高识别设备的灵敏度。
步骤S50：基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
需要说明的是，空间坐标值是用来描述目标显示屏在显示区域位置的数值。一般是使用二维数值来描述目标显示屏在显示区域的平面位置，但考虑到本实施例的目标图像数据属于三维空间数据，可由三个坐标轴（X、Y、Z）上的数值组成，分别表示目标显示屏的显示区域在横向水平方向（X轴）、纵向水平方向（Y轴）和垂直高度方向（Z轴）的位置。
可理解的是，贝塞尔算法是用于对屏幕触摸点进行曲线生成的算法，可描述和绘制触摸点在目标显示屏上的平滑曲线。插值触点坐标是根据上述压力传感数据、目标红外数据、目标图像数据和空间坐标值确定的目标显示屏上触摸点的位置坐标，然后根据插值触点坐标创建平滑连续的屏幕触点轨迹。
例如，以三个连续的触摸点为例进行说明，但并不对本方案进行限定。识别设备在识别到三个连续的插值触点坐标时，由这三点来生成平滑的线条。由于书写速度不同，传递过来的坐标也是有较大的差异的，速度慢，坐标点之间距离小，速度快，点距大。可先对前两点点距进行计算，如果距离小于p(p为一个很小的值)，那么就直接连接前两点，下次从第二点开始画；例如三个触点为p0、p1、p2；其具体过程为：
f(t)＝(1-t0)*p0+(1-t1)*t0*p1+t1*p2；
其中，p0、p1、p2为触摸点，t0、t1为时间间隔，f(t)为三点形成的曲线。通过上述方式对连续的触摸点进行描述，使连接点处更平滑，从而创建平滑连续的屏幕触点轨迹。
在具体实现中，基于目标显示屏的空间坐标值对所述压力传感数据、所述目标红外数据和所述目标图像数据进行投影转换，获取目标显示屏上触摸点在压力维度、红外维度以及图像维度上的各个位置数据，进而在其他红外源或者遮挡物对目标红外数据的干扰下，进一步结合目标图像数据确定目标显示屏上触摸点的精确位置，从而创建平滑连续的屏幕触点轨迹，以提高识别设备触摸识别的灵敏度。
本实施例识别设备在检测到目标显示屏的红外阵列框的表面被遮挡时，可通过获取所述目标显示屏的遮挡区域内的压力传感数据来判断遮挡区域是用户操作还是遮挡物误触。例如若压力传感数据在发生变化，说明用户在进行书写操作，则可以进行下一步触点识别并显示触点轨迹；若压力传感数据未进一步发生变化，说明可能是有遮挡物掉落在显示屏上，则不进行触点识别，可当做误触处理，从而提高识别设备的精度，减少误触显示的操作，以提高用户的体验感。在所述压力传感数据发生变化时，识别设备可通过所述红外阵列框获取所述遮挡区域的目标红外数据来初步判断是否存在干扰的情况。在所述目标红外数据的偏离值达到预设偏离值时，则说明根据目标红外数据进行触点识别存在触点漂移的情况。为提高识别的精确性，可进一步通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；通过结合目标图像数据和目标红外数据进行触点识别以提高识别设备的灵敏度。最后基于目标显示屏的空间坐标值对所述压力传感数据、所述目标红外数据和所述目标图像数据进行投影转换，获取目标显示屏上触摸点在压力维度、红外维度以及图像维度上的各个位置数据，进而在其他红外源或者遮挡物对目标红外数据的干扰下，进一步结合目标图像数据确定目标显示屏上触摸点的精确位置，从而创建平滑连续的屏幕触点轨迹，以提高识别设备触摸识别的灵敏度。由于本实施例在判断目标红外数据出现触点漂移时，通过结合压力传感数据、目标红外数据以及目标图像数据获取插值触点坐标来生成屏幕触点轨迹；避免了强烈的阳光、其他红外源或者遮挡物对红外电子白板触摸识别的干扰，提高了红外电子白板触摸识别的灵敏度。
基于上述第一实施例，提出本发明第二实施例，在本实施例中，参考图2和图3，图3为本发明屏幕触显识别方法第二实施例的流程示意图。考虑到对目标图像数据进行处理的精确性，所述步骤S50包括：
步骤S51：通过结构光流算法对所述目标图像数据进行数字化处理，获得目标图像数据对应的三维点云数据。
步骤S52：根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，并通过所述目标显示屏的空间坐标值，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据。
应理解的是，目标特征点数据是目标显示屏上触摸物体（例如光笔、手指）与目标显示屏接触区域的特征点数据。
需要说明的是，结构光流算法（Structure from Motion，SFM）是用于从目标图像数据中估计目标显示屏上触摸物体（例如光笔、手指）的三维结构运动轨迹的算法。算法的实现流程为：从目标图像数据中提取特征点，并进行特征匹配，找到在不同图像帧中对应的特征点。根据特征点匹配关系，通过解算摄像阵列的旋转和平移变换，推测摄像阵列在每个时间点的姿态。最后利用相机姿态和特征点的空间位置关系，通过三角测量等方法估计出目标图像数据在目标显示屏中的目标特征点数据。
可理解的是，单应矩阵数据是利用单应变换把目标特征点数据映射到目标显示屏的平面上获取的数据。
在具体实现中，识别设备可通过结构光流算法对所述目标图像数据进行数字化处理，获得目标显示屏上目标图像数据对应的三维点云数据，并根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，以提高目标图像数据进行处理的精确性。在确定目标特征点数据后，利用单应变换把目标特征点数据映射到目标显示屏的平面上，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据。其中，单应变换把目标特征点数据映射到目标显示屏的平面上，可用非奇异矩阵H表示，具体如下：
；
其中，(u ,v ,z)表示目标特征点数据在目标显示屏上方的空间坐标，H(x ,y ,1)表示在目标显示屏的投影坐标，将所有的目标特征点数据带入上式，通过最小二乘法可得到最优的单应矩阵数据。
步骤S53：对所述目标红外数据中的光变信号进行提取，获得所述目标显示屏对应的红外触点数据。
步骤S54：通过贝塞尔算法，对所述单应矩阵数据、所述红外触点数据和所述压力传感数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
需要说明的是，目标红外数据是红外阵列框发射和接收红外光束获得的数据，因此，通过分析目标红外数据的光变信号，可捕捉用户在目标显示屏上触摸或操作时引起的光束变化，当用户触摸目标显示屏表面时，触摸点处的红外光束会被打断或反射，通过分析和计算红外光束的偏差和时间延迟，获得红外触点数据，以确定触摸点的位置。
在具体实现中，识别设备通过对所述目标红外数据中的光变信号进行提取，获得所述目标显示屏对应的红外触点数据，以大致确定目标显示屏触摸点的位置。再结合目标图像数据映射到目标显示屏的平面上获取的单应矩阵数据进行坐标提取，获得目标显示屏上触摸点精确的插值触点坐标；最后通过贝塞尔算法根据所述插值触点坐标生成屏幕触点轨迹，从而提高目标显示屏触摸点的准确性。
进一步地，考虑到三维点云数据的精确性，本实施例中在步骤S52包括：根据所述遮挡区域对所述三维点云数据进行点云筛选，获得目标特征点数据；根据所述目标显示屏的空间坐标值对所述目标特征点数据进行空间体素划分，获得初始体素；将所述初始体素输入至三维稀疏卷积网络中，获得所述目标特征点数据在所述目标显示屏的三维空间上所对应的体素特征区域；根据点云与图像联合标定对所述体素特征区域进行坐标变换，获得目标特征点数据投影到所述目标显示屏上所对应的单应矩阵数据。
需要说明的是，初始体素是将三维空间划分为均匀的小立方体单元，每个立方体单元称为一个体素，通过将目标特征点数据进行体素划分获得的空间体素。通过对空间的离散化表示，方便处理和分析三维数据。
可理解的是，三维稀疏卷积网络是用于处理三维稀疏数据的卷积神经网络（CNN）。由于目标显示屏上方的触摸物体不一定规则相同，在空间上具有较大的空洞和不规则性，因此可用特殊的网络结构来处理。
应理解的是，点云与图像联合标定是在三维点云数据和二维的单应矩阵数据之间进行相机参数的同时标定的过程，用于将目标特征点数据和目标显示屏的空间坐标数据对齐，建立之间的几何关系，从而获得目标特征点数据投影到所述目标显示屏上所对应的单应矩阵数据。
在具体实现中，可根据所述遮挡区域对所述三维点云数据进行点云筛选，筛选预设范围空间内的点云数据，并将点云根据目标显示屏的空间坐标值(x，y，z)坐标划分为空间体素，可取体素大小为Vx×Vy×Vz，将空间划分为D×W×M个初始体素。然后将所述初始体素输入至三维稀疏卷积网络中，获得所述目标特征点数据在所述目标显示屏的三维空间上所对应的体素特征区域；由于三维稀疏卷积网络的卷积块与通道数的不同，获得的体素特征区域的精度也不相同，例如若通道数为64，卷积块的尺寸分别为1/2、1/4和1/8，则最输出的体素特征区域表示为（D/8,W/8,H/16,64)。最后根据点云与图像联合标定对所述体素特征区域进行坐标变换，获得目标特征点数据投影到所述目标显示屏上所对应的单应矩阵数据。从而通过空间体素的划分，进一步提高三维点云数据的精确性。
进一步地，本实施例中在步骤S54包括：以所述压力传感数据为参考值，通过预设坐标转换关系将所述单应矩阵数据投影到所述红外触点数据中，得到聚类目标数据；将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据；通过贝塞尔算法对所述目标触点数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
需要说明的是，预设坐标转换关系是预先设置的单应矩阵数据投影到目标显示屏的转换关系。以所述压力传感数据为参考值，可分别标定红外阵列框与摄像阵列，获得单应矩阵数据和红外触点数据的坐标转换关系，利用这坐标转换关系得到聚类目标数据，用以红外触点数据与单应矩阵数据进行重叠。其预设坐标转换关系为：
；
其中，H为单应矩阵数据的非奇异矩阵，（xa,ya,za）为单应矩阵数据投影到目标显示屏的空间坐标，Rb为Tc分别为单应矩阵数据到目标显示屏的坐标系下的转换矩阵和平移向量，（x1,y1,z1）为在坐标转换关系进行转换得到的聚类目标数据的坐标。通过坐标转换关系得到聚类目标数据，用以红外触点数据与单应矩阵数据进行重叠。
可理解的是，交并比（Intersection over Union，IoU）是用于衡量单应矩阵数据投影到目标显示屏的红外触点数据之间重叠程度的评估指标，用于通过计算两个区域的交集面积与并集面积之间的比值来衡量重叠程度。其中，交集面积表示两个区域重叠的部分的面积，而并集面积则表示两个区域加起来的总面积。交并比的取值范围在0到1之间，数值越接近1表示两个区域重叠程度越高，数值越接近0表示两个区域重叠程度越低或没有重叠。
需要说明的是，预设阈值是交并比重叠的阈值，在重叠程度大于预设阈值时，则表明单应矩阵数据与红外触点数据的误差在一定的合理范围内。
在具体实现中，以所述压力传感数据为参考值，通过坐标转换关系得到聚类目标数据，用以红外触点数据与单应矩阵数据进行重叠。然后将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据；在重叠程度大于预设阈值时，则表明单应矩阵数据与红外触点数据的误差在一定的合理范围内，此时通过贝塞尔算法对所述目标触点数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。通过坐标转换关系对红外触点数据与单应矩阵数据进行重叠，在判定触摸点的误差在一定的合理范围内时生成屏幕触点轨迹，避免轨迹显示产生较大误差，以提高用户的体验。
进一步地，本实施例中，所述将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据，包括：提取所述聚类目标数据中的多个聚类数据；根据每个聚类数据的中心点值与所述红外触点数据进行面积交并比，获得各聚类数据与红外触点数据的交并比值；判断所述交并比值是否达到预设阈值；将达到预设阈值的最大交并比值所对应的数据。
需要说明的是，单应矩阵数据投影到目标显示屏的红外触点数据之间的重叠区域有时候是分散的，因此可对各个分散区域进行聚类识别。首先提取所述聚类目标数据中的多个聚类数据，设红外触点数据在目标显示屏的区域有n1个，记为Rn1；单应矩阵数据投影到目标显示屏的区域有n2个，记为Rn2。得到Rn1和Rn2每个聚类数据的中心点值的坐标(xn,yn,zn)记为pn，针对每个红外触点数据在目标显示屏的区域的Rn1，分别计算该区域与各单应矩阵数据投影到目标显示屏的区域Rn2的面积交并比，获得nl2个交并比值。此时判断所述交并比值是否达到预设阈值，达到预设阈值时取最大值，作为单应矩阵数据投影到目标显示屏的红外触点数据之间的中心重叠区域，其中心重叠区域的数据作为目标触点数据，记为nl2。从而提高结合目标图像数据与目标红外数据的关联性，进而提高触点识别的精度和可靠性。
本实施例识别设备可通过结构光流算法对所述目标图像数据进行数字化处理，获得目标显示屏上目标图像数据对应的三维点云数据，并根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，以提高目标图像数据进行处理的精确性。在确定目标特征点数据后，利用单应变换把目标特征点数据映射到目标显示屏的平面上，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据。识别设备通过对所述目标红外数据中的光变信号进行提取，获得所述目标显示屏对应的红外触点数据，以大致确定目标显示屏触摸点的位置。再结合目标图像数据映射到目标显示屏的平面上获取的单应矩阵数据进行坐标提取，获得目标显示屏上触摸点精确的插值触点坐标；最后通过贝塞尔算法根据所述插值触点坐标生成屏幕触点轨迹，从而提高目标显示屏触摸点的准确性。进一步地，还可以以所述压力传感数据为参考值，通过坐标转换关系得到聚类目标数据，用以红外触点数据与单应矩阵数据进行重叠。然后将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据；在重叠程度大于预设阈值时，则表明单应矩阵数据与红外触点数据的误差在一定的合理范围内，此时通过贝塞尔算法对所述目标触点数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。通过坐标转换关系对红外触点数据与单应矩阵数据进行重叠，在判定触摸点的误差在一定的合理范围内时生成屏幕触点轨迹，避免轨迹显示产生较大误差，以提高用户的体验。
基于上述各实施例，提出本发明第三实施例。在本实施例中，参考图2和图4，图4为本发明屏幕触显识别方法第三实施例的流程示意图。考虑到在目标显示屏进行操作时，出现多个触摸点的误触操作，所述步骤S30之后，所述方法还包括：
步骤S31：在检测到所述目标红外数据为多点触控数据时，提取所述目标红外数据的多个红外触点数据。
步骤S32：获取所述红外触点数据中的多个触摸点的位置信息。
步骤S33：判断所述位置信息是否达到预设距离阈值。
步骤S34：若所述位置信息达到所述预设距离阈值，将达到所述预设距离阈值所对应的触摸点作为无效触摸点。
需要说明的是，多点触控数据是由于误触操作在同一时间内存在多个触摸点所对应的数据。例如由于目标显示屏边框较窄，手指或者手掌的部分区域容易误触终端的屏幕，产生多点触控事件，引发误操作。或者当用户对目标显示屏进行操作时，手持光笔过久使得用户的指关节、指根与部分手掌也会容易触摸到屏幕，产生多点触控数据，导致误操作。
可理解的是，预设距离阈值是判断多个触摸点的位置距离预先设置的阈值，例如当用户手持光笔操作时，由于持笔姿势，小拇指指节一般容易触摸屏幕导致误操作，因此，在此情况下可设置预设距离阈值，若多个触摸点的位置距离过小，则可能是因为误触导致的。这样，将达到所述预设距离阈值所对应的触摸点作为无效触摸点，从而提高识别设备识别误触操作的功能，提高用户的体验。
进一步地，考虑到误触识别的准确性，本实施例中在步骤S32之后，还包括：获取所述红外触点数据的多个触摸点的触点时间，并根据所述触点时间确定各触摸点之间的时间间隔；判断所述时间间隔是否小于预设时间阈值；将小于所述预设时间阈值所对应的触摸点作为待无效触摸点；相应的，所述步骤S34包括：若所述位置信息达到预设距离阈值，将达到预设距离阈值所对应的待无效触摸点作为无效触摸点。
需要说明的是，触点时间是触摸点在目标显示屏触摸时的时间。由于多个触摸点引发误触操作时，排除正常两个单击操作对应的触摸点之间的时间间隔而言，触摸点之间的时间间隔较短。因此可对多点触控数据对应的触摸点的时间进行判断，以此设置预设时间阈值；在多个触摸点的时间间隔过短，例如小于0.1s或03s，在结合上述的位置信息进行判断。
在具体实现中，识别设备获取所述红外触点数据的多个触摸点的触点时间，并根据所述触点时间确定各触摸点之间的时间间隔；判断所述时间间隔是否小于预设时间阈值。然后将小于所述预设时间阈值所对应的触摸点作为待无效触摸点；相应的，在结合位置信息进行无效判断，若所述位置信息也达到预设距离阈值，此时可判定达到预设距离阈值所对应的待无效触摸点作为无效触摸点。从而可结合多点触控数据中多个触摸点的位置信息和时间间隔一起判定误触操作，进一步提高识别设备对误触操作的精确性。
本实施例中考虑到由于误触操作的因素，例如由于目标显示屏边框较窄，手指或者手掌的部分区域容易误触终端的屏幕，产生多点触控事件，引发误操作。或者当用户手持光笔操作时，由于持笔姿势，小拇指指节一般容易触摸屏幕导致误操作，因此，在此情况下可设置预设距离阈值，若多个触摸点的位置距离过小，则可能是因为误触导致的。这样，将达到所述预设距离阈值所对应的触摸点作为无效触摸点，从而提高识别设备识别误触操作的功能，提高用户的体验。进一步的，识别设备还可获取所述红外触点数据的多个触摸点的触点时间，并根据所述触点时间确定各触摸点之间的时间间隔；判断所述时间间隔是否小于预设时间阈值。然后将小于所述预设时间阈值所对应的触摸点作为待无效触摸点；相应的，在结合位置信息进行无效判断，若所述位置信息也达到预设距离阈值，此时可判定达到预设距离阈值所对应的待无效触摸点作为无效触摸点。从而可结合多点触控数据中多个触摸点的位置信息和时间间隔一起判定误触操作，进一步提高识别设备对误触操作的精确性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有屏幕触显识别程序，所述屏幕触显识别程序被处理器执行时实现如上文所述的屏幕触显识别方法的步骤。
参照图5，图5为本发明屏幕触显识别装置第一实施例的结构框图。
如图5所示，本发明实施例提出的屏幕触显识别装置包括：
压力传感模块501，用于在检测到目标显示屏的红外阵列框的表面被遮挡时，获取所述目标显示屏的遮挡区域内的压力传感数据；
压力判断模块502，用于判断所述压力传感数据是否发生变化；
红外获取模块503，用于在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据；
图像获取模块504，用于在所述目标红外数据的偏离值达到预设偏离值时，通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；
触点识别模块505，用于基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
本实施例识别设备在检测到目标显示屏的红外阵列框的表面被遮挡时，可通过获取所述目标显示屏的遮挡区域内的压力传感数据来判断遮挡区域是用户操作还是误触操作。例如若压力传感数据在发生变化，说明用户在进行书写操作，则可以进行下一步触点识别并显示触点轨迹；若压力传感数据未进一步发生变化，说明可能是有遮挡物掉落在显示屏上，则不进行触点识别，可当做误触处理，从而提高识别设备的精度，减少误触显示的操作，以提高用户的体验感。在所述压力传感数据发生变化时，识别设备可通过所述红外阵列框获取所述遮挡区域的目标红外数据来初步判断是否存在干扰的情况。在所述目标红外数据的偏离值达到预设偏离值时，则说明根据目标红外数据进行触点识别存在触点漂移的情况。为提高识别的精确性，可进一步通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；通过结合目标图像数据和目标红外数据进行触点识别以提高识别设备的灵敏度。最后基于目标显示屏的空间坐标值对所述压力传感数据、所述目标红外数据和所述目标图像数据进行投影转换，获取目标显示屏上触摸点在压力维度、红外维度以及图像维度上的各个位置数据，进而在其他红外源或者遮挡物对目标红外数据的干扰下，进一步结合目标图像数据确定目标显示屏上触摸点的精确位置，从而创建平滑连续的屏幕触点轨迹，以提高识别设备触摸识别的灵敏度。由于本实施例在判断目标红外数据出现触点漂移时，通过结合压力传感数据、目标红外数据以及目标图像数据获取插值触点坐标来生成屏幕触点轨迹；避免了强烈的阳光、其他红外源或者遮挡物对红外电子白板触摸识别的干扰，提高了红外电子白板触摸识别的灵敏度。
基于本发明上述屏幕触显识别装置第一实施例，提出本发明屏幕触显识别装置的第二实施例。
在本实施例中，所述触点识别模块505，还用于通过结构光流算法对所述目标图像数据进行数字化处理，获得目标图像数据对应的三维点云数据；根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，并通过所述目标显示屏的空间坐标值，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据；对所述目标红外数据中的光变信号进行提取，获得所述目标显示屏对应的红外触点数据；通过贝塞尔算法，对所述单应矩阵数据、所述红外触点数据和所述压力传感数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
进一步地，所述触点识别模块505，还用于根据所述遮挡区域对所述三维点云数据进行点云筛选，获得目标特征点数据；根据所述目标显示屏的空间坐标值对所述目标特征点数据进行空间体素划分，获得初始体素；将所述初始体素输入至三维稀疏卷积网络中，获得所述目标特征点数据在所述目标显示屏的三维空间上所对应的体素特征区域；根据点云与图像联合标定对所述体素特征区域进行坐标变换，获得目标特征点数据投影到所述目标显示屏上所对应的单应矩阵数据。
进一步地，所述触点识别模块505，还用于以所述压力传感数据为参考值，通过预设坐标转换关系将所述单应矩阵数据投影到所述红外触点数据中，得到聚类目标数据；将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据；通过贝塞尔算法对所述目标触点数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹。
进一步地，所述触点识别模块505，还用于提取所述聚类目标数据中的多个聚类数据；根据每个聚类数据的中心点值与所述红外触点数据进行面积交并比，获得各聚类数据与红外触点数据的交并比值；判断所述交并比值是否达到预设阈值；将达到预设阈值的最大交并比值所对应的数据作为目标触点数据。
进一步地，所述屏幕触显识别装置还包括距离判定模块506，用于在检测到所述目标红外数据为多点触控数据时，提取所述目标红外数据的多个红外触点数据；获取所述红外触点数据中的多个触摸点的位置信息；判断所述位置信息是否达到预设距离阈值；若所述位置信息达到所述预设距离阈值，将达到所述预设距离阈值所对应的触摸点作为无效触摸点。
进一步地，所述屏幕触显识别装置还包括距离时间判定模块507，用于获取所述红外触点数据的多个触摸点的触点时间，并根据所述触点时间确定各触摸点之间的时间间隔；判断所述时间间隔是否小于预设时间阈值；将小于所述预设时间阈值所对应的触摸点作为待无效触摸点；相应的，所述距离判定模块506，还用于若所述位置信息达到预设距离阈值，将达到预设距离阈值所对应的待无效触摸点作为无效触摸点。
本发明屏幕触显识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种屏幕触显识别方法，其特征在于，所述屏幕触显识别方法包括：
在检测到目标显示屏的红外阵列框的表面被遮挡时，获取所述目标显示屏的遮挡区域内的压力传感数据；
判断所述压力传感数据是否发生变化；
在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据；
在所述目标红外数据的偏离值达到预设偏离值时，通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；
基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹；
其中，所述基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹，包括：
通过结构光流算法对所述目标图像数据进行数字化处理，获得目标图像数据对应的三维点云数据；
根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，并通过所述目标显示屏的空间坐标值，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据；
对所述目标红外数据中的光变信号进行提取，获得所述目标显示屏对应的红外触点数据；
通过贝塞尔算法，对所述单应矩阵数据、所述红外触点数据和所述压力传感数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹；
其中，所述根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，并通过所述目标显示屏的空间坐标值，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据，包括：
根据所述遮挡区域对所述三维点云数据进行点云筛选，获得目标特征点数据；
根据所述目标显示屏的空间坐标值对所述目标特征点数据进行空间体素划分，获得初始体素；
将所述初始体素输入至三维稀疏卷积网络中，获得所述目标特征点数据在所述目标显示屏的三维空间上所对应的体素特征区域；
根据点云与图像联合标定对所述体素特征区域进行坐标变换，获得目标特征点数据投影到所述目标显示屏上所对应的单应矩阵数据；
其中，所述通过贝塞尔算法，对所述单应矩阵数据、所述红外触点数据和所述压力传感数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹，包括：
以所述压力传感数据为参考值，通过预设坐标转换关系将所述单应矩阵数据投影到所述红外触点数据中，得到聚类目标数据；
将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据；
通过贝塞尔算法对所述目标触点数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹；
其中，以所述压力传感数据为参考值，分别标定所述红外阵列框与所述摄像阵列，获得所述单应矩阵数据和所述红外触点数据的预设坐标转换关系，所述预设坐标转换关系为：
；
其中，H为所述单应矩阵数据的非奇异矩阵，（xa,ya,za）为所述单应矩阵数据投影到所述目标显示屏的空间坐标，Rb和Tc分别为所述单应矩阵数据到所述目标显示屏的坐标系下的转换矩阵和平移向量，（x1,y1,z1）为在预设坐标转换关系进行转换得到的所述聚类目标数据的坐标。
2.如权利要求1所述的屏幕触显识别方法，其特征在于，所述将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据，包括：
提取所述聚类目标数据中的多个聚类数据；
根据每个聚类数据的中心点值与所述红外触点数据进行面积交并比，获得各聚类数据与红外触点数据的交并比值；
判断所述交并比值是否达到预设阈值；
将达到预设阈值的最大交并比值所对应的数据作为目标触点数据。
3.如权利要求1所述的屏幕触显识别方法，其特征在于，所述在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据之后，还包括：
在检测到所述目标红外数据为多点触控数据时，提取所述目标红外数据的多个红外触点数据；
获取所述红外触点数据中的多个触摸点的位置信息；
判断所述位置信息是否达到预设距离阈值；
若所述位置信息达到所述预设距离阈值，将达到所述预设距离阈值所对应的触摸点作为无效触摸点。
4.如权利要求3所述的屏幕触显识别方法，其特征在于，所述获取所述红外触点数据中的多个触摸点的位置信息之后，还包括：
获取所述红外触点数据的多个触摸点的触点时间，并根据所述触点时间确定各触摸点之间的时间间隔；
判断所述时间间隔是否小于预设时间阈值；
将小于所述预设时间阈值所对应的触摸点作为待无效触摸点；
相应的，所述若所述位置信息达到所述预设距离阈值，将达到所述预设距离阈值所对应的触摸点作为无效触摸点，包括：
若所述位置信息达到预设距离阈值，将达到预设距离阈值所对应的待无效触摸点作为无效触摸点。
5.一种屏幕触显识别装置，其特征在于，所述装置包括：
压力传感模块，用于在检测到目标显示屏的红外阵列框的表面被遮挡时，获取所述目标显示屏的遮挡区域内的压力传感数据；
压力判断模块，用于判断所述压力传感数据是否发生变化；
红外获取模块，用于在所述压力传感数据发生变化时，通过所述红外阵列框获取所述遮挡区域的目标红外数据；
图像获取模块，用于在所述目标红外数据的偏离值达到预设偏离值时，通过所述目标显示屏的摄像阵列对所述目标显示屏上方预设范围空间进行摄像，获得目标图像数据；
触点识别模块，用于基于所述压力传感数据、所述目标红外数据、所述目标图像数据和所述目标显示屏的空间坐标值通过贝塞尔算法进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹；
其中，所述触点识别模块，还用于通过结构光流算法对所述目标图像数据进行数字化处理，获得目标图像数据对应的三维点云数据；根据所述三维点云数据确定所述遮挡区域内的目标特征点数据，并通过所述目标显示屏的空间坐标值，确定所述目标特征点数据和所述空间坐标值在目标显示屏的三维空间上所对应的单应矩阵数据；对所述目标红外数据中的光变信号进行提取，获得所述目标显示屏对应的红外触点数据；通过贝塞尔算法，对所述单应矩阵数据、所述红外触点数据和所述压力传感数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹；
其中，所述触点识别模块，还用于根据所述遮挡区域对所述三维点云数据进行点云筛选，获得目标特征点数据；根据所述目标显示屏的空间坐标值对所述目标特征点数据进行空间体素划分，获得初始体素；将所述初始体素输入至三维稀疏卷积网络中，获得所述目标特征点数据在所述目标显示屏的三维空间上所对应的体素特征区域；根据点云与图像联合标定对所述体素特征区域进行坐标变换，获得目标特征点数据投影到所述目标显示屏上所对应的单应矩阵数据；
其中，所述触点识别模块，还用于以所述压力传感数据为参考值，通过预设坐标转换关系将所述单应矩阵数据投影到所述红外触点数据中，得到聚类目标数据；将所述红外触点数据与所述聚类目标数据进行匹配融合，并将交并比达到预设阈值的数据作为目标触点数据；通过贝塞尔算法对所述目标触点数据进行坐标提取，获得插值触点坐标，并根据所述插值触点坐标生成屏幕触点轨迹；
其中，以所述压力传感数据为参考值，分别标定所述红外阵列框与所述摄像阵列，获得所述单应矩阵数据和所述红外触点数据的预设坐标转换关系，所述预设坐标转换关系为：
；
其中，H为所述单应矩阵数据的非奇异矩阵，（xa,ya,za）为所述单应矩阵数据投影到所述目标显示屏的空间坐标，Rb和Tc分别为所述单应矩阵数据到所述目标显示屏的坐标系下的转换矩阵和平移向量，（x1,y1,z1）为在预设坐标转换关系进行转换得到的所述聚类目标数据的坐标。
6.一种屏幕触显识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的屏幕触显识别程序，所述屏幕触显识别程序配置为实现如权利要求1至4中任一项所述的屏幕触显识别方法的步骤。
7.一种存储介质，其特征在于，所述存储介质上存储有屏幕触显识别程序，所述屏幕触显识别程序被处理器执行时实现如权利要求1至4任一项所述的屏幕触显识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184247.9A CN116974400B (zh) | 2023-09-14 | 2023-09-14 | 屏幕触显识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184247.9A CN116974400B (zh) | 2023-09-14 | 2023-09-14 | 屏幕触显识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116974400A CN116974400A (zh) | 2023-10-31 |
| CN116974400B true CN116974400B (zh) | 2024-01-16 |
Family
ID=88479864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311184247.9A Active CN116974400B (zh) | 2023-09-14 | 2023-09-14 | 屏幕触显识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116974400B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005108155A (ja) * | 2003-10-02 | 2005-04-21 | Canon Inc | 画像表示装置及び座標校正方法 |
| CN101520707A (zh) * | 2009-04-08 | 2009-09-02 | 广东威创视讯科技股份有限公司 | 红外线与摄像头相结合的多点定位触摸装置及定位方法 |
| CN102033658A (zh) * | 2009-09-30 | 2011-04-27 | 北京汇冠新技术股份有限公司 | 一种触摸屏、触摸系统及其定位方法 |
| KR20130136314A (ko) * | 2012-06-04 | 2013-12-12 | (주)더게이트테크놀러지스 | 터치 패널 장치 |
| CN109945853A (zh) * | 2019-03-26 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于3d点云航拍图像的地理坐标定位系统和方法 |
| WO2021057742A1 (zh) * | 2019-09-27 | 2021-04-01 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN115373534A (zh) * | 2021-05-20 | 2022-11-22 | 广州视源电子科技股份有限公司 | 书写笔迹的呈现方法、装置、交互平板及存储介质 |
| CN115729382A (zh) * | 2022-11-17 | 2023-03-03 | 深圳市天英联合科技股份有限公司 | 接触式红外触控方法、设备及存储介质 |
-
2023
- 2023-09-14 CN CN202311184247.9A patent/CN116974400B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005108155A (ja) * | 2003-10-02 | 2005-04-21 | Canon Inc | 画像表示装置及び座標校正方法 |
| CN101520707A (zh) * | 2009-04-08 | 2009-09-02 | 广东威创视讯科技股份有限公司 | 红外线与摄像头相结合的多点定位触摸装置及定位方法 |
| CN102033658A (zh) * | 2009-09-30 | 2011-04-27 | 北京汇冠新技术股份有限公司 | 一种触摸屏、触摸系统及其定位方法 |
| KR20130136314A (ko) * | 2012-06-04 | 2013-12-12 | (주)더게이트테크놀러지스 | 터치 패널 장치 |
| CN109945853A (zh) * | 2019-03-26 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于3d点云航拍图像的地理坐标定位系统和方法 |
| WO2021057742A1 (zh) * | 2019-09-27 | 2021-04-01 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN115373534A (zh) * | 2021-05-20 | 2022-11-22 | 广州视源电子科技股份有限公司 | 书写笔迹的呈现方法、装置、交互平板及存储介质 |
| CN115729382A (zh) * | 2022-11-17 | 2023-03-03 | 深圳市天英联合科技股份有限公司 | 接触式红外触控方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116974400A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101627356B (zh) | 交互式输入系统和方法 | |
| TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
| CN102375619B (zh) | 光学位置输入系统和方法 | |
| JP5802247B2 (ja) | 情報処理装置 | |
| CN102508578B (zh) | 投影定位装置及方法、交互系统和交互方法 | |
| CN102163108B (zh) | 多触摸点识别方法及装置 | |
| US20120319945A1 (en) | System and method for reporting data in a computer vision system | |
| CN103797446A (zh) | 输入体的动作检测方法以及使用了该方法的输入设备 | |
| TW201322058A (zh) | 手勢辨識系統及方法 | |
| US10437342B2 (en) | Calibration systems and methods for depth-based interfaces with disparate fields of view | |
| WO2018076720A1 (zh) | 单手操控方法及操控系统 | |
| US20180082129A1 (en) | Information processing apparatus, detection system, and information processing method | |
| CN102004584B (zh) | 有源笔定位显示方法及装置 | |
| US11508085B2 (en) | Display systems and methods for aligning different tracking means | |
| CN116974400B (zh) | 屏幕触显识别方法、装置、设备及存储介质 | |
| JP2014102183A (ja) | 画像処理装置および画像処理システム | |
| CN1326023C (zh) | 电子显示系统定位方法及其装置 | |
| US20160139735A1 (en) | Optical touch screen | |
| JP2018063555A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP3276010B2 (ja) | 情報の入力方法 | |
| CN115793893B (zh) | 触摸书写笔迹生成方法、装置、电子设备及存储介质 | |
| EP3059664A1 (en) | A method for controlling a device by gestures and a system for controlling a device by gestures | |
| TW201419087A (zh) | 微體感偵測模組及其微體感偵測方法 | |
| CN115793892B (zh) | 触摸数据处理方法、装置、电子设备及存储介质 | |
| Haubner et al. | Recognition of dynamic hand gestures with time-of-flight cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |