CN114647361A - 一种基于人工智能的触摸屏物体定位方法及装置 - Google Patents
一种基于人工智能的触摸屏物体定位方法及装置 Download PDFInfo
- Publication number
- CN114647361A CN114647361A CN202210198153.6A CN202210198153A CN114647361A CN 114647361 A CN114647361 A CN 114647361A CN 202210198153 A CN202210198153 A CN 202210198153A CN 114647361 A CN114647361 A CN 114647361A
- Authority
- CN
- China
- Prior art keywords
- touch screen
- image
- screen
- recognized
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能的触摸屏物体定位方法及装置，其中方法包括：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；将待识别屏幕图像输入深度学习网络模型，获得待识别屏幕图像上被识别物体的位置信息；基于被识别物体的位置信息生成数据包，将数据包发送至触摸屏；触摸屏解析还原数据包，获得被识别物体相对于触摸屏屏幕的位置坐标。本发明可以实现任意物体在电容触摸屏上的定位和物体识别，并实时报告物体相对于触摸屏的位置，可以有效解决在识别不同物体和运动的物体时识别准确率低的问题，定位更加准确和灵活，给基于触摸屏的人机交互设施带来了极大的拓展性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的触摸屏物体定位方法及系统。
背景技术
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
随着科技和人工智能的不断进步，人机交互也已经广泛应用于各种娱乐、科技展示、办事大厅等场所，如电影院等候大厅中的游戏互动桌面。然而现有技术中大多使用电容触摸屏进行基础的人机交互。现有触摸屏(支持多点触控电容屏)和物品交互装置大多的原理是使用特定物品模型，不同物体模型底部包含不同的触摸点。当物体模型放在触摸屏上，物体模型底部的触点会触发屏幕的触摸事件，通过计算各个触摸点的形状来区分不同物体模型和物体模型所在触摸屏的位置，不利于种类拓展且需要提前对物体进行改装触摸点，因此，缺乏一定趣味性，且灵活性差。
发明内容
为了解决上述问题，本发明提供一种基于人工智能的触摸屏物体定位方法及装置，具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种基于人工智能的触摸屏物体定位方法，包括：
获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；
将所述待识别屏幕图像输入深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息；
基于所述被识别物体的位置信息生成数据包，将所述数据包发送至触摸屏；
所述触摸屏解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标。
进一步地，所述的获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕得到待识别屏幕图像包括：
通过摄像头拍摄所述触摸屏屏幕得到原始图像；
检测所述原始图像，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标；
基于所述触摸屏屏幕的各个端点坐标对所述原始图像进行图像处理，得到待识别屏幕图像。
进一步地，所述检测所述原始图像，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标包括：
将所述原始图像进行灰度转换和中值滤波处理，获得图像数据；
将所述图像数据进行二值化处理，获得二值化图片；
基于边界检测算法对所述二值化图片进行边界识别，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标。
进一步地，所述基于所述触摸屏屏幕的各个端点坐标对所述原始图像进行图像处理，得到待识别屏幕图像包括：
基于所述触摸屏屏幕的各个端点坐标对所述触摸屏图片进行图像裁剪处理，得到屏幕图像；
对所述屏幕图像进行坐标矩阵变换，将所述屏幕图像缩放至屏幕分辨率的缩放倍数上，得到所述待识别屏幕图像。
进一步地，所述将所述待识别屏幕图像输入深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息包括：
采用深度学习网络和目标检测算法构建深度学习目标检测网络；
获取多个屏幕图像样本数据及对应的标注文件构建数据集，其中，所述标注文件包括所述屏幕图像样本数据中被识别物体的位置信息和标签名称；
将所述数据集输入所述深度学习目标检测网络，生成所述深度学习网络模型；
将所述待识别屏幕图像输入所述深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息和标签名称。
进一步地，所述待识别屏幕图像上被识别物体的位置信息包括：所述被识别物体的位置坐标相对于所述待识别屏幕图像的位置百分比坐标；
所述触摸屏解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标包括：所述触摸屏根据所述位置百分比坐标，解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标。
第二方面，本发明还提供了一种基于人工智能的触摸屏物体定位装置，包括：
屏幕图像提取模块：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；
位置识别模块：用于将所述待识别屏幕图像输入深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息；
发送模块：基于所述被识别物体的位置信息生成数据包，将所述数据包发送至定位模块；
定位模块：用于解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标。
第三方面，本发明还提供了一种基于人工智能的触摸屏物体定位系统，包括：网口相机、触摸屏和AI主机；其中，所述网口相机平行放置于所述触摸屏正上方；所述AI主机包括如上述第二方面所述的装置。
第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于人工智能的触摸屏物体定位方法的步骤。
第五方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于人工智能的触摸屏物体定位方法的步骤。
由上述技术方案可知，本发明提供的一种基于人工智能的触摸屏物体定位方法，通过提取触摸屏屏幕，并将屏幕图像输入深度学习网络模型，获得屏幕图像上被识别物体的位置信息，并由触摸屏程序解析该位置信息，进而得到被识别物体的位置坐标，可以实现任意物体在电容触摸屏上的定位和物体识别，并实时报告物体相对于触摸屏的位置。可以有效解决在识别不同物体和运动的物体时识别准确率低的问题，定位更加准确和灵活，给基于触摸屏的人机交互设施带来了极大的拓展性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一个实施例提供的基于人工智能的触摸屏物体定位方法的流程示意图。
图2为本发明一个实施例提供的基于人工智能的触摸屏物体定位方法的灰度图的示意图。
图3为本发明一个实施例提供的基于人工智能的触摸屏物体定位方法的二值化图片的示意图。
图4为本发明一个实施例提供的基于人工智能的触摸屏物体定位方法的边界识别的示意图。
图5为本发明一个实施例提供的基于人工智能的触摸屏物体定位方法的屏幕端点坐标的示意图。
图6为本发明一个实施例提供的基于人工智能的触摸屏物体定位装置的架构示意图。
图7为本发明一个实施例提供的基于人工智能的触摸屏物体定位系统的示意图。
图8为本发明一个实施例提供的基于人工智能的触摸屏物体定位系统的工作流程图。
图9为本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
下面将结合附图对本发明实施例进行详细介绍。
图1示出了本发明实施例提供的基于人工智能的触摸屏物体定位方法的流程图。如图1所示，本发明实施例提供的基于人工智能的触摸屏物体定位方法，包括如下步骤：
步骤S1：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像。
具体地，原始图像可以通过以下方式获得：首先在屏幕上方放置摄像头等图像采集工具，其采集范围需要能够完全覆盖触摸屏的屏幕，获取摄像头采集到的影像数据；其次，从获取到的视频流数据中截取一帧图像进行图像分析，因视频流数据中包含动态图像，会有模糊帧的产生，因此，需要识别当前帧是否为模糊帧图像，如果是模糊帧图像则舍弃掉，如果是清晰帧图像则保留，该清晰帧图像即为原始图像。之后，经过图像识别从清晰帧图像中提取出完整的触摸屏屏幕的图像，再将该触摸屏屏幕的图像进行裁剪、拉伸、压缩等图像处理，得到待识别屏幕图像。其中，待识别屏幕图像是指经过上述图像处理等操作之后得到的，可以直接用于人工智能系统识别屏幕上物体的图像。
在本发明的一个实施例中，本步骤中的获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕得到待识别屏幕图像包括：步骤S11：通过摄像头拍摄触摸屏屏幕得到原始图像；步骤S12：检测原始图像，获得原始图像中包含的触摸屏屏幕的各个端点坐标；步骤S13：基于触摸屏屏幕的各个端点坐标对原始图像进行图像处理，得到待识别屏幕图像。
具体地，通过摄像头拍摄触摸屏屏幕，可以得到覆盖触摸屏屏幕的原始图像，该原始图像除了包含完整的触摸屏屏幕之外，还包括触摸屏边缘等其他无需进行定位和识别的物体。因此，需要对该原始图像进行检测，获得原始图像中包含的触摸屏屏幕的各个端点的坐标，通过端点坐标得到触摸屏屏幕的图像，以剔除屏幕以外的其他物体的干扰。进一步地，基于触摸屏屏幕的各个端点坐标对原始图像进行裁剪、拉伸、压缩等图像处理操作，可以得到待识别屏幕图像。
在本发明的一个实施例中，步骤S12中的检测原始图像，获得原始图像中包含的触摸屏屏幕的各个端点坐标包括：将原始图像进行灰度转换和中值滤波处理，获得图像数据；将图像数据进行二值化处理，获得二值化图片；基于边界检测算法对二值化图片进行边界识别，获得原始图像中包含的触摸屏屏幕的各个端点坐标。
具体地，原始图像为摄像头直接拍摄触摸屏得到的包含全部触摸屏屏幕的清晰帧图像，将该清晰帧图像进行灰度图转换，得到的灰度图如图2所示。同时对该图像进行中值滤波处理，所谓中值滤波处理，是指图像滤波的处理技术，将图像像素点的灰度值和相邻的像素点灰度值取一个中间值，从而对图像噪声进行抑制。
再将滤波后的图像数据进行二值化转化为二值化图片，所谓二值化是一种图像分割的方法，二值化可以把灰度图像转换成二值化图像。通过设定一个阈值把大于某个临界灰度值(即阈值)的像素灰度设为灰度极大值255，把小于这个值的像素灰度(即阈值)设为灰度极小值0，从而实现二值化，使得整个图像呈现出明显的黑白效果，得到二值化图片。本步骤中根据现场场景设置一个阈值，例如设置阈值为180，对图像进行二值化处理，通过该阈值的设置获得屏幕是白色，周围为黑色的二值化图片，得到的图片如图3所示，该二值化图片可有效提升后续边缘轮廓检测的效率。
进一步，在获得图3所示的二值化图片之后，可以基于边界检测算法对二值化图片进行边界识别。其中，边界检测算法可以包括机器视觉Canny检测算法和凸包检测算法，但不限于以上两种算法。具体地，对二值化图片进行边界识别，利用机器视觉Canny检测算法，把图像中的边缘识别出来，查找图像中的轮廓点，查找结果如图4所示，再通过检测轮廓点凸包检测算法，可有效检测出屏幕的四个角坐标，如图5所示，由此，即可获得原始图像中包含的触摸屏屏幕的各个端点坐标。
在本发明的一个实施例中，步骤S13中的基于触摸屏屏幕的各个端点坐标对原始图像进行图像处理，得到待识别屏幕图像包括：基于触摸屏屏幕的各个端点坐标对触摸屏图片进行图像裁剪处理，得到屏幕图像；对屏幕图像进行坐标矩阵变换，将屏幕图像缩放至屏幕分辨率的缩放倍数上，得到待识别屏幕图像。
具体地，根据步骤S12中获得的触摸屏屏幕的各个端点坐标即可对触摸屏图片进行图像裁剪，得到触摸屏屏幕图像。将新裁剪之后的屏幕图像进行坐标矩阵变换，拉伸还原到原始屏幕分辨率即尺寸(1920*1080)的缩放倍数上。例如，将图像还原到480*270的分辨率即尺寸上，缩放因子为4。通过将屏幕图像缩放至屏幕分辨率的缩放倍数上，得到待识别屏幕图像，可以减小图片的大小，方便深度学习算法的处理，提升算法计算的速度，提高物体定位和识别的效率。
步骤S2：将待识别屏幕图像输入深度学习网络模型，获得待识别屏幕图像上被识别物体的位置信息。
具体地，将步骤S1中获得的待识别屏幕图像输入深度学习网络模型进行目标检测。其中，深度学习网络模型使用Darknet深度学习网络和YoLo V3目标检测算法。在深度学习推理之前需要对该深度学习网络模型进行训练，从而得出训练好的模型文件，再根据该模型文件进行推理得出被识别物体的位置信息，从而实现基于深度学习网络模型的目标检测。
在本发明的一个实施例中，本步骤中的将待识别屏幕图像输入深度学习网络模型，获得待识别屏幕图像上被识别物体的位置信息包括：采用深度学习网络和目标检测算法构建深度学习目标检测网络；获取多个屏幕图像样本数据及对应的标注文件构建数据集，其中，标注文件包括屏幕图像样本数据中被识别物体的位置信息和标签名称；将数据集输入深度学习目标检测网络，生成深度学习网络模型；将待识别屏幕图像输入深度学习网络模型，获得待识别屏幕图像上被识别物体的位置信息和标签名称。
具体地，本步骤中采用Darknet深度学习网络和YoLo V3目标检测算法构建深度学习目标检测网络。首先，获取屏幕图像样本数据，每一个图像样本对应一个标注文件，标注文件包含图像样本中被标注的物体即被识别物体的位置信息、标签名称等。其次，通过多个屏幕图像样本数据及其对应的标注文件构建数据集，将准备好的数据集输入到深度学习目标检测网络，就会生成深度学习网络模型。最后，将待识别屏幕图像输入该模型，根据模型文件对输入的图像进行推理，就会获得待识别屏幕图像上被识别物体的位置信息和标签名称。
本发明的实施例通过构建深度学习网络模型，将屏幕图像输入深度学习网络模型，获得屏幕图像上被识别物体的位置信息，可以实现任意物体在触摸屏上的定位和物体识别，并实时报告物体位置，定位更加准确和灵活。
在本发明的一个实施例中，本步骤中的待识别屏幕图像上被识别物体的位置信息包括：被识别物体的位置坐标相对于待识别屏幕图像的位置百分比坐标。
其中，位置百分比坐标包括被识别物体x方向的位置坐标距离坐标原点的长度占待识别屏幕图像的横向长度的百分比和被识别物体y方向的位置坐标距离坐标原点的长度占待识别屏幕图像的纵向长度的百分比。例如，以图像的左下角为坐标原点(0，0)，图像大小为480*270，被识别物体的位置坐标为(48，54)，则被识别物体x方向的位置坐标距离坐标原点的长度为48占待识别屏幕图像的横向长度480的百分比为10％；被识别物体y方向的位置坐标距离坐标原点的长度54占待识别屏幕图像的纵向长度270的百分比为20％，记录被识别物体相对于坐标原点的百分比位置坐标为(10％，20％)，代表被识别物体在待识别屏幕图像上的位置信息。
步骤S3：基于被识别物体的位置信息生成数据包，将数据包发送至触摸屏。
具体地，经过步骤S2中的深度学习神经网络模型，可以获得待识别屏幕图像上被识别物体的位置信息及标签名称，将该信息生成数据包，并将该数据包通过UDP协议转发到触摸屏程序上。
步骤S4：触摸屏解析还原数据包，获得被识别物体相对于触摸屏屏幕的位置坐标。
具体地，触摸屏程序接收步骤S3中发送的数据包，将该数据包解析还原可获得待识别屏幕图像上被识别物体的位置信息及标签名称，根据该位置信息可以还原出被识别物体相对于触摸屏屏幕的位置坐标。
在本发明的一个实施例中，本步骤中的触摸屏解析还原数据包，获得被识别物体相对于触摸屏屏幕的位置坐标包括：触摸屏根据位置百分比坐标，解析还原数据包，获得被识别物体相对于触摸屏屏幕的位置坐标。
具体地，位置百分比坐标代表了被识别物体x方向的位置坐标距离坐标原点的长度占待识别屏幕图像的横向长度的百分比和被识别物体y方向的位置坐标距离坐标原点的长度占待识别屏幕图像的纵向长度的百分比。例如，由于待识别屏幕图像的大小是经过缩放的，其大小为480*270，而触摸屏屏幕的大小为1920*1080，均以图像和屏幕的左下角为坐标原点，被识别物体相对于待识别屏幕图像的位置坐标为(48，54)，百分比位置坐标为(10％，20％)，根据该百分比位置坐标将待识别物体的位置还原到触摸屏屏幕上，得到的该物体相对于触摸屏屏幕的横坐标为1920﹡10％＝192，纵坐标为1080﹡20％＝216，因此，待识别物体相对于触摸屏屏幕的位置坐标为(192，216)。
在上述各实施例的基础上，本发明通过提取触摸屏屏幕，并将屏幕图像输入深度学习网络模型，获得屏幕图像上被识别物体的位置信息，并由触摸屏程序解析该位置信息，进而得到被识别物体的位置坐标，可以实现任意物体在电容触摸屏上的定位和物体识别，并实时报告物体相对于触摸屏的位置。可以有效解决在识别不同物体和运动的物体时识别准确率低的问题，定位更加准确和灵活，给基于触摸屏的人机交互设施带来了极大的拓展性。
与上述实施例相对应的，本发明的另一实施例还提供了一种基于人工智能的触摸屏物体定位装置，其中，在本实施例中，与上述实施例相同或相应的内容，请参考上文介绍，后续不再赘述。
如图6所示，本发明实施例公开的一种基于人工智能的触摸屏物体定位装置，包括屏幕图像提取模块601、位置识别模块602、发送模块603、定位模块604，其中：
屏幕图像提取模块601：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像，包括：通过摄像头拍摄所述触摸屏屏幕得到原始图像；检测所述原始图像，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标；基于所述触摸屏屏幕的各个端点坐标对所述原始图像进行图像处理，得到待识别屏幕图像；所述检测所述原始图像，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标包括：将所述原始图像进行灰度转换和中值滤波处理，获得图像数据；将所述图像数据进行二值化处理，获得二值化图片；基于边界检测算法对所述二值化图片进行边界识别，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标；所述基于所述触摸屏屏幕的各个端点坐标对所述原始图像进行图像处理，得到待识别屏幕图像包括：基于所述触摸屏屏幕的各个端点坐标对所述触摸屏图片进行图像裁剪处理，得到屏幕图像；对所述屏幕图像进行坐标矩阵变换，将所述屏幕图像缩放至屏幕分辨率的缩放倍数上，得到所述待识别屏幕图像；
位置识别模块602：用于将所述待识别屏幕图像输入深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息，包括：采用深度学习网络和目标检测算法构建深度学习目标检测网络；获取多个屏幕图像样本数据及对应的标注文件构建数据集，其中，所述标注文件包括所述屏幕图像样本数据中被识别物体的位置信息和标签名称；将所述数据集输入所述深度学习目标检测网络，生成所述深度学习网络模型；将所述待识别屏幕图像输入所述深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息和标签名称；所述待识别屏幕图像上被识别物体的位置信息包括：所述被识别物体的位置坐标相对于所述待识别屏幕图像的位置百分比坐标；
发送模块603：基于所述被识别物体的位置信息生成数据包，将所述数据包发送至定位模块；
定位模块604：用于解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标；所述触摸屏解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标包括：所述触摸屏根据所述位置百分比坐标，解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标。
本发明实施例提供的基于人工智能的触摸屏物体定位装置，采用上述实施例一中的基于人工智能的触摸屏物体定位方法，通过提取触摸屏屏幕，并将屏幕图像输入深度学习网络模型，获得屏幕图像上被识别物体的位置信息，并由触摸屏程序解析该位置信息，进而得到被识别物体的位置坐标，可以实现任意物体在电容触摸屏上的定位和物体识别，并实时报告物体相对于触摸屏的位置。可以有效解决在识别不同物体和运动的物体时识别准确率低的问题，定位更加准确和灵活，给基于触摸屏的人机交互设施带来了极大的拓展性。
由于本发明实施例提供的基于人工智能的触摸屏物体定位装置，可以用于执行上述实施例所述的基于人工智能的触摸屏物体定位方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
本发明的另一实施例还提供了一种基于人工智能的触摸屏物体定位系统，如图7所示，包括：网口相机701、触摸屏702和AI主机703；其中，网口相机701平行放置于触摸屏702正上方；AI主机703包括如上述实施例中的一种基于人工智能的触摸屏物体定位装置。该系统的工作流程图如图8所示。
由于本发明实施例提供的基于人工智能的触摸屏物体定位系统，可以用于执行上述实施例所述的基于人工智能的触摸屏物体定位方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图9，所述电子设备具体包括如下内容：处理器、存储器、通信接口和通信总线；其中，所述处理器、存储器、通信接口通过所述通信总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，所述处理器执行所述计算机程序时实现上述方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；将待识别屏幕图像输入深度学习网络模型，获得待识别屏幕图像上被识别物体的位置信息；基于被识别物体的位置信息生成数据包，将数据包发送至触摸屏；触摸屏解析还原数据包，获得被识别物体相对于触摸屏屏幕的位置坐标。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；将待识别屏幕图像输入深度学习网络模型，获得待识别屏幕图像上被识别物体的位置信息；基于被识别物体的位置信息生成数据包，将数据包发送至触摸屏；触摸屏解析还原数据包，获得被识别物体相对于触摸屏屏幕的位置坐标。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现上述方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；将待识别屏幕图像输入深度学习网络模型，获得待识别屏幕图像上被识别物体的位置信息；基于被识别物体的位置信息生成数据包，将数据包发送至触摸屏；触摸屏解析还原数据包，获得被识别物体相对于触摸屏屏幕的位置坐标。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的流量审计方法。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于人工智能的触摸屏物体定位方法，其特征在于，包括：
获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；
将所述待识别屏幕图像输入深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息；
基于所述被识别物体的位置信息生成数据包，将所述数据包发送至触摸屏；
所述触摸屏解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标。
2.根据权利要求1所述的基于人工智能的触摸屏物体定位方法，其特征在于，所述的获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕得到待识别屏幕图像包括：
通过摄像头拍摄所述触摸屏屏幕得到原始图像；
检测所述原始图像，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标；
基于所述触摸屏屏幕的各个端点坐标对所述原始图像进行图像处理，得到待识别屏幕图像。
3.根据权利要求2所述的基于人工智能的触摸屏物体定位方法，其特征在于，所述检测所述原始图像，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标包括：
将所述原始图像进行灰度转换和中值滤波处理，获得图像数据；
将所述图像数据进行二值化处理，获得二值化图片；
基于边界检测算法对所述二值化图片进行边界识别，获得所述原始图像中包含的触摸屏屏幕的各个端点坐标。
4.根据权利要求2所述的基于人工智能的触摸屏物体定位方法，其特征在于，所述基于所述触摸屏屏幕的各个端点坐标对所述原始图像进行图像处理，得到待识别屏幕图像包括：
基于所述触摸屏屏幕的各个端点坐标对所述触摸屏图片进行图像裁剪处理，得到屏幕图像；
对所述屏幕图像进行坐标矩阵变换，将所述屏幕图像缩放至屏幕分辨率的缩放倍数上，得到所述待识别屏幕图像。
5.根据权利要求1所述的基于人工智能的触摸屏物体定位方法，其特征在于，所述将所述待识别屏幕图像输入深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息包括：
采用深度学习网络和目标检测算法构建深度学习目标检测网络；
获取多个屏幕图像样本数据及对应的标注文件构建数据集，其中，所述标注文件包括所述屏幕图像样本数据中被识别物体的位置信息和标签名称；
将所述数据集输入所述深度学习目标检测网络，生成所述深度学习网络模型；
将所述待识别屏幕图像输入所述深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息和标签名称。
6.根据权利要求1所述的基于人工智能的触摸屏物体定位方法，其特征在于，所述待识别屏幕图像上被识别物体的位置信息包括：所述被识别物体的位置坐标相对于所述待识别屏幕图像的位置百分比坐标；
所述触摸屏解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标包括：所述触摸屏根据所述位置百分比坐标，解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标。
7.一种基于人工智能的触摸屏物体定位装置，其特征在于，所述装置包括：
屏幕图像提取模块：获取至少全部覆盖触摸屏屏幕的原始图像，并从中提取出触摸屏屏幕，得到待识别屏幕图像；
位置识别模块：用于将所述待识别屏幕图像输入深度学习网络模型，获得所述待识别屏幕图像上被识别物体的位置信息；
发送模块：基于所述被识别物体的位置信息生成数据包，将所述数据包发送至定位模块；
定位模块：用于解析还原所述数据包，获得所述被识别物体相对于所述触摸屏屏幕的位置坐标。
8.一种基于人工智能的触摸屏物体定位系统，其特征在于，包括：
网口相机、触摸屏和AI主机；其中，所述网口相机平行放置于所述触摸屏正上方；所述AI主机包括如上述权利要求7所述的装置。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的基于人工智能的触摸屏物体定位方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于人工智能的触摸屏物体定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210198153.6A CN114647361A (zh) | 2022-03-02 | 2022-03-02 | 一种基于人工智能的触摸屏物体定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210198153.6A CN114647361A (zh) | 2022-03-02 | 2022-03-02 | 一种基于人工智能的触摸屏物体定位方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114647361A true CN114647361A (zh) | 2022-06-21 |
Family
ID=81994061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210198153.6A Pending CN114647361A (zh) | 2022-03-02 | 2022-03-02 | 一种基于人工智能的触摸屏物体定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114647361A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245950A (zh) * | 2023-05-11 | 2023-06-09 | 合肥高维数据技术有限公司 | 用于全屏或单角缺失的屏幕角点定位方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521611A (zh) * | 2011-12-13 | 2012-06-27 | 广东威创视讯科技股份有限公司 | 一种基于触摸屏的触摸物识别方法 |
| CN103488356A (zh) * | 2013-10-18 | 2014-01-01 | 武汉拓宝电子系统有限公司 | 一种基于红外摄像头三维成像的触摸识别方法 |
| KR20180106731A (ko) * | 2017-03-21 | 2018-10-01 | 엘지전자 주식회사 | 인공지능 에이전트를 구비하는 이동 단말기 |
| CN109828695A (zh) * | 2018-12-29 | 2019-05-31 | 合肥金诺数码科技股份有限公司 | 一种基于激光雷达定位的大屏幕交互系统 |
| CN109976590A (zh) * | 2017-12-27 | 2019-07-05 | 上海品奇数码科技有限公司 | 一种基于摄像头的触控检测方法 |
| JP2020015416A (ja) * | 2018-07-25 | 2020-01-30 | 国立大学法人東京工業大学 | 画像処理装置 |
| CN112230806A (zh) * | 2020-11-05 | 2021-01-15 | 青岛科锐斯光电科技有限公司 | 一种基于电容触摸屏的实物识别系统及其识别方法 |
| CN112287945A (zh) * | 2019-11-14 | 2021-01-29 | 京东安联财产保险有限公司 | 碎屏确定方法、装置、计算机设备及计算机可读存储介质 |
| CN113378836A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 图像识别方法、装置、设备、介质及程序产品 |
-
2022
- 2022-03-02 CN CN202210198153.6A patent/CN114647361A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521611A (zh) * | 2011-12-13 | 2012-06-27 | 广东威创视讯科技股份有限公司 | 一种基于触摸屏的触摸物识别方法 |
| CN103488356A (zh) * | 2013-10-18 | 2014-01-01 | 武汉拓宝电子系统有限公司 | 一种基于红外摄像头三维成像的触摸识别方法 |
| KR20180106731A (ko) * | 2017-03-21 | 2018-10-01 | 엘지전자 주식회사 | 인공지능 에이전트를 구비하는 이동 단말기 |
| CN109976590A (zh) * | 2017-12-27 | 2019-07-05 | 上海品奇数码科技有限公司 | 一种基于摄像头的触控检测方法 |
| JP2020015416A (ja) * | 2018-07-25 | 2020-01-30 | 国立大学法人東京工業大学 | 画像処理装置 |
| CN109828695A (zh) * | 2018-12-29 | 2019-05-31 | 合肥金诺数码科技股份有限公司 | 一种基于激光雷达定位的大屏幕交互系统 |
| CN112287945A (zh) * | 2019-11-14 | 2021-01-29 | 京东安联财产保险有限公司 | 碎屏确定方法、装置、计算机设备及计算机可读存储介质 |
| CN112230806A (zh) * | 2020-11-05 | 2021-01-15 | 青岛科锐斯光电科技有限公司 | 一种基于电容触摸屏的实物识别系统及其识别方法 |
| CN113378836A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 图像识别方法、装置、设备、介质及程序产品 |
Non-Patent Citations (2)
| Title |
|---|
| FERNANDES, DLA等: "Novel photo-reactor for fast screening of photo-catalytic systems", 《 JOURNAL OF PHOTOCHEMISTRY AND PHOTOBIOLOGY A-CHEMISTRY》, 15 February 2017 (2017-02-15), pages 36 - 39 * |
| 苏鹭梅等: "视觉引导触摸屏高精度自动贴合系统", 《厦门理工学院学报》, 28 February 2017 (2017-02-28), pages 44 - 49 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245950A (zh) * | 2023-05-11 | 2023-06-09 | 合肥高维数据技术有限公司 | 用于全屏或单角缺失的屏幕角点定位方法 |
| CN116245950B (zh) * | 2023-05-11 | 2023-08-01 | 合肥高维数据技术有限公司 | 用于全屏或单角缺失的屏幕角点定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oliveira et al. | dhSegment: A generic deep-learning approach for document segmentation | |
| CN112597941B (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| EP2956891B1 (en) | Segmenting objects in multimedia data | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| Rahim et al. | Hand gesture recognition based on optimal segmentation in human-computer interaction | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN115526259A (zh) | 一种多模态预训练模型的训练方法和装置 | |
| CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| CN111723687A (zh) | 基于神经网路的人体动作识别方法和装置 | |
| CN113128368A (zh) | 一种人物交互关系的检测方法、装置及系统 | |
| CN112487913A (zh) | 一种基于神经网络的标注方法、装置及电子设备 | |
| CN111353385A (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| CN114170570A (zh) | 一种适用于拥挤场景下的行人检测方法及系统 | |
| CN115240203A (zh) | 业务数据处理方法、装置、设备及存储介质 | |
| CN113657370B (zh) | 一种文字识别方法及其相关设备 | |
| CN114647361A (zh) | 一种基于人工智能的触摸屏物体定位方法及装置 | |
| CN117058624B (zh) | 一种应用于建筑工地的工程检测方法及系统 | |
| CN113223037A (zh) | 一种面向大规模数据的无监督语义分割方法及系统 | |
| CN115131826B (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
| Beltaief et al. | Deep fcn for Arabic scene text detection | |
| CN113221824B (zh) | 基于个体模型生成的人体姿态识别方法 | |
| CN113657137A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113569608A (zh) | 基于深度学习的文本识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |