CN114020192B - 一种基于曲面电容实现非金属平面的互动方法和系统 - Google Patents
一种基于曲面电容实现非金属平面的互动方法和系统 Download PDFInfo
- Publication number
- CN114020192B CN114020192B CN202111101775.4A CN202111101775A CN114020192B CN 114020192 B CN114020192 B CN 114020192B CN 202111101775 A CN202111101775 A CN 202111101775A CN 114020192 B CN114020192 B CN 114020192B
- Authority
- CN
- China
- Prior art keywords
- curved surface
- image data
- data
- monitoring image
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003993 interaction Effects 0.000 title claims abstract description 52
- 229910052755 nonmetal Inorganic materials 0.000 title claims abstract description 34
- 239000003990 capacitor Substances 0.000 title claims abstract description 27
- 230000002452 interceptive effect Effects 0.000 claims abstract description 35
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 12
- 239000004973 liquid crystal related substance Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000084 colloidal system Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 6
- 230000001788 irregular Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种基于曲面电容实现非金属平面的互动方法和系统。该方法包括：在互动设备的非金属平面层上进行触摸、滑动、和/或点击操作，所述互动设备包括曲面电容触控面板及安装并贴合在所述曲面电容触控面板上的非金属平面层；所述互动设备接收并发送所述操作的信号给云端控制器；在所述互动设备上方设有至少一个摄像头，实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器；解析所述监控图像数据，通过AI算法计算得到所述操作的类型；提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息；根据所述指令信息控制所述曲面电容触控面板展示图像、视频和/或声音，完成互动。
Description
技术领域
本申请涉及人机互动技术领域，尤其涉及一种基于曲面电容实现非金属平面的互动方法和系统。
背景技术
曲面电容面板是在科技高度发达的今天，应人们越来越个性的需求而出现的一种触控面板。
然而目前的曲面电容面板存在两个技术问题：
1、曲面电容面板的表面为曲面，作为触控屏实现人机互动时候，由于人们普遍已经适应了对平面进行点击、滑动等操作，而对于曲面的触摸屏表现出很大的不适应和点击不准确、误操作等问题。
2、对于使用者的触控操作，不能智能的加以判断和识别，在出现不规范操作时无法识别，用户使用体验很差。
因此，目前迫切需要进行曲面电容触控面板加以改进，从而智能、准确识别用户操控意图，并纠正不规范操作。
发明内容
有鉴于此，本申请的目的在于提出一种基于曲面电容实现非金属平面的互动方法和系统，能够智能、准确识别用户操控意图，并纠正不规范操作。
基于上述目的，本申请提出了一种基于曲面电容实现非金属平面的互动方法，包括：
在互动设备的非金属平面层上进行触摸、滑动、和/或点击操作，所述互动设备包括曲面电容触控面板及安装并贴合在所述曲面电容触控面板上的非金属平面层；
所述互动设备接收并发送所述操作的信号给云端控制器；
在所述互动设备上方设有至少一个摄像头，实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器；
解析所述监控图像数据，通过AI算法计算得到所述操作的类型；
提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息；
根据所述指令信息控制所述曲面电容触控面板展示图像、视频和/或声音，完成互动。
在一些实施例中，所述曲面电容触控面板包括：均呈曲面状的曲面面板、导电膜及曲面液晶显示面板，所述曲面面板的一面通过第一胶体连接所述导电膜的第一面，所述导电膜的第二面通过第二胶体连接所述曲面液晶显示面板的一面。
在一些实施例中，所述实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器包括：
提取所述监控图像数据的实时特征流，并将所述实时特征流发送给云端服务器。
在一些实施例中，在提取所述监控图像数据的实时特征流之前还包括：对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
在一些实施例中，所述解析所述监控图像数据，通过AI算法计算得到所述操作的类型，包括：
采集标准操作数据，训练出标准动作模型；
采集待比对操作数据；
将待比对操作数据输入标准动作模型，分别提取标准操作数据和待比对操作数据中的肢体关键点数据；
根据标准操作数据和待比对操作数据中的肢体关键点数据计算待比对操作与标准操作之间的偏差，并对待比对操作进行打分。
在一些实施例中，所述提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息，包括：
将大批量已知互动设备接收的操作信号和通过AI算法得到的操作类型导入到卷积神经网络，得到各个互动设备的指令信息；将所述已知互动设备接收的操作信号和通过AI算法得到的操作类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
将待分类互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型输入训练好的AKC模型中，得到该操作的指令信息。
在一些实施例中，所述云端控制器通过声音播放装置播放操作指导，纠正不规范的操作动作。
基于上述目的，本申请还提出了一种基于曲面电容实现非金属平面的互动系统，包括：
操作信号产生模块，用于在互动设备的非金属平面层上进行触摸、滑动、和/或点击操作，所述互动设备包括曲面电容触控面板及安装并贴合在所述曲面电容触控面板上的非金属平面层；
操作信号发送模块，用于所述互动设备接收并发送所述操作的信号给云端控制器；
监控模块，用于在所述互动设备上方设有至少一个摄像头，实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器；
操作类型判断模块，用于解析所述监控图像数据，通过AI算法计算得到所述操作的类型；
指令计算模块，用于提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息；
展示控制模块，用于根据所述指令信息控制所述曲面电容触控面板展示图像、视频和/或声音，完成互动。
总的来说，本申请的优势及给用户带来的体验在于：
1、操控设备的表面为平面，作为触控屏实现人机互动时候，由于人们普遍已经适应了对平面进行点击、滑动等操作，不会出现不适应和点击不准确、误操作等问题。
2、对于使用者的触控操作，结合图像AI识别和物理设备的信号两方面数据，通过神经网络智能的加以判断和识别，在出现不规范操作时能够提醒用户纠正，极大提升用户使用体验。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出本发明的系统架构原理示意图。
图2示出根据本发明实施例的基于曲面电容实现非金属平面的互动方法的流程图。
图3示出根据本发明实施例的基于曲面电容实现非金属平面的互动系统的构成图。
图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本发明的系统架构原理示意图。本发明的实施例中，设备包括普通的曲面电容触控面板、非金属平面层、至少一个摄像头、云端控制器、声音播放装置等。操控设备的表面为平面，作为触控屏实现人机互动时候，由于人们普遍已经适应了对平面进行点击、滑动等操作，不会出现不适应和点击不准确、误操作等问题。对于使用者的触控操作，结合图像AI识别和物理设备的信号两方面数据，通过神经网络智能的加以判断和识别，在出现不规范操作时能够提醒用户纠正，极大提升用户使用体验。
图2示出根据本发明实施例的基于曲面电容实现非金属平面的互动方法的流程图。如图2所示，该基于曲面电容实现非金属平面的互动方法包括：
步骤101：在互动设备的非金属平面层上进行触摸、滑动、和/或点击操作，所述互动设备包括曲面电容触控面板及安装并贴合在所述曲面电容触控面板上的非金属平面层；所述曲面电容触控面板包括：均呈曲面状的曲面面板、导电膜及曲面液晶显示面板，所述曲面面板的一面通过第一胶体连接所述导电膜的第一面，所述导电膜的第二面通过第二胶体连接所述曲面液晶显示面板的一面。
步骤102：所述互动设备接收并发送所述操作的信号给云端控制器；
互动设备通常也可以理解为一个计算机，包含CPU或者其他处理器。它能够接收曲面电容触控面板产生的触控信号，并通过有线或者无线的方式发送给云端控制器。
步骤103：在所述互动设备上方设有至少一个摄像头，实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器；
具体的，本实施例中，对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
具体的，本实施例中，可以提取所述监控图像数据的实时特征流，并将所述实时特征流发送给云端服务器。
步骤104：解析所述监控图像数据，通过AI算法计算得到所述操作的类型，包括：
采集标准操作数据，训练出标准动作模型；
采集待比对操作数据；
将待比对操作数据输入标准动作模型，分别提取标准操作数据和待比对操作数据中的肢体关键点数据；
根据标准操作数据和待比对操作数据中的肢体关键点数据计算待比对操作与标准操作之间的偏差，并对待比对操作进行打分。
步骤105：提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息，具体包括如下步骤：
将大批量已知互动设备接收的操作信号和通过AI算法得到的操作类型导入到卷积神经网络，得到各个互动设备的指令信息；将所述已知互动设备接收的操作信号和通过AI算法得到的操作类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
将待分类互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型输入训练好的AKC模型中，得到该操作的指令信息。
步骤106：根据所述指令信息控制所述曲面电容触控面板展示图像、视频和/或声音，完成互动。优选的，当用户的操作动作不规范时，例如云端控制器无法判断用户的操作到底属于哪种操作类型，所述云端控制器通过声音播放装置播放操作指导，纠正不规范的操作动作。
以下举例说明本申请的技术效果(例如识别8个人的情况，4男4女)：
申请实施例提供了一种基于曲面电容实现非金属平面的互动系统，该系统用于执行上述实施例所述的基于曲面电容实现非金属平面的互动方法，如图3所示，该系统包括：
操作信号产生模块501，用于在互动设备的非金属平面层上进行触摸、滑动、和/或点击操作，所述互动设备包括曲面电容触控面板及安装并贴合在所述曲面电容触控面板上的非金属平面层；
操作信号发送模块502，用于所述互动设备接收并发送所述操作的信号给云端控制器；
监控模块503，用于在所述互动设备上方设有至少一个摄像头，实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器；
操作类型判断模块504，用于解析所述监控图像数据，通过AI算法计算得到所述操作的类型；
指令计算模块505，用于提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息；
展示控制模块506，用于根据所述指令信息控制所述曲面电容触控面板展示图像、视频和/或声音，完成互动。
本申请的上述实施例提供的基于曲面电容实现非金属平面的互动系统与本申请实施例提供的基于曲面电容实现非金属平面的互动方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于曲面电容实现非金属平面的互动方法对应的电子设备，以执行上基于曲面电容实现非金属平面的互动方法。本申请实施例不做限定。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于曲面电容实现非金属平面的互动方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于曲面电容实现非金属平面的互动方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于曲面电容实现非金属平面的互动方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于曲面电容实现非金属平面的互动方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于曲面电容实现非金属平面的互动方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于曲面电容实现非金属平面的互动方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种基于曲面电容实现非金属平面的互动方法，其特征在于，包括：
在互动设备的非金属平面层上进行触摸、滑动、和/或点击操作，所述互动设备包括曲面电容触控面板及安装并贴合在所述曲面电容触控面板上的非金属平面层；
所述互动设备接收并发送所述操作的信号给云端控制器；
在所述互动设备上方设有至少一个摄像头，实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器；
解析所述监控图像数据，通过AI算法计算得到所述操作的类型，包括：采集标准操作数据，训练出标准动作模型；采集待比对操作数据；将待比对操作数据输入标准动作模型，分别提取标准操作数据和待比对操作数据中的肢体关键点数据；根据标准操作数据和待比对操作数据中的肢体关键点数据计算待比对操作与标准操作之间的偏差，并对待比对操作进行打分；
提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息；
根据所述指令信息控制所述曲面电容触控面板展示图像、视频和/或声音，完成互动。
2.根据权利要求1所述的方法，其特征在于，
所述曲面电容触控面板包括：均呈曲面状的曲面面板、导电膜及曲面液晶显示面板，所述曲面面板的一面通过第一胶体连接所述导电膜的第一面，所述导电膜的第二面通过第二胶体连接所述曲面液晶显示面板的一面。
3.根据权利要求1所述的方法，其特征在于，
所述实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器包括：
提取所述监控图像数据的实时特征流，并将所述实时特征流发送给云端服务器。
4.根据权利要求3所述的方法，其特征在于，
在提取所述监控图像数据的实时特征流之前还包括：对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
5.根据权利要求1－4任意一项所述的方法，其特征在于，
所述提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息，包括：
将大批量已知互动设备接收的操作信号和通过AI算法得到的操作类型导入到卷积神经网络，得到各个互动设备的指令信息；将所述已知互动设备接收的操作信号和通过AI算法得到的操作类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
将待分类互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型输入训练好的AKC模型中，得到该操作的指令信息。
6.根据权利要求1－4任意一项所述的方法，其特征在于，
所述云端控制器通过声音播放装置播放操作指导，纠正不规范的操作动作。
7.一种基于曲面电容实现非金属平面的互动系统，其特征在于，包括：
操作信号产生模块，用于在互动设备的非金属平面层上进行触摸、滑动、和/或点击操作，所述互动设备包括曲面电容触控面板及安装并贴合在所述曲面电容触控面板上的非金属平面层；
操作信号发送模块，用于所述互动设备接收并发送所述操作的信号给云端控制器；
监控模块，用于在所述互动设备上方设有至少一个摄像头，实时拍摄所述操作过程，获得监控图像数据，并发送给云端控制器；
操作类型判断模块，用于解析所述监控图像数据，通过AI算法计算得到所述操作的类型，包括：采集标准操作数据，训练出标准动作模型；采集待比对操作数据；将待比对操作数据输入标准动作模型，分别提取标准操作数据和待比对操作数据中的肢体关键点数据；根据标准操作数据和待比对操作数据中的肢体关键点数据计算待比对操作与标准操作之间的偏差，并对待比对操作进行打分；
指令计算模块，用于提取所述互动设备接收的所述操作的信号和通过AI算法得到的所述操作的类型，输入训练好的卷积神经网络里，从而对所述操作进行识别，获得指令信息；
展示控制模块，用于根据所述指令信息控制所述曲面电容触控面板展示图像、视频和/或声音，完成互动。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1－6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1－6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111101775.4A CN114020192B (zh) | 2021-09-18 | 2021-09-18 | 一种基于曲面电容实现非金属平面的互动方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111101775.4A CN114020192B (zh) | 2021-09-18 | 2021-09-18 | 一种基于曲面电容实现非金属平面的互动方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114020192A CN114020192A (zh) | 2022-02-08 |
| CN114020192B true CN114020192B (zh) | 2024-04-02 |
Family
ID=80054680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111101775.4A Active CN114020192B (zh) | 2021-09-18 | 2021-09-18 | 一种基于曲面电容实现非金属平面的互动方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020192B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046311A (ja) * | 2002-07-09 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想空間におけるジェスチャ入力方法およびその装置 |
| CN103677446A (zh) * | 2013-11-14 | 2014-03-26 | 乐视致新电子科技（天津）有限公司 | 显示设备、摄像式触控方法及装置 |
| CN204066079U (zh) * | 2014-08-13 | 2014-12-31 | 信利光电股份有限公司 | 一种电容式触摸屏 |
| CN104486679A (zh) * | 2011-08-05 | 2015-04-01 | 三星电子株式会社 | 控制电子设备的方法和应用该方法的电子设备 |
| CN106648220A (zh) * | 2016-11-16 | 2017-05-10 | 江西合力泰科技有限公司 | 一种曲面生物识别模组及其制造方法 |
| CN107463326A (zh) * | 2017-07-17 | 2017-12-12 | 努比亚技术有限公司 | 一种移动终端触控手势识别方法、移动终端及存储介质 |
| CN108508969A (zh) * | 2017-02-28 | 2018-09-07 | 三星电子株式会社 | 包括弯曲显示器的电子装置及电子装置的显示图像的方法 |
| CN108595047A (zh) * | 2018-04-20 | 2018-09-28 | 北京硬壳科技有限公司 | 触控物识别方法及装置 |
| CN108803955A (zh) * | 2018-07-04 | 2018-11-13 | 三星电子（中国）研发中心 | 一种触控系统 |
| CN109471558A (zh) * | 2018-10-31 | 2019-03-15 | 天马微电子股份有限公司 | 触控面板以及显示设备 |
| CN109583404A (zh) * | 2018-12-06 | 2019-04-05 | 哈尔滨拓博科技有限公司 | 一种基于特征图案识别的平面手势控制系统及控制方法 |
| WO2019119329A1 (zh) * | 2017-12-20 | 2019-06-27 | 深圳市柔宇科技有限公司 | 曲面触控面板的制造方法 |
| CN110427120A (zh) * | 2019-06-21 | 2019-11-08 | 广州视源电子科技股份有限公司 | 一种显示屏及显示装置 |
| CN111857338A (zh) * | 2020-07-14 | 2020-10-30 | 上海积跬教育科技有限公司 | 一种适合大屏幕上使用移动应用的方法 |
| CN112466921A (zh) * | 2020-11-25 | 2021-03-09 | 京东方科技集团股份有限公司 | 一种显示装置 |
| CN112462948A (zh) * | 2020-12-18 | 2021-03-09 | 哈尔滨拓博科技有限公司 | 一种基于深度相机偏离用户手势控制的标定方法和装置 |
| CN112540696A (zh) * | 2019-09-23 | 2021-03-23 | 中兴通讯股份有限公司 | 屏幕触控管理方法、智能终端、装置及可读存储介质 |
| CN113190108A (zh) * | 2021-03-26 | 2021-07-30 | 特斯联科技集团有限公司 | 一种博物馆展陈无感触摸与声音联动方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5550970B2 (ja) * | 2010-04-12 | 2014-07-16 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
-
2021
- 2021-09-18 CN CN202111101775.4A patent/CN114020192B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046311A (ja) * | 2002-07-09 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想空間におけるジェスチャ入力方法およびその装置 |
| CN104486679A (zh) * | 2011-08-05 | 2015-04-01 | 三星电子株式会社 | 控制电子设备的方法和应用该方法的电子设备 |
| CN103677446A (zh) * | 2013-11-14 | 2014-03-26 | 乐视致新电子科技（天津）有限公司 | 显示设备、摄像式触控方法及装置 |
| CN204066079U (zh) * | 2014-08-13 | 2014-12-31 | 信利光电股份有限公司 | 一种电容式触摸屏 |
| CN106648220A (zh) * | 2016-11-16 | 2017-05-10 | 江西合力泰科技有限公司 | 一种曲面生物识别模组及其制造方法 |
| CN108508969A (zh) * | 2017-02-28 | 2018-09-07 | 三星电子株式会社 | 包括弯曲显示器的电子装置及电子装置的显示图像的方法 |
| CN107463326A (zh) * | 2017-07-17 | 2017-12-12 | 努比亚技术有限公司 | 一种移动终端触控手势识别方法、移动终端及存储介质 |
| WO2019119329A1 (zh) * | 2017-12-20 | 2019-06-27 | 深圳市柔宇科技有限公司 | 曲面触控面板的制造方法 |
| CN111433719A (zh) * | 2017-12-20 | 2020-07-17 | 深圳市柔宇科技有限公司 | 曲面触控面板的制造方法 |
| CN108595047A (zh) * | 2018-04-20 | 2018-09-28 | 北京硬壳科技有限公司 | 触控物识别方法及装置 |
| CN108803955A (zh) * | 2018-07-04 | 2018-11-13 | 三星电子（中国）研发中心 | 一种触控系统 |
| CN109471558A (zh) * | 2018-10-31 | 2019-03-15 | 天马微电子股份有限公司 | 触控面板以及显示设备 |
| CN109583404A (zh) * | 2018-12-06 | 2019-04-05 | 哈尔滨拓博科技有限公司 | 一种基于特征图案识别的平面手势控制系统及控制方法 |
| CN110427120A (zh) * | 2019-06-21 | 2019-11-08 | 广州视源电子科技股份有限公司 | 一种显示屏及显示装置 |
| CN112540696A (zh) * | 2019-09-23 | 2021-03-23 | 中兴通讯股份有限公司 | 屏幕触控管理方法、智能终端、装置及可读存储介质 |
| CN111857338A (zh) * | 2020-07-14 | 2020-10-30 | 上海积跬教育科技有限公司 | 一种适合大屏幕上使用移动应用的方法 |
| CN112466921A (zh) * | 2020-11-25 | 2021-03-09 | 京东方科技集团股份有限公司 | 一种显示装置 |
| CN112462948A (zh) * | 2020-12-18 | 2021-03-09 | 哈尔滨拓博科技有限公司 | 一种基于深度相机偏离用户手势控制的标定方法和装置 |
| CN113190108A (zh) * | 2021-03-26 | 2021-07-30 | 特斯联科技集团有限公司 | 一种博物馆展陈无感触摸与声音联动方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114020192A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565442B2 (en) | Picture recognition method and apparatus, computer device and computer- readable medium | |
| CN108960090B (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
| US11244157B2 (en) | Image detection method, apparatus, device and storage medium | |
| WO2022037541A1 (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
| CN110378966B (zh) | 车路协同相机外参标定方法、装置、设备及存储介质 | |
| CN110020592A (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| WO2020244075A1 (zh) | 手语识别方法、装置、计算机设备及存储介质 | |
| CN112381104B (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| CN109840883B (zh) | 一种训练物体识别神经网络的方法、装置及计算设备 | |
| CN110660102B (zh) | 基于人工智能的说话人识别方法及装置、系统 | |
| CN108875517B (zh) | 视频处理方法、装置和系统及存储介质 | |
| CN111104925A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN111414754A (zh) | 一种事件的情感分析方法、装置、服务器及存储介质 | |
| CN113158773A (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN111062374A (zh) | 身份证信息的识别方法、装置、系统、设备及可读介质 | |
| CN110298302A (zh) | 一种人体目标检测方法及相关设备 | |
| JP7396076B2 (ja) | 番号認識装置、方法及び電子機器 | |
| CN114020192B (zh) | 一种基于曲面电容实现非金属平面的互动方法和系统 | |
| CN111046232A (zh) | 一种视频分类方法、装置及系统 | |
| CN111488776A (zh) | 对象检测方法、对象检测装置和电子设备 | |
| CN113936286B (zh) | 图像文本识别方法、装置、计算机设备及存储介质 | |
| CN113361456B (zh) | 一种人脸识别方法和系统 | |
| CN114821062A (zh) | 基于图像分割的商品识别方法及装置 | |
| CN114926437A (zh) | 一种图像质量评价方法及装置 | |
| CN111767710B (zh) | 印尼语的情感分类方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |