CN115291786A - 一种基于机器学习的误触判断方法、装置和存储介质 - Google Patents
一种基于机器学习的误触判断方法、装置和存储介质 Download PDFInfo
- Publication number
- CN115291786A CN115291786A CN202211206058.2A CN202211206058A CN115291786A CN 115291786 A CN115291786 A CN 115291786A CN 202211206058 A CN202211206058 A CN 202211206058A CN 115291786 A CN115291786 A CN 115291786A
- Authority
- CN
- China
- Prior art keywords
- touch
- data set
- terminal
- judgment
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000010801 machine learning Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种基于人工智能的机器学习的误触判断方法、装置和存储介质。采用本申请实施例,根据针对所述终端的屏幕输入的触控操作生成原始数据集,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;将所述原始数据集输入基于人工智能的误触判断模型得到所述原始数据集对应的触控判断结果,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述数据集属于特征数据,所述触控判断结果属于标签数据,这种判断方式能够提升在特殊场景下误触判断的准确度。
Description
技术领域
本申请涉及人工智能领域,进一步涉及人工智能(Artificial Intelligence,AI)在计算机技术领域的应用,尤其涉及一种基于机器学习的误触判断方法、装置和存储介质。
背景技术
随着终端技术的发展,移动终端已经开始从以前简单地提供通话设备渐渐变成一个通用软件运行的平台。该平台不再以提供通话管理为主要目的,而是提供一个包括通话管理、游戏娱乐、办公记事、移动支付等各类应用软件在内的运行环境,随着大量的普及,已经深入至人们的生活、工作的方方面面。随着触控显示技术的快速发展,手机的集成化程度越来越高,同时手机也呈现触摸屏越来越大、边框越来越窄的发展趋势。
日常使用过程中,用户需要手持移动触控设备进行操作,但由于窄边框设计减小了屏幕以外的可用面积,用户常会出现误操作的情况。比如在查阅网页时,页面边缘被手指误触,导致非主动的滑动页面;还有用户在使用某些特定应用时多个手指进行操作容易误点到弹窗信息,如游戏应用;再比如用户在湿手的情况下进行操作,容易出现屏幕反应不灵敏或屏幕反应与实际操作不符合的情况。
因此,现有的终端设备中的防误触功能在一些特殊场景下,会将类似上述的误操作判断为非误触,识别准确度不高。
发明内容
本申请实施例一种基于机器学习的误触判断方法、装置和存储介质,能够提升在特殊场景下对误触的识别准确度。
第一方面,本申请实施例提供了一种基于机器学习的误触判断方法,所述方法应用于终端,所述方法包括:
根据针对所述终端的屏幕输入的触控操作生成原始数据集,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
将所述原始数据集输入误触判断模型得到所述原始数据集对应的触控判断结果,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触。
具体的,上述原始数据集包括屏幕的触控参数、所述终端上的传感器的参数信息和时间,现有设备中对误触的识别基本上靠对所述触控操作对应的所述屏幕的触控参数和/或所述终端上的传感器的参数信息进行分析,得到所述触控操作是否误触的判断结果,而本方法首先涉及到了触控操作的时间,所述时间具体为所述触控操作对屏幕进行输入的具体时间,如该触控操作发生在凌晨6:18分,所述时间是现有的终端设备识别误触的过程中基本上无法利用的,因为根据类似触控时间中可以很大程度上反映用户的个人作息和使用习惯,而所述个人作息和使用习惯可在一定程度上帮助判断所述触控操作是否为误触,因此将时间和其他参数相结合进行分析,可以获得更准确的判断结果,而目前设备中单纯的使用应用判断或通过各种参数计算是很难做到这一点的。
其次,本方法中涉及了误触判断模型,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果预先训练得到的模型,因此将根据针对所述终端的屏幕输入的触控操作生成原始数据集,输入至所述误触判断模型,可得到与所述原始数据集对应的触控判断结果;现有的终端设备依靠自带的传感器或应用对特殊场景下的某些误操作无法进行识别,但使用误触判断模型,则可针对特殊化场景,如湿手触摸屏幕、使用网页或玩游戏时误触等,进行预先训练,提升所述误触判断模型在特殊化场景下对误触的识别准确度。
在第一方面的一种可能的实施方式中,所述传感器包括光传感器和距离传感器;所述触控参数包括触摸点的坐标和数量;所述参数信息包括光传感器输出的光强值和距离传感器输出的距离值。
具体的,在本方案中,所述传感器至少包括光传感器和距离传感器,所述光传感器用于感应所述终端所处环境的光强值,所述光强值大小代表所述终端处的环境光强弱,所述距离传感器用于感应所述终端与接触屏幕的物体之间的距离,所述距离值的大小代表所述距离远近,例如当终端设备在口袋或背包内时,容易出现摩擦或误触导致屏幕有输入,而在这种环境中的所述光强值和所述距离值自然会比在正常使用场景中的小,故所述误触判断模型可从所述光传感器和所述距离传感器的参数入手,识别此类环境。
所述触控参数包括触摸点的坐标和数量,在常见的终端使用场景中,用户的触控操作对应的触摸点数量一般为1个,仅在少量场景或应用中的触控操作对应的触摸点数量超过1个,如使用两指进行放大,或使用游戏应用时;所述触摸点的坐标根据用户的使用习惯会有较为明显的区分,如用户A的手掌较大,在使用移动终端时该用户会采用握持式,即惯用手握住所述终端通过大拇指进行触控操作,那么此类情况触摸点的坐标会较为集中在终端屏幕的右侧,故可根据对触摸点的坐标和数量之类的触控参数的训练,得到匹配不同使用习惯的误触判断模型,增加识别准确度。
在第一方面的又一种可能的实施方式中,所述原始数据集和所述数据集样本均还包括第一权重、第二权重和第三权重,其中,所述第一权重用于约束所述触控参数对所述触控判断结果的影响程度,所述第二权重用于约束所述传感器的参数信息对所述触控判断结果的影响程度,所述第三权重用于约束所述时间对所述触控判断结果的影响程度,其中,所述第二权重随触控操作所针对的设备的使用时长的增加而降低。
具体的,在本方案中,设置了权重,所述权重用于约束所述原始数据集对所述触控判断结果的影响程度,在所述原始数据集中的每一项数据或参数均设有对应的权重,因此当认为某些因素对判断结果影响较大时,可以将其对应的权重设置得更大,以使得在进行模型训练的过程中着重考虑该某些因素;通过对权重的设置,使得训练出的模型能够全面、更合理的反映出各个因素的影响,因此最终得到的触控判断结果更准确;可选的,所述权重是动态化设置的,在实际使用的过程中,所述第二权重随触控操作所针对的设备的使用时长的增加而降低,并且通过所述权重可模拟特殊场景,如通过降低与传感器的参数信息对应的权重,减少传感器上灰尘的影响,模拟用户不常擦拭传感器的情况,提升所述误触判断模型的适用广泛性。
在第一方面的又一种可能的实施方式中,所述触控判断结果通过目标参数表示,其中,若所述目标参数的值更接近第一数值和第二数值中的第一数值,则所述目标参数对应的触控判断结果为误触,若所述目标参数的值更接近第一数值和第二数值中的第二数值,则所述目标参数对应的触控判断结果为非误触。
具体的,所述触控判断结果包括误触和非误触,但所述误触和非误触是通过目标参数表示的,即在本方案中,设置第一数值和第二数值,所述第一数值代表误触,所述第二数值代表非误触,若所述目标参数的值更接近第一数值和第二数值中的第一数值,则所述目标参数对应的触控判断结果为误触,若所述目标参数的值更接近第一数值和第二数值中的第二数值,则所述目标参数对应的触控判断结果为非误触,引入所述第一数值和第二数值来衡量触控判断结果是否可取,能够提高确定触控判断的效率和准确性。
在第一方面的又一种可能的实施方式中,在所述根据针对所述终端的屏幕输入的触控操作生成原始数据集之前,还包括:
接收服务器发送的所述误触判断模型。
在本方案中,所述终端的误触判断模型是由所述服务器发送的,具体的,由于所述终端自身无法进行模型训练,则由所述服务器将已训练好的模型发送给所述终端,可选的,所述终端将自身触控屏幕产生的原始数据集返回给所述服务器,以用于更新所述误触判断模型。
在第一方面的又一种可能的实施方式中,在所述根据针对所述终端的屏幕输入的触控操作生成原始数据集之前,还包括:
获取所述多个数据集样本和所述多个数据集样本各对应的触控判断结果;
根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到所述误触判断模型。
在本方案中,所述终端自身具备训练模型的能力,故所述误触判断模型是由自身训练得到的,所述服务器在这个过程中主要起到发送多个数据集样本和所述多个数据集样本各对应的触控判断结果的作用;可选的,所述终端将自身触控屏幕生成的原始数据集和所述原始数据集对应的触控判断结果输入至所述误触判断模型进行训练,得到更适合用户使用习惯的误触判断模型,提高所述误触判断模型的识别准确率。
第二方面,本申请实施例提供一种基于机器学习的输入判断方法,包括:
获取所述原始数据集和所述原始数据集对应的触控判断结果,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
将所述原始数据集和所述触控判断结果输入误触判断模型进行训练,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触;
向所述终端发送所述误触判断模型,以用于更新或替换所述终端中的误触判断模型。
具体的,上述原始数据集包括屏幕的触控参数、所述终端上的传感器的参数信息和时间,现有设备中对误触的识别基本上靠对所述触控操作对应的所述屏幕的触控参数和/或所述终端上的传感器的参数信息进行分析,得到所述触控操作是否误触的判断结果,而本方法首先涉及到了触控操作的时间,所述时间具体为所述触控操作对屏幕进行输入的具体时间,如该触控操作发生在凌晨6:18分,所述时间是现有的终端设备识别误触的过程中基本上无法利用的,因为根据类似触控时间中可以很大程度上反映用户的个人作息和使用习惯,而所述个人作息和使用习惯可在一定程度上帮助判断所述触控操作是否为误触,因此将时间和其他参数相结合进行分析,可以获得更准确的判断结果,而目前设备中单纯的使用应用判断或通过各种参数计算是很难做到这一点的。
其次,本方法中涉及了误触判断模型,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果预先训练得到的模型,因此将根据针对所述终端的屏幕输入的触控操作生成原始数据集,输入至所述误触判断模型,可得到与所述原始数据集对应的触控判断结果;现有的终端设备依靠自带的传感器或应用对特殊场景下的某些误操作无法进行识别,但使用误触判断模型,则可针对特殊化场景,如湿手触摸屏幕、使用网页或玩游戏时误触等,进行预先训练,提升所述误触判断模型在特殊化场景下对误触的识别准确度。
最后,本方法发生在服务器中,该服务器为具备训练模型能力的服务器,该服务器根据所述原始数据集和所述原始数据集对应的触控判断结果,训练出所述终端的误触判断模型,并将其发送给终端,以用于更新或替换所述终端中的误触判断模型,上述过程可以发生在终端第一次生成原始数据集后,可选的,所述原始数据集对应的触控判断结果可以是用户自设置的,服务器将所述原始数据集和所述触控判断结果输入误触判断模型进行训练,以使终端得到误触判断模型,也可以发生终端已配置误触判断模型后,服务器将终端除第一次以外的其他次生成原始数据集和所述原始数据集对应的触控判断结果输入误触判断模型进行训练,以使终端更新误触判断模型。
第三方面,本申请实施例提供一种基于机器学习的误触判断装置,所述装置至少包括生成单元和确定单元。该误触判断装置用于实现第一方面任一项实施方式所描述方法,其中生成单元和确定单元的介绍如下:
生成单元,用于根据针对所述终端的屏幕输入的触控操作生成原始数据集,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
确定单元,用于将所述原始数据集输入误触判断模型得到所述原始数据集对应的触控判断结果,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触。
具体的,上述原始数据集包括屏幕的触控参数、所述终端上的传感器的参数信息和时间,现有设备中对误触的识别基本上靠对所述触控操作对应的所述屏幕的触控参数和/或所述终端上的传感器的参数信息进行分析,得到所述触控操作是否误触的判断结果,而本方法首先涉及到了触控操作的时间,所述时间具体为所述触控操作对屏幕进行输入的具体时间,如该触控操作发生在凌晨6:18分,所述时间是现有的终端设备识别误触的过程中基本上无法利用的,因为根据类似触控时间中可以很大程度上反映用户的个人作息和使用习惯,而所述个人作息和使用习惯可在一定程度上帮助判断所述触控操作是否为误触,因此将时间和其他参数相结合进行分析,可以获得更准确的判断结果,而目前设备中单纯的使用应用判断或通过各种参数计算是很难做到这一点的。
其次,本方法中涉及了误触判断模型,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果预先训练得到的模型,因此将根据针对所述终端的屏幕输入的触控操作生成原始数据集,输入至所述误触判断模型,可得到与所述原始数据集对应的触控判断结果;现有的终端设备依靠自带的传感器或应用对特殊场景下的某些误操作无法进行识别,但使用误触判断模型,则可针对特殊化场景,如湿手触摸屏幕、使用网页或玩游戏时误触等,进行预先训练,提升所述误触判断模型在特殊化场景下对误触的识别准确度。
在第三方面的又一种可能的实施方式中,所述装置还包括:
接收单元,用于接收服务器发送的所述误触判断模型。
在本装置中,所述终端的误触判断模型是由所述服务器发送的,具体的,由于所述终端自身无法进行模型训练,则由所述服务器将已训练好的模型发送给所述终端,可选的,所述终端将自身触控屏幕产生的原始数据集返回给所述服务器,以用于更新所述误触判断模型。
在第三方面的又一种可能的实施方式中,所述装置还包括:
第一获取单元,用于获取所述多个数据集样本和所述多个数据集样本各对应的触控判断结果;
第一训练单元,用于根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到所述误触判断模型。
在本装置中,所述终端自身具备训练模型的能力,故所述误触判断模型是由自身训练得到的,所述服务器在这个过程中主要起到发送多个数据集样本和所述多个数据集样本各对应的触控判断结果的作用;可选的,所述终端将自身触控屏幕生成的原始数据集和所述原始数据集对应的触控判断结果输入至所述误触判断模型进行训练,得到更适合用户使用习惯的误触判断模型,提高所述误触判断模型的识别准确率。
第四方面,本申请实施例提供一种基于机器学习的误触训练装置,所述装置至少包含第二获取单元、第二训练单元和发送单元。该配置使用装置用于实现第二方面任一项实施方式所描述方法,其中,第二获取单元、第二训练单元和发送单元的介绍如下:
第二获取单元,用于获取所述原始数据集和所述原始数据集对应的触控判断结果,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
第二训练单元,用于将所述原始数据集和所述触控判断结果输入误触判断模型进行训练,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触;
发送单元,用于向所述终端发送所述误触判断模型,以用于更新或替换所述终端中的误触判断模型。
具体的,上述原始数据集包括屏幕的触控参数、所述终端上的传感器的参数信息和时间,现有设备中对误触的识别基本上靠对所述触控操作对应的所述屏幕的触控参数和/或所述终端上的传感器的参数信息进行分析,得到所述触控操作是否误触的判断结果,而本方法首先涉及到了触控操作的时间,所述时间具体为所述触控操作对屏幕进行输入的具体时间,如该触控操作发生在凌晨6:18分,所述时间是现有的终端设备识别误触的过程中基本上无法利用的,因为根据类似触控时间中可以很大程度上反映用户的个人作息和使用习惯,而所述个人作息和使用习惯可在一定程度上帮助判断所述触控操作是否为误触,因此将时间和其他参数相结合进行分析,可以获得更准确的判断结果,而目前设备中单纯的使用应用判断或通过各种参数计算是很难做到这一点的。
其次,本方法中涉及了误触判断模型,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果预先训练得到的模型,因此将根据针对所述终端的屏幕输入的触控操作生成原始数据集,输入至所述误触判断模型,可得到与所述原始数据集对应的触控判断结果;现有的终端设备依靠自带的传感器或应用对特殊场景下的某些误操作无法进行识别,但使用误触判断模型,则可针对特殊化场景,如湿手触摸屏幕、使用网页或玩游戏时误触等,进行预先训练,提升所述误触判断模型在特殊化场景下对误触的识别准确度。
最后,本方法发生在服务器中,该服务器为具备训练模型能力的服务器,该服务器根据所述原始数据集和所述原始数据集对应的触控判断结果,训练出所述终端的误触判断模型,并将其发送给终端,以用于更新或替换所述终端中的误触判断模型,上述过程可以发生在终端第一次生成原始数据集后,可选的,所述原始数据集对应的触控判断结果可以是用户自设置的,服务器将所述原始数据集和所述触控判断结果输入误触判断模型进行训练,以使终端得到误触判断模型,也可以发生终端已配置误触判断模型后,服务器将终端除第一次以外的其他次生成原始数据集和所述原始数据集对应的触控判断结果输入误触判断模型进行训练,以使终端更新误触判断模型。
第五方面,本申请实施例提供一种终端,该终端包括处理器、存储器和通信接口;存储器中存储有计算机程序;处理器执行计算机程序时,所述通信接口用于发送和/或接收数据,该终端可执行前述第一方面或者第一方面的任一种可能的实现方式所描述的方法。
需要说明的是,上述第五方面所描述的终端所包含的处理器,可以是专门用于执行这些方法的处理器(便于区别称为专用处理器),也可以是通过调用计算机程序来执行这些方法的处理器,例如通用处理器。可选的,至少一个处理器还可以既包括专用处理器也包括通用处理器。
可选的,上述计算机程序可以存在存储器中。示例性的,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(Read Only Memory,ROM),其可以与处理器集成在同一块器件上,也可以分别设置在不同的器件上,本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
在一种可能的实施方式中,上述至少一个存储器位于上述终端之外。
在又一种可能的实施方式中,上述至少一个存储器位于上述终端之内。
在又一种可能的实施方式之中,上述至少一个存储器的部分存储器位于上述终端之内,另一部分存储器位于上述终端之外。
本申请中,处理器和存储器还可能集成于一个器件中,即处理器和存储器还可以被集成在一起。
第六方面,本申请实施例提供一种服务器,该服务器包括处理器、存储器和通信接口;存储器中存储有计算机程序;处理器执行计算机程序时,所述通信接口用于发送和/或接收数据,该服务器可执行前述第二方面或者第二方面的任一种可能的实现方式所描述的方法。
需要说明的是,上述第六方面所描述的服务器所包含的处理器,可以是专门用于执行这些方法的处理器(便于区别称为专用处理器),也可以是通过调用计算机程序来执行这些方法的处理器,例如通用处理器。可选的,至少一个处理器还可以既包括专用处理器也包括通用处理器。
可选的,上述计算机程序可以存在存储器中。示例性的,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(Read Only Memory,ROM),其可以与处理器集成在同一块器件上,也可以分别设置在不同的器件上,本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
在一种可能的实施方式中,上述至少一个存储器位于上述服务器之外。
在又一种可能的实施方式中,上述至少一个存储器位于上述服务器之内。
在又一种可能的实施方式之中,上述至少一个存储器的部分存储器位于上述服务器之内,另一部分存储器位于上述服务器之外。
本申请中,处理器和存储器还可能集成于一个器件中,即处理器和存储器还可以被集成在一起。
第七方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储计算机程序,当所述指令在至少一个处理器上运行时,实现前述第一方面或者第一方面的任一种可选的方案或前述第二方面或者第二方面的任一种可选的方案所描述的方法。
第八方面,本申请提供了一种计算机程序产品,计算机程序产品包括计算机程序,当所述程序在至少一个处理器上运行时,实现前述第一方面或者第一方面的任一种可选的方案或前述第二方面或者第二方面的任一种可选的方案所描述的方法中。
可选的,该计算机程序产品可以为一个软件安装包,在需要使用前述方法的情况下,可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
本申请第五至第八方面所提供的技术方案,其有益效果可以参考第一方面和第二方面的技术方案的有益效果,此处不再赘述。
附图说明
下面将对实施例描述中所需要使用的附图作简单的介绍。
图1是本申请实施例提供的一种误触判断系统的架构示意图;
图2是本申请实施例提供的一种基于机器学习的误触判断方法的流程示意图;
图3是本申请实施例提供的又一种基于机器学习的误触判断方法的流程示意图;
图4是本申请实施例提供的一种基于机器学习的误触判断装置的结构示意图;
图5是本申请实施例提供的一种基于机器学习的误触训练装置的结构示意图;
图6是本申请实施例提供的一种终端的结构示意图;
图7是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细介绍。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选的还包括没有列出的步骤或单元,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例应用的系统架构进行介绍。需要说明的是,本申请描述的系统架构及业务场景是为了更加清楚的说明本申请的技术方案,并不构成对于本申请提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
请参见图1,图1是本申请实施例提供的一种误触判断系统的架构示意图,该系统包括终端101和服务器102,其中:
终端101可以是一个物理实体构成,也可以是由两个或多个物理实体构成。例如所述终端101可以是手机、会议教学平板、工业控制计算机等,用于实现对人机交互过程中的内容显示和交互响应。
进一步的,终端101配置有一块具有触摸功能的显示屏,该具有触摸功能的显示屏可以是红外显示屏、电容显示屏、电阻显示屏、电磁显示屏或压感显示屏等。在具有触摸功能的显示屏上,用户可以通过手指或书写笔触控显示屏的方式实现触控操作,相应的,终端检测触控位置,并根据触控位置进行响应,以实现触控功能。具有触摸功能的显示屏上对应的触摸传感模组不同时,其采集的触感信号不同,转换所得的触摸信号也不完全相同。
对于红外显示屏,触控传感模组为红外触摸框,其采集的触感信号可以包括表示红外线受阻的信号,转换所得的触摸信号可以包括位置触摸信号,该位置触摸信号可以包括触摸位置的X坐标和Y坐标。对于电容显示屏,触控传感模组为电容式触摸板,其采集的触感信号可以包括流经触摸屏的各电极的电流,转换所得的触摸信号可以包括位置触摸信号,该位置触摸信号可以包括触摸位置的X坐标和Y坐标。对于电阻显示屏,触控传感模组为电阻式触摸板,其采集的触感信号可以包括触摸位置的电压,转换所得的触摸信号可以包括位置触摸信号,该位置触摸信号可以包括触摸位置的X坐标和Y坐标。对于电磁显示屏,触控传感模组为电磁板,其采集的触感信号可以包括磁通量的变化量和接收的电磁信号的频率,转换所得的触摸信号可以包括与所述磁通变化量对应的位置触摸信号、与所述频率对应的压感信号,该位置触摸信号可以包括触摸位置的X坐标和Y坐标;压感信号可以包括压力值。对于压感显示屏,触控传感模组为压力传感器,其采集的触感信号可以包括压力信号,转换所得的触摸信号可以包括位置触摸信号,该位置触摸信号可以包括触摸位置的X坐标和Y坐标。
更进一步的,终端的显示屏中显示的图形界面,同时也是检测用户操作的触控检测区域,即图形界面和触控检测区域的范围基本重合。用户在该触控检测区域进行触控操作时,如通过手指接触具有触摸功能的显示屏,显示屏的触控模组可以感应到红外光的变化、电流的变化、电压的变化、磁通量的变化或压力的变化(对应于红外显示屏、电容显示屏、电阻显示屏、电磁显示屏或压感显示屏的具体设置类型),得到含有触摸位置的坐标的触摸信号以及该触摸信号的触发时间,根据触摸位置的坐标以及触摸信号的触发时间,可以得到用户手指每次触控至抬起停止触控过程中输入的触控轨迹的轨迹数据,此外根据触摸操作的发生位置的显示元素的不同,触摸操作可以响应为用户的点击、拖拽等操作。这些不同的响应方式在底层的坐标处理方式是相同的。基于触摸和显示等基本功能的硬件实现,可以实现终端的各种交互显示设计。
此外,终端101中配置有传感器,该传感器可以为光传感器、接近光传感器、距离传感器、压力传感器、陀螺仪传感器、加速度传感器中的一种或多种,相应的,传感器的种类不同,自身所具备的功能也各不相同。
光传感器可检测终端101周围的光强值,在一些实施例中,所述光传感器用于调整屏幕亮度。距离传感器可检测终端101与附近物体之间的距离,如用户在接听电话时,脸部靠近屏幕会自动熄屏,该操作就与距离传感器相关。加速度传感器可检测终端101在各个方向上(一般为三轴)加速度的大小。当终端101静止时可检测出重力的大小及方向。一些实施例中,加速度传感器还可以用于识别电子设备姿态,应用于横竖屏切换,计步器,防误触等应用。陀螺仪传感器可以用于确定终端101的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定终端101围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器检测终端101抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端101的抖动,实现防抖。陀螺仪传感器还可以用于导航,体感游戏场景。接近光传感器可以包括例如发光二极管(LED)和光检测器,例如发光二极管可以是红外发光二极管。终端101通过发光二极管向外发射红外光。终端101使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定终端101附近有物体;当检测到不充分的反射光时,终端101可以确定终端101附近没有物体。
值得一提的是,所述终端101中配置有误触判断模型,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型,该误触判断模型可以是终端101自身训练得到的,也可以通过接收已训练完成的模型,再进行配置的;所述多个数据集样本可以是包含终端101自身所生成的,也可以全部由其他终端设备所生成的。当所述终端101自身生成原始数据集时,需要获取到触控操作对应的触控参数、传感器的参数信息和时间,所述触控参数至少包括触摸点的坐标和数量,可选的,所述触控参数还包括电流值、电压值或电磁值(与上述屏幕类型分别对应),所述传感器的参数信息与上述传感器类型相关,所述时间为触控操作对应的具体时间。
服务器102,该服务器102可以为一个服务器或者多个服务器组成的服务器集群,用于训练误触判断模型。该服务器102在获取到多个数据集样本和多个数据集样本各对应的触控判断结果后对误触判断模型进行训练,这个过程可以发生在第一次生成误触判断模型的过程中,也可以发生在误触判断模型投入使用后,更新该模型的过程中。
请参见图2,图2是本申请实施例提供的一种基于机器学习的误触判断方法的流程示意图,该误触判断方法应用于终端,该误触判断方法可以基于图1所示的系统架构示意图实现,也可以基于其他架构实现,该方法包括但不限于如下步骤:
步骤S201:根据针对所述终端的屏幕输入的触控操作生成原始数据集。
具体的,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间。
进一步的,在一种可能的实施方式中,所述触控参数包括触摸点的坐标和数量,所述触控参数与屏幕类型相关,在本申请实施例中以屏幕为电容屏为例,对于电容显示屏,触控传感模组为电容式触摸板,其采集的触感信号可以包括流经触摸屏的各电极的电流,转换所得的触摸信号可以包括位置触摸信号,该位置触摸信号可以包括触摸点的X坐标和Y坐标,故当终端的屏幕为电容屏时,所述触控参数还包括电流值,所述电流值可用于在一定程度上判断用户是否在湿手的状态下触摸屏幕,因为当屏幕上遗留有水滴时,该水滴会影响电容屏通过电流定位触摸点,导致出现定位不准或将水滴存留处识别为触摸点的情况。
下面举例进行说明,在屏幕上建立坐标系,简单的将所述屏幕分为一百行和一百列,从左到右的坐标点为1至100,从上到下的坐标点为1至100,该案例通过对触摸点的坐标、数量和电流值的举例,说明水滴对误触判断的影响程度,如表1所示:
表1
序号 | 触摸点坐标 | 触摸点数量 | 电流值 | 是否为误触 |
1 | (43,55) | 1 | 3pA | 非误触 |
2 | (43,55)、(56,86) | 2 | (43,55)处2.7pA(56,86)处0.3pA | (56,86)处为误触 |
3 | (43,55) | 1 | 1.3pA | 误触 |
水滴存留处被识别为触摸点的情况如序号2处的数据所示,正常触控屏幕的电流值为3pA,但当水滴影响到电流定位触摸点时,会将产生微弱电流被分走的情况,导致出现两个触摸点坐标,虽然仅有微弱的电流,但现有的终端设备仍会判断此类情况被为非误触,认为其有两个触摸点,但实际上两者有较为明显的电流差异。当屏幕上遗留有水滴,导致出现定位不准的情况如序号3处所示,用户的实际触摸点坐标为(55,69),但因水滴的影响,导致触摸点被定位在(43,55)处,(43,55)处的电流值与正常触控相比会有一定的差异,本例仅代表着在终端的屏幕为电容屏时,水滴遗留在电容屏上所可能出现的情况电流值,所示的电流值大小不一定与实际相符,仅是为了便于说明水滴遗留对误触判断的影响,在实际使用过程中,该电流值会与其他原始数据集中的数据信息并行使用,以此综合得到触控判断结果。
在另一种可能的实施方式中,所述触摸点的坐标根据用户的使用习惯会有较为明显的区分,如用户A的手掌较大,在使用移动终端时该用户会采用握持式,即惯用手握住所述终端通过大拇指进行触控操作,那么此类情况触摸点的坐标会较为集中在终端屏幕的右侧,故可根据对触摸点的坐标和数量之类的触控参数的训练,得到匹配不同使用习惯的误触判断模型,增加识别准确度。
在又一种可能的实施方式中,在常见的终端使用场景中用户的触控操作对应的触摸点数量一般为1个,仅在少量场景或应用中的触控操作对应的触摸点数量超过1个,如使用两指进行放大,或使用游戏应用时,故在日常使用中屏幕上出现多个触摸点时可能是存在误触的情况。但在另一种可能的实施方式中,出现多个触摸点是正常情况,如用户在横屏模式下玩游戏,在大多数游戏应用中,用户需要多个手指触控屏幕,以此进行操作,但在多指触控屏幕的情况下,由于上述原因反而容易打开终端自带的防误触功能,故在这种实施方式中,将所述触摸点的数量加入到原始数据集是能够在一定程度上提高误触判断的准确率。
在一种可能的实施方式中,所述传感器包括光传感器、距离传感器、压力传感器、加速度传感器、陀螺仪传感器等传感器中的一项或多项;以所述传感器包括光传感器、距离传感器为例,所述参数信息包括光传感器输出的光强值和距离传感器输出的距离值,在现有技术中,终端设备中的防误触功能是根据所述光强值和所述距离值来判断是否开启的,故将所述光传感器或距离传感器的参数信息加入到原始数据集是能够在一定程度上提高误触判断的准确率。
此外,在一种可能的实施方式中,所述原始数据集和所述数据集样本均还包括第一权重、第二权重和第三权重,其中,所述第一权重用于约束所述触控参数对所述触控判断结果的影响程度,所述第二权重用于约束所述传感器的参数信息对所述触控判断结果的影响程度,所述第三权重用于约束所述时间对所述触控判断结果的影响程度,可选的,所述权重是动态化设置的,在实际使用的过程中,所述第二权重随触控操作所针对的设备的使用时长的增加而降低,并且通过所述权重可模拟特殊场景,如第二权重随触控操作所针对的设备的使用时长的增加而降低,通过降低与传感器的参数信息对应的权重,减少传感器上灰尘的影响,模拟用户不常擦拭传感器的情况,提升所述误触判断模型的适用广泛性。
下面举例进行说明,第二权重随触控操作所针对的设备的使用时长的增加而降低的情况,具体如表2所示:
表2
使用时长 | 第一权重 | 第二权重 | 第三权重 |
半年 | 40% | 40% | 20% |
一年 | 45% | 35% | 20% |
两年 | 50% | 25% | 25% |
三年 | 60% | 20% | 20% |
在表2中可知,随着设备的使用时长的增加,第二权重逐年降低,可减少传感器上灰尘的影响,模拟用户不常擦拭传感器的情况,提升所述误触判断模型的适用广泛性,但第二权重可能会随着时间的增加而降低,但一定不会低于阈值,因为虽然部分传感器会受到灰尘的影响或被损坏,但仍会有部分传感器设置在终端内部,处于正常工作的状态,故所述传感器的参数信息仍会有参考价值。
值得一提的是,在一种可能的实施方式中,当发现用户有睡觉不熄屏的习惯时,所述第三权重会相应的提升。下面举例进行说明,如表3所示:
表3
睡觉是否熄屏 | 第一权重 | 第二权重 | 第三权重 |
是 | 40% | 40% | 20% |
否 | 35% | 35% | 30% |
当用户有睡觉不熄屏的习惯时,就有可能存在深夜误触的情况,而这种情况符合非误触的所有参数信息,故而这种深夜误触的情况是现有设备无法发现的,因此将所述时间和所述第三权重加入到所述原始数据集是能够在一定程度上提高误触判断的准确率。
综上,在生产所述原始数据集的过程中,所述触控参数、传感器的参数信息和时间可直接获取,而所述第一权重、第二权重和第三权重可以是开发人员或终端的用户所配置的,也可以是根据用户的使用习惯生成的。
可选的,以触控参数包括触摸点坐标、触摸点数量、电压值,以及与触控参数对应的第一权重,传感器的参数信息包括光强值、距离值,以及与传感器的参数信息对应的第二权重,时间和与所述时间对应的第三权重为例,故原始数据集是以{触摸点坐标,触摸点数量,电压值,第一权重,光强值,距离值,第二权重,时间,第三权重}的形式呈现,下面举例进行说明,如原始数据集可能是{(11,11),1,0.5,40%,20,2,40%,23:36,20% }或{(23,11)、(11,23),2,0.6,35%,20,3,35%,04:25,30% },将判断误触所需的各种参数信息打包成上述原始数据集的形式即可输入至误触判断模型进行预测。
步骤S202:将原始数据集输入误触判断模型得到原始数据集对应的触控判断结果。
具体的,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据。
可选的,所述误触判断模型可以是由所述终端训练得到的,也可以是由服务器训练完后发送给所述终端的。而在使用所述误触判断模型的过程中,将所述原始数据集输入至所述误触判断模型即可得到预测的触控判断结果,预先训练的样本数据越多,预测的也就越准确,所述触控判断结果包括非误触或误触。可选的,所述触控判断结果可通过目标参数表示,其中,若所述目标参数的值更接近第一数值和第二数值中的第一数值,则所述目标参数对应的触控判断结果为误触,若所述目标参数的值更接近第一数值和第二数值中的第二数值,则所述目标参数对应的触控判断结果为非误触。
下面举例说明,以第一位置为100,第二数值为0举例,如表4所示:
表4
目标参数 | 输出的触控判断结果 |
90 | 误触 |
45 | 非误触 |
10 | 非误触 |
所述误触判断模型的输出结果由目标参数表示,虽然增加了数据化的过程,但是降低了触控判断结果的识别误差,增加了触控判断结果的识别准确度。
进一步的,当所述触控判断结果为误触时,所述终端打开防误触功能,避免该误触影响用户后续的触控操作。
在一种可能的实施方式中,误触判断模型可采用卷积神经网络(ConvolutionalNeuralNetwork,CNN)、长短期记忆人工神经网络(Long-Short Term Memory,LSTM)等基础网络模型。卷积神经网络通常包括:输入层、卷积层(Convolution Layer)、池化层(Poolinglayer)、全连接层(Fully Connected Layer,FC)和输出层。一般来说,卷积神经网络的第一层是输入层,最后一层是输出层。卷积层(Convolution Layer)是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重就是卷积核。池化层(Pooling layer),通常在卷积层之后会得到维度很大的特征,将特征切成几个区域,取其最大值或平均值,得到新的、维度较小的特征。全连接层( Fully-Connectedlayer), 把所有局部特征结合变成全局特征,用来计算最后每一类的得分。长短期记忆人工神经网络(Long-Short Term Memory,LSTM)通常包括输入层、隐含层以及输出层。其中,输入层由至少一个输入节点组成;当LSTM网络为单向网络时,隐含层仅包括前向隐含层,当LSTM网络为双向网络时,隐含层包括前向隐含层以及后向隐含层。对于每个输入节点分别与前向隐含层节点以及后向隐含层节点连接,用于分别向前向隐含层节点以及后向隐含层节点输出输入数据,每个隐含层中的隐含节点分别与输出节点连接,用于向输出节点输出自己的计算结果,输出节点根据隐含层的输出节点进行计算,并输出数据。
在一种可能的实施方式中,所述误触判断模型可采用下述方式进行训练:
构建误触判断原始模型。其中,误触判断原始模型可选择CNN、LSTM等基础网络模型。
获取大量的训练样本,训练样本包括:触控参数、传感器的参数信息和时间以及与之对应的第一权重、第二权重和第三权重,值得一提的是,在原始模型的训练过程中,跟个人习惯强相关的原始数据集是不参与的。
将训练样本输入到误触判断原始模型,由误触判断原始模型对训练样本是否为误触进行检测,得到检测结果。
利用损失函数对检测结果和每个训练样本的标记结果进行损失值的计算,得到模型的损失值。一些实施例中,可采用交叉熵损失函数、加权损失函数等损失函数进行损失值计算,或者采用多种损失函数组合的方式,计算多种损失值。
判断模型的损失值是否符合模型的收敛条件。
在一种可能的实施方式中,模型收敛条件可以是,模型的损失值小于或等于预先设定的损失阈值。也就是说,可以将模型的损失值和损失阈值进行比较,若模型的损失值大于损失阈值,则可以判断出模型的损失值不符合模型收敛条件,反之,若模型的损失值小于或等于损失阈值,则可以判断出模型损失值符合模型收敛条件。
需要说明的是,多个训练样本,可以针对每一个训练样本计算得到对应的模型的损失值,这种情况下,只有在每一个训练样本的模型损失值均符合模型收敛条件的情况下才会执行,反之,只要有一个训练样本的模型损失值不符合模型收敛条件,则执行后续步骤。
若模型的损失值符合模型的收敛条件,则说明模型训练结束。训练结束的模型则可用于本实施例提出的一种基于机器学习的误触判断方法,通过对输入到模型中的原始数据集判断与所述原始数据集对应触控操作是否为误触的检测。
若模型的损失值不符合模型的收敛条件,则根据模型的损失值计算得到模型的参数更新值,并以模型的参数更新值,更新误触判断原始模型。并利用更新后的模型,继续对训练样本进行处理,得到检测结果,继续执行后续过程,直至模型的损失值符合模型的收敛条件。
在本申请实施例中,所述终端中设有误触判断模型,当所述终端的屏幕有触控操作时,生成与触控操作对应的原始数据集,所述原始数据集包括所述终端可直接获取的各种参数信息,以及与所述参数信息对应的权重,所述权重可以是自设置的,也可以是根据用户的使用习惯得到的;将所述原始数据集输入至所述误触判断模型,即可输出所述触控操作是否误触的触控判断结果,方便快捷,与现有技术相比,使用了机器学习的方式,提升了识别误触的准确率,设置了各种参数信息的权重,增加了误触判断模型的识别广泛性,减少了识别误触的误差,进一步提高了识别误触的准确率。
请参见图3,图3是本申请实施例提供的又一种基于机器学习的误触判断方法的流程示意图,该配置处理方法可以基于图1所示的系统架构示意图实现,也可以基于其他架构实现,该方法包括但不限于如下步骤:
步骤S301:终端向服务器发送原始数据集和原始数据集对应的触控判断结果。
具体的,终端根据针对所述终端的屏幕输入的触控操作生成原始数据集,将所述原始数据集输入至误触判断模型得到与所述原始数据集对应的触控判断结果,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触。在本方案中,所述终端自身不具备进行模型训练的能力,故将所述原始数据集和原始数据集对应的触控判断结果发送给服务器,用于进行模型训练。
在一种可能的实施方式中,将每次触控操作得到原始数据集和所述原始数据集对应的触控判断结果,及时的发送至服务器,在最短的时间内得到训练后的误触判断模型。在另一种可能的实施方式中,将每次触控操作得到原始数据集和所述原始数据集对应的触控判断结果进行打包,定时的进行发送,避免因短时间内多次进行数据传输和接收造成的网络堵塞。
步骤S302:服务器接收来自终端的原始数据集和原始数据集对应的触控判断结果。
步骤S303:将原始数据集和触控判断结果输入误触判断模型进行训练。
具体的,服务器将所述来自终端的所述原始数据集和原始数据集对应的触控判断结果输入误触判断模型进行训练,以得到更匹配于所述终端的误触判断模型。可选的,服务器将所述来自终端的所述原始数据集和原始数据集对应的触控判断结果进行数据缓存,当数据积累到一定程度后,再将积累的原始数据集和原始数据集对应的触控判断结果输入至误触判断模型进行训练。
步骤S304:服务器向终端发送所述误触判断模型。
具体的,服务器向终端发送所述误触判断模型,以用于更新或替换所述终端中的误触判断模型,使所述误触判断模型更符合所述终端用户的个人使用习惯。
步骤S305:终端接收来自服务器的误触判断模型。
具体的,终端接收来自服务器的误触判断模型,用于替换原先的误触判断模型。
在本申请实施例中,所述终端自身不具备进行模型训练的能力,故将原始数据集和原始数据集对应的触控判断结果发送服务器进行模型训练,以用于更新或替换所述终端中的误触判断模型,使所述误触判断模型更符合所述终端用户的个人使用习惯,所述误触判断模型训练的数据越多,预测的结果也就越准确。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参见图4,图4是本申请实施例提供一种基于机器学习的误触判断装置40的结构示意图,该装置40可以为前面提及的终端或者终端中的器件,该装置40可以包括生成单元401和确定单元402,其中,各个单元的详细描述如下。
生成单元401,用于根据针对所述终端的屏幕输入的触控操作生成原始数据集,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
确定单元402,用于将所述原始数据集输入误触判断模型得到所述原始数据集对应的触控判断结果,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触。
具体的,上述原始数据集包括屏幕的触控参数、所述终端上的传感器的参数信息和时间,现有设备中对误触的识别基本上靠对所述触控操作对应的所述屏幕的触控参数和/或所述终端上的传感器的参数信息进行分析,得到所述触控操作是否误触的判断结果,而本方法涉及到了触控操作的时间,所述时间具体为所述触控操作对屏幕进行输入的具体时间,如该触控操作发生在凌晨6:18分,所述时间是现有的终端设备识别误触的过程中基本上无法利用的,因为从所述时间中可获取用户个人的作息习惯,根据所述作息习惯可帮助判断所述触控操作是否为误触,而目前设备中单纯的使用应用判断或通过各种参数计算是很难做到这一点的。
进一步的,上述方法中涉及了误触判断模型,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果预先训练得到的模型,因此将根据针对所述终端的屏幕输入的触控操作生成原始数据集,输入至所述误触判断模型,可得到与所述原始数据集对应的触控判断结果;现有的终端设备依靠自带的传感器或应用对特殊场景下的某些误操作无法进行识别,但使用误触判断模型,则可针对特殊化场景,如湿手触摸屏幕、使用网页或玩游戏时误触等,进行预先训练,提升所述误触判断模型在特殊化场景下对误触的识别准确度。
在一种可能的实施方式中,所述装置40还包括:
接收单元,用于接收服务器发送的所述误触判断模型。
在本装置40中,所述终端的误触判断模型是由所述服务器发送的,具体的,由于所述终端自身无法进行模型训练,则由所述服务器将已训练好的模型发送给所述终端,可选的,所述终端将自身触控屏幕产生的原始数据集返回给所述服务器,以用于更新所述误触判断模型。
在一种可能的实施方式中,所述装置40还包括:
第一获取单元,用于获取所述多个数据集样本和所述多个数据集样本各对应的触控判断结果;
第一训练单元,用于根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到所述误触判断模型。
在本装置40中,所述终端自身具备训练模型的能力,故所述误触判断模型是由自身训练得到的,所述服务器在这个过程中主要起到发送多个数据集样本和所述多个数据集样本各对应的触控判断结果的作用;可选的,所述终端将自身触控屏幕生成的原始数据集和所述原始数据集对应的触控判断结果输入至所述误触判断模型进行训练,得到更适合用户使用习惯的误触判断模型,提高所述误触判断模型的识别准确率。
请参见图5,图5是本申请实施例提供一种基于机器学习的误触训练装置50的结构示意图,该装置50可以为前面提及的服务器或者服务器中的器件,该装置50可以包括第二获取单元501、第二训练单元502和发送单元503,其中,各个单元的详细描述如下。
第二获取单元501,用于获取所述原始数据集和所述原始数据集对应的触控判断结果,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
第二训练单元502,用于将所述原始数据集和所述触控判断结果输入误触判断模型进行训练,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触;
发送单元503,用于向所述终端发送所述误触判断模型,以用于更新或替换所述终端中的误触判断模型。
具体的,所述原始数据集包括屏幕的触控参数、所述终端上的传感器的参数信息和时间,现有设备中对误触的识别基本上靠对所述触控操作对应的所述屏幕的触控参数和/或所述终端上的传感器的参数信息进行分析,得到所述触控操作是否误触的判断结果,而本方法涉及到了触控操作的时间,所述时间具体为所述触控操作对屏幕进行输入的具体时间,如该触控操作发生在凌晨6:18分,所述时间是现有的终端设备识别误触的过程中基本上无法利用的,因为从所述时间中可获取用户个人的作息习惯,根据所述作息习惯可帮助判断所述触控操作是否为误触,而目前设备中单纯的使用应用判断或通过各种参数计算是很难做到这一点的。
进一步的,上述方案涉及了误触判断模型,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果预先训练得到的模型,因此将根据针对所述终端的屏幕输入的触控操作生成原始数据集,输入至所述误触判断模型,可得到与所述原始数据集对应的触控判断结果;现有的终端设备依靠自带的传感器或应用对特殊场景下的某些误操作无法进行识别,但使用误触判断模型,则可针对特殊化场景,如湿手触摸屏幕、使用网页或玩游戏时误触等,进行预先训练,提升所述误触判断模型在特殊化场景下对误触的识别准确度。
请参见图6,图6是本申请实施例提供的一种终端60的结构示意图,所述终端60包括:处理器601、通信接口602及存储器603。其中,处理器601、通信接口602及存储器603可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,处理器601是终端60的计算核心以及控制核心,其可以解析终端60内的各类指令以及终端60的各类数据,例如:该处理器601可为中央处理器(Central ProcessingUnit,CPU),可以在终端60内部结构之间传输各类交互数据,等等。通信接口602可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等),受处理器601的控制可以用于收发数据;通信接口602还可以用于所述终端60内部信令或者指令的传输以及交互。存储器603(Memory)是所述终端60中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器603既可以包括所述终端60的内置存储器,当然也可以包括所述终端60所支持的扩展存储器。存储器603提供存储空间,该存储空间存储了所述终端60的操作系统,该存储空间还存储了处理器执行相应操作所需的程序代码或指令,可选的,该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。
在本申请实施例中,处理器601运行存储器603中的可执行程序代码,用于执行如下操作:
根据针对所述终端的屏幕输入的触控操作生成原始数据集,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
将所述原始数据集输入误触判断模型得到所述原始数据集对应的触控判断结果,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触。
在一种可选方案中,所述处理器601还用于:
通过所述通信接口602接收服务器发送的所述误触判断模型。
在又一种可选方案中,所述处理器601还用于:
获取所述多个数据集样本和所述多个数据集样本各对应的触控判断结果;
根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到所述误触判断模型。
需要说明的是,各个操作的实现还可以对应参照图2和图3中终端一侧所示的方法实施例的相应描述。
请参见图7,图7是本申请实施例提供的一种服务器70的结构示意图,本申请实施例中所描述的所述服务器70在前文第一设备上应用,所述服务器70包括:处理器701、通信接口702及存储器703。其中,处理器701、通信接口702及存储器703可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,处理器701是服务器70的计算核心以及控制核心,其可以解析服务器70内的各类指令以及服务器70的各类数据,例如:该处理器701可为中央处理器(CentralProcessing Unit,CPU),可以在服务器70内部结构之间传输各类交互数据,等等。通信接口702可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等),受处理器701的控制可以用于收发数据;通信接口702还可以用于服务器70内部信令或者指令的传输以及交互。存储器703(Memory)是服务器70中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器703既可以包括服务器70的内置存储器,当然也可以包括服务器70所支持的扩展存储器。存储器703提供存储空间,该存储空间存储了服务器70的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本申请对此并不作限定,该存储空间还存储了处理器执行相应操作所需的程序代码或指令,可选的,该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。
在本申请实施例中,处理器701运行存储器703中的可执行程序代码,用于执行如下操作:
通过所述通信接口702获取来自终端的所述原始数据集和所述原始数据集对应的触控判断结果,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
将所述原始数据集和所述触控判断结果输入误触判断模型进行训练,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触;
通过所述通信接口702向所述终端发送所述误触判断模型,以用于更新或替换所述终端中的误触判断模型。
需要说明的是,各个操作的实现还可以对应参照图3所示的方法实施例中服务器一侧的相应描述。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述计算机程序当被处理器执行时使所述处理器实现图2和图3所述实施例中终端所执行的操作,或者实现图2和图3所述实施例中服务器所执行的操作。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在处理器上运行时,实现图2和图3所述实施例中终端所执行的操作,或者实现图2和图3所述实施例中服务器所执行的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过程序来指令相关的硬件来完成,该的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种基于机器学习的误触判断方法,其特征在于,所述方法应用于终端,所述方法包括:
根据针对所述终端的屏幕输入的触控操作生成原始数据集,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
将所述原始数据集输入误触判断模型得到所述原始数据集对应的触控判断结果,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触。
2.根据权利要求1所述的方法,其特征在于,所述传感器包括光传感器和距离传感器;所述触控参数包括触摸点的坐标和数量;所述参数信息包括光传感器输出的光强值和距离传感器输出的距离值。
3.根据权利要求1所述的方法,其特征在于,所述原始数据集和所述数据集样本均还包括第一权重、第二权重和第三权重,其中,所述第一权重用于约束所述触控参数对所述触控判断结果的影响程度,所述第二权重用于约束所述传感器的参数信息对所述触控判断结果的影响程度,所述第三权重用于约束所述时间对所述触控判断结果的影响程度,其中,所述第二权重随触控操作所针对的设备的使用时长的增加而降低。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述触控判断结果通过目标参数表示,其中,若所述目标参数的值更接近第一数值和第二数值中的第一数值,则所述目标参数对应的触控判断结果为误触,若所述目标参数的值更接近第一数值和第二数值中的第二数值,则所述目标参数对应的触控判断结果为非误触。
5.根据权利要求1-3任一项所述的方法,其特征在于,在所述根据针对所述终端的屏幕输入的触控操作生成原始数据集之前,还包括:
接收服务器发送的所述误触判断模型。
6.根据权利要求1-3任一项所述的方法,其特征在于,在所述根据针对所述终端的屏幕输入的触控操作生成原始数据集之前,还包括:
获取所述多个数据集样本和所述多个数据集样本各对应的触控判断结果;
根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到所述误触判断模型。
7.一种基于机器学习的误触判断方法,其特征在于,包括:
获取原始数据集和所述原始数据集对应的触控判断结果,其中,所述原始数据集包括屏幕的触控参数、终端上的传感器的参数信息和时间;
将所述原始数据集和所述触控判断结果输入误触判断模型进行训练,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触;
向所述终端发送所述误触判断模型,以用于更新或替换所述终端中的误触判断模型。
8.一种基于机器学习的误触判断装置,其特征在于,所述装置包括:
生成单元,用于根据针对终端的屏幕输入的触控操作生成原始数据集,其中,所述原始数据集包括所述屏幕的触控参数、所述终端上的传感器的参数信息和时间;
确定单元,用于将所述原始数据集输入误触判断模型得到所述原始数据集对应的触控判断结果,其中,所述误触判断模型为根据多个数据集样本和所述多个数据集样本各对应的触控判断结果训练得到的模型;所述多个数据集样本中每个数据集样本包括一次触控操作对应的触控参数、传感器的参数信息和时间,所述数据集属于特征数据,所述触控判断结果属于标签数据,所述触控判断结果包括非误触或误触。
9.一种终端,其特征在于,所述终端包括至少一个处理器、通信接口和存储器,所述通信接口用于发送和/或接收数据,所述存储器用于存储计算机程序,所述至少一个处理器用于调用至少一个存储器中存储的计算机程序,以实现如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在处理器上运行时,实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206058.2A CN115291786A (zh) | 2022-09-30 | 2022-09-30 | 一种基于机器学习的误触判断方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206058.2A CN115291786A (zh) | 2022-09-30 | 2022-09-30 | 一种基于机器学习的误触判断方法、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115291786A true CN115291786A (zh) | 2022-11-04 |
Family
ID=83834019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211206058.2A Pending CN115291786A (zh) | 2022-09-30 | 2022-09-30 | 一种基于机器学习的误触判断方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115291786A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116540918A (zh) * | 2023-06-30 | 2023-08-04 | 深圳市欧度利方科技有限公司 | 一种平板电脑分屏控制系统与方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495681A (zh) * | 2011-11-23 | 2012-06-13 | 江苏惠通集团有限责任公司 | 具有触摸按键的控制设备 |
CN105278863A (zh) * | 2015-11-10 | 2016-01-27 | 广东欧珀移动通信有限公司 | 利用时间区间检测防止误操作的方法、装置及移动终端 |
CN106489116A (zh) * | 2014-04-21 | 2017-03-08 | 苹果公司 | 用于电子设备的多触摸输入设备的力的分配 |
CN107958273A (zh) * | 2017-12-15 | 2018-04-24 | 北京小米移动软件有限公司 | 音量调节方法、装置及存储介质 |
CN109271227A (zh) * | 2018-09-27 | 2019-01-25 | 南昌努比亚技术有限公司 | 防误触方法、装置及计算机可读存储介质 |
WO2021092702A1 (en) * | 2019-11-13 | 2021-05-20 | Youval Nehmadi | Autonomous vehicle environmental perception software architecture |
CN113190160A (zh) * | 2021-02-26 | 2021-07-30 | 清华大学 | 分析手部震颤误触的输入纠错方法、计算装置和介质 |
CN113971271A (zh) * | 2020-07-22 | 2022-01-25 | 华为技术有限公司 | 一种指纹解锁的方法、装置、终端以及存储介质 |
WO2022065682A1 (ko) * | 2020-09-23 | 2022-03-31 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
-
2022
- 2022-09-30 CN CN202211206058.2A patent/CN115291786A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495681A (zh) * | 2011-11-23 | 2012-06-13 | 江苏惠通集团有限责任公司 | 具有触摸按键的控制设备 |
CN106489116A (zh) * | 2014-04-21 | 2017-03-08 | 苹果公司 | 用于电子设备的多触摸输入设备的力的分配 |
CN105278863A (zh) * | 2015-11-10 | 2016-01-27 | 广东欧珀移动通信有限公司 | 利用时间区间检测防止误操作的方法、装置及移动终端 |
CN107958273A (zh) * | 2017-12-15 | 2018-04-24 | 北京小米移动软件有限公司 | 音量调节方法、装置及存储介质 |
CN109271227A (zh) * | 2018-09-27 | 2019-01-25 | 南昌努比亚技术有限公司 | 防误触方法、装置及计算机可读存储介质 |
WO2021092702A1 (en) * | 2019-11-13 | 2021-05-20 | Youval Nehmadi | Autonomous vehicle environmental perception software architecture |
CN113971271A (zh) * | 2020-07-22 | 2022-01-25 | 华为技术有限公司 | 一种指纹解锁的方法、装置、终端以及存储介质 |
WO2022065682A1 (ko) * | 2020-09-23 | 2022-03-31 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
CN113190160A (zh) * | 2021-02-26 | 2021-07-30 | 清华大学 | 分析手部震颤误触的输入纠错方法、计算装置和介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116540918A (zh) * | 2023-06-30 | 2023-08-04 | 深圳市欧度利方科技有限公司 | 一种平板电脑分屏控制系统与方法 |
CN116540918B (zh) * | 2023-06-30 | 2023-12-01 | 深圳市欧度利方科技有限公司 | 一种平板电脑分屏控制系统与方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10216406B2 (en) | Classification of touch input as being unintended or intended | |
CN109785368B (zh) | 一种目标跟踪方法和装置 | |
US9626020B2 (en) | Handedness detection from touch input | |
CN105339884B (zh) | 用户输入的分类 | |
US20160026261A1 (en) | Machine-learning based tap detection | |
CN105264456B (zh) | 运动围栏 | |
KR20130129914A (ko) | 터치스크린 상에서의 손가락 인식 | |
US10721347B2 (en) | Detecting patterns and behavior to prevent a mobile terminal drop event | |
CN111475080B (zh) | 误操作提示方法及电子设备 | |
US10296096B2 (en) | Operation recognition device and operation recognition method | |
CN111046742B (zh) | 一种眼部行为检测方法、装置以及存储介质 | |
CN115291786A (zh) | 一种基于机器学习的误触判断方法、装置和存储介质 | |
CN111145891A (zh) | 信息处理方法、装置及电子设备 | |
CN107943406B (zh) | 一种触摸屏触控点确定方法及终端 | |
CN111752445A (zh) | 一种可穿戴设备的页面控制方法及可穿戴设备 | |
CN107346176B (zh) | 屏幕点亮方法、装置、存储介质及电子设备 | |
CN110007748A (zh) | 终端的控制方法、处理装置、存储介质及终端 | |
CN111796663B (zh) | 场景识别模型更新方法、装置、存储介质及电子设备 | |
CN113127272A (zh) | 屏幕检测方法和屏幕检测的电子设备 | |
CN111797878A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN111813639B (zh) | 设备运行等级的评定方法、装置、存储介质及电子设备 | |
CN104049772A (zh) | 一种输入方法、装置和系统 | |
CN110837305A (zh) | 输入法纠错方法及装置 | |
KR101621171B1 (ko) | 이동통신 단말기의 모션인식 다이얼링 장치 및 그 방법 | |
CN114452651A (zh) | 检测游戏中机器人的方法、装置、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221104 |
|
RJ01 | Rejection of invention patent application after publication |