CN113395389B - 一种防止屏幕误触的方法、装置及存储介质 - Google Patents

一种防止屏幕误触的方法、装置及存储介质 Download PDF

Info

Publication number
CN113395389B
CN113395389B CN202010175392.0A CN202010175392A CN113395389B CN 113395389 B CN113395389 B CN 113395389B CN 202010175392 A CN202010175392 A CN 202010175392A CN 113395389 B CN113395389 B CN 113395389B
Authority
CN
China
Prior art keywords
frequency
energy
band
calculating
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010175392.0A
Other languages
English (en)
Other versions
CN113395389A (zh
Inventor
王凯
史润宇
路炜
鲍晨晨
尹旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202010175392.0A priority Critical patent/CN113395389B/zh
Priority to US17/000,310 priority patent/US11256369B2/en
Priority to EP20198749.2A priority patent/EP3879309A1/en
Publication of CN113395389A publication Critical patent/CN113395389A/zh
Application granted granted Critical
Publication of CN113395389B publication Critical patent/CN113395389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/586—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本公开涉及一种防止屏幕误触的方法、装置及存储介质，此方法包括：发送带通超声波信号；接收反射超声波信号；计算所述反射超声波信号的频域信息；根据所述频域信息计算至少一超声波特征向量，所述超声波特征向量用于表征所述移动终端接近或远离障碍物的运动状态信息；构建包括所述至少一超声波特征向量的特征向量集合；根据所述特征向量集合判断是否满足防误触条件；在满足防误触条件时，禁用触摸屏的触控功能。本公开可以更准确的获知移动终端的运动情况，提高禁用触摸屏的触控功能的准确率，有效防止用户对触摸屏的误触，尤其可以有效防止通话过程中由于触摸屏与脸部的接触导致的通话中断。

Description

一种防止屏幕误触的方法、装置及存储介质
技术领域
本公开涉及移动终端数据处理技术，尤其涉及一种防止屏幕误触的方法、装置及存储介质。
背景技术
随着通信技术的快速发展，移动终端得到了广泛的应用。用户对移动终端的使用体验要求也越来越高。用户在使用移动终端的过程，经常出现误触屏幕的情况。如何及时有效的防止对屏幕的误触是需要解决的技术问题。
发明内容
为克服相关技术中存在的问题，本公开提供一种防止屏幕误触的方法、装置及存储介质。
根据本公文实施例的第一方面，提供了一种防止屏幕误触的方法，应用于具有触摸屏的移动终端，包括：
发送带通超声波信号；
接收反射超声波信号；
计算所述反射超声波信号的频域信息；
根据所述频域信息计算至少一超声波特征向量，所述超声波特征向量用于表征所述移动终端接近或远离障碍物的运动状态信息；
构建包括所述至少一超声波特征向量的特征向量集合；
根据所述特征向量集合判断是否满足防误触条件；
在满足防误触条件时，禁用触摸屏的触控功能。
在另一实施方式中，所述方法还包括：获取所述移动终端的惯性传感器数据，并根据所述惯性传感器数据计算惯性特征向量；
所述构建包括所述至少一超声波特征向量的特征向量集合，包括：
构建包括所述惯性特征向量和所述至少一超声波特征向量的特征向量集合。
在另一实施方式中，所述计算所述反射超声波信号的频域信息，包括：
对所述反射超声波信号进行移频处理，移频处理后的反射超声波信号的中心频率位于设定频段，所述设定频段包含零频率并且所述设定频段的频率跨度小于设定频率跨度；
计算移频处理后的反射超声波信号的频域信息。
在另一实施方式中，所述计算移频处理后的反射超声波信号的频域信息，包括：
对移频处理后的反射超声波信号进行降采样处理，计算降采样处理后的反射超声波信号的频域信息。
在另一实施方式中，所述方法还包括：计算参考能量；
所述至少一超声波特征向量包括：相对能量系数；
根据所述频域信息计算至少一超声波特征向量，包括：
根据所述频域信息计算所述反射超声波信号的能量，计算所述反射超声波信号的能量相对于所述参考能量的相对能量系数。
在另一实施方式中，所述计算参考能量包括以下中的一种：
确定启用防止误触功能后的第一设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
确定电话接通后的第二设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
采集惯性传感器数据，确定目标时段，所述目标时段是启用防止误触功能或电话接通后惯性传感器数据的变化幅度小于设定幅度的时段，确定所述目标时段内的多个子时段，计算每个子时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量。
在另一实施方式中，所述至少一用于超声波特征向量包括：频移向量；所述频移向量包括高频频移向量和/或低频频移向量；
根据所述频域信息计算至少一超声波特征向量，包括：
确定所述带通超声波信号的带通上限截止频率，确定所述频域信息中对应于所述带通上限截止频率的第一频率，确定大于所述第一频率的多个第二频率，根据所述频域信息确定每个第二频率对应的能量，将各第二频率对应的能量的和值、平均值或加权值作为高频频移向量的值；
和/或；
确定所述带通超声波信号的带通下限截止频率，确定所述频域信息中对应于所述带通下限截止频率的第三频率，确定小于所述第三频率的多个第四频率，根据所述频域信息确定每个第四频率对应的能量，将各第四频率对应的能量的和值、平均值或加权值作为低频频移向量的值。
在另一实施方式中，所述发送带通超声波信号，包括：同时发送多个带通超声波信号，所述多个带通超声波信号的通带频段互不相同；
所述至少一超声波特征向量包括：相对频谱序列；
根据所述频域信息计算至少一超声波特征向量，包括：
计算每个带通超声波信号的能量，将所述多个带通超声波信号的能量中的最大能量作为基准值，确定所述基准值对应的基准系数，计算除具有最大能量的带通超声波信号之外的各带通超声波信号的能量与所述基准值的相对系数，按照所述多个带通超声波信号的带通频段的增序或降序，构建包括所述基准系数和所述相对系数的相对频谱序列。
在另一实施方式中，所述方法还包括：使用三组训练数据对深度学习模型进行训练直至训练成功，每组训练数据包括目标值和相应的样本数据；不同的目标值表示所述移动终端的不同的运动状态，所述运动状态包括：运动方向为接近障碍物的运动状态、运动方向为远离障碍物的运动状态和非运动状态；所述样本数据包括样本特征向量集合；
所述根据所述特征向量集合确定是否满足防误触条件，包括：
将所述特征向量集合输入已训练成功的深度学习模型，根据所述已训练成功的深度学习模型的输出值确定所述移动终端的运动状态；
根据所述移动终端的运动状态确定是否满足防误触条件。
在另一实施方式中，所述根据所述移动终端的运动状态确定是否满足防误触条件，包括以下中的一种：
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，确定满足防误触条件；
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，记录所述移动终端维持所述运动方向的持续时长，在所述持续时长大于第三设定时长时，确定满足防误触条件；
所述移动终端的状态是运动方向为接近障碍物的运动状态时，计算所述移动终端与障碍物的距离，在所述移动终端与障碍物的距离小于设定距离时，确定满足防误触条件。
根据本公文实施例的第二方面，提供了一种防止屏幕误触的装置，应用于具有触摸屏的移动终端，包括：
发送模块，用于发送带通超声波信号；
接收模块，用于接收反射超声波信号；
第一计算模块，用于计算所述反射超声波信号的频域信息；
第二计算模块，用于根据所述频域信息计算至少一超声波特征向量，所述超声波特征向量用于表征所述移动终端接近或远离障碍物的运动状态信息；
构建模块，用于构建包括所述至少一超声波特征向量的特征向量集合；
判断模块，用于根据所述特征向量集合判断是否满足防误触条件；
处理模块，用于在满足防误触条件时，禁用触摸屏的触控功能。
在另一实施方式中，所述装置还包括：获取模块，用于获取所述移动终端的惯性传感器数据，并根据所述惯性传感器数据计算惯性特征向量；
所述构建模块，还用于构建包括所述惯性特征向量和所述至少一超声波特征向量的特征向量集合。
在另一实施方式中，所述第一计算模块包括：
频移处理子模块，对所述反射超声波信号进行移频处理，移频处理后的反射超声波信号的中心频率位于设定频段，所述设定频段包含零频率并且所述设定频段的频率跨度小于设定频率跨度；
时频变换子模块，用于计算移频处理后的反射超声波信号的频域信息。
在另一实施方式中，所述第一计算模块还包括：降采样子模块，对移频处理后的反射超声波信号进行降采样处理；
所述时频变换子模块，还用于计算降采样处理后的反射超声波信号的频域信息。
在另一实施方式中，所述装置还包括：第三计算模块，用于计算参考能量；
所述至少一超声波特征向量包括：相对能量系数；
所述第二计算模块，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：根据所述频域信息计算所述反射超声波信号的能量，计算所述反射超声波信号的能量相对于所述参考能量的相对能量系数。
在另一实施方式中，所述第三计算模块，还用于使用以下方法中的一种计算参考能量：
确定启用防止误触功能后的第一设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
确定电话接通后的第二设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
采集惯性传感器数据，确定目标时段，所述目标时段是启用防止误触功能或电话接通后惯性传感器数据的变化幅度小于设定幅度的时段，确定所述目标时段内的多个子时段，计算每个子时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量。
在另一实施方式中，所述至少一用于超声波特征向量包括：频移向量；所述频移向量包括高频频移向量和/或低频频移向量；
所述第二计算模块，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：
确定所述带通超声波信号的带通上限截止频率，确定所述频域信息中对应于所述带通上限截止频率的第一频率，确定大于所述第一频率的多个第二频率，根据所述频域信息确定每个第二频率对应的能量，将各第二频率对应的能量的和值、平均值或加权值作为高频频移向量的值；
和/或；
确定所述带通超声波信号的带通下限截止频率，确定所述频域信息中对应于所述带通下限截止频率的第三频率，确定小于所述第三频率的多个第四频率，根据所述频域信息确定每个第四频率对应的能量，将各第四频率对应的能量的和值、平均值或加权值作为低频频移向量的值。
在另一实施方式中，所述发送模块，还用于同时发送多个带通超声波信号，所述多个带通超声波信号的通带频段互不相同；
所述至少一超声波特征向量包括：相对频谱序列；
所述第二计算模块，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：
计算每个带通超声波信号的能量，将所述多个带通超声波信号的能量中的最大能量作为基准值，确定所述基准值对应的基准系数，计算除具有最大能量的带通超声波信号之外的各带通超声波信号的能量与所述基准值的相对系数，按照所述多个带通超声波信号的带通频段的增序或降序，构建包括所述基准系数和所述相对系数的相对频谱序列。
在另一实施方式中，所述装置还包括：
训练模块，用于使用三组训练数据对深度学习模型进行训练直至训练成功，每组训练数据包括目标值和相应的样本数据；不同的目标值表示所述移动终端的不同的运动状态，所述运动状态包括：运动方向为接近障碍物的运动状态、运动方向为远离障碍物的运动状态和非运动状态；所述样本数据包括样本特征向量集合；
所述判断模块，还用于使用以下方法根据所述特征向量集合判断是否满足防误触条件：将所述特征向量集合输入已训练成功的深度学习模型，根据所述已训练成功的深度学习模型的输出值确定所述移动终端的运动状态；根据所述移动终端的运动状态确定是否满足防误触条件。
在另一实施方式中，所述根据所述移动终端的运动状态确定是否满足防误触条件，包括以下中的一种：
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，确定满足防误触条件；
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，记录所述移动终端维持所述运动方向的持续时长，在所述持续时长大于第三设定时长时，确定满足防误触条件；
所述移动终端的状态是运动方向为接近障碍物的运动状态时，计算所述移动终端与障碍物的距离，在所述移动终端与障碍物的距离小于设定距离时，确定满足防误触条件。
根据本公文实施例的第三方面，提供了一种防止屏幕误触的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令以实现上述所述方法的步骤。
根据本公文实施例的第四方面，提供了一种非临时性计算机可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现上述所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：计算至少一个超声波特征向量，用于更准确的表征移动终端接近或远离障碍物的运动状态信息，从而更准确的获知移动终端的运动情况，提高禁用触摸屏的触控功能的准确率，有效防止用户对触摸屏的误触，尤其可以有效防止通话过程中由于触摸屏与脸部的接触导致的通话中断。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种防止屏幕误触的方法的流程图；
图2是根据一示例性实施例示出的图1所示的步骤S12至步骤S15的流程图；
图3是根据一示例性实施例示出的图1所示的步骤S12至步骤S15的流程图；
图4是根据一示例性实施例示出的图1所示的步骤S13的流程图；
图5是根据一示例性实施例示出的一种防止屏幕误触的装置的结构图；
图6是根据一示例性实施例示出的图5中的第一计算模块的结构图；
图7是根据一示例性实施例示出的一种防止屏幕误触的装置的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
用户在使用具有触摸屏的移动终端时，在接听电话的过程中，容易因为触摸屏与脸部的接触而误触通话中止按钮，影响用户的正常通话。如果能够及时且准确的检测到移动终端接近脸部的动作，便可以及时禁用触摸屏的触控功能，从而防止误触通话中止按钮。
本公开实施例中提供了一种防止屏幕误触的方法。本方法应用于具有触摸屏的移动终端。图1是根据一示例性实施例示出的一种防止屏幕误触的方法的流程图，如图1所示，此方法包括：
步骤S11，发送带通超声波信号。
步骤S12，接收反射超声波信号。
步骤S13，计算反射超声波信号的频域信息。
步骤S14，根据所述频域信息计算至少一超声波特征向量；所述超声波特征向量用于表征所述移动终端接近或远离障碍物的运动状态信息；
步骤S15，构建包括至少一超声波特征向量的特征向量集合。
步骤S16，根据特征向量集合判断是否满足防误触条件。
步骤S17，在满足防误触条件时，禁用触摸屏的触控功能。
其中，步骤S11中发送带通超声波信号，包括：沿移动终端的触摸屏所在的一侧发送带通超声波信号。例如，在移动终端的正面(即触摸屏所在的面)使用专用的超声波信号发射器发送带通超声波信号，从而使带通超声波信号沿移动终端的触摸屏所在的一侧发送。或者，移动终端的听筒一般设置于移动终端的正面的上方，发送带通超声波信号时，使用听筒作为超声波信号发射器，使带通超声波信号沿移动终端的触摸屏所在的一侧发送。
步骤S12中接收超声波信号，包括：接收来自移动终端的触摸屏所在的一侧的超声波信号。例如，在移动终端的正面(即触摸屏所在的面)使用专用的超声波信号接收器，接收来自移动终端的触摸屏所在的一侧的超声波信号。或者，移动终端的顶部麦克风一般设置于移动终端的正面的上方，接收超声波信号时，使用麦克风作为超声波信号接收器时，接收来自移动终端的触摸屏所在的一侧的超声波信号。
本公开实施例中，计算至少一个超声波特征向量，用于更准确的表征移动终端接近或远离障碍物的运动状态信息，从而更准确的获知移动终端的运动情况，提高禁用触摸屏的触控功能的准确率，有效防止用户对触摸屏的误触，尤其可以有效防止通话过程中由于触摸屏与脸部的接触导致的通话中断。
图2是根据一示例性实施例示出的图1所示的步骤S12至步骤S15的流程图；在步骤S12接收反射超声波信号后，对接收到的反射超声波信号进行移频处理和降采样处理后执行步骤S13。步骤S14中至少一超声波特征向量包括以下中的至少一种：相对能量系数、频移向量、相对频谱信息向量。步骤S15中构建包括上述超声波特征向量的特征向量集合。
本公开实施例中还提供了一种防止屏幕误触的方法。在此方法中，在图1示出的方法的基础上，还包括：获取移动终端的惯性传感器数据，并根据惯性传感器数据计算惯性特征向量。图1示出的步骤S15构建包括至少一超声波特征向量的特征向量集合，包括：构建包括惯性特征向量和至少一超声波特征向量的特征向量集合。
其中，惯性传感器数据是移动终端中的惯性传感器采集到的数据。惯性传感器用于检测和测量移动终端的加速度、倾斜、冲击、振动、旋转等运动信息。例如：惯性传感器包括加速度传感器和/或角速度传感器。其中，加速度传感器用于检测移动终端的线运动，例如检测移动设备相对于水平面的倾斜角度。角速度传感器用于检测移动终端的角运动，例如检测移动设备的旋转角度。
使用惯性传感器数据与超声波特征向量相结合的方式，相比只使用超声波特征向量的方式，增加了对移动终端运动状态信息的表征维度，可以更准确的表征移动终端的运动状态信息，提高对移动终端的运动状态的识别准确率。
图3是根据一示例性实施例示出的图1所示的步骤S12至步骤S15的流程图；在步骤S12接收反射超声波信号后，对接收到的反射超声波信号进行移频处理和降采样处理后执行步骤S13。步骤S14中至少一超声波特征向量包括以下中的至少一种：相对能量系数、频移向量、相对频谱信息向量，步骤S15中构建包括惯性特征向量和上述超声波特征向量的特征向量集合。
本公开实施例中还提供了一种防止屏幕误触的方法。图4是根据一示例性实施例示出的图1所示的步骤13的流程图，如图4所示，在此方法中，图1示出的步骤S13中计算反射超声波信号的频域信息，包括：
步骤S131，对反射超声波信号进行移频处理，移频处理后的反射超声波信号的中心频率位于设定频段；所述设定频段包含零频率并且所述设定频段的频率跨度小于设定频率跨度。
步骤S132，对移频处理后的反射超声波信号进行降采样处理。
步骤S133；计算降采样处理后的反射超声波信息的频域信息。
对反射超声波信号进行移频处理的目的是将反射超声波信号的中心频率移至零频附近，从而进行降采信处理后，减少数据量，降低计算量。
在一种实施方式中，对每帧反射超声波信号使用以下公式(1)和(2)进行移频计算：
Wshift(k)＝W(k)*e-i×b(k) (1)
Figure BDA0002410648270000091
其中，Wshift(k)表示移频处理后的反射超声波信号，W(k)表示接收到的反射超声波信号，e-i×b(k)为以自然常数e为底以-i×b(k)为指数的指数函数，b(k)为反射超声波信号的相位值，f0为接收到的反射超声波信号的中心频率，ft为移频处理后的目标中心频率(例如为0赫兹),fs为进行模数转换时的采样频率，K为当前帧的超声波数据中根据采样频率fs采样后的离散数据的个数。
在编程实现此移频处理时，将指数函数由欧拉公式转换为如下公式(3)所示的形式进行计算：
e-iθ＝cos(-θ)+i*sin(-θ)＝cosθ-i*sinθ (3)
在反射超声波的频谱已确定时，上述公式中三角函数的计算结果具有周期性，因此可存储一个周期的三角函数值，通过查表的方式获取对应超声波相位的三角函数值，从而实现移频处理。
在另一实施例中，降采样处理过程中还包括:使用低通滤波器对移频处理后的反射超声波信号进行滤波。低通滤波器的通带包括所述设定频段。对滤波后的超声波信号进行降采样处理。因为，采样频率的降低会造成频谱的压缩，因此需要利用滤波过程确保在较低的采样频率下不发生频谱混叠。
本公开实施例中还提供了一种防止屏幕误触的方法。在此方法中，图1示出的步骤S13中计算反射超声波信号的频域信息，包括：对反射超声波信号进行模数转换后，获得反射超声波信号的离散数据，采用时频变换算法计算频域信息。时频变换算法是快速傅里叶变换(FFT)，离散余弦变换(DCT)等。例如，使用快速傅里叶变换(FFT)时，进行N点快速傅里叶变换，变换后的频域信息包括N个复数，每个复数对应于一个频率分量。N的值为128、256、512、1024等。
在进行频域变换之前，还进行加加窗处理，以减少频谱泄露，可使用的窗函数例如黑人-哈里斯窗、三角窗、汉明窗等。
本公开实施例中还提供了一种防止屏幕误触的方法。此方法包括图1示出的方法，其中的超声波特征向量包括：相对能量系数。
超声波特征向量是相对能量系数时，图1示出的步骤S14中根据频域信息计算超声波特征向量的方法，包括：
步骤1，根据反射超声波信号的频域信息计算反射超声波信号的能量。
此步骤1具体包括：计算频域信息中包括的各频率分量对应的能量，根据各频率分量对应的能量通过帕塞瓦尔定理计算反射超声波信号的能量。
例如：对当前帧的反射超声波信号进行256点FFT计算，得到256个形式为复数的计算结果，每个计算结果对应于一个频率分量。对于每个频率分量，计算相应的计算结果的幅值的平方，得到频率分量对应的能量。通过帕塞瓦尔定理使用各频率分量对应的能量计算得到当前帧的反射超声波信号的能量。
步骤2，计算反射超声波信号的能量相对于参考能量的相对能量系数。
例如：计算反射超声波信号的能量相对于参考能量的相对能量系数时，计算参考能量与反射超声波信号的能量的比值，将此比值作为相对能量系数。
通过此方法计算得到相对能量系数后，对相对能量系数进行归一化处理，将相对能量系数归一化至设定区间内，例如设定区间为0至1区间。
本方法还包括：计算参考能量。计算参考能量的方法具体包括以下中的一种：
一，确定启用防止误触功能后的第一设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值作为参考能量。
例如：第一设定时长为1秒，将第一设定时长分为10个时段，每个时段的时长为0.1秒。
二，确定电话接通后的第二设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值作为参考能量。
例如：第二设定时长为2秒，将第二设定时长分为10个时段，每个时段的时长为0.2秒。
三，采集惯性传感器数据，确定目标时段，所述目标时段是启用防止误触功能或电话接通后惯性传感器数据的变化幅度小于设定幅度的时段，确定所述目标时段内的多个子时段，计算每个子时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量。
由于防止误触功能启动后或者电话接通后的初始阶段，移动终端一般处于远离用户脸部的位置，接收到的反射超声波信号的能量较弱，随着移动终端逐渐接近用户脸部，接收到的反射超声波信号的能量会逐渐增强。所以本方法中，在设置参考能量时，使用刚刚启用防止误触功能或刚刚电话接通时的一个时段计算参考能量，在后续移动终端出现接近用户脸部的移动动作时，由相对能量系数体出现反射超声波信号的能量的逐渐增大的过程。
本公开实施例中还提供了一种防止屏幕误触的方法。此方法包括图1所示的方法，其中的超声波特征向量包括：频移向量，所述频移向量包括高频频移向量和/或低频频移向量。
其中，高频频移向量是用于表示大于反射超声波信号的频谱中的最高频率，并且距离最高频率的频率间隔小于设定频率间隔的频段内的频移情况，低频频移向量是用于表示小于反射超声波信号的频谱中的最低频率，并且距离最低频率的频率间隔小于设定频率间隔的频段内的频移情况。
超声波特征向量是频移向量时，图1示出的步骤S14中，根据所述频域信息计算超声波特征向量的方法，包括：
确定所述带通超声波信号的带通上限截止频率，确定所述频域信息中对应于所述带通上限截止频率的第一频率，确定大于所述第一频率的多个第二频率，根据所述频域信息确定每个第二频率对应的能量，将各第二频率对应的能量的和值、平均值或加权值作为高频频移向量的值；
和/或；
确定所述带通超声波信号的带通下限截止频率，确定所述频域信息中对应于所述带通下限截止频率的第三频率，确定小于所述第三频率的多个第四频率，根据所述频域信息确定每个第四频率对应的能量，将各第四频率对应的能量的和值、平均值或加权值作为低频频移向量的值。
其中，确定大于第一频率的多个第二频率时，为了防止第二频率与第一频率的间隔太远，限定第二频率与第一频率的差值小于设定频率差值，例如设定频率差值为1千赫兹(kHz)。确定小于第三频率的多个第四频率时，为了防止第四频率与第三频率的间隔太远，限定第三频率与第四频率的差值小于设定频率差值。
在移动终端接近用户脸部的运动过程中，反射超声波信号的频谱产生频移，并且向高频方向移动，从而高频频移向量的值增大。移动终端接近用户脸部的速度越快，反射超声波信号的频谱向高频方向的频移越大，高频频移向量的值增加的越快。在移动终端远离用户脸部的运动过程中，反射超声波信号的频谱产生频移，并且向低频方向移动，从而低频频移向量的值增大。移动终端远离用户脸部的速度越快，反射超声波信号的频谱向低频方向的频移越大，低频频移向量的值增加的越快。
在接收到反射超声波信号后，不对反射超声波信号进行使中心频率靠近零频率的频移处理和降采样处理时，确定反射超声波信号的频域信息中对应于带通上限截止频率的第一频率等于此带通上限截止频率。确定反射超声波信号的频域信息对应于带通下限截止频率的第三频率等于此带通下限截止频率。
举例说明如下：
发射的带通超声波信号的通带频段是25-30kHz，中心频率为27.5kHz。接收反射超声波的模拟信号，进行模数转换，获得反射超声波的离散信号。进行模数转换时的采样频率为96kHz时，从而对此离散信号进行时频转换后，相应频域信号覆盖的频段为0-48kHz。不对反射超声波的离散信号进行频移处理和降采样处理的情况下。确定第一频率为30kHz，确定多个第二频率分别30.05kHz、30.1kHz、30.15kHz、30.2kHz、30.25kHz。确定第三频率为25kHz，确定多个第四频率分别24.75kHz、24.8kHz、24.85kHz、24.9kHz、24.95kHz。
在接收到反射超声波信号后，对反射超声波信号进行使中心频率为零频率的频移处理和降采样处理后，确定频移处理后的频域信息中对应于带通上限截止频率的第一频率的值为(fh-fl)/2,其中，fh是发射的带通超声波信号的带通上限截止频率，fl是发射的带通超声波信号的带通下限截止频率。确定频移处理后的频域信息中对应于带通下限截止频率的第三频率的值为(fl-fh)/2。
举例说明如下：
发射的带通超声波信号的通带频段是25-30kHz，中心频率为27.5kHz。接收反射超声波的模拟信号，进行模数转换，获得反射超声波的离散信号。进行模数转换时的采样频率为96kHz时，从而对此离散信号进行时频转换后的频域信号覆盖的频段为0-48kHz(对于实际信号的处理过程中，对频域信息只考虑正频率区域的部分)。对反射超声波的离散信号进行使中心频率靠近零频率的频移处理，频移处理后对应的频段为-2.5kHz至2.5kHz的区间。确定第一频率为2.5kHz，第二频率为-2.5kHz。进行降采样处理，降采样处理时的采样频率为6kHz，降采样后的频域信号覆盖的频段为-3kHz至3kHz。确定第一频率为2.5kHz，确定多个第二频率分别2.51kHz、2.52kHz、2.53kHz、2.54kHz、2.55kHz。确定第三频率为-2.5kHz，确定多个第四频率分别-2.45kHz、-2.46kHz、-2.47kHz、-2.48kHz、-2.49kHz。
本公开实施例中还提供了一种防止屏幕误触的方法。此方法包括图1所示的步骤，步骤S11中发送带通超声波信号，包括：同时发送多个带通超声波信号，所述多个带通超声波信号的通带频段互不相同。多个带通超声波信号的通带频段依次连接，或者，部分带通超声波信号的通带频段部分重叠。
例如：移动终端同时发送4个带通超声波信号，相应的通带频段分别为20kHz至25kHz，25kHz至30kHz，30kHz至35kHz，35kHz至40kHz。4个带通超声波信号叠加为组合后的带通超声波信号，此组合后的带通超声波信号的通带频带为20kHz至40kHz。
再例如：移动终端同时发送4个带通超声波信号，相应的通带频段分别为20kHz至28kHz，25kHz至33kHz，30kHz至38kHz，35kHz至40kHz。4个带通超声波信号叠加为组合后的带通超声波信号，此组合后的带通超声波信号的通带频带为20kHz至40kHz。
再例如：移动终端同时发送3个带通超声波信号，相应的通带频段分别为20kHz至25kHz，26kHz至32kHz，35kHz至40kHz。3个带通超声波信号叠加为组合后的带通超声波信号，此组合后的带通超声波信号的通带频带为三个频带的叠加，即包括此三个频率区间：20kHz至25kHz，26kHz至32kHz，35kHz至40kHz。
本方法中的超声波特征向量是：相对频谱信息。
超声波特征向量是相对频谱信息时，图1示出的步骤S14中，根据频域信息计算超声波特征向量，包括：计算每个带通超声波信号的能量，将所述多个带通超声波信号的能量中的最大能量作为基准值，确定所述基准值对应的基准系数，计算除具有最大能量的带通超声波信号之外的各带通超声波信号的能量与所述基准值的相对系数，按照所述多个带通超声波信号的带通频段增序或降序，构建包括所述基准系数和所述相对系数的相对频谱序列。
获得相对频谱序列后,还可以将相对频谱序列进行归一化，例如：归一化到0至1区间。
由于干涉现象的存在，移动终端接近障碍物和远离障碍物时，相对频谱序列会呈现出不同的条纹状态，从而可以使用相对频谱序列描述终端接近障碍物和远离障碍物的不同运动状态。
本公开实施例中还提供了一种防止屏幕误触的方法。此方法包括图1示出的方法，并且在步骤S11之前还包括：使用三组训练数据对深度学习模型进行训练直至训练成功，每组训练数据包括目标值和相应的样本数据；不同的目标值表示所述移动终端的不同的运动状态，所述运动状态包括：运动方向为接近障碍物的运动状态、运动方向为远离障碍物的运动状态和非运动状态；所述样本数据包括样本特征向量集合。
此深度学习模型可以是神经网络，分类器等，例如是双层循环神经网络。
图1示出的步骤S16中，所述根据特征向量集合确定是否满足防误触条件，包括：将特征向量集合输入已训练成功的深度学习模型，根据已训练成功的深度学习模型的输出值确定所述移动终端的运动状态；根据移动终端的运动状态确定是否满足防误触条件。
其中，根据移动终端的运动状态确定是否满足防误触条件，包括以下中的一种：
一，移动终端的运动状态是运动方向为接近障碍物的运动状态时，确定满足防误触条件；
二，移动终端的运动状态是运动方向为接近障碍物的运动状态时，记录所述移动终端维持所述运动方向的持续时长，在所述持续时长大于第一设定时长时，确定满足防误触条件；
三，移动终端的状态是运动方向为接近障碍物的运动状态时，计算所述移动终端与障碍物的距离，在所述移动终端与障碍物的距离小于设定距离时，确定满足防误触条件。
例如：在图1示出的步骤S11中发送27不同频带的带通超声波信号时，超声波特征向量包括：1维的相对能量系数，1维的高频频移向量，1维的低频频移向量，27维的相对频谱序列；惯性特征向量包括3维的加速度变化率和3维的角速度变化率。将超声波特征向量和惯性特征向量组合成36维的特征向量集合。
使用深度学习模型进行训练和识别时，超声波特征向量是已经归一化处理过的，则可以直接输入深度学习模型。超声波特征向量未归一化处理时，则对超声波特征向量进行归一化处理至同一归一化区间后，再进行输入。
本公开实施例中还提供了一种防止屏幕误触的装置，应用于具有触摸屏的移动终端。图5是根据一示例性实施例示出的一种防止屏幕误触的装置的结构图。如图5所示，此装置包括：
发送模块51，用于发送带通超声波信号；
接收模块52，用于接收反射超声波信号；
第一计算模块53，用于计算所述反射超声波信号的频域信息；
第二计算模块54，用于根据所述频域信息计算至少一超声波特征向量，所述超声波特征向量用于表征所述移动终端接近或远离障碍物的运动状态信息；
构建模块55，用于构建包括所述至少一超声波特征向量的特征向量集合；
判断模块56，用于根据所述特征向量集合判断是否满足防误触条件；
处理模块57，用于在满足防误触条件时，禁用触摸屏的触控功能。
本公开实施例中还提供了一种防止屏幕误触的装置，此装置包括图5所示的模块，还包括：获取模块，用于获取所述移动终端的惯性传感器数据，并根据所述惯性传感器数据计算惯性特征向量。
所述构建模块55，还用于构建包括所述惯性特征向量和所述至少一超声波特征向量的特征向量集合。
本公开实施例中还提供了一种防止屏幕误触的装置，此装置包括图5所示的模块，图6是根据一示例性实施例示出的图5示出的第一计算模块53的结构图。如图6所示，第一计算模块53包括：
频移处理子模块531，对所述反射超声波信号进行移频处理，移频处理后的反射超声波信号的中心频率位于设定频段，所述设定频段包含零频率并且所述设定频段的频率跨度小于设定频率跨度。
降采样子模块532，对移频处理后的反射超声波信号进行降采样处理。
时频变换子模块533，用于计算降采样处理后的反射超声波信号的频域信息。
本公开实施例中还提供了一种防止屏幕误触的装置，此装置包括图5所示的模块，本装置还包括：第三计算模块，用于计算参考能量。
所述至少一超声波特征向量包括：相对能量系数。
第二计算模块54，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：根据所述频域信息计算所述反射超声波信号的能量，计算所述反射超声波信号的能量相对于所述参考能量的相对能量系数。
在另一实施方式中，所述第三计算模块，还用于使用以下方法中的一种计算参考能量：
确定启用防止误触功能后的第一设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
确定电话接通后的第二设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
采集惯性传感器数据，确定目标时段，所述目标时段是启用防止误触功能或电话接通后惯性传感器数据的变化幅度小于设定幅度的时段，确定所述目标时段内的多个子时段，计算每个子时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量。
本公开实施例中还提供了一种防止屏幕误触的装置，此装置包括图5所示的模块。应用本装置时，至少一用于超声波特征向量包括：频移向量；所述频移向量包括高频频移向量和/或低频频移向量。
本装置中第二计算模块54，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：
确定所述带通超声波信号的带通上限截止频率，确定所述频域信息中对应于所述带通上限截止频率的第一频率，确定大于所述第一频率的多个第二频率，根据所述频域信息确定每个第二频率对应的能量，将各第二频率对应的能量的和值、平均值或加权值作为高频频移向量的值；
和/或；
确定所述带通超声波信号的带通下限截止频率，确定所述频域信息中对应于所述带通下限截止频率的第三频率，确定小于所述第三频率的多个第四频率，根据所述频域信息确定每个第四频率对应的能量，将各第四频率对应的能量的和值、平均值或加权值作为低频频移向量的值。
公开实施例中还提供了一种防止屏幕误触的装置，此装置包括图5所示的模块，此装置中发送模块51，还用于同时发送多个带通超声波信号，所述多个带通超声波信号的通带频段互不相同。
在应用本装置时，至少一超声波特征向量包括：相对频谱序列。
第二计算模块54，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：
计算每个带通超声波信号的能量，将所述多个带通超声波信号的能量中的最大能量作为基准值，确定所述基准值对应的基准系数，计算除具有最大能量的带通超声波信号之外的各带通超声波信号的能量与所述基准值的相对系数，按照所述多个带通超声波信号的带通频段的增序或降序，构建包括所述基准系数和所述相对系数的相对频谱序列。
公开实施例中还提供了一种防止屏幕误触的装置，此装置包括图5所示的模块，本装置还包括：
训练模块，用于使用三组训练数据对深度学习模型进行训练直至训练成功，每组训练数据包括目标值和相应的样本数据；不同的目标值表示所述移动终端的不同的运动状态，所述运动状态包括：运动方向为接近障碍物的运动状态、运动方向为远离障碍物的运动状态和非运动状态；所述样本数据包括样本特征向量集合；
判断模块56，还用于使用以下方法根据所述特征向量集合判断是否满足防误触条件：将所述特征向量集合输入已训练成功的深度学习模型，根据所述已训练成功的深度学习模型的输出值确定所述移动终端的运动状态；根据所述移动终端的运动状态确定是否满足防误触条件。
在另一实施方式中，所述根据所述移动终端的运动状态确定是否满足防误触条件，包括以下中的一种：
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，确定满足防误触条件；
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，记录所述移动终端维持所述运动方向的持续时长，在所述持续时长大于第三设定时长时，确定满足防误触条件；
所述移动终端的状态是运动方向为接近障碍物的运动状态时，计算所述移动终端与障碍物的距离，在所述移动终端与障碍物的距离小于设定距离时，确定满足防误触条件。
图7是根据一示例性实施例示出的一种用于防止屏幕误触的装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件706为装置700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (20)

1.一种防止屏幕误触的方法，应用于具有触摸屏的移动终端，其特征在于，包括：
发送带通超声波信号；
接收反射超声波信号；
计算所述反射超声波信号的频域信息；
根据所述频域信息计算至少一超声波特征向量，所述超声波特征向量用于表征所述移动终端接近或远离障碍物的运动状态信息；
构建包括所述至少一超声波特征向量的特征向量集合；
根据所述特征向量集合判断是否满足防误触条件；
在满足防误触条件时，禁用触摸屏的触控功能，以防止用户对触摸屏的误触；
所述发送带通超声波信号，包括：同时发送多个带通超声波信号，所述多个带通超声波信号的通带频段互不相同；
所述至少一超声波特征向量包括：相对频谱序列；
根据所述频域信息计算至少一超声波特征向量，包括：
计算每个带通超声波信号的能量，将所述多个带通超声波信号的能量中的最大能量作为基准值，确定所述基准值对应的基准系数，计算除具有最大能量的带通超声波信号之外的各带通超声波信号的能量与所述基准值的相对系数，按照所述多个带通超声波信号的带通频段的增序或降序，构建包括所述基准系数和所述相对系数的相对频谱序列。
2.如权利要求1所述的方法，其特征在于，
所述方法还包括：获取所述移动终端的惯性传感器数据，并根据所述惯性传感器数据计算惯性特征向量；
所述构建包括所述至少一超声波特征向量的特征向量集合，包括：
构建包括所述惯性特征向量和所述至少一超声波特征向量的特征向量集合。
3.如权利要求1所述的方法，其特征在于，
所述计算所述反射超声波信号的频域信息，包括：
对所述反射超声波信号进行移频处理，移频处理后的反射超声波信号的中心频率位于设定频段，所述设定频段包含零频率并且所述设定频段的频率跨度小于设定频率跨度；
计算移频处理后的反射超声波信号的频域信息。
4.如权利要求3所述的方法，其特征在于，
所述计算移频处理后的反射超声波信号的频域信息，包括：
对移频处理后的反射超声波信号进行降采样处理，计算降采样处理后的反射超声波信号的频域信息。
5.如权利要求1所述的方法，其特征在于，
所述方法还包括：计算参考能量；
所述至少一超声波特征向量包括：相对能量系数；
根据所述频域信息计算至少一超声波特征向量，包括：
根据所述频域信息计算所述反射超声波信号的能量，计算所述反射超声波信号的能量相对于所述参考能量的相对能量系数。
6.如权利要求5所述的方法，其特征在于，
所述计算参考能量包括以下中的一种：
确定启用防止误触功能后的第一设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
确定电话接通后的第二设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
采集惯性传感器数据，确定目标时段，所述目标时段是启用防止误触功能或电话接通后惯性传感器数据的变化幅度小于设定幅度的时段，确定所述目标时段内的多个子时段，计算每个子时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量。
7.如权利要求1所述的方法，其特征在于，
所述至少一用于超声波特征向量包括：频移向量；所述频移向量包括高频频移向量和/或低频频移向量；
根据所述频域信息计算至少一超声波特征向量，包括：
确定所述带通超声波信号的带通上限截止频率，确定所述频域信息中对应于所述带通上限截止频率的第一频率，确定大于所述第一频率的多个第二频率，根据所述频域信息确定每个第二频率对应的能量，将各第二频率对应的能量的和值、平均值或加权值作为高频频移向量的值；
和/或；
确定所述带通超声波信号的带通下限截止频率，确定所述频域信息中对应于所述带通下限截止频率的第三频率，确定小于所述第三频率的多个第四频率，根据所述频域信息确定每个第四频率对应的能量，将各第四频率对应的能量的和值、平均值或加权值作为低频频移向量的值。
8.如权利要求1至7中任一权利要求所述的方法，其特征在于，
所述方法还包括：使用三组训练数据对深度学习模型进行训练直至训练成功，每组训练数据包括目标值和相应的样本数据；不同的目标值表示所述移动终端的不同的运动状态，所述运动状态包括：运动方向为接近障碍物的运动状态、运动方向为远离障碍物的运动状态和非运动状态；所述样本数据包括样本特征向量集合；
所述根据所述特征向量集合确定是否满足防误触条件，包括：
将所述特征向量集合输入已训练成功的深度学习模型，根据所述已训练成功的深度学习模型的输出值确定所述移动终端的运动状态；
根据所述移动终端的运动状态确定是否满足防误触条件。
9.如权利要求8所述的方法，其特征在于，
所述根据所述移动终端的运动状态确定是否满足防误触条件，包括以下中的一种：
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，确定满足防误触条件；
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，记录所述移动终端维持所述运动方向的持续时长，在所述持续时长大于第三设定时长时，确定满足防误触条件；
所述移动终端的状态是运动方向为接近障碍物的运动状态时，计算所述移动终端与障碍物的距离，在所述移动终端与障碍物的距离小于设定距离时，确定满足防误触条件。
10.一种防止屏幕误触的装置，应用于具有触摸屏的移动终端，其特征在于，包括：
发送模块，用于发送带通超声波信号；
接收模块，用于接收反射超声波信号；
第一计算模块，用于计算所述反射超声波信号的频域信息；
第二计算模块，用于根据所述频域信息计算至少一超声波特征向量，所述超声波特征向量用于表征所述移动终端接近或远离障碍物的运动状态信息；
构建模块，用于构建包括所述至少一超声波特征向量的特征向量集合；
判断模块，用于根据所述特征向量集合判断是否满足防误触条件；
处理模块，用于在满足防误触条件时，禁用触摸屏的触控功能，以防止用户对触摸屏的误触；
所述发送模块，还用于同时发送多个带通超声波信号，所述多个带通超声波信号的通带频段互不相同；
所述至少一超声波特征向量包括：相对频谱序列；
所述第二计算模块，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：
计算每个带通超声波信号的能量，将所述多个带通超声波信号的能量中的最大能量作为基准值，确定所述基准值对应的基准系数，计算除具有最大能量的带通超声波信号之外的各带通超声波信号的能量与所述基准值的相对系数，按照所述多个带通超声波信号的带通频段的增序或降序，构建包括所述基准系数和所述相对系数的相对频谱序列。
11.如权利要求10所述的装置，其特征在于，
所述装置还包括：获取模块，用于获取所述移动终端的惯性传感器数据，并根据所述惯性传感器数据计算惯性特征向量；
所述构建模块，还用于构建包括所述惯性特征向量和所述至少一超声波特征向量的特征向量集合。
12.如权利要求10所述的装置，其特征在于，
所述第一计算模块包括：
频移处理子模块，对所述反射超声波信号进行移频处理，移频处理后的反射超声波信号的中心频率位于设定频段，所述设定频段包含零频率并且所述设定频段的频率跨度小于设定频率跨度；
时频变换子模块，用于计算移频处理后的反射超声波信号的频域信息。
13.如权利要求12所述的装置，其特征在于，
所述第一计算模块还包括：降采样子模块，对移频处理后的反射超声波信号进行降采样处理；
所述时频变换子模块，还用于计算降采样处理后的反射超声波信号的频域信息。
14.如权利要求10所述的装置，其特征在于，
所述装置还包括：第三计算模块，用于计算参考能量；
所述至少一超声波特征向量包括：相对能量系数；
所述第二计算模块，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：根据所述频域信息计算所述反射超声波信号的能量，计算所述反射超声波信号的能量相对于所述参考能量的相对能量系数。
15.如权利要求14所述的装置，其特征在于，
所述第三计算模块，还用于使用以下方法中的一种计算参考能量：
确定启用防止误触功能后的第一设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
确定电话接通后的第二设定时长内的多个时段，计算每个时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量；
采集惯性传感器数据，确定目标时段，所述目标时段是启用防止误触功能或电话接通后惯性传感器数据的变化幅度小于设定幅度的时段，确定所述目标时段内的多个子时段，计算每个子时段内的反射超声波信号的能量，将计算出的多个能量的平均值或加权平均值作为参考能量。
16.如权利要求10所述的装置，其特征在于，
所述至少一用于超声波特征向量包括：频移向量；所述频移向量包括高频频移向量和/或低频频移向量；
所述第二计算模块，还用于使用以下方法根据所述频域信息计算至少一超声波特征向量：
确定所述带通超声波信号的带通上限截止频率，确定所述频域信息中对应于所述带通上限截止频率的第一频率，确定大于所述第一频率的多个第二频率，根据所述频域信息确定每个第二频率对应的能量，将各第二频率对应的能量的和值、平均值或加权值作为高频频移向量的值；
和/或；
确定所述带通超声波信号的带通下限截止频率，确定所述频域信息中对应于所述带通下限截止频率的第三频率，确定小于所述第三频率的多个第四频率，根据所述频域信息确定每个第四频率对应的能量，将各第四频率对应的能量的和值、平均值或加权值作为低频频移向量的值。
17.如权利要求10至16中任一权利要求所述的装置，其特征在于，
所述装置还包括：
训练模块，用于使用三组训练数据对深度学习模型进行训练直至训练成功，每组训练数据包括目标值和相应的样本数据；不同的目标值表示所述移动终端的不同的运动状态，所述运动状态包括：运动方向为接近障碍物的运动状态、运动方向为远离障碍物的运动状态和非运动状态；所述样本数据包括样本特征向量集合；
所述判断模块，还用于使用以下方法根据所述特征向量集合判断是否满足防误触条件：将所述特征向量集合输入已训练成功的深度学习模型，根据所述已训练成功的深度学习模型的输出值确定所述移动终端的运动状态；根据所述移动终端的运动状态确定是否满足防误触条件。
18.如权利要求17所述的装置，其特征在于，
所述根据所述移动终端的运动状态确定是否满足防误触条件，包括以下中的一种：
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，确定满足防误触条件；
所述移动终端的运动状态是运动方向为接近障碍物的运动状态时，记录所述移动终端维持所述运动方向的持续时长，在所述持续时长大于第三设定时长时，确定满足防误触条件；
所述移动终端的状态是运动方向为接近障碍物的运动状态时，计算所述移动终端与障碍物的距离，在所述移动终端与障碍物的距离小于设定距离时，确定满足防误触条件。
19.一种防止屏幕误触的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中的可执行指令以实现权利要求1至9中任一项所述方法的步骤。
20.一种非临时性计算机可读存储介质，其上存储有可执行指令，其特征在于，该可执行指令被处理器执行时实现权利要求1至9中任一项所述方法的步骤。
CN202010175392.0A 2020-03-13 2020-03-13 一种防止屏幕误触的方法、装置及存储介质 Active CN113395389B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010175392.0A CN113395389B (zh) 2020-03-13 2020-03-13 一种防止屏幕误触的方法、装置及存储介质
US17/000,310 US11256369B2 (en) 2020-03-13 2020-08-22 Method, device, and storage medium for preventing false touch of screen
EP20198749.2A EP3879309A1 (en) 2020-03-13 2020-09-28 Method, device, and storage medium for preventing false touch of screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010175392.0A CN113395389B (zh) 2020-03-13 2020-03-13 一种防止屏幕误触的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113395389A CN113395389A (zh) 2021-09-14
CN113395389B true CN113395389B (zh) 2022-12-02

Family

ID=72665149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010175392.0A Active CN113395389B (zh) 2020-03-13 2020-03-13 一种防止屏幕误触的方法、装置及存储介质

Country Status (3)

Country Link
US (1) US11256369B2 (zh)
EP (1) EP3879309A1 (zh)
CN (1) CN113395389B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369433A (zh) * 2009-04-02 2012-03-07 株式会社东芝 超声波检查装置以及超声波检查方法
WO2015014915A1 (fr) * 2013-07-31 2015-02-05 Université Du Sud - Toulon - Var Procédé et système d'identification d'une activité respiratoire

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019209B2 (en) * 2005-06-08 2015-04-28 3M Innovative Properties Company Touch location determination involving multiple touch location processes
RU2493613C2 (ru) * 2008-08-22 2013-09-20 Сони Корпорейшн Устройство воспроизведения изображений и способ управления
CN101715020A (zh) * 2008-10-08 2010-05-26 深圳富泰宏精密工业有限公司 通话防误触方法及使用该方法的触控式手机
TWI483145B (zh) * 2009-02-26 2015-05-01 Htc Corp 可攜式電子裝置及避免誤觸其觸控面板之方法
JP5827109B2 (ja) * 2011-11-28 2015-12-02 京セラ株式会社 装置、方法、及びプログラム
CN104635985B (zh) * 2015-01-30 2017-02-15 努比亚技术有限公司 移动终端防误触控方法及装置
US10254879B1 (en) * 2015-03-12 2019-04-09 Parade Technologies, Ltd. Touch screen proximity sensing with accelerometer/gyroscope and finger grip suppression to prevent false ear touch
CN105511675B (zh) * 2015-11-20 2020-07-24 重庆桔子科技发展有限公司 触摸控制方法、用户设备、输入处理方法、移动终端及智能终端
GB201602319D0 (en) * 2016-02-09 2016-03-23 Elliptic Laboratories As Proximity detection
CN106210294B (zh) * 2016-06-30 2019-10-25 北京小米移动软件有限公司 屏幕状态切换控制方法及装置
CN106462299B (zh) * 2016-09-29 2018-09-04 北京小米移动软件有限公司 触摸识别方法、装置及电子设备
CN106413060B (zh) * 2016-10-24 2019-11-08 北京小米移动软件有限公司 屏幕状态控制方法及装置
GB201620062D0 (en) 2016-11-28 2017-01-11 Elliptic Laboratories As Proximity detection
US10318072B2 (en) * 2017-05-01 2019-06-11 International Business Machines Corporation Intelligent prevention of unintended mobile touch screen interaction
US10762752B1 (en) * 2017-09-06 2020-09-01 Apple Inc. Tactile notifications for electronic devices
CN109031315B (zh) * 2018-06-26 2022-07-01 北京小米移动软件有限公司 距离测量方法、装置、设备及存储介质
CN108845324B (zh) * 2018-06-26 2022-09-23 北京小米移动软件有限公司 障碍物识别方法、装置、设备及存储介质
US11009989B2 (en) * 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10725588B2 (en) * 2019-03-25 2020-07-28 Intel Corporation Methods and apparatus to detect proximity of objects to computing devices using near ultrasonic sound waves
CN110519448B (zh) * 2019-07-31 2021-03-02 Oppo广东移动通信有限公司 屏幕状态控制方法、装置、移动终端以及存储介质
US11308733B2 (en) * 2019-08-05 2022-04-19 Bose Corporation Gesture detection using ultrasonic clicks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369433A (zh) * 2009-04-02 2012-03-07 株式会社东芝 超声波检查装置以及超声波检查方法
WO2015014915A1 (fr) * 2013-07-31 2015-02-05 Université Du Sud - Toulon - Var Procédé et système d'identification d'une activité respiratoire

Also Published As

Publication number Publication date
CN113395389A (zh) 2021-09-14
EP3879309A1 (en) 2021-09-15
US20210286497A1 (en) 2021-09-16
US11256369B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
CN108603931B (zh) 接近度检测
US10205817B2 (en) Method, device and storage medium for controlling screen state
EP3115982A1 (en) Method and apparatus for road condition prompt
CN108845324B (zh) 障碍物识别方法、装置、设备及存储介质
RU2677360C1 (ru) Способ и устройство для распознавания жестов
US11777615B2 (en) Ultrasonic processing method, electronic device, and computer-readable medium
CN109145679A (zh) 一种发出预警信息的方法、装置及系统
CN109599104A (zh) 多波束选取方法及装置
CN108766457A (zh) 音频信号处理方法、装置、电子设备及存储介质
CN109031315B (zh) 距离测量方法、装置、设备及存储介质
CN107402711B (zh) 音量调节方法、装置及计算机可读存储介质
CN107908275A (zh) 移动终端的控制方法、移动终端及存储介质
EP3285049A1 (en) Method and device for microphone selection
CN106909256A (zh) 屏幕控制方法及装置
US11828843B2 (en) Method and apparatus for event detection, electronic device, and storage medium
CN110418023B (zh) 响铃处理方法、装置、移动终端以及存储介质
CN107622249B (zh) 应用于移动终端的指纹图像获取方法及装置
CN110290576A (zh) 电子设备控制方法及装置
CN113395389B (zh) 一种防止屏幕误触的方法、装置及存储介质
CN111629104B (zh) 距离判断方法、距离判断装置及计算机存储介质
CN214795189U (zh) 测距装置、接收机及终端
CN107450940A (zh) 智能终端打开应用程序的方法及装置
CN107589861B (zh) 一种进行通信的方法和装置
CN116930978A (zh) 识别障碍物动作的方法、装置及存储介质
CN110632600B (zh) 环境识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant