CN114070928B - 一种防误触的方法及电子设备 - Google Patents
一种防误触的方法及电子设备 Download PDFInfo
- Publication number
- CN114070928B CN114070928B CN202010762072.5A CN202010762072A CN114070928B CN 114070928 B CN114070928 B CN 114070928B CN 202010762072 A CN202010762072 A CN 202010762072A CN 114070928 B CN114070928 B CN 114070928B
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- electronic device
- electronic equipment
- ultrasonic echo
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/02—Power saving arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Environmental & Geological Engineering (AREA)
- Human Computer Interaction (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例公开了一种防误触的方法及电子设备,用来解决电子设备在使用中的误触问题。采用本申请实施例,电子设备可以准确检测当前是否处于被遮挡的状态,当判断到电子设备当前在口袋或背包中等被遮挡的场景时,电子设备可以自动启动防误触功能,比如电子设备熄屏、不响应屏幕解锁、不响应抬手亮屏、不响应抬手接听来电、关闭AOD等等,可以防止误触情况的发生以及降低电子设备的功耗,给用户提供了一个友好的操作环境,提升了用户的使用体验。另外,采用超声波传感器替代光学接近传感器实现防误触功能,还可以减少电子设备的电子器件以及节省屏幕的正面开孔,缩窄电子设备的边框空间,提升电子设备的屏占比,提高电子设备的抗尘防水性能等。
Description
技术领域
本申请涉及终端领域,尤其涉及一种防误触的方法及电子设备。
背景技术
在生活中,手机屏幕的误触会给用户带来差劲的体验,例如,在用户通话过程中屏幕没有处于熄灭状态时,误碰到挂断按键导致通话中断;由于皮肤等电容性因素,在口袋或背包中手机被误解锁或误点应用程序等等,可能会给用户带来舆情或退机风险。因此,准确的检测手机所处的状态,以及防止误触情形的发生可以提升用户的使用体验。
发明内容
本申请提供一种防误触的方法及电子设备,用来解决电子设备在使用中的误触问题。
第一方面,本申请实施例提供了一种防误触的方法,应用于电子设备上,电子设备包括超声波发射器和超声波接收器,其中,该方法包括:
超声波发射器发射N次超声波信号,每一次超声波信号包括多个超声波信号,N大于或等于2,N为正整数。超声波接收器接收N次超声波回波信号,其中,一次超声波回波信号由一次超声波信号经反射产生,每一次超声波回波信号包括多个超声波回波信号。电子设备可以根据每一次接收到的超声波回波信号得到第一数据,第一数据包括多个超声波回波信号的信号强度、传播时间。电子设备可以根据N次超声波回波信号的第一数据,得到电子设备所处的第一场景类型。第一场景类型可以为有遮挡场景或无遮挡场景,如果第一场景类型为有遮挡场景,则电子设备开启防误触功能。
实施第一方面的方法,在检测到电子设备当前在口袋或背包中等被遮挡的场景时,电子设备可以自动启动防误触功能,从而可以防止误触情况的发生以及降低电子设备的功耗,给用户提供了一个友好的操作环境,提升了用户的使用体验。
结合第一方面,在一些实施例中,超声波发射器和超声波接收器设置在电子设备的顶部,其中该顶部还设置有电子设备的以下任意一项或多项:听筒、前置摄像头、麦克风、接近光传感器、环境光传感器等。
结合第一方面,在一些实施例中,超声波发射器集成在所述听筒中,或者,听筒即为超声波发射器,可以发射超声波信号。
结合第一方面,在一些实施例中,超声波接收器集成在所述麦克风中,或者,麦克风即为超声波接收器,可以接收超声波信号。
结合第一方面,在一些实施例中,该方法还可以具体包括:电子设备将N次超声波回波信号的第一数据输入到第一分类模型,得到电子设备所处的第一场景类型。第一分类模型是利用第一训练数据对第一训练模型进行训练得到的,第一训练数据可以包括S个样本数据,S大于或等于2,S为正整数。S个样本数据包括在多个已知场景类型下获得的样本数据,一个样本数据包括一个已知场景类型下发射N次超声波信号所产生的N次超声波回波信号的第二数据。第二数据包括多个超声波回波信号的信号强度、传播时间等信息。已知多个场景类型包括:无遮挡场景、有遮挡场景。
结合第一方面,在一些实施例中,该方法还可以具体包括:电子设备将N次超声波回波信号的第一数据生成第一图像,该第一图像的色彩值表示超声波回波信号的信号强度,该第一图像的横轴坐标表示超声波回波信号的接收批次,该第一图像的纵轴坐标可以表示从发射超声波信号到接收到超声波回波信号的传输时间。然后电子设备将该第一图像输入到第一分类模型,可以得到电子设备所处的第一场景类型。类似的,一个样本数据包括一个已知场景类型对应的第二图像,该第二图像由N次超声波回波信号的第二数据生成,该第二图像的色彩值表示在一个已知场景类型下接收超声波回波信号的信号强度,该第二图像的横轴坐标表示在一个已知场景类型下接收的超声波回波信号的接受批次,该第二图像的纵轴坐标表示在一个已知场景类型下发射超声波信号到接收到超声波回波信号的传输时间。
结合第一方面,在一些实施例中,第一训练模型可以为极端梯度提升XGBoost模型,或神经网络NN模型,或梯度提升决策树GBDT模型,或随机森林RF模型。
结合第一方面,在一些实施例中,有遮挡场景可以包括以下任意一项或多项:电子设备位于口袋中、电子设备位于箱包中、电子设备被书本遮挡、电子设备被头发遮挡、电子设备被手掌遮挡、电子设备被衣物遮挡等等。
结合第一方面,在一些实施例中,防误触功能包括以下任意一项或多项:电子设备熄屏、电子设备不响应指纹解锁屏幕、电子设备不响应人脸识别解锁屏幕、电子设备不响应上滑解锁屏幕、电子设备不响应手势解锁屏幕、电子设备不响应抬手亮屏、电子设备不响应抬手接听来电、电子设备不响应指纹接听来电等。
结合第一方面,在一些实施例中,当检测到电子设备处于娱乐场景时,电子设备关闭防误触功能,娱乐场景可以包括以下任意一项或多项:电子设备播放视频、播放音乐、运行游戏等。
结合第一方面,在一些实施例中,如果接近光传感器没有检测到物体遮挡,则电子设备不开启防误触功能。
结合第一方面,在一些实施例中,如果环境光传感器检测到环境光亮度高于第一亮度值,例如10勒克斯(lx),则电子设备不开启防误触功能。
结合第一方面,在一些实施例中,超声波发射器可以以发射周期T间隔发射N次超声波信号,一次超声波信号的持续发射时间t小于超声波信号的发射周期T。
第二方面,本申请实施例提供了一种电子设备,该电子设备包括:超声波发射器、超声波接收器、显示屏、存储器以及耦合于所述存储器的处理器,存储器中存储有数据和可执行指令。其中,处理器可以通过超声波发射器发射N次超声波信号,每一次超声波信号包括多个超声波信号,N大于或等于2,N为正整数。处理器可以通过超声波接收器接收N次超声波回波信号,其中,一次超声波回波信号由一次超声波信号经反射产生,每一次超声波回波信号包括多个超声波回波信号。处理器还可以根据每一次接收到的超声波回波信号得到第一数据,第一数据包括多个超声波回波信号的信号强度、传播时间。处理器可以根据N次超声波回波信号的第一数据,得到电子设备所处的第一场景类型。第一场景类型可以为有遮挡场景或无遮挡场景,如果第一场景类型为有遮挡场景,则处理器控制显示屏开启防误触功能。
采用第一方面的电子设备,在检测到电子设备当前在口袋或背包中等被遮挡的场景时,电子设备可以自动启动防误触功能,从而可以防止误触情况的发生以及降低电子设备的功耗,给用户提供了一个友好的操作环境,提升了用户的使用体验。
结合第二方面,在一些实施例中,超声波发射器和超声波接收器设置在电子设备的顶部,其中该顶部还设置有电子设备的以下任意一项或多项:听筒、前置摄像头、麦克风、接近光传感器、环境光传感器等。
结合第二方面,在一些实施例中,超声波发射器集成在所述听筒中,或者,听筒即为超声波发射器,可以发射超声波信号。
结合第二方面,在一些实施例中,超声波接收器集成在所述麦克风中,或者,麦克风即为超声波接收器,可以接收超声波信号。
结合第二方面,在一些实施例中,还可以具体包括:处理器将N次超声波回波信号的第一数据输入到第一分类模型,得到电子设备所处的第一场景类型。第一分类模型是利用第一训练数据对第一训练模型进行训练得到的,第一训练数据可以包括S个样本数据,S大于或等于2,S为正整数。S个样本数据包括在多个已知场景类型下获得的样本数据,一个样本数据包括一个已知场景类型下发射N次超声波信号所产生的N次超声波回波信号的第二数据。第二数据包括多个超声波回波信号的信号强度、传播时间等信息。已知多个场景类型包括:无遮挡场景、有遮挡场景。
结合第二方面,在一些实施例中,还可以具体包括:处理器将N次超声波回波信号的第一数据生成第一图像,该第一图像的色彩值表示超声波回波信号的信号强度,该第一图像的横轴坐标表示超声波回波信号的接收批次,该第一图像的纵轴坐标可以表示从发射超声波信号到接收到超声波回波信号的传输时间。然后处理器将该第一图像输入到第一分类模型,可以得到电子设备所处的第一场景类型。类似的,一个样本数据包括一个已知场景类型对应的第二图像,该第二图像由N次超声波回波信号的第二数据生成,该第二图像的色彩值表示在一个已知场景类型下接收超声波回波信号的信号强度,该第二图像的横轴坐标表示在一个已知场景类型下接收的超声波回波信号的接受批次,该第二图像的纵轴坐标表示在一个已知场景类型下发射超声波信号到接收到超声波回波信号的传输时间。
结合第二方面,在一些实施例中,第一训练模型可以为极端梯度提升XGBoost模型,或神经网络NN模型,或梯度提升决策树GBDT模型,或随机森林RF模型。
结合第二方面,在一些实施例中,有遮挡场景可以包括以下任意一项或多项:电子设备位于口袋中、电子设备位于箱包中、电子设备被书本遮挡、电子设备被头发遮挡、电子设备被手掌遮挡、电子设备被衣物遮挡等等。
结合第二方面,在一些实施例中,防误触功能包括以下任意一项或多项:电子设备熄屏、电子设备不响应指纹解锁屏幕、电子设备不响应人脸识别解锁屏幕、电子设备不响应上滑解锁屏幕、电子设备不响应手势解锁屏幕、电子设备不响应抬手亮屏、电子设备不响应抬手接听来电、电子设备不响应指纹接听来电等。
结合第二方面,在一些实施例中,当检测到处于娱乐场景时,处理器关闭防误触功能,娱乐场景可以包括以下任意一项或多项:播放视频、播放音乐、运行游戏等。
结合第二方面,在一些实施例中,如果接近光传感器没有检测到物体遮挡,则处理器不开启防误触功能。
结合第二方面,在一些实施例中,如果环境光传感器检测到环境光亮度高于第一亮度值,例如10勒克斯(lx),则处理器不开启防误触功能。
结合第二方面,在一些实施例中,超声波发射器可以以发射周期T间隔发射N次超声波信号,一次超声波信号的持续发射时间t小于超声波信号的发射周期T。
第三方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序在电子设备上运行时,使得所述电子设备执行如第一方面所提供的方法对应的操作。
第四方面,本本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如上述第一方面所述的方法。
根据本申请的技术方案,电子设备可以准确检测当前所处的状态,当判断到电子设备当前在口袋或背包中等被遮挡的特定场景时,电子设备可以自动启动防误触功能,比如电子设备熄屏、不响应屏幕解锁(可以包括上滑屏幕解锁、指纹解锁、手势解锁、人脸识别解锁等)、不响应抬手亮屏、不响应抬手接听来电、不响应指纹接听来电、关闭常亮显示(always on display,AOD)等等,可以防止误触情况的发生以及通过间隔发射超声波信号的方式降低了电子设备的功耗,给用户提供了一个友好的操作环境,提升了用户的使用体验。本申请的技术方案中,超声波信号可以通过设定占空比的方式进行间隔发射,相比现有超声波信号持续测距检测障碍物的方法来说降低了功耗,可以实现在低功耗常开状态下判断当前电子设备是否被遮挡。本申请方案可以有效识别电子设备周围的静态物体,使得电子设备可以在口袋里、背包里等场景中更有效、更精确地判断当前电子设备是否处于被遮挡的状态。另外,采用超声波传感器替代光学接近传感器实现防误触功能,还可以减少电子设备的电子器件以及节省屏幕的正面开孔,缩窄电子设备的边框空间,提升电子设备的屏占比,提高电子设备的抗尘防水性能等。
附图说明
图1是本申请实施例提供的一种电子设备的硬件结构示意性图;
图2是本申请实施例提供的一种电子设备的软件结构框图;
图3a是本申请实施例提供的一种电子设备外观示意性图;
图3b是本申请实施例提供的一种超声波发射声场的示意性图;
图3c是本申请实施例提供的一种超声波回波路径的示意性图;
图4是本申请实施例提供的一些场景下超声波回波信号的冲击响应的示例图;
图5a是本申请实施例提供的一种用户场景的示意性图;
图5b是本申请实施例提供的一种用户场景的示意性图;
图5c是本申请实施例提供的一种用户场景的示意性图;
图6a是本申请实施例提供的一种用户界面的示意性图;
图6b是本申请实施例提供的一种用户界面的示意性图;
图7是本申请实施例提供的一种防误触的方法流程图;
图8是本申请实施例提供的一些场景下超声波回波信号的信号强度图;
图9是本申请实施例提供的卷积神经网络算法的示意图;
图10是本申请实施例提供的一种防误触的电子设备的功能模块框图。
具体实施方式
下面结合附图对本申请实施例进行具体说明。本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
电子设备(如手机、平板电脑等触控式终端)放在口袋、背包中时,由于皮肤等电容性因素,可能导致电子设备屏幕被解锁或误触等情况发生,降低了用户体验。本申请提供一种防误触的方法及电子设备,用来解决电子设备在使用中的误触问题。本申请基于机器学习,通过断续发射超声波并采集超声波遇到障碍物所反射的回波,根据回波的信号特征,检测当前电子设备是否处于被遮挡的状态,当判断到电子设备当前在口袋或背包中等被遮挡的场景时,电子设备可以自动启动防误触模式,在防误触模式下,电子设备不响应触摸操作、屏幕解锁、抬手亮屏、AOD等指令。
根据本申请的技术方案,电子设备可以准确检测当前是否处于被遮挡的状态,当判断到电子设备当前在口袋或背包中等被遮挡的场景时,电子设备可以自动启动防误触功能,比如电子设备熄屏、不响应屏幕解锁(可以包括上滑屏幕解锁、指纹解锁、手势解锁、人脸识别解锁等)、不响应抬手亮屏、不响应抬手接听来电、关闭AOD等等,可以防止误触情况的发生以及降低电子设备的功耗,给用户提供了一个友好的操作环境,提升了用户的使用体验。另外,采用超声波传感器替代光学接近传感器实现防误触功能,还可以减少电子设备的电子器件以及节省屏幕的正面开孔,缩窄电子设备的边框空间,提升电子设备的屏占比,提高电子设备的抗尘防水性能等,超声波传感器适用情形还更为广泛,尤其是在强光、水雾等情形下,光学接近传感器容易失效。
现有技术中有一种方案是通过超声波信号持续测距来判断是否有物体动态的靠近或远离。具体地,电子设备持续发射超声波信号,通过获取超声波信号从发射到接受回波的时间和信号强度的变化,从而判断电子设备附近是否有物体在动态靠近或远离。在该方案中,超声波信号需要持续发射,音频通路需要一直处于开启状态,功耗较大;并且由于不同障碍物的材质、位置不同,超声波信号遇到不同障碍物反射的超声波回波信号的时间、信号强度等也不尽相同,所以该方案只能对物体动态运动过程进行有效检测,无法明确分辨静止状态的障碍物是否在遮挡电子设备。在本申请的技术方案中,将接受到的超声波回波信号数据生成特征图像,输入已经训练好的机器学习模型,得到对应的场景类型,实现对电子设备当前是否处于被障碍物遮挡的状态的判断,进而开启防误触功能。其中,超声波信号可以通过设定占空比的方式进行间隔发射,相比前述超声波信号测距方案来说降低了功耗,可以实现在低功耗常开状态下判断当前电子设备是否被遮挡。另外,本申请方案可以有效识别电子设备周围的静态物体,使得电子设备可以在口袋里、背包里等场景中更有效、更精确地判断当前电子设备是否处于被遮挡的状态。
超声波是频率高于20000赫兹(Hz)的声波,由于人类耳朵可以辨别到的声波频率大概为20~20000Hz,一般当声波的振动频率大于20000Hz时,人耳无法听到,超声波的频率下限大约等于人的听觉上限,因此称为超声波。
首先介绍本申请实施例中提供的示例性电子设备100。应该理解的是,电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图1为电子设备100的结构示意图。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,重力传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,超声波传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
SIM接口可以被用于与SIM卡接口195通信,实现传送数据到SIM卡或读取SIM卡中数据的功能。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。优选的,显示屏194带有触摸功能,可称为触摸屏,即电子设备100可以根据用户触摸显示屏194的相应位置作出响应。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用(比如人脸识别功能,指纹识别功能、移动支付功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如人脸信息模板数据,指纹信息模板等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
重力传感器180C用于测量重力。在一些实施例中,电子设备100可以通过重力传感器180C测得重力方向、重力数据值辅助显示屏的转换。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。在一个实施例中,接近光传感器和超声波传感器可以进行耦合判断电子设备是否开启防误触功能,例如,当接近光传感器或超声波传感器任一个检测到当前电子设备处于被遮挡状态时,电子设备开启防误触功能;或者当接近光传感器和超声波传感器两者均检测到当前电子设备处于被遮挡状态时,电子设备才开启防误触功能等。环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。在一个实施例中,环境光传感器和超声波传感器可以进行耦合判断电子设备是否开启防误触功能,例如,虽然超声波传感器检测到电子设备处于被遮挡状态,但是环境光传感器检测到环境光亮度高于一定亮度值时,仍然不开启防误触功能;或者当环境光传感器检测到环境光亮度低于第一亮度值时,例如10勒克斯(lx),且超声波传感器检测到当前电子设备处于被遮挡状态,电子设备才会开启防误触功能等。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
超声波传感器180M用于通过发射和接收超声波,检测电子设备100当前所处的状态,进而处理器110判断是否开启防误触模式。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。
图2是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,可以将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。
应用程序层中还可以包括防误触模式的应用,在该防误触模式应用运行时需要调用超声波传感器发送/接收超声波信号。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器,本地Profile管理助手(Local Profile Assistant,LPA)以及超声波传感器调用控制管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
安卓运行时(Android Runtime)包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。其中传感器驱动包括超声波传感器的驱动,该超声波传感器的驱动用于驱动超声波传感器180M。对应的,超声波传感器180M用于发送和接收超声波信号。
在这里结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
超声波传感器是利用超声波的特性研制而成的传感器。超声波是一种振动频率高于声波的机械波,具有频率高、波长短、绕射现象小、方向性好、能够成为射线而定向传播等特点。超声波具有很强的方向性。超声波可以在气体、液体以及固体中传播,其传播速度不同,超声波还会有折射、反射、衍射等现象,并且在传播过程中有衰减。在空气中传播超声波,其频率较低,一般为几十千赫兹(kHz),而在固体、液体中则频率较高,在空气中传播衰减的也较快,而在液体及固体中传播,相对衰减较小,传播更远。
超声波传感器可以包括超声波发射器和超声波接收器,在本申请实施例中,提及超声波发射器和超声波接收器旨在涵盖可以统称为超声波传感器的所有功能替代物。超声波发射器用来发射超声波信号,超声波信号遇到障碍物会反射超声波回波至超声波接收器,从而使超声波传感器检测到被测物体。
超声波传感器的超声波发射器和超声波接收器可以集中在同一器件上,也可以分离开。超声波传感器甚至可以是功能相同的任何可用的超声波发射器与超声波接收器的组合。在电子设备100上,超声波传感器的数量可以是一个或多个。或者甚至是,超声波发射器旨在包括一个或多个超声波发射器,超声波接收器旨在包括一个或多个超声波接收器。超声波发射器的数量和超声波接收器的数量可以相等,也可以不相等。本申请实施例对超声波传感器在电子设备100上的数量和位置不作任何限制。
电子设备100的用于音频功能的一个或多个听筒、扬声器、麦克风也可以用于超声波的测量。可以理解的是,听筒、扬声器可以用作超声波发射器,而麦克风可以用作超声波接收器,这样可以节省电子设备100的器件成本和内部空间。如图3a所示,在一个实施例中,手机300的正面上方可以安装有听筒301,听筒301可以用作超声波发射器,用于发射超声波信号。手机300的顶部可以安装有降噪麦克风302,麦克风302可以用作超声波接收器,用于接收超声波回波信号。图3b所示的为超声波发射器的发射范围的一个示意图,参阅图3b,可以看出超声波信号的传输轨迹是以超声波发射器为原点的圆锥形波束,该圆锥形波束的中心线是该超声波信号的发射方向,超声波信号沿着与其发射方向呈第一角度的方向向四周空间散射,形成圆锥形波束,需要说明的是,该第一角度的具体值与超声波发射器的具体设计有关,本申请不作任何限制。
发射的超声波信号可以是单频连续波(continuous wave,CW),线性调频连续波(linear frequency modulation,LFM),ZC序列(Zadoff-Chu sequence)等,关于超声波信号的发射频率以及形式,本申请不作任何限制,任何形式的发射超声波信号以实现本申请所阐述的功能,都应该在本申请的保护范围之内。本申请可以通过断续发射超声波,即设定占空比(duty ratio)的方式降低功耗,例如在一个实施例中,可以设定在1秒的周期内,有150毫秒持续发射超声波信号,剩余850毫秒的时间段内对发射超声波的通路进行下电处理,即不发射超声波信号,这样占空比为0.15,可以保证发射超声波的功耗处于一个相对较低的水平。
在一个实施例中,听筒发出的超声波会经过不同路径形成超声波回波传播到麦克风,本申请实施例涉及的超声波回波的主要路径如图3c所示:
固体结构声路径303:听筒301发射出超声波,经过手机300内部固体结构,传播到麦克风302中。声音在固体中的传播速度(>2000m/s)要快于在空气中的传播速度(约为340m/s),因此固体结构声路径303传播时间是最短的,并且该路径303的传播时间非常稳定。
空气直射声路径304:听筒301发射出超声波,传播到空气中,不经过反射而是直接传播到麦克风302中。空气直射声路径304的传播时间慢于固体结构声路径303,但是该路径304受外界物体影响很小,因此,空气直射声路径304的传播时间也较为稳定。
空气反射声路径305:听筒301发射出超声波,传播到空气中,遇到麦克风和听筒上方的障碍物,超声波信号经过反射、折射、衍射等生成超声波回波,超声波回波又传播到麦克风302中。由于障碍物存在与否、材质、遮挡位置、遮挡距离等不确定性,因此空气反射声路径305不能准确测定其传播时间。
麦克风302接收到不同路径的超声波回波信号后,手机300的处理器根据不同超声波回波信号的传播时间、声波强度等信息,判断出手机300上方是否有障碍物遮挡,进而判定是否需要启动防误触模式。
麦克风302接收到的超声波回波SigR,是听筒301发射的超声波SigT在时间t之后,各个路径上超声波信号的线性叠加,比如固体结构声与空气反射声会有一定程序的融合。因此,麦克风302接收到的超声波回波SigR的基带信号可以表示为:
假设,从超声波发射端到超声波接收端共有P条路径,对于每条路径,超声波接收端接收到的基带信号是超声波发射端发射超声波序列的一个延时τi的副本Sig(t-τi)。同时,由于在路径传播过程中会有衰减、发射相位翻转和传播相位延迟等情况,会产生对应的幅度及相位的变化,这些变化通过来体现。其中,在短时间内,幅值Ai是不会剧烈变化的,而相位是有可能随运动而变化的。在此情况下,路径对于信号的影响等价于通过了一个冲击响应为h的线性系统:
其中,δ(t)为狄拉克冲击函数。因此,如果可以求得信号的冲击响应h(t),就可以知道不同路径时延的幅度,从而来分离不同时延的路径。
假设SigT(t)的自相关函数为δ(t),即
此处,用到了相关计算等价于卷积逆序序列的共轭,满足交换律。
将接收到的超声波回波信号与发射的超声波序列进行互相关,固体声和空气声的回波信号将产生不同的相关峰,通过研究不同峰的信号特征,可以判断当前电子设备是否处于被遮挡状态,进而判定是否开启防误触模式。
在一些实施例中,参阅图4,图4中示出了一些场景下手机麦克风采集到的单帧超声波回波信号的冲击响应的示意图,其中,每张图的横坐标表示超声波所经过的路径的测距,每张图的纵坐标表示超声波回波信号冲击响应的强度,数值越大表示强度越大,图中相关峰的波形可以反映手机附近物体遮挡的情况。其中,主峰(强度最大的峰)表示超声波通过手机内部固体结构和空气直接从听筒到达麦克风路径上的冲击响应,而主峰后一峰表示超声波从听筒发出之后遇到障碍物反射后,到达麦克风的冲击响应,由于遇到的障碍物的材质不同、障碍物所处的位置、距离不同等原因,主峰和主峰后一峰可能会出现不同的波形融合、幅值变化等情况,进而表现出不同的数据特征。
图4中a图为手掌在手机上方0厘米处遮挡时超声波回波冲击响应的一个示例图;图4中b图为手掌在手机上方6厘米处遮挡时超声波回波冲击响应的一个示例图;图4中c图为手掌在手机上方8厘米处遮挡时超声波回波冲击响应的一个示例图;图4中d图为手机在背包中时超声波回波冲击响应的一个示例图;图4中e图为手机在牛仔裤口袋中时超声波回波冲击响应的一个示例图;图4中f图为手机上方无遮挡时超声波回波冲击响应的一个示例图。由图4可以看出,在不同情景下,主峰的宽度、位置、高度以及主峰后一峰的宽度、位置、高度均呈现出不同的形态。
下面结合附图介绍本申请实施例涉及的一些应用场景。
本申请主要应用在电子设备检测当前是否处于被遮挡的状态,当判断到电子设备当前在口袋或背包中等被遮挡的场景时,电子设备可以自动启动防误触模式,在防误触模式下,电子设备不响应触摸操作、屏幕解锁、抬手亮屏、AOD等指令,可以防止误触情况的发生以及降低电子设备的功耗,提升了用户的使用体验。其中,屏幕解锁可以包括上滑屏幕解锁、触控解锁、密码解锁、手势解锁、指纹解锁、人脸解锁、语音解锁、声纹解锁等等。另外,在防误触模式下,电子设备限制响应的指令,不限于上述提及的触摸操作、屏幕解锁、抬手亮屏、AOD等,还可以是其他的指令,比如抬手接听来电、自动调节亮度等,开发人员可以根据具体情况进行设置,本申请对此不作任何限制。
图5a示出了一种常见的应用场景,口袋场景:用户将手机501放在口袋502中,手机501可以检测到自身处于被遮挡状态,进而在防误触模式下,手机501不响应触摸操作、屏幕解锁、抬手亮屏、AOD等指令,可以防止误触情况的发生。本实施例对口袋的材质不作任何限制,口袋的材质可以是棉质、雪纺、涤纶、混合面料等等。
图5b示出了另一种常见的应用场景,箱包场景:用户将手机503放在背包504中,手机503可以检测到自身处于被遮挡状态,进而在防误触模式下,手机503不响应触摸操作、屏幕解锁、抬手亮屏、AOD等指令,可以防止误触情况的发生。这里的箱包场景是个广义的概念,可以包括双肩背包、单肩背包、手提包、钱包、手提袋、箱子里等情形,本实施例对背包的材质不作任何限制,背包的材质可以是棉布、牛皮、皮革、帆布、塑料以及混合材质等等。
图5c示出了手掌506遮挡手机505上方的应用场景,手掌506距离手机505会有不同的距离,如2厘米。在一个实施例中,在手掌506紧贴手机505上方时,即距离0厘米处视为手机被遮挡,这时开启防误触功能。
图5a、图5b、图5c示出的应用场景并不对本申请实施例构成限制,防误触模式除了应用在口袋场景、背包场景、箱包场景、手掌遮挡场景,还应用在其他的电子设备上方被遮挡的情形,比如书本遮挡、人脸遮挡(通话时)等等,开发人员可以根据具体情况进行设置,本申请对此不作任何限制。
在一些实施例中,如图6a所示,在电子设备的设置用户界面601上可以显示有“防误触模式”设置栏602,用户可以手动选择开启/关闭“防误触模式”选项603。在“防误触模式”处于开启的状态下,当电子设备检测到当前处于被遮挡的状态时,电子设备开启防误触功能,有效防止误触情况的发生。
防误触功能可以是电子设备熄屏,电子设备不响应屏幕解锁(可以包括上滑屏幕解锁、指纹解锁、手势解锁、人脸识别解锁等),电子设备不响应抬手亮屏,电子设备不响应抬手接听来电,电子设备关闭AOD等等功能。另外,可以理解的是,在遇到接收到来电(包括电话来电或即时通信软件的语音、视频请求)、通知消息时等情况,电子设备的防误触功能可能会被打断。在播放视频、播放音乐、运行游戏等娱乐场景下,电子设备可以设置为不会启动防误触功能,所以即使检测到电子设备处于被遮挡状态,例如用户使用手机横屏玩游戏时,手遮挡到电子设备的顶部,也不会启动自动熄屏。或者用户可以自行设置开启或关闭防误触功能,或者自行设置一个或多个应用程序开启或关闭防误触功能。若用户选择关闭“防误触模式”功能,则电子设备会关闭前述防误触功能。在通用的设置中,设置“防误触模式”可以对所有应用程序生效,另外,在每个具体应用程序的设置选项中,也可以存在“防误触模式”,选择某个应用程序打开/关闭“防误触模式”,可以使得“防误触模式”对该应用程序生效/不生效。
在一些实施例中,如图6b所示,在电子设备的用户界面的下拉通知栏604中,也可以显示有防触控模式的快捷按键605,方便用户快速开启/关闭防触控模式。
本申请实施例对用户界面中“防触控模式”的名称以及图标等不作任何限制,图6a、图6b所示仅为一个示例。
本申请实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在一些实施例中,在电子设备还未启动防误触状态时,可以在音频驱动层加入其它判断逻辑,以在某些使用场景下,关闭超声波检测,从而提高用户体验,并进一步降低功耗。比如,在娱乐场景、来电场景等,娱乐场景可以包括用户使用电子设备看视频、听音乐、玩游戏等;来电场景包括电子设备接收到电话呼入或者即时通信软件(如微信、QQ、Skype、Face Time等)的语音聊天、视频聊天等。可以理解,在本申请的其他实施例中,也可以采用其他判断逻辑控制电子设备开启/关闭超声波检测,并不限于前述实施例,只要能够实现特定应用场景下开启/关闭防误触功能的目的即可,在此不作任何限制。
超声波传感器还可以跟其他传感器结合进行耦合判断,例如重力传感器、陀螺仪传感器、环境光传感器等。在一个实施例中,电子设备的处理器可以对环境光传感器和超声波传感器分别上报的检测当前是否处于被遮挡状态作一个耦合分析,只要有一个表示当前电子设备处于被遮挡状态,电子设备可以判定当前处于被遮挡状态,然后电子设备开启防误触功能,触控显示屏处于锁定状态。可以理解,在本申请的其他实施例中,也可以采用其他耦合逻辑,本申请对电子设备采用传感器的数量、种类以及各个传感器之间的耦合逻辑并不进行任何限制,能够实现本申请阐述的防误触功能的目的即可。
基于前述的一些实施例,下面介绍本申请提供的一种防误触的方法。
该方法应用于带有超声波发射器和超声波接收器的电子设备上,超声波发射器和超声波接收器可以设置在电子设备的顶部,也可以为其他位置,本实施例不做限制。
在本申请实施例中,超声波发射器和超声波接收器旨在涵盖任何可以发射和接收超声波的功能的电子器件,并不局限于狭义的超声波发射器和超声波接收器。另外,超声波发射器和超声波接收器可以集中在同一器件上,也可以分离开。并且,超声波发射器或超声波接收器的数量可以是一个或多个。或者甚至是,超声波发射器旨在包括一个或多个超声波发射器,超声波接收器旨在包括一个或多个超声波接收器。超声波发射器的数量和超声波接收器的数量可以相等,也可以不相等,本申请实施例对此不作任何限制。
参见图7,图7是本申请实施例提供一种防误触的方法的流程示意图。如图7所示,该方法可包括:
S101,电子设备发射N次超声波信号,其中N大于或等于2,N为正整数。
在一些实施例中,电子设备可以通过超声波发射器断续向周围发射超声波信号,即电子设备可以间隔的发射多次超声波信号;其中,一次超声波信号可以包括多个超声波信号。本申请对采用超声波发射器的类型,对所发射的超声波的频率、方向、强度等等不做任何限制,具体可以根据实际情况调整,在此不再赘述。
S102,电子设备接收N次超声波回波信号。
发射的超声波信号遇到障碍物会产生超声波回波,电子设备可以通过超声波接收器接收超声波回波信号,其中,一次超声波回波信号是由前述一次超声波信号在介质(空气、固体、液体)中经过传播、衰减、折射、反射、衍射等情况得到的。同样的,一次超声波回波信号可以包括多个超声波回波信号。
S103,电子设备根据每一次接收到的超声波回波信号得到第一数据。
在一些实施例中,每一次接收到的超声波回波信号的第一数据可以包括多个超声波回波信号的信号强度、传播时间等,具体可以参考前述图4,每一次接收到的超声波回波信号的第一数据可以是一幅超声波回波信号的冲击响应图。电子设备可以获取到N次超声波回波信号的冲击响应图,并将N次超声波回波信号的第一数据组合成一幅第一图像。参考图8,在一个示例中,N为10,图8中a图、图8中b图每张图均为10帧超声波回波信号的冲击响应图生成的第一图像。第一图像由多个第一像素点构成。在第一图像中,横坐标表示帧数,即采集接收到的超声波回波信号的次数;纵坐标表示测距,即超声波信号从发射到接收经过的相对距离;每一个第一像素点的色彩值表示一个超声波回波信号的信号强度,不同的色彩值表示超声波回波信号的不同的信号强度。在图8的示例中,颜色越浅表示超声波回波信号的信号强度越大。其中,在图8的示例中,图8中a图为手机在皮包内时采集到的一个第一图像,图8中b图为手机上方无遮挡时采集到的一个第一图像。
S104,电子设备将N次超声波回波信号的第一数据输入第一分类模型,得到第一场景类型。
其中,第一分类模型是基于机器学习算法,使用第一训练数据,对第一训练模型进行训练得到的可信模型。关于第一分类模型是如何训练得到的,后文会进行说明,这里暂不赘述。
第一场景类型可以包括电子设备被遮挡和电子设备未被遮挡两种,也可以是更为细分的多个场景类型,比如皮包遮挡场景、帆布包遮挡场景、棉衬衫口袋遮挡场景、牛仔裤口袋遮挡场景、手掌遮挡场景、书本遮挡场景、头发遮挡场景、衣物遮挡等等被各种遮挡物遮挡的情况,本申请实施例对此不作限制。
在一些实施例中,可以采用卷积神经网络(convolutional neural networks,CNN)算法对采集到的N次超声波回波信号的第一数据,即第一图像进行特征提取,得到第一特征数据,再将第一特征数据输入第一分类模型。
卷积神经网络算法主要有两个算子,一个是卷积层,另一个是池化层(poolinglayer)。卷积层可以用来提取特征,池化层可以用来减少参数数量。在卷积层中是使用卷积核来提取特征的,卷积核可以是一个矩阵,卷积层可以通过滑动一个滑动窗口,在滑动窗口之内做卷积运算,从而提取不同位置的图像特征。卷积层的输出结果输入到池化层,常用池化可以是最大池化和平均池化,最大池化是为了提取最明显的特征,平均池化是顾及每一个像素,提取平均特征。池化层也是滑动一个滑动窗口,在滑动窗口之内取最大值或取平均值。
在一个示例中,参考图9所示,将某次超声波回波信号生成的第一图像作为输入图,输入到卷积神经网络算法中,卷积神经网络算法可以对第一图像进行两层卷积层的特征提取,最后得到第一特征数据。具体地,首先将输入图输入带池化层的卷积层,对输入图进行第一次粗检测,提取输入图的特征点的大概位置,得到第一层次Level 1特征图;然后将Level 1特征图再输入带池化层的卷积层,以Level 1特征图的预测特征点为中心,重新提取更为精确的特征点位置,得到第二层次Level 2特征图;之后Level 2特征图经过全连接层,全连接层可以将各个图像对应的特征进行合并,输出第一特征数据;最后生成的第一特征数据输入到第一分类模型中。
S105,根据第一场景类型判定电子设备是否处于被遮挡状态,如果是,则执行步骤S106,如果否,则不作任何操作,继续收发超声波信号,即执行步骤S101。
如果第一场景类型分类为电子设备被遮挡和电子设备未被遮挡两种,则可以直接输出判定结果为电子设备被遮挡或电子设备未被遮挡。如果第一场景类型为多个具体细分场景类型,比如皮包遮挡场景、帆布包遮挡场景、棉衬衫口袋遮挡场景、牛仔裤口袋遮挡场景、手掌遮挡场景、书本遮挡场景、头发遮挡场景等等,则需要再根据检测到的具体场景类型,再进行判定电子设备是否处于被遮挡状态。
在一些实施例中,还可以将超声波传感器检测到的第一场景类型结果跟其他传感器检测到的场景类型结合进行耦合判断,例如重力传感器、陀螺仪传感器、环境光传感器等。比如,电子设备的处理器可以对环境光传感器和超声波传感器的上报结果进行耦合分析,例如,虽然超声波传感器检测到电子设备处于被遮挡状态,但是环境光传感器检测到环境光亮度高于一定亮度值时,仍然不开启防误触功能;或者当环境光传感器检测到环境光亮度低于一定亮度值时,且超声波传感器检测到当前电子设备处于被遮挡状态,电子设备才会开启防误触功能等。电子设备的处理器还可以对接近光传感器和超声波传感器的上报结果进行耦合分析,例如,当接近光传感器或超声波传感器任一个检测到当前电子设备处于被遮挡状态时,电子设备开启防误触功能;或者当接近光传感器和超声波传感器两者均检测到当前电子设备处于被遮挡状态时,电子设备才开启防误触功能等。可以理解,在本申请的其他实施例中,也可以结合其他的传感器或采用其他耦合逻辑,本申请对电子设备采用传感器的数量、种类以及各个传感器之间的耦合逻辑并不进行任何限制,能够实现本申请阐述的目的即可。
S106,电子设备开启防误触功能。
在一些实施例中,防误触功能可以是电子设备熄屏,电子设备不响应屏幕解锁(可以包括上滑屏幕解锁、指纹解锁、手势解锁、人脸识别解锁等),电子设备不响应抬手亮屏,电子设备不响应抬手接听来电,电子设备不响应指纹接听来电,电子设备关闭AOD等等功能。另外,可以理解的是,在遇到接收到来电(包括电话来电或即时通信软件的语音、视频请求)、通知消息时等情况,电子设备的防误触功能可能会被打断。在播放视频、播放音乐、运行游戏等娱乐场景下,电子设备可以设置为不会启动防误触功能,所以即使检测到电子设备处于被遮挡状态,例如用户使用手机横屏玩游戏时,手遮挡到电子设备的顶部,也不会启动自动熄屏。或者用户可以自行设置开启或关闭防误触功能,或者自行设置一个或多个应用程序开启或关闭防误触功能。
下面说明第一分类模型是如何训练得到的。
在一个实施例中,第一分类模型是基于机器学习分类算法,使用第一训练数据,对第一训练模型进行训练得到的可信模型。其中,第一训练数据包括多个样本数据,多个样本数据是在多个场景下获得的样本数据,一个样本数据包括一个已知场景下的N次超声波回波信号的第一样本数据以及该场景的第一样本场景类型。第一样本场景类型为已知场景类型。多个第一样本数据构成第一样本数据向量,对应多个第一样本场景类型构成的第一样本场景类型标签。另外,样本数据可以分为两部分,一部分样本数据用于训练模型,另一部分样本数据可以用来测试模型的准确率。其中,多个是指模型训练所需足够量的数据量,例如数千、数万甚至数十万数据单元。一个第一样本数据为发射N次超声波信号所产生的N次超声波回波信号的第二数据生成的一幅第二图像,每一次接收到的超声波回波信号的第二数据可以包括多个超声波回波信号的信号强度、传播时间等。参考图8,第二图像由多个第二像素点构成,在第二图像中,横坐标表示帧数,即采集接收到的超声波回波信号的次数,纵坐标表示测距,即超声波信号从发射到接收经过的相对距离,每一个第二像素点的色彩值表示一个超声波回波信号的信号强度,不同的色彩值表示超声波回波信号的不同的信号强度,在图8的示例中,颜色越浅表示超声波回波信号的信号强度越大。第一样本场景类型可以包括电子设备被遮挡和电子设备未被遮挡两种,也可以是更为细分的多个场景类型,比如皮包遮挡场景、帆布包遮挡场景、棉衬衫口袋遮挡场景、牛仔裤口袋遮挡场景、手掌遮挡场景、书本遮挡场景、头发遮挡场景等等被各种遮挡物遮挡的情况,本申请实施例不作限制。
在训练过程中使用的机器学习分类模型,可以包括但不限于:极端梯度提升(extreme gradient boosting,XGBoost)模型、神经网络(neural network,NN)模型、梯度提升决策树(gradient boosting decision tree,GBDT)模型,随机森林(random forest,RF)模型等等。在本申请实施例中,对具体采用何种机器学习分类算法不做限定,本领域技术人员可以根据实际应用采用不同的机器学习分类模型。
在一些实施例中,可以采用XGBoost模型训练得出可信的第一分类模型。其中,XGBoost模型是一种使用梯度增强框架并基于决策树的集成机器学习模型,其具体可由多个决策树组成,此处的决策树是分类与回归树(Classification and regression tree,CART),CART决策是一个二叉树,内部结点特征的取值为“是”和“否”,可将每个结点的取值为“是”的分支作为该结点的左分支,将取值为“否”的分支作为该结点的右分支;XGBoost模型的基本思想为:根据样本的特征逐渐构建多个决策树,每构建一个决策树时,均要使得模型的整体效果有所提升,如使得损失函数的函数值有所下降,且当前构建的决策树拟合前一个构建的决策树所导致的残差。在该实施例中,首先可以初始化一个训练模型,也称为一个弱分类器,然后将第一样本数据向量输入该弱分类器,得到一个样本识别结果,若该样本识别结果与第一样本场景类型标签不匹配,则表明需要对当前的弱分类器进行迭代,具体迭代过程可以理解为,根据样本识别结果与第一样本场景类型标签之间的残差,调整该弱分类器的模型参数,然后在能够减少残差的梯度方向上基于调整后的模型参数建立一个新的训练模型,以此类推,重复执行上述迭代过程,直到得到样本识别结果与第一样本场景类型标签匹配,此时得到一个强分类器,即第一分类模型。该第一分类模型是可信的,在测试中其置信度可以是95%或98%等,实际可以根据具体需求调整。
基于前述的一些实施例,下面介绍本申请提供的一种防误触的电子设备的功能模块。
图10示出了本申请实施例提供的一种防误触的电子设备的功能模块框图。该电子设备的功能模块可由硬件、软件或硬件与软件的组合来实施本申请方案。所属领域的技术人员应理解,图10中所描述的功能模块可经组合或分离为若干子块以实施本申请方案。因此,本申请中上面描述的内容可支持对下述功能模块的任何可能的组合或分离或进一步定义。
本实施例中,电子设备包括超声波发射器和超声波接收器,超声波发射器和超声波接收器可以设置在电子设备的顶部,也可以为其他位置,本实施例不做限制。
在本申请实施例中,超声波发射器和超声波接收器旨在涵盖任何可以发射和接收超声波的功能的电子器件,并不局限于狭义的超声波发射器和超声波接收器。另外,超声波发射器和超声波接收器可以集中在同一器件上,也可以分离开。并且,超声波发射器或超声波接收器的数量可以是一个或多个。或者甚至是,超声波发射器旨在包括一个或多个超声波发射器,超声波接收器旨在包括一个或多个超声波接收器。超声波发射器的数量和超声波接收器的数量可以相等,也可以不相等,本申请实施例对此不作任何限制。
电子设备具体可以包括:超声波信号发射模块、超声波回波信号接收模块、信号特征提取模块、场景分类模块、防误触功能开启模块、离线模型训练模块。
超声波信号发射模块用于发射N次超声波信号,其中N大于或等于2,N为正整数。在一些实施例中,超声波信号发射模块可以通过超声波发射器断续向周围发射超声波信号,即电子设备可以间隔的发射多次超声波信号;其中,一次超声波信号可以包括多个超声波信号。本申请对采用超声波发射器的类型,对所发射的超声波的频率、方向、强度等等不做任何限制,具体可以根据实际情况调整,在此不再赘述。
超声波回波信号接收模块用于接收N次超声波回波信号。发射的超声波信号遇到障碍物会产生超声波回波,超声波回波信号接收模块可以通过超声波接收器接收超声波回波信号,其中,一次超声波回波信号是由前述一次超声波信号在介质(空气、固体、液体)中经过传播、衰减、折射、反射、衍射等情况得到的。同样的,一次超声波回波信号可以包括多个超声波回波信号。
信号特征提取模块用于将得到的每一次接收到的超声波回波信号的第一数据进行特征提取,得到第一特征数据,作为第一分类模型的输入。在一些实施例中,每一次接收到的超声波回波信号的第一数据可以包括多个超声波回波信号的信号强度、传播时间等,每一次接收到的超声波回波信号的第一数据可以是一幅超声波回波信号的冲击响应图。电子设备可以获取到N次超声波回波信号的冲击响应图,并将N次超声波回波信号的第一数据组合成一幅第一图像,具体可以参考前述方法实施例步骤S103。
在一些实施例中,信号特征提取模块可以采用卷积神经网络(convolutionalneural networks,CNN)算法对采集到的N次超声波回波信号的第一数据,即第一图像,进行特征提取,得到第一特征数据,再将第一特征数据输入第一分类模型。卷积神经网络算法是如何提取特征的,具体可以参考方法实施例步骤S104中的描述,这里不再赘述。
场景分类模块用于将N次超声波回波信号的第一数据输入第一分类模型,得到第一场景类型。其中,第一分类模型是基于机器学习算法,使用第一训练数据,对第一训练模型进行训练得到的可信模型。关于第一分类模型是如何训练得到的,参考前述实施例中相关说明,这里暂不赘述。第一场景类型可以包括电子设备被遮挡和电子设备未被遮挡两种,也可以是更为细分的多个场景类型,比如皮包遮挡场景、帆布包遮挡场景、棉衬衫口袋遮挡场景、牛仔裤口袋遮挡场景、手掌遮挡场景、书本遮挡场景、头发遮挡场景等等被各种遮挡物遮挡的情况,本申请实施例不作限制。
场景分类模块还用于根据第一场景类型判定电子设备是否处于被遮挡状态。如果第一场景类型分类为电子设备被遮挡和电子设备未被遮挡两种,则场景分类模块可以直接输出判定结果为电子设备被遮挡或电子设备未被遮挡。如果第一场景类型为多个具体细分场景类型,比如皮包遮挡场景、帆布包遮挡场景、棉衬衫口袋遮挡场景、牛仔裤口袋遮挡场景、手掌遮挡场景、书本遮挡场景、头发遮挡场景等等,则场景分类模块需要再根据检测到的具体场景类型,再进行判定电子设备是否处于被遮挡状态。
在一些实施例中,场景分类模块还可以将超声波传感器检测到的第一场景类型结果跟其他传感器检测到的场景类型结合进行耦合判断,例如重力传感器、陀螺仪传感器、环境光传感器、接近光传感器等。比如,场景分类模块可以对环境光传感器和超声波传感器的上报结果进行耦合分析,例如,虽然超声波传感器检测到电子设备处于被遮挡状态,但是环境光传感器检测到环境光亮度高于一定亮度值时,仍然不开启防误触功能;或者当环境光传感器检测到环境光亮度低于一定亮度值时,且超声波传感器检测到当前电子设备处于被遮挡状态,电子设备才会开启防误触功能等。
在一些实施例中,场景分类模块还可以对接近光传感器和超声波传感器的上报结果进行耦合分析,例如,当接近光传感器或超声波传感器任一个检测到当前电子设备处于被遮挡状态时,电子设备开启防误触功能;或者当接近光传感器和超声波传感器两者均检测到当前电子设备处于被遮挡状态时,电子设备才开启防误触功能等。可以理解,在本申请的其他实施例中,也可以结合其他的传感器或采用其他耦合逻辑,本申请对电子设备采用传感器的数量、种类以及各个传感器之间的耦合逻辑并不进行任何限制,能够实现本申请阐述的目的即可。
防误触功能开启模块用于在检测到电子设备处于被遮挡状态时,自动开启防误触功能。在一些实施例中,防误触功能可以是电子设备熄屏,电子设备不响应屏幕解锁(可以包括上滑屏幕解锁、指纹解锁、手势解锁、人脸识别解锁等),电子设备不响应抬手亮屏,电子设备不响应抬手接听来电,电子设备不响应指纹接听来电,电子设备关闭AOD等等功能。另外,可以理解的是,在遇到接收到来电(包括电话来电或即时通信软件的语音、视频请求)、通知消息时等情况,电子设备的防误触功能可能会被打断。在运行游戏、播放视频、播放音乐等娱乐场景下,电子设备可以设置为不会启动防误触功能,所以即使检测到电子设备处于被遮挡状态,例如用户使用手机横屏玩游戏时,手遮挡到电子设备的顶部,也不会启动自动熄屏。或者用户可以自行设置开启或关闭防误触功能,或者自行设置一个或多个应用程序开启或关闭防误触功能。
实施本申请发明方法的实施例,电子设备可以准确检测当前是否处于被遮挡的状态,当判断到电子设备当前在口袋或背包中等被遮挡的场景时,电子设备可以自动启动防误触功能,比如电子设备熄屏、不响应屏幕解锁(可以包括上滑屏幕解锁、指纹解锁、手势解锁、人脸识别解锁等)、不响应抬手亮屏、不响应抬手接听来电、关闭AOD等等,可以防止误触情况的发生以及降低电子设备的功耗,给用户提供了一个友好的操作环境,提升了用户的使用体验。另外,采用超声波传感器替代光学接近传感器实现防误触功能,还可以减少电子设备的电子器件以及节省屏幕的正面开孔,缩窄电子设备的边框空间,提升电子设备的屏占比,提高电子设备的抗尘防水性能等。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (27)
1.一种防误触的方法,其特征在于,电子设备包括超声波发射器和超声波接收器,所述方法包括:
所述超声波发射器发射N次超声波信号,每一次超声波信号包括多个超声波信号,N大于或等于2,N为正整数;
所述超声波接收器接收N次超声波回波信号,其中,一次超声波回波信号由一次超声波信号经反射产生,所述每一次超声波回波信号包括多个超声波回波信号;
所述电子设备根据每一次接收到的超声波回波信号得到第一数据,所述第一数据包括所述多个超声波回波信号的信号强度、传播时间,所述每一次得到的第一数据为一幅超声波回波信号的冲击响应图;
所述电子设备根据所述N次超声波回波信号的所述第一数据,得到所述电子设备所处的第一场景类型;
如果所述第一场景类型为有遮挡场景,则所述电子设备开启防误触功能;
所述电子设备根据所述N次超声波回波信号的所述第一数据,得到所述电子设备所处的第一场景类型,包括:所述电子设备将N次超声波回波信号的冲击响应图,组合成第一图像;将所述第一图像作为输入图输入到卷积神经网络算法中,对所述第一图像进行两层卷积层的特征提取,得到第一特征数据;将所述第一特征数据输入到第一分类模型中获得所述第一场景类型。
2.如权利要求1所述的方法,其特征在于,所述超声波发射器和所述超声波接收器设置在所述电子设备的顶部,所述顶部还设置有所述电子设备的以下任意一项或多项:听筒、前置摄像头、麦克风、接近光传感器、环境光传感器。
3.如权利要求2所述的方法,其特征在于,所述超声波发射器集成在所述听筒中,或者,所述超声波发射器为所述听筒。
4.如权利要求2或3所述的方法,其特征在于,所述超声波接收器集成在所述麦克风中,或者,所述超声波接收器为所述麦克风。
5.如权利要求1所述的方法,其特征在于:
所述第一分类模型是利用第一训练数据对第一训练模型进行训练得到的,所述第一训练数据包括S个样本数据,S大于或等于2,S为正整数;所述S个样本数据包括在多个已知场景类型下获得的样本数据,一个样本数据包括一个所述已知场景类型下发射N次超声波信号所产生的N次超声波回波信号的第二数据;所述第二数据包括所述多个超声波回波信号的信号强度、传播时间;所述已知多个场景类型包括:无遮挡场景、所述有遮挡场景。
6.如权利要求5所述的方法,其特征在于:
所述第一图像的色彩值表示超声波回波信号的信号强度,所述第一图像的横轴坐标表示超声波回波信号的接收批次,所述第一图像的纵轴坐标表示从发射超声波信号到接收到超声波回波信号的传输时间;
所述一个样本数据包括一个已知场景类型对应的第二图像,所述第二图像由所述N次超声波回波信号的第二数据生成,所述第二图像的色彩值表示在所述一个已知场景类型下接收超声波回波信号的信号强度,所述第二图像的横轴坐标表示在所述一个已知场景类型下接收的超声波回波信号的接受批次,所述第二图像的纵轴坐标表示在所述一个已知场景类型下发射超声波信号到接收到超声波回波信号的传输时间。
7.如权利要求5所述的方法,其特征在于,所述第一训练模型为极端梯度提升XGBoost模型,或神经网络NN模型,或梯度提升决策树GBDT模型,或随机森林RF模型。
8.如权利要求1所述的方法,其特征在于,所述有遮挡场景包括以下任意一项或多项:所述电子设备位于口袋中、所述电子设备位于箱包中、所述电子设备被书本遮挡、所述电子设备被头发遮挡、所述电子设备被手掌遮挡、所述电子设备被衣物遮挡。
9.如权利要求1所述的方法,其特征在于,所述防误触功能包括以下任意一项或多项:所述电子设备熄屏、所述电子设备不响应指纹解锁屏幕、所述电子设备不响应人脸识别解锁屏幕、所述电子设备不响应上滑解锁屏幕、所述电子设备不响应手势解锁屏幕、所述电子设备不响应抬手亮屏、所述电子设备不响应抬手接听来电、所述电子设备不响应指纹接听来电。
10.如权利要求1所述的方法,其特征在于,还包括:
当检测到所述电子设备处于娱乐场景时,所述电子设备关闭所述防误触功能,所述娱乐场景包括以下任意一项或多项:所述电子设备播放视频、播放音乐、运行游戏。
11.如权利要求1所述的方法,其特征在于,还包括:如果接近光传感器没有检测到物体遮挡,则所述电子设备不开启防误触功能。
12.如权利要求1所述的方法,其特征在于,还包括:如果环境光传感器检测到环境光亮度高于第一亮度值,则所述电子设备不开启防误触功能。
13.如权利要求1所述的方法,其特征在于,所述超声波发射器以发射周期T间隔发射所述N次超声波信号,所述一次超声波信号的持续发射时间t小于所述超声波信号的发射周期T。
14.一种电子设备,其特征在于,包括超声波发射器、超声波接收器、显示屏、存储器以及耦合于所述存储器的处理器,所述存储器中存储有数据和可执行指令,其中:
所述处理器通过所述超声波发射器发射N次超声波信号,每一次超声波信号包括多个超声波信号,N大于或等于2,N为正整数;
所述处理器通过所述超声波接收器接收N次超声波回波信号,其中,一次超声波回波信号由一次超声波信号经反射产生,所述每一次超声波回波信号包括多个超声波回波信号;
所述处理器根据每一次接收到的超声波回波信号得到第一数据,所述第一数据包括所述多个超声波回波信号的信号强度、传播时间,所述每一次得到的第一数据为一幅超声波回波信号的冲击响应图;
所述处理器根据所述N次超声波回波信号的所述第一数据,得到所述电子设备所处的第一场景类型;
如果所述第一场景类型为有遮挡场景,则所述处理器控制所述显示屏开启防误触功能;
所述处理器根据所述N次超声波回波信号的所述第一数据,得到所述电子设备所处的第一场景类型,包括:所述处理器将N次超声波回波信号的冲击响应图,组合成第一图像;将所述第一图像作为输入图输入到卷积神经网络算法中,对所述第一图像进行两层卷积层的特征提取,得到第一特征数据;将所述第一特征数据输入到第一分类模型中获得所述第一场景类型。
15.如权利要求14所述的电子设备,其特征在于,所述超声波发射器和所述超声波接收器设置在所述电子设备的顶部,所述顶部还设置有所述电子设备的以下任意一项或多项:听筒、前置摄像头、麦克风、接近光传感器、环境光传感器。
16.如权利要求15所述的电子设备,其特征在于,所述超声波发射器集成在所述听筒中,或者,所述超声波发射器为所述听筒。
17.如权利要求14所述的电子设备,其特征在于,所述超声波接收器集成在麦克风中,或者,所述超声波接收器为麦克风。
18.如权利要求14所述的电子设备,其特征在于,所述第一分类模型是利用第一训练数据对第一训练模型进行训练得到的,所述第一训练数据包括S个样本数据,S大于或等于2,S为正整数;所述S个样本数据包括在多个已知场景类型下获得的样本数据,一个样本数据包括一个所述已知场景类型下发射N次超声波信号所产生的N次超声波回波信号的第二数据;所述第二数据包括所述多个超声波回波信号的信号强度、传播时间;所述已知多个场景类型包括:无遮挡场景、所述有遮挡场景。
19.如权利要求18所述的电子设备,其特征在于,所述第一图像的色彩值表示超声波回波信号的信号强度,所述第一图像的横轴坐标表示超声波回波信号的接收批次,所述第一图像的纵轴坐标表示从发射超声波信号到接收到超声波回波信号的传输时间;
所述一个样本数据包括一个已知场景类型对应的第二图像,所述第二图像由所述N次超声波回波信号的第二数据生成,所述第二图像的色彩值表示在所述一个已知场景类型下接收超声波回波信号的信号强度,所述第二图像的横轴坐标表示在所述一个已知场景类型下接收的超声波回波信号的接受批次,所述第二图像的纵轴坐标表示在所述一个已知场景类型下发射超声波信号到接收到超声波回波信号的传输时间。
20.如权利要求18所述的电子设备,其特征在于,所述第一训练模型为极端梯度提升XGBoost模型,或神经网络NN模型,或梯度提升决策树GBDT模型,或随机森林RF模型。
21.如权利要求14所述的电子设备,其特征在于,所述有遮挡场景包括以下任意一项或多项:所述电子设备位于口袋中、所述电子设备位于箱包中、所述电子设备被书本遮挡、所述电子设备被头发遮挡、所述电子设备被手掌遮挡、所述电子设备被衣物遮挡。
22.如权利要求14所述的电子设备,其特征在于,所述防误触功能包括以下任意一项或多项:所述电子设备熄屏、所述电子设备不响应指纹解锁屏幕、所述电子设备不响应人脸识别解锁屏幕、所述电子设备不响应上滑解锁屏幕、所述电子设备不响应手势解锁屏幕、所述电子设备不响应抬手亮屏、所述电子设备不响应抬手接听来电、所述电子设备不响应指纹接听来电。
23.如权利要求14所述的电子设备,其特征在于,还包括:
当检测到处于娱乐场景时,所述处理器关闭所述防误触功能,所述娱乐场景包括以下任意一项或多项:播放视频、播放音乐、运行游戏。
24.如权利要求14所述的电子设备,其特征在于,还包括:如果接近光传感器没有检测到物体遮挡,则所述处理器不开启防误触功能。
25.如权利要求14所述的电子设备,其特征在于,还包括:如果环境光传感器检测到环境光亮度高于第一亮度值,则所述处理器不开启防误触功能。
26.如权利要求14所述的电子设备,其特征在于,所述超声波发射器以发射周期T间隔发射所述N次超声波信号,所述一次超声波信号的持续发射时间t小于所述超声波信号的发射周期T。
27.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至13中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010762072.5A CN114070928B (zh) | 2020-07-31 | 2020-07-31 | 一种防误触的方法及电子设备 |
PCT/CN2021/109122 WO2022022609A1 (zh) | 2020-07-31 | 2021-07-29 | 一种防误触的方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010762072.5A CN114070928B (zh) | 2020-07-31 | 2020-07-31 | 一种防误触的方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114070928A CN114070928A (zh) | 2022-02-18 |
CN114070928B true CN114070928B (zh) | 2022-10-18 |
Family
ID=80037230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010762072.5A Active CN114070928B (zh) | 2020-07-31 | 2020-07-31 | 一种防误触的方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114070928B (zh) |
WO (1) | WO2022022609A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115236072B (zh) * | 2022-06-14 | 2023-08-01 | 杰能科世智能安全科技(杭州)有限公司 | 一种升降柱状态检测方法及其装置 |
CN115314590A (zh) * | 2022-06-21 | 2022-11-08 | 华为技术有限公司 | 接近事件的判定方法和电子设备 |
CN116661670B (zh) * | 2022-11-18 | 2024-03-08 | 荣耀终端有限公司 | 管理手势导航窗口的方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106413060A (zh) * | 2016-10-24 | 2017-02-15 | 北京小米移动软件有限公司 | 屏幕状态控制方法及装置 |
CN107943267A (zh) * | 2017-11-21 | 2018-04-20 | 北京小米移动软件有限公司 | 一种控制屏幕的方法和装置 |
US10311570B1 (en) * | 2018-12-07 | 2019-06-04 | Sonavista, Inc. | Medical image based distortion correction mechanism |
CN110300230A (zh) * | 2019-07-01 | 2019-10-01 | 腾讯科技(深圳)有限公司 | 应用控制方法、装置、存储介质以及终端 |
CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
CN111323783A (zh) * | 2020-02-27 | 2020-06-23 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327148B (zh) * | 2013-06-28 | 2016-02-10 | 惠州Tcl移动通信有限公司 | 基于移动终端调整屏幕背光亮度的实现方法及移动终端 |
GB2541361A (en) * | 2015-07-01 | 2017-02-22 | Joseph Edwards Thomas | Method and apparatus to enable smartphones and computer tablet devices to communicate with interactive devices |
-
2020
- 2020-07-31 CN CN202010762072.5A patent/CN114070928B/zh active Active
-
2021
- 2021-07-29 WO PCT/CN2021/109122 patent/WO2022022609A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106413060A (zh) * | 2016-10-24 | 2017-02-15 | 北京小米移动软件有限公司 | 屏幕状态控制方法及装置 |
CN107943267A (zh) * | 2017-11-21 | 2018-04-20 | 北京小米移动软件有限公司 | 一种控制屏幕的方法和装置 |
US10311570B1 (en) * | 2018-12-07 | 2019-06-04 | Sonavista, Inc. | Medical image based distortion correction mechanism |
CN110300230A (zh) * | 2019-07-01 | 2019-10-01 | 腾讯科技(深圳)有限公司 | 应用控制方法、装置、存储介质以及终端 |
CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
CN111323783A (zh) * | 2020-02-27 | 2020-06-23 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022022609A1 (zh) | 2022-02-03 |
CN114070928A (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114467297B (zh) | 一种应用于电子设备的视频通话的显示方法及相关装置 | |
CN113645351B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
CN110058777B (zh) | 快捷功能启动的方法及电子设备 | |
CN111543042B (zh) | 通知消息的处理方法及电子设备 | |
CN114070928B (zh) | 一种防误触的方法及电子设备 | |
WO2019072178A1 (zh) | 一种通知处理方法及电子设备 | |
CN111602108B (zh) | 一种应用图标的显示方法及终端 | |
CN113452945A (zh) | 分享应用界面的方法、装置、电子设备及可读存储介质 | |
CN111542802A (zh) | 一种屏蔽触摸事件的方法及电子设备 | |
CN114466107A (zh) | 音效控制方法、装置、电子设备及计算机可读存储介质 | |
CN110058729B (zh) | 调节触摸检测的灵敏度的方法和电子设备 | |
WO2021238740A1 (zh) | 一种截屏方法及电子设备 | |
CN115914461B (zh) | 位置关系识别方法和电子设备 | |
CN111249728B (zh) | 一种图像处理方法、装置及存储介质 | |
CN113438366B (zh) | 信息通知的交互方法、电子设备和存储介质 | |
CN114911400A (zh) | 分享图片的方法和电子设备 | |
CN112532508B (zh) | 一种视频通信方法及视频通信装置 | |
CN113243126B (zh) | 一种用于终端的网络管理方法和终端 | |
CN115032640B (zh) | 手势识别方法和终端设备 | |
CN115641867A (zh) | 语音处理方法和终端设备 | |
CN114445522A (zh) | 笔刷效果图生成方法、图像编辑方法、设备和存储介质 | |
CN116991274B (zh) | 一种上滑动效异常处理方法及电子设备 | |
CN115016666B (zh) | 触控处理方法、终端设备以及存储介质 | |
WO2023197999A1 (zh) | 显示方法及电子设备 | |
CN118131891A (zh) | 一种人机交互的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |